解釈可能な潜在表現を獲得する

beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework | OpenReview

上の研究は昨年Deepmindのグループから出たもので、MusicVAE(https://magenta.tensorflow.org/music-vae)やWorldmodel(https://worldmodels.github.io/)でも使われているVariational Autoencoder (VAE)の亜種です。ハイパーパラメータをひとつ加えるだけと実装が物凄く簡単なので興味があります。若干評価方法がヒューリスティックな印象です(が、例によって猛烈な勢いで出てくる後続研究で色々と改善策が提案されている模様)

この研究の面白いところは、訓練後の中間層に着目した時に、普通のVAEに比べて、各ユニットがデータのどんな特性を捉えているのか、解釈しやすい形で表現されるところ。深層生成モデルだとInfoGAN(https://arxiv.org/abs/1606.03657)が、より古典的な手法だとPCAやICAが似たような低次元表現を得られることで知られていますが、それらよりも計算しやすい、あるいは良い表現が得られるとのこと。

この研究が出てから、似たような手法が続々と出ているようですが、とりあえずまずはこれを使っておけば問題なさそう。自然科学に応用する場合は解釈可能性が大事になってくるので、こういう手法はありがたいですね。