自己回帰、Flowベースの深層生成モデルの今

内容

MADEの実装と並行して、特にFlowベースの手法について、様々なブログや論文で全体像や各手法の勉強をしたので、まとめておきます。

全体論

Google BrainのEric JangによるNormalizing Flow解説が極めて秀逸なので、まずこれを読んでから以下の概要・論文を読むとわかりやすさが全然違うと思います。ちなみにこの人のブログは他のエントリも大変わかりやすく様々なアルゴリズムを接続して説明しているのでオススメです。
前編
後編

OxfordのPh.D学生によるNormalizing Flow概説。上のEric Jangの解説とあわせて読むと理解が深まると思います。
URL

日本人による自己回帰・Flowベースの論文メモ。論文の具体的な解説なので以下の関連論文の細かい点を日本語で知りたい人は参考になると思います。
URL

関連論文(だいたい発表順)

特にFlowベースのものを中心に。一見たくさんありますが、まず上のEric Jangの記事を読んで、これらの関係性を理解しておくと入ってきやすいと思います。それと読むときは最近の論文から読んだ方が過去の論文の手法がまとまっていてわかりやすいと思います。
NADE: Neural Autoregressive Density Estimator
NICE: Non-linear Independent Components Estimation
MADE: Masked Autoencoder for Distribution Estimation
Real NVP: Real-valued non-volume preserving transformations
IAF: Inverse Autoregressive Flow
MAF: Masked Autoregressive Flow
NAF: Neural Autoregressive Flows
Glow: Generative Flow

今後追加されるかもしれません。