本日は変分ベイズやります。ちなみに呼び方はいくつかありまして、変文ベイズ、変分推論、Variational Approximation(変分近似)など。
変分とは?
そもそも変分ってなに!って感じですよね。実はこれ微分方程式とか汎関数とかが関わってます。例えば点推定である最尤法はスコア関数(対数尤度)を微分して解を求めますよね。変分法はこれを拡張した概念です。
つまり、関数の関数の微分が変分です。

変分ベイズとは?
事後分布
ではもういきなりですがVBとMCMCどっちがいいの?という疑問が生まれます。


まずは変分下限の登場です。EMアルゴリズムの時と似てます。


![Rendered by QuickLaTeX.com H[z] = - \mathbb{E}_q[\log q(z)]](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-26d60bf4868e8cf2a42ffa7fea9c03fc_l3.png)






しかもよくみてください、KLって汎関数ですよね。
Mean-Field Approximation
変分ベイズでは平均場近似という重要なポイントがあります。これは













一変数ガウスの例
次のような例を考えます。













- https://github.com/vwrs/variational-gaussian-mixture/blob/master/variationalgaussianmixture.ipynb
- https://tips-memo.com/python-vb-gmm
応用
難しすぎて実装できませんでしたが変分ベイズを使った応用はたとえば自然言語処理におけるLDAがあります。とても難しい、、、、でわReferences
- https://stats.stackexchange.com/questions/271844/variational-inference-versus-mcmc-when-to-choose-one-over-the-other
- https://arxiv.org/pdf/1601.00670.pdf
- https://kaybrodersen.github.io/talks/Brodersen_2013_03_22.pdf
- https://qiita.com/kento1109/items/99a6bcbf18c1119d127c
- https://xyang35.github.io/2017/04/14/variational-lower-bound/
- https://www.colorado.edu/ASEN/asen5227_offline/slides/292-334.pdf
- http://www.math.kobe-u.ac.jp/HOME/higuchi/h18kogi/sect4.pdf
- https://www.iist.ac.in/sites/default/files/people/COVMain.pdf
- http://bjlkeng.github.io/posts/variational-bayes-and-the-mean-field-approximation/
- https://www.slideshare.net/takao-y/ss-28872465
- https://en.wikipedia.org/wiki/Normal_distribution
- https://openbook4.me/projects/261/sections/1648
- https://www.slideshare.net/takao-y/ss-28872465
- https://www.slideshare.net/tsubosaka/prml-10-1