2019.12.12

ベイジアン入門　ベイズ推定

[latexpage]こんにちは。前回、MAP推定までやりました。 尤度からMAP推定まで しかしプロットもコードも書かなかったのでMAP推定をプロットするところからはじめます。復習……

2019.12.06

尤度からMAP推定まで

[latexpage] こんにちは。本日は機械学習の基本である尤度からパラメータ推定の基本であるMAP推定について話します。ベイズ推定やMCMCは次回以降になります。ちなみに、KLや最小二乗法にまつ……

2019.09.12

多変量ガウスの標準化と特異値分解について

[latexpage]こんにちは。標準化は機械学習において非常に重要な概念です。スケール統一のためや学習速度の向上を目的に使われます。そこで今回は多変量ガウス分布の標準化などをやっていこうと思います……

2019.09.05

なぜKLを最小化するのか？

[latexpage]こんにちは。本日は機械学習をやっていると必ず出てくるカルバックライブラーダイバージェンスについてです。分布間の似通いを測るこの指標を最小化したい！ということがよくあります。しか……

2019.08.26

PythonでBayesian PCAの実装に失敗した話

[latexpage]こんにちは。本日はいつものように「実装しましたぁ」ではなく、「実装に失敗しましたぁ」という話になります。 https://papers.nips.cc/paper/15……

2019.08.19

SVM実装の際に困った双対とは

[latexpage]こんにちは。SVMのNumpy実装が非常に難しいです。SMOというアルゴリズムが主流で他には単一法などがあるようですが難しすぎます。そこで僕は下界または上界を最適化、勾配法でや……

2019.08.03

Softmaxを数式から実装まで

[latexpage]こんにちは。本日は待ちに待ったソフトマックス回帰の実装です。ロジスティックの兄さんのような存在のロジスティック。出力が確率の多値分類になっただけです。この記事では数式をゴリゴリ……

2019.07.27

ロジスティック回帰を数式から

[latexpage]こんにちは。本日はロジスティック回帰の実装をやっていこうと思います。といっても非常に簡単なニューラルネットなのでやらなくてもいいかなと思ったのですが、いきなりSoftmaxを実……