本日はロジスティック回帰の実装をやっていこうと思います。といっても非常に簡単なニューラルネットなのでやらなくてもいいかなと思ったのですが、いきなりSoftmaxを実装するのもアレなのでまずは簡単なこちらからやっていこうと思います。
ロジスティック回帰とは?
教師あり学習、2値分類を確率の出力で行います。具体的には閾値を自分で設けます。ロジスティックの場合は0.5だと思います。つまり、シグモイドの出力に対してが0.5以上ならラベル1、0.5未満ならラベル2を振り与えて2値分類を行うわけです。また、これを多値分類に拡張したものがソフトマックスになります。数式導出
まずはシグモイド関数について
![](https://research.miidas.jp/wp-content/uploads/2019/07/Screen-Shot-2019-07-24-at-17.16.19-1024x700.png)
![Rendered by QuickLaTeX.com \phi_i](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-7c39b3e66ae2d1772b11d35538e2b182_l3.png)
![Rendered by QuickLaTeX.com y_i](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-bb3c186e5c65fcd066bb23dec8f4e48a_l3.png)
![Rendered by QuickLaTeX.com w_j](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-40ef220887114fedfc7b47ed163d52c9_l3.png)
![Rendered by QuickLaTeX.com zは線型結合の値です](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-921911fed3b23b9330b81e530d2235ca_l3.png)