ラッソ
最近色々ラッソについて調べていたんですが、微分不可能な関数の最適化ってやっぱ難しいですね。機械学習において非常に重要な2つのキーワード – ラグランジュの未定乗数法 – KKT条件 は別の記事でゆっくり解説します。では本題に入りましょう。Lasso
過学習を考慮した回帰モデルの一つ – L_1正則化項を使用した回帰model – スパース性を考えるときに用いる(これについては次の記事で詳しく説明します。) (1)
微分できない?
ちょっと微分について復習しよう。おまけで複素解析も出てくるよL1とL2
これまでに何度か説明していると思いますがまずは – 微分可能性 が大きな違いです。L1は尖っているので0で微分できませんね。他の違いは?
リッジ回帰ではデカイパラメータ![Rendered by QuickLaTeX.com b](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-f56d50c26583f9a035ff6b4e3c0ca5c0_l3.png)
![](https://research.miidas.jp/wp-content/uploads/2019/02/Screen-Shot-2019-02-12-at-16.42.31.png)
パラメータが0を図から考察
では図を用いて直感的に理解しましょう。次の図はRidge, Lassoを議論するときに使われるとてもポピュラーなものです。![](https://research.miidas.jp/wp-content/uploads/2019/02/Screen-Shot-2019-02-12-at-16.44.17.png)
「スパース」とは「スカスカ」なイメージ
つまり、ゼロがいっぱいあるイメージでいい。 しかし重要なのは常にスパースなわけじゃないこと。![](https://research.miidas.jp/wp-content/uploads/2019/02/Screen-Shot-2019-02-12-at-16.44.25.png)
![](https://research.miidas.jp/wp-content/uploads/2019/02/Screen-Shot-2019-02-12-at-16.44.39.png)
パラメータが0を数式から考察
次のように超シンプルな回帰モデルを考えます。(以下転置使ってますが無くてもいいです) (2)
(3)
ここで解がと仮定します。
![Rendered by QuickLaTeX.com y = bx \Leftrightarrow <y,y> = b<y,x>](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-cdaf4ef5779d0edea10f95030e760e24_l3.png)
![Rendered by QuickLaTeX.com y^Tx >0](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-05393bbc8e72b7818ec3613f658c2f3f_l3.png)
![Rendered by QuickLaTeX.com b](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-f56d50c26583f9a035ff6b4e3c0ca5c0_l3.png)
仮定より今は微分できます
(4)
(5)
![Rendered by QuickLaTeX.com \lambda](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-2b5c45836864531b8e37025dabadd24a_l3.png)
![Rendered by QuickLaTeX.com \lambda = y^Tx](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-0848e81219a3eb533362f1fc1ce875e6_l3.png)
一方、リッジの場合は
(6)
(7)
![Rendered by QuickLaTeX.com b \neq 0](https://research.miidas.jp/wp-content/ql-cache/quicklatex.com-ec62276a9bce8f24170cfe968628306d_l3.png)