2019.02.25

Lassoの最適化アルゴリズムの考察

[latexpage] こんにちは。 前回の最後に、 - Coordinate descent（座標降下法） - ISTA (メジャライザー最小化) - FISTA (高速化) の3つの最適化方法を……

2019.02.21

Lassoの進化、Group Lassoとは

[latexpage] こんにちは。 Lassoでスパース、スパースと言ってましたが実際はスパース推定という言葉がよく使われます。これについての説明を軽くしてからGroup lassoの紹介をしま……

2019.02.19

Lassoを数式から実装まで(理論編)

[latexpage] こんにちは。 その１でラッソの概要と大きな特徴であるスパース性を確認しました。 今回からはラッソ実装に向けて数学を頑張りましょう。 Notationのについて Obj ……

2019.02.15

Lassoはなんでスパース？

[latexpage] こんにちは。 素人にfish_shellは無理でした。kzです。 リッジが終わりましたね。ついに来ました ラッソ 最近色々ラッソについて調べていたんですが、微分不可能な……

2019.02.10

Ridgeを数式から実装まで(理論)

[latexpage] こんにちは。 料理にはまっているkzです。 本日はリッジ回帰行きましょう。次回実装します。🐷 Ridge Regression 過学習を防ごうということで導入された正則……

2019.02.03

線形回帰とRidge回帰を数式からやる(理論編)

[latexpage] こんにちは。 正則化パート２ですね。前回の最後に Ridge Regression (Tikhonov regularization) Lasso Re……

2019.01.28

過学習を防ぐトリック、正則化とは

[latexpage] こんにちは。 少し前に標準化・正規化についてお話ししました。これらは勾配法による学習の際に学習速度が速くなるというメリットがありました。では今回は 正則化とはなんぞや ……