CNNの目的関数の考察と歴史
こんにちは。 久しぶりの投稿になりました。本日の内容はタイトル通りです。 線形回帰とかの目的関数って最適解を持ちましたね。 しかし、ニューラルネットワークはそうはいかないと言いました。 つまり、目的関数が凸関数ではない可 […]
Lassoの最適化アルゴリズムの考察
こんにちは。 前回の最後に、 – Coordinate descent（座標降下法） – ISTA (メジャライザー最小化) – FISTA (高速化) の3つの最適化方法を紹介しまし […]
Lassoの進化、Group Lassoとは
こんにちは。 Lassoでスパース、スパースと言ってましたが実際はスパース推定という言葉がよく使われます。これについての説明を軽くしてからGroup lassoの紹介をします。 スパース推定とは スパースは” […]
Lassoを数式から実装まで(理論編)
こんにちは。 その１でラッソの概要と大きな特徴であるスパース性を確認しました。 今回からはラッソ実装に向けて数学を頑張りましょう。 Notationのについて Obj (objective function) OLS ( […]
Lassoはなんでスパース？
こんにちは。 素人にfish_shellは無理でした。kzです。 リッジが終わりましたね。ついに来ました ラッソ 最近色々ラッソについて調べていたんですが、微分不可能な関数の最適化ってやっぱ難しいですね。機械学習において […]
PythonでRidgeを数式から実装する
こんにちは。 本日はRidge回帰の実装とパラメータの交差検証を行いましょう。 色々やっていると少し長くなりましたがお許しください。 View the code on Gist. 最後の２セルはinteractを使ったん […]
Ridgeを数式から実装まで(理論)
こんにちは。 料理にはまっているkzです。 本日はリッジ回帰行きましょう。次回実装します。? Ridge Regression 過学習を防ごうということで導入された正則化回帰の一例。 – 正則化項を使用した回 […]
交差検証(Cross-Validation)をPythonでやる
こんにちは。 前回、交差検証というワードに触れ、その図を確認して終わりました。今回はその交差検証をしっかりと理解しましょう。 What is Cross-Validation? モデルの誤差値を検証すること この精度であ […]