ねぇPython、PCAって何？（理論編+1）

2018.12.03

機械学習

こんにちは。理論編で主成分分析についてはみなさん理解できたと思います。が。本日は少し応用です。とりあえず復習から始めましょう。

PCAは固有ベクトルへの射影

そうです。たとえば400次元から2次元へのPCAは固有値を大きい方から２つ選び、対応する固有ベクトルに射影です。つまり

軸を新しく定義している

つまり

空間が変わっている

まさにこの図、3次元のデータ(左)にPCAをかけて2次元データ(右)にしている。軸が異なるどころかその数も変わっていることより空間が変わったことは明らか。しかし、今回は

次元を保ったまま空間を押しつぶす

をします。

重要なのは次の考え方のみ！

適当に作った例だと

$[1,2,3] \rightarrow [4,-2]$

が前回のPCAに対し

$[1,2,3] \rightarrow [4,-2, 0]\in H$

のように次元を保ったまま平面上の点に置き換える。上の図だと $c_1,c_2 \in \mathbb{R}$ に対し

$a' = c_1v_1 + c_2 v_2 = c_1 \begin{pmatrix} v_{11} \\ v_{12} \\ v_{13} \end{pmatrix} + c_2 \begin{pmatrix} v_{21} \\ v_{22} \\ v_{23} \end{pmatrix}$

とできる。ただし、 $a,a',v_1,v_2\in \mathbb{R}^3$ である。

まとめると、

あるベクトルたちの線型結合で全部書き直そう

https://www.geogebra.org/3d/v5wdx46w

ということ。上では3次元ベクトル2本 $(v_1,v_2)$ 用いて平面を構成した。 $a$ を平面H上の点 $a'$ としようということ、これを全データ点で行う。計算してみよう。 $V = [v_1,v_2]$ とすると $Vc$ で $v_1,v_2$ が貼る平面状の点を表すことができるので

$\|a - Vc\|^2$

を最小化するような $c$ を見つければいい。このとき $Vc=a'$ となる。ここで

$\frac{\partial}{\partial x} x^T A x = (A+A^T)x$

$\frac{\partial}{\partial x} a^Tx = a^T, \frac{\partial}{\partial x} x^Ta = a$

これらの公式を用いて

(1) $\begin{align*} \frac{\partial}{\partial c} \|a - Vc\|^2 &= \frac{\partial}{\partial c} (a - Vc)^T(a - Vc) \\ &= \frac{\partial}{\partial c} \left(c^TV^TVc - c^TV^Ta - a^TVc +a^Ta \right) \\ &= \frac{\partial}{\partial c} \left(c^TV^TVc - 2a^TVc +a^Ta \right) \end{align*}$

微分を0とする。

(2) $\begin{align*} \frac{\partial}{\partial c} \|a - Vc\|^2 &= \frac{\partial}{\partial c} \left(c^TV^TVc - 2a^TVc +a^Ta \right) \\ &= (V^TV + (V^TV)^T)c - 2V^Ta = 2V^TVc - 2V^Ta = 0 \end{align*}$