ねぇPython、PCAって何？（理論編+2）

こんにちは。前回、射影行列を学びました。 $n$ 次元ベクトル $a$ を考えよう。行列 $V$ の列ベクトルが作る空間の中でもっとも $a$ に近いものは $Vc$ という形で表された。ただし、 $c$ は縦ベクトルとすると

(1) $\begin{align*} Vc = V(V^TV)^{-1}V^Ta \end{align*}$

となりこれがもっとも $a$ に近いヤツで

$V(V^TV)^{-1}V^T$

Vの列ベクトルがはる空間への射影行列

だった。今回はその $V$ はどんなやつ？か考える。つまりどんなベクトルが作る空間へ射影すればいいんだ？ということ

データ $\in \mathbb{R}^m$ (m次元)

平面を貼るベクトルを $U=[v_1, \cdots, v_n]$

ただし $v_i \in \mathbb{R}^m$ , $i=1,\cdots,n$

とする。目標は $U$ を見つけ出すこと。計算の前にいくつか確認しておこう。

実対称行列の固有ベクトルは直行
実対称行列は対角化可能
グラムシュミットで正規直交基底が作れる
tr(AB) = tr(BA)
x^T A x = tr(x^T A x)

まず、3番より射影行列 $P_w$ は次のようになる

$P_w = U(U^TU)^{-1}U^T = UU^T$

ではどうやって $U$ を決定するかだが、前回同様、分散を最大化させる作戦でいこう。射影後の分散が最大化されるように $U$ を決定したいので

(2) $\begin{align*} \sum_{i=1}^{N} \|P_w x^{(i)} \|^2 &=& \sum_{i=1}^{N} \|UU^Tx^{(i)} \|^2 \\ &=& \sum_{i=1}^{N} (UU^Tx^{(i)})^T(UU^Tx^{(i)}) \\ &=& \sum_{i=1}^{N} x^{{(i)}^T}UU^TUU^Tx^{(i)} \\ &=& \sum_{i=1}^{N} x^{{(i)}^T}UU^Tx^{(i)} \\ &=& \sum_{i=1}^{N} tr(x^{{(i)}^T}UU^Tx^{(i)}) \\ &=& \sum_{i=1}^{N} tr(U^Tx^{(i)}x^{{(i)}^T}U) \\ &=& tr(U^TXX^TU) \\ &=& tr(U^T P^TDPU) \\ &=& tr((PU)^T D (PU)) \end{align*}$

ここで、対称行列 $XX^T$ を $P^TDP$ と変形しました。これを行列の対角化といいます。ここで、Pは固有ベクトルを基底とした空間から標準基底の空間への変換行列なんですが、重要なことは基底(軸)の取り方によって座標が変わるということでしたね。これを踏まえて

$tr((PU)^T D (PU))$

を最大化させる $U$ の形を考えよう！例えば

$tr \left( \begin{pmatrix} a & b & c \\ d & e & f \\ \end{pmatrix} \begin{pmatrix} 12 & 0 & 0 \\ 0 & 7 & 0 \\ 0 & 0 & 1 \\ \end{pmatrix} \begin{pmatrix} a & d \\ b & e \\ c & f \end{pmatrix} \right)$