こんにちは。PCAの(理論編+2)では基底と座標について少し複雑なトークがでてきます。この記事はそのためのものですが、そのためにとどまらず

基底と座標

そして

対角化

はとても重要なものなので是非マスターしましょう。 ここでは基底と座標の関係を確認しよう。とはいってもいきなりやっても面白くないので簡単な例を用いてその重要性を確認しよう。例えばベクトルp = [10, -4]は僕たちが無意識に使っている標準基底というもので

(1)   \begin{align*} p = 10 \begin{pmatrix} 1\\0 \end{pmatrix} -4 \begin{pmatrix} 0\\1 \end{pmatrix} \end{align*}

つまり座標は[10,-4]とかけます。ところが次のような基底a,bを考えると

(2)   \begin{align*} p = 2 \begin{pmatrix} 1\\2 \end{pmatrix} +8 \begin{pmatrix} 1\\-1 \end{pmatrix} \end{align*}

となり、これはつまりベクトルpa,bを基底としてみるとその座標は[2,8]となり標準基底で見たときの座標と異なっている、という事実が重要です。これを一般化しましょう。

wというベクトルを考える

u_k, v_k  (k=1\cdots,d)はそれぞれ異なる基底とする

uvの関係式がわかれば異なる基底間での座標変換ができますよね。進めていきましょう。 これを全v_kで行うと となり、両辺に右からpをかけると となりcの形がわかりました。さらにm_kv_kuで書いた時の座標であることに注意すると となり基底vでの座標から基底uでの座標への変換行列Mとわかりました。となるとM^{-1}c = pでその逆の変換ができることもわかります。 これを先ほどの例に適応し確認してみましょう。標準基底

(3)   \begin{align*} e_1 = \begin{pmatrix} 1\\0 \end{pmatrix} ,  e_2 = \begin{pmatrix} 0\\1 \end{pmatrix} \end{align*}

から次の基底

(4)   \begin{align*} v_1 = \begin{pmatrix} 1\\2 \end{pmatrix} ,  v_2 = \begin{pmatrix} 1\\-1 \end{pmatrix} \end{align*}

への座標変換行列Mは各e_1,e_2v_1,v_2で書いた時の座標を並べればいいので

(5)   \begin{align*} M = -\frac{1}{3} \begin{pmatrix} -1&-1 \\ -2&1 \end{pmatrix} \end{align*}

です、これをもちいて計算すると

(6)   \begin{align*} -\frac{1}{3} \begin{pmatrix} -1&-1 \\ -2&1 \end{pmatrix}  \begin{pmatrix} 10\\-4 \end{pmatrix}  = \begin{pmatrix} 2\\8 \end{pmatrix} \end{align*}

とたしかに先ほどと同じ結果になりました!今回はMを基底を元に書き換えましたが考える2組の基底のうち片方が標準基底の場合は簡単に求まります。なぜならv_1,v_2e_1,e_2で書くと座標はv_1,v_2そのものになり逆行列を計算するなりすればいいからです。 では次に対角化についてです。まずは次の問題を考えてみましょう。僕たちにとってポピュラーなの標準基底Wを使う空間において

    \[ A = \begin{pmatrix} 1&-2\\2&1  \end{pmatrix}\]

という行列による線形変換を考えます。つまりy = Ax この❓にはどんな行列が来ますか?青矢印のルートと赤矢印のルートは等しくなる必要があります、なので この行列Xは と求まります。

だからなに?

ですよね。とりあえずここからわかることは 標準基底Wの空間での線形変換行列が

    \[\begin{pmatrix} 1&-2\\2&1  \end{pmatrix}\]

は基底Vの空間では

    \[\begin{pmatrix} 1&2\\-2&1  \end{pmatrix}\]

この例では特に面白いことはありません、、、、VAの固有ベクトルでない。一方で

    \[B =  \begin{pmatrix} 0.5&1.5 \\  1.5&0.5  \end{pmatrix}\]

こんな例を考えると

おっとーーーーー?

基底Vの変換行列が対角行列になった!

この時の基底Vは行列Bの固有ベクトルになってる!実際、 となりたしかに

    \[Bx = \lambda x\]

となっている!

で、なにがいいの?

まずは 計算量が少ない。これはでかい、

メリットそれだけ?

可視化で確認しよう!

つまり

データが見やすくなる

  本日は基底変換、座標変換、対角化について学びました。これで引き続きPCAに取り組みましょう。   でわ