「統計解析のための線形代数」復習筆記10
向量的內積 (inner product)
練習
列向量 \(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right), \underline{b}=\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)\) 的內積：
\(\underline{a}^t\underline{b}=(a_1,a_2,a_3)\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)=a_1b_1+a_2b_2+a_3b_3\\=\sum\limits_{i=1}^3a_ib_i=\sum\limits_{i=1}^3b_ia_i=\underline{b}^t\underline{a}\)橫向量 \(\underline{a}=(a_1,a_2,a_3), \underline{b}=(b_1,b_2,b_3)\) 的內積：
\(\underline{a}\underline{b}^t=(a_1,a_2,a_3)\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)=a_1b_1+a_2b_2+a_3b_3\\=\sum\limits_{i=1}^3a_ib_i=\sum\limits_{i=1}^3b_ia_i=\underline{b}\underline{a}^t\)完全相同的兩個列向量 \(\underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right),\;\underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\) 的內積：
\(\underline{x}^t\underline{x}=(x_1,x_2,x_3)\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\\=x_1^2+x_2^2+x_3^2=\sum\limits_{i=1}^3x_i\cdot x_i=\sum\limits_{i=1}^3x_i^2\)完全相同的兩個橫向量 \(\underline{y}=(y_1,y_2,y_3), \underline{y}=(y_1,y_2,y_3)\) 的內積：
\(\underline{y}\underline{y}^t=(y_1,y_2,y_3)\left( \begin{array}{c} y_1\\ y_2\\ y_3 \end{array} \right)\\=y_1^2+y_2^2+y_3^2=\sum\limits_{i=1}^3y_i\cdot y_i=\sum\limits_{i=1}^3y_i^2\)向量 \(\underline{a}=(2,0,-1), \underline{b}=(4,-2,8)\) 的內積：
\(\underline{a}\underline{b}^t=(2,0,-1)\left( \begin{array}{c} 4\\ -2\\ 8 \end{array} \right)=2\times4+0\times(-2)+(-1)\times8=0\)
因此我們稱這兩個向量正交。\(\underline{1}=\left( \begin{array}{c} 1\\ 1\\ 1 \end{array} \right), \underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\) 時：
\(\underline{1}^t\underline{x}=1\cdot x_1+1\cdot x_2+1\cdot x_3 =\sum\limits_{i=1}^3x_i=\underline{x}^t\underline{1}\)
\(\underline{1}^t\underline{1}=\sum\limits_{i=1}^31\cdot 1=3\)
前者的內積與後者內積的商： \(\frac{\underline{1}^t\underline{x}}{\underline{1}^t\underline{1}}=\frac{x_1+x_2+x_3}{3}\) 我們在統計學中用 \(\bar{x}\) (平均值) 來標記。
問題： 如果，向量 \(\underline{a}, \underline{b}\) 有內積， 請問有沒有所謂的外積 (outer product) ？
回答： 有。不過，僅限於3維度的向量：
\(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right), \underline{b}=\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)\) 的外積，我們用 \(\times\) 來表示，寫作： \(\underline{a}\times\underline{b}\)。 其運算被定義爲：
\(\underline{a}\times\underline{b}=\left( \begin{array}{c} a_2b_3-a_3b_2\\ a_3b_1-a_1b_3\\ a_1b_2-a_2b_1 \end{array}\right)\)。與內積不同的是，外積運算的結果仍然是\(3\)維度的向量。外積有如下的性質：
\(\underline{a}\times\underline{b}=-\underline{b}\times\underline{a}\)
向量的長度 (length)
Theorem 2 (vector length) 向量 \(\underline{a}\) 的內積 \(\underline{a}^t\underline{a}\) 的平方根中，非負的量，我們稱之爲向量 \(\underline{a}\) 的長度或者大小。也就是：\(\sqrt{\underline{a}^t\underline{a}}\)。記作：\(\| \underline{a} \|\)。
兩個向量 \(\underline{a}, \underline{b}\) 類型(type：大小，維度)相同時，他們的差 \(\underline{a}-\underline{b}\) 依然是向量，這個新向量的長度爲：\(\| \underline{a}-\underline{b} \| = \sqrt{(\underline{a}-\underline{b})^t(\underline{a}-\underline{b})}\)\(\underline{x}=\left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right)\) 的長度爲： \(\| \underline{x} \| =\sqrt{\underline{x}^t\underline{x}}=\sqrt{x_1^2+x_2^2+x_3^2}\)
\(\underline{a}=(a_1,a_2,a_3)\) 的長度爲： \(\| \underline{a} \| =\sqrt{\underline{a}\underline{a}^t}=\sqrt{a_1^2+a_2^2+a_3^2}\)
兩個向量 \(\underline{a}, \underline{b}\) 的長度和內積有這樣的關系：
\(-\| \underline{a} \|\| \underline{b} \|\leqslant \underline{a}^t\underline{b}\leqslant\| \underline{a} \|\| \underline{b} \|\)
證明: 以維度爲 \(3\) 的向量爲例進行證明，其他維度的向量，證明思路類似：
令 \(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right), \underline{b}=\left( \begin{array}{c} b_1\\ b_2\\ b_3 \end{array} \right)\)， \(t\) 爲任意實數。平方和：
\(\sum\limits_{i=1}^3(a_it+b_i)^2 =(a_1t+b_1)^2+(a_2t+b_2)^2+(a_3t+b_3)^2\\ \;\;\;\;\;\;\;=(a_1^2+a_2^2+a_3^2)t^2+2(a_1b_1+a_2b_2+a_3b_3)t\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;+(b_1^2+b_2^2+b_3^2)\\ \;\;\;\;\;\;\;=\| \underline{a} \|^2t^2+2\underline{a}^t\underline{b}t+\| \underline{b} \|^2\geqslant0\)
\(\therefore \| \underline{a} \|^2(t+\frac{\| \underline{b} \|^2}{2\| \underline{a} \|^2})^2+\| \underline{b} \|^2-\frac{(2\underline{a}^t\underline{b})^2}{4\| \underline{a} \|^2}\geqslant0\)
可見這是一個關於 \(t\) 的絕對不等式。因此，判別式：
\((2\underline{a}^t\underline{b})^2-4\times\| \underline{a} \|^2\| \underline{b} \|^2\leqslant0\\ \therefore (\underline{a}^t\underline{b})^2\leqslant\| \underline{a} \|^2\| \underline{b} \|^2\\ \therefore -\| \underline{a} \|\| \underline{b} \|\leqslant \underline{a}^t\underline{b}\leqslant \| \underline{a} \|\| \underline{b} \|\)
\(\divideontimes\) 兩向量內積，除以兩向量各自的長度(正)，在統計學中被成爲是相關系數，寫作 \(r=\frac{\underline{a}^t\underline{b}}{\| \underline{a} \|\| \underline{b} \|}\)，我們從上面的不等式也可以得出， \(-1 \leqslant r \leqslant 1\) 另外，兩個向量又可以表示爲兩條射線，這兩條射線構成的角度如果爲 \(\theta\)，\(\cos\theta=r =\frac{\underline{a}^t\underline{b}}{\| \underline{a} \|\| \underline{b} \|}\)。兩個向量 \(\underline{a}, \underline{b}\) 的和 \(\underline{a}+\underline{b}\) 也是一個新的向量。這三個向量之間有：\(\| \underline{a}+\underline{b} \|\leqslant\| \underline{a} \|+\| \underline{b} \|\)。這個關系被稱爲三角不等式，或者三角關系(triangular inequality)。
證明：此處亦爲了簡便起見使用維度爲 \(3\) 的向量，即，前述3.的 \(\underline{a}, \underline{b}\)：
\(\| \underline{a}+\underline{b}\|^2=(a_1+b_1)^2+(a_2+b_2)^2+(a_3+b_3)^2\\ \;\;\;\;\;\;\;=(a_1^2+a_2^2+a_3^3)+2(a_1b_1+a_2b_2+a_3b_3)+(b_1^2+b_2^2+b_3^2)\\ \;\;\;\;\;\;\;=\| \underline{a} \|^2+2\underline{a}^t\underline{b}+\| \underline{b} \|^2\)
如果我們把前面問題3.中的不等式代入：
\(\| \underline{a} \|^2+2\underline{a}^t\underline{b}+\| \underline{b} \|^2\leqslant \| \underline{a} \|^2+2\| \underline{a} \|\| \underline{b} \|+\| \underline{b} \|^2\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=(\| \underline{a} \|+\| \underline{b} \|)^2\\ \therefore \| \underline{a}+\underline{b}\|^2 \leqslant (\| \underline{a} \|+\| \underline{b} \|)^2\\ \therefore \| \underline{a}+\underline{b}\|\leqslant\| \underline{a} \|+\| \underline{b} \|\)
向量正規化 normalize
Theorem 3 (normalize) 長度不爲 \(0\) 的任意向量 \(\underline{a}(\neq\underline{0})\)，如果將它轉變成長度爲 \(1\) 的向量 \(\underline{e}_{\underline{a}}\)。這個過程被叫做向量的正規化(normalize)。通常只要將向量 \(\underline{a}\) 除以他的長度 \(\| \underline{a} \|\) 即可。
\(\underline{e}_{\underline{a}}=\frac{\underline{a}}{\| \underline{a} \|}=\frac{1}{\| \underline{a} \|}\underline{a}\)例如：
\(\underline{a}=\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right)\)， 則有 \(\underline{e}_{\underline{a}}=\frac{1}{\sqrt{a_1^2+a_2^2+a_3^2}}\left( \begin{array}{c} a_1\\ a_2\\ a_3 \end{array} \right)\)
\(\underline{b}=\left( \begin{array}{c} -2\\ 1\\ 2 \end{array} \right)\)，則有 \(\underline{e}_{\underline{a}}=\frac{1}{\sqrt{(-2)^2+1^2+2^2}}\left( \begin{array}{c} -2\\ 1\\ 2 \end{array} \right)=\left( \begin{array}{c} -\frac{2}{3}\\ \frac{1}{3}\\ \frac{2}{3} \end{array} \right)\)
