本文介紹用最小二乘算子求解無解的線性方程的原理。

基本概念

内積

定義 對於 Rn\mathbb{R}^n 上的兩個向量 u⃗,v⃗\vec{u}, \vec{v}，其內積（也叫點乘）定義為 u⃗Tv⃗\vec{u}^T\vec{v}，記做 u⃗⋅v⃗\vec{u}\cdot \vec{v} ，即：

u⃗⋅v⃗=u⃗Tv⃗\vec{u}\cdot \vec{v} = \vec{u}^T\vec{v}

不難證明內積有以下性質：

定理 對於 u⃗,v⃗,w⃗∈Fn,c∈F\vec{u}, \vec{v}, \vec{w} \in \mathbb{F}^n, c \in \mathbb{F}，有：

  1. u⃗⋅v⃗=v⃗⋅u⃗\vec{u} \cdot \vec{v} = \vec{v} \cdot \vec{u}
  2. (u⃗+v⃗)⋅w⃗=u⃗⋅w⃗+v⃗⋅w⃗\left( \vec{u} + \vec{v} \right) \cdot \vec{w} = \vec{u}\cdot \vec{w} + \vec{v}\cdot \vec{w}
  3. (cu⃗)⋅v⃗=c(u⃗⋅v⃗)=u⃗⋅(cv⃗)\left( c\vec{u} \right)\cdot \vec{v} = c\left(\vec{u} \cdot \vec{v}\right) = \vec{u} \cdot \left(c\vec{v}\right)
  4. u⃗⋅u⃗≥0\vec{u} \cdot \vec{u} \geq 0，且 u⃗⋅u⃗=0  ⟺  u⃗=0⃗\vec{u}\cdot\vec{u} = 0 \iff \vec{u}=\vec{0}

範數

定義 一個向量的範數是該向量與自己內積的算數平方根，記為 ∥v⃗∥\lVert \vec{v} \rVert，即：

∥v⃗∥=v⃗⋅v⃗∥v⃗∥2=v⃗⋅v⃗\lVert \vec{v} \rVert = \sqrt{\vec{v}\cdot\vec{v}} \\ \lVert \vec{v} \rVert^2 = \vec{v}\cdot\vec{v}

對於標量 cc 和向量 v⃗\vec{v}，有：

∥cv⃗∥=∣c∣∥v⃗∥\lVert c\vec{v} \rVert = \lvert c \rvert \lVert \vec{v} \rVert

(∥cv⃗∥2=(cv⃗)⋅(cv⃗)=c2(v⃗⋅v⃗)=c2∥v⃗∥2)\left( \lVert c\vec{v} \rVert ^2 = (c\vec{v} )\cdot(c\vec{v} ) = c^2(\vec{v}\cdot\vec{v}) = c^2\lVert\vec{v} \rVert^2 \right)

範數為 1 的向量稱單位向量，把一個非零向量化作單位向量的過程叫標準化，即用範數除該向量：

u⃗=v⃗∥v⃗∥\vec{u} = \frac{\vec{v}}{\lVert \vec{v} \rVert}

距離

定義 對於同一子空間的兩個向量 u⃗,v⃗∈Fn\vec{u}, \vec{v} \in \mathbb{F}^n，u⃗,v⃗\vec{u}, \vec{v} 間的距離 dist(u⃗,v⃗)\text{dist}(\vec{u}, \vec{v}) 是 u⃗−v⃗\vec{u}-\vec{v} 的範數，即：

dist(u⃗,v⃗)=∥u⃗−v⃗∥\text{dist}(\vec{u}, \vec{v}) = \lVert \vec{u} - \vec{v} \rVert

正交

幾何上常用垂直表示兩條線幾何位置呈 90 度，如下圖的 u⃗\vec{u} 和 v⃗\vec{v}。在線性代數的領域，用正交表示這一關係。圖中可見 u⃗,v⃗\vec{u}, \vec{v} 正交時，u⃗\vec{u} 到 v⃗\vec{v} 和 −v⃗-\vec{v} 的距離相等，即：

[dist(u⃗,−v⃗)]2=∥u⃗−(−v⃗)∥2=∥u⃗+v⃗∥2=(u⃗+v⃗)⋅(u⃗+v⃗)=u⃗⋅(u⃗+v⃗)+v⃗⋅(u⃗+v⃗)=u⃗⋅u⃗+u⃗⋅v⃗+v⃗⋅u⃗+v⃗⋅v⃗=∥u⃗∥2+∥v⃗∥2+2v⃗⋅u⃗\begin{aligned} \left[\text{dist}(\vec{u}, -\vec{v})\right]^2 &= \lVert \vec{u} - (-\vec{v}) \rVert^2 =\lVert \vec{u} +\vec{v} \rVert^2\\ &= (\vec{u} +\vec{v})\cdot(\vec{u} +\vec{v}) \\ &= \vec{u}\cdot(\vec{u} +\vec{v})+\vec{v}\cdot(\vec{u} +\vec{v}) \\ &= \vec{u}\cdot\vec{u} +\vec{u}\cdot\vec{v} + \vec{v}\cdot\vec{u} + \vec{v}\cdot\vec{v} \\ &= \lVert \vec{u} \rVert^2 + \lVert \vec{v} \rVert^2 + 2\vec{v}\cdot\vec{u} \end{aligned}

[dist(u⃗,v⃗)]2=∥u⃗−v⃗∥2=(u⃗−v⃗)⋅(u⃗−v⃗)=u⃗⋅(u⃗−v⃗)−v⃗⋅(u⃗−v⃗)=u⃗⋅u⃗−u⃗⋅v⃗−v⃗⋅u⃗+v⃗⋅v⃗=∥u⃗∥2+∥v⃗∥2−2v⃗⋅u⃗\begin{aligned} \left[\text{dist}(\vec{u}, \vec{v})\right]^2 &= \lVert \vec{u} - \vec{v} \rVert^2\\ &= (\vec{u} - \vec{v})\cdot(\vec{u} - \vec{v}) \\ &= \vec{u}\cdot(\vec{u} -\vec{v})-\vec{v}\cdot(\vec{u} -\vec{v}) \\ &= \vec{u}\cdot\vec{u} -\vec{u}\cdot\vec{v} - \vec{v}\cdot\vec{u} + \vec{v}\cdot\vec{v} \\ &= \lVert \vec{u} \rVert^2 + \lVert \vec{v} \rVert^2 - 2\vec{v}\cdot\vec{u} \end{aligned}

兩距離相當時， −2v⃗⋅u⃗=2v⃗⋅u⃗  ⟺  v⃗⋅u⃗=0- 2\vec{v}\cdot\vec{u}=2\vec{v}\cdot\vec{u} \iff \vec{v}\cdot\vec{u}=0

定義 同一子空間的兩個向量 u⃗,v⃗∈Fn\vec{u}, \vec{v} \in \mathbb{F}^n 正交   ⟺  u⃗⋅v⃗=0\iff \vec{u}\cdot\vec{v}=0

定理：畢達哥拉斯定理（勾股定理） 同一子空間的兩個向量 u⃗,v⃗∈Fn\vec{u}, \vec{v} \in \mathbb{F}^n 正交   ⟺  ∥u⃗+v⃗∥2=∥u⃗∥2+∥v⃗∥2\iff \lVert \vec{u}+\vec{v} \rVert^2 =\lVert \vec{u}\rVert^2 + \lVert\vec{v} \rVert^2

正交補

定義 若 z⃗\vec{z} 正交與 Fn\mathbb{F}^n 的一個子空間 HH 上任一向量，稱 z⃗\vec{z} 正交於 HH。所有正交於 HH 的向量稱為 HH 的正交補，記做 H⊥H^\perp。

正交基

定義 Fn\mathbb{F}^n 的子空間 HH 上的一組向量 {v1⃗,⋯ ,vp⃗}\left\{\vec{v_1}, \cdots, \vec{v_p}\right\} 是正交集，那麼這組向量兩兩正交，即 ui⃗⋅uj⃗=0,∀i,j,i≠j\vec{u_i}\cdot\vec{u_j}=0, \forall i,j, i\neq j 。

定理 若 S={v1⃗,⋯ ,vp⃗}S = \left\{\vec{v_1}, \cdots, \vec{v_p}\right\} 是 Fn\mathbb{F}^n 上的一組正交集，則 SS 是 Span{v1⃗,⋯ ,vp⃗}\text{Span}\left\{ \vec{v_1}, \cdots, \vec{v_p} \right\} 的一個基。

定義 Fn\mathbb{F}^n 的子空間 HH 的一個正交基 SS 滿足：

  1. SS 是 HH 的一個基
  2. SS 是正交集

下面的定理會指出正交基相較於其他基的好處：

定理 設 {v1⃗,⋯ ,vp⃗}\left\{\vec{v_1}, \cdots, \vec{v_p}\right\} 是 Fn\mathbb{F}^n 的子空間 HH 上的一個正交基，那麼對於 ∀y⃗∈H\forall \vec{y} \in H，有：

y⃗=c1v1⃗+⋯+cpvp⃗\vec{y} = c_1\vec{v_1} + \cdots + c_p\vec{v_p}

利用正交基兩兩正交的特性，在等式兩邊乘任意正交基的一個元素 vj⃗\vec{v_j}：

y⃗⋅vj⃗=(c1v1⃗+⋯+cpvp⃗)⋅vj⃗=cjvj⃗⋅vj⃗\begin{aligned} \vec{y}\cdot\vec{v_j} &= \left(c_1\vec{v_1} + \cdots + c_p\vec{v_p}\right)\cdot\vec{v_j} \\ &= c_j\vec{v_j}\cdot\vec{v_j} \end{aligned}

可得：

cj=y⃗⋅vj⃗vj⃗⋅vj⃗=y⃗∥vj⃗∥2c_j = \frac{\vec{y}\cdot\vec{v_j}}{\vec{v_j}\cdot\vec{v_j}} = \frac{\vec{y}}{\lVert\vec{v_j}\rVert^2}

在使用正交基表示子空間內的向量時，其係數很容易確定。

單位正交基

定義 若 {v1⃗,⋯ ,vp⃗}\left\{\vec{v_1}, \cdots, \vec{v_p}\right\} 是 Fn\mathbb{F}^n 的子空間 HH 的一個單位正交基，則：

  1. {v1⃗,⋯ ,vp⃗}\left\{\vec{v_1}, \cdots, \vec{v_p}\right\} 是 HH 的一組正交基；
  2. {v1⃗,⋯ ,vp⃗}\left\{\vec{v_1}, \cdots, \vec{v_p}\right\} 中每一個向量均為單位向量

單位正交基在應用和計算機算法中矩陣運算中很重要，下面兩個定理介紹單位正交基的主要性質。

定理 一個 m×nm \times n 矩陣 UU 的列向量組是單位正交基，當且僅當 UTU=IU^TU=I

Proof.

為簡化表示，假設 UU 僅有三列，即 U=[u1⃗u2⃗u3⃗]U = \begin{bmatrix} \vec{u_1} & \vec{u_2} & \vec{u_3}\end{bmatrix} ，其中 u1⃗,u2⃗,u3⃗∈Fn\vec{u_1},\vec{u_2}, \vec{u_3} \in \mathbb{F}^n，然後計算：

UTU=[u1⃗Tu2⃗Tu3⃗T][u1⃗u2⃗u3⃗]=[u1⃗Tu1⃗u1⃗Tu2⃗u1⃗Tu3⃗u2⃗Tu1⃗u2⃗Tu2⃗u2⃗Tu3⃗u3⃗Tu1⃗u3⃗Tu2⃗u3⃗Tu3⃗]=[∥u1⃗∥2u1⃗⋅u2⃗u1⃗⋅u3⃗u2⃗⋅u1⃗∥u2⃗∥2u2⃗⋅u3⃗u3⃗⋅u1⃗u3⃗⋅u2⃗∥u3⃗∥2]U^TU = \begin{bmatrix} \vec{u_1}^T \\ \vec{u_2}^T \\ \vec{u_3}^T \end{bmatrix} \begin{bmatrix} \vec{u_1} & \vec{u_2} & \vec{u_3}\end{bmatrix} = \begin{bmatrix} \vec{u_1}^T\vec{u_1} & \vec{u_1}^T\vec{u_2} & \vec{u_1}^T\vec{u_3} \\ \vec{u_2}^T\vec{u_1} & \vec{u_2}^T\vec{u_2} & \vec{u_2}^T\vec{u_3} \\ \vec{u_3}^T\vec{u_1} & \vec{u_3}^T\vec{u_2} & \vec{u_3}^T\vec{u_3} \end{bmatrix} = \begin{bmatrix} \lVert\vec{u_1}\rVert^2 & \vec{u_1}\cdot\vec{u_2} & \vec{u_1}\cdot\vec{u_3} \\ \vec{u_2}\cdot\vec{u_1} & \lVert\vec{u_2}\rVert^2 & \vec{u_2}\cdot\vec{u_3} \\ \vec{u_3}\cdot\vec{u_1} & \vec{u_3}\cdot\vec{u_2} & \lVert\vec{u_3}\rVert^2 \end{bmatrix}

主對角線上為單位正交基的向量的範數的平方，為 1 (∥u1⃗∥2=∥u2⃗∥2=∥u3⃗∥2=12=1)\left( \lVert\vec{u_1}\rVert^2 = \lVert\vec{u_2}\rVert^2 = \lVert\vec{u_3}\rVert^2 = 1^2 = 1 \right)，非主對角線的元素為單位正交基不同向量的內積，因為它們兩輛正交，故為 0。最後 UTU=IU^TU = I。

定理 設矩陣 Um×nU_{m \times n} 的列向量組成單位正交基， x⃗,y⃗∈Fn\vec{x}, \vec{y} \in \mathbb{F}^n，則：

  1. ∥Ux⃗∥=∥x⃗∥\lVert U\vec{x} \rVert = \lVert \vec{x} \rVert

  2. (Ux⃗)⋅(Uy⃗)=x⃗⋅y⃗\left( U\vec{x} \right)\cdot\left( U\vec{y} \right) = \vec{x}\cdot \vec{y}

  3. (Ux⃗)⋅(Uy⃗)=0  ⟺  x⃗⋅y⃗=0\left( U\vec{x} \right)\cdot\left( U\vec{y} \right) = 0 \iff \vec{x}\cdot\vec{y}=0
    Proof.

  4. ∥Ux⃗∥2=(Ux⃗)⋅(Ux⃗)=(Ux⃗)T(Ux⃗)=(x⃗TUT)(Ux⃗)=x⃗T(UTU)x⃗=x⃗TIx⃗=x⃗Tx⃗=∥x⃗∥2\lVert U\vec{x} \rVert^2 = \left( U\vec{x} \right)\cdot\left( U\vec{x} \right) = \left( U\vec{x} \right)^T\left( U\vec{x} \right) = \left( \vec{x}^TU^T \right)\left( U\vec{x} \right) = \vec{x}^T \left(U^TU\right) \vec{x} = \vec{x}^T I \vec{x} = \vec{x}^T\vec{x} = \lVert \vec{x} \rVert^2

  5. (Ux⃗)⋅(Uy⃗)=(Ux⃗)T(Uy⃗)=(x⃗TUT)(Uy⃗)=x⃗T(UTU)y⃗=x⃗Ty⃗=x⃗⋅y⃗\left( U\vec{x} \right)\cdot\left( U\vec{y} \right)=\left( U\vec{x} \right)^T\left( U\vec{y} \right)=\left( \vec{x}^TU^T \right) \left( U\vec{y} \right) = \vec{x}^T\left(U^TU\right) \vec{y} = \vec{x}^T\vec{y}=\vec{x}\cdot\vec{y}

定義 若 UU 為方陣，且 UTU=IU^TU=I，即 UT=U−1U^T=U^{-1}， 則 UU 被稱為正交矩陣。

定理 正交矩陣的列向量是其列空間的一組單位正交基。

正交投影

在 Fn\mathbb{F}^n 中有一非零向量 u⃗\vec{u}，今考慮將 Fn\mathbb{F}^n 中另一向量 y⃗\vec{y} 分解成兩個向量的和，一個和 u⃗\vec{u} 平行（其範數為 u⃗\vec{u} 範數的倍數），一個和 u⃗\vec{u} 正交，即：

y⃗=y^+z⃗=αu⃗+z⃗\begin{aligned} \vec{y} &= \hat{y} + \vec{z} \\ &= \alpha\vec{u} + \vec{z} \end{aligned}

其中 α\alpha 為標量，z⃗\vec{z} (=y⃗−αu⃗)(=\vec{y}-\alpha\vec{u}) 與 u⃗\vec{u} 正交，即 (y⃗−αu⃗)⋅u⃗=y⃗⋅u⃗−αu⃗⋅u⃗=0(\vec{y}-\alpha\vec{u})\cdot\vec{u} =\vec{y}\cdot\vec{u}-\alpha\vec{u}\cdot\vec{u}=0 ，可得：

α=y⃗⋅u⃗u⃗⋅u⃗\alpha = \frac{\vec{y}\cdot\vec{u}}{\vec{u}\cdot\vec{u}}

定義 y^\hat{y} 稱為 y⃗\vec{y} 在 u⃗\vec{u} 上的正交投影，記為 projLy⃗\text{proj}_L\vec{y} ；z⃗\vec{z} 稱為 y⃗\vec{y} 在 u⃗\vec{u} 上的正交分量，即：

y⃗^=projLy⃗=y⃗⋅u⃗u⃗⋅u⃗u⃗=y⃗⋅u⃗∥u⃗∥2u⃗\hat{\vec{y}} = \text{proj}_L\vec{y} = \frac{\vec{y}\cdot\vec{u}}{\vec{u}\cdot\vec{u}}\vec{u} = \frac{\vec{y}\cdot\vec{u}}{\lVert\vec{u}\rVert^2}\vec{u}

正交分解定理 設 HH 是向量空間 Fn\mathbb{F}^n 的一個子空間，則 ∀y⃗∈Fn\forall \vec{y} \in \mathbb{F}^n ，可將 y⃗\vec{y} 寫成下列唯一形式：

y⃗=y⃗^+z⃗\vec{y} = \hat{\vec{y}} + \vec{z}

其中 y⃗^∈H,z⃗∈H⊥\hat{\vec{y}} \in H, \vec{z} \in H^{\perp}。設 HH 的一個正交基為 {u1⃗⋯up⃗}\left\{ \vec{u_1} \cdots \vec{u_p} \right\}，則：

y⃗^=projHy⃗=y⃗⋅u1⃗∥u1⃗∥2u1⃗+⋯+y⃗⋅up⃗∥up⃗∥2up⃗\hat{\vec{y}} = \text{proj}_H\vec{y} = \frac{\vec{y}\cdot\vec{u_1}}{\lVert \vec{u_1} \rVert^2}\vec{u_1} + \cdots + \frac{\vec{y}\cdot\vec{u_p}}{\lVert \vec{u_p} \rVert^2}\vec{u_p}

最佳逼近定理 設 HH 是向量空間 Fn\mathbb{F}^n 的一個子空間，∀y⃗∈Fn\forall \vec{y} \in \mathbb{F}^n， y⃗^\hat{\vec{y}} 為 y⃗\vec{y} 在 HH 的正交投影 (projHy⃗)\left(\text{proj}_H\vec{y}\right)，則 y⃗^\hat{\vec{y}} 是 HH 上最接近 y⃗\vec{y} 的點，即：

∥y⃗−y⃗^∥<∥y⃗−v⃗∥\lVert \vec{y} - \hat{\vec{y}} \rVert < \lVert \vec{y} - \vec{v} \rVert

其中 v⃗∈H,v⃗≠y⃗^\vec{v} \in H, \vec{v} \neq \hat{\vec{y}} 。

最佳逼近定理示意圖

Proof.

y⃗−v⃗=(y⃗−y⃗^)−(y⃗^−v⃗)\vec{y} - \vec{v} = \left( \vec{y} - \hat{\vec{y}} \right) - \left( \hat{\vec{y}} - \vec{v} \right)

其中 y⃗−y⃗^\vec{y} - \hat{\vec{y}} 與 y⃗^−v⃗∈H\hat{\vec{y}} - \vec{v} \in H 正交，由畢達哥拉斯定理可得：

∥y⃗−v⃗∥2=∥y⃗−y⃗^∥2+∥y⃗^−v⃗∥2\lVert \vec{y} - \vec{v} \rVert^2 = \lVert \vec{y} - \hat{\vec{y}} \rVert^2 + \lVert \hat{\vec{y}} - \vec{v} \rVert^2

y⃗−v⃗≠0⃗\vec{y} - \vec{v} \neq\vec{0} 故 ∥y⃗^−v⃗∥2>0\lVert \hat{\vec{y}} - \vec{v} \rVert^2 > 0 ，則定理得證。

定理 設 {u1⃗,⋯ ,up⃗}\left\{\vec{u_1}, \cdots, \vec{u_p}\right\} 是 Fn\mathbb{F}^n 的子空間 HH 的一個單位正交基，則：

projHy⃗=y⃗⋅u1⃗∥u1⃗∥2u1⃗+⋯+y⃗⋅up⃗∥up⃗∥2up⃗=(y⃗⋅u1⃗)u1⃗+⋯+(y⃗⋅up⃗)up⃗=[u1⃗⋯up⃗][y⃗⋅u1⃗⋮y⃗⋅up⃗]=[u1⃗⋯up⃗][u1⃗Ty⃗⋮up⃗Ty⃗]=[u1⃗⋯up⃗][u1⃗T⋮up⃗T]y⃗\begin{aligned} \text{proj}_H\vec{y} &= \frac{\vec{y}\cdot\vec{u_1}}{\lVert \vec{u_1} \rVert^2}\vec{u_1} + \cdots + \frac{\vec{y}\cdot\vec{u_p}}{\lVert \vec{u_p} \rVert^2}\vec{u_p}\\ &=\left(\vec{y}\cdot\vec{u_1}\right)\vec{u_1} + \cdots + \left(\vec{y}\cdot\vec{u_p}\right)\vec{u_p} \\ &= \begin{bmatrix} \vec{u_1} & \cdots & \vec{u_p}\end{bmatrix} \begin{bmatrix} \vec{y}\cdot\vec{u_1} \\ \vdots \\ \vec{y}\cdot\vec{u_p} \end{bmatrix} \\ &= \begin{bmatrix} \vec{u_1} & \cdots & \vec{u_p}\end{bmatrix} \begin{bmatrix} \vec{u_1}^T\vec{y} \\ \vdots \\ \vec{u_p}^T\vec{y} \end{bmatrix} \\ &= \begin{bmatrix} \vec{u_1} & \cdots & \vec{u_p}\end{bmatrix} \begin{bmatrix} \vec{u_1}^T \\ \vdots \\ \vec{u_p}^T \end{bmatrix} \vec{y} \end{aligned}

令 U=[u1⃗⋯up⃗]U = \begin{bmatrix} \vec{u_1} & \cdots & \vec{u_p}\end{bmatrix}，上式為：

UUTy⃗UU^T\vec{y}

最小二乘問題

最小二乘解的定義

現在我們要解 Ax⃗=b⃗A\vec{x}=\vec{b} ，但該線性方程無解（因 b⃗\vec{b} 不在 AA 的列空間），故只能求最優解。一種思路是用找出一個 x⃗\vec{x}，讓 Ax⃗A\vec{x} 最接近 b⃗\vec{b} ，即 ∥Ax⃗−b⃗∥\lVert A\vec{x}-\vec{b}\rVert 最小。下面我們給出最小二乘的定義：

定義 現有矩陣 Am×nA_{m \times n} 及向量 b⃗∈Rm\vec{b} \in \mathbb{R}^m ，Ax⃗=b⃗A\vec{x}=\vec{b} 的最小二乘解為一個向量 x⃗^∈Rn\hat{\vec{x}} \in \mathbb{R}^n s.t.

∥b⃗−Ax⃗^∥≤∥b⃗−Ax⃗∥,∀x⃗∈Rn\lVert \vec{b}-A\hat{\vec{x}} \rVert \leq \lVert \vec{b}-A\vec{x} \rVert, \forall \vec{x} \in \mathbb{R}^n

最小二乘示意圖

最小二乘解的計算

給定 AA 和 b⃗\vec{b}，由最佳逼近定理可知：

b⃗^=projColAb⃗\hat{\vec{b}}=\text{proj}_{\text{Col}A}\vec{b}

故：

Ax⃗^=b⃗^A\hat{\vec{x}} = \hat{\vec{b}}

因 b⃗−Ax⃗^\vec{b} - A\hat{\vec{x}} 與 ColA\text{Col}A 正交，把 AA 寫成列向量 A=[a1⃗⋯ap⃗]A = [\vec{a_1} \cdots \vec{a_p}] ，則 b⃗−Ax⃗^\vec{b} - A\hat{\vec{x}} 也正交於 AA 的任一列向量 (aj⃗=0a1⃗+⋯+0aj−1⃗+1aj⃗+0aj+1⃗+⋯+0ap⃗∈ColA)\left( \vec{a_j}= 0\vec{a_1} + \cdots + 0\vec{a_{j-1}} + 1\vec{a_j} + 0\vec{a_{j+1}} + \cdots + 0\vec{a_p} \in \text{Col}A\right) ，故 aj⃗⋅(b⃗−Ax⃗^)=aj⃗T(b⃗−Ax⃗^)=0\vec{a_j}\cdot\left(\vec{b} - A\hat{\vec{x}}\right) = \vec{a_j}^T\left(\vec{b} - A\hat{\vec{x}}\right) = 0 ，現在考慮：

AT(b⃗−Ax⃗^)=[a1⃗T⋮ap⃗T](b⃗−Ax⃗^)=[a1⃗T(b⃗−Ax⃗^)⋮ap⃗T(b⃗−Ax⃗^)]=[0⋮0]=0⃗A^T\left( \vec{b} - A\hat{\vec{x}} \right) =\begin{bmatrix}\vec{a_1}^T\\ \vdots\\ \vec{a_p}^T\end{bmatrix} \left( \vec{b} - A\hat{\vec{x}} \right) = \begin{bmatrix}\vec{a_1}^T\left( \vec{b} - A\hat{\vec{x}} \right) \\ \vdots\\ \vec{a_p}^T\left( \vec{b} - A\hat{\vec{x}} \right) \end{bmatrix} = \begin{bmatrix}0\\ \vdots\\ 0\end{bmatrix} =\vec{0}

進而：

ATb⃗−ATAx⃗^=0⃗ATAx⃗^=ATb⃗x⃗^=(ATA)−1ATb⃗\begin{aligned} A^T\vec{b} - A^TA\hat{\vec{x}} &= \vec{0} \\ A^TA\hat{\vec{x}} &= A^T\vec{b} \\ \hat{\vec{x}} &= \left( A^TA \right)^{-1}A^T\vec{b} \end{aligned}

最小二乘算子解的情況

最小二乘算子不是一定能求出唯一解（雖然正交投影 b⃗^\hat{\vec{b}} 一定唯一），下面的定理給出判斷準則。

定理 今有矩陣 Am×nA_{m \times n} ，下面三條等價：

  1. Ax⃗=b⃗A\vec{x} =\vec{b} 有唯一最小二乘解(b⃗∈Fn)\left( \vec{b} \in \mathbb{F}^n \right)
  2. AA 滿秩
  3. ATAA^TA 可逆
    關於這個定理的證明要放到下次。

總的來說，無解的線性方程 Ax⃗=b⃗A\vec{x} = \vec{b} 的最小二乘法解滿足 AATx⃗=ATb⃗AA^T\vec{x}=A^T\vec{b} ，但該方程不一定有唯一解，只有滿足 AA 滿秩或者 ATAA^TA 可逆時，最小二乘算子才有唯一解。