一、正交分解定理（投影定理）

正交分解定理是线性代数中最基础的定理之一，描述了内积空间中向量到子空间的 “最佳逼近” 性质，是理解最小二乘和 QR 分解的核心工具。

1. 基础定义

• 子空间的正交补：设 S 是内积空间 V 的子空间，定义 ，称为 S 的正交补，即与 S 中所有向量正交的向量集合。
• 正交投影：若 可分解为 ，其中 且，则 称为 在 S 上的正交投影， 称为残差。

2. 正交分解定理（投影定理）

定理：设 S 是内积空间 V 的有限维子空间，则对任意 ，存在唯一分解：

其中 ，，且 是 S 中与 距离最近的向量（即 对所有 成立）。

3. 证明（存在性 + 唯一性）

• 存在性：

设 是 S 的一组正交基（有限维子空间必存在正交基），定义：

验证：① （基的线性组合）；② （对任意 j，, ），故分解存在。

• 唯一性：

假设存在另一分解 ，则 。

左边 ，右边 ，而 （只有零向量既在 S 中又在其正交补中），故 且 ，分解唯一。

• 距离最小性：

对任意 ，由勾股定理：

等号仅当 时成立，故 是最近点。

二、列满秩矩阵的 QR 分解

QR 分解是将矩阵分解为 “正交矩阵” 与 “上三角矩阵” 乘积的方法，列满秩矩阵的 QR 分解具有唯一性，是求解线性方程组和最小二乘问题的核心工具。

1. 基础定义

• 列满秩矩阵：设 ，若其列向量线性无关（秩为 n），则称 A 为列满秩矩阵。
• 列正交矩阵：设 ，若 ，则称 Q 为列正交矩阵（列向量两两正交且模长为 1）。
• QR 分解：对列满秩矩阵 ，若存在列正交矩阵 和主对角元为正的上三角矩阵 ，使得 A = QR，则称该分解为 A 的 QR 分解。

2. QR 分解的存在性与唯一性

定理：列满秩矩阵 的 QR 分解存在且唯一（要求 R 的主对角元为正）。

3. 证明

• 存在性（基于 Gram-Schmidt 正交化）：

设 ，列向量线性无关。

① 正交化：构造正交向量组 ,

（减去 在之前正交向量上的投影，保证正交性）。

② 单位化：令 ，则 是列正交矩阵。

③ 构造 R：上三角矩阵 R 满足 （主对角元为正交向量模长），（i < k，上三角元为内积）。

验证：A = QR（展开后与正交化过程一致），故存在性得证。

• 唯一性：

设 列正交，即 主对角元为正的上三角矩阵。

① 由 ，记 则 。

② C 是正交矩阵（）且上三角矩阵（上三角矩阵的逆和乘积仍为上三角）。

③ 正交且上三角的矩阵必为对角矩阵（非对角元为 0），且对角元为 （正交矩阵列模长为 1）。

④ 又 主对角元为正，故 C 主对角元为正（正 × 正的倒数为正），即 。

⑤ 因此 且 ，唯一性得证。

三、最小二乘解

最小二乘解用于求解超定方程组（方程数 > 未知数）的 “最佳近似解”，其本质是向量到子空间的正交投影，可通过 QR 分解或法方程求解。

1. 基础定义

• 超定方程组：设 n)”>，列满秩），，方程组 一般无解，需找 使残差范数最小：

称 为超定方程组的最小二乘解。

• 法方程：满足 的方程称为最小二乘问题的法方程。

2. 最小二乘解的存在性、唯一性与求解

定理：列满秩矩阵 对应的超定方程组 的最小二乘解存在且唯一，且等价于：

① 法方程 ；

② QR 分解的解： 的解（其中 A = QR）；

③ 几何意义：。

3. 证明

• 存在性与唯一性：

① 因 A 列满秩，故 可逆，法方程有唯一解 。

• 与 QR 分解的等价性：

① 由 A = QR，残差 。

② 利用正交分解定理，（，残差正交部分与无关）,。

③ 故最小化残差等价于，因 R 可逆，解唯一。

• 几何意义（正交投影）：

① 由 。

② 故 上的正交投影，符合正交分解定理的 “最近点” 性质。

四、知识关联与总结

1. 逻辑链：正交分解定理 → QR 分解（构造正交基） → 最小二乘解（正交投影的系数）。
2. 核心思想：通过正交性将复杂问题转化为简单的上三角矩阵运算，同时保证数值稳定性（避免直接计算导致的误差放大）。
3. 应用场景：数据拟合、信号处理、机器学习（线性回归）等需 “最优逼近” 的问题。

通过以上内容，可系统掌握从基础定理到实际应用的完整逻辑，理解正交性在数值计算中的核心价值。