Ch 7 The Spectral Theorem · Axler 4e · §7A–7B · pp.204–230

这是 Ch 7 所有故事的起点。内积空间让我们可以讨论"角度"和"正交"——伴随算子就是内积结构自然诱导出来的对偶算子。

存在性 + 唯一性：由 Riesz 表示定理，这样的 $T^*$ 存在且唯一（每个线性泛函 $v \mapsto \langle Tu, v\rangle$ 可写成 $\langle \cdot, w\rangle$ 某个 $w$，这个 $w$ 就是 $T^* v$）。

矩阵形式（在正交规范基下）：

• $\mathbf{R}$ 上：$T^*$ 的矩阵 = $T$ 矩阵的转置 $T^\top$
• $\mathbf{C}$ 上：$T^*$ 的矩阵 = $T$ 矩阵的共轭转置 $\overline{T^\top}$

直觉：伴随 = "内积关系下的镜像"。任何关于 $T$ 的性质都有一个对应的"伴随版本"——$T$ 的零空间 = $T^*$ 的像的正交补 ($\operatorname{null} T = (\operatorname{range} T^*)^\perp$)；$T$ 的像 = $T^*$ 的零空间的正交补。

这两个定义的关系像"正方形 vs 长方形"——自伴是正规的特例。

显然自伴 $\Rightarrow$ 正规（$T T = T T$ 自动成立）。反之不成立。

正规但不自伴的例子：

• 酉算子 $U$（$U^* U = I$）：$U^* = U^{-1}$，$U U^* = U^* U = I$，正规。但 $U \neq U^*$ 一般（比如 2D 旋转 $R_\theta$：$R_\theta^* = R_{-\theta} \neq R_\theta$）
• 斜自伴（skew-adjoint）：$T^* = -T$。也正规，但不自伴
• 一般形式：$T = \alpha I + \beta S$，其中 $S$ 自伴、$\alpha, \beta$ 复数——在 $\mathbf{C}$ 上所有正规算子都是这个形式的推广

非正规的例子：剪切 $\begin{pmatrix}1 & 1 \\ 0 & 1\end{pmatrix}$。$T^\top = \begin{pmatrix}1 & 0 \\ 1 & 1\end{pmatrix}$，$T^\top T = \begin{pmatrix}1 & 1 \\ 1 & 2\end{pmatrix}$，$TT^\top = \begin{pmatrix}2 & 1 \\ 1 & 1\end{pmatrix}$——不相等。所以不正规。

为什么正规重要：Ch 7 的核心定理（谱定理）会告诉你——正规算子在 $\mathbf{C}$ 上等价于"存在正交规范特征基"，自伴在 $\mathbf{R}$ 上等价于"存在正交规范特征基且特征值都是实数"。

即使在复空间 $V$ 上，自伴算子的特征值也全是实数。这是 Ch 7 的第一个"漂亮"结论：

一行证明：设 $Tv = \lambda v$，$v \neq 0$。考虑 $\langle Tv, v\rangle$：

• 左边：$\langle Tv, v\rangle = \langle \lambda v, v\rangle = \lambda \langle v, v\rangle = \lambda \|v\|^2$
• 右边：$\langle Tv, v\rangle = \langle v, T^* v\rangle = \langle v, Tv\rangle = \langle v, \lambda v\rangle = \overline{\lambda} \langle v, v\rangle = \overline{\lambda} \|v\|^2$

所以 $\lambda \|v\|^2 = \overline{\lambda} \|v\|^2$。因 $\|v\|^2 \neq 0$，有 $\lambda = \overline{\lambda}$，即 $\lambda \in \mathbf{R}$。∎

物理意义：量子力学里可观测量（位置、动量、能量、自旋）都由自伴算子表示；测量值永远是实数 这件事是物理定律——数学上正好对应"自伴算子特征值为实"。

附赠：同样的技巧证不同特征值的特征向量互相正交（7.21）：设 $Tv_i = \lambda_i v_i$，$\lambda_1 \neq \lambda_2$，都实数（前面结论）。用 $\langle Tv_1, v_2\rangle$：

$(\lambda_1 - \lambda_2) \langle v_1, v_2\rangle = 0 \Rightarrow \langle v_1, v_2\rangle = 0$。特征向量自动正交——这是谱定理的"一半"。

滑杆改 $T = \begin{pmatrix}a&b\\c&d\end{pmatrix}$。按钮下"对称化"会自动令 $c = b$ 把矩阵变成对称（实自伴）。观察：

• 对称矩阵：两条紫色箭头（正交规范特征基 $(e_1, e_2)$）严格垂直；椭圆主轴正好沿它们方向
• 非对称但正规（如旋转）：特征值为复数，实平面里没实特征向量
• 非正规（如剪切）：特征线不正交（甚至只有一条）

右侧读出 $T^\top T$ vs $T T^\top$ 的差，如果为零就是正规。

翻译：在复空间里，正规就是"能被酉对角化"的充要条件。比可对角化（5D）更严格——不仅有特征基，而且特征基可选正交规范。

为什么说正规是恰好的条件：反向方向比较显然（有正交规范特征基 $\Rightarrow$ $T$ 在该基下对角 $\Rightarrow T, T^*$ 都是对角的 $\Rightarrow$ 可交换 $\Rightarrow$ 正规）。正向（正规 $\Rightarrow$ 有 ONB 特征基）是谱定理的核心，Q12 给证明骨架。

非正规的惩罚：剪切在 $\mathbf{C}$ 上也不能被酉对角化（虽然是上三角化过的）。Jordan 块是最经典的"非正规"反例。

实数域下，"正规"还不够——因为实正规矩阵可能有复特征值（如旋转），那在 $\mathbf{R}$ 上没有实特征基。需要更强的条件：自伴。

写成矩阵方程，这是数据科学最常引用的一条公式：

三件事一起打包：

• $A$ 必可对角化
• 特征向量可选成两两正交的
• 所有特征值都是实数

对比 5D：一般的"可对角化"（5D）只保证存在特征基、不保证正交、不保证特征值实。谱定理把这三条同时升级——自伴算子是"完美版"的可对角化算子。

把谱定理 $A = Q \Lambda Q^\top$ 从右往左读，就是任何对称算子的三步分解：

• Step 1（$Q^\top v$）：先把向量 $v$ 用特征基坐标表示（这是一次正交变换，相当于刚性旋转/反射）
• Step 2（$\Lambda(\cdots)$）：在特征基下，算子就是 $\operatorname{diag}(\lambda_1, \ldots, \lambda_n)$——沿每根特征轴独立拉伸 $\lambda_i$ 倍
• Step 3（$Q(\cdots)$）：把坐标转回标准基（反向的正交变换）

视觉总结：对称矩阵作用在 $v$ 上 = "旋转到特征方向 → 各方向独立缩放 → 旋转回来"。这是整个线性代数里最漂亮的结构分解。

在上面 2D 画布观察：按"对称（自伴）"预设。单位圆被 $T$ 变成椭圆：

• 椭圆的两根主轴方向 = 特征方向（紫色）
• 主轴长度 = 特征值的绝对值（因为沿该方向拉伸 $\lambda_i$ 倍）
• 椭圆没被"倾斜"（两根主轴正交）

按"旋转"预设则完全不同——单位圆还是圆（等距保持），没有拉伸方向；按"剪切"时椭圆出现但主轴不正交，因为剪切不是对称的。

3×3 实对称矩阵 $A$ 把单位球 $\{v : \|v\| = 1\}$ 变成椭球，三根主轴正好沿 3 个互相正交的特征向量方向，主轴半径等于 $|\lambda_i|$。

下面的 Three.js 场景：你改 3×3 矩阵，脚本会自动将其对称化（$\frac{1}{2}(A + A^\top)$）然后可视化：

• 黄色主轴：3 个正交特征方向 $e_1, e_2, e_3$，长度 $= |\lambda_i|$
• 橙色椭球：单位球 $\{v : \|v\| = 1\}$ 被 $A$ 变换后的样子
• 蓝色线框球：原单位球（参照）

拖动鼠标旋转视角。Space 暂停，R 复位相机。

一般对角化 $T = P D P^{-1}$ 和正交对角化 $T = Q \Lambda Q^\top$ 只差一个字母，但应用上天壤之别。三个关键优势：

1. 数值稳定

一般 $P$ 可能接近奇异（条件数大），$P^{-1}$ 计算放大噪声。正交矩阵 $Q$ 的条件数永远 $= 1$——数值完美。这是为什么 LAPACK 的 dsyevr（对称特征分解）是所有特征值算法里最稳定、最快的。

2. 几何保持

正交矩阵 $Q$ 保持长度和角度：$\|Qv\| = \|v\|$、$\langle Qu, Qv\rangle = \langle u, v\rangle$。$Q^\top T Q = \Lambda$ 这种变换就是"换一副眼镜看 $T$，眼镜本身不扭曲距离"。在物理学、工程学里这意味着能量守恒、质量守恒等物理不变量被保留。

3. 最优低秩近似（Eckart-Young）

若 $A = Q \Lambda Q^\top$，保留最大 $k$ 个特征值对应的特征向量做 $A_k = Q_k \Lambda_k Q_k^\top$，则 $A_k$ 是所有秩 $\leq k$ 矩阵中与 $A$ 距离最小的（Frobenius 或谱范数意义下）。这直接是 PCA 和 SVD 的精髓——主成分截断 = 最优降维。

4. 勾股分解

由 $V = E(\lambda_1) \oplus \cdots \oplus E(\lambda_m)$ 且各特征空间两两正交，任意 $v$ 可唯一分解成正交投影之和：$v = \sum_i P_{E(\lambda_i)} v$。这是傅里叶分析、小波变换、多尺度分析的共同模板。

对自伴 $A$ 和非零向量 $v$，定义Rayleigh 商：

证明思路：在正交规范特征基 $(e_1, \ldots, e_n)$ 下写 $v = \sum c_i e_i$。则 $\langle v, v\rangle = \sum c_i^2$、$\langle Av, v\rangle = \sum \lambda_i c_i^2$（用 $A e_i = \lambda_i e_i$ 和正交性）。所以 $R_A(v) = \sum \lambda_i c_i^2 / \sum c_i^2$ 是特征值的凸组合（权重 $c_i^2 / \sum c_j^2$），取极值时全权重压到 $\lambda_1$ 或 $\lambda_n$ 对应的 $e_i$。

应用：

• PCA 的第一主成分：方差最大化方向 $\arg\max_{\|v\|=1} v^\top \Sigma v$，由 Rayleigh 直接给出就是 $\Sigma$ 的最大特征值对应的特征向量
• 量子力学的基态：$H$ 的基态能量 $E_0 = \min_\psi R_H(\psi)$，变分方法的基础
• 图的 Fiedler vector：拉普拉斯矩阵 $L$ 的第二小特征值及其特征向量——谱聚类的算法内核

谱定理要求算子自伴/正规，才能正交对角化。但如果 $A$ 是任意矩阵（甚至不方阵），怎么办？—— SVD 出场。

几何三步（SVD 对任何线性映射的普适描述）：

• $V^\top$：在源空间 $\mathbf{R}^n$ 里做正交变换（旋转）
• $\Sigma$：沿 $n$ 根源轴独立拉伸（奇异值 $\sigma_i \geq 0$），可能嵌入到更高维或丢到更低维
• $U$：在目标空间 $\mathbf{R}^m$ 里做另一次正交变换

与谱定理的精确关系：奇异值是 $A^\top A$ 特征值的平方根（$A^\top A$ 总是对称半正定，可谱分解）。写成：

所以 SVD = "对 $A^\top A$（或 $A A^\top$）应用谱定理" 再拼起来。谱定理是"对称方阵的全套"，SVD 是"一般矩阵的可用全套"。

实用价值：数据矩阵 $X$（$n$ 样本 × $p$ 特征）的 SVD 给出 PCA、潜在因子模型、图像压缩、推荐系统、伪逆（$A^+ = V \Sigma^+ U^\top$）、秩计算……所有"近似线性代数"的工具。

证明分三步（以复谱定理为例）：

Step 1：正规算子在 1 维不变子空间上作用为标量

对复有限维 $V$、正规 $T$，由 5.19（复域下每个算子有特征值）取特征向量 $v_1$。考虑子空间 $U = \operatorname{span}(v_1)$ 和其正交补 $U^\perp$。

Step 2：正规 ⇒ $U^\perp$ 也是 $T$-不变

关键引理：若 $T$ 正规、$U$ 是 $T$-不变，则 $U^\perp$ 也是 $T$-不变。

证：对 $w \in U^\perp$、$u \in U$。要证 $Tw \in U^\perp$，即 $\langle Tw, u\rangle = 0$。用 $\langle Tw, u\rangle = \langle w, T^* u\rangle$。如果能证 $T^* u \in U$ 就行。

再证 $U$ 也是 $T^*$-不变（用正规性 + 一个小引理：$\|Tv\| = \|T^* v\|$ 对正规 $T$ 成立）。跳过细节。

Step 3：归纳降维

$T$ 限制到 $U^\perp$（维度 $n - 1$）仍然正规（伴随性质保持）。对 $T|_{U^\perp}$ 归纳——继续找特征向量、取其正交补……一路降维。最终得到 $n$ 个两两正交的特征向量 $v_1, \ldots, v_n$。正规化（除以各自范数）就是正交规范特征基。∎

Axler 7A/7B 习题

• Ex 7A-8：证 $(ST)^* = T^* S^*$
• Ex 7A-13：$T$ 自伴 + $T$ 的所有特征值 $= 0$ ⇒ $T = 0$
• Ex 7B-2：正规的 $T$ 满足 $T^k v = 0 \Rightarrow Tv = 0$

两个最硬核的应用——所有数据科学工具的根基。

应用 1 · PCA（主成分分析）

数据矩阵 $X \in \mathbf{R}^{n \times p}$（$n$ 样本、$p$ 特征，已中心化）。协方差矩阵 $\Sigma = \frac{1}{n} X^\top X \in \mathbf{R}^{p \times p}$ 天然对称半正定（$v^\top \Sigma v = \frac{1}{n}\|Xv\|^2 \geq 0$）。

谱定理给出 $\Sigma = Q \Lambda Q^\top$，其中：

• $Q = [q_1, q_2, \ldots, q_p]$：正交，每列是一个主成分方向
• $\Lambda = \operatorname{diag}(\lambda_1, \ldots, \lambda_p)$，$\lambda_i \geq 0$：每个方向上的方差

投影降维：取前 $k$ 大的特征值对应的 $q_i$ 列组成 $Q_k \in \mathbf{R}^{p \times k}$，数据 $Y = X Q_k \in \mathbf{R}^{n \times k}$ 是 $k$ 维简化版，保留了最多方差。

由 Eckart-Young 定理，$Q_k$ 是所有 $p \to k$ 线性降维里方差最大、重构误差最小的选择。这是因子模型、Eigenface、t-SNE、各种表示学习的共同起点。

金融实例：美债 $\{2Y, 5Y, 10Y, 30Y\}$ 收益率的 $\Sigma$ 做谱分解：第 1 特征方向 $\approx (1, 1, 1, 1)$ 水平、第 2 $\approx (-1, -0.5, 0.5, 1)$ 斜率、第 3 $\approx (1, -1, -1, 1)$ 曲率，方差贡献分别 $\approx$ 85% / 10% / 3%。整条收益率曲线的波动只有 3 个真实维度。做 steepener 就是押注第 2 方向、butterfly 押注第 3。

应用 2 · 量子力学：可观测量必为自伴

物理公设：任何可测量的物理量（位置 $\hat X$、动量 $\hat P$、能量 $\hat H$、自旋 $\hat S_z$）对应于 Hilbert 空间上的自伴算子。测量该量时：

• 测量结果 = 算子的某个特征值 $\lambda_i$（7.13 保证 $\lambda_i \in \mathbf{R}$——必须是实数否则物理无意义）
• 测量后系统状态 $\psi$ 坍缩到 $\lambda_i$ 对应的特征向量 $\psi_i$
• 测到 $\lambda_i$ 的概率 $= |\langle \psi, \psi_i\rangle|^2$（要求 $\psi_i$ 正交规范——谱定理保证这件事总能办到）

Schrödinger 方程 $\hat H \psi = E \psi$ 就是能量算子的谱方程，解出来的特征值 $E_n$ 就是观测到的能级（氢原子 $-13.6/n^2$ eV、粒子在盒子里的 $n^2 \pi^2 \hbar^2 / (2mL^2)$ 等）。整个量子力学的数学骨架就是"自伴算子 + 谱定理 + Rayleigh 变分"。

两个方向：

• 7C 正算子（Positive Operators）：自伴且特征值 $\geq 0$。这是协方差矩阵、核矩阵、Gram 矩阵的共同抽象。Q 学到这里学 $\sqrt T$（算子的平方根）和 Cholesky 分解
• 7E SVD + 7F 后果：Q11 已经预告了 SVD 的存在；7E 是完整证明 + 几何图像，7F 给推论（低秩近似、伪逆、条件数、极分解）。强烈推荐——做数据科学/ML/金融建模的人这是日常工具

学完 SVD 后，线性代数的整张地图就完整了：

剩下的只是专门化（PCA、LSI、PageRank、Kalman 滤波、LQ/QR 分解……）。

每题至少想 3 分钟再看答案。难度：★ 概念/简单计算 · ★★ 证明 · ★★★ 综合。