文件浏览器

004 《线性代数：理论、方法与应用深度解析 (Linear Algebra: In-depth Analysis of Theory, Methods, and Applications)》

作者Lou Xiao, gemini创建时间2025-04-19 02:21:56更新时间2025-04-19 02:21:56

🌟🌟🌟本文案由Gemini 2.5 Flash Preview 04-17创作，用来辅助学习知识。🌟🌟🌟

书籍大纲

▮▮▮▮ 1. chapter 1：线性代数导论与线性方程组 (Introduction to Linear Algebra and Systems of Linear Equations)
▮▮▮▮▮▮▮ 1.1 什么是线性代数？ (What is Linear Algebra?)
▮▮▮▮▮▮▮ 1.2 线性方程组 (Systems of Linear Equations)
▮▮▮▮▮▮▮ 1.3 高斯消元法 (Gaussian Elimination) 与行阶梯形 (Row Echelon Form)
▮▮▮▮▮▮▮ 1.4 线性方程组的矩阵表示 (Matrix Representation of Systems of Linear Equations)
▮▮▮▮▮▮▮ 1.5 齐次线性方程组 (Homogeneous Systems of Linear Equations)
▮▮▮▮ 2. chapter 2：向量与矩阵 (Vectors and Matrices)
▮▮▮▮▮▮▮ 2.1 向量空间 Rn (Vector Space Rn) 及其几何意义 (Geometric Interpretation)
▮▮▮▮▮▮▮ 2.2 向量运算 (Vector Operations)
▮▮▮▮▮▮▮ 2.3 矩阵及其类型 (Matrices and Their Types)
▮▮▮▮▮▮▮ 2.4 矩阵运算 (Matrix Operations)：加法、标量乘法、乘法 (Addition, Scalar Multiplication, Multiplication)
▮▮▮▮▮▮▮ 2.5 转置矩阵 (Transpose Matrix) 与对称矩阵 (Symmetric Matrix)
▮▮▮▮▮▮▮ 2.6 逆矩阵 (Inverse Matrix) 与矩阵的可逆性 (Matrix Invertibility)
▮▮▮▮▮▮▮ 2.7 初等矩阵 (Elementary Matrices) 与行变换 (Row Operations)
▮▮▮▮ 3. chapter 3：向量空间 (Vector Spaces)
▮▮▮▮▮▮▮ 3.1 向量空间的定义与例子 (Definition and Examples of Vector Spaces)
▮▮▮▮▮▮▮ 3.2 子空间 (Subspaces)
▮▮▮▮▮▮▮ 3.3 线性组合 (Linear Combinations) 与生成空间 (Span)
▮▮▮▮▮▮▮ 3.4 线性相关 (Linear Dependence) 与线性无关 (Linear Independence)
▮▮▮▮▮▮▮ 3.5 基 (Basis) 与维数 (Dimension)
▮▮▮▮▮▮▮ 3.6 坐标 (Coordinates) 与基变换 (Change of Basis)
▮▮▮▮ 4. chapter 4：线性变换 (Linear Transformations)
▮▮▮▮▮▮▮ 4.1 线性变换的定义与性质 (Definition and Properties of Linear Transformations)
▮▮▮▮▮▮▮ 4.2 线性变换的矩阵表示 (Matrix Representation of Linear Transformations)
▮▮▮▮▮▮▮ 4.3 核空间 (Kernel Space) 与像空间 (Image Space)
▮▮▮▮▮▮▮ 4.4 秩 (Rank) 与零化度 (Nullity)
▮▮▮▮▮▮▮ 4.5 秩-零化度定理 (Rank-Nullity Theorem)
▮▮▮▮▮▮▮ 4.6 线性变换的复合 (Composition) 与逆 (Inverse)
▮▮▮▮ 5. chapter 5：行列式 (Determinants)
▮▮▮▮▮▮▮ 5.1 行列式的定义 (Definition of Determinants)：排列 (Permutations) 与代数余子式 (Cofactor)
▮▮▮▮▮▮▮ 5.2 行列式的性质 (Properties of Determinants)
▮▮▮▮▮▮▮ 5.3 行列式与矩阵的可逆性 (Determinants and Matrix Invertibility)
▮▮▮▮▮▮▮ 5.4 克拉默法则 (Cramer's Rule)
▮▮▮▮▮▮▮ 5.5 行列式的几何意义 (Geometric Interpretation of Determinants)
▮▮▮▮ 6. chapter 6：特征值与特征向量 (Eigenvalues and Eigenvectors)
▮▮▮▮▮▮▮ 6.1 特征值与特征向量的定义 (Definition of Eigenvalues and Eigenvectors)
▮▮▮▮▮▮▮ 6.2 特征方程 (Characteristic Equation) 与特征多项式 (Characteristic Polynomial)
▮▮▮▮▮▮▮ 6.3 计算特征值与特征向量 (Computing Eigenvalues and Eigenvectors)
▮▮▮▮▮▮▮ 6.4 相似矩阵 (Similar Matrices) 与对角化 (Diagonalization)
▮▮▮▮▮▮▮ 6.5 对称矩阵 (Symmetric Matrices) 的特征值与特征向量
▮▮▮▮▮▮▮ 6.6 Cayley-Hamilton 定理 (Cayley-Hamilton Theorem)
▮▮▮▮ 7. chapter 7：内积空间 (Inner Product Spaces)
▮▮▮▮▮▮▮ 7.1 内积的定义与性质 (Definition and Properties of Inner Products)
▮▮▮▮▮▮▮ 7.2 范数 (Norms) 与距离 (Distances)
▮▮▮▮▮▮▮ 7.3 正交性 (Orthogonality)
▮▮▮▮▮▮▮ 7.4 正交基 (Orthogonal Basis) 与标准正交基 (Orthonormal Basis)
▮▮▮▮▮▮▮ 7.5 施密特正交化过程 (Gram-Schmidt Process)
▮▮▮▮▮▮▮ 7.6 正交补空间 (Orthogonal Complement) 与投影 (Projection)
▮▮▮▮ 8. chapter 8：矩阵分解 (Matrix Decompositions)
▮▮▮▮▮▮▮ 8.1 LU分解 (LU Decomposition)
▮▮▮▮▮▮▮ 8.2 QR分解 (QR Decomposition)
▮▮▮▮▮▮▮ 8.3 奇异值分解 (Singular Value Decomposition, SVD)
▮▮▮▮▮▮▮ 8.4 谱分解 (Spectral Decomposition) (针对对称矩阵)
▮▮▮▮ 9. chapter 9：线性代数的应用 (Applications of Linear Algebra)
▮▮▮▮▮▮▮ 9.1 线性方程组在实际问题中的应用 (Applications of Systems of Linear Equations in Real-world Problems)
▮▮▮▮▮▮▮ 9.2 最小二乘法 (Least Squares Method)
▮▮▮▮▮▮▮ 9.3 马尔可夫链 (Markov Chains)
▮▮▮▮▮▮▮ 9.4 主成分分析 (Principal Component Analysis, PCA)
▮▮▮▮▮▮▮ 9.5 线性代数在计算机图形学 (Computer Graphics) 中的应用
▮▮▮▮▮▮▮ 9.6 线性代数在微分方程 (Differential Equations) 中的应用
▮▮▮▮ 10. chapter 10：进阶主题与展望 (Advanced Topics and Outlook)
▮▮▮▮▮▮▮ 10.1 二次型 (Quadratic Forms)
▮▮▮▮▮▮▮ 10.2 若尔当标准型 (Jordan Canonical Form)
▮▮▮▮▮▮▮ 10.3 广义逆矩阵 (Generalized Inverse Matrix)
▮▮▮▮▮▮▮ 10.4 数值线性代数简介 (Introduction to Numerical Linear Algebra)
▮▮▮▮▮▮▮ 10.5 线性代数在机器学习 (Machine Learning) 与数据科学 (Data Science) 中的前沿应用
▮▮▮▮▮▮▮ A.1 集合论基础 (Basic Set Theory)
▮▮▮▮▮▮▮ A.2 复数 (Complex Numbers) 简介
▮▮▮▮▮▮▮ A.3 符号与术语表 (Glossary of Symbols and Terms)

1. chapter 1：线性代数导论与线性方程组 (Introduction to Linear Algebra and Systems of Linear Equations)

欢迎来到线性代数的世界！🌍 作为一门基础且强大的数学分支，线性代数不仅仅是抽象的理论，更是解决现实世界中无数问题的关键工具。从工程设计到经济建模，从计算机图形学到机器学习，线性代数无处不在。本章将带你踏上这段激动人心的旅程，从最基本的概念——线性方程组——开始，逐步揭示线性代数的魅力。

1.1 什么是线性代数？ (What is Linear Algebra?)

线性代数是数学的一个分支，主要研究向量（vectors）、向量空间（vector spaces）、线性变换（linear transformations）以及由有限维向量空间所产生的矩阵（matrices）和线性方程组（systems of linear equations）。

简单来说，线性代数的核心是“线性”的概念。线性关系通常表现为直线、平面或更高维的“平坦”结构。在线性代数中，我们研究如何处理和理解这些线性关系。

线性代数之所以如此重要，是因为许多自然现象和实际问题都可以用线性模型来近似或描述。例如：

⚝ 物理学中的力、速度、加速度等都可以用向量表示。
⚝ 经济学中的投入产出模型是典型的线性方程组应用。
⚝ 计算机图形学中，物体的旋转、缩放、平移等变换都可以用矩阵乘法来实现。
⚝ 数据科学和机器学习中，数据常常被组织成矩阵，许多算法（如回归、主成分分析）都依赖于线性代数运算。

本课程将从基础概念出发，逐步深入，帮助你建立坚实的线性代数基础，并理解其在各个领域的广泛应用。

1.2 线性方程组 (Systems of Linear Equations)

线性代数的一个核心问题是求解线性方程组。一个线性方程（linear equation）是变量之间只通过加法、减法和与常数的乘法连接的方程。例如，\(2x + 3y - z = 5\) 是一个线性方程，而 \(x^2 + y = 1\) 或 \(xy = 3\) 则不是。

一个线性方程组（system of linear equations）是由有限个线性方程组成的集合，它们共享同一组变量。例如：

\[ \begin{cases} x + 2y - z = 4 \\ 3x - y + 2z = 1 \\ -x + 3y - z = 5 \end{cases} \]

这是一个包含三个方程和三个变量（\(x, y, z\)）的线性方程组。

线性方程组的解（solution）是指一组变量的值，使得方程组中的所有方程同时成立。对于上面的例子，如果存在一组 \(x, y, z\) 的值，代入后使得三个等式都成立，那么这组值就是一个解。

一个线性方程组可能具有以下三种情况之一的解：

① 唯一解（Unique solution）：方程组恰好有一个解。
② 无解（No solution）：方程组没有任何解。
③ 无穷多解（Infinitely many solutions）：方程组有无数个解。

从几何上看，在二维空间中，一个线性方程表示一条直线；一个包含两个变量的线性方程组的解对应于这些直线的交点。两条直线可能相交于一点（唯一解），平行不相交（无解），或者重合（无穷多解）。在三维空间中，一个线性方程表示一个平面；三个变量的线性方程组的解对应于这些平面的交点。

理解线性方程组的解的结构是线性代数的基础。

1.3 高斯消元法 (Gaussian Elimination) 与行阶梯形 (Row Echelon Form)

高斯消元法（Gaussian Elimination）是一种系统地求解线性方程组的方法。它的核心思想是通过一系列被称为初等行变换（Elementary Row Operations）的操作，将方程组转化为一个更容易求解的等价方程组。

初等行变换包括以下三种类型：

① 交换两行（Swap two rows）：将方程组中任意两个方程的位置互换。
② 某一行乘以非零常数（Multiply a row by a non-zero scalar）：将方程组中某个方程的两边同乘以一个非零常数。
③ 某一行加上另一行的倍数（Add a multiple of one row to another row）：将方程组中某个方程的两边加上另一个方程两边的同一个非零倍数。

这些操作之所以被称为“初等行变换”，是因为它们不会改变方程组的解集。通过这些变换，我们可以将方程组的系数排列成一个特定的形式，称为行阶梯形（Row Echelon Form, REF）。

一个矩阵处于行阶梯形，如果满足以下条件：

① 所有非零行（包含至少一个非零元素的行）都位于所有零行（所有元素都是零的行）的上方。
② 每一行的主元（leading entry，即该行最左边的非零元素）位于其上方行的主元的右边。
③ 位于同一列的两个主元是不允许的。换句话说，主元所在的列，在该主元下方（或上方，取决于定义，但通常指下方）的所有元素都是零。

如果一个矩阵满足行阶梯形的所有条件，并且还满足以下额外条件，则称其处于最简行阶梯形（Reduced Row Echelon Form, RREF）：

④ 每一行的主元都是 1。
⑤ 每一个主元所在的列，除了主元本身外，所有其他元素都是零。

高斯消元法通过初等行变换将任何矩阵转化为行阶梯形。高斯-约旦消元法（Gauss-Jordan Elimination）则进一步将其转化为最简行阶梯形。

高斯消元法的步骤（转化为行阶梯形）：

① 从最左边的非零列开始，找到一个非零元素作为主元。如果最上面的元素是零，可以通过交换行将非零元素移到最上面。
② 利用初等行变换（类型 ③），将该主元下方的所有元素都变为零。
③ 忽略包含该主元的那一行和该主元所在的列，对剩余的子矩阵重复步骤 ① 和 ②，直到整个矩阵处于行阶梯形。

高斯-约旦消元法的步骤（转化为最简行阶梯形）：

① 先使用高斯消元法将矩阵转化为行阶梯形。
② 从最右边的主元开始，向上利用初等行变换（类型 ③），将该主元上方的所有元素都变为零。
③ 将每一个主元通过乘以适当的非零常数（类型 ②）变为 1。

通过将线性方程组的增广矩阵（augmented matrix，下一节介绍）转化为行阶梯形或最简行阶梯形，我们可以直接读出方程组的解的情况：

⚝ 如果在行阶梯形中出现形如 [0 0 ... 0 | b] 且 \(b \neq 0\) 的行，则方程组无解。
⚝ 如果没有出现上述情况，且主元的个数等于变量的个数，则方程组有唯一解。
⚝ 如果没有出现上述情况，且主元的个数少于变量的个数，则方程组有无穷多解。自由变量（free variables）的个数等于变量总数减去主元个数。

示例： 求解方程组
\[ \begin{cases} x + 2y = 5 \\ 2x + 3y = 8 \end{cases} \]
其增广矩阵为：
\[ \begin{pmatrix} 1 & 2 & | & 5 \\ 2 & 3 & | & 8 \end{pmatrix} \]
进行初等行变换：
将第二行减去第一行的 2 倍（\(R_2 \leftarrow R_2 - 2R_1\)）：
\[ \begin{pmatrix} 1 & 2 & | & 5 \\ 0 & -1 & | & -2 \end{pmatrix} \]
将第二行乘以 -1（\(R_2 \leftarrow -R_2\)）：
\[ \begin{pmatrix} 1 & 2 & | & 5 \\ 0 & 1 & | & 2 \end{pmatrix} \]
此时矩阵处于行阶梯形。继续转化为最简行阶梯形：
将第一行减去第二行的 2 倍（\(R_1 \leftarrow R_1 - 2R_2\)）：
\[ \begin{pmatrix} 1 & 0 & | & 1 \\ 0 & 1 & | & 2 \end{pmatrix} \]
此时矩阵处于最简行阶梯形。从矩阵中可以直接读出解：\(x = 1, y = 2\)。这是唯一解。

1.4 线性方程组的矩阵表示 (Matrix Representation of Systems of Linear Equations)

线性方程组可以简洁地用矩阵形式表示。考虑一个包含 \(m\) 个方程和 \(n\) 个变量的线性方程组：

\[ \begin{cases} a_{11}x_1 + a_{12}x_2 + \dots + a_{1n}x_n = b_1 \\ a_{21}x_1 + a_{22}x_2 + \dots + a_{2n}x_n = b_2 \\ \vdots \\ a_{m1}x_1 + a_{m2}x_2 + \dots + a_{mn}x_n = b_m \end{cases} \]

我们可以定义：

① 系数矩阵（Coefficient matrix）\(A\): 一个 \(m \times n\) 矩阵，其元素是变量的系数。
\[ A = \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \end{pmatrix} \]
② 变量向量（Variable vector）\(x\): 一个 \(n \times 1\) 列向量，包含所有变量。
\[ x = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix} \]
③ 常数向量（Constant vector）\(b\): 一个 \(m \times 1\) 列向量，包含方程右侧的常数。
\[ b = \begin{pmatrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{pmatrix} \]

利用矩阵乘法的定义，上述线性方程组可以紧凑地写成矩阵方程（matrix equation）的形式：

\[ Ax = b \]

这种矩阵表示法极大地简化了线性方程组的书写和理论分析。

为了使用高斯消元法求解 \(Ax = b\)，我们通常构造增广矩阵（Augmented matrix），记为 \([A | b]\)。这是一个 \(m \times (n+1)\) 矩阵，由系数矩阵 \(A\) 和常数向量 \(b\) 拼接而成：

\[ [A | b] = \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1n} & | & b_1 \\ a_{21} & a_{22} & \dots & a_{2n} & | & b_2 \\ \vdots & \vdots & \ddots & \vdots & | & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} & | & b_m \end{pmatrix} \]

对增广矩阵 \([A | b]\) 进行初等行变换，等价于对原方程组进行相应的初等行变换。将 \([A | b]\) 化为行阶梯形或最简行阶梯形，就可以方便地分析方程组的解。

例如，上一节的方程组：
\[ \begin{cases} x + 2y = 5 \\ 2x + 3y = 8 \end{cases} \]
其矩阵表示为 \(Ax = b\)，其中
\[ A = \begin{pmatrix} 1 & 2 \\ 2 & 3 \end{pmatrix}, \quad x = \begin{pmatrix} x \\ y \end{pmatrix}, \quad b = \begin{pmatrix} 5 \\ 8 \end{pmatrix} \]
增广矩阵为 \([A | b] = \begin{pmatrix} 1 & 2 & | & 5 \\ 2 & 3 & | & 8 \end{pmatrix}\)。

1.5 齐次线性方程组 (Homogeneous Systems of Linear Equations)

当线性方程组 \(Ax = b\) 中的常数向量 \(b\) 是零向量（zero vector），即 \(b = \mathbf{0}\) 时，该方程组称为齐次线性方程组（Homogeneous System of Linear Equations）。其形式为：

\[ Ax = \mathbf{0} \]

齐次线性方程组总是至少有一个解，即所有变量都取零的解：\(x_1 = 0, x_2 = 0, \dots, x_n = 0\)。这个解称为零解（trivial solution）。

齐次线性方程组的解集（solution set）具有重要的结构。它要么只有零解，要么除了零解外还有非零解（non-trivial solutions），从而有无穷多解。

判断齐次线性方程组是否有非零解的关键在于系数矩阵 \(A\)。将增广矩阵 \([A | \mathbf{0}]\) 进行高斯消元，由于最后一列始终是零，初等行变换不会改变这一列的零值。因此，我们只需要关注系数矩阵 \(A\) 的行阶梯形。

⚝ 如果将 \(A\) 化为行阶梯形后，主元的个数等于变量的个数 \(n\)，则方程组只有零解。这意味着矩阵 \(A\) 是可逆的（invertible），这将在后续章节详细讨论。
⚝ 如果将 \(A\) 化为行阶梯形后，主元的个数少于变量的个数 \(n\)，则方程组有无穷多解（包括零解）。在这种情况下，存在自由变量，我们可以用参数表示通解。

齐次线性方程组的解集实际上构成了一个向量空间，称为矩阵 \(A\) 的零空间（null space）或核空间（kernel space），记为 \(N(A)\)。这是线性代数中一个非常重要的概念，我们将在第三章和第四章深入探讨。

示例： 求解齐次方程组
\[ \begin{cases} x + y - z = 0 \\ 2x - y + z = 0 \\ x + 2y - 2z = 0 \end{cases} \]
系数矩阵为：
\[ A = \begin{pmatrix} 1 & 1 & -1 \\ 2 & -1 & 1 \\ 1 & 2 & -2 \end{pmatrix} \]
对增广矩阵 \([A | \mathbf{0}]\) 进行行变换（只需对 \(A\) 进行）：
\[ \begin{pmatrix} 1 & 1 & -1 \\ 2 & -1 & 1 \\ 1 & 2 & -2 \end{pmatrix} \xrightarrow{R_2 \leftarrow R_2 - 2R_1} \begin{pmatrix} 1 & 1 & -1 \\ 0 & -3 & 3 \\ 1 & 2 & -2 \end{pmatrix} \xrightarrow{R_3 \leftarrow R_3 - R_1} \begin{pmatrix} 1 & 1 & -1 \\ 0 & -3 & 3 \\ 0 & 1 & -1 \end{pmatrix} \xrightarrow{R_2 \leftrightarrow R_3} \begin{pmatrix} 1 & 1 & -1 \\ 0 & 1 & -1 \\ 0 & -3 & 3 \end{pmatrix} \xrightarrow{R_3 \leftarrow R_3 + 3R_2} \begin{pmatrix} 1 & 1 & -1 \\ 0 & 1 & -1 \\ 0 & 0 & 0 \end{pmatrix} \]
化为行阶梯形后，主元有两个（在第一列和第二列），变量有三个（\(x, y, z\)）。主元个数 \(2 < 3\)，所以有无穷多解。
将行阶梯形矩阵写回方程组形式：
\[ \begin{cases} x + y - z = 0 \\ y - z = 0 \\ 0 = 0 \end{cases} \]
从第二个方程得到 \(y = z\)。代入第一个方程得到 \(x + z - z = 0\)，即 \(x = 0\)。
变量 \(z\) 是自由变量，可以取任意实数 \(t\)。
所以解集为 \(x = 0, y = t, z = t\)，其中 \(t\) 是任意实数。
用向量形式表示解：
\[ \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ t \\ t \end{pmatrix} = t \begin{pmatrix} 0 \\ 1 \\ 1 \end{pmatrix} \]
这表示所有解都是向量 \(\begin{pmatrix} 0 \\ 1 \\ 1 \end{pmatrix}\) 的标量倍数。

本章我们初步了解了线性代数的研究对象——线性方程组，并学习了求解它的基本方法——高斯消元法，以及如何用矩阵表示方程组。这些是后续学习向量、矩阵运算和向量空间等概念的基础。

2. chapter 2：向量与矩阵 (Vectors and Matrices)

线性代数的核心在于研究向量、向量空间、线性变换以及与它们相关的矩阵理论。在第一章中，我们初步接触了线性方程组及其矩阵表示。本章将深入探讨构成这些表示的基本元素：向量和矩阵。我们将从最直观的 \(R^n\) 空间中的向量开始，逐步引入向量运算、矩阵的定义、类型及运算，并探讨矩阵的一些重要性质，为后续章节的学习奠定坚实基础。

2.1 向量空间 Rn (Vector Space Rn) 及其几何意义 (Geometric Interpretation)

向量是线性代数中最基本的概念之一。从几何上看，向量可以表示空间中的一个方向和大小；从代数上看，向量可以看作是一组有序的数。

2.1.1 向量的定义 (Definition of Vectors)

一个 \(n\) 维向量 (n-dimensional vector) 是一个包含 \(n\) 个有序实数的列表。这些数通常写成一列或一行。
⚝ 列向量 (Column vector)：
\[ \mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix} \]
⚝ 行向量 (Row vector)：
\[ \mathbf{v} = \begin{pmatrix} v_1 & v_2 & \dots & v_n \end{pmatrix} \]
其中 \(v_1, v_2, \dots, v_n\) 是实数，称为向量的分量 (components) 或坐标 (coordinates)。

所有由 \(n\) 个实数组成的列向量的集合称为 \(n\) 维实向量空间 (n-dimensional real vector space)，记作 \(R^n\)。类似地，所有由 \(n\) 个实数组成的行向量的集合也可以看作 \(R^n\)。在本书中，除非特别说明，向量通常指列向量。

2.1.2 Rn 的几何意义 (Geometric Interpretation of Rn)

① \(R^1\)：实数轴。向量可以看作是实数轴上的一个点或从原点出发到该点的有向线段。
② \(R^2\)：二维平面。向量 \(\begin{pmatrix} v_1 \\ v_2 \end{pmatrix}\) 可以表示平面上的一个点 \((v_1, v_2)\)，或者从原点 \((0, 0)\) 指向点 \((v_1, v_2)\) 的有向线段。有向线段的长度表示向量的大小（模长），方向表示向量的方向。
③ \(R^3\)：三维空间。向量 \(\begin{pmatrix} v_1 \\ v_2 \\ v_3 \end{pmatrix}\) 可以表示空间中的一个点 \((v_1, v_2, v_3)\)，或者从原点 \((0, 0, 0)\) 指向点 \((v_1, v_2, v_3)\) 的有向线段。
④ 对于 \(n > 3\)，\(R^n\) 的几何直观性减弱，但我们仍然可以将其视为一个抽象的 \(n\) 维空间，向量是空间中的点或从原点出发的“箭头”。这种代数表示允许我们将几何概念推广到更高维度。

向量的几何表示强调了其方向和大小的属性，而代数表示则方便进行计算。理解这两种视角对于掌握线性代数至关重要。

2.2 向量运算 (Vector Operations)

在 \(R^n\) 空间中，定义了向量的加法和标量乘法，这些运算满足特定的性质，使得 \(R^n\) 成为一个向量空间（将在第三章详细讨论）。此外，还定义了向量的内积（点积）。

2.2.1 向量加法 (Vector Addition)

设 \(\mathbf{u} = \begin{pmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{pmatrix}\) 和 \(\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix}\) 是 \(R^n\) 中的两个向量。它们的和定义为对应分量相加：
\[ \mathbf{u} + \mathbf{v} = \begin{pmatrix} u_1 + v_1 \\ u_2 + v_2 \\ \vdots \\ u_n + v_n \end{pmatrix} \]
几何意义：在 \(R^2\) 或 \(R^3\) 中，向量加法遵循平行四边形法则 (parallelogram rule) 或三角形法则 (triangle rule)。将 \(\mathbf{v}\) 的起点放在 \(\mathbf{u}\) 的终点，则从 \(\mathbf{u}\) 的起点到 \(\mathbf{v}\) 的终点的向量即为 \(\mathbf{u} + \mathbf{v}\)。

2.2.2 标量乘法 (Scalar Multiplication)

设 \(\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix}\) 是 \(R^n\) 中的一个向量，\(c\) 是一个实数（称为标量 (scalar)）。向量 \(\mathbf{v}\) 与标量 \(c\) 的乘积定义为将 \(\mathbf{v}\) 的每个分量都乘以 \(c\):
\[ c\mathbf{v} = \begin{pmatrix} cv_1 \\ cv_2 \\ \vdots \\ cv_n \end{pmatrix} \]
几何意义：标量乘法改变向量的长度和/或方向。
⚝ 如果 \(c > 0\)，\(c\mathbf{v}\) 的方向与 \(\mathbf{v}\) 相同，长度是 \(\mathbf{v}\) 的 \(c\) 倍。
⚝ 如果 \(c < 0\)，\(c\mathbf{v}\) 的方向与 \(\mathbf{v}\) 相反，长度是 \(\mathbf{v}\) 的 \(|c|\) 倍。
⚝ 如果 \(c = 0\)，\(0\mathbf{v}\) 是零向量 (zero vector) \(\mathbf{0} = \begin{pmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{pmatrix}\)。

2.2.3 向量的内积 (Inner Product) 或点积 (Dot Product)

设 \(\mathbf{u} = \begin{pmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{pmatrix}\) 和 \(\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix}\) 是 \(R^n\) 中的两个向量。它们的内积（或点积）定义为对应分量乘积之和：
\[ \mathbf{u} \cdot \mathbf{v} = u_1v_1 + u_2v_2 + \dots + u_nv_n = \sum_{i=1}^n u_iv_i \]
内积的结果是一个标量。

内积的性质：
① \(\mathbf{u} \cdot \mathbf{v} = \mathbf{v} \cdot \mathbf{u}\) (交换律)
② \((\mathbf{u} + \mathbf{v}) \cdot \mathbf{w} = \mathbf{u} \cdot \mathbf{w} + \mathbf{v} \cdot \mathbf{w}\) (分配律)
③ \((c\mathbf{u}) \cdot \mathbf{v} = c(\mathbf{u} \cdot \mathbf{v})\) (与标量乘法结合律)
④ \(\mathbf{v} \cdot \mathbf{v} \ge 0\)，且 \(\mathbf{v} \cdot \mathbf{v} = 0\) 当且仅当 \(\mathbf{v} = \mathbf{0}\)。

内积与向量的长度和夹角有关。向量 \(\mathbf{v}\) 的长度（或范数 (norm)）定义为 \(||\mathbf{v}|| = \sqrt{\mathbf{v} \cdot \mathbf{v}} = \sqrt{v_1^2 + v_2^2 + \dots + v_n^2}\)。
设 \(\theta\) 是非零向量 \(\mathbf{u}\) 和 \(\mathbf{v}\) 之间的夹角，则有：
\[ \mathbf{u} \cdot \mathbf{v} = ||\mathbf{u}|| \ ||\mathbf{v}|| \cos \theta \]
由此可以得到夹角的公式：
\[ \cos \theta = \frac{\mathbf{u} \cdot \mathbf{v}}{||\mathbf{u}|| \ ||\mathbf{v}||} \]
特别地，如果 \(\mathbf{u} \cdot \mathbf{v} = 0\)，则 \(\cos \theta = 0\)，表示 \(\mathbf{u}\) 和 \(\mathbf{v}\) 正交 (orthogonal) 或垂直。

2.2.4 向量的外积 (Cross Product) (仅限 R3)

在 \(R^3\) 空间中，还可以定义两个向量的叉积或外积。设 \(\mathbf{u} = \begin{pmatrix} u_1 \\ u_2 \\ u_3 \end{pmatrix}\) 和 \(\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ v_3 \end{pmatrix}\) 是 \(R^3\) 中的两个向量。它们的外积定义为：
\[ \mathbf{u} \times \mathbf{v} = \begin{pmatrix} u_2v_3 - u_3v_2 \\ u_3v_1 - u_1v_3 \\ u_1v_2 - u_2v_1 \end{pmatrix} \]
外积的结果是一个向量。

外积的性质：
① \(\mathbf{u} \times \mathbf{v} = -(\mathbf{v} \times \mathbf{u})\) (反交换律)
② \(\mathbf{u} \times \mathbf{u} = \mathbf{0}\)
③ \(\mathbf{u} \times \mathbf{v}\) 垂直于 \(\mathbf{u}\) 和 \(\mathbf{v}\)。
④ \(||\mathbf{u} \times \mathbf{v}|| = ||\mathbf{u}|| \ ||\mathbf{v}|| \sin \theta\)，其中 \(\theta\) 是 \(\mathbf{u}\) 和 \(\mathbf{v}\) 之间的夹角。这个长度等于由 \(\mathbf{u}\) 和 \(\mathbf{v}\) 张成的平行四边形的面积。

2.3 矩阵及其类型 (Matrices and Their Types)

矩阵是线性代数中用于表示线性变换、存储数据和解决线性方程组的重要工具。

2.3.1 矩阵的定义 (Definition of Matrices)

一个 \(m \times n\) 矩阵 (m x n matrix) 是一个由 \(m\) 行 (rows) 和 \(n\) 列 (columns) 排列成的矩形数组。矩阵中的每个元素 (element) 或项 (entry) 通常是一个实数或复数。
\[ A = \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \end{pmatrix} \]
元素 \(a_{ij}\) 位于矩阵的第 \(i\) 行和第 \(j\) 列。矩阵的尺寸 (size) 或维度 (dimension) 是 \(m \times n\)。

当 \(m=n\) 时，矩阵称为方阵 (square matrix)。方阵的对角线元素 (diagonal elements) 是 \(a_{11}, a_{22}, \dots, a_{nn}\)。

2.3.2 特殊类型的矩阵 (Special Types of Matrices)

⚝ 零矩阵 (Zero matrix)：所有元素都是零的矩阵，记作 \(\mathbf{0}\)。
⚝ 行向量 (Row vector)：\(1 \times n\) 矩阵。
⚝ 列向量 (Column vector)：\(m \times 1\) 矩阵。
⚝ 对角矩阵 (Diagonal matrix)：一个方阵，其非对角线元素都为零 (\(a_{ij} = 0\) for \(i \ne j\))。
\[ D = \begin{pmatrix} d_1 & 0 & \dots & 0 \\ 0 & d_2 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & d_n \end{pmatrix} \]
⚝ 单位矩阵 (Identity matrix)：一个特殊的对角矩阵，其对角线元素都为 1，非对角线元素都为 0。\(n \times n\) 单位矩阵记作 \(I_n\) 或 \(I\)。
\[ I_n = \begin{pmatrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & 1 \end{pmatrix} \]
⚝ 三角矩阵 (Triangular matrix)：
▮▮▮▮⚝ 上三角矩阵 (Upper triangular matrix)：方阵中主对角线下方所有元素都为零 (\(a_{ij} = 0\) for \(i > j\))。
▮▮▮▮⚝ 下三角矩阵 (Lower triangular matrix)：方阵中主对角线上方所有元素都为零 (\(a_{ij} = 0\) for \(i < j\))。

2.4 矩阵运算 (Matrix Operations)：加法、标量乘法、乘法 (Addition, Scalar Multiplication, Multiplication)

矩阵可以进行加法、标量乘法和乘法运算，但这些运算的定义和性质与实数运算有所不同。

2.4.1 矩阵加法 (Matrix Addition)

只有当两个矩阵具有相同的尺寸时，它们才能相加。设 \(A = (a_{ij})\) 和 \(B = (b_{ij})\) 是两个 \(m \times n\) 矩阵。它们的和 \(A+B\) 是一个 \(m \times n\) 矩阵，其元素为对应元素的和：
\[ (A+B)_{ij} = a_{ij} + b_{ij} \]
矩阵加法满足交换律和结合律。

2.4.2 矩阵的标量乘法 (Scalar Multiplication of Matrices)

设 \(A = (a_{ij})\) 是一个 \(m \times n\) 矩阵，\(c\) 是一个标量。标量 \(c\) 与矩阵 \(A\) 的乘积 \(cA\) 是一个 \(m \times n\) 矩阵，其元素为 \(A\) 的每个元素乘以 \(c\):
\[ (cA)_{ij} = c \cdot a_{ij} \]

2.4.3 矩阵乘法 (Matrix Multiplication)

矩阵乘法是线性代数中最核心的运算之一。只有当第一个矩阵的列数等于第二个矩阵的行数时，两个矩阵才能相乘。
设 \(A\) 是一个 \(m \times n\) 矩阵，\(B\) 是一个 \(n \times p\) 矩阵。它们的乘积 \(AB\) 是一个 \(m \times p\) 矩阵 \(C = (c_{ij})\)，其中元素 \(c_{ij}\) 是 \(A\) 的第 \(i\) 行与 \(B\) 的第 \(j\) 列的内积：
\[ c_{ij} = a_{i1}b_{1j} + a_{i2}b_{2j} + \dots + a_{in}b_{nj} = \sum_{k=1}^n a_{ik}b_{kj} \]
矩阵乘法的几何意义：矩阵乘法可以表示线性变换的复合。

矩阵乘法的性质：
① 结合律：\((AB)C = A(BC)\) (如果乘法有意义)
② 分配律：\(A(B+C) = AB + AC\) 和 \((A+B)C = AC + BC\) (如果加法和乘法有意义)
③ 与标量乘法结合律：\(c(AB) = (cA)B = A(cB)\)
④ 与单位矩阵的乘法：\(AI_n = A\) (如果 \(A\) 是 \(m \times n\))，\(I_m A = A\) (如果 \(A\) 是 \(m \times n\))。
⑤ 不满足交换律：一般来说，\(AB \ne BA\)。即使 \(AB\) 和 \(BA\) 都有意义（例如，当 \(A\) 和 \(B\) 都是方阵），它们的结果也通常不同。

矩阵乘法可以用来简洁地表示线性方程组。第一章中的线性方程组
\[ \begin{cases} a_{11}x_1 + a_{12}x_2 + \dots + a_{1n}x_n = b_1 \\ a_{21}x_1 + a_{22}x_2 + \dots + a_{2n}x_n = b_2 \\ \vdots \\ a_{m1}x_1 + a_{m2}x_2 + \dots + a_{mn}x_n = b_m \end{cases} \]
可以写成矩阵方程的形式：
\[ A\mathbf{x} = \mathbf{b} \]
其中 \(A = (a_{ij})\) 是 \(m \times n\) 系数矩阵 (coefficient matrix)，\(\mathbf{x} = \begin{pmatrix} x_1 \\ \vdots \\ x_n \end{pmatrix}\) 是 \(n \times 1\) 未知向量 (unknown vector)，\(\mathbf{b} = \begin{pmatrix} b_1 \\ \vdots \\ b_m \end{pmatrix}\) 是 \(m \times 1\) 常数向量 (constant vector)。

2.5 转置矩阵 (Transpose Matrix) 与对称矩阵 (Symmetric Matrix)

转置和对称是矩阵的两个重要属性。

2.5.1 转置矩阵 (Transpose Matrix)

设 \(A = (a_{ij})\) 是一个 \(m \times n\) 矩阵。它的转置矩阵 \(A^T\) 是一个 \(n \times m\) 矩阵，其元素 \((A^T)_{ij}\) 定义为 \(A\) 的元素 \(a_{ji}\)。简单来说，转置就是将矩阵的行变成列，列变成行。
\[ \text{如果 } A = \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \\ a_{31} & a_{32} \end{pmatrix} \text{ (3x2)}, \text{ 则 } A^T = \begin{pmatrix} a_{11} & a_{21} & a_{31} \\ a_{12} & a_{22} & a_{32} \end{pmatrix} \text{ (2x3)} \]

转置的性质：
① \((A^T)^T = A\)
② \((A+B)^T = A^T + B^T\) (如果 \(A\) 和 \(B\) 尺寸相同)
③ \((cA)^T = cA^T\)
④ \((AB)^T = B^T A^T\) (注意顺序颠倒)

2.5.2 对称矩阵 (Symmetric Matrix)

一个方阵 \(A\) 如果满足 \(A^T = A\)，则称其为对称矩阵。这意味着对于所有 \(i, j\)，\(a_{ij} = a_{ji}\)。对称矩阵在许多应用中非常重要，特别是在二次型和优化问题中。

例如，一个 \(3 \times 3\) 对称矩阵的形式为：
\[ \begin{pmatrix} a & b & c \\ b & d & e \\ c & e & f \end{pmatrix} \]

2.6 逆矩阵 (Inverse Matrix) 与矩阵的可逆性 (Matrix Invertibility)

逆矩阵是矩阵乘法中的“倒数”概念。

2.6.1 逆矩阵的定义 (Definition of Inverse Matrix)

设 \(A\) 是一个 \(n \times n\) 方阵。如果存在一个 \(n \times n\) 方阵 \(B\)，使得 \(AB = BA = I_n\)，则称 \(A\) 是可逆的 (invertible) 或非奇异的 (nonsingular)，并称 \(B\) 是 \(A\) 的逆矩阵 (inverse matrix)，记作 \(A^{-1}\)。
如果这样的矩阵 \(B\) 不存在，则称 \(A\) 是不可逆的 (non-invertible) 或奇异的 (singular)。

注意：只有方阵才可能存在逆矩阵。如果逆矩阵存在，它是唯一的。

2.6.2 逆矩阵的性质 (Properties of Inverse Matrix)

① 如果 \(A\) 可逆，则 \(A^{-1}\) 也可逆，且 \((A^{-1})^{-1} = A\)。
② 如果 \(A\) 和 \(B\) 都是同尺寸的可逆矩阵，则 \(AB\) 也可逆，且 \((AB)^{-1} = B^{-1}A^{-1}\) (注意顺序颠倒)。
③ 如果 \(A\) 可逆，则 \(A^T\) 也可逆，且 \((A^T)^{-1} = (A^{-1})^T\)。
④ 如果 \(A\) 可逆，则线性方程组 \(A\mathbf{x} = \mathbf{b}\) 对任意 \(\mathbf{b}\) 都有唯一解 \(\mathbf{x} = A^{-1}\mathbf{b}\)。

2.6.3 矩阵可逆性的判别 (Criteria for Matrix Invertibility)

对于一个 \(n \times n\) 方阵 \(A\)，以下陈述是等价的：
① \(A\) 是可逆的。
② \(A\) 的行阶梯形 (row echelon form) 或简化行阶梯形 (reduced row echelon form) 是单位矩阵 \(I_n\)。
③ \(A\) 的秩 (rank) 等于 \(n\) (将在第四章详细讨论)。
④ 线性方程组 \(A\mathbf{x} = \mathbf{0}\) 只有零解 \(\mathbf{x} = \mathbf{0}\)。
⑤ \(A\) 的行列式 (determinant) 不为零 (\(\det(A) \ne 0\)) (将在第五章详细讨论)。
⑥ \(A\) 的列向量线性无关 (linearly independent) (将在第三章详细讨论)。
⑦ \(A\) 的行向量线性无关 (linearly independent) (将在第三章详细讨论)。

2.6.4 计算逆矩阵 (Computing the Inverse Matrix)

一种常用的计算逆矩阵的方法是使用增广矩阵 (augmented matrix) 和行变换 (row operations)。
将矩阵 \(A\) 与同尺寸的单位矩阵 \(I\) 构成增广矩阵 \([A | I]\)。对这个增广矩阵进行初等行变换，直到左侧变为单位矩阵 \(I\)。此时，右侧的矩阵就是 \(A^{-1}\)。
\[ [A | I] \xrightarrow{\text{初等行变换}} [I | A^{-1}] \]
如果通过行变换无法将左侧化为 \(I\)，则说明 \(A\) 是不可逆的。

例如，计算 \(A = \begin{pmatrix} 2 & 1 \\ 1 & 1 \end{pmatrix}\) 的逆矩阵：
\[ [A | I] = \begin{pmatrix} 2 & 1 & | & 1 & 0 \\ 1 & 1 & | & 0 & 1 \end{pmatrix} \]
① \(R_1 \leftrightarrow R_2\) (交换第一行和第二行):
\[ \begin{pmatrix} 1 & 1 & | & 0 & 1 \\ 2 & 1 & | & 1 & 0 \end{pmatrix} \]
② \(R_2 \leftarrow R_2 - 2R_1\) (第二行减去第一行的 2 倍):
\[ \begin{pmatrix} 1 & 1 & | & 0 & 1 \\ 0 & -1 & | & 1 & -2 \end{pmatrix} \]
③ \(R_2 \leftarrow -R_2\) (第二行乘以 -1):
\[ \begin{pmatrix} 1 & 1 & | & 0 & 1 \\ 0 & 1 & | & -1 & 2 \end{pmatrix} \]
④ \(R_1 \leftarrow R_1 - R_2\) (第一行减去第二行):
\[ \begin{pmatrix} 1 & 0 & | & 1 & -1 \\ 0 & 1 & | & -1 & 2 \end{pmatrix} \]
左侧已变为 \(I\)，所以右侧即为 \(A^{-1}\)：
\[ A^{-1} = \begin{pmatrix} 1 & -1 \\ -1 & 2 \end{pmatrix} \]
可以通过计算 \(AA^{-1}\) 或 \(A^{-1}A\) 来验证结果是否为 \(I\)。

2.7 初等矩阵 (Elementary Matrices) 与行变换 (Row Operations)

初等矩阵是与初等行变换密切相关的特殊矩阵。理解它们之间的关系有助于深入理解矩阵的性质和线性方程组的求解过程。

2.7.1 初等行变换 (Elementary Row Operations)

回顾第一章介绍的初等行变换，它们是对方程组的增广矩阵进行的三种操作，不改变方程组的解集：
① 交换两行 (Swapping two rows)。
② 将某一行乘以一个非零常数 (Multiplying a row by a non-zero scalar)。
③ 将某一行的倍数加到另一行 (Adding a multiple of one row to another row)。

2.7.2 初等矩阵的定义 (Definition of Elementary Matrices)

一个初等矩阵是通过对单位矩阵 \(I_n\) 进行一次初等行变换得到的矩阵。
对应于三种初等行变换，有三种类型的初等矩阵：
① 交换 \(I_n\) 的第 \(i\) 行和第 \(j\) 行得到的矩阵 \(E_{ij}\)。
② 将 \(I_n\) 的第 \(i\) 行乘以非零常数 \(c\) 得到的矩阵 \(E_i(c)\)。
③ 将 \(I_n\) 的第 \(j\) 行的 \(k\) 倍加到第 \(i\) 行得到的矩阵 \(E_{ij}(k)\)。

例如，对于 \(I_3 = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}\)：
⚝ 交换第 1 行和第 2 行：\(E_{12} = \begin{pmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{pmatrix}\)
⚝ 将第 2 行乘以 5：\(E_2(5) = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 5 & 0 \\ 0 & 0 & 1 \end{pmatrix}\)
⚝ 将第 3 行的 2 倍加到第 1 行：\(E_{13}(2) = \begin{pmatrix} 1 & 0 & 2 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}\)

2.7.3 初等矩阵与行变换的关系 (Relationship between Elementary Matrices and Row Operations)

对一个 \(m \times n\) 矩阵 \(A\) 进行一次初等行变换，等价于在 \(A\) 的左侧乘以相应的 \(m \times m\) 初等矩阵。
例如，如果 \(A = \begin{pmatrix} a & b \\ c & d \end{pmatrix}\)，对 \(A\) 进行行变换 \(R_1 \leftrightarrow R_2\)，得到 \(\begin{pmatrix} c & d \\ a & b \end{pmatrix}\)。这等价于左乘 \(E_{12} = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}\)：
\[ \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix} \begin{pmatrix} a & b \\ c & d \end{pmatrix} = \begin{pmatrix} c & d \\ a & b \end{pmatrix} \]

2.7.4 初等矩阵的可逆性 (Invertibility of Elementary Matrices)

所有初等矩阵都是可逆的，且它们的逆矩阵也是初等矩阵：
① \(E_{ij}^{-1} = E_{ij}\) (交换两次回到原位)
② \(E_i(c)^{-1} = E_i(1/c)\) (乘以 \(c\) 再乘以 \(1/c\))
③ \(E_{ij}(k)^{-1} = E_{ij}(-k)\) (加 \(k\) 倍再减 \(k\) 倍)

2.7.5 利用初等矩阵理解可逆性 (Understanding Invertibility using Elementary Matrices)

一个 \(n \times n\) 矩阵 \(A\) 是可逆的，当且仅当它可以表示为一系列初等矩阵的乘积。
如果 \(A\) 可逆，通过初等行变换可以将 \(A\) 化为单位矩阵 \(I\)。这意味着存在一系列初等矩阵 \(E_1, E_2, \dots, E_k\) 使得：
\[ E_k \dots E_2 E_1 A = I \]
因此，\(A = (E_k \dots E_2 E_1)^{-1} = E_1^{-1} E_2^{-1} \dots E_k^{-1}\)。由于初等矩阵的逆矩阵也是初等矩阵，所以 \(A\) 是初等矩阵的乘积。
反之，如果 \(A\) 是初等矩阵的乘积，那么 \(A\) 可逆，因为初等矩阵都可逆，且可逆矩阵的乘积也是可逆的。

这个结论为理解矩阵的可逆性提供了另一种视角，并与使用行变换计算逆矩阵的方法紧密相连。

本章我们深入探讨了向量和矩阵的基本概念、运算及其性质。这些是线性代数大厦的基石。在下一章中，我们将基于向量的概念，抽象地定义向量空间，并探讨其更深层的结构。

3. chapter 3：向量空间 (Vector Spaces)

欢迎来到线性代数的核心概念之一：向量空间 (Vector Spaces)。在前面的章节中，我们主要关注了 \(R^n\) 空间中的向量以及矩阵运算。然而，线性代数的强大之处在于它能够处理更广泛的对象，而不仅仅是 \(R^n\) 中的列向量。向量空间提供了一个抽象的框架，将许多看似不同的数学对象（如多项式、函数、矩阵等）统一起来，并赋予它们“向量”的属性，从而可以使用线性代数的工具进行分析。理解向量空间的概念，是深入学习线性代数以及其在各个领域应用的基石。

在本章中，我们将从向量空间的严格定义出发，探讨其基本性质和重要概念，包括子空间 (Subspaces)、线性组合 (Linear Combinations)、生成空间 (Span)、线性相关性 (Linear Dependence) 与线性无关性 (Linear Independence)、基 (Basis) 与维数 (Dimension)，以及坐标 (Coordinates) 与基变换 (Change of Basis)。通过本章的学习，您将能够识别和理解不同类型的向量空间，掌握判断向量集合性质的方法，并理解如何在一个向量空间中建立坐标系。

3.1 向量空间的定义与例子 (Definition and Examples of Vector Spaces)

在数学中，向量空间是一个集合，其元素称为向量 (vectors)，并且定义了两种运算：向量加法 (vector addition) 和标量乘法 (scalar multiplication)。这些运算必须满足一系列特定的公理 (axioms)。这些公理确保了向量和标量乘法具有我们期望的良好性质，类似于 \(R^n\) 中向量的行为。

3.1.1 向量空间的定义 (Definition of a Vector Space)

一个向量空间 \(V\) 是一个非空集合，其上的元素称为向量。存在一个标量域 (scalar field) \(F\)，通常是实数域 \(R\) 或复数域 \(C\)。在 \(V\) 上定义了两种运算：

① 向量加法 (Vector Addition)：对于任意 \(u, v \in V\)，存在唯一的 \(u + v \in V\)。
② 标量乘法 (Scalar Multiplication)：对于任意 \(c \in F\) 和 \(v \in V\)，存在唯一的 \(c \cdot v \in V\)。

这两种运算必须满足以下十条公理（对于任意 \(u, v, w \in V\) 和任意 \(c, d \in F\)）：

⚝ 加法公理 (Addition Axioms):
▮▮▮▮⚝ (A1) 封闭性 (Closure)：如果 \(u, v \in V\)，则 \(u + v \in V\)。 (这已经在定义中包含，但通常作为公理列出)
▮▮▮▮⚝ (A2) 交换律 (Commutativity)：\(u + v = v + u\)。
▮▮▮▮⚝ (A3) 结合律 (Associativity)：\((u + v) + w = u + (v + w)\)。
▮▮▮▮⚝ (A4) 零向量存在性 (Existence of Zero Vector)：存在一个零向量 (zero vector) \(0 \in V\)，使得对于任意 \(v \in V\)，有 \(v + 0 = v\)。
▮▮▮▮⚝ (A5) 负向量存在性 (Existence of Negative Vector)：对于任意 \(v \in V\)，存在一个负向量 (negative vector) \(-v \in V\)，使得 \(v + (-v) = 0\)。

⚝ 标量乘法公理 (Scalar Multiplication Axioms):
▮▮▮▮⚝ (S1) 封闭性 (Closure)：如果 \(c \in F\) 且 \(v \in V\)，则 \(c \cdot v \in V\)。 (这已经在定义中包含)
▮▮▮▮⚝ (S2) 分配律 (Distributivity over vector addition)：\(c \cdot (u + v) = c \cdot u + c \cdot v\)。
▮▮▮▮⚝ (S3) 分配律 (Distributivity over scalar addition)：\((c + d) \cdot v = c \cdot v + d \cdot v\)。
▮▮▮▮⚝ (S4) 结合律 (Associativity of scalar multiplication)：\(c \cdot (d \cdot v) = (cd) \cdot v\)。
▮▮▮▮⚝ (S5) 单位元存在性 (Existence of Multiplicative Identity)：标量域 \(F\) 中的乘法单位元 (multiplicative identity) 1 满足 \(1 \cdot v = v\)。

注意：这里的零向量 \(0\) 是向量空间 \(V\) 中的一个特殊元素，与标量 0 不同。负向量 \(-v\) 实际上是 \((-1) \cdot v\)。

3.1.2 向量空间的例子 (Examples of Vector Spaces)

理解抽象定义最好的方法是看具体的例子。

① \(R^n\) 空间 (The Space \(R^n\))：
这是最常见的向量空间。集合 \(V = R^n\) 是所有 \(n\) 维实数列向量的集合。标量域 \(F = R\)。向量加法和标量乘法定义为分量wise的运算：
对于 \(u = \begin{pmatrix} u_1 \\ \vdots \\ u_n \end{pmatrix}\) 和 \(v = \begin{pmatrix} v_1 \\ \vdots \\ v_n \end{pmatrix}\) 在 \(R^n\) 中，以及 \(c \in R\)，
\(u + v = \begin{pmatrix} u_1 + v_1 \\ \vdots \\ u_n + v_n \end{pmatrix}\)
\(c \cdot v = \begin{pmatrix} c v_1 \\ \vdots \\ c v_n \end{pmatrix}\)
您可以验证这两种运算满足上述十条公理。零向量是所有分量都为 0 的向量 \(\begin{pmatrix} 0 \\ \vdots \\ 0 \end{pmatrix}\)。

② \(M_{m \times n}(R)\) 空间 (The Space of \(m \times n\) Matrices)：
集合 \(V = M_{m \times n}(R)\) 是所有 \(m \times n\) 实矩阵的集合。标量域 \(F = R\)。向量加法是矩阵加法，标量乘法是矩阵的标量乘法。这些运算也满足向量空间的公理。零向量是 \(m \times n\) 零矩阵。

③ \(P_n(R)\) 空间 (The Space of Polynomials of Degree at Most \(n\))：
集合 \(V = P_n(R)\) 是所有次数小于或等于 \(n\) 的实系数多项式的集合。标量域 \(F = R\)。一个多项式可以看作是向量。
对于 \(p(x) = a_n x^n + \dots + a_1 x + a_0\) 和 \(q(x) = b_n x^n + \dots + b_1 x + b_0\) 在 \(P_n(R)\) 中，以及 \(c \in R\)，
\((p + q)(x) = (a_n + b_n) x^n + \dots + (a_1 + b_1) x + (a_0 + b_0)\)
\((c \cdot p)(x) = (c a_n) x^n + \dots + (c a_1) x + (c a_0)\)
零向量是零多项式 \(0x^n + \dots + 0x + 0\)。

④ \(C[a, b]\) 空间 (The Space of Continuous Functions on \([a, b]\))：
集合 \(V = C[a, b]\) 是在闭区间 \([a, b]\) 上所有实值连续函数的集合。标量域 \(F = R\)。
对于 \(f, g \in C[a, b]\) 和 \(c \in R\)，
\((f + g)(x) = f(x) + g(x)\)
\((c \cdot f)(x) = c \cdot f(x)\)
零向量是零函数 \(0(x) = 0\) 对于所有 \(x \in [a, b]\)。

这些例子说明了向量空间的概念远不止于我们熟悉的 \(R^n\)。通过抽象化，我们可以用统一的语言和方法来研究这些不同类型的数学对象。

3.2 子空间 (Subspaces)

在向量空间 \(V\) 中，一个重要的概念是子空间。子空间是 \(V\) 的一个非空子集，它本身也是一个向量空间，并且使用与 \(V\) 相同的向量加法和标量乘法。

3.2.1 子空间的定义 (Definition of a Subspace)

设 \(V\) 是一个向量空间，\(W\) 是 \(V\) 的一个非空子集 (\(W \subseteq V\))。如果 \(W\) 在 \(V\) 的向量加法和标量乘法下构成一个向量空间，则称 \(W\) 是 \(V\) 的一个子空间 (subspace)。

要验证一个非空子集 \(W\) 是否是向量空间 \(V\) 的子空间，我们不需要检查向量空间的所有十条公理。由于 \(W\) 的元素来自 \(V\)，并且运算与 \(V\) 相同，许多公理（如交换律、结合律、分配律等）会自然继承。我们只需要检查以下三个条件：

⚝ 子空间判定定理 (Subspace Test Theorem):
一个非空子集 \(W\) 是向量空间 \(V\) 的子空间，当且仅当满足以下三个条件：
▮▮▮▮⚝ (1) \(W\) 包含零向量：\(0 \in W\)。
▮▮▮▮⚝ (2) \(W\) 对向量加法封闭：对于任意 \(u, v \in W\)，有 \(u + v \in W\)。
▮▮▮▮⚝ (3) \(W\) 对标量乘法封闭：对于任意 \(c \in F\) 和 \(v \in W\)，有 \(c \cdot v \in W\)。

条件 (2) 和 (3) 可以合并为一个条件：对于任意 \(c, d \in F\) 和 \(u, v \in W\)，有 \(cu + dv \in W\)。这个合并的条件称为线性组合的封闭性 (closure under linear combinations)。

注意：条件 (1) 可以从条件 (3) 和 \(W\) 非空推导出来。如果 \(W\) 非空，则存在 \(v \in W\)。根据条件 (3)，对于标量 0，有 \(0 \cdot v = 0 \in W\)。所以，如果已知 \(W\) 非空且满足条件 (2) 和 (3)，则它一定是子空间。然而，明确检查 \(0 \in W\) 通常是判断 \(W\) 非空且满足条件 (3) 的一个简单方法。

3.2.2 子空间的例子 (Examples of Subspaces)

① \(R^n\) 的子空间：
⚝ 零空间 (Zero Space)：集合 \(\{0\}\)，只包含零向量。这是任何向量空间的最小子空间。
⚝ \(R^n\) 本身：任何向量空间都是自身的子空间。
⚝ 通过原点的直线或平面：在 \(R^2\) 中，通过原点的直线 \(y = mx\) 是 \(R^2\) 的子空间。在 \(R^3\) 中，通过原点的平面 \(ax + by + cz = 0\) 是 \(R^3\) 的子空间。
⚝ 矩阵的零空间 (Null Space)：对于一个 \(m \times n\) 矩阵 \(A\)，其零空间 \(N(A) = \{x \in R^n \mid Ax = 0\}\) 是 \(R^n\) 的一个子空间。这是所有使得 \(Ax=0\) 的向量 \(x\) 的集合。
⚝ 矩阵的列空间 (Column Space)：对于一个 \(m \times n\) 矩阵 \(A\)，其列空间 \(C(A)\) 是 \(A\) 的列向量的所有线性组合的集合。它是 \(R^m\) 的一个子空间。
⚝ 矩阵的行空间 (Row Space)：对于一个 \(m \times n\) 矩阵 \(A\)，其行空间 \(R(A)\) 是 \(A\) 的行向量的所有线性组合的集合。它是 \(R^n\) 的一个子空间。

② \(P_n(R)\) 的子空间：
⚝ \(P_k(R)\) 是 \(P_n(R)\) 的子空间，其中 \(k \le n\)。例如，所有次数小于或等于 2 的多项式集合 \(P_2(R)\) 是 \(P_3(R)\) 的子空间。

③ \(M_{n \times n}(R)\) 的子空间：
⚝ 所有 \(n \times n\) 对称矩阵 (symmetric matrices) 的集合是一个子空间。
⚝ 所有 \(n \times n\) 上三角矩阵 (upper triangular matrices) 的集合是一个子空间。

3.2.3 非子空间的例子 (Examples of Non-Subspaces)

⚝ \(R^2\) 中不在原点的直线：例如，集合 \(\{(x, y) \mid y = x + 1\}\)。这个集合不包含零向量 \((0, 0)\)，因此不是子空间。
⚝ \(R^2\) 中的第一象限：集合 \(\{(x, y) \mid x \ge 0, y \ge 0\}\)。这个集合包含零向量，对加法封闭，但对标量乘法不封闭（例如，\((1, 1)\) 在集合中，但 \(-1 \cdot (1, 1) = (-1, -1)\) 不在集合中）。
⚝ \(R^2\) 中所有整数向量的集合：集合 \(\{(m, n) \mid m, n \in Z\}\)。这个集合包含零向量，对加法封闭，但对标量乘法不封闭（例如，\((1, 1)\) 在集合中，但 \(0.5 \cdot (1, 1) = (0.5, 0.5)\) 不在集合中）。

3.3 线性组合 (Linear Combinations) 与生成空间 (Span)

线性组合和生成空间是构建和描述向量空间及其子空间的基本工具。

3.3.1 线性组合 (Linear Combinations)

设 \(v_1, v_2, \dots, v_k\) 是向量空间 \(V\) 中的向量，\(c_1, c_2, \dots, c_k\) 是标量域 \(F\) 中的标量。形如
\[ c_1 v_1 + c_2 v_2 + \dots + c_k v_k \]
的表达式称为向量 \(v_1, v_2, \dots, v_k\) 的一个线性组合 (linear combination)。

例如，在 \(R^3\) 中，向量 \((1, 2, 3)\) 是向量 \((1, 0, 0)\)、\((0, 1, 0)\) 和 \((0, 0, 1)\) 的线性组合：
\((1, 2, 3) = 1 \cdot (1, 0, 0) + 2 \cdot (0, 1, 0) + 3 \cdot (0, 0, 1)\)。

3.3.2 生成空间 (Span)

设 \(S = \{v_1, v_2, \dots, v_k\}\) 是向量空间 \(V\) 的一个非空子集。集合 \(S\) 的生成空间 (span)，记作 \(Span(S)\) 或 \(Span\{v_1, \dots, v_k\}\)，是 \(S\) 中所有向量的所有可能的线性组合的集合。
\[ Span(S) = \{ c_1 v_1 + c_2 v_2 + \dots + c_k v_k \mid c_1, \dots, c_k \in F \} \]
如果 \(S\) 是空集，我们定义 \(Span(\emptyset) = \{0\}\)，即只包含零向量的零空间。

生成空间 \(Span(S)\) 具有一个非常重要的性质：它总是向量空间 \(V\) 的一个子空间。

定理： 设 \(S\) 是向量空间 \(V\) 的一个非空子集，则 \(Span(S)\) 是 \(V\) 的一个子空间。

证明思路：
① \(Span(S)\) 非空，因为 \(S\) 非空，取 \(v \in S\)，则 \(1 \cdot v = v \in Span(S)\)。或者更简单，\(0 \cdot v_1 + \dots + 0 \cdot v_k = 0 \in Span(S)\)。
② 对加法封闭：设 \(u, w \in Span(S)\)。则 \(u = c_1 v_1 + \dots + c_k v_k\) 且 \(w = d_1 v_1 + \dots + d_k v_k\) 对于某些标量 \(c_i, d_i\)。
\(u + w = (c_1 + d_1) v_1 + \dots + (c_k + d_k) v_k\)。这是一个线性组合，所以 \(u + w \in Span(S)\)。
③ 对标量乘法封闭：设 \(u \in Span(S)\) 且 \(c \in F\)。则 \(u = c_1 v_1 + \dots + c_k v_k\)。
\(c \cdot u = c \cdot (c_1 v_1 + \dots + c_k v_k) = (c c_1) v_1 + \dots + (c c_k) v_k\)。这是一个线性组合，所以 \(c \cdot u \in Span(S)\)。
根据子空间判定定理，\(Span(S)\) 是 \(V\) 的子空间。

3.3.3 生成集合 (Spanning Set)

如果一个向量空间 \(V\) 可以由一个集合 \(S = \{v_1, v_2, \dots, v_k\}\) 生成，即 \(V = Span(S)\)，则称 \(S\) 是 \(V\) 的一个生成集合 (spanning set) 或生成集。

例如：
⚝ 在 \(R^n\) 中，标准基向量 (standard basis vectors) \(\{e_1, e_2, \dots, e_n\}\) 构成一个生成集合，其中 \(e_i\) 是第 \(i\) 个分量为 1，其余分量为 0 的向量。任何 \(R^n\) 中的向量都可以写成它们的线性组合。
⚝ 在 \(P_n(R)\) 中，集合 \(\{1, x, x^2, \dots, x^n\}\) 是一个生成集合。

找到一个向量空间的生成集合是理解其结构的重要一步。

3.4 线性相关 (Linear Dependence) 与线性无关 (Linear Independence)

线性相关性和线性无关性是描述向量集合内部关系的关键概念。它们决定了一个向量集合是否“冗余”，以及是否可以作为构建向量空间的“积木”。

3.4.1 线性相关 (Linear Dependence)

设 \(S = \{v_1, v_2, \dots, v_k\}\) 是向量空间 \(V\) 中的一个向量集合。如果存在不全为零的标量 \(c_1, c_2, \dots, c_k \in F\)，使得
\[ c_1 v_1 + c_2 v_2 + \dots + c_k v_k = 0 \]
则称向量集合 \(S\) 是线性相关 (linearly dependent) 的。

换句话说，如果零向量可以被写成 \(S\) 中向量的一个非平凡线性组合 (non-trivial linear combination)（即至少有一个系数不为零），则 \(S\) 是线性相关的。

如果一个向量集合是线性相关的，这意味着其中至少有一个向量可以表示为其他向量的线性组合。例如，如果 \(c_1 \ne 0\)，则 \(v_1 = -\frac{c_2}{c_1} v_2 - \dots - \frac{c_k}{c_1} v_k\)。

3.4.2 线性无关 (Linear Independence)

设 \(S = \{v_1, v_2, \dots, v_k\}\) 是向量空间 \(V\) 中的一个向量集合。如果方程
\[ c_1 v_1 + c_2 v_2 + \dots + c_k v_k = 0 \]
只有唯一的解 \(c_1 = c_2 = \dots = c_k = 0\)（即平凡解 (trivial solution)），则称向量集合 \(S\) 是线性无关 (linearly independent) 的。

换句话说，如果零向量只能被写成 \(S\) 中向量的平凡线性组合，则 \(S\) 是线性无关的。

判断线性相关/无关的方法：
要判断向量集合 \(\{v_1, \dots, v_k\}\) 是否线性相关或无关，可以构造方程 \(c_1 v_1 + \dots + c_k v_k = 0\)，并将其转化为一个关于未知标量 \(c_1, \dots, c_k\) 的齐次线性方程组 (homogeneous system of linear equations)。
如果这个齐次线性方程组只有零解，则向量集合线性无关。
如果这个齐次线性方程组有非零解，则向量集合线性相关。

例子：
① 在 \(R^3\) 中，向量 \(\{ (1, 0, 0), (0, 1, 0), (0, 0, 1) \}\) 是线性无关的。方程 \(c_1(1, 0, 0) + c_2(0, 1, 0) + c_3(0, 0, 1) = (0, 0, 0)\) 意味着 \((c_1, c_2, c_3) = (0, 0, 0)\)，所以 \(c_1=c_2=c_3=0\)。
② 在 \(R^2\) 中，向量 \(\{ (1, 2), (2, 4) \}\) 是线性相关的。方程 \(c_1(1, 2) + c_2(2, 4) = (0, 0)\) 转化为 \(c_1 + 2c_2 = 0\) 和 \(2c_1 + 4c_2 = 0\)。这个方程组有非零解，例如 \(c_1 = 2, c_2 = -1\)，因为 \(2(1, 2) - 1(2, 4) = (2, 4) - (2, 4) = (0, 0)\)。注意 \((2, 4) = 2 \cdot (1, 2)\)，一个向量是另一个的倍数，这是线性相关的特例。
③ 任何包含零向量的集合都是线性相关的。如果 \(0 \in \{v_1, \dots, v_k\}\)，假设 \(v_1 = 0\)，则 \(1 \cdot v_1 + 0 \cdot v_2 + \dots + 0 \cdot v_k = 1 \cdot 0 + 0 = 0\)，存在不全为零的系数（\(c_1=1\)) 使得线性组合为零。

3.4.3 线性相关性与生成空间的关系

⚝ 如果一个集合 \(S\) 是线性相关的，并且 \(v \in S\) 可以写成 \(S \setminus \{v\}\) 中向量的线性组合，那么 \(Span(S \setminus \{v\}) = Span(S)\)。这意味着我们可以移除 \(v\) 而不改变生成空间，即 \(v\) 是“冗余”的。
⚝ 如果一个集合 \(S\) 是线性无关的，那么 \(S\) 中的任何向量都不能写成其他向量的线性组合。

3.5 基 (Basis) 与维数 (Dimension)

基和维数是向量空间最重要的结构特征。基提供了一种“坐标系”，而维数则衡量了向量空间的“大小”或“自由度”。

3.5.1 基 (Basis)

向量空间 \(V\) 的一个基 (basis) 是 \(V\) 的一个有序向量集合 \(\mathcal{B} = \{v_1, v_2, \dots, v_n\}\)，它同时满足以下两个条件：

① \(\mathcal{B}\) 是线性无关的 (linearly independent)。
② \(\mathcal{B}\) 生成 \(V\)，即 \(Span(\mathcal{B}) = V\)。

换句话说，基是一个“最小”的生成集合，或者是一个“最大”的线性无关集合。

基的性质：
⚝ 如果 \(\mathcal{B} = \{v_1, \dots, v_n\}\) 是向量空间 \(V\) 的一个基，那么 \(V\) 中的每一个向量 \(v\) 都可以唯一地表示为 \(\mathcal{B}\) 中向量的线性组合：
\[ v = c_1 v_1 + c_2 v_2 + \dots + c_n v_n \]
其中 \(c_1, \dots, c_n\) 是唯一的标量。这些标量 \(c_i\) 称为向量 \(v\) 在基 \(\mathcal{B}\) 下的坐标 (coordinates)。

例子：
① \(R^n\) 的标准基 (Standard Basis)：\(\{e_1, e_2, \dots, e_n\}\) 是 \(R^n\) 的一个基。它是线性无关的，并且可以生成 \(R^n\)。
② \(P_n(R)\) 的标准基：\(\{1, x, x^2, \dots, x^n\}\) 是 \(P_n(R)\) 的一个基。
③ \(M_{m \times n}(R)\) 的标准基：由所有只有一个位置是 1，其余位置是 0 的 \(m \times n\) 矩阵组成的集合是一个基。例如，\(M_{2 \times 2}(R)\) 的标准基是：
\[ \left\{ \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}, \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}, \begin{pmatrix} 0 & 0 \\ 1 & 0 \end{pmatrix}, \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix} \right\} \]

3.5.2 维数 (Dimension)

向量空间 \(V\) 的维数 (dimension)，记作 \(dim(V)\)，是其任何一个基中向量的个数。

定理： 如果一个向量空间 \(V\) 有一个包含 \(n\) 个向量的基，那么它的任何一个基都包含 \(n\) 个向量。这个定理保证了维数的定义是良定的，与选择哪个基无关。

有限维向量空间 (Finite-Dimensional Vector Space)： 如果一个向量空间有一个包含有限个向量的基，则称其为有限维向量空间。
无限维向量空间 (Infinite-Dimensional Vector Space)： 如果一个向量空间没有包含有限个向量的基，则称其为无限维向量空间。例如，所有实系数多项式的空间 \(P(R)\) 或所有实值连续函数的空间 \(C(R)\) 都是无限维的。

例子：
⚝ \(dim(R^n) = n\)。
⚝ \(dim(P_n(R)) = n+1\)，因为基是 \(\{1, x, \dots, x^n\}\)，共 \(n+1\) 个向量。
⚝ \(dim(M_{m \times n}(R)) = mn\)。
⚝ 零空间 \(\{0\}\) 的维数是 0，因为它的基是空集 \(\emptyset\)。

维数定理 (Dimension Theorem) 的一些推论：
设 \(V\) 是一个 \(n\) 维向量空间。
① \(V\) 中任何包含多于 \(n\) 个向量的集合都是线性相关的。
② \(V\) 中任何包含少于 \(n\) 个向量的集合都不能生成 \(V\)。
③ \(V\) 中任何包含 \(n\) 个向量的线性无关集合都是 \(V\) 的一个基。
④ \(V\) 中任何包含 \(n\) 个向量的生成集合都是 \(V\) 的一个基。

这些推论在判断一个集合是否为基时非常有用。在一个已知维数的空间中，我们只需要检查线性无关性或生成性中的一个条件，如果向量个数等于维数，则另一个条件也自动满足。

3.6 坐标 (Coordinates) 与基变换 (Change of Basis)

在一个向量空间中选定一个基后，每个向量都可以用一组唯一的坐标来表示。不同的基会产生不同的坐标表示。基变换研究的是如何在不同基下的坐标之间进行转换。

3.6.1 坐标 (Coordinates)

设 \(\mathcal{B} = \{v_1, v_2, \dots, v_n\}\) 是向量空间 \(V\) 的一个基。对于任意向量 \(v \in V\)，存在唯一的标量 \(c_1, c_2, \dots, c_n\) 使得
\[ v = c_1 v_1 + c_2 v_2 + \dots + c_n v_n \]
这些唯一的标量 \(c_1, c_2, \dots, c_n\) 称为向量 \(v\) 在基 \(\mathcal{B}\) 下的坐标 (coordinates of \(v\) relative to \(\mathcal{B}\))。我们将这些坐标写成一个列向量，称为 \(v\) 相对于基 \(\mathcal{B}\) 的坐标向量 (coordinate vector of \(v\) relative to \(\mathcal{B}\))，记作 \([v]_\mathcal{B}\)：
\[ [v]_\mathcal{B} = \begin{pmatrix} c_1 \\ c_2 \\ \vdots \\ c_n \end{pmatrix} \]

从向量 \(v\) 到其坐标向量 \([v]_\mathcal{B}\) 的映射是一个同构 (isomorphism)，它将抽象的向量空间 \(V\) 与具体的 \(R^n\) 空间联系起来。这意味着在 \(V\) 中的向量加法和标量乘法对应于在 \(R^n\) 中的坐标向量的加法和标量乘法。

例子：
在 \(R^2\) 中，考虑标准基 \(\mathcal{E} = \{e_1, e_2\} = \{(1, 0), (0, 1)\}\) 和另一个基 \(\mathcal{B} = \{v_1, v_2\} = \{(1, 1), (1, -1)\}\)。
向量 \(v = (3, 1)\)。
在标准基 \(\mathcal{E}\) 下，\(v = 3 e_1 + 1 e_2\)，所以 \([v]_\mathcal{E} = \begin{pmatrix} 3 \\ 1 \end{pmatrix}\)。
在基 \(\mathcal{B}\) 下，我们需要找到 \(c_1, c_2\) 使得 \(v = c_1 v_1 + c_2 v_2\)，即 \((3, 1) = c_1 (1, 1) + c_2 (1, -1)\)。
这可以写成线性方程组：
\(c_1 + c_2 = 3\)
\(c_1 - c_2 = 1\)
解得 \(c_1 = 2, c_2 = 1\)。所以 \(v = 2 v_1 + 1 v_2\)，向量 \(v\) 在基 \(\mathcal{B}\) 下的坐标向量是 \([v]_\mathcal{B} = \begin{pmatrix} 2 \\ 1 \end{pmatrix}\)。

3.6.2 基变换 (Change of Basis)

基变换研究的是如何将一个向量在某个基下的坐标转换为它在另一个基下的坐标。

设 \(\mathcal{B} = \{v_1, v_2, \dots, v_n\}\) 和 \(\mathcal{C} = \{w_1, w_2, \dots, w_n\}\) 是向量空间 \(V\) 的两个基。我们希望找到一个矩阵 \(P\)，使得对于任意向量 \(v \in V\)，有 \([v]_\mathcal{C} = P [v]_\mathcal{B}\)。这个矩阵 \(P\) 称为从基 \(\mathcal{B}\) 到基 \(\mathcal{C}\) 的基变换矩阵 (change-of-basis matrix) 或转移矩阵 (transition matrix)，记作 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\)。

如何找到 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\)？
考虑基 \(\mathcal{B}\) 中的向量 \(v_j\)。将 \(v_j\) 写成基 \(\mathcal{C}\) 中向量的线性组合：
\[ v_j = a_{1j} w_1 + a_{2j} w_2 + \dots + a_{nj} w_n \]
则 \(v_j\) 在基 \(\mathcal{C}\) 下的坐标向量是 \([v_j]_\mathcal{C} = \begin{pmatrix} a_{1j} \\ a_{2j} \\ \vdots \\ a_{nj} \end{pmatrix}\)。
基变换矩阵 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\) 的列就是基 \(\mathcal{B}\) 中向量在基 \(\mathcal{C}\) 下的坐标向量：
\[ P_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} | & | & & | \\ [v_1]_\mathcal{C} & [v_2]_\mathcal{C} & \dots & [v_n]_\mathcal{C} \\ | & | & & | \end{pmatrix} \]

现在，对于任意向量 \(v \in V\)，设 \([v]_\mathcal{B} = \begin{pmatrix} c_1 \\ \vdots \\ c_n \end{pmatrix}\)，即 \(v = c_1 v_1 + \dots + c_n v_n\)。
将其转换为基 \(\mathcal{C}\) 下的坐标：
\begin{align} [v]\mathcal{C} &= [c_1 v_1 + \dots + c_n v_n]\mathcal{C} \ &= c_1 [v_1]\mathcal{C} + \dots + c_n [v_n]\mathcal{C} \quad \text{(坐标映射的线性性)} \ &= \begin{pmatrix} | & | & & | \ [v_1]\mathcal{C} & [v_2]\mathcal{C} & \dots & [v_n]\mathcal{C} \ | & | & & | \end{pmatrix} \begin{pmatrix} c_1 \ c_2 \ \vdots \ c_n \end{pmatrix} \ &= P \leftarrow \mathcal{B}} [v]_\mathcal{B} \end{align}
这证明了 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\) 的构造方式是正确的。

从标准基到任意基的变换：
设 \(\mathcal{E}\) 是 \(R^n\) 的标准基，\(\mathcal{B} = \{v_1, \dots, v_n\}\) 是 \(R^n\) 的另一个基。
从 \(\mathcal{B}\) 到 \(\mathcal{E}\) 的基变换矩阵 \(P_{\mathcal{E} \leftarrow \mathcal{B}}\) 的列是 \(v_j\) 在标准基 \(\mathcal{E}\) 下的坐标向量。由于 \(v_j\) 本身就是列向量，其在标准基下的坐标向量就是它本身。
\[ P_{\mathcal{E} \leftarrow \mathcal{B}} = \begin{pmatrix} | & | & & | \\ v_1 & v_2 & \dots & v_n \\ | & | & & | \end{pmatrix} \]
这个矩阵通常称为基 \(\mathcal{B}\) 的矩阵表示。对于任意 \(v \in R^n\)，如果 \([v]_\mathcal{B} = \begin{pmatrix} c_1 \\ \vdots \\ c_n \end{pmatrix}\)，则 \(v = c_1 v_1 + \dots + c_n v_n = P_{\mathcal{E} \leftarrow \mathcal{B}} [v]_\mathcal{B}\)。

从任意基到标准基的变换：
从 \(\mathcal{E}\) 到 \(\mathcal{B}\) 的基变换矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{E}}\) 是 \(P_{\mathcal{E} \leftarrow \mathcal{B}}\) 的逆矩阵：
\(P_{\mathcal{B} \leftarrow \mathcal{E}} = (P_{\mathcal{E} \leftarrow \mathcal{B}})^{-1}\)。
所以，如果已知 \(v\) 在标准基下的坐标向量 \(v = [v]_\mathcal{E}\)，则其在基 \(\mathcal{B}\) 下的坐标向量是 \([v]_\mathcal{B} = (P_{\mathcal{E} \leftarrow \mathcal{B}})^{-1} v\)。

从任意基到任意基的变换：
从基 \(\mathcal{B}\) 到基 \(\mathcal{C}\) 的基变换矩阵 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\) 可以通过标准基 \(\mathcal{E}\) 作为中介来计算：
\(P_{\mathcal{C} \leftarrow \mathcal{B}} = P_{\mathcal{C} \leftarrow \mathcal{E}} P_{\mathcal{E} \leftarrow \mathcal{B}}\)。
其中 \(P_{\mathcal{E} \leftarrow \mathcal{B}}\) 是由基 \(\mathcal{B}\) 的向量作为列组成的矩阵，而 \(P_{\mathcal{C} \leftarrow \mathcal{E}} = (P_{\mathcal{E} \leftarrow \mathcal{C}})^{-1}\)，其中 \(P_{\mathcal{E} \leftarrow \mathcal{C}}\) 是由基 \(\mathcal{C}\) 的向量作为列组成的矩阵。
所以，\(P_{\mathcal{C} \leftarrow \mathcal{B}} = (P_{\mathcal{E} \leftarrow \mathcal{C}})^{-1} P_{\mathcal{E} \leftarrow \mathcal{B}}\)。

计算 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\) 的实用方法是构造增广矩阵 \([ P_{\mathcal{E} \leftarrow \mathcal{C}} \mid P_{\mathcal{E} \leftarrow \mathcal{B}} ]\) 并对其进行行化简，直到左侧变为单位矩阵：
\[ [ P_{\mathcal{E} \leftarrow \mathcal{C}} \mid P_{\mathcal{E} \leftarrow \mathcal{B}} ] \xrightarrow{\text{行化简}} [ I \mid P_{\mathcal{C} \leftarrow \mathcal{B}} ] \]

例子 (续)：
在 \(R^2\) 中，\(\mathcal{E} = \{(1, 0), (0, 1)\}\)，\(\mathcal{B} = \{v_1, v_2\} = \{(1, 1), (1, -1)\}\)。
\(P_{\mathcal{E} \leftarrow \mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\)。
要找到 \(P_{\mathcal{B} \leftarrow \mathcal{E}}\)，计算 \( (P_{\mathcal{E} \leftarrow \mathcal{B}})^{-1} \)：
\( \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}^{-1} = \frac{1}{1(-1) - 1(1)} \begin{pmatrix} -1 & -1 \\ -1 & 1 \end{pmatrix} = \frac{1}{-2} \begin{pmatrix} -1 & -1 \\ -1 & 1 \end{pmatrix} = \begin{pmatrix} 1/2 & 1/2 \\ 1/2 & -1/2 \end{pmatrix} \)。
所以 \(P_{\mathcal{B} \leftarrow \mathcal{E}} = \begin{pmatrix} 1/2 & 1/2 \\ 1/2 & -1/2 \end{pmatrix}\)。
现在验证向量 \(v = (3, 1)\) 的坐标变换：
\([v]_\mathcal{E} = \begin{pmatrix} 3 \\ 1 \end{pmatrix}\)。
\([v]_\mathcal{B} = P_{\mathcal{B} \leftarrow \mathcal{E}} [v]_\mathcal{E} = \begin{pmatrix} 1/2 & 1/2 \\ 1/2 & -1/2 \end{pmatrix} \begin{pmatrix} 3 \\ 1 \end{pmatrix} = \begin{pmatrix} (1/2) \cdot 3 + (1/2) \cdot 1 \\ (1/2) \cdot 3 + (-1/2) \cdot 1 \end{pmatrix} = \begin{pmatrix} 3/2 + 1/2 \\ 3/2 - 1/2 \end{pmatrix} = \begin{pmatrix} 2 \\ 1 \end{pmatrix}\)。
这与我们之前直接计算的结果一致。

基变换的概念在理解线性变换的矩阵表示、相似矩阵等后续概念中至关重要。它揭示了同一个向量或同一个线性变换在不同“视角”（基）下的不同表示形式。

本章我们深入探讨了向量空间的基本概念，从抽象定义到具体的例子，再到描述向量集合内部关系的线性相关/无关性，以及刻画向量空间结构和大小的基与维数，最后学习了如何在不同基下进行坐标表示和转换。这些概念是线性代数理论的基石，也是理解后续章节内容的关键。

4. chapter 4：线性变换 (Linear Transformations)

线性代数的核心在于研究向量空间之间的特殊映射，这些映射保持了向量加法和标量乘法这两种基本运算的结构。这类映射被称为线性变换。理解线性变换是深入学习线性代数及其在各个领域应用的关键。本章将系统地介绍线性变换的定义、性质、矩阵表示、相关的子空间（核空间和像空间）、秩与零化度，以及线性变换的复合与逆。

4.1 线性变换的定义与性质 (Definition and Properties of Linear Transformations)

在数学中，我们经常研究集合之间的函数或映射。在线性代数中，我们特别关注那些在向量空间之间“保持线性结构”的映射。

4.1.1 定义 (Definition)

设 \(V\) 和 \(W\) 是在同一个标量域 \(F\) 上的两个向量空间。一个从 \(V\) 到 \(W\) 的映射 \(T: V \to W\) 称为线性变换 (Linear Transformation)，如果对于 \(V\) 中的任意向量 \(\mathbf{u}, \mathbf{v}\) 和标量域 \(F\) 中的任意标量 \(c\)，满足以下两个条件：

① 加法可加性 (Additivity)：\(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})\)
② 齐次性 (Homogeneity)：\(T(c\mathbf{u}) = cT(\mathbf{u})\)

这两个条件可以合并为一个等价的条件：对于 \(V\) 中的任意向量 \(\mathbf{u}, \mathbf{v}\) 和标量域 \(F\) 中的任意标量 \(c_1, c_2\)，满足：
\[ T(c_1\mathbf{u} + c_2\mathbf{v}) = c_1T(\mathbf{u}) + c_2T(\mathbf{v}) \]
这个合并的条件称为线性性 (Linearity)。

如果 \(W = V\)，则称线性变换 \(T: V \to V\) 为线性算子 (Linear Operator)。

4.1.2 例子 (Examples)

理解线性变换的最好方法是看一些具体的例子。

⚝ 零变换 (Zero Transformation)：设 \(T: V \to W\) 定义为 \(T(\mathbf{v}) = \mathbf{0}_W\) 对于所有 \(\mathbf{v} \in V\)，其中 \(\mathbf{0}_W\) 是 \(W\) 中的零向量。
▮▮▮▮⚝ 验证：
▮▮▮▮⚝ \(T(\mathbf{u} + \mathbf{v}) = \mathbf{0}_W\)，而 \(T(\mathbf{u}) + T(\mathbf{v}) = \mathbf{0}_W + \mathbf{0}_W = \mathbf{0}_W\)。所以 \(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})\)。
▮▮▮▮⚝ \(T(c\mathbf{u}) = \mathbf{0}_W\)，而 \(cT(\mathbf{u}) = c\mathbf{0}_W = \mathbf{0}_W\)。所以 \(T(c\mathbf{u}) = cT(\mathbf{u})\)。
▮▮▮▮⚝ 因此，零变换是线性变换。

⚝ 恒等变换 (Identity Transformation)：设 \(T: V \to V\) 定义为 \(T(\mathbf{v}) = \mathbf{v}\) 对于所有 \(\mathbf{v} \in V\)。
▮▮▮▮⚝ 验证：
▮▮▮▮⚝ \(T(\mathbf{u} + \mathbf{v}) = \mathbf{u} + \mathbf{v}\)，而 \(T(\mathbf{u}) + T(\mathbf{v}) = \mathbf{u} + \mathbf{v}\)。所以 \(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})\)。
▮▮▮▮⚝ \(T(c\mathbf{u}) = c\mathbf{u}\)，而 \(cT(\mathbf{u}) = c\mathbf{u}\)。所以 \(T(c\mathbf{u}) = cT(\mathbf{u})\)。
▮▮▮▮⚝ 因此，恒等变换是线性变换。

⚝ 缩放变换 (Scaling Transformation)：设 \(T: V \to V\) 定义为 \(T(\mathbf{v}) = k\mathbf{v}\) 对于所有 \(\mathbf{v} \in V\)，其中 \(k\) 是一个固定的标量。
▮▮▮▮⚝ 验证：
▮▮▮▮⚝ \(T(\mathbf{u} + \mathbf{v}) = k(\mathbf{u} + \mathbf{v}) = k\mathbf{u} + k\mathbf{v}\)，而 \(T(\mathbf{u}) + T(\mathbf{v}) = k\mathbf{u} + k\mathbf{v}\)。所以 \(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})\)。
▮▮▮▮⚝ \(T(c\mathbf{u}) = k(c\mathbf{u}) = (kc)\mathbf{u} = c(k\mathbf{u})\)，而 \(cT(\mathbf{u}) = c(k\mathbf{u})\)。所以 \(T(c\mathbf{u}) = cT(\mathbf{u})\)。
▮▮▮▮⚝ 因此，缩放变换是线性变换。

⚝ 旋转变换 (Rotation Transformation) 在 \(R^2\) 中：设 \(T: R^2 \to R^2\) 将向量绕原点逆时针旋转角度 \(\theta\)。一个向量 \((x, y)\) 旋转后变为 \((x\cos\theta - y\sin\theta, x\sin\theta + y\cos\theta)\)。
▮▮▮▮⚝ 验证：设 \(\mathbf{u} = (x_1, y_1)\) 和 \(\mathbf{v} = (x_2, y_2)\)。
▮▮▮▮⚝ \(\mathbf{u} + \mathbf{v} = (x_1+x_2, y_1+y_2)\)。
▮▮▮▮⚝ \(T(\mathbf{u} + \mathbf{v}) = ((x_1+x_2)\cos\theta - (y_1+y_2)\sin\theta, (x_1+x_2)\sin\theta + (y_1+y_2)\cos\theta)\)
▮▮▮▮⚝ \(T(\mathbf{u}) = (x_1\cos\theta - y_1\sin\theta, x_1\sin\theta + y_1\cos\theta)\)
▮▮▮▮⚝ \(T(\mathbf{v}) = (x_2\cos\theta - y_2\sin\theta, x_2\sin\theta + y_2\cos\theta)\)
▮▮▮▮⚝ \(T(\mathbf{u}) + T(\mathbf{v}) = (x_1\cos\theta - y_1\sin\theta + x_2\cos\theta - y_2\sin\theta, x_1\sin\theta + y_1\cos\theta + x_2\sin\theta + y_2\cos\theta)\)
▮▮▮▮⚝ \( = ((x_1+x_2)\cos\theta - (y_1+y_2)\sin\theta, (x_1+x_2)\sin\theta + (y_1+y_2)\cos\theta)\)。
▮▮▮▮⚝ 所以 \(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})\)。
▮▮▮▮⚝ 类似地可以验证齐次性。因此，旋转变换是线性变换。

⚝ 投影变换 (Projection Transformation) 在 \(R^2\) 中：设 \(T: R^2 \to R^2\) 将向量 \((x, y)\) 投影到 x 轴，即 \(T(x, y) = (x, 0)\)。
▮▮▮▮⚝ 验证：设 \(\mathbf{u} = (x_1, y_1)\) 和 \(\mathbf{v} = (x_2, y_2)\)。
▮▮▮▮⚝ \(T(\mathbf{u} + \mathbf{v}) = T(x_1+x_2, y_1+y_2) = (x_1+x_2, 0)\)。
▮▮▮▮⚝ \(T(\mathbf{u}) + T(\mathbf{v}) = (x_1, 0) + (x_2, 0) = (x_1+x_2, 0)\)。所以 \(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})\)。
▮▮▮▮⚝ 设 \(c\) 是标量。\(T(c\mathbf{u}) = T(cx_1, cy_1) = (cx_1, 0)\)。
▮▮▮▮⚝ \(cT(\mathbf{u}) = c(x_1, 0) = (cx_1, 0)\)。所以 \(T(c\mathbf{u}) = cT(\mathbf{u})\)。
▮▮▮▮⚝ 因此，投影变换是线性变换。

⚝ 微分算子 (Differentiation Operator)：设 \(V\) 是所有实系数多项式的向量空间，\(W\) 也是。设 \(D: V \to W\) 定义为 \(D(p(x)) = p'(x)\)，即对多项式求导。
▮▮▮▮⚝ 验证：设 \(p(x), q(x)\) 是多项式，\(c\) 是实数。
▮▮▮▮⚝ \(D(p(x) + q(x)) = (p(x) + q(x))' = p'(x) + q'(x) = D(p(x)) + D(q(x))\)。
▮▮▮▮⚝ \(D(cp(x)) = (cp(x))' = cp'(x) = cD(p(x))\)。
▮▮▮▮⚝ 因此，微分算子是线性变换。

⚝ 积分算子 (Integration Operator)：设 \(V\) 是所有在区间 \([a, b]\) 上连续的实值函数的向量空间，\(W\) 也是。设 \(J: V \to W\) 定义为 \(J(f(x)) = \int_a^x f(t) dt\)。
▮▮▮▮⚝ 验证：设 \(f(x), g(x)\) 是连续函数，\(c\) 是实数。
▮▮▮▮⚝ \(J(f(x) + g(x)) = \int_a^x (f(t) + g(t)) dt = \int_a^x f(t) dt + \int_a^x g(t) dt = J(f(x)) + J(g(x))\)。
▮▮▮▮⚝ \(J(cf(x)) = \int_a^x cf(t) dt = c\int_a^x f(t) dt = cJ(f(x))\)。
▮▮▮▮⚝ 因此，积分算子是线性变换。

4.1.3 性质 (Properties)

从线性变换的定义可以直接推导出一些重要的性质。设 \(T: V \to W\) 是一个线性变换。

① \(T(\mathbf{0}_V) = \mathbf{0}_W\)，其中 \(\mathbf{0}_V\) 是 \(V\) 中的零向量，\(\mathbf{0}_W\) 是 \(W\) 中的零向量。
▮▮▮▮⚝ 证明：\(T(\mathbf{0}_V) = T(0 \cdot \mathbf{v})\) 对于任意 \(\mathbf{v} \in V\)。根据齐次性，\(T(0 \cdot \mathbf{v}) = 0 \cdot T(\mathbf{v})\)。根据向量空间的性质，标量 \(0\) 乘以任何向量都得到零向量，所以 \(0 \cdot T(\mathbf{v}) = \mathbf{0}_W\)。因此，\(T(\mathbf{0}_V) = \mathbf{0}_W\)。

② \(T(-\mathbf{v}) = -T(\mathbf{v})\) 对于任意 \(\mathbf{v} \in V\)。
▮▮▮▮⚝ 证明：\(T(-\mathbf{v}) = T((-1)\mathbf{v})\)。根据齐次性，\(T((-1)\mathbf{v}) = (-1)T(\mathbf{v})\)。根据向量空间的性质，\((-1)T(\mathbf{v}) = -T(\mathbf{v})\)。因此，\(T(-\mathbf{v}) = -T(\mathbf{v})\)。

③ \(T(\mathbf{u} - \mathbf{v}) = T(\mathbf{u}) - T(\mathbf{v})\) 对于任意 \(\mathbf{u}, \mathbf{v} \in V\)。
▮▮▮▮⚝ 证明：\(T(\mathbf{u} - \mathbf{v}) = T(\mathbf{u} + (-\mathbf{v}))\)。根据加法可加性，\(T(\mathbf{u} + (-\mathbf{v})) = T(\mathbf{u}) + T(-\mathbf{v})\)。根据性质②，\(T(-\mathbf{v}) = -T(\mathbf{v})\)。因此，\(T(\mathbf{u} - \mathbf{v}) = T(\mathbf{u}) - T(\mathbf{v})\)。

④ 线性变换将向量的线性组合映射为像的线性组合。对于任意向量 \(\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n \in V\) 和标量 \(c_1, c_2, \dots, c_n \in F\)，有：
\[ T(c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_n\mathbf{v}_n) = c_1T(\mathbf{v}_1) + c_2T(\mathbf{v}_2) + \dots + c_nT(\mathbf{v}_n) \]
▮▮▮▮⚝ 证明：这可以通过对 \(n\) 进行数学归纳法证明，或者直接利用线性性的合并条件。
▮▮▮▮⚝ 对于 \(n=2\)，根据合并的线性性条件，\(T(c_1\mathbf{v}_1 + c_2\mathbf{v}_2) = c_1T(\mathbf{v}_1) + c_2T(\mathbf{v}_2)\)。
▮▮▮▮⚝ 假设对于 \(k\) 个向量成立，即 \(T(\sum_{i=1}^k c_i\mathbf{v}_i) = \sum_{i=1}^k c_iT(\mathbf{v}_i)\)。
▮▮▮▮⚝ 考虑 \(k+1\) 个向量：
▮▮▮▮⚝ \(T(\sum_{i=1}^{k+1} c_i\mathbf{v}_i) = T((\sum_{i=1}^k c_i\mathbf{v}_i) + c_{k+1}\mathbf{v}_{k+1})\)
▮▮▮▮⚝ 根据加法可加性：\( = T(\sum_{i=1}^k c_i\mathbf{v}_i) + T(c_{k+1}\mathbf{v}_{k+1})\)
▮▮▮▮⚝ 根据归纳假设和齐次性：\( = (\sum_{i=1}^k c_iT(\mathbf{v}_i)) + c_{k+1}T(\mathbf{v}_{k+1})\)
▮▮▮▮⚝ \( = \sum_{i=1}^{k+1} c_iT(\mathbf{v}_i)\)。
▮▮▮▮⚝ 因此，性质④成立。

性质④非常重要，它表明一个线性变换完全由它在向量空间的一组基上的取值决定。如果 \(\{\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n\}\) 是 \(V\) 的一组基，那么对于任意 \(\mathbf{v} \in V\)，存在唯一的标量 \(c_1, \dots, c_n\) 使得 \(\mathbf{v} = c_1\mathbf{v}_1 + \dots + c_n\mathbf{v}_n\)。则 \(T(\mathbf{v})\) 可以表示为：
\[ T(\mathbf{v}) = T(c_1\mathbf{v}_1 + \dots + c_n\mathbf{v}_n) = c_1T(\mathbf{v}_1) + \dots + c_nT(\mathbf{v}_n) \]
这意味着，只要知道 \(T\) 在基向量 \(T(\mathbf{v}_1), \dots, T(\mathbf{v}_n)\) 上的取值，就可以确定 \(T\) 在 \(V\) 中任何向量上的取值。

4.2 线性变换的矩阵表示 (Matrix Representation of Linear Transformations)

线性变换与矩阵之间有着深刻的联系。对于有限维向量空间之间的线性变换，总可以用一个矩阵来表示。这使得我们可以利用矩阵运算来研究线性变换的性质。

设 \(V\) 是一个 \(n\) 维向量空间，\(W\) 是一个 \(m\) 维向量空间。设 \(\mathcal{B} = \{\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n\}\) 是 \(V\) 的一组基，\(\mathcal{C} = \{\mathbf{w}_1, \mathbf{w}_2, \dots, \mathbf{w}_m\}\) 是 \(W\) 的一组基。设 \(T: V \to W\) 是一个线性变换。

对于 \(V\) 中的每个基向量 \(\mathbf{v}_j\) (\(j=1, \dots, n\))，其像 \(T(\mathbf{v}_j)\) 是 \(W\) 中的一个向量。由于 \(\mathcal{C}\) 是 \(W\) 的一组基，\(T(\mathbf{v}_j)\) 可以唯一地表示为 \(\mathcal{C}\) 中向量的线性组合：
\[ T(\mathbf{v}_j) = a_{1j}\mathbf{w}_1 + a_{2j}\mathbf{w}_2 + \dots + a_{mj}\mathbf{w}_m = \sum_{i=1}^m a_{ij}\mathbf{w}_i \]
这些系数 \(a_{ij}\) 构成了表示线性变换 \(T\) 的矩阵。我们将这些系数排列成一个 \(m \times n\) 矩阵 \(A = [a_{ij}]\)，其中 \(a_{ij}\) 是 \(T(\mathbf{v}_j)\) 在基 \(\mathcal{C}\) 下的坐标向量的第 \(i\) 个分量。更具体地说，矩阵 \(A\) 的第 \(j\) 列是向量 \(T(\mathbf{v}_j)\) 在基 \(\mathcal{C}\) 下的坐标向量 \([T(\mathbf{v}_j)]_\mathcal{C}\)：
\[ A = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \end{bmatrix} \]
这个矩阵 \(A\) 称为线性变换 \(T\) 关于基 \(\mathcal{B}\) 和 \(\mathcal{C}\) 的矩阵表示 (Matrix Representation)，记作 \([T]_{\mathcal{C} \leftarrow \mathcal{B}}\)。

现在，考虑 \(V\) 中的任意向量 \(\mathbf{v}\)。它可以唯一地表示为基 \(\mathcal{B}\) 的线性组合：
\[ \mathbf{v} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_n\mathbf{v}_n \]
其在基 \(\mathcal{B}\) 下的坐标向量是 \([\mathbf{v}]_\mathcal{B} = \begin{bmatrix} c_1 \\ c_2 \\ \vdots \\ c_n \end{bmatrix}\)。
根据线性变换的性质④，\(T(\mathbf{v})\) 可以表示为：
\[ T(\mathbf{v}) = T(\sum_{j=1}^n c_j\mathbf{v}_j) = \sum_{j=1}^n c_jT(\mathbf{v}_j) \]
将每个 \(T(\mathbf{v}_j)\) 用基 \(\mathcal{C}\) 表示：
\[ T(\mathbf{v}) = \sum_{j=1}^n c_j (\sum_{i=1}^m a_{ij}\mathbf{w}_i) = \sum_{j=1}^n \sum_{i=1}^m (c_j a_{ij})\mathbf{w}_i \]
改变求和顺序：
\[ T(\mathbf{v}) = \sum_{i=1}^m (\sum_{j=1}^n a_{ij}c_j)\mathbf{w}_i \]
这表明 \(T(\mathbf{v})\) 在基 \(\mathcal{C}\) 下的坐标向量的第 \(i\) 个分量是 \(\sum_{j=1}^n a_{ij}c_j\)。
注意到这个表达式正是矩阵 \(A\) 与列向量 \([\mathbf{v}]_\mathcal{B}\) 相乘的结果的第 \(i\) 个分量。
\[ [T(\mathbf{v})]_{\mathcal{C}} = \begin{bmatrix} \sum_{j=1}^n a_{1j}c_j \\ \sum_{j=1}^n a_{2j}c_j \\ \vdots \\ \sum_{j=1}^n a_{mj}c_j \end{bmatrix} = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \end{bmatrix} \begin{bmatrix} c_1 \\ c_2 \\ \vdots \\ c_n \end{bmatrix} = A [\mathbf{v}]_{\mathcal{B}} \]
所以，我们得到了一个非常重要的关系：
\[ [T(\mathbf{v})]_{\mathcal{C}} = [T]_{\mathcal{C} \leftarrow \mathcal{B}} [\mathbf{v}]_{\mathcal{B}} \]
这个公式说明，对向量进行线性变换 \(T\) 然后找到其在基 \(\mathcal{C}\) 下的坐标，等价于先找到原向量在基 \(\mathcal{B}\) 下的坐标，然后乘以变换矩阵 \([T]_{\mathcal{C} \leftarrow \mathcal{B}}\)。这正是矩阵乘法在线性变换中的意义。

4.2.1 标准矩阵 (Standard Matrix)

当 \(V = R^n\) 且 \(W = R^m\)，并且我们使用 \(R^n\) 的标准基 \(\mathcal{E}_n = \{\mathbf{e}_1, \dots, \mathbf{e}_n\}\) 和 \(R^m\) 的标准基 \(\mathcal{E}_m = \{\mathbf{f}_1, \dots, \mathbf{f}_m\}\) 时，线性变换 \(T: R^n \to R^m\) 的矩阵表示 \([T]_{\mathcal{E}_m \leftarrow \mathcal{E}_n}\) 通常称为 \(T\) 的标准矩阵 (Standard Matrix)。
在这种情况下，\([\mathbf{v}]_{\mathcal{E}_n} = \mathbf{v}\) (向量本身就是其在标准基下的坐标表示)，\([T(\mathbf{v})]_{\mathcal{E}_m} = T(\mathbf{v})\)。
标准矩阵 \(A\) 的第 \(j\) 列是 \(T(\mathbf{e}_j)\)。
\[ A = [T(\mathbf{e}_1) \ T(\mathbf{e}_2) \ \dots \ T(\mathbf{e}_n)] \]
其中 \(T(\mathbf{e}_j)\) 是 \(R^m\) 中的向量。
对于任意 \(\mathbf{x} \in R^n\)，有 \(T(\mathbf{x}) = A\mathbf{x}\)。
这表明 \(R^n\) 到 \(R^m\) 的任何线性变换都可以表示为与一个 \(m \times n\) 矩阵相乘。反之，任何 \(m \times n\) 矩阵 \(A\) 定义了一个从 \(R^n\) 到 \(R^m\) 的线性变换 \(T(\mathbf{x}) = A\mathbf{x}\)。因此，\(R^n\) 到 \(R^m\) 的线性变换与 \(m \times n\) 矩阵之间存在一一对应关系。

4.2.2 基变换对矩阵表示的影响 (Effect of Change of Basis on Matrix Representation)

线性变换的矩阵表示依赖于所选择的基。如果在 \(V\) 和 \(W\) 中选择不同的基，线性变换的矩阵表示也会改变。
设 \(\mathcal{B} = \{\mathbf{v}_1, \dots, \mathbf{v}_n\}\) 和 \(\mathcal{B}' = \{\mathbf{v}'_1, \dots, \mathbf{v}'_n\}\) 是 \(V\) 的两组基，\(\mathcal{C} = \{\mathbf{w}_1, \dots, \mathbf{w}_m\}\) 和 \(\mathcal{C}' = \{\mathbf{w}'_1, \dots, \mathbf{w}'_m\}\) 是 \(W\) 的两组基。设 \(A = [T]_{\mathcal{C} \leftarrow \mathcal{B}}\) 和 \(A' = [T]_{\mathcal{C}' \leftarrow \mathcal{B}'}\) 分别是 \(T\) 关于这两对基的矩阵表示。
我们知道，存在从 \(\mathcal{B}'\) 到 \(\mathcal{B}\) 的基变换矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{B}'}\) 和从 \(\mathcal{C}\) 到 \(\mathcal{C}'\) 的基变换矩阵 \(P_{\mathcal{C}' \leftarrow \mathcal{C}}\)。
对于任意 \(\mathbf{v} \in V\)，我们有：
\([\mathbf{v}]_{\mathcal{B}} = P_{\mathcal{B} \leftarrow \mathcal{B}'} [\mathbf{v}]_{\mathcal{B}'}\)
\([T(\mathbf{v})]_{\mathcal{C}'} = P_{\mathcal{C}' \leftarrow \mathcal{C}} [T(\mathbf{v})]_{\mathcal{C}}\)
结合线性变换的矩阵表示公式：
\([T(\mathbf{v})]_{\mathcal{C}} = A [\mathbf{v}]_{\mathcal{B}}\)
\([T(\mathbf{v})]_{\mathcal{C}'} = A' [\mathbf{v}]_{\mathcal{B}'}\)
将第一个式子代入第二个式子：
\([T(\mathbf{v})]_{\mathcal{C}'} = P_{\mathcal{C}' \leftarrow \mathcal{C}} (A [\mathbf{v}]_{\mathcal{B}})\)
再将基变换公式代入：
\([T(\mathbf{v})]_{\mathcal{C}'} = P_{\mathcal{C}' \leftarrow \mathcal{C}} A (P_{\mathcal{B} \leftarrow \mathcal{B}'} [\mathbf{v}]_{\mathcal{B}'})\)
由于矩阵乘法的结合律：
\([T(\mathbf{v})]_{\mathcal{C}'} = (P_{\mathcal{C}' \leftarrow \mathcal{C}} A P_{\mathcal{B} \leftarrow \mathcal{B}'}) [\mathbf{v}]_{\mathcal{B}'}\)
与 \([T(\mathbf{v})]_{\mathcal{C}'} = A' [\mathbf{v}]_{\mathcal{B}'}\) 比较，我们得到：
\[ A' = P_{\mathcal{C}' \leftarrow \mathcal{C}} A P_{\mathcal{B} \leftarrow \mathcal{B}'} \]
这个公式描述了线性变换的矩阵表示在基变换下的变化规律。
特别地，如果 \(T: V \to V\) 是一个线性算子，并且 \(\mathcal{B}\) 和 \(\mathcal{B}'\) 是 \(V\) 的两组基，则 \(A = [T]_{\mathcal{B} \leftarrow \mathcal{B}}\) 和 \(A' = [T]_{\mathcal{B}' \leftarrow \mathcal{B}'}\)。设 \(P = P_{\mathcal{B} \leftarrow \mathcal{B}'}\) 是从 \(\mathcal{B}'\) 到 \(\mathcal{B}\) 的基变换矩阵，则 \(P^{-1} = P_{\mathcal{B}' \leftarrow \mathcal{B}}\) 是从 \(\mathcal{B}\) 到 \(\mathcal{B}'\) 的基变换矩阵。
此时公式变为：
\[ A' = P^{-1} A P \]
如果两个矩阵 \(A\) 和 \(A'\) 满足这样的关系（存在可逆矩阵 \(P\) 使得 \(A' = P^{-1}AP\)），则称 \(A\) 和 \(A'\) 相似 (Similar)。相似矩阵表示同一个线性算子在不同基下的矩阵表示。相似性是研究线性算子本质性质的重要概念，因为它不依赖于特定的基选择。

4.3 核空间 (Kernel Space) 与像空间 (Image Space)

与线性变换相关的两个重要的子空间是核空间和像空间。它们提供了理解线性变换结构的关键信息。

4.3.1 核空间 (Kernel Space)

设 \(T: V \to W\) 是一个线性变换。\(T\) 的核空间 (Kernel Space)，记作 \(\text{ker}(T)\) 或 \(N(T)\)，是 \(V\) 中所有被 \(T\) 映射到 \(W\) 的零向量的向量的集合：
\[ \text{ker}(T) = \{\mathbf{v} \in V \mid T(\mathbf{v}) = \mathbf{0}_W\} \]
核空间也称为零空间 (Null Space)。

定理： 核空间 \(\text{ker}(T)\) 是 \(V\) 的一个子空间 (Subspace)。
▮▮▮▮⚝ 证明：
① 包含零向量：根据线性变换的性质①，\(T(\mathbf{0}_V) = \mathbf{0}_W\)。所以 \(\mathbf{0}_V \in \text{ker}(T)\)。核空间非空。
② 对加法封闭：设 \(\mathbf{u}, \mathbf{v} \in \text{ker}(T)\)。则 \(T(\mathbf{u}) = \mathbf{0}_W\) 且 \(T(\mathbf{v}) = \mathbf{0}_W\)。根据线性变换的加法可加性，\(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v}) = \mathbf{0}_W + \mathbf{0}_W = \mathbf{0}_W\)。所以 \(\mathbf{u} + \mathbf{v} \in \text{ker}(T)\)。
③ 对标量乘法封闭：设 \(\mathbf{u} \in \text{ker}(T)\) 且 \(c\) 是标量。则 \(T(\mathbf{u}) = \mathbf{0}_W\)。根据线性变换的齐次性，\(T(c\mathbf{u}) = cT(\mathbf{u}) = c\mathbf{0}_W = \mathbf{0}_W\)。所以 \(c\mathbf{u} \in \text{ker}(T)\)。
▮▮▮▮⚝ 由于核空间满足子空间的三个条件，因此它是 \(V\) 的一个子空间。

核空间的大小反映了线性变换的“信息损失”程度。如果 \(\text{ker}(T) = \{\mathbf{0}_V\}\)，则不同的向量被映射到不同的像，即 \(T\) 是单射 (Injective) 或一对一 (One-to-One) 的。
定理： 线性变换 \(T: V \to W\) 是单射当且仅当 \(\text{ker}(T) = \{\mathbf{0}_V\}\)。
▮▮▮▮⚝ 证明：
▮▮▮▮⚝ (\(\Rightarrow\)) 假设 \(T\) 是单射。我们知道 \(T(\mathbf{0}_V) = \mathbf{0}_W\)。由于 \(T\) 是单射，如果 \(T(\mathbf{v}) = \mathbf{0}_W\)，那么 \(\mathbf{v}\) 必须等于 \(\mathbf{0}_V\)。因此，\(\text{ker}(T) = \{\mathbf{0}_V\}\)。
▮▮▮▮⚝ (\(\Leftarrow\)) 假设 \(\text{ker}(T) = \{\mathbf{0}_V\}\)。设 \(T(\mathbf{u}) = T(\mathbf{v})\) 对于某些 \(\mathbf{u}, \mathbf{v} \in V\)。则 \(T(\mathbf{u}) - T(\mathbf{v}) = \mathbf{0}_W\)。根据线性变换的性质③，\(T(\mathbf{u} - \mathbf{v}) = \mathbf{0}_W\)。这意味着 \(\mathbf{u} - \mathbf{v} \in \text{ker}(T)\)。由于 \(\text{ker}(T) = \{\mathbf{0}_V\}\)，所以 \(\mathbf{u} - \mathbf{v} = \mathbf{0}_V\)，即 \(\mathbf{u} = \mathbf{v}\)。因此，\(T\) 是单射。

4.3.2 像空间 (Image Space)

设 \(T: V \to W\) 是一个线性变换。\(T\) 的像空间 (Image Space)，记作 \(\text{im}(T)\) 或 \(R(T)\)，是 \(W\) 中所有由 \(V\) 中向量通过 \(T\) 映射得到的像的集合：
\[ \text{im}(T) = \{T(\mathbf{v}) \mid \mathbf{v} \in V\} \]
像空间也称为值域 (Range)。

定理： 像空间 \(\text{im}(T)\) 是 \(W\) 的一个子空间。
▮▮▮▮⚝ 证明：
① 包含零向量：由于 \(\mathbf{0}_V \in V\)，且 \(T(\mathbf{0}_V) = \mathbf{0}_W\)，所以 \(\mathbf{0}_W \in \text{im}(T)\)。像空间非空。
② 对加法封闭：设 \(\mathbf{w}_1, \mathbf{w}_2 \in \text{im}(T)\)。则存在 \(\mathbf{v}_1, \mathbf{v}_2 \in V\) 使得 \(T(\mathbf{v}_1) = \mathbf{w}_1\) 且 \(T(\mathbf{v}_2) = \mathbf{w}_2\)。根据线性变换的加法可加性，\(T(\mathbf{v}_1 + \mathbf{v}_2) = T(\mathbf{v}_1) + T(\mathbf{v}_2) = \mathbf{w}_1 + \mathbf{w}_2\)。由于 \(\mathbf{v}_1 + \mathbf{v}_2 \in V\)，所以 \(\mathbf{w}_1 + \mathbf{w}_2 \in \text{im}(T)\)。
③ 对标量乘法封闭：设 \(\mathbf{w} \in \text{im}(T)\) 且 \(c\) 是标量。则存在 \(\mathbf{v} \in V\) 使得 \(T(\mathbf{v}) = \mathbf{w}\).```

 1.双击鼠标左键复制此行；2.单击复制所有代码。 
                                
                            ## 5. chapter 5： 行列式 (Determinants)
                        
                            行列式 (Determinants) 是线性代数中一个非常重要的概念，它将一个方阵 (square matrix) 映射到一个标量 (scalar) 值。这个标量值蕴含了关于矩阵的许多关键信息，例如矩阵是否可逆 (invertible)、线性变换 (linear transformation) 对体积 (volume) 的缩放比例等。本章将深入探讨行列式的定义、性质、计算方法及其在解决线性方程组 (systems of linear equations) 和理解线性变换几何意义中的应用。
                        
                            ### 5.1 行列式的定义 (Definition of Determinants)：排列 (Permutations) 与代数余子式 (Cofactor)
                        
                            行列式的定义有多种等价的方式。本节将介绍基于排列的定义和基于代数余子式的递归定义。
                        
                            #### 5.1.1 基于排列的定义 (Definition based on Permutations)
                        
                            要理解基于排列的定义，我们首先需要了解排列 (permutation) 的概念。
                        
                            ⚝ **排列 (Permutation)**：对于集合 LaTex→→→5c,28,20,5c,7b,31,2c,20,32,2c,20,5c,64,6f,74,73,2c,20,6e,5c,7d,20,5c,29←←←LaTex，其一个排列是指将这 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 个数重新排列得到的一个序列 LaTex→→→5c,28,20,28,5c,73,69,67,6d,61,5f,31,2c,20,5c,73,69,67,6d,61,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,73,69,67,6d,61,5f,6e,29,20,5c,29←←←LaTex，其中 LaTex→→→5c,28,20,5c,73,69,67,6d,61,5f,69,20,5c,29←←←LaTex 是 LaTex→→→5c,28,20,5c,7b,31,2c,20,32,2c,20,5c,64,6f,74,73,2c,20,6e,5c,7d,20,5c,29←←←LaTex 中的一个元素，且 LaTex→→→5c,28,20,5c,73,69,67,6d,61,5f,69,20,5c,6e,65,71,20,5c,73,69,67,6d,61,5f,6a,20,5c,29←←←LaTex 当 LaTex→→→5c,28,20,69,20,5c,6e,65,71,20,6a,20,5c,29←←←LaTex。所有 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 个元素的排列总共有 LaTex→→→5c,28,20,6e,21,20,5c,29←←←LaTex 个。
                        
                            ⚝ **逆序 (Inversion)**：在一个排列 LaTex→→→5c,28,20,28,5c,73,69,67,6d,61,5f,31,2c,20,5c,73,69,67,6d,61,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,73,69,67,6d,61,5f,6e,29,20,5c,29←←←LaTex 中，如果存在一对下标 LaTex→→→5c,28,20,69,20,3c,20,6a,20,5c,29←←←LaTex 但对应的元素满足 LaTex→→→5c,28,20,5c,73,69,67,6d,61,5f,69,20,3e,20,5c,73,69,67,6d,61,5f,6a,20,5c,29←←←LaTex，则称 LaTex→→→5c,28,20,28,5c,73,69,67,6d,61,5f,69,2c,20,5c,73,69,67,6d,61,5f,6a,29,20,5c,29←←←LaTex 为一个逆序。
                        
                            ⚝ **排列的奇偶性 (Parity of a Permutation)**：一个排列的逆序总数称为其逆序数 (number of inversions)。如果逆序数为偶数，则称该排列为偶排列 (even permutation)；如果逆序数为奇数，则称该排列为奇排列 (odd permutation)。
                        
                            ⚝ **排列的符号 (Sign of a Permutation)**：排列 LaTex→→→5c,28,20,5c,73,69,67,6d,61,20,5c,29←←←LaTex 的符号记为 LaTex→→→5c,28,20,5c,74,65,78,74,7b,73,67,6e,7d,28,5c,73,69,67,6d,61,29,20,5c,29←←←LaTex 或 LaTex→→→5c,28,20,28,2d,31,29,5e,7b,5c,74,65,78,74,7b,69,6e,76,7d,28,5c,73,69,67,6d,61,29,7d,20,5c,29←←←LaTex，其中 LaTex→→→5c,28,20,5c,74,65,78,74,7b,69,6e,76,7d,28,5c,73,69,67,6d,61,29,20,5c,29←←←LaTex 是排列 LaTex→→→5c,28,20,5c,73,69,67,6d,61,20,5c,29←←←LaTex 的逆序数。偶排列的符号为 LaTex→→→5c,28,20,2b,31,20,5c,29←←←LaTex，奇排列的符号为 LaTex→→→5c,28,20,2d,31,20,5c,29←←←LaTex。
                        
                            例如，对于集合 LaTex→→→5c,28,20,5c,7b,31,2c,20,32,2c,20,33,5c,7d,20,5c,29←←←LaTex，排列 LaTex→→→5c,28,20,28,31,2c,20,33,2c,20,32,29,20,5c,29←←←LaTex 的逆序有 LaTex→→→5c,28,20,28,33,2c,20,32,29,20,5c,29←←←LaTex，逆序数为 1，是奇排列，符号为 LaTex→→→5c,28,20,2d,31,20,5c,29←←←LaTex。排列 LaTex→→→5c,28,20,28,33,2c,20,31,2c,20,32,29,20,5c,29←←←LaTex 的逆序有 LaTex→→→5c,28,20,28,33,2c,20,31,29,2c,20,28,33,2c,20,32,29,20,5c,29←←←LaTex，逆序数为 2，是偶排列，符号为 LaTex→→→5c,28,20,2b,31,20,5c,29←←←LaTex。
                        
                            有了排列的概念，我们可以定义 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,3d,20,5b,61,5f,7b,69,6a,7d,5d,20,5c,29←←←LaTex 的行列式。
                        
                            ⚝ **行列式的基于排列的定义**：LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的行列式记为 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,29←←←LaTex 或 LaTex→→→5c,28,20,7c,41,7c,20,5c,29←←←LaTex，定义为：
                        
                            LaTex→→→5c,5b,a,5c,64,65,74,28,41,29,20,3d,20,5c,73,75,6d,5f,7b,5c,73,69,67,6d,61,20,5c,69,6e,20,53,5f,6e,7d,20,5c,74,65,78,74,7b,73,67,6e,7d,28,5c,73,69,67,6d,61,29,20,61,5f,7b,31,2c,20,5c,73,69,67,6d,61,5f,31,7d,20,61,5f,7b,32,2c,20,5c,73,69,67,6d,61,5f,32,7d,20,5c,64,6f,74,73,20,61,5f,7b,6e,2c,20,5c,73,69,67,6d,61,5f,6e,7d,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,20,53,5f,6e,20,5c,29←←←LaTex 是集合 LaTex→→→5c,28,20,5c,7b,31,2c,20,32,2c,20,5c,64,6f,74,73,2c,20,6e,5c,7d,20,5c,29←←←LaTex 的所有排列的集合。这个求和是对所有 LaTex→→→5c,28,20,6e,21,20,5c,29←←←LaTex 个排列进行的。每一项 LaTex→→→5c,28,20,61,5f,7b,31,2c,20,5c,73,69,67,6d,61,5f,31,7d,20,61,5f,7b,32,2c,20,5c,73,69,67,6d,61,5f,32,7d,20,5c,64,6f,74,73,20,61,5f,7b,6e,2c,20,5c,73,69,67,6d,61,5f,6e,7d,20,5c,29←←←LaTex 是从矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 中选取 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 个元素相乘得到的，这 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 个元素分别来自不同的行和不同的列（具体来说，第 LaTex→→→5c,28,20,69,20,5c,29←←←LaTex 个元素 LaTex→→→5c,28,20,61,5f,7b,69,2c,20,5c,73,69,67,6d,61,5f,69,7d,20,5c,29←←←LaTex 来自第 LaTex→→→5c,28,20,69,20,5c,29←←←LaTex 行和第 LaTex→→→5c,28,20,5c,73,69,67,6d,61,5f,69,20,5c,29←←←LaTex 列）。每一项前面乘以对应排列的符号 LaTex→→→5c,28,20,5c,74,65,78,74,7b,73,67,6e,7d,28,5c,73,69,67,6d,61,29,20,5c,29←←←LaTex。
                        
                            **例子**：
                        
                            ① 对于 LaTex→→→5c,28,20,32,20,5c,74,69,6d,65,73,20,32,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,5f,7b,31,31,7d,20,26,20,61,5f,7b,31,32,7d,20,5c,5c,20,61,5f,7b,32,31,7d,20,26,20,61,5f,7b,32,32,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex，集合 LaTex→→→5c,28,20,5c,7b,31,2c,20,32,5c,7d,20,5c,29←←←LaTex 的排列有 LaTex→→→5c,28,20,28,31,2c,20,32,29,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,28,32,2c,20,31,29,20,5c,29←←←LaTex。
                        
                            ▮▮▮▮ⓑ 排列 LaTex→→→5c,28,20,28,31,2c,20,32,29,20,5c,29←←←LaTex 的逆序数为 0，是偶排列，符号为 LaTex→→→5c,28,20,2b,31,20,5c,29←←←LaTex。对应的项是 LaTex→→→5c,28,20,61,5f,7b,31,31,7d,20,61,5f,7b,32,32,7d,20,5c,29←←←LaTex。
                        
                            ▮▮▮▮ⓒ 排列 LaTex→→→5c,28,20,28,32,2c,20,31,29,20,5c,29←←←LaTex 的逆序数为 1，是奇排列，符号为 LaTex→→→5c,28,20,2d,31,20,5c,29←←←LaTex。对应的项是 LaTex→→→5c,28,20,61,5f,7b,31,32,7d,20,61,5f,7b,32,31,7d,20,5c,29←←←LaTex。
                        
                            因此，LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,28,2b,31,29,20,61,5f,7b,31,31,7d,20,61,5f,7b,32,32,7d,20,2b,20,28,2d,31,29,20,61,5f,7b,31,32,7d,20,61,5f,7b,32,31,7d,20,3d,20,61,5f,7b,31,31,7d,20,61,5f,7b,32,32,7d,20,2d,20,61,5f,7b,31,32,7d,20,61,5f,7b,32,31,7d,20,5c,29←←←LaTex。
                        
                            ② 对于 LaTex→→→5c,28,20,33,20,5c,74,69,6d,65,73,20,33,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,5f,7b,31,31,7d,20,26,20,61,5f,7b,31,32,7d,20,26,20,61,5f,7b,31,33,7d,20,5c,5c,20,61,5f,7b,32,31,7d,20,26,20,61,5f,7b,32,32,7d,20,26,20,61,5f,7b,32,33,7d,20,5c,5c,20,61,5f,7b,33,31,7d,20,26,20,61,5f,7b,33,32,7d,20,26,20,61,5f,7b,33,33,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex，集合 LaTex→→→5c,28,20,5c,7b,31,2c,20,32,2c,20,33,5c,7d,20,5c,29←←←LaTex 的排列有 LaTex→→→5c,28,20,33,21,20,3d,20,36,20,5c,29←←←LaTex 个。
                        
                            ▮▮▮▮ⓑ LaTex→→→5c,28,20,28,31,2c,20,32,2c,20,33,29,20,5c,29←←←LaTex，逆序数 0，符号 +1，项 LaTex→→→5c,28,20,61,5f,7b,31,31,7d,20,61,5f,7b,32,32,7d,20,61,5f,7b,33,33,7d,20,5c,29←←←LaTex
                        
                            ▮▮▮▮ⓒ LaTex→→→5c,28,20,28,31,2c,20,33,2c,20,32,29,20,5c,29←←←LaTex，逆序数 1，符号 -1，项 LaTex→→→5c,28,20,61,5f,7b,31,31,7d,20,61,5f,7b,32,33,7d,20,61,5f,7b,33,32,7d,20,5c,29←←←LaTex
                        
                            ▮▮▮▮ⓓ LaTex→→→5c,28,20,28,32,2c,20,31,2c,20,33,29,20,5c,29←←←LaTex，逆序数 1，符号 -1，项 LaTex→→→5c,28,20,61,5f,7b,31,32,7d,20,61,5f,7b,32,31,7d,20,61,5f,7b,33,33,7d,20,5c,29←←←LaTex
                        
                            ▮▮▮▮ⓔ LaTex→→→5c,28,20,28,32,2c,20,33,2c,20,31,29,20,5c,29←←←LaTex，逆序数 2，符号 +1，项 LaTex→→→5c,28,20,61,5f,7b,31,32,7d,20,61,5f,7b,32,33,7d,20,61,5f,7b,33,31,7d,20,5c,29←←←LaTex
                        
                            ▮▮▮▮ⓕ LaTex→→→5c,28,20,28,33,2c,20,31,2c,20,32,29,20,5c,29←←←LaTex，逆序数 2，符号 +1，项 LaTex→→→5c,28,20,61,5f,7b,31,33,7d,20,61,5f,7b,32,31,7d,20,61,5f,7b,33,32,7d,20,5c,29←←←LaTex
                        
                            ▮▮▮▮ⓖ LaTex→→→5c,28,20,28,33,2c,20,32,2c,20,31,29,20,5c,29←←←LaTex，逆序数 3，符号 -1，项 LaTex→→→5c,28,20,61,5f,7b,31,33,7d,20,61,5f,7b,32,32,7d,20,61,5f,7b,33,31,7d,20,5c,29←←←LaTex
                        
                            因此，LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,61,5f,7b,31,31,7d,20,61,5f,7b,32,32,7d,20,61,5f,7b,33,33,7d,20,2d,20,61,5f,7b,31,31,7d,20,61,5f,7b,32,33,7d,20,61,5f,7b,33,32,7d,20,2d,20,61,5f,7b,31,32,7d,20,61,5f,7b,32,31,7d,20,61,5f,7b,33,33,7d,20,2b,20,61,5f,7b,31,32,7d,20,61,5f,7b,32,33,7d,20,61,5f,7b,33,31,7d,20,2b,20,61,5f,7b,31,33,7d,20,61,5f,7b,32,31,7d,20,61,5f,7b,33,32,7d,20,2d,20,61,5f,7b,31,33,7d,20,61,5f,7b,32,32,7d,20,61,5f,7b,33,31,7d,20,5c,29←←←LaTex。这就是萨吕法则 (Sarrus' Rule)，但萨吕法则只适用于 LaTex→→→5c,28,20,33,20,5c,74,69,6d,65,73,20,33,20,5c,29←←←LaTex 矩阵。
                        
                            基于排列的定义虽然理论上严谨，但对于阶数较高的矩阵，计算量巨大（LaTex→→→5c,28,20,6e,21,20,5c,29←←←LaTex 项），不适合实际计算。
                        
                            #### 5.1.2 基于代数余子式的递归定义 (Recursive Definition based on Cofactors)
                        
                            另一种常用的定义方式是基于代数余子式 (cofactor) 的递归定义。
                        
                            ⚝ **余子式 (Minor)**：对于 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,3d,20,5b,61,5f,7b,69,6a,7d,5d,20,5c,29←←←LaTex，元素 LaTex→→→5c,28,20,61,5f,7b,69,6a,7d,20,5c,29←←←LaTex 的余子式 LaTex→→→5c,28,20,4d,5f,7b,69,6a,7d,20,5c,29←←←LaTex 定义为删除矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的第 LaTex→→→5c,28,20,69,20,5c,29←←←LaTex 行和第 LaTex→→→5c,28,20,6a,20,5c,29←←←LaTex 列后得到的 LaTex→→→5c,28,20,28,6e,2d,31,29,20,5c,74,69,6d,65,73,20,28,6e,2d,31,29,20,5c,29←←←LaTex 子矩阵的行列式。
                        
                            ⚝ **代数余子式 (Cofactor)**：元素 LaTex→→→5c,28,20,61,5f,7b,69,6a,7d,20,5c,29←←←LaTex 的代数余子式 LaTex→→→5c,28,20,43,5f,7b,69,6a,7d,20,5c,29←←←LaTex 定义为 LaTex→→→5c,28,20,43,5f,7b,69,6a,7d,20,3d,20,28,2d,31,29,5e,7b,69,2b,6a,7d,20,4d,5f,7b,69,6a,7d,20,5c,29←←←LaTex。
                        
                            ⚝ **行列式的递归定义**：
                        
                            ① 对于 LaTex→→→5c,28,20,31,20,5c,74,69,6d,65,73,20,31,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,3d,20,5b,61,5f,7b,31,31,7d,5d,20,5c,29←←←LaTex，定义 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,61,5f,7b,31,31,7d,20,5c,29←←←LaTex。
                        
                            ② 对于 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex (LaTex→→→5c,28,20,6e,20,3e,20,31,20,5c,29←←←LaTex)，其行列式可以通过沿着任意一行或任意一列展开来定义。
                        
                            ▮▮▮▮ⓒ 沿第 LaTex→→→5c,28,20,69,20,5c,29←←←LaTex 行展开：
                        
                            LaTex→→→5c,5b,a,5c,64,65,74,28,41,29,20,3d,20,5c,73,75,6d,5f,7b,6a,3d,31,7d,5e,6e,20,61,5f,7b,69,6a,7d,20,43,5f,7b,69,6a,7d,20,3d,20,5c,73,75,6d,5f,7b,6a,3d,31,7d,5e,6e,20,61,5f,7b,69,6a,7d,20,28,2d,31,29,5e,7b,69,2b,6a,7d,20,4d,5f,7b,69,6a,7d,a,5c,5d←←←LaTex
                        
                            ▮▮▮▮ⓑ 沿第 LaTex→→→5c,28,20,6a,20,5c,29←←←LaTex 列展开：
                        
                            LaTex→→→5c,5b,a,5c,64,65,74,28,41,29,20,3d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,61,5f,7b,69,6a,7d,20,43,5f,7b,69,6a,7d,20,3d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,61,5f,7b,69,6a,7d,20,28,2d,31,29,5e,7b,69,2b,6a,7d,20,4d,5f,7b,69,6a,7d,a,5c,5d←←←LaTex
                        
                            这两种展开方式计算结果相同。通常选择包含零元素最多的行或列进行展开，以简化计算。
                        
                            **例子**：
                        
                            计算矩阵 LaTex→→→5c,28,20,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,32,20,26,20,33,20,5c,5c,20,30,20,26,20,31,20,26,20,34,20,5c,5c,20,35,20,26,20,36,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex 的行列式。
                        
                            我们可以沿第一行展开：
                        
                            LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,61,5f,7b,31,31,7d,20,43,5f,7b,31,31,7d,20,2b,20,61,5f,7b,31,32,7d,20,43,5f,7b,31,32,7d,20,2b,20,61,5f,7b,31,33,7d,20,43,5f,7b,31,33,7d,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,31,31,7d,20,3d,20,28,2d,31,29,5e,7b,31,2b,31,7d,20,4d,5f,7b,31,31,7d,20,3d,20,28,2b,31,29,20,5c,64,65,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,34,20,5c,5c,20,36,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,31,20,5c,63,64,6f,74,20,30,20,2d,20,34,20,5c,63,64,6f,74,20,36,20,3d,20,2d,32,34,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,31,32,7d,20,3d,20,28,2d,31,29,5e,7b,31,2b,32,7d,20,4d,5f,7b,31,32,7d,20,3d,20,28,2d,31,29,20,5c,64,65,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,26,20,34,20,5c,5c,20,35,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,28,2d,31,29,20,28,30,20,5c,63,64,6f,74,20,30,20,2d,20,34,20,5c,63,64,6f,74,20,35,29,20,3d,20,28,2d,31,29,28,2d,32,30,29,20,3d,20,32,30,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,31,33,7d,20,3d,20,28,2d,31,29,5e,7b,31,2b,33,7d,20,4d,5f,7b,31,33,7d,20,3d,20,28,2b,31,29,20,5c,64,65,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,26,20,31,20,5c,5c,20,35,20,26,20,36,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,30,20,5c,63,64,6f,74,20,36,20,2d,20,31,20,5c,63,64,6f,74,20,35,20,3d,20,2d,35,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,31,20,5c,63,64,6f,74,20,28,2d,32,34,29,20,2b,20,32,20,5c,63,64,6f,74,20,32,30,20,2b,20,33,20,5c,63,64,6f,74,20,28,2d,35,29,20,3d,20,2d,32,34,20,2b,20,34,30,20,2d,20,31,35,20,3d,20,31,20,5c,29←←←LaTex
                        
                            或者沿第一列展开（因为有零元素）：
                        
                            LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,61,5f,7b,31,31,7d,20,43,5f,7b,31,31,7d,20,2b,20,61,5f,7b,32,31,7d,20,43,5f,7b,32,31,7d,20,2b,20,61,5f,7b,33,31,7d,20,43,5f,7b,33,31,7d,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,31,31,7d,20,3d,20,2d,32,34,20,5c,29←←←LaTex (已计算)
                        
                            LaTex→→→5c,28,20,43,5f,7b,32,31,7d,20,3d,20,28,2d,31,29,5e,7b,32,2b,31,7d,20,4d,5f,7b,32,31,7d,20,3d,20,28,2d,31,29,20,5c,64,65,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,33,20,5c,5c,20,36,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,28,2d,31,29,20,28,32,20,5c,63,64,6f,74,20,30,20,2d,20,33,20,5c,63,64,6f,74,20,36,29,20,3d,20,28,2d,31,29,28,2d,31,38,29,20,3d,20,31,38,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,33,31,7d,20,3d,20,28,2d,31,29,5e,7b,33,2b,31,7d,20,4d,5f,7b,33,31,7d,20,3d,20,28,2b,31,29,20,5c,64,65,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,33,20,5c,5c,20,31,20,26,20,34,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,28,2b,31,29,20,28,32,20,5c,63,64,6f,74,20,34,20,2d,20,33,20,5c,63,64,6f,74,20,31,29,20,3d,20,38,20,2d,20,33,20,3d,20,35,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,31,20,5c,63,64,6f,74,20,28,2d,32,34,29,20,2b,20,30,20,5c,63,64,6f,74,20,31,38,20,2b,20,35,20,5c,63,64,6f,74,20,35,20,3d,20,2d,32,34,20,2b,20,30,20,2b,20,32,35,20,3d,20,31,20,5c,29←←←LaTex
                        
                            结果一致。
                        
                            递归定义将计算 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 阶行列式的问题转化为计算 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 个 LaTex→→→5c,28,20,28,6e,2d,31,29,20,5c,29←←←LaTex 阶行列式的问题，结合高斯消元法 (Gaussian elimination) 的思想（通过行变换制造零元素），可以有效地计算行列式。
                        
                            ### 5.2 行列式的性质 (Properties of Determinants)
                        
                            行列式具有许多重要的性质，这些性质在理论推导和实际计算中都非常有用。
                        
                            ① **转置不变性 (Determinant of Transpose)**：矩阵的行列式等于其转置矩阵 (transpose matrix) 的行列式。
                        
                            LaTex→→→5c,5b,a,5c,64,65,74,28,41,5e,54,29,20,3d,20,5c,64,65,74,28,41,29,a,5c,5d←←←LaTex
                        
                            这个性质意味着关于行的性质通常也适用于列。
                        
                            ② **行（列）互换 (Row/Column Swap)**：互换矩阵的任意两行（或两列），行列式的值变号。
                        
                            例如，如果矩阵 LaTex→→→5c,28,20,42,20,5c,29←←←LaTex 是由矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 互换两行得到的，则 LaTex→→→5c,28,20,5c,64,65,74,28,42,29,20,3d,20,2d,5c,64,65,74,28,41,29,20,5c,29←←←LaTex。
                        
                            ③ **行（列）乘以常数 (Scalar Multiplication of a Row/Column)**：用一个常数 LaTex→→→5c,28,20,6b,20,5c,29←←←LaTex 乘以矩阵的某一行（或某一列），行列式的值变为原来的 LaTex→→→5c,28,20,6b,20,5c,29←←←LaTex 倍。
                        
                            例如，如果矩阵 LaTex→→→5c,28,20,42,20,5c,29←←←LaTex 是由矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的某一行乘以 LaTex→→→5c,28,20,6b,20,5c,29←←←LaTex 得到的，则 LaTex→→→5c,28,20,5c,64,65,74,28,42,29,20,3d,20,6b,20,5c,64,65,74,28,41,29,20,5c,29←←←LaTex。
                        
                            **注意**：如果矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 是 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵，则 LaTex→→→5c,28,20,5c,64,65,74,28,6b,41,29,20,3d,20,6b,5e,6e,20,5c,64,65,74,28,41,29,20,5c,29←←←LaTex。
                        
                            ④ **行（列）倍加 (Row/Column Addition)**：将矩阵的某一行（或某一列）的 LaTex→→→5c,28,20,6b,20,5c,29←←←LaTex 倍加到另一行（或另一列）上，行列式的值不变。
                        
                            例如，如果矩阵 LaTex→→→5c,28,20,42,20,5c,29←←←LaTex 是由矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的第 LaTex→→→5c,28,20,69,20,5c,29←←←LaTex 行的 LaTex→→→5c,28,20,6b,20,5c,29←←←LaTex 倍加到第 LaTex→→→5c,28,20,6a,20,5c,29←←←LaTex 行 (LaTex→→→5c,28,20,69,20,5c,6e,65,71,20,6a,20,5c,29←←←LaTex) 得到的，则 LaTex→→→5c,28,20,5c,64,65,74,28,42,29,20,3d,20,5c,64,65,74,28,41,29,20,5c,29←←←LaTex。
                        
                            ⑤ **两行（列）相同或成比例 (Identical or Proportional Rows/Columns)**：如果矩阵有两行（或两列）完全相同或成比例，则其行列式为零。
                        
                            这是性质 ② 和 ③ 的推论。如果两行相同，互换它们行列式变号，但矩阵不变，所以 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,2d,5c,64,65,74,28,41,29,20,5c,29←←←LaTex，这意味着 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,30,20,5c,29←←←LaTex。如果两行成比例，例如第 LaTex→→→5c,28,20,6a,20,5c,29←←←LaTex 行是第 LaTex→→→5c,28,20,69,20,5c,29←←←LaTex 行的 LaTex→→→5c,28,20,6b,20,5c,29←←←LaTex 倍，可以通过性质 ③ 将第 LaTex→→→5c,28,20,6a,20,5c,29←←←LaTex 行的 LaTex→→→5c,28,20,31,2f,6b,20,5c,29←←←LaTex 倍提取出来，得到一个两行相同的矩阵，其行列式为零，所以原矩阵行列式也为零（假设 LaTex→→→5c,28,20,6b,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex）。
                        
                            ⑥ **零行（列） (Zero Row/Column)**：如果矩阵有一行（或一列）的元素全为零，则其行列式为零。
                        
                            这可以通过沿该零行（或零列）展开行列式来证明，每一项都包含一个零元素，所以和为零。
                        
                            ⑦ **对角矩阵和三角矩阵 (Diagonal and Triangular Matrices)**：对角矩阵 (diagonal matrix)、上三角矩阵 (upper triangular matrix) 和下三角矩阵 (lower triangular matrix) 的行列式等于其主对角线 (main diagonal) 上元素的乘积。
                        
                            例如，对于上三角矩阵 LaTex→→→5c,28,20,55,20,3d,20,5b,75,5f,7b,69,6a,7d,5d,20,5c,29←←←LaTex (LaTex→→→5c,28,20,75,5f,7b,69,6a,7d,20,3d,20,30,20,5c,29←←←LaTex for LaTex→→→5c,28,20,69,20,3e,20,6a,20,5c,29←←←LaTex)，LaTex→→→5c,28,20,5c,64,65,74,28,55,29,20,3d,20,75,5f,7b,31,31,7d,20,75,5f,7b,32,32,7d,20,5c,64,6f,74,73,20,75,5f,7b,6e,6e,7d,20,5c,29←←←LaTex。
                        
                            这个性质非常重要，因为高斯消元法就是将矩阵化为上三角或下三角形式来计算行列式。
                        
                            ⑧ **矩阵乘积的行列式 (Determinant of Matrix Product)**：两个方阵乘积的行列式等于它们行列式的乘积。
                        
                            LaTex→→→5c,5b,a,5c,64,65,74,28,41,42,29,20,3d,20,5c,64,65,74,28,41,29,20,5c,64,65,74,28,42,29,a,5c,5d←←←LaTex
                        
                            **注意**：一般情况下，LaTex→→→5c,28,20,5c,64,65,74,28,41,2b,42,29,20,5c,6e,65,71,20,5c,64,65,74,28,41,29,20,2b,20,5c,64,65,74,28,42,29,20,5c,29←←←LaTex。
                        
                            ⑨ **逆矩阵的行列式 (Determinant of Inverse Matrix)**：如果矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 可逆 (invertible)，则其逆矩阵 LaTex→→→5c,28,20,41,5e,7b,2d,31,7d,20,5c,29←←←LaTex 的行列式等于 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的行列式的倒数。
                        
                            LaTex→→→5c,5b,a,5c,64,65,74,28,41,5e,7b,2d,31,7d,29,20,3d,20,5c,66,72,61,63,7b,31,7d,7b,5c,64,65,74,28,41,29,7d,a,5c,5d←←←LaTex
                        
                            这是由性质 ⑧ 推导出来的：LaTex→→→5c,28,20,5c,64,65,74,28,41,41,5e,7b,2d,31,7d,29,20,3d,20,5c,64,65,74,28,49,29,20,5c,29←←←LaTex，其中 LaTex→→→5c,28,20,49,20,5c,29←←←LaTex 是单位矩阵 (identity matrix)，LaTex→→→5c,28,20,5c,64,65,74,28,49,29,20,3d,20,31,20,5c,29←←←LaTex。所以 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,64,65,74,28,41,5e,7b,2d,31,7d,29,20,3d,20,31,20,5c,29←←←LaTex。
                        
                            这些性质为计算行列式提供了有效的方法。通常的做法是利用行变换（性质 ②, ③, ④）将矩阵化为上三角矩阵，然后利用性质 ⑦ 计算行列式。在化简过程中，需要记录行互换的次数（影响符号）和从行中提取的常数因子。
                        
                            ### 5.3 行列式与矩阵的可逆性 (Determinants and Matrix Invertibility)
                        
                            行列式的一个最核心的应用是判断方阵是否可逆。
                        
                            ⚝ **可逆性判据 (Invertibility Criterion)**：一个 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 是可逆的当且仅当其行列式不为零。
                        
                            LaTex→→→5c,5b,a,41,20,5c,74,65,78,74,7b,20,69,73,20,69,6e,76,65,72,74,69,62,6c,65,7d,20,5c,69,66,66,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,a,5c,5d←←←LaTex
                        
                            这个判据非常强大，因为它将矩阵的可逆性（一个关于矩阵运算和线性方程组解的性质）与一个简单的标量值（行列式）联系起来。
                        
                            **证明思路**：
                        
                            ① 如果 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 可逆，则存在 LaTex→→→5c,28,20,41,5e,7b,2d,31,7d,20,5c,29←←←LaTex 使得 LaTex→→→5c,28,20,41,41,5e,7b,2d,31,7d,20,3d,20,49,20,5c,29←←←LaTex。根据行列式乘法性质，LaTex→→→5c,28,20,5c,64,65,74,28,41,41,5e,7b,2d,31,7d,29,20,3d,20,5c,64,65,74,28,41,29,20,5c,64,65,74,28,41,5e,7b,2d,31,7d,29,20,3d,20,5c,64,65,74,28,49,29,20,3d,20,31,20,5c,29←←←LaTex。由于 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,64,65,74,28,41,5e,7b,2d,31,7d,29,20,3d,20,31,20,5c,29←←←LaTex，所以 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,29←←←LaTex 必须不为零。
                        
                            ② 如果 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex，可以通过高斯消元法将 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 化为行阶梯形 (row echelon form) 或简化行阶梯形 (reduced row echelon form)。在化简过程中，如果 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex，则不会出现全零行（因为全零行的行列式为零，而行变换只改变行列式的符号或乘以非零常数，不会从非零变为零）。一个方阵的行阶梯形没有全零行当且仅当它的秩 (rank) 等于其阶数 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex。秩为 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 的 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵是可逆的。
                        
                            这个判据也与线性方程组 LaTex→→→5c,28,20,41,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,62,7d,20,5c,29←←←LaTex 的解相关联。对于 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 方阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex，方程组 LaTex→→→5c,28,20,41,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,62,7d,20,5c,29←←←LaTex 有唯一解当且仅当 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 可逆，即 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex。齐次方程组 LaTex→→→5c,28,20,41,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,29←←←LaTex 有非零解当且仅当 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 不可逆，即 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,30,20,5c,29←←←LaTex。
                        
                            #### 5.3.1 伴随矩阵 (Adjugate Matrix)
                        
                            行列式还与逆矩阵的计算有关，特别是通过伴随矩阵。
                        
                            ⚝ **伴随矩阵 (Adjugate Matrix)**：对于 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex，其伴随矩阵记为 LaTex→→→5c,28,20,5c,74,65,78,74,7b,61,64,6a,7d,28,41,29,20,5c,29←←←LaTex，定义为 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的代数余子式矩阵 LaTex→→→5c,28,20,43,20,3d,20,5b,43,5f,7b,69,6a,7d,5d,20,5c,29←←←LaTex 的转置，即 LaTex→→→5c,28,20,5c,74,65,78,74,7b,61,64,6a,7d,28,41,29,20,3d,20,43,5e,54,20,5c,29←←←LaTex。
                        
                            LaTex→→→5c,5b,a,5c,74,65,78,74,7b,61,64,6a,7d,28,41,29,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,43,5f,7b,31,31,7d,20,26,20,43,5f,7b,32,31,7d,20,26,20,5c,64,6f,74,73,20,26,20,43,5f,7b,6e,31,7d,20,5c,5c,a,43,5f,7b,31,32,7d,20,26,20,43,5f,7b,32,32,7d,20,26,20,5c,64,6f,74,73,20,26,20,43,5f,7b,6e,32,7d,20,5c,5c,a,5c,76,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,26,20,5c,64,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,5c,5c,a,43,5f,7b,31,6e,7d,20,26,20,43,5f,7b,32,6e,7d,20,26,20,5c,64,6f,74,73,20,26,20,43,5f,7b,6e,6e,7d,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            伴随矩阵与逆矩阵的关系由以下公式给出：
                        
                            LaTex→→→5c,5b,a,41,20,5c,74,65,78,74,7b,20,61,64,6a,7d,28,41,29,20,3d,20,5c,74,65,78,74,7b,61,64,6a,7d,28,41,29,20,41,20,3d,20,5c,64,65,74,28,41,29,20,49,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,20,49,20,5c,29←←←LaTex 是单位矩阵。
                        
                            如果 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex，则矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 可逆，并且其逆矩阵可以表示为：
                        
                            LaTex→→→5c,5b,a,41,5e,7b,2d,31,7d,20,3d,20,5c,66,72,61,63,7b,31,7d,7b,5c,64,65,74,28,41,29,7d,20,5c,74,65,78,74,7b,20,61,64,6a,7d,28,41,29,a,5c,5d←←←LaTex
                        
                            这个公式提供了计算逆矩阵的另一种方法，尤其在理论推导中很有用。但在实际数值计算中，通过高斯-约旦消元法 (Gauss-Jordan elimination) 计算逆矩阵通常更有效率。
                        
                            **例子**：
                        
                            计算矩阵 LaTex→→→5c,28,20,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,32,20,5c,5c,20,33,20,26,20,34,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex 的逆矩阵。
                        
                            首先计算行列式：LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,31,20,5c,63,64,6f,74,20,34,20,2d,20,32,20,5c,63,64,6f,74,20,33,20,3d,20,34,20,2d,20,36,20,3d,20,2d,32,20,5c,29←←←LaTex。由于 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex，矩阵可逆。
                        
                            计算代数余子式：
                        
                            LaTex→→→5c,28,20,43,5f,7b,31,31,7d,20,3d,20,28,2d,31,29,5e,7b,31,2b,31,7d,20,5c,64,65,74,28,5b,34,5d,29,20,3d,20,34,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,31,32,7d,20,3d,20,28,2d,31,29,5e,7b,31,2b,32,7d,20,5c,64,65,74,28,5b,33,5d,29,20,3d,20,2d,33,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,32,31,7d,20,3d,20,28,2d,31,29,5e,7b,32,2b,31,7d,20,5c,64,65,74,28,5b,32,5d,29,20,3d,20,2d,32,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,43,5f,7b,32,32,7d,20,3d,20,28,2d,31,29,5e,7b,32,2b,32,7d,20,5c,64,65,74,28,5b,31,5d,29,20,3d,20,31,20,5c,29←←←LaTex
                        
                            代数余子式矩阵为 LaTex→→→5c,28,20,43,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,34,20,26,20,2d,33,20,5c,5c,20,2d,32,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex。
                        
                            伴随矩阵为 LaTex→→→5c,28,20,5c,74,65,78,74,7b,61,64,6a,7d,28,41,29,20,3d,20,43,5e,54,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,34,20,26,20,2d,32,20,5c,5c,20,2d,33,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex。
                        
                            逆矩阵为 LaTex→→→5c,28,20,41,5e,7b,2d,31,7d,20,3d,20,5c,66,72,61,63,7b,31,7d,7b,5c,64,65,74,28,41,29,7d,20,5c,74,65,78,74,7b,20,61,64,6a,7d,28,41,29,20,3d,20,5c,66,72,61,63,7b,31,7d,7b,2d,32,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,34,20,26,20,2d,32,20,5c,5c,20,2d,33,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,2d,32,20,26,20,31,20,5c,5c,20,33,2f,32,20,26,20,2d,31,2f,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex。
                        
                            ### 5.4 克拉默法则 (Cramer's Rule)
                        
                            克拉默法则是一种利用行列式求解线性方程组的方法。考虑一个有 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 个方程和 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 个未知量的线性方程组：
                        
                            LaTex→→→5c,5b,a,41,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,62,7d,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 是 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 系数矩阵 (coefficient matrix)，LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,78,5f,31,20,5c,5c,20,5c,76,64,6f,74,73,20,5c,5c,20,78,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex 是未知量向量，LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,62,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,62,5f,31,20,5c,5c,20,5c,76,64,6f,74,73,20,5c,5c,20,62,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex 是常数向量。
                        
                            ⚝ **克拉默法则**：如果 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex（即矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 可逆，方程组有唯一解），则方程组的解 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,28,78,5f,31,2c,20,78,5f,32,2c,20,5c,64,6f,74,73,2c,20,78,5f,6e,29,5e,54,20,5c,29←←←LaTex 由下式给出：
                        
                            LaTex→→→5c,5b,a,78,5f,69,20,3d,20,5c,66,72,61,63,7b,5c,64,65,74,28,41,5f,69,29,7d,7b,5c,64,65,74,28,41,29,7d,2c,20,5c,71,75,61,64,20,5c,74,65,78,74,7b,66,6f,72,20,7d,20,69,20,3d,20,31,2c,20,32,2c,20,5c,64,6f,74,73,2c,20,6e,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,20,41,5f,69,20,5c,29←←←LaTex 是将矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的第 LaTex→→→5c,28,20,69,20,5c,29←←←LaTex 列替换为向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,62,7d,20,5c,29←←←LaTex 后得到的矩阵。
                        
                            **例子**：
                        
                            用克拉默法则解方程组：
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,63,61,73,65,73,7d,a,78,20,2b,20,32,79,20,3d,20,35,20,5c,5c,a,33,78,20,2b,20,34,79,20,3d,20,36,a,5c,65,6e,64,7b,63,61,73,65,73,7d,a,5c,5d←←←LaTex
                        
                            写成矩阵形式 LaTex→→→5c,28,20,41,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,62,7d,20,5c,29←←←LaTex：
                        
                            LaTex→→→5c,28,20,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,32,20,5c,5c,20,33,20,26,20,34,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex, LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,78,20,5c,5c,20,79,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex, LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,62,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,35,20,5c,5c,20,36,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex
                        
                            计算 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,31,20,5c,63,64,6f,74,20,34,20,2d,20,32,20,5c,63,64,6f,74,20,33,20,3d,20,2d,32,20,5c,29←←←LaTex。由于 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,20,5c,29←←←LaTex，方程组有唯一解。
                        
                            构造矩阵 LaTex→→→5c,28,20,41,5f,31,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,41,5f,32,20,5c,29←←←LaTex：
                        
                            LaTex→→→5c,28,20,41,5f,31,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,35,20,26,20,32,20,5c,5c,20,36,20,26,20,34,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex (将 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的第一列替换为 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,62,7d,20,5c,29←←←LaTex)
                        
                            LaTex→→→5c,28,20,41,5f,32,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,35,20,5c,5c,20,33,20,26,20,36,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex (将 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的第二列替换为 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,62,7d,20,5c,29←←←LaTex)
                        
                            计算它们的行列式：
                        
                            LaTex→→→5c,28,20,5c,64,65,74,28,41,5f,31,29,20,3d,20,35,20,5c,63,64,6f,74,20,34,20,2d,20,32,20,5c,63,64,6f,74,20,36,20,3d,20,32,30,20,2d,20,31,32,20,3d,20,38,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,5c,64,65,74,28,41,5f,32,29,20,3d,20,31,20,5c,63,64,6f,74,20,36,20,2d,20,35,20,5c,63,64,6f,74,20,33,20,3d,20,36,20,2d,20,31,35,20,3d,20,2d,39,20,5c,29←←←LaTex
                        
                            根据克拉默法则：
                        
                            LaTex→→→5c,28,20,78,20,3d,20,5c,66,72,61,63,7b,5c,64,65,74,28,41,5f,31,29,7d,7b,5c,64,65,74,28,41,29,7d,20,3d,20,5c,66,72,61,63,7b,38,7d,7b,2d,32,7d,20,3d,20,2d,34,20,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,20,79,20,3d,20,5c,66,72,61,63,7b,5c,64,65,74,28,41,5f,32,29,7d,7b,5c,64,65,74,28,41,29,7d,20,3d,20,5c,66,72,61,63,7b,2d,39,7d,7b,2d,32,7d,20,3d,20,5c,66,72,61,63,7b,39,7d,7b,32,7d,20,5c,29←←←LaTex
                        
                            所以解为 LaTex→→→5c,28,20,78,20,3d,20,2d,34,2c,20,79,20,3d,20,39,2f,32,20,5c,29←←←LaTex。
                        
                            克拉默法则在理论上很有趣，并且在某些需要显式表达解的公式时很有用（例如在控制理论中）。然而，对于大型线性方程组，计算 LaTex→→→5c,28,20,6e,2b,31,20,5c,29←←←LaTex 个 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 阶行列式（每个行列式计算复杂度约为 LaTex→→→5c,28,20,4f,28,6e,21,29,20,5c,29←←←LaTex 或 LaTex→→→5c,28,20,4f,28,6e,5e,33,29,20,5c,29←←←LaTex）的计算量远大于使用高斯消元法（复杂度约为 LaTex→→→5c,28,20,4f,28,6e,5e,33,29,20,5c,29←←←LaTex）求解方程组。因此，在实际数值计算中，克拉默法则很少被使用。
                        
                            ### 5.5 行列式的几何意义 (Geometric Interpretation of Determinants)
                        
                            行列式不仅是一个代数概念，它还具有深刻的几何意义。
                        
                            ⚝ **二维空间 (2D Space)**：对于 LaTex→→→5c,28,20,32,20,5c,74,69,6d,65,73,20,32,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,20,26,20,62,20,5c,5c,20,63,20,26,20,64,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex，其行列式 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,61,64,20,2d,20,62,63,20,5c,29←←←LaTex。考虑由矩阵的列向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,20,5c,5c,20,63,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,62,20,5c,5c,20,64,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,29←←←LaTex 张成的平行四边形 (parallelogram)。LaTex→→→5c,28,20,7c,5c,64,65,74,28,41,29,7c,20,5c,29←←←LaTex 等于这个平行四边形的面积 (area)。行列式的符号表示从 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,29←←←LaTex 到 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,5c,29←←←LaTex 的旋转方向（正号表示逆时针，负号表示顺时针）。
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,20,5c,5c,20,63,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,2c,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,62,20,5c,5c,20,64,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,74,65,78,74,7b,20,73,70,61,6e,20,61,20,70,61,72,61,6c,6c,65,6c,6f,67,72,61,6d,20,77,69,74,68,20,61,72,65,61,20,7d,20,7c,61,64,2d,62,63,7c,a,5c,5d←←←LaTex
                        
                            ⚝ **三维空间 (3D Space)**：对于 LaTex→→→5c,28,20,33,20,5c,74,69,6d,65,73,20,33,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex，其行列式的绝对值 LaTex→→→5c,28,20,7c,5c,64,65,74,28,41,29,7c,20,5c,29←←←LaTex 等于由矩阵的列向量（或行向量）张成的平行六面体 (parallelepiped) 的体积 (volume)。
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,5f,7b,31,31,7d,20,5c,5c,20,61,5f,7b,32,31,7d,20,5c,5c,20,61,5f,7b,33,31,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,2c,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,5f,7b,31,32,7d,20,5c,5c,20,61,5f,7b,32,32,7d,20,5c,5c,20,61,5f,7b,33,32,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,2c,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,5f,7b,31,33,7d,20,5c,5c,20,61,5f,7b,32,33,7d,20,5c,5c,20,61,5f,7b,33,33,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,74,65,78,74,7b,20,73,70,61,6e,20,61,20,70,61,72,61,6c,6c,65,6c,65,70,69,70,65,64,20,77,69,74,68,20,76,6f,6c,75,6d,65,20,7d,20,7c,5c,64,65,74,28,41,29,7c,a,5c,5d←←←LaTex
                        
                            ⚝ **n维空间 (nD Space)**：更一般地，对于 LaTex→→→5c,28,20,6e,20,5c,74,69,6d,65,73,20,6e,20,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex，其列向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,29←←←LaTex 在 LaTex→→→5c,28,20,5c,6d,61,74,68,62,62,7b,52,7d,5e,6e,20,5c,29←←←LaTex 中张成一个 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 维的平行多面体 (paralleletope)。LaTex→→→5c,28,20,7c,5c,64,65,74,28,41,29,7c,20,5c,29←←←LaTex 等于这个 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 维平行多面体的 LaTex→→→5c,28,20,6e,20,5c,29←←←LaTex 维体积。
                        
                            这个几何意义与线性变换 (linear transformation) 密切相关。考虑由矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 表示的线性变换 LaTex→→→5c,28,20,54,28,5c,6d,61,74,68,62,66,7b,78,7d,29,20,3d,20,41,5c,6d,61,74,68,62,66,7b,78,7d,20,5c,29←←←LaTex。这个变换将 LaTex→→→5c,28,20,5c,6d,61,74,68,62,62,7b,52,7d,5e,6e,20,5c,29←←←LaTex 中的单位超立方体 (unit hypercube)（由标准基向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,65,7d,5f,31,2c,20,5c,64,6f,74,73,2c,20,5c,6d,61,74,68,62,66,7b,65,7d,5f,6e,20,5c,29←←←LaTex 张成，体积为 1）映射到由 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 的列向量张成的平行多面体。因此，LaTex→→→5c,28,20,7c,5c,64,65,74,28,41,29,7c,20,5c,29←←←LaTex 表示线性变换 LaTex→→→5c,28,20,54,20,5c,29←←←LaTex 对体积的缩放比例 (scaling factor for volume)。如果 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,29←←←LaTex 是负的，表示变换改变了空间的定向 (orientation)。
                        
                            **总结几何意义**：
                        
                            ① 行列式的绝对值 LaTex→→→5c,28,20,7c,5c,64,65,74,28,41,29,7c,20,5c,29←←←LaTex 表示由矩阵的列向量（或行向量）张成的平行多面体的体积。
                        
                            ② 行列式 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,5c,29←←←LaTex 表示由矩阵 LaTex→→→5c,28,20,41,20,5c,29←←←LaTex 定义的线性变换对体积的缩放因子，其符号表示定向是否改变。
                        
                            ③ LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,30,20,5c,29←←←LaTex 意味着矩阵的列向量（或行向量）是线性相关的 (linearly dependent)。在几何上，这意味着它们张成的平行多面体的体积为零，即这些向量位于一个低维子空间 (subspace) 中。这与 LaTex→→→5c,28,20,5c,64,65,74,28,41,29,20,3d,20,30,20,5c,29←←←LaTex 当且仅当矩阵不可逆的代数结论是一致的，因为不可逆矩阵对应的线性变换会将空间“压缩”到低维子空间。
                        
                            行列式的几何意义为理解线性变换的性质提供了直观的视角，也解释了为什么行列式在体积计算、坐标变换等领域有广泛应用。
                        
                            本章我们深入学习了行列式的定义、计算方法、重要性质以及它与矩阵可逆性、线性方程组解和线性变换几何意义之间的深刻联系。行列式是线性代数中连接代数结构和几何性质的桥梁，掌握行列式对于进一步学习特征值、特征向量、矩阵分解等概念至关重要。
                        
                            <END_OF_CHAPTER/>
                        
                            ## 6. chapter 6： 特征值与特征向量 (Eigenvalues and Eigenvectors)
                        
                            欢迎来到线性代数中一个极其重要且充满魅力的章节：特征值与特征向量。它们是理解线性变换本质、分析矩阵性质以及解决众多实际问题的关键工具。从物理学中的量子力学到工程学中的结构稳定性分析，从经济学中的投入产出模型到计算机科学中的数据压缩和机器学习算法，特征值与特征向量无处不在。本章将带你深入探索这些概念的定义、计算方法、性质及其在矩阵对角化中的应用，并介绍对称矩阵的特殊性质以及著名的Cayley-Hamilton定理。
                        
                            ### 6.1 特征值与特征向量的定义 (Definition of Eigenvalues and Eigenvectors)
                        
                            想象一个线性变换作用在一个向量上。通常情况下，这个向量的方向和大小都会发生改变。然而，对于某些特殊的向量，线性变换仅仅改变了它们的大小（可能还改变了方向，如果大小变为负数），而方向保持不变（或者反向）。这些特殊的向量就是特征向量 (Eigenvectors)，而向量大小被改变的比例因子就是对应的特征值 (Eigenvalues)。
                        
                            更正式地，对于一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的方阵 LaTex→→→5c,28,41,5c,29←←←LaTex，如果存在一个非零向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 和一个标量 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex，使得：
                        
                            LaTex→→→5c,5b,20,41,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,5d←←←LaTex
                        
                            那么，标量 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 就被称为矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的一个**特征值** (Eigenvalue)，而非零向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 就被称为矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的对应于特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的一个**特征向量** (Eigenvector)。
                        
                            这里需要强调几点：
                        
                            ⚝ 特征向量必须是非零向量。零向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex 总是满足 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,30,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex 对于任何 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 都成立，因此零向量不提供任何有用的信息，我们将其排除在特征向量的定义之外。
                        
                            ⚝ 特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 可以是实数，也可以是复数。即使矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的元素都是实数，其特征值也可能是复数。
                        
                            ⚝ 特征向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 对应于一个特定的特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex。如果 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 是对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的特征向量，那么任何非零标量 LaTex→→→5c,28,63,5c,29←←←LaTex 乘以 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex (即 LaTex→→→5c,28,63,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex) 也是对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的特征向量，因为 LaTex→→→5c,28,41,28,63,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,63,28,41,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,63,28,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,5c,6c,61,6d,62,64,61,28,63,5c,6d,61,74,68,62,66,7b,76,7d,29,5c,29←←←LaTex。这意味着特征向量不是唯一的，它们构成了一个方向（或一条直线、一个平面等）。
                        
                            特征值和特征向量揭示了矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 所代表的线性变换在某些特定方向上的“伸缩”行为。特征向量指出了这些特殊的方向，而特征值则量化了沿这些方向的伸缩程度。
                        
                            **例子：**
                        
                            考虑矩阵 LaTex→→→5c,28,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            如果取向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，计算 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5c,29←←←LaTex:
                        
                            LaTex→→→5c,5b,20,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,5c,63,64,6f,74,20,31,20,2b,20,31,20,5c,63,64,6f,74,20,31,20,5c,5c,20,31,20,5c,63,64,6f,74,20,31,20,2b,20,32,20,5c,63,64,6f,74,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,33,20,5c,5c,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,33,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,33,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,5d←←←LaTex
                        
                            这里，LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,3d,20,33,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5c,29←←←LaTex。所以，LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,3d,20,33,5c,29←←←LaTex 是一个特征值，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 是对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,3d,20,33,5c,29←←←LaTex 的一个特征向量。向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5c,29←←←LaTex 在经过矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的变换后，方向不变，长度变为原来的3倍。
                        
                            如果取向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，计算 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex:
                        
                            LaTex→→→5c,5b,20,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,5c,63,64,6f,74,20,31,20,2b,20,31,20,5c,63,64,6f,74,20,28,2d,31,29,20,5c,5c,20,31,20,5c,63,64,6f,74,20,31,20,2b,20,32,20,5c,63,64,6f,74,20,28,2d,31,29,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,31,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,31,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,5c,5d←←←LaTex
                        
                            这里，LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,31,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex。所以，LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,20,3d,20,31,5c,29←←←LaTex 是另一个特征值，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 是对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,20,3d,20,31,5c,29←←←LaTex 的一个特征向量。向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex 在经过矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的变换后，方向不变，长度变为原来的1倍（即没有伸缩）。
                        
                            ### 6.2 特征方程 (Characteristic Equation) 与特征多项式 (Characteristic Polynomial)
                        
                            如何找到矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征值和特征向量呢？我们从定义式 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 出发。
                        
                            将等式右边的项移到左边，得到 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,20,2d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex。
                        
                            注意到 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 可以写成 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,20,49,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex，其中 LaTex→→→5c,28,49,5c,29←←←LaTex 是与 LaTex→→→5c,28,41,5c,29←←←LaTex 同阶的单位矩阵 (Identity Matrix)。所以上式变为：
                        
                            LaTex→→→5c,5b,20,41,5c,6d,61,74,68,62,66,7b,76,7d,20,2d,20,5c,6c,61,6d,62,64,61,20,49,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,20,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,5d←←←LaTex
                        
                            这是一个齐次线性方程组 (Homogeneous System of Linear Equations)，其中未知向量是 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex，系数矩阵是 LaTex→→→5c,28,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex。
                        
                            根据线性代数的知识，这个齐次线性方程组有非零解 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex (即存在特征向量) 的充要条件是系数矩阵 LaTex→→→5c,28,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex 是不可逆的。而一个方阵不可逆的充要条件是它的行列式 (Determinant) 为零。
                        
                            因此，特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 必须满足：
                        
                            LaTex→→→5c,5b,20,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,3d,20,30,20,5c,5d←←←LaTex
                        
                            这个方程被称为矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的**特征方程** (Characteristic Equation)。
                        
                            展开行列式 LaTex→→→5c,28,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex，我们会得到一个关于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的 LaTex→→→5c,28,6e,5c,29←←←LaTex 次多项式，这个多项式被称为矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的**特征多项式** (Characteristic Polynomial)。
                        
                            对于一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，其特征多项式通常记为 LaTex→→→5c,28,70,28,5c,6c,61,6d,62,64,61,29,20,3d,20,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex。
                        
                            特征方程 LaTex→→→5c,28,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,3d,20,30,5c,29←←←LaTex 的根就是矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的所有特征值。根据代数基本定理 (Fundamental Theorem of Algebra)，一个 LaTex→→→5c,28,6e,5c,29←←←LaTex 次多项式在复数域内恰好有 LaTex→→→5c,28,6e,5c,29←←←LaTex 个根（包括重根）。因此，一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的矩阵恰好有 LaTex→→→5c,28,6e,5c,29←←←LaTex 个特征值（在复数域内计算，并考虑重数）。
                        
                            **例子：**
                        
                            继续使用矩阵 LaTex→→→5c,28,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            计算 LaTex→→→5c,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,5c,29←←←LaTex:
                        
                            LaTex→→→5c,5b,20,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,2d,20,5c,6c,61,6d,62,64,61,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,2d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6c,61,6d,62,64,61,20,26,20,30,20,5c,5c,20,30,20,26,20,5c,6c,61,6d,62,64,61,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,2d,20,5c,6c,61,6d,62,64,61,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,2d,20,5c,6c,61,6d,62,64,61,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            计算 LaTex→→→5c,28,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex:
                        
                            LaTex→→→5c,5b,20,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,3d,20,5c,64,65,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,2d,20,5c,6c,61,6d,62,64,61,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,2d,20,5c,6c,61,6d,62,64,61,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,28,32,20,2d,20,5c,6c,61,6d,62,64,61,29,28,32,20,2d,20,5c,6c,61,6d,62,64,61,29,20,2d,20,31,20,5c,63,64,6f,74,20,31,20,3d,20,28,32,20,2d,20,5c,6c,61,6d,62,64,61,29,5e,32,20,2d,20,31,20,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,20,3d,20,28,34,20,2d,20,34,5c,6c,61,6d,62,64,61,20,2b,20,5c,6c,61,6d,62,64,61,5e,32,29,20,2d,20,31,20,3d,20,5c,6c,61,6d,62,64,61,5e,32,20,2d,20,34,5c,6c,61,6d,62,64,61,20,2b,20,33,20,5c,5d←←←LaTex
                        
                            所以，矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征多项式是 LaTex→→→5c,28,70,28,5c,6c,61,6d,62,64,61,29,20,3d,20,5c,6c,61,6d,62,64,61,5e,32,20,2d,20,34,5c,6c,61,6d,62,64,61,20,2b,20,33,5c,29←←←LaTex。
                        
                            特征方程是 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5e,32,20,2d,20,34,5c,6c,61,6d,62,64,61,20,2b,20,33,20,3d,20,30,5c,29←←←LaTex。
                        
                            解这个二次方程：
                        
                            LaTex→→→5c,5b,20,28,5c,6c,61,6d,62,64,61,20,2d,20,31,29,28,5c,6c,61,6d,62,64,61,20,2d,20,33,29,20,3d,20,30,20,5c,5d←←←LaTex
                        
                            方程的根是 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,3d,20,31,5c,29←←←LaTex 和 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,20,3d,20,33,5c,29←←←LaTex。这些就是矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征值，与我们之前通过观察得到的特征值一致。
                        
                            ### 6.3 计算特征值与特征向量 (Computing Eigenvalues and Eigenvectors)
                        
                            计算特征值和特征向量的步骤如下：
                        
                            ① **计算特征值：**
                        
                            ▮ 计算矩阵 LaTex→→→5c,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,5c,29←←←LaTex。
                        
                            ▮ 计算特征多项式 LaTex→→→5c,28,70,28,5c,6c,61,6d,62,64,61,29,20,3d,20,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex。
                        
                            ▮ 解特征方程 LaTex→→→5c,28,70,28,5c,6c,61,6d,62,64,61,29,20,3d,20,30,5c,29←←←LaTex 得到特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,2c,20,5c,6c,61,6d,62,64,61,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6c,61,6d,62,64,61,5f,6e,5c,29←←←LaTex。
                        
                            ② **计算特征向量：**
                        
                            ▮ 对于每一个特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex，解齐次线性方程组 LaTex→→→5c,28,28,41,20,2d,20,5c,6c,61,6d,62,64,61,5f,69,20,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex。
                        
                            ▮ 这个方程组的非零解向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 就是对应于特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex 的特征向量。
                        
                            ▮ 方程组 LaTex→→→5c,28,28,41,20,2d,20,5c,6c,61,6d,62,64,61,5f,69,20,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex 的解空间 (Solution Space) 被称为对应于特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex 的**特征空间** (Eigenspace)，记为 LaTex→→→5c,28,45,5f,7b,5c,6c,61,6d,62,64,61,5f,69,7d,5c,29←←←LaTex 或 LaTex→→→5c,28,56,5f,7b,5c,6c,61,6d,62,64,61,5f,69,7d,5c,29←←←LaTex。特征空间是由所有对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex 的特征向量以及零向量组成的向量空间。我们需要找到这个特征空间的一组基 (Basis)，这组基中的非零向量都是特征向量。
                        
                            **例子：**
                        
                            继续使用矩阵 LaTex→→→5c,28,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，我们已经求得特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,3d,20,31,5c,29←←←LaTex 和 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,20,3d,20,33,5c,29←←←LaTex。
                        
                            **计算对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,3d,20,31,5c,29←←←LaTex 的特征向量：**
                        
                            我们需要解方程组 LaTex→→→5c,28,28,41,20,2d,20,31,20,5c,63,64,6f,74,20,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex，即 LaTex→→→5c,28,28,41,20,2d,20,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex。
                        
                            LaTex→→→5c,5b,20,41,20,2d,20,49,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,2d,20,31,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,2d,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,31,20,5c,5c,20,31,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            方程组为 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,31,20,5c,5c,20,31,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,76,5f,31,20,5c,5c,20,76,5f,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,5c,5c,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            写成方程形式：
                        
                            LaTex→→→5c,5b,20,76,5f,31,20,2b,20,76,5f,32,20,3d,20,30,20,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,20,76,5f,31,20,2b,20,76,5f,32,20,3d,20,30,20,5c,5d←←←LaTex
                        
                            这两个方程是相同的。令 LaTex→→→5c,28,76,5f,32,20,3d,20,74,5c,29←←←LaTex (其中 LaTex→→→5c,28,74,5c,29←←←LaTex 是任意非零实数)，则 LaTex→→→5c,28,76,5f,31,20,3d,20,2d,74,5c,29←←←LaTex。
                        
                            所以解向量的形式为 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,2d,74,20,5c,5c,20,74,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,2d,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            取 LaTex→→→5c,28,74,3d,31,5c,29←←←LaTex，得到一个特征向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,2d,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,3d,20,31,5c,29←←←LaTex 的特征空间是由向量 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,2d,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 生成的子空间。注意，我们之前例子中用的是 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，这只是方向相反，也是有效的特征向量。
                        
                            **计算对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,20,3d,20,33,5c,29←←←LaTex 的特征向量：**
                        
                            我们需要解方程组 LaTex→→→5c,28,28,41,20,2d,20,33,20,5c,63,64,6f,74,20,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex，即 LaTex→→→5c,28,28,41,20,2d,20,33,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex。
                        
                            LaTex→→→5c,5b,20,41,20,2d,20,33,49,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,2d,20,33,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,2d,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,2d,31,20,26,20,31,20,5c,5c,20,31,20,26,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            方程组为 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,2d,31,20,26,20,31,20,5c,5c,20,31,20,26,20,2d,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,76,5f,31,20,5c,5c,20,76,5f,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,5c,5c,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            写成方程形式：
                        
                            LaTex→→→5c,5b,20,2d,76,5f,31,20,2b,20,76,5f,32,20,3d,20,30,20,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,20,76,5f,31,20,2d,20,76,5f,32,20,3d,20,30,20,5c,5d←←←LaTex
                        
                            这两个方程也是相同的。令 LaTex→→→5c,28,76,5f,32,20,3d,20,74,5c,29←←←LaTex (其中 LaTex→→→5c,28,74,5c,29←←←LaTex 是任意非零实数)，则 LaTex→→→5c,28,76,5f,31,20,3d,20,74,5c,29←←←LaTex。
                        
                            所以解向量的形式为 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,74,20,5c,5c,20,74,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,74,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            取 LaTex→→→5c,28,74,3d,31,5c,29←←←LaTex，得到一个特征向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,20,3d,20,33,5c,29←←←LaTex 的特征空间是由向量 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,5c,5c,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 生成的子空间。这也与我们之前通过观察得到的特征向量一致。
                        
                            **注意：**
                        
                            ⚝ 对于重特征值，其对应的特征空间的维数可能小于特征值的重数。如果维数等于重数，则称该特征值是**可对角化**的 (Diagonalizable)。
                        
                            ⚝ 计算特征向量时，实际上是求解齐次线性方程组 LaTex→→→5c,28,28,41,20,2d,20,5c,6c,61,6d,62,64,61,5f,69,20,49,29,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex 的零空间 (Null Space) 或核空间 (Kernel Space) LaTex→→→5c,28,4e,28,41,20,2d,20,5c,6c,61,6d,62,64,61,5f,69,20,49,29,5c,29←←←LaTex。特征空间 LaTex→→→5c,28,45,5f,7b,5c,6c,61,6d,62,64,61,5f,69,7d,5c,29←←←LaTex 就是 LaTex→→→5c,28,4e,28,41,20,2d,20,5c,6c,61,6d,62,64,61,5f,69,20,49,29,5c,29←←←LaTex。
                        
                            ### 6.4 相似矩阵 (Similar Matrices) 与对角化 (Diagonalization)
                        
                            两个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的方阵 LaTex→→→5c,28,41,5c,29←←←LaTex 和 LaTex→→→5c,28,42,5c,29←←←LaTex 被称为**相似矩阵** (Similar Matrices)，如果存在一个可逆矩阵 (Invertible Matrix) LaTex→→→5c,28,50,5c,29←←←LaTex，使得 LaTex→→→5c,28,42,20,3d,20,50,5e,7b,2d,31,7d,41,50,5c,29←←←LaTex。
                        
                            相似矩阵具有许多相同的性质，其中最重要的是它们拥有相同的特征值。
                        
                            **证明：**
                        
                            设 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 是矩阵 LaTex→→→5c,28,42,5c,29←←←LaTex 的一个特征值，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 是对应的特征向量，则 LaTex→→→5c,28,42,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex。
                        
                            将 LaTex→→→5c,28,42,20,3d,20,50,5e,7b,2d,31,7d,41,50,5c,29←←←LaTex 代入，得到 LaTex→→→5c,28,50,5e,7b,2d,31,7d,41,50,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex。
                        
                            左乘 LaTex→→→5c,28,50,5c,29←←←LaTex，得到 LaTex→→→5c,28,41,50,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,50,28,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,5c,6c,61,6d,62,64,61,28,50,5c,6d,61,74,68,62,66,7b,76,7d,29,5c,29←←←LaTex。
                        
                            令 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,50,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex。由于 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 是非零向量且 LaTex→→→5c,28,50,5c,29←←←LaTex 是可逆矩阵，所以 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,50,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 也是非零向量。
                        
                            上式变为 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,75,7d,5c,29←←←LaTex。
                        
                            这表明 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 是矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的一个特征值，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,50,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 是对应于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的特征向量。
                        
                            反之，如果 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 是 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征值，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,75,7d,5c,29←←←LaTex 是对应的特征向量，则 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,75,7d,5c,29←←←LaTex。
                        
                            令 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,50,5e,7b,2d,31,7d,5c,6d,61,74,68,62,66,7b,75,7d,5c,29←←←LaTex。由于 LaTex→→→5c,28,50,5c,29←←←LaTex 可逆，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 也是非零向量。
                        
                            将 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,50,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex 代入 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,75,7d,5c,29←←←LaTex，得到 LaTex→→→5c,28,41,28,50,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,5c,6c,61,6d,62,64,61,28,50,5c,6d,61,74,68,62,66,7b,76,7d,29,5c,29←←←LaTex。
                        
                            左乘 LaTex→→→5c,28,50,5e,7b,2d,31,7d,5c,29←←←LaTex，得到 LaTex→→→5c,28,50,5e,7b,2d,31,7d,41,50,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,50,5e,7b,2d,31,7d,5c,6c,61,6d,62,64,61,20,50,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,20,50,5e,7b,2d,31,7d,50,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,20,49,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex。
                        
                            即 LaTex→→→5c,28,42,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6c,61,6d,62,64,61,5c,6d,61,74,68,62,66,7b,76,7d,5c,29←←←LaTex。这表明 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 也是矩阵 LaTex→→→5c,28,42,5c,29←←←LaTex 的特征值，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,50,5e,7b,2d,31,7d,5c,6d,61,74,68,62,66,7b,75,7d,5c,29←←←LaTex 是对应的特征向量。
                        
                            因此，相似矩阵具有相同的特征值。
                        
                            **对角化** (Diagonalization) 是指将一个方阵 LaTex→→→5c,28,41,5c,29←←←LaTex 通过相似变换转化为一个对角矩阵 (Diagonal Matrix) LaTex→→→5c,28,44,5c,29←←←LaTex。也就是说，找到一个可逆矩阵 LaTex→→→5c,28,50,5c,29←←←LaTex 和一个对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex，使得 LaTex→→→5c,28,41,20,3d,20,50,44,50,5e,7b,2d,31,7d,5c,29←←←LaTex，或者等价地 LaTex→→→5c,28,44,20,3d,20,50,5e,7b,2d,31,7d,41,50,5c,29←←←LaTex。
                        
                            如果一个矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 可以被对角化，那么它就与一个对角矩阵相似。
                        
                            对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex 的形式为：
                        
                            LaTex→→→5c,5b,20,44,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,64,5f,31,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,30,20,26,20,64,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,5c,76,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,26,20,5c,64,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,5c,5c,20,30,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,64,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            对角矩阵的特征值非常容易计算，它们就是对角线上的元素 LaTex→→→5c,28,64,5f,31,2c,20,64,5f,32,2c,20,5c,64,6f,74,73,2c,20,64,5f,6e,5c,29←←←LaTex。
                        
                            如果 LaTex→→→5c,28,41,5c,29←←←LaTex 可以对角化为 LaTex→→→5c,28,44,5c,29←←←LaTex，那么 LaTex→→→5c,28,41,5c,29←←←LaTex 和 LaTex→→→5c,28,44,5c,29←←←LaTex 具有相同的特征值。这意味着对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex 对角线上的元素就是矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征值。
                        
                            那么，什么时候一个矩阵可以被对角化呢？
                        
                            一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 可以被对角化的充要条件是它有 LaTex→→→5c,28,6e,5c,29←←←LaTex 个线性无关的特征向量。
                        
                            如果 LaTex→→→5c,28,41,5c,29←←←LaTex 有 LaTex→→→5c,28,6e,5c,29←←←LaTex 个线性无关的特征向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,5c,29←←←LaTex，对应的特征值分别为 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,2c,20,5c,6c,61,6d,62,64,61,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6c,61,6d,62,64,61,5f,6e,5c,29←←←LaTex，则：
                        
                            LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,3d,20,5c,6c,61,6d,62,64,61,5f,31,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5c,29←←←LaTex
                        
                            LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6c,61,6d,62,64,61,5f,32,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex
                        
                            ...
                        
                            LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,3d,20,5c,6c,61,6d,62,64,61,5f,6e,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,5c,29←←←LaTex
                        
                            将这些等式写成矩阵形式。构造矩阵 LaTex→→→5c,28,50,5c,29←←←LaTex，其列向量是特征向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,5c,29←←←LaTex：
                        
                            LaTex→→→5c,28,50,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex
                        
                            由于 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,2c,20,5c,64,6f,74,73,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,5c,29←←←LaTex 线性无关，矩阵 LaTex→→→5c,28,50,5c,29←←←LaTex 是可逆的。
                        
                            考虑矩阵乘积 LaTex→→→5c,28,41,50,5c,29←←←LaTex:
                        
                            LaTex→→→5c,5b,20,41,50,20,3d,20,41,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,26,20,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            将 LaTex→→→5c,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,3d,20,5c,6c,61,6d,62,64,61,5f,69,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex 代入：
                        
                            LaTex→→→5c,5b,20,41,50,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6c,61,6d,62,64,61,5f,31,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,26,20,5c,6c,61,6d,62,64,61,5f,32,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,5c,6c,61,6d,62,64,61,5f,6e,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            这个矩阵可以写成 LaTex→→→5c,28,50,5c,29←←←LaTex 乘以一个对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex，其中 LaTex→→→5c,28,44,5c,29←←←LaTex 的对角线元素是特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,2c,20,5c,6c,61,6d,62,64,61,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6c,61,6d,62,64,61,5f,6e,5c,29←←←LaTex:
                        
                            LaTex→→→5c,5b,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6c,61,6d,62,64,61,5f,31,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,26,20,5c,6c,61,6d,62,64,61,5f,32,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,5c,6c,61,6d,62,64,61,5f,6e,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6c,61,6d,62,64,61,5f,31,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,30,20,26,20,5c,6c,61,6d,62,64,61,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,5c,76,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,26,20,5c,64,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,5c,5c,20,30,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,5c,6c,61,6d,62,64,61,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,50,44,20,5c,5d←←←LaTex
                        
                            所以，我们得到 LaTex→→→5c,28,41,50,20,3d,20,50,44,5c,29←←←LaTex。
                        
                            由于 LaTex→→→5c,28,50,5c,29←←←LaTex 是可逆的，我们可以右乘 LaTex→→→5c,28,50,5e,7b,2d,31,7d,5c,29←←←LaTex，得到 LaTex→→→5c,28,41,20,3d,20,50,44,50,5e,7b,2d,31,7d,5c,29←←←LaTex。
                        
                            或者左乘 LaTex→→→5c,28,50,5e,7b,2d,31,7d,5c,29←←←LaTex，得到 LaTex→→→5c,28,44,20,3d,20,50,5e,7b,2d,31,7d,41,50,5c,29←←←LaTex。
                        
                            这正是对角化的形式。矩阵 LaTex→→→5c,28,50,5c,29←←←LaTex 是由 LaTex→→→5c,28,41,5c,29←←←LaTex 的线性无关特征向量组成的矩阵，矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex 是由 LaTex→→→5c,28,41,5c,29←←←LaTex 的对应特征值组成的对角矩阵。
                        
                            **对角化的意义：**
                        
                            对角化极大地简化了矩阵的运算。例如，计算矩阵的幂 LaTex→→→5c,28,41,5e,6b,5c,29←←←LaTex:
                        
                            LaTex→→→5c,28,41,5e,6b,20,3d,20,28,50,44,50,5e,7b,2d,31,7d,29,5e,6b,20,3d,20,28,50,44,50,5e,7b,2d,31,7d,29,28,50,44,50,5e,7b,2d,31,7d,29,5c,64,6f,74,73,28,50,44,50,5e,7b,2d,31,7d,29,5c,29←←←LaTex (共 LaTex→→→5c,28,6b,5c,29←←←LaTex 次)
                        
                            由于 LaTex→→→5c,28,50,5e,7b,2d,31,7d,50,20,3d,20,49,5c,29←←←LaTex，中间的项会抵消：
                        
                            LaTex→→→5c,28,41,5e,6b,20,3d,20,50,44,28,50,5e,7b,2d,31,7d,50,29,44,28,50,5e,7b,2d,31,7d,50,29,5c,64,6f,74,73,28,50,5e,7b,2d,31,7d,50,29,44,50,5e,7b,2d,31,7d,20,3d,20,50,44,49,44,5c,64,6f,74,73,20,49,44,50,5e,7b,2d,31,7d,20,3d,20,50,44,5e,6b,50,5e,7b,2d,31,7d,5c,29←←←LaTex
                        
                            计算对角矩阵的 LaTex→→→5c,28,6b,5c,29←←←LaTex 次幂非常简单，只需要将对角线上的元素取 LaTex→→→5c,28,6b,5c,29←←←LaTex 次幂即可：
                        
                            LaTex→→→5c,5b,20,44,5e,6b,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6c,61,6d,62,64,61,5f,31,5e,6b,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,30,20,26,20,5c,6c,61,6d,62,64,61,5f,32,5e,6b,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,5c,76,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,26,20,5c,64,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,5c,5c,20,30,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,5c,6c,61,6d,62,64,61,5f,6e,5e,6b,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            因此，LaTex→→→5c,28,41,5e,6b,20,3d,20,50,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6c,61,6d,62,64,61,5f,31,5e,6b,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,30,20,26,20,5c,6c,61,6d,62,64,61,5f,32,5e,6b,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,5c,76,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,26,20,5c,64,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,5c,5c,20,30,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,5c,6c,61,6d,62,64,61,5f,6e,5e,6b,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,50,5e,7b,2d,31,7d,5c,29←←←LaTex。
                        
                            这在计算斐波那契数列、解决线性常微分方程组等问题中非常有用。
                        
                            **可对角化的条件总结：**
                        
                            一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 可对角化的充要条件是：
                        
                            ① 矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 有 LaTex→→→5c,28,6e,5c,29←←←LaTex 个线性无关的特征向量。
                        
                            ② 对于 LaTex→→→5c,28,41,5c,29←←←LaTex 的每一个特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex，其代数重数 (Algebraic Multiplicity) (即 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 作为特征多项式根的重数) 等于其几何重数 (Geometric Multiplicity) (即对应特征空间 LaTex→→→5c,28,45,5f,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的维数)。
                        
                            如果一个矩阵的所有特征值都是互不相同的，那么它一定有 LaTex→→→5c,28,6e,5c,29←←←LaTex 个线性无关的特征向量，从而一定可以对角化。
                        
                            ### 6.5 对称矩阵 (Symmetric Matrices) 的特征值与特征向量
                        
                            对称矩阵 (Symmetric Matrix) 是指满足 LaTex→→→5c,28,41,5e,54,20,3d,20,41,5c,29←←←LaTex 的方阵，其中 LaTex→→→5c,28,41,5e,54,5c,29←←←LaTex 是矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的转置 (Transpose)。对称矩阵在许多应用中具有特殊的和重要的性质。
                        
                            对于实对称矩阵 (Real Symmetric Matrix)，即元素都是实数的对称矩阵，有以下重要的性质：
                        
                            ① **实特征值：** 实对称矩阵的所有特征值都是实数。
                        
                            ② **正交特征向量：** 对应于不同特征值的特征向量是正交的 (Orthogonal)。
                        
                               如果 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5c,29←←←LaTex 和 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex 是实对称矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 对应于不同特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,5c,29←←←LaTex 和 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,5c,29←←←LaTex (LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,5c,6e,65,71,20,5c,6c,61,6d,62,64,61,5f,32,5c,29←←←LaTex) 的特征向量，那么 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,30,5c,29←←←LaTex (内积为零)。
                        
                               **证明思路：** 考虑 LaTex→→→5c,28,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex 和 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,5c,29←←←LaTex。
                        
                               LaTex→→→5c,28,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,28,5c,6c,61,6d,62,64,61,5f,31,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6c,61,6d,62,64,61,5f,31,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,5c,29←←←LaTex。
                        
                               LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,28,5c,6c,61,6d,62,64,61,5f,32,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6c,61,6d,62,64,61,5f,32,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,5c,29←←←LaTex。
                        
                               另一方面，使用矩阵乘积的转置性质 LaTex→→→5c,28,28,41,42,29,5e,54,20,3d,20,42,5e,54,20,41,5e,54,5c,29←←←LaTex 和向量内积与矩阵乘积的关系 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,78,7d,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,79,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,78,7d,5e,54,20,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex：
                        
                               LaTex→→→5c,28,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,5e,54,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,5e,54,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex。
                        
                               因为 LaTex→→→5c,28,41,5c,29←←←LaTex 是对称矩阵，LaTex→→→5c,28,41,5e,54,20,3d,20,41,5c,29←←←LaTex，所以 LaTex→→→5c,28,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex。
                        
                               同时，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,5c,29←←←LaTex。
                        
                               所以 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,5c,29←←←LaTex。
                        
                               我们有 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex 和 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,32,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex。
                        
                               实际上，更直接的证明是：
                        
                               LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,28,41,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,29,5e,54,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,5e,54,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex。
                        
                               因为 LaTex→→→5c,28,41,5c,29←←←LaTex 对称，LaTex→→→5c,28,41,5e,54,20,3d,20,41,5c,29←←←LaTex，所以 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,5e,54,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5c,29←←←LaTex。
                        
                               同时，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,28,5c,6c,61,6d,62,64,61,5f,32,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6c,61,6d,62,64,61,5f,32,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6c,61,6d,62,64,61,5f,32,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,5c,29←←←LaTex。
                        
                               所以 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,5c,6c,61,6d,62,64,61,5f,32,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,5c,29←←←LaTex。
                        
                               即 LaTex→→→5c,28,28,5c,6c,61,6d,62,64,61,5f,31,20,2d,20,5c,6c,61,6d,62,64,61,5f,32,29,20,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,29,20,3d,20,30,5c,29←←←LaTex。
                        
                               由于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,5c,6e,65,71,20,5c,6c,61,6d,62,64,61,5f,32,5c,29←←←LaTex，所以 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,20,2d,20,5c,6c,61,6d,62,64,61,5f,32,20,5c,6e,65,71,20,30,5c,29←←←LaTex。这蕴含着 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,3d,20,30,5c,29←←←LaTex，即特征向量正交。
                        
                            ③ **总可以对角化：** 对于一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的实对称矩阵，总存在一个由其特征向量组成的正交基 (Orthogonal Basis) 或标准正交基 (Orthonormal Basis)。这意味着实对称矩阵总是可以被对角化的。
                        
                               更进一步，实对称矩阵可以被**正交对角化** (Orthogonally Diagonalized)。这意味着存在一个正交矩阵 (Orthogonal Matrix) LaTex→→→5c,28,51,5c,29←←←LaTex (满足 LaTex→→→5c,28,51,5e,54,20,51,20,3d,20,51,51,5e,54,20,3d,20,49,5c,29←←←LaTex，即 LaTex→→→5c,28,51,5e,7b,2d,31,7d,20,3d,20,51,5e,54,5c,29←←←LaTex) 和一个对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex，使得 LaTex→→→5c,28,41,20,3d,20,51,44,51,5e,54,5c,29←←←LaTex。
                        
                               矩阵 LaTex→→→5c,28,51,5c,29←←←LaTex 的列向量是 LaTex→→→5c,28,41,5c,29←←←LaTex 的标准正交特征向量，对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex 的对角线元素是对应的特征值。
                        
                            这些性质使得对称矩阵在许多领域特别有用，例如主成分分析 (PCA) 就是基于协方差矩阵（一个对称矩阵）的特征值分解。
                        
                            ### 6.6 Cayley-Hamilton 定理 (Cayley-Hamilton Theorem)
                        
                            **Cayley-Hamilton 定理** 是线性代数中一个非常深刻的定理。它表明：每一个方阵都满足它自己的特征方程。
                        
                            更精确地说，如果 LaTex→→→5c,28,41,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的方阵，其特征多项式是 LaTex→→→5c,28,70,28,5c,6c,61,6d,62,64,61,29,20,3d,20,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,3d,20,63,5f,6e,20,5c,6c,61,6d,62,64,61,5e,6e,20,2b,20,63,5f,7b,6e,2d,31,7d,20,5c,6c,61,6d,62,64,61,5e,7b,6e,2d,31,7d,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,5c,6c,61,6d,62,64,61,20,2b,20,63,5f,30,5c,29←←←LaTex，那么将矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 代入这个多项式，结果是零矩阵 (Zero Matrix)：
                        
                            LaTex→→→5c,5b,20,70,28,41,29,20,3d,20,63,5f,6e,20,41,5e,6e,20,2b,20,63,5f,7b,6e,2d,31,7d,20,41,5e,7b,6e,2d,31,7d,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,41,20,2b,20,63,5f,30,20,49,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,5d←←←LaTex
                        
                            注意，常数项 LaTex→→→5c,28,63,5f,30,5c,29←←←LaTex 乘以的是单位矩阵 LaTex→→→5c,28,49,5c,29←←←LaTex，而不是标量 0。
                        
                            **例子：**
                        
                            考虑矩阵 LaTex→→→5c,28,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            其特征多项式是 LaTex→→→5c,28,70,28,5c,6c,61,6d,62,64,61,29,20,3d,20,5c,6c,61,6d,62,64,61,5e,32,20,2d,20,34,5c,6c,61,6d,62,64,61,20,2b,20,33,5c,29←←←LaTex。
                        
                            根据Cayley-Hamilton定理，矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 应该满足 LaTex→→→5c,28,41,5e,32,20,2d,20,34,41,20,2b,20,33,49,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex。
                        
                            我们来验证一下：
                        
                            LaTex→→→5c,5b,20,41,5e,32,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,5c,63,64,6f,74,20,32,20,2b,20,31,20,5c,63,64,6f,74,20,31,20,26,20,32,20,5c,63,64,6f,74,20,31,20,2b,20,31,20,5c,63,64,6f,74,20,32,20,5c,5c,20,31,20,5c,63,64,6f,74,20,32,20,2b,20,32,20,5c,63,64,6f,74,20,31,20,26,20,31,20,5c,63,64,6f,74,20,31,20,2b,20,32,20,5c,63,64,6f,74,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,35,20,26,20,34,20,5c,5c,20,34,20,26,20,35,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,20,34,41,20,3d,20,34,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,31,20,26,20,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,38,20,26,20,34,20,5c,5c,20,34,20,26,20,38,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,20,33,49,20,3d,20,33,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,33,20,26,20,30,20,5c,5c,20,30,20,26,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            计算 LaTex→→→5c,28,41,5e,32,20,2d,20,34,41,20,2b,20,33,49,5c,29←←←LaTex:
                        
                            LaTex→→→5c,5b,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,35,20,26,20,34,20,5c,5c,20,34,20,26,20,35,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,2d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,38,20,26,20,34,20,5c,5c,20,34,20,26,20,38,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,2b,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,33,20,26,20,30,20,5c,5c,20,30,20,26,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,35,20,2d,20,38,20,2b,20,33,20,26,20,34,20,2d,20,34,20,2b,20,30,20,5c,5c,20,34,20,2d,20,34,20,2b,20,30,20,26,20,35,20,2d,20,38,20,2b,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,26,20,30,20,5c,5c,20,30,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,5d←←←LaTex
                        
                            结果是零矩阵，定理成立。
                        
                            **Cayley-Hamilton 定理的应用：**
                        
                            ⚝ 计算矩阵的幂：可以使用该定理将高次幂的矩阵表示为低次幂的线性组合。例如，对于上面的例子，LaTex→→→5c,28,41,5e,32,20,3d,20,34,41,20,2d,20,33,49,5c,29←←←LaTex。LaTex→→→5c,28,41,5e,33,20,3d,20,41,20,5c,63,64,6f,74,20,41,5e,32,20,3d,20,41,28,34,41,20,2d,20,33,49,29,20,3d,20,34,41,5e,32,20,2d,20,33,41,20,3d,20,34,28,34,41,20,2d,20,33,49,29,20,2d,20,33,41,20,3d,20,31,36,41,20,2d,20,31,32,49,20,2d,20,33,41,20,3d,20,31,33,41,20,2d,20,31,32,49,5c,29←←←LaTex，以此类推。
                        
                            ⚝ 计算矩阵的逆：如果矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 是可逆的，那么其特征值都不为零，即 LaTex→→→5c,28,63,5f,30,20,3d,20,5c,64,65,74,28,41,20,2d,20,30,49,29,20,3d,20,5c,64,65,74,28,41,29,20,5c,6e,65,71,20,30,5c,29←←←LaTex。从特征方程 LaTex→→→5c,28,63,5f,6e,20,41,5e,6e,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,41,20,2b,20,63,5f,30,20,49,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex 中，如果 LaTex→→→5c,28,63,5f,30,20,5c,6e,65,71,20,30,5c,29←←←LaTex，可以将 LaTex→→→5c,28,63,5f,30,20,49,5c,29←←←LaTex 移项，并乘以 LaTex→→→5c,28,41,5e,7b,2d,31,7d,5c,29←←←LaTex：
                        
                               LaTex→→→5c,28,63,5f,6e,20,41,5e,6e,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,41,20,3d,20,2d,63,5f,30,20,49,5c,29←←←LaTex
                        
                               LaTex→→→5c,28,41,28,63,5f,6e,20,41,5e,7b,6e,2d,31,7d,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,49,29,20,3d,20,2d,63,5f,30,20,49,5c,29←←←LaTex
                        
                               左乘 LaTex→→→5c,28,41,5e,7b,2d,31,7d,5c,29←←←LaTex：
                        
                               LaTex→→→5c,28,41,5e,7b,2d,31,7d,20,41,28,63,5f,6e,20,41,5e,7b,6e,2d,31,7d,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,49,29,20,3d,20,41,5e,7b,2d,31,7d,20,28,2d,63,5f,30,20,49,29,5c,29←←←LaTex
                        
                               LaTex→→→5c,28,49,28,63,5f,6e,20,41,5e,7b,6e,2d,31,7d,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,49,29,20,3d,20,2d,63,5f,30,20,41,5e,7b,2d,31,7d,5c,29←←←LaTex
                        
                               LaTex→→→5c,28,63,5f,6e,20,41,5e,7b,6e,2d,31,7d,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,49,20,3d,20,2d,63,5f,30,20,41,5e,7b,2d,31,7d,5c,29←←←LaTex
                        
                               所以，LaTex→→→5c,28,41,5e,7b,2d,31,7d,20,3d,20,2d,5c,66,72,61,63,7b,31,7d,7b,63,5f,30,7d,20,28,63,5f,6e,20,41,5e,7b,6e,2d,31,7d,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,31,20,49,29,5c,29←←←LaTex。
                        
                               这提供了一种计算矩阵逆的方法，尽管对于大型矩阵来说可能不是最有效率的数值方法。
                        
                            **定理的证明：**
                        
                            严格的证明需要用到伴随矩阵 (Adjugate Matrix) 和行列式的性质，或者更抽象的代数概念。一个常见的证明思路是利用伴随矩阵的性质 LaTex→→→5c,28,41,20,5c,63,64,6f,74,20,5c,74,65,78,74,7b,61,64,6a,7d,28,41,29,20,3d,20,5c,64,65,74,28,41,29,20,49,5c,29←←←LaTex。将 LaTex→→→5c,28,41,5c,29←←←LaTex 替换为 LaTex→→→5c,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,5c,29←←←LaTex，则 LaTex→→→5c,28,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,5c,74,65,78,74,7b,61,64,6a,7d,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,3d,20,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,49,20,3d,20,70,28,5c,6c,61,6d,62,64,61,29,20,49,5c,29←←←LaTex。伴随矩阵 LaTex→→→5c,28,5c,74,65,78,74,7b,61,64,6a,7d,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex 的每个元素都是关于 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的多项式，因此 LaTex→→→5c,28,5c,74,65,78,74,7b,61,64,6a,7d,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex 可以写成一个矩阵多项式 LaTex→→→5c,28,42,5f,30,20,2b,20,42,5f,31,20,5c,6c,61,6d,62,64,61,20,2b,20,5c,64,6f,74,73,20,2b,20,42,5f,7b,6e,2d,31,7d,20,5c,6c,61,6d,62,64,61,5e,7b,6e,2d,31,7d,5c,29←←←LaTex，其中 LaTex→→→5c,28,42,5f,69,5c,29←←←LaTex 是常数矩阵。将 LaTex→→→5c,28,70,28,5c,6c,61,6d,62,64,61,29,20,3d,20,63,5f,6e,20,5c,6c,61,6d,62,64,61,5e,6e,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,30,5c,29←←←LaTex 和 LaTex→→→5c,28,5c,74,65,78,74,7b,61,64,6a,7d,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,5c,29←←←LaTex 的形式代入等式，并比较 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5c,29←←←LaTex 的同次幂系数，可以得到一系列关于 LaTex→→→5c,28,41,5c,29←←←LaTex 和 LaTex→→→5c,28,42,5f,69,5c,29←←←LaTex 的矩阵方程。通过巧妙地组合这些方程，最终可以推导出 LaTex→→→5c,28,70,28,41,29,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex。
                        
                            本章深入探讨了特征值与特征向量的核心概念、计算方法以及它们与矩阵对角化和对称矩阵的联系，并介绍了Cayley-Hamilton定理。这些知识是进一步学习线性代数及其在各个领域应用的基础。
                        
                            <END_OF_CHAPTER/>
                        
                            ## 7. chapter 7： 内积空间 (Inner Product Spaces)
                        
                            欢迎来到线性代数的第七章！🎉 在前面的章节中，我们学习了向量空间的基本概念、线性变换以及行列式等重要工具。这些概念为我们理解向量和矩阵的性质奠定了基础。然而，到目前为止，我们主要关注的是向量的“线性”属性，比如它们的加法和标量乘法。我们还没有深入探讨向量之间的“几何”关系，比如长度、角度和垂直性。
                        
                            在本章中，我们将引入一个强大的新概念：内积 (Inner Product)。内积是点积 (Dot Product) 在更一般向量空间上的推广。通过定义内积，我们可以为抽象的向量空间赋予几何结构，从而讨论向量的长度（范数）、向量之间的距离以及向量之间的夹角，特别是正交性（垂直性）。
                        
                            内积空间 (Inner Product Space) 是一个配备了内积的向量空间。这个概念不仅在理论上非常重要，因为它连接了代数结构和几何结构，而且在许多应用领域，如数据分析、信号处理、机器学习和物理学中，都扮演着核心角色。例如，在机器学习中，我们经常需要计算数据点之间的相似度或距离，这通常可以通过定义一个合适的内积来实现。
                        
                            本章将系统地介绍内积空间的定义、性质以及相关的核心概念，包括范数、距离、正交性、正交基、施密特正交化过程以及正交补空间和投影。通过学习这些内容，你将能够：
                        
                            ⚝ 理解内积如何推广了熟悉的点积概念。
                        
                            ⚝ 计算向量的长度和向量之间的距离。
                        
                            ⚝ 判断向量是否正交。
                        
                            ⚝ 找到向量空间的正交基或标准正交基。
                        
                            ⚝ 将任意基转化为正交基或标准正交基。
                        
                            ⚝ 理解正交补空间的概念及其性质。
                        
                            ⚝ 计算向量在子空间上的投影，并理解其几何意义。
                        
                            准备好了吗？让我们一起进入内积空间的奇妙世界，为向量空间赋予丰富的几何内涵！🚀
                        
                            ### 7.1 内积的定义与性质 (Definition and Properties of Inner Products)
                        
                            在 LaTex→→→5c,28,52,5e,6e,5c,29←←←LaTex 空间中，我们熟悉向量的点积。对于向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,28,75,5f,31,2c,20,75,5f,32,2c,20,5c,64,6f,74,73,2c,20,75,5f,6e,29,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,28,76,5f,31,2c,20,76,5f,32,2c,20,5c,64,6f,74,73,2c,20,76,5f,6e,29,20,5c,29←←←LaTex，它们的点积定义为：
                        
                            LaTex→→→5c,5b,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,75,5f,31,20,76,5f,31,20,2b,20,75,5f,32,20,76,5f,32,20,2b,20,5c,64,6f,74,73,20,2b,20,75,5f,6e,20,76,5f,6e,20,3d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,75,5f,69,20,76,5f,69,20,5c,5d←←←LaTex
                        
                            点积具有一些重要的性质，例如交换律、分配律以及与标量乘法的结合律。内积正是点积在更一般向量空间上的抽象和推广。
                        
                            **定义 7.1.1** 设 LaTex→→→5c,28,56,5c,29←←←LaTex 是一个实向量空间 (Real Vector Space)。一个定义在 LaTex→→→5c,28,56,5c,29←←←LaTex 上的内积 (Inner Product) 是一个函数，它将 LaTex→→→5c,28,56,5c,29←←←LaTex 中的任意两个向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex 映射到一个实数，记作 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex，并满足以下四个性质（对于任意 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,69,6e,20,56,20,5c,29←←←LaTex 和任意标量 LaTex→→→5c,28,20,63,20,5c,69,6e,20,52,20,5c,29←←←LaTex）：
                        
                            ① **对称性 (Symmetry):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            ② **对第一个变量的线性性 (Linearity in the First Argument):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            ③ **与标量乘法的结合性 (Homogeneity):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,63,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,63,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            ④ **非负定性 (Non-negativity) 和正定性 (Positive-definiteness):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,5c,67,65,20,30,20,5c,29←←←LaTex，且 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex 当且仅当 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,29←←←LaTex。
                        
                            如果向量空间是复向量空间 (Complex Vector Space)，则内积的定义略有不同，通常称为 Hermitian 内积。对于复向量空间 LaTex→→→5c,28,56,5c,29←←←LaTex，内积 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex 是一个复数，满足：
                        
                            ① **共轭对称性 (Conjugate Symmetry):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6f,76,65,72,6c,69,6e,65,7b,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,7d,20,5c,29←←←LaTex (其中 LaTex→→→5c,28,20,5c,6f,76,65,72,6c,69,6e,65,7b,7a,7d,20,5c,29←←←LaTex 表示复数 LaTex→→→5c,28,7a,5c,29←←←LaTex 的共轭)
                        
                            ② **对第一个变量的线性性 (Linearity in the First Argument):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            ③ **与标量乘法的结合性 (Homogeneity):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,63,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,63,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            ④ **非负定性 (Non-negativity) 和正定性 (Positive-definiteness):** LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,5c,67,65,20,30,20,5c,29←←←LaTex (注意 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex 总是实数)，且 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex 当且仅当 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,29←←←LaTex。
                        
                            从性质 ① 和 ③ 可以推导出对第二个变量的性质：
                        
                            对于实向量空间：LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,63,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,63,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,63,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,63,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            对于复向量空间：LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,63,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6f,76,65,72,6c,69,6e,65,7b,5c,6c,61,6e,67,6c,65,20,63,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,7d,20,3d,20,5c,6f,76,65,72,6c,69,6e,65,7b,63,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,7d,20,3d,20,5c,6f,76,65,72,6c,69,6e,65,7b,63,7d,20,5c,6f,76,65,72,6c,69,6e,65,7b,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,7d,20,3d,20,5c,6f,76,65,72,6c,69,6e,65,7b,63,7d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            这表明在复向量空间中，对第二个变量是共轭线性的 (Conjugate Linear)。
                        
                            一个配备了内积的向量空间称为内积空间 (Inner Product Space)。如果向量空间是有限维的，有时也称为欧几里得空间 (Euclidean Space)（实数域上）或酉空间 (Unitary Space)（复数域上）。
                        
                            **例子 7.1.2** 常见的内积：
                        
                            ⚝ **LaTex→→→5c,28,52,5e,6e,5c,29←←←LaTex 上的标准内积 (Standard Inner Product on LaTex→→→5c,28,52,5e,6e,5c,29←←←LaTex)：** 这就是我们熟悉点积。对于 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,28,75,5f,31,2c,20,5c,64,6f,74,73,2c,20,75,5f,6e,29,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,28,76,5f,31,2c,20,5c,64,6f,74,73,2c,20,76,5f,6e,29,20,5c,69,6e,20,52,5e,6e,20,5c,29←←←LaTex，定义 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,63,64,6f,74,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,75,5f,69,20,76,5f,69,20,5c,29←←←LaTex。容易验证它满足内积的四个性质。
                        
                            ⚝ **LaTex→→→5c,28,43,5e,6e,5c,29←←←LaTex 上的标准内积 (Standard Inner Product on LaTex→→→5c,28,43,5e,6e,5c,29←←←LaTex)：** 对于 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,28,75,5f,31,2c,20,5c,64,6f,74,73,2c,20,75,5f,6e,29,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,28,76,5f,31,2c,20,5c,64,6f,74,73,2c,20,76,5f,6e,29,20,5c,69,6e,20,43,5e,6e,20,5c,29←←←LaTex，定义 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,75,5f,69,20,5c,6f,76,65,72,6c,69,6e,65,7b,76,5f,69,7d,20,5c,29←←←LaTex。注意这里对第二个向量的分量取了共轭。这是为了保证 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,73,75,6d,20,75,5f,69,20,5c,6f,76,65,72,6c,69,6e,65,7b,75,5f,69,7d,20,3d,20,5c,73,75,6d,20,7c,75,5f,69,7c,5e,32,20,5c,29←←←LaTex 是非负实数。
                        
                            ⚝ **函数空间上的内积 (Inner Product on Function Spaces):** 考虑在区间 LaTex→→→5c,28,5b,61,2c,20,62,5d,5c,29←←←LaTex 上连续的实值函数空间 LaTex→→→5c,28,43,5b,61,2c,20,62,5d,5c,29←←←LaTex。可以定义一个内积为：
                        
                            LaTex→→→5c,5b,20,5c,6c,61,6e,67,6c,65,20,66,2c,20,67,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,66,28,78,29,20,67,28,78,29,20,64,78,20,5c,5d←←←LaTex
                        
                            验证这个定义是否满足内积的性质：
                        
                            ▮▮▮▮ⓐ 对称性：LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,66,2c,20,67,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,66,28,78,29,20,67,28,78,29,20,64,78,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,67,28,78,29,20,66,28,78,29,20,64,78,20,3d,20,5c,6c,61,6e,67,6c,65,20,67,2c,20,66,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex。成立。
                        
                            ▮▮▮▮ⓑ 对第一个变量的线性性：LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,66,5f,31,20,2b,20,66,5f,32,2c,20,67,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,28,66,5f,31,28,78,29,20,2b,20,66,5f,32,28,78,29,29,20,67,28,78,29,20,64,78,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,66,5f,31,28,78,29,20,67,28,78,29,20,64,78,20,2b,20,5c,69,6e,74,5f,61,5e,62,20,66,5f,32,28,78,29,20,67,28,78,29,20,64,78,20,3d,20,5c,6c,61,6e,67,6c,65,20,66,5f,31,2c,20,67,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,66,5f,32,2c,20,67,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex。成立。
                        
                            ▮▮▮▮ⓒ 与标量乘法的结合性：LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,63,66,2c,20,67,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,28,63,66,28,78,29,29,20,67,28,78,29,20,64,78,20,3d,20,63,20,5c,69,6e,74,5f,61,5e,62,20,66,28,78,29,20,67,28,78,29,20,64,78,20,3d,20,63,20,5c,6c,61,6e,67,6c,65,20,66,2c,20,67,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex。成立。
                        
                            ▮▮▮▮ⓓ 非负定性：LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,66,2c,20,66,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,28,66,28,78,29,29,5e,32,20,64,78,20,5c,67,65,20,30,20,5c,29←←←LaTex，因为 LaTex→→→5c,28,20,28,66,28,78,29,29,5e,32,20,5c,67,65,20,30,20,5c,29←←←LaTex。如果 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,66,2c,20,66,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex，由于 LaTex→→→5c,28,66,5c,29←←←LaTex 是连续函数且 LaTex→→→5c,28,20,28,66,28,78,29,29,5e,32,20,5c,67,65,20,30,20,5c,29←←←LaTex，这意味着 LaTex→→→5c,28,20,28,66,28,78,29,29,5e,32,20,3d,20,30,20,5c,29←←←LaTex 对于所有 LaTex→→→5c,28,20,78,20,5c,69,6e,20,5b,61,2c,20,62,5d,20,5c,29←←←LaTex，因此 LaTex→→→5c,28,20,66,28,78,29,20,3d,20,30,20,5c,29←←←LaTex 对于所有 LaTex→→→5c,28,20,78,20,5c,69,6e,20,5b,61,2c,20,62,5d,20,5c,29←←←LaTex，即 LaTex→→→5c,28,20,66,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,29←←←LaTex (零函数)。反之亦然。成立。
                        
                            因此，LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,66,2c,20,67,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,69,6e,74,5f,61,5e,62,20,66,28,78,29,20,67,28,78,29,20,64,78,20,5c,29←←←LaTex 是 LaTex→→→5c,28,43,5b,61,2c,20,62,5d,5c,29←←←LaTex 上的一个内积。
                        
                            ⚝ **矩阵空间上的内积 (Inner Product on Matrix Spaces):** 考虑 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 实矩阵空间 LaTex→→→5c,28,4d,5f,7b,6d,20,5c,74,69,6d,65,73,20,6e,7d,28,52,29,5c,29←←←LaTex。可以定义 Frobenius 内积 (Frobenius Inner Product) 为：
                        
                            LaTex→→→5c,5b,20,5c,6c,61,6e,67,6c,65,20,41,2c,20,42,20,5c,72,61,6e,67,6c,65,5f,46,20,3d,20,5c,74,65,78,74,7b,74,72,7d,28,41,5e,54,20,42,29,20,3d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6d,20,5c,73,75,6d,5f,7b,6a,3d,31,7d,5e,6e,20,41,5f,7b,69,6a,7d,20,42,5f,7b,69,6a,7d,20,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,41,5e,54,5c,29←←←LaTex 是矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的转置，LaTex→→→5c,28,5c,74,65,78,74,7b,74,72,7d,5c,29←←←LaTex 是矩阵的迹 (Trace)，即对角线元素的和。这个内积也满足内积的性质。
                        
                            内积的性质可以推导出一些有用的结论，例如：
                        
                            ⚝   LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,30,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex
                        
                            ⚝   LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex (对第二个变量的线性性，实向量空间)
                        
                            ⚝   LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,2d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            内积为我们提供了衡量向量“相似度”或“相关性”的手段。当 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex 时，我们称向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex 是正交的 (Orthogonal)，这推广了 LaTex→→→5c,28,52,5e,6e,5c,29←←←LaTex 中垂直的概念。
                        
                            ### 7.2 范数 (Norms) 与距离 (Distances)
                        
                            在内积空间中，我们可以利用内积来定义向量的长度和向量之间的距离，从而赋予空间几何结构。
                        
                            **定义 7.2.1** 设 LaTex→→→5c,28,56,5c,29←←←LaTex 是一个内积空间，其内积记为 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,63,64,6f,74,2c,20,5c,63,64,6f,74,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex。向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,69,6e,20,56,20,5c,29←←←LaTex 的范数 (Norm) 或长度 (Length) 定义为：
                        
                            LaTex→→→5c,5b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,3d,20,5c,73,71,72,74,7b,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,7d,20,5c,5d←←←LaTex
                        
                            注意，根据内积的非负定性，LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,67,65,20,30,20,5c,29←←←LaTex，所以其平方根总是实数且非负。
                        
                            范数满足以下性质（对于任意 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,69,6e,20,56,20,5c,29←←←LaTex 和任意标量 LaTex→→→5c,28,20,63,20,5c,29←←←LaTex）：
                        
                            ① **非负性 (Non-negativity):** LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,67,65,20,30,20,5c,29←←←LaTex
                        
                            ② **正定性 (Positive-definiteness):** LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,3d,20,30,20,5c,29←←←LaTex 当且仅当 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,29←←←LaTex
                        
                            ③ **齐次性 (Homogeneity):** LaTex→→→5c,28,20,5c,7c,20,63,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,3d,20,7c,63,7c,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,29←←←LaTex
                        
                            ④ **三角不等式 (Triangle Inequality):** LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,6c,65,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,29←←←LaTex
                        
                            性质 ①, ②, ③ 可以直接从内积的性质推导出来。性质 ④ 三角不等式是范数的一个重要性质，它来源于著名的 Cauchy-Schwarz 不等式。
                        
                            **定理 7.2.2 (Cauchy-Schwarz 不等式)** 设 LaTex→→→5c,28,56,5c,29←←←LaTex 是一个内积空间。对于任意 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,69,6e,20,56,20,5c,29←←←LaTex，有：
                        
                            LaTex→→→5c,5b,20,7c,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,7c,20,5c,6c,65,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,5d←←←LaTex
                        
                            等号成立当且仅当 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex 线性相关 (Linearly Dependent)。
                        
                            这个不等式在数学中应用广泛。在 LaTex→→→5c,28,52,5e,6e,5c,29←←←LaTex 的标准内积空间中，它就是 Cauchy-Schwarz-Bunyakovsky 不等式：
                        
                            LaTex→→→5c,5b,20,5c,6c,65,66,74,28,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,75,5f,69,20,76,5f,69,20,5c,72,69,67,68,74,29,5e,32,20,5c,6c,65,20,5c,6c,65,66,74,28,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,75,5f,69,5e,32,20,5c,72,69,67,68,74,29,20,5c,6c,65,66,74,28,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,76,5f,69,5e,32,20,5c,72,69,67,68,74,29,20,5c,5d←←←LaTex
                        
                            利用 Cauchy-Schwarz 不等式，我们可以证明三角不等式：
                        
                            LaTex→→→5c,5b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,5d←←←LaTex
                        
                            对于实内积空间：
                        
                            LaTex→→→5c,5b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,3d,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,5e,32,20,2b,20,32,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,5c,5d←←←LaTex
                        
                            根据 Cauchy-Schwarz 不等式，LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,6c,65,20,7c,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,7c,20,5c,6c,65,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,29←←←LaTex。
                        
                            所以，LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,5c,6c,65,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,5e,32,20,2b,20,32,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,3d,20,28,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,29,5e,32,20,5c,29←←←LaTex。
                        
                            取平方根（范数非负），得到 LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,6c,65,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,29←←←LaTex。
                        
                            **定义 7.2.3** 设 LaTex→→→5c,28,56,5c,29←←←LaTex 是一个内积空间。向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex 之间的距离 (Distance) 定义为：
                        
                            LaTex→→→5c,5b,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,3d,20,5c,73,71,72,74,7b,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,7d,20,5c,5d←←←LaTex
                        
                            距离满足度量空间 (Metric Space) 的性质：
                        
                            ① **非负性 (Non-negativity):** LaTex→→→5c,28,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,29,20,5c,67,65,20,30,20,5c,29←←←LaTex
                        
                            ② **正定性 (Positive-definiteness):** LaTex→→→5c,28,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,30,20,5c,29←←←LaTex 当且仅当 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex
                        
                            ③ **对称性 (Symmetry):** LaTex→→→5c,28,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,29,20,3d,20,64,28,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,29,20,5c,29←←←LaTex
                        
                            ④ **三角不等式 (Triangle Inequality):** LaTex→→→5c,28,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,29,20,5c,6c,65,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,29,20,2b,20,64,28,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,29,20,5c,29←←←LaTex
                        
                            这些性质都可以从范数的性质推导出来。例如，三角不等式：
                        
                            LaTex→→→5c,28,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,29,20,3d,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,7c,20,3d,20,5c,7c,20,28,5c,6d,61,74,68,62,66,7b,75,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,76,7d,29,20,2b,20,28,5c,6d,61,74,68,62,66,7b,76,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,77,7d,29,20,5c,7c,20,5c,6c,65,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,2d,20,5c,6d,61,74,68,62,66,7b,77,7d,20,5c,7c,20,3d,20,64,28,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,29,20,2b,20,64,28,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,77,7d,29,20,5c,29←←←LaTex。
                        
                            在 LaTex→→→5c,28,52,5e,6e,5c,29←←←LaTex 的标准内积空间中，范数就是向量的欧几里得长度 (Euclidean Length)，距离就是欧几里得距离 (Euclidean Distance)。
                        
                            **定义 7.2.4** 设 LaTex→→→5c,28,56,5c,29←←←LaTex 是一个实内积空间。非零向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex 之间的夹角 (Angle) LaTex→→→5c,28,20,5c,74,68,65,74,61,20,5c,29←←←LaTex 定义为：
                        
                            LaTex→→→5c,5b,20,5c,63,6f,73,20,5c,74,68,65,74,61,20,3d,20,5c,66,72,61,63,7b,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,7d,7b,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,7d,20,5c,5d←←←LaTex
                        
                            根据 Cauchy-Schwarz 不等式，LaTex→→→5c,28,20,7c,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,7c,20,5c,6c,65,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,20,5c,29←←←LaTex，所以 LaTex→→→5c,28,20,5c,6c,65,66,74,7c,20,5c,66,72,61,63,7b,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,7d,7b,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,7d,20,5c,72,69,67,68,74,7c,20,5c,6c,65,20,31,20,5c,29←←←LaTex，这保证了 LaTex→→→5c,28,20,5c,63,6f,73,20,5c,74,68,65,74,61,20,5c,29←←←LaTex 的值在 LaTex→→→5c,28,5b,2d,31,2c,20,31,5d,5c,29←←←LaTex 之间，因此 LaTex→→→5c,28,20,5c,74,68,65,74,61,20,5c,29←←←LaTex 是一个实数角。
                        
                            当 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex 时，LaTex→→→5c,28,20,5c,63,6f,73,20,5c,74,68,65,74,61,20,3d,20,30,20,5c,29←←←LaTex，这意味着 LaTex→→→5c,28,20,5c,74,68,65,74,61,20,3d,20,5c,70,69,2f,32,20,5c,29←←←LaTex 或 LaTex→→→5c,28,20,39,30,5e,5c,63,69,72,63,20,5c,29←←←LaTex。这引出了正交性的概念。
                        
                            ### 7.3 正交性 (Orthogonality)
                        
                            正交性是内积空间中一个极其重要的概念，它是垂直概念的推广。
                        
                            **定义 7.3.1** 设 LaTex→→→5c,28,56,5c,29←←←LaTex 是一个内积空间。
                        
                            ① 两个向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,69,6e,20,56,20,5c,29←←←LaTex 称为正交的 (Orthogonal)，如果 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex。我们记作 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,70,65,72,70,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex。
                        
                            ② 一个向量集 LaTex→→→5c,28,20,53,20,3d,20,5c,7b,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6b,20,5c,7d,20,5c,29←←←LaTex 称为正交集 (Orthogonal Set)，如果其中任意两个不同的向量都正交，即当 LaTex→→→5c,28,20,69,20,5c,6e,65,20,6a,20,5c,29←←←LaTex 时，LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6a,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex。
                        
                            ③ 如果一个正交集中的所有向量都是单位向量 (Unit Vector)（即范数为 1，LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,7c,20,3d,20,31,20,5c,29←←←LaTex），则称该向量集为标准正交集 (Orthonormal Set)。
                        
                            注意，零向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,29←←←LaTex 与空间中的任何向量都正交，因为 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,30,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex 对于所有 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,69,6e,20,56,20,5c,29←←←LaTex。然而，在讨论正交集或标准正交集时，我们通常关注非零向量。
                        
                            **定理 7.3.2 (毕达哥拉斯定理的推广)** 设 LaTex→→→5c,28,56,5c,29←←←LaTex 是一个内积空间。如果向量 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,29←←←LaTex 和 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex 正交，即 LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex，则：
                        
                            LaTex→→→5c,5b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,3d,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,5e,32,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,5c,5d←←←LaTex
                        
                            证明：
                        
                            LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            由于 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,70,65,72,70,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,29←←←LaTex，LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex。根据对称性，LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex。
                        
                            所以，LaTex→→→5c,28,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,75,7d,2c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,72,61,6e,67,6c,65,20,2b,20,30,20,2b,20,30,20,2b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,75,7d,20,5c,7c,5e,32,20,2b,20,5c,7c,20,5c,6d,61,74,68,62,66,7b,76,7d,20,5c,7c,5e,32,20,5c,29←←←LaTex。
                        
                            这个定理可以推广到任意有限个两两正交的向量的和。
                        
                            正交集有一个非常重要的性质：由非零向量组成的正交集一定是线性无关的。
                        
                            **定理 7.3.3** 设 LaTex→→→5c,28,20,53,20,3d,20,5c,7b,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,2c,20,5c,64,6f,74,73,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6b,20,5c,7d,20,5c,29←←←LaTex 是内积空间 LaTex→→→5c,28,56,5c,29←←←LaTex 中的一个由非零向量组成的正交集。则 LaTex→→→5c,28,53,5c,29←←←LaTex 是线性无关的 (Linearly Independent)。
                        
                            证明：考虑线性组合 LaTex→→→5c,28,20,63,5f,31,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,2b,20,63,5f,32,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,6b,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6b,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,20,5c,29←←←LaTex。
                        
                            我们想证明所有系数 LaTex→→→5c,28,20,63,5f,69,20,5c,29←←←LaTex 都必须为零。
                        
                            对这个等式的两边与 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,29←←←LaTex (其中 LaTex→→→5c,28,20,31,20,5c,6c,65,20,69,20,5c,6c,65,20,6b,20,5c,29←←←LaTex) 取内积：
                        
                            LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,63,5f,31,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,2b,20,63,5f,32,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,6b,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6b,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,72,61,6e,67,6c,65,20,3d,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,30,7d,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,72,61,6e,67,6c,65,20,5c,29←←←LaTex
                        
                            利用内积的线性和与标量乘法的结合性：
                        
                            LaTex→→→5c,28,20,63,5f,31,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,72,61,6e,67,6c,65,20,2b,20,63,5f,32,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,72,61,6e,67,6c,65,20,2b,20,5c,64,6f,74,73,20,2b,20,63,5f,6b,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6b,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex
                        
                            由于 LaTex→→→5c,28,53,5c,29←←←LaTex 是正交集，当 LaTex→→→5c,28,20,6a,20,5c,6e,65,20,69,20,5c,29←←←LaTex 时，LaTex→→→5c,28,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6a,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,72,61,6e,67,6c,65,20,3d,20,30,20,5c,29←←←LaTex。所以上式中除了 LaTex→→→5c,28,20,63,5f,69,20,5c,6c,61,6e,67,6c,65,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,2c,20,5c,6d,61,74,68,62,66,7b,76,7d,60,60,60,a,3c,45,4e,44,5f,4f,46,5f,43,48,41,50,54,45,52,2f,3e,a,a,60,60,60,a,a,a,a,23,23,20,38,2e,20,63,68,61,70,74,65,72,20,38,ff1a,20,77e9,9635,5206,89e3,20,28,4d,61,74,72,69,78,20,44,65,63,6f,6d,70,6f,73,69,74,69,6f,6e,73,29,a,a,77e9,9635,5206,89e3,ff08,4d,61,74,72,69,78,20,44,65,63,6f,6d,70,6f,73,69,74,69,6f,6e,ff09,6216,77e9,9635,56e0,5f0f,5206,89e3,ff08,4d,61,74,72,69,78,20,46,61,63,74,6f,72,69,7a,61,74,69,6f,6e,ff09,662f,5c06,4e00,4e2a,77e9,9635,5206,89e3,4e3a,591a,4e2a,77e9,9635,7684,4e58,79ef,5f62,5f0f,3002,8fd9,79cd,5206,89e3,901a,5e38,80fd,63ed,793a,539f,77e9,9635,7684,67d0,4e9b,91cd,8981,6027,8d28,ff0c,7b80,5316,8ba1,7b97,ff0c,6216,8005,4e3a,89e3,51b3,7279,5b9a,95ee,9898,63d0,4f9b,4fbf,5229,3002,4e0d,540c,7684,5206,89e3,65b9,6cd5,9002,7528,4e8e,4e0d,540c,7c7b,578b,7684,77e9,9635,6216,4e0d,540c,7684,5e94,7528,573a,666f,3002,672c,7ae0,5c06,6df1,5165,63a2,8ba8,51e0,79cd,6700,5e38,89c1,4e14,91cd,8981,7684,77e9,9635,5206,89e3,65b9,6cd5,ff1a,4c,55,5206,89e3,3001,51,52,5206,89e3,3001,5947,5f02,503c,5206,89e3,ff08,53,56,44,ff09,4ee5,53ca,9488,5bf9,5bf9,79f0,77e9,9635,7684,8c31,5206,89e3,3002,7406,89e3,8fd9,4e9b,5206,89e3,65b9,6cd5,4e0d,4ec5,6709,52a9,4e8e,6df1,5165,7406,89e3,77e9,9635,7684,7ed3,6784,ff0c,4e5f,662f,8bb8,591a,6570,503c,8ba1,7b97,548c,5e94,7528,9886,57df,ff08,5982,7ebf,6027,65b9,7a0b,7ec4,6c42,89e3,3001,6700,5c0f,4e8c,4e58,95ee,9898,3001,6570,636e,538b,7f29,3001,673a,5668,5b66,4e60,7b49,ff09,7684,57fa,7840,3002,a,a,23,23,23,20,38,2e,31,20,4c,55,5206,89e3,20,28,4c,55,20,44,65,63,6f,6d,70,6f,73,69,74,69,6f,6e,29,a,a,4c,55,5206,89e3,662f,5c06,4e00,4e2a,65b9,9635,20,5c,28,41,5c,29←←←LaTex 分解为一个下三角矩阵（Lower Triangular Matrix）LaTex→→→5c,28,4c,5c,29←←←LaTex 和一个上三角矩阵（Upper Triangular Matrix）LaTex→→→5c,28,55,5c,29←←←LaTex 的乘积，即 LaTex→→→5c,28,41,20,3d,20,4c,55,5c,29←←←LaTex。这种分解主要用于求解线性方程组、计算行列式以及计算逆矩阵。
                        
                            #### 8.1.1 LU分解的定义与形式 (Definition and Form of LU Decomposition)
                        
                            一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的方阵 LaTex→→→5c,28,41,5c,29←←←LaTex 可以分解为 LaTex→→→5c,28,41,20,3d,20,4c,55,5c,29←←←LaTex，其中：
                        
                            ⚝ LaTex→→→5c,28,4c,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的下三角矩阵，其主对角线元素通常为1（称为单位下三角矩阵，Unit Lower Triangular Matrix），或者主对角线元素不为1但非零。
                        
                            ⚝ LaTex→→→5c,28,55,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵（Upper Triangular Matrix）。
                        
                            例如，对于一个 LaTex→→→5c,28,33,20,5c,74,69,6d,65,73,20,33,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，其LU分解形式为：
                        
                            LaTex→→→5c,5b,a,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,61,5f,7b,31,31,7d,20,26,20,61,5f,7b,31,32,7d,20,26,20,61,5f,7b,31,33,7d,20,5c,5c,a,61,5f,7b,32,31,7d,20,26,20,61,5f,7b,32,32,7d,20,26,20,61,5f,7b,32,33,7d,20,5c,5c,a,61,5f,7b,33,31,7d,20,26,20,61,5f,7b,33,32,7d,20,26,20,61,5f,7b,33,33,7d,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,26,20,30,20,26,20,30,20,5c,5c,a,6c,5f,7b,32,31,7d,20,26,20,31,20,26,20,30,20,5c,5c,a,6c,5f,7b,33,31,7d,20,26,20,6c,5f,7b,33,32,7d,20,26,20,31,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,75,5f,7b,31,31,7d,20,26,20,75,5f,7b,31,32,7d,20,26,20,75,5f,7b,31,33,7d,20,5c,5c,a,30,20,26,20,75,5f,7b,32,32,7d,20,26,20,75,5f,7b,32,33,7d,20,5c,5c,a,30,20,26,20,30,20,26,20,75,5f,7b,33,33,7d,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,4c,55,a,5c,5d←←←LaTex
                        
                            这里 LaTex→→→5c,28,4c,5c,29←←←LaTex 是单位下三角矩阵。如果 LaTex→→→5c,28,4c,5c,29←←←LaTex 的对角线元素不要求为1，那么 LaTex→→→5c,28,55,5c,29←←←LaTex 的对角线元素可以为1，或者通过将 LaTex→→→5c,28,55,5c,29←←←LaTex 的对角线元素提取出来形成一个对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex，得到 LaTex→→→5c,28,41,20,3d,20,4c,44,55,5c,29←←←LaTex，其中 LaTex→→→5c,28,4c,5c,29←←←LaTex 和 LaTex→→→5c,28,55,5c,29←←←LaTex 都是单位三角矩阵，LaTex→→→5c,28,44,5c,29←←←LaTex 是对角矩阵。
                        
                            #### 8.1.2 LU分解的存在性与计算 (Existence and Computation of LU Decomposition)
                        
                            LU分解的存在性并不总是保证的。一个方阵 LaTex→→→5c,28,41,5c,29←←←LaTex 存在LU分解（其中 LaTex→→→5c,28,4c,5c,29←←←LaTex 是单位下三角矩阵）当且仅当 LaTex→→→5c,28,41,5c,29←←←LaTex 的所有顺序主子式（Leading Principal Minors）不为零。顺序主子式是指由矩阵左上角 LaTex→→→5c,28,6b,20,5c,74,69,6d,65,73,20,6b,5c,29←←←LaTex 元素构成的子矩阵的行列式，对于 LaTex→→→5c,28,6b,3d,31,2c,20,32,2c,20,5c,64,6f,74,73,2c,20,6e,5c,29←←←LaTex。
                        
                            计算LU分解的过程与高斯消元法（Gaussian Elimination）密切相关。高斯消元法通过一系列初等行变换（Elementary Row Operations）将矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 转化为上三角矩阵 LaTex→→→5c,28,55,5c,29←←←LaTex。这些初等行变换（主要是将某一行的倍数加到另一行）可以通过左乘一系列初等矩阵（Elementary Matrices）来实现。
                        
                            假设我们将 LaTex→→→5c,28,41,5c,29←←←LaTex 通过一系列只涉及“将第 LaTex→→→5c,28,69,5c,29←←←LaTex 行的 LaTex→→→5c,28,63,5c,29←←←LaTex 倍加到第 LaTex→→→5c,28,6a,5c,29←←←LaTex 行（LaTex→→→5c,28,6a,3e,69,5c,29←←←LaTex）”的初等行变换转化为上三角矩阵 LaTex→→→5c,28,55,5c,29←←←LaTex。这些初等行变换对应的初等矩阵 LaTex→→→5c,28,45,5f,31,2c,20,45,5f,32,2c,20,5c,64,6f,74,73,2c,20,45,5f,6b,5c,29←←←LaTex 都是下三角矩阵。那么我们有：
                        
                            LaTex→→→5c,5b,a,45,5f,6b,20,5c,63,64,6f,74,73,20,45,5f,32,20,45,5f,31,20,41,20,3d,20,55,a,5c,5d←←←LaTex
                        
                            令 LaTex→→→5c,28,4d,20,3d,20,45,5f,6b,20,5c,63,64,6f,74,73,20,45,5f,32,20,45,5f,31,5c,29←←←LaTex。由于下三角矩阵的乘积仍然是下三角矩阵，所以 LaTex→→→5c,28,4d,5c,29←←←LaTex 是一个下三角矩阵。如果这些初等变换只涉及将上面行的倍数加到下面行，并且对角线元素为1（对应于单位下三角矩阵），那么 LaTex→→→5c,28,4d,5c,29←←←LaTex 是单位下三角矩阵。
                        
                            此时，LaTex→→→5c,28,41,20,3d,20,4d,5e,7b,2d,31,7d,20,55,5c,29←←←LaTex。下三角矩阵的逆矩阵仍然是下三角矩阵。如果 LaTex→→→5c,28,4d,5c,29←←←LaTex 是单位下三角矩阵，则 LaTex→→→5c,28,4d,5e,7b,2d,31,7d,5c,29←←←LaTex 也是单位下三角矩阵。我们令 LaTex→→→5c,28,4c,20,3d,20,4d,5e,7b,2d,31,7d,5c,29←←←LaTex，则 LaTex→→→5c,28,41,20,3d,20,4c,55,5c,29←←←LaTex，其中 LaTex→→→5c,28,4c,5c,29←←←LaTex 是单位下三角矩阵，LaTex→→→5c,28,55,5c,29←←←LaTex 是上三角矩阵。
                        
                            在实际计算中，LaTex→→→5c,28,4c,5c,29←←←LaTex 的元素 LaTex→→→5c,28,6c,5f,7b,69,6a,7d,5c,29←←←LaTex ( LaTex→→→5c,28,69,3e,6a,5c,29←←←LaTex ) 正好是高斯消元过程中，将第 LaTex→→→5c,28,6a,5c,29←←←LaTex 列主元（Pivot）下方的元素 LaTex→→→5c,28,61,5f,7b,69,6a,7d,5c,29←←←LaTex 消为零时所使用的乘数（即 LaTex→→→5c,28,2d,61,5f,7b,69,6a,7d,2f,61,5f,7b,6a,6a,7d,5c,29←←←LaTex 的负数）。
                        
                            **例子：** 对矩阵 LaTex→→→5c,28,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,34,20,26,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 进行LU分解。
                        
                            ① 将第1行的 LaTex→→→5c,28,2d,32,5c,29←←←LaTex 倍加到第2行，得到上三角矩阵 LaTex→→→5c,28,55,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            ② 这个初等行变换对应的初等矩阵是 LaTex→→→5c,28,45,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,2d,32,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。所以 LaTex→→→5c,28,45,41,20,3d,20,55,5c,29←←←LaTex。
                        
                            ③ LaTex→→→5c,28,41,20,3d,20,45,5e,7b,2d,31,7d,20,55,5c,29←←←LaTex。计算 LaTex→→→5c,28,45,5e,7b,2d,31,7d,5c,29←←←LaTex：将第2行的 LaTex→→→5c,28,32,5c,29←←←LaTex 倍加到第1行，得到单位矩阵，所以 LaTex→→→5c,28,45,5e,7b,2d,31,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,32,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            ④ 因此，LaTex→→→5c,28,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,32,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,4c,55,5c,29←←←LaTex。这里 LaTex→→→5c,28,4c,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,32,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，LaTex→→→5c,28,55,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,31,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            #### 8.1.3 带行交换的LU分解 (LU Decomposition with Pivoting)
                        
                            如果矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的某个顺序主子式为零，或者主元（对角线元素）在消元过程中变为零，那么标准的LU分解（不带行交换）可能不存在。为了克服这个问题，我们通常需要进行行交换（Pivoting），这导致带行交换的LU分解，即 LaTex→→→5c,28,50,41,20,3d,20,4c,55,5c,29←←←LaTex，其中 LaTex→→→5c,28,50,5c,29←←←LaTex 是一个置换矩阵（Permutation Matrix），用于记录行交换操作。
                        
                            置换矩阵 LaTex→→→5c,28,50,5c,29←←←LaTex 是通过对单位矩阵进行相应的行交换得到的。左乘置换矩阵 LaTex→→→5c,28,50,5c,29←←←LaTex 相当于对矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 进行相应的行交换。
                        
                            **例子：** 对矩阵 LaTex→→→5c,28,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,26,20,31,20,5c,5c,20,32,20,26,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 进行LU分解。
                        
                            ① 直接进行LU分解会遇到主元为零的问题。
                        
                            ② 进行行交换：交换第1行和第2行，得到 LaTex→→→5c,28,41,27,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,33,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。这个行交换对应的置换矩阵是 LaTex→→→5c,28,50,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,26,20,31,20,5c,5c,20,31,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，所以 LaTex→→→5c,28,50,41,20,3d,20,41,27,5c,29←←←LaTex。
                        
                            ③ 对 LaTex→→→5c,28,41,27,5c,29←←←LaTex 进行LU分解。LaTex→→→5c,28,41,27,5c,29←←←LaTex 已经是上三角矩阵，所以 LaTex→→→5c,28,55,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,33,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，LaTex→→→5c,28,4c,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            ④ 因此，LaTex→→→5c,28,50,41,20,3d,20,4c,55,5c,29←←←LaTex，即 LaTex→→→5c,28,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,26,20,31,20,5c,5c,20,31,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,30,20,26,20,31,20,5c,5c,20,32,20,26,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,20,26,20,30,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,32,20,26,20,33,20,5c,5c,20,30,20,26,20,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            #### 8.1.4 LU分解的应用 (Applications of LU Decomposition)
                        
                            ① **求解线性方程组 LaTex→→→5c,28,41,78,3d,62,5c,29←←←LaTex**：如果 LaTex→→→5c,28,41,3d,4c,55,5c,29←←←LaTex，则方程变为 LaTex→→→5c,28,4c,55,78,3d,62,5c,29←←←LaTex。这可以分解为两个更容易求解的三角方程组：
                        
                            ▮▮▮▮ⓑ 令 LaTex→→→5c,28,79,20,3d,20,55,78,5c,29←←←LaTex，则求解 LaTex→→→5c,28,4c,79,3d,62,5c,29←←←LaTex。由于 LaTex→→→5c,28,4c,5c,29←←←LaTex 是下三角矩阵，可以使用前向代换（Forward Substitution）轻松求解 LaTex→→→5c,28,79,5c,29←←←LaTex。
                        
                            ▮▮▮▮ⓒ 求解 LaTex→→→5c,28,55,78,3d,79,5c,29←←←LaTex。由于 LaTex→→→5c,28,55,5c,29←←←LaTex 是上三角矩阵，可以使用后向代换（Backward Substitution）轻松求解 LaTex→→→5c,28,78,5c,29←←←LaTex。
                        
                            如果使用 LaTex→→→5c,28,50,41,3d,4c,55,5c,29←←←LaTex 分解，则 LaTex→→→5c,28,50,41,78,3d,50,62,5c,29←←←LaTex，令 LaTex→→→5c,28,79,3d,55,78,5c,29←←←LaTex，求解 LaTex→→→5c,28,4c,79,3d,50,62,5c,29←←←LaTex，再求解 LaTex→→→5c,28,55,78,3d,79,5c,29←←←LaTex。这种方法比直接使用高斯消元法求解 LaTex→→→5c,28,41,78,3d,62,5c,29←←←LaTex 更高效，特别是当需要求解多个具有相同系数矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 但不同右端向量 LaTex→→→5c,28,62,5c,29←←←LaTex 的方程组时，因为LU分解只需要计算一次。
                        
                            ② **计算行列式 LaTex→→→5c,28,5c,64,65,74,28,41,29,5c,29←←←LaTex**：如果 LaTex→→→5c,28,41,3d,4c,55,5c,29←←←LaTex，则 LaTex→→→5c,28,5c,64,65,74,28,41,29,20,3d,20,5c,64,65,74,28,4c,29,20,5c,64,65,74,28,55,29,5c,29←←←LaTex。对于单位下三角矩阵 LaTex→→→5c,28,4c,5c,29←←←LaTex，其行列式为1。对于上三角矩阵 LaTex→→→5c,28,55,5c,29←←←LaTex，其行列式等于其对角线元素的乘积。因此，LaTex→→→5c,28,5c,64,65,74,28,41,29,20,3d,20,5c,70,72,6f,64,5f,7b,69,3d,31,7d,5e,6e,20,75,5f,7b,69,69,7d,5c,29←←←LaTex。如果使用 LaTex→→→5c,28,50,41,3d,4c,55,5c,29←←←LaTex，则 LaTex→→→5c,28,5c,64,65,74,28,50,41,29,20,3d,20,5c,64,65,74,28,50,29,5c,64,65,74,28,41,29,20,3d,20,5c,64,65,74,28,4c,29,5c,64,65,74,28,55,29,5c,29←←←LaTex。置换矩阵的行列式为 LaTex→→→5c,28,28,2d,31,29,5e,6b,5c,29←←←LaTex，其中 LaTex→→→5c,28,6b,5c,29←←←LaTex 是行交换的次数。所以 LaTex→→→5c,28,5c,64,65,74,28,41,29,20,3d,20,28,2d,31,29,5e,6b,20,5c,70,72,6f,64,5f,7b,69,3d,31,7d,5e,6e,20,75,5f,7b,69,69,7d,5c,29←←←LaTex。
                        
                            ③ **计算逆矩阵 LaTex→→→5c,28,41,5e,7b,2d,31,7d,5c,29←←←LaTex**：求解 LaTex→→→5c,28,41,58,3d,49,5c,29←←←LaTex，其中 LaTex→→→5c,28,49,5c,29←←←LaTex 是单位矩阵，LaTex→→→5c,28,58,3d,41,5e,7b,2d,31,7d,5c,29←←←LaTex。这相当于求解 LaTex→→→5c,28,6e,5c,29←←←LaTex 个线性方程组 LaTex→→→5c,28,41,78,5f,6a,20,3d,20,65,5f,6a,5c,29←←←LaTex，其中 LaTex→→→5c,28,78,5f,6a,5c,29←←←LaTex 是 LaTex→→→5c,28,41,5e,7b,2d,31,7d,5c,29←←←LaTex 的第 LaTex→→→5c,28,6a,5c,29←←←LaTex 列，LaTex→→→5c,28,65,5f,6a,5c,29←←←LaTex 是单位矩阵 LaTex→→→5c,28,49,5c,29←←←LaTex 的第 LaTex→→→5c,28,6a,5c,29←←←LaTex 列。利用LU分解，可以高效地求解这 LaTex→→→5c,28,6e,5c,29←←←LaTex 个方程组。
                        
                            ### 8.2 QR分解 (QR Decomposition)
                        
                            QR分解是将一个矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 分解为一个正交矩阵（Orthogonal Matrix）LaTex→→→5c,28,51,5c,29←←←LaTex 和一个上三角矩阵（Upper Triangular Matrix）LaTex→→→5c,28,52,5c,29←←←LaTex 的乘积，即 LaTex→→→5c,28,41,20,3d,20,51,52,5c,29←←←LaTex。QR分解在求解线性最小二乘问题、特征值计算（QR算法）等方面有重要应用。
                        
                            #### 8.2.1 QR分解的定义与形式 (Definition and Form of QR Decomposition)
                        
                            对于一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex (LaTex→→→5c,28,6d,20,5c,67,65,20,6e,5c,29←←←LaTex)，其QR分解为 LaTex→→→5c,28,41,20,3d,20,51,52,5c,29←←←LaTex，其中：
                        
                            ⚝ LaTex→→→5c,28,51,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6d,5c,29←←←LaTex 的正交矩阵，即 LaTex→→→5c,28,51,5e,54,20,51,20,3d,20,51,51,5e,54,20,3d,20,49,5c,29←←←LaTex。正交矩阵的列向量构成一组标准正交基（Orthonormal Basis）。
                        
                            ⚝ LaTex→→→5c,28,52,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵。如果 LaTex→→→5c,28,6d,3d,6e,5c,29←←←LaTex，则 LaTex→→→5c,28,52,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵。如果 LaTex→→→5c,28,6d,3e,6e,5c,29←←←LaTex，则 LaTex→→→5c,28,52,5c,29←←←LaTex 的最下面 LaTex→→→5c,28,6d,2d,6e,5c,29←←←LaTex 行是零。
                        
                            通常，我们更关注精简QR分解（Reduced QR Decomposition）。对于 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex (LaTex→→→5c,28,6d,20,5c,67,65,20,6e,5c,29←←←LaTex)，LaTex→→→5c,28,41,20,3d,20,51,5f,31,20,52,5f,31,5c,29←←←LaTex，其中 LaTex→→→5c,28,51,5f,31,5c,29←←←LaTex 是 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的矩阵，其列向量是标准正交的（即 LaTex→→→5c,28,51,5f,31,5e,54,20,51,5f,31,20,3d,20,49,5f,6e,5c,29←←←LaTex），LaTex→→→5c,28,52,5f,31,5c,29←←←LaTex 是 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵。LaTex→→→5c,28,51,5f,31,5c,29←←←LaTex 的列向量构成了 LaTex→→→5c,28,41,5c,29←←←LaTex 的列空间的标准正交基。
                        
                            #### 8.2.2 QR分解的计算方法 (Methods for Computing QR Decomposition)
                        
                            有几种常用的方法计算QR分解：
                        
                            ① **使用Gram-Schmidt正交化过程 (Using Gram-Schmidt Process)**：
                        
                            如果 LaTex→→→5c,28,41,5c,29←←←LaTex 的列向量是线性无关的，可以对 LaTex→→→5c,28,41,5c,29←←←LaTex 的列向量 LaTex→→→5c,28,5c,7b,61,5f,31,2c,20,61,5f,32,2c,20,5c,64,6f,74,73,2c,20,61,5f,6e,5c,7d,5c,29←←←LaTex 应用Gram-Schmidt正交化过程，得到一组标准正交向量 LaTex→→→5c,28,5c,7b,71,5f,31,2c,20,71,5f,32,2c,20,5c,64,6f,74,73,2c,20,71,5f,6e,5c,7d,5c,29←←←LaTex。
                        
                            令 LaTex→→→5c,28,51,5f,31,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,71,5f,31,20,26,20,71,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,71,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            根据Gram-Schmidt过程，每个 LaTex→→→5c,28,61,5f,6a,5c,29←←←LaTex 都可以表示为 LaTex→→→5c,28,71,5f,31,2c,20,5c,64,6f,74,73,2c,20,71,5f,6a,5c,29←←←LaTex 的线性组合：
                        
                            LaTex→→→5c,5b,a,61,5f,6a,20,3d,20,72,5f,7b,31,6a,7d,20,71,5f,31,20,2b,20,72,5f,7b,32,6a,7d,20,71,5f,32,20,2b,20,5c,64,6f,74,73,20,2b,20,72,5f,7b,6a,6a,7d,20,71,5f,6a,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,72,5f,7b,69,6a,7d,20,3d,20,5c,6c,61,6e,67,6c,65,20,61,5f,6a,2c,20,71,5f,69,20,5c,72,61,6e,67,6c,65,5c,29←←←LaTex 对于 LaTex→→→5c,28,69,3c,6a,5c,29←←←LaTex，LaTex→→→5c,28,72,5f,7b,6a,6a,7d,20,3d,20,5c,7c,61,5f,6a,20,2d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,7b,6a,2d,31,7d,20,72,5f,7b,69,6a,7d,20,71,5f,69,5c,7c,5c,29←←←LaTex。
                        
                            将这些关系写成矩阵形式，就得到 LaTex→→→5c,28,41,20,3d,20,51,5f,31,20,52,5f,31,5c,29←←←LaTex，其中 LaTex→→→5c,28,52,5f,31,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵，其元素为 LaTex→→→5c,28,72,5f,7b,69,6a,7d,5c,29←←←LaTex。
                        
                            为了得到完整的 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6d,5c,29←←←LaTex 正交矩阵 LaTex→→→5c,28,51,5c,29←←←LaTex，可以将 LaTex→→→5c,28,51,5f,31,5c,29←←←LaTex 的列向量扩展为 LaTex→→→5c,28,52,5e,6d,5c,29←←←LaTex 的一组标准正交基 LaTex→→→5c,28,5c,7b,71,5f,31,2c,20,5c,64,6f,74,73,2c,20,71,5f,6e,2c,20,71,5f,7b,6e,2b,31,7d,2c,20,5c,64,6f,74,73,2c,20,71,5f,6d,5c,7d,5c,29←←←LaTex，然后令 LaTex→→→5c,28,51,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,71,5f,31,20,26,20,5c,64,6f,74,73,20,26,20,71,5f,6d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。此时 LaTex→→→5c,28,41,20,3d,20,51,52,5c,29←←←LaTex，其中 LaTex→→→5c,28,52,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,52,5f,31,20,5c,5c,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵。
                        
                            ② **使用Householder反射 (Using Householder Reflections)**：
                        
                            Householder反射是一种特殊的正交变换，可以将一个向量映射到另一个向量（通常是沿着坐标轴的向量）。通过一系列Householder反射，可以将矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 逐步转化为上三角矩阵 LaTex→→→5c,28,52,5c,29←←←LaTex。
                        
                            设 LaTex→→→5c,28,48,5f,31,5c,29←←←LaTex 是一个Householder矩阵，使得 LaTex→→→5c,28,48,5f,31,20,41,5c,29←←←LaTex 的第一列除了第一个元素外都为零。
                        
                            设 LaTex→→→5c,28,48,5f,32,5c,29←←←LaTex 是一个Householder矩阵，作用于 LaTex→→→5c,28,48,5f,31,20,41,5c,29←←←LaTex 的第2行到第 LaTex→→→5c,28,6d,5c,29←←←LaTex 行和第2列到第 LaTex→→→5c,28,6e,5c,29←←←LaTex 列构成的子矩阵，使得 LaTex→→→5c,28,48,5f,32,20,28,48,5f,31,20,41,29,5c,29←←←LaTex 的第二列从第三个元素起都为零。
                        
                            重复此过程 LaTex→→→5c,28,6e,5c,29←←←LaTex 次，得到 LaTex→→→5c,28,48,5f,6e,20,5c,63,64,6f,74,73,20,48,5f,32,20,48,5f,31,20,41,20,3d,20,52,5c,29←←←LaTex，其中 LaTex→→→5c,28,52,5c,29←←←LaTex 是上三角矩阵。
                        
                            令 LaTex→→→5c,28,51,20,3d,20,28,48,5f,6e,20,5c,63,64,6f,74,73,20,48,5f,32,20,48,5f,31,29,5e,7b,2d,31,7d,20,3d,20,48,5f,31,5e,7b,2d,31,7d,20,48,5f,32,5e,7b,2d,31,7d,20,5c,63,64,6f,74,73,20,48,5f,6e,5e,7b,2d,31,7d,5c,29←←←LaTex。由于Householder矩阵是正交且对称的（LaTex→→→5c,28,48,3d,48,5e,54,3d,48,5e,7b,2d,31,7d,5c,29←←←LaTex），所以 LaTex→→→5c,28,51,20,3d,20,48,5f,31,20,48,5f,32,20,5c,63,64,6f,74,73,20,48,5f,6e,5c,29←←←LaTex。LaTex→→→5c,28,51,5c,29←←←LaTex 是正交矩阵的乘积，因此 LaTex→→→5c,28,51,5c,29←←←LaTex 也是正交矩阵。
                        
                            这种方法在数值计算中比Gram-Schmidt过程更稳定。
                        
                            ③ **使用Givens旋转 (Using Givens Rotations)**：
                        
                            Givens旋转是一种特殊的正交变换，用于在二维平面上旋转向量，可以用来将矩阵中的某个特定元素变为零。通过一系列Givens旋转，可以逐步将矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 转化为上三角矩阵 LaTex→→→5c,28,52,5c,29←←←LaTex。
                        
                            设 LaTex→→→5c,28,47,5f,7b,69,6a,7d,5c,29←←←LaTex 是一个Givens旋转矩阵，作用于第 LaTex→→→5c,28,69,5c,29←←←LaTex 行和第 LaTex→→→5c,28,6a,5c,29←←←LaTex 行，可以将 LaTex→→→5c,28,61,5f,7b,6a,69,7d,5c,29←←←LaTex 变为零。
                        
                            通过一系列适当选择的Givens旋转，可以按顺序将对角线以下的元素消为零，最终得到上三角矩阵 LaTex→→→5c,28,52,5c,29←←←LaTex。
                        
                            LaTex→→→5c,28,47,5f,6b,20,5c,63,64,6f,74,73,20,47,5f,32,20,47,5f,31,20,41,20,3d,20,52,5c,29←←←LaTex。
                        
                            令 LaTex→→→5c,28,51,20,3d,20,28,47,5f,6b,20,5c,63,64,6f,74,73,20,47,5f,32,20,47,5f,31,29,5e,7b,2d,31,7d,20,3d,20,47,5f,31,5e,7b,2d,31,7d,20,47,5f,32,5e,7b,2d,31,7d,20,5c,63,64,6f,74,73,20,47,5f,6b,5e,7b,2d,31,7d,5c,29←←←LaTex。由于Givens旋转矩阵是正交的，其逆矩阵是其转置，所以 LaTex→→→5c,28,51,20,3d,20,47,5f,31,5e,54,20,47,5f,32,5e,54,20,5c,63,64,6f,74,73,20,47,5f,6b,5e,54,5c,29←←←LaTex。LaTex→→→5c,28,51,5c,29←←←LaTex 是正交矩阵的乘积，因此 LaTex→→→5c,28,51,5c,29←←←LaTex 也是正交矩阵。
                        
                            Givens旋转适用于稀疏矩阵，因为它只影响两行。
                        
                            #### 8.2.3 QR分解的应用 (Applications of QR Decomposition)
                        
                            ① **求解线性最小二乘问题 (Solving Linear Least Squares Problems)**：
                        
                            考虑超定线性方程组 LaTex→→→5c,28,41,78,3d,62,5c,29←←←LaTex，其中 LaTex→→→5c,28,41,5c,29←←←LaTex 是 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 矩阵且 LaTex→→→5c,28,6d,3e,6e,5c,29←←←LaTex。通常 LaTex→→→5c,28,41,78,3d,62,5c,29←←←LaTex 没有精确解，我们寻求使 LaTex→→→5c,28,20,5c,7c,41,78,2d,62,5c,7c,5e,32,20,5c,29←←←LaTex 最小的向量 LaTex→→→5c,28,78,5c,29←←←LaTex。这个问题可以通过求解正规方程 LaTex→→→5c,28,41,5e,54,20,41,78,20,3d,20,41,5e,54,20,62,5c,29←←←LaTex 来解决，但 LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 可能条件数很大，导致数值不稳定。
                        
                            使用QR分解：LaTex→→→5c,28,41,3d,51,52,5c,29←←←LaTex。则 LaTex→→→5c,28,20,5c,7c,41,78,2d,62,5c,7c,5e,32,20,3d,20,5c,7c,51,52,78,2d,62,5c,7c,5e,32,20,5c,29←←←LaTex。由于 LaTex→→→5c,28,51,5c,29←←←LaTex 是正交矩阵，它保持向量的范数不变，即 LaTex→→→5c,28,20,5c,7c,76,5c,7c,5e,32,20,3d,20,5c,7c,51,76,5c,7c,5e,32,20,5c,29←←←LaTex。
                        
                            所以 LaTex→→→5c,28,20,5c,7c,51,52,78,2d,62,5c,7c,5e,32,20,3d,20,5c,7c,51,5e,54,28,51,52,78,2d,62,29,5c,7c,5e,32,20,3d,20,5c,7c,51,5e,54,20,51,52,20,78,20,2d,20,51,5e,54,20,62,5c,7c,5e,32,20,3d,20,5c,7c,49,52,78,20,2d,20,51,5e,54,20,62,5c,7c,5e,32,20,3d,20,5c,7c,52,78,20,2d,20,51,5e,54,20,62,5c,7c,5e,32,20,5c,29←←←LaTex。
                        
                            令 LaTex→→→5c,28,51,5e,54,20,62,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,63,5f,31,20,5c,5c,20,63,5f,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，其中 LaTex→→→5c,28,63,5f,31,5c,29←←←LaTex 是前 LaTex→→→5c,28,6e,5c,29←←←LaTex 个元素组成的向量，LaTex→→→5c,28,63,5f,32,5c,29←←←LaTex 是后 LaTex→→→5c,28,6d,2d,6e,5c,29←←←LaTex 个元素组成的向量。
                        
                            令 LaTex→→→5c,28,52,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,52,5f,31,20,5c,5c,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex，其中 LaTex→→→5c,28,52,5f,31,5c,29←←←LaTex 是 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵。
                        
                            则 LaTex→→→5c,28,20,5c,7c,52,78,20,2d,20,51,5e,54,20,62,5c,7c,5e,32,20,3d,20,5c,7c,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,52,5f,31,20,5c,5c,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,78,20,2d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,63,5f,31,20,5c,5c,20,63,5f,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,7c,5e,32,20,3d,20,5c,7c,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,52,5f,31,20,78,20,2d,20,63,5f,31,20,5c,5c,20,2d,63,5f,32,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,7c,5e,32,20,3d,20,5c,7c,52,5f,31,20,78,20,2d,20,63,5f,31,5c,7c,5e,32,20,2b,20,5c,7c,2d,63,5f,32,5c,7c,5e,32,20,5c,29←←←LaTex。
                        
                            要使 LaTex→→→5c,28,20,5c,7c,41,78,2d,62,5c,7c,5e,32,20,5c,29←←←LaTex 最小，只需使 LaTex→→→5c,28,20,5c,7c,52,5f,31,20,78,20,2d,20,63,5f,31,5c,7c,5e,32,20,5c,29←←←LaTex 最小（因为 LaTex→→→5c,28,20,5c,7c,2d,63,5f,32,5c,7c,5e,32,20,5c,29←←←LaTex 是常数）。由于 LaTex→→→5c,28,52,5f,31,5c,29←←←LaTex 是 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的上三角矩阵，且 LaTex→→→5c,28,41,5c,29←←←LaTex 的列向量线性无关时 LaTex→→→5c,28,52,5f,31,5c,29←←←LaTex 可逆，令 LaTex→→→5c,28,52,5f,31,20,78,20,2d,20,63,5f,31,20,3d,20,30,5c,29←←←LaTex，即 LaTex→→→5c,28,52,5f,31,20,78,20,3d,20,63,5f,31,5c,29←←←LaTex。这是一个上三角方程组，可以使用后向代换求解 LaTex→→→5c,28,78,5c,29←←←LaTex。此时 LaTex→→→5c,28,20,5c,7c,52,5f,31,20,78,20,2d,20,63,5f,31,5c,7c,5e,32,20,3d,20,30,20,5c,29←←←LaTex，达到最小值。
                        
                            因此，最小二乘问题的解 LaTex→→→5c,28,78,5c,29←←←LaTex 可以通过求解 LaTex→→→5c,28,52,5f,31,20,78,20,3d,20,28,51,5e,54,20,62,29,5f,7b,31,3a,6e,7d,5c,29←←←LaTex 得到，其中 LaTex→→→5c,28,28,51,5e,54,20,62,29,5f,7b,31,3a,6e,7d,5c,29←←←LaTex 表示向量 LaTex→→→5c,28,51,5e,54,20,62,5c,29←←←LaTex 的前 LaTex→→→5c,28,6e,5c,29←←←LaTex 个元素。
                        
                            ② **计算特征值 (Eigenvalue Computation)**：
                        
                            QR算法是计算矩阵特征值的一种重要迭代方法。基本思想是构造一个矩阵序列 LaTex→→→5c,28,41,5f,6b,5c,29←←←LaTex，使得 LaTex→→→5c,28,41,5f,6b,5c,29←←←LaTex 趋近于一个上三角矩阵（或准上三角矩阵），而上三角矩阵的特征值就是其对角线元素。
                        
                            迭代步骤：
                        
                            ▮▮▮▮ⓐ 令 LaTex→→→5c,28,41,5f,30,20,3d,20,41,5c,29←←←LaTex。
                        
                            ▮▮▮▮ⓑ 对于 LaTex→→→5c,28,6b,3d,30,2c,20,31,2c,20,32,2c,20,5c,64,6f,74,73,5c,29←←←LaTex，对 LaTex→→→5c,28,41,5f,6b,5c,29←←←LaTex 进行QR分解：LaTex→→→5c,28,41,5f,6b,20,3d,20,51,5f,6b,20,52,5f,6b,5c,29←←←LaTex。
                        
                            ▮▮▮▮ⓒ 计算下一个矩阵 LaTex→→→5c,28,41,5f,7b,6b,2b,31,7d,20,3d,20,52,5f,6b,20,51,5f,6b,5c,29←←←LaTex。
                        
                            可以证明，在一定条件下，序列 LaTex→→→5c,28,41,5f,6b,5c,29←←←LaTex 会收敛到 Schur 形式（对于一般矩阵）或对角矩阵（对于对称矩阵），其对角线元素就是 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征值。
                        
                            ### 8.3 奇异值分解 (Singular Value Decomposition, SVD)
                        
                            奇异值分解（SVD）是线性代数中最强大和用途最广泛的矩阵分解方法之一。它可以应用于任意 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 矩阵，而不需要矩阵是方阵或满秩的。SVD揭示了矩阵的许多基本性质，并在数据科学、信号处理、图像压缩、推荐系统等领域有广泛应用。
                        
                            #### 8.3.1 奇异值分解的定义 (Definition of Singular Value Decomposition)
                        
                            对于任意一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的实矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，存在分解 LaTex→→→5c,28,41,20,3d,20,55,20,5c,53,69,67,6d,61,20,56,5e,54,5c,29←←←LaTex，其中：
                        
                            ⚝ LaTex→→→5c,28,55,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6d,5c,29←←←LaTex 的正交矩阵，其列向量称为 LaTex→→→5c,28,41,5c,29←←←LaTex 的左奇异向量（Left Singular Vectors）。
                        
                            ⚝ LaTex→→→5c,28,56,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的正交矩阵，其列向量称为 LaTex→→→5c,28,41,5c,29←←←LaTex 的右奇异向量（Right Singular Vectors）。
                        
                            ⚝ LaTex→→→5c,28,5c,53,69,67,6d,61,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的对角矩阵，其对角线上的元素 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5c,29←←←LaTex 称为 LaTex→→→5c,28,41,5c,29←←←LaTex 的奇异值（Singular Values）。奇异值是非负实数，通常按降序排列：LaTex→→→5c,28,5c,73,69,67,6d,61,5f,31,20,5c,67,65,20,5c,73,69,67,6d,61,5f,32,20,5c,67,65,20,5c,64,6f,74,73,20,5c,67,65,20,5c,73,69,67,6d,61,5f,70,20,5c,67,65,20,30,5c,29←←←LaTex，其中 LaTex→→→5c,28,70,20,3d,20,5c,6d,69,6e,28,6d,2c,20,6e,29,5c,29←←←LaTex。LaTex→→→5c,28,5c,53,69,67,6d,61,5c,29←←←LaTex 的非对角线元素都是零。
                        
                            例如，对于一个 LaTex→→→5c,28,33,20,5c,74,69,6d,65,73,20,32,5c,29←←←LaTex 矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，其SVD形式为：
                        
                            LaTex→→→5c,5b,a,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,5f,7b,31,31,7d,20,26,20,61,5f,7b,31,32,7d,20,5c,5c,20,61,5f,7b,32,31,7d,20,26,20,61,5f,7b,32,32,7d,20,5c,5c,20,61,5f,7b,33,31,7d,20,26,20,61,5f,7b,33,32,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,55,20,5c,53,69,67,6d,61,20,56,5e,54,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,75,5f,7b,31,31,7d,20,26,20,75,5f,7b,31,32,7d,20,26,20,75,5f,7b,31,33,7d,20,5c,5c,20,75,5f,7b,32,31,7d,20,26,20,75,5f,7b,32,32,7d,20,26,20,75,5f,7b,32,33,7d,20,5c,5c,20,75,5f,7b,33,31,7d,20,26,20,75,5f,7b,33,32,7d,20,26,20,75,5f,7b,33,33,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,73,69,67,6d,61,5f,31,20,26,20,30,20,5c,5c,20,30,20,26,20,5c,73,69,67,6d,61,5f,32,20,5c,5c,20,30,20,26,20,30,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,76,5f,7b,31,31,7d,20,26,20,76,5f,7b,32,31,7d,20,5c,5c,20,76,5f,7b,31,32,7d,20,26,20,76,5f,7b,32,32,7d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,55,5c,29←←←LaTex 是 LaTex→→→5c,28,33,20,5c,74,69,6d,65,73,20,33,5c,29←←←LaTex 正交矩阵，LaTex→→→5c,28,56,5c,29←←←LaTex 是 LaTex→→→5c,28,32,20,5c,74,69,6d,65,73,20,32,5c,29←←←LaTex 正交矩阵，LaTex→→→5c,28,5c,53,69,67,6d,61,5c,29←←←LaTex 是 LaTex→→→5c,28,33,20,5c,74,69,6d,65,73,20,32,5c,29←←←LaTex 对角矩阵，LaTex→→→5c,28,5c,73,69,67,6d,61,5f,31,20,5c,67,65,20,5c,73,69,67,6d,61,5f,32,20,5c,67,65,20,30,5c,29←←←LaTex。
                        
                            #### 8.3.2 奇异值、左奇异向量和右奇异向量的计算 (Computation of Singular Values, Left and Right Singular Vectors)
                        
                            奇异值、左奇异向量和右奇异向量与矩阵 LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 和 LaTex→→→5c,28,41,20,41,5e,54,5c,29←←←LaTex 的特征值和特征向量密切相关。
                        
                            ① LaTex→→→5c,28,41,5e,54,20,41,20,3d,20,28,55,20,5c,53,69,67,6d,61,20,56,5e,54,29,5e,54,20,28,55,20,5c,53,69,67,6d,61,20,56,5e,54,29,20,3d,20,56,20,5c,53,69,67,6d,61,5e,54,20,55,5e,54,20,55,20,5c,53,69,67,6d,61,20,56,5e,54,20,3d,20,56,20,5c,53,69,67,6d,61,5e,54,20,49,20,5c,53,69,67,6d,61,20,56,5e,54,20,3d,20,56,20,28,5c,53,69,67,6d,61,5e,54,20,5c,53,69,67,6d,61,29,20,56,5e,54,5c,29←←←LaTex。
                        
                            LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的对称矩阵。LaTex→→→5c,28,56,5c,29←←←LaTex 的列向量是 LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 的特征向量，LaTex→→→5c,28,5c,53,69,67,6d,61,5e,54,20,5c,53,69,67,6d,61,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的对角矩阵，其对角线元素是 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5e,32,5c,29←←←LaTex (对于 LaTex→→→5c,28,69,3d,31,2c,20,5c,64,6f,74,73,2c,20,5c,6d,69,6e,28,6d,2c,6e,29,5c,29←←←LaTex) 和零。因此，LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 的特征值是 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5e,32,5c,29←←←LaTex 和零，对应的特征向量是 LaTex→→→5c,28,56,5c,29←←←LaTex 的列向量（右奇异向量）。
                        
                            ② LaTex→→→5c,28,41,20,41,5e,54,20,3d,20,28,55,20,5c,53,69,67,6d,61,20,56,5e,54,29,20,28,55,20,5c,53,69,67,6d,61,20,56,5e,54,29,5e,54,20,3d,20,55,20,5c,53,69,67,6d,61,20,56,5e,54,20,56,20,5c,53,69,67,6d,61,5e,54,20,55,5e,54,20,3d,20,55,20,5c,53,69,67,6d,61,20,49,20,5c,53,69,67,6d,61,5e,54,20,55,5e,54,20,3d,20,55,20,28,5c,53,69,67,6d,61,20,5c,53,69,67,6d,61,5e,54,29,20,55,5e,54,5c,29←←←LaTex。
                        
                            LaTex→→→5c,28,41,20,41,5e,54,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6d,5c,29←←←LaTex 的对称矩阵。LaTex→→→5c,28,55,5c,29←←←LaTex 的列向量是 LaTex→→→5c,28,41,20,41,5e,54,5c,29←←←LaTex 的特征向量，LaTex→→→5c,28,5c,53,69,67,6d,61,20,5c,53,69,67,6d,61,5e,54,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6d,20,5c,74,69,6d,65,73,20,6d,5c,29←←←LaTex 的对角矩阵，其对角线元素是 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5e,32,5c,29←←←LaTex (对于 LaTex→→→5c,28,69,3d,31,2c,20,5c,64,6f,74,73,2c,20,5c,6d,69,6e,28,6d,2c,6e,29,5c,29←←←LaTex) 和零。因此，LaTex→→→5c,28,41,20,41,5e,54,5c,29←←←LaTex 的特征值是 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5e,32,5c,29←←←LaTex 和零，对应的特征向量是 LaTex→→→5c,28,55,5c,29←←←LaTex 的列向量（左奇异向量）。
                        
                            计算SVD的步骤通常是：
                        
                            ① 计算 LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 或 LaTex→→→5c,28,41,20,41,5e,54,5c,29←←←LaTex。选择维度较小的那个进行计算以减少计算量。
                        
                            ② 计算 LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 的特征值和特征向量。特征值的非零平方根就是奇异值 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5c,29←←←LaTex。对应的特征向量就是右奇异向量 LaTex→→→5c,28,76,5f,69,5c,29←←←LaTex，它们构成矩阵 LaTex→→→5c,28,56,5c,29←←←LaTex。
                        
                            ③ 计算 LaTex→→→5c,28,41,20,41,5e,54,5c,29←←←LaTex 的特征值和特征向量。特征值的非零平方根也是奇异值 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5c,29←←←LaTex。对应的特征向量就是左奇异向量 LaTex→→→5c,28,75,5f,69,5c,29←←←LaTex，它们构成矩阵 LaTex→→→5c,28,55,5c,29←←←LaTex。
                        
                            或者，一旦有了奇异值 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5c,29←←←LaTex 和右奇异向量 LaTex→→→5c,28,76,5f,69,5c,29←←←LaTex，可以通过关系 LaTex→→→5c,28,41,20,76,5f,69,20,3d,20,5c,73,69,67,6d,61,5f,69,20,75,5f,69,5c,29←←←LaTex 来计算左奇异向量 LaTex→→→5c,28,75,5f,69,20,3d,20,5c,66,72,61,63,7b,31,7d,7b,5c,73,69,67,6d,61,5f,69,7d,20,41,20,76,5f,69,5c,29←←←LaTex (对于 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3e,20,30,5c,29←←←LaTex)。对于 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3d,20,30,5c,29←←←LaTex 的情况，对应的 LaTex→→→5c,28,75,5f,69,5c,29←←←LaTex 需要通过找到 LaTex→→→5c,28,41,5e,54,5c,29←←←LaTex 的零空间（Null Space of LaTex→→→5c,28,41,5e,54,5c,29←←←LaTex）的一组标准正交基来补充 LaTex→→→5c,28,55,5c,29←←←LaTex 的列向量，使得 LaTex→→→5c,28,55,5c,29←←←LaTex 成为正交矩阵。
                        
                            #### 8.3.3 奇异值分解的几何意义 (Geometric Interpretation of SVD)
                        
                            SVD提供了一个深刻的几何解释：任何线性变换（由矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 表示）都可以分解为三个基本几何变换的组合：
                        
                            ① 一个旋转或反射（由 LaTex→→→5c,28,56,5e,54,5c,29←←←LaTex 表示）。
                        
                            ② 沿着坐标轴的缩放（由 LaTex→→→5c,28,5c,53,69,67,6d,61,5c,29←←←LaTex 表示）。
                        
                            ③ 另一个旋转或反射（由 LaTex→→→5c,28,55,5c,29←←←LaTex 表示）。
                        
                            具体来说，SVD表明，矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 将 LaTex→→→5c,28,6e,5c,29←←←LaTex 维空间中的单位球（Unit Sphere）变换为 LaTex→→→5c,28,6d,5c,29←←←LaTex 维空间中的一个超椭球（Hyper-ellipse）。右奇异向量 LaTex→→→5c,28,76,5f,31,2c,20,5c,64,6f,74,73,2c,20,76,5f,6e,5c,29←←←LaTex 构成了 LaTex→→→5c,28,52,5e,6e,5c,29←←←LaTex 的一组标准正交基，它们在变换 LaTex→→→5c,28,41,5c,29←←←LaTex 下被映射到 LaTex→→→5c,28,6d,5c,29←←←LaTex 维空间中的向量 LaTex→→→5c,28,41,76,5f,31,2c,20,5c,64,6f,74,73,2c,20,41,76,5f,6e,5c,29←←←LaTex。这些向量的长度是奇异值 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,31,2c,20,5c,64,6f,74,73,2c,20,5c,73,69,67,6d,61,5f,6e,5c,29←←←LaTex，并且非零的 LaTex→→→5c,28,41,76,5f,69,5c,29←←←LaTex 相互正交。左奇异向量 LaTex→→→5c,28,75,5f,31,2c,20,5c,64,6f,74,73,2c,20,75,5f,6d,5c,29←←←LaTex 构成了 LaTex→→→5c,28,52,5e,6d,5c,29←←←LaTex 的一组标准正交基，其中 LaTex→→→5c,28,75,5f,69,20,3d,20,5c,66,72,61,63,7b,31,7d,7b,5c,73,69,67,6d,61,5f,69,7d,20,41,76,5f,69,5c,29←←←LaTex (对于 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3e,20,30,5c,29←←←LaTex)。
                        
                            LaTex→→→5c,5b,a,41,20,76,5f,69,20,3d,20,5c,73,69,67,6d,61,5f,69,20,75,5f,69,20,5c,71,75,61,64,20,5c,74,65,78,74,7b,66,6f,72,20,7d,20,69,3d,31,2c,20,5c,64,6f,74,73,2c,20,5c,6d,69,6e,28,6d,2c,6e,29,a,5c,5d←←←LaTex
                        
                            如果 LaTex→→→5c,28,69,20,3e,20,5c,6d,69,6e,28,6d,2c,6e,29,5c,29←←←LaTex 或 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3d,20,30,5c,29←←←LaTex，则 LaTex→→→5c,28,41,20,76,5f,69,20,3d,20,30,5c,29←←←LaTex。
                        
                            #### 8.3.4 奇异值分解的应用 (Applications of SVD)
                        
                            SVD的应用极其广泛：
                        
                            ① **秩的确定 (Rank Determination)**：矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的秩（Rank）等于其非零奇异值的个数。
                        
                            ② **矩阵近似 (Matrix Approximation)**：SVD可以用于找到给定矩阵的低秩近似（Low-Rank Approximation）。保留最大的 LaTex→→→5c,28,6b,5c,29←←←LaTex 个奇异值及其对应的左、右奇异向量，可以得到一个秩为 LaTex→→→5c,28,6b,5c,29←←←LaTex 的矩阵 LaTex→→→5c,28,41,5f,6b,20,3d,20,55,5f,6b,20,5c,53,69,67,6d,61,5f,6b,20,56,5f,6b,5e,54,5c,29←←←LaTex，它是所有秩为 LaTex→→→5c,28,6b,5c,29←←←LaTex 的矩阵中，与 LaTex→→→5c,28,41,5c,29←←←LaTex 在 Frobenius 范数或2-范数意义下最接近的。这在数据压缩和降噪中非常有用。
                        
                            ③ **伪逆矩阵 (Pseudoinverse Matrix)**：对于任意矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，其伪逆（Moore-Penrose Pseudoinverse）LaTex→→→5c,28,41,5e,2b,5c,29←←←LaTex 可以通过SVD计算：LaTex→→→5c,28,41,5e,2b,20,3d,20,56,20,5c,53,69,67,6d,61,5e,2b,20,55,5e,54,5c,29←←←LaTex，其中 LaTex→→→5c,28,5c,53,69,67,6d,61,5e,2b,5c,29←←←LaTex 是将 LaTex→→→5c,28,5c,53,69,67,6d,61,5c,29←←←LaTex 中非零奇异值取倒数后转置得到的矩阵。伪逆在求解非方阵或奇异矩阵的线性方程组 LaTex→→→5c,28,41,78,3d,62,5c,29←←←LaTex 的最小二乘解时非常有用。
                        
                            ④ **主成分分析 (Principal Component Analysis, PCA)**：PCA是一种常用的降维技术，它与数据的协方差矩阵的特征值分解密切相关。对中心化后的数据矩阵进行SVD，右奇异向量就是主成分的方向，奇异值与主成分的方差有关。
                        
                            ⑤ **推荐系统 (Recommender Systems)**：SVD在协同过滤（Collaborative Filtering）推荐算法中被广泛使用，用于分解用户-物品评分矩阵，发现潜在的兴趣因子。
                        
                            ⑥ **图像压缩 (Image Compression)**：通过对图像矩阵进行SVD并保留少量最大的奇异值，可以实现图像的有效压缩。
                        
                            ⑦ **信号处理 (Signal Processing)**：SVD用于信号去噪、模式识别等。
                        
                            ### 8.4 谱分解 (Spectral Decomposition) (针对对称矩阵)
                        
                            谱分解（Spectral Decomposition），也称为特征分解（Eigen Decomposition），是将一个方阵分解为其特征值和特征向量的乘积形式。这种分解对于理解矩阵的性质、求解线性常微分方程组等非常重要。谱分解最简洁和有用的是针对对称矩阵（Symmetric Matrix）的情况。
                        
                            #### 8.4.1 谱分解的定义 (Definition of Spectral Decomposition)
                        
                            对于一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的对称矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex（即 LaTex→→→5c,28,41,20,3d,20,41,5e,54,5c,29←←←LaTex），存在分解 LaTex→→→5c,28,41,20,3d,20,50,20,44,20,50,5e,7b,2d,31,7d,5c,29←←←LaTex，其中：
                        
                            ⚝ LaTex→→→5c,28,50,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的矩阵，其列向量是 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征向量（Eigenvectors）。
                        
                            ⚝ LaTex→→→5c,28,44,5c,29←←←LaTex 是一个 LaTex→→→5c,28,6e,20,5c,74,69,6d,65,73,20,6e,5c,29←←←LaTex 的对角矩阵，其对角线元素是 LaTex→→→5c,28,41,5c,29←←←LaTex 对应的特征值（Eigenvalues）。
                        
                            对于对称矩阵，谱分解具有更强的性质：
                        
                            ① 对称矩阵的特征值都是实数。
                        
                            ② 对称矩阵属于不同特征值的特征向量是正交的。
                        
                            ③ 对称矩阵总是可以对角化的。
                        
                            ④ 存在一组由 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征向量构成的标准正交基。
                        
                            因此，对于对称矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，其谱分解可以写成 LaTex→→→5c,28,41,20,3d,20,50,20,44,20,50,5e,54,5c,29←←←LaTex，其中 LaTex→→→5c,28,50,5c,29←←←LaTex 是一个正交矩阵（其列向量是标准正交的特征向量），LaTex→→→5c,28,44,5c,29←←←LaTex 是一个对角矩阵（对角线元素是对应的特征值）。
                        
                            LaTex→→→5c,5b,a,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6c,61,6d,62,64,61,5f,31,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,30,20,26,20,5c,6c,61,6d,62,64,61,5f,32,20,26,20,5c,64,6f,74,73,20,26,20,30,20,5c,5c,20,5c,76,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,26,20,5c,64,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,5c,5c,20,30,20,26,20,30,20,26,20,5c,64,6f,74,73,20,26,20,5c,6c,61,6d,62,64,61,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,31,5e,54,20,5c,5c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,32,5e,54,20,5c,5c,20,5c,76,64,6f,74,73,20,5c,5c,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,6e,5e,54,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,20,3d,20,5c,73,75,6d,5f,7b,69,3d,31,7d,5e,6e,20,5c,6c,61,6d,62,64,61,5f,69,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5e,54,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex 是特征值，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex 是对应的标准正交特征向量。外积 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5e,54,5c,29←←←LaTex 是一个投影矩阵（Projection Matrix），它将向量投影到由 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex 张成的子空间上。因此，谱分解将矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 表示为一系列投影矩阵的加权和，权重就是对应的特征值。
                        
                            #### 8.4.2 谱分解的计算 (Computation of Spectral Decomposition)
                        
                            计算对称矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex 的谱分解需要计算其特征值和特征向量：
                        
                            ① 求解特征方程 LaTex→→→5c,28,5c,64,65,74,28,41,20,2d,20,5c,6c,61,6d,62,64,61,20,49,29,20,3d,20,30,5c,29←←←LaTex 得到特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,31,2c,20,5c,64,6f,74,73,2c,20,5c,6c,61,6d,62,64,61,5f,6e,5c,29←←←LaTex。
                        
                            ② 对于每个特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex，求解线性方程组 LaTex→→→5c,28,28,41,20,2d,20,5c,6c,61,6d,62,64,61,5f,69,20,49,29,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex 得到对应的特征向量。
                        
                            ③ 如果特征值有重根，需要找到对应特征空间的基。对于对称矩阵，不同特征值的特征空间是正交的。对于重特征值，可以通过Gram-Schmidt过程找到对应特征空间的一组标准正交基。
                        
                            ④ 将所有标准正交特征向量按列排列构成正交矩阵 LaTex→→→5c,28,50,5c,29←←←LaTex，将对应的特征值按对角线排列构成对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex。
                        
                            #### 8.4.3 谱分解的应用 (Applications of Spectral Decomposition)
                        
                            谱分解在理论和应用中都非常重要：
                        
                            ① **理解矩阵的变换性质**：谱分解揭示了对称矩阵的变换是将向量分解到特征向量方向上，然后在每个方向上进行缩放（缩放因子是特征值）。
                        
                            ② **二次型 (Quadratic Forms)**：对称矩阵与二次型密切相关。通过谱分解，可以将二次型化为标准形（Principal Axes Form），从而更容易分析其性质（如正定性、半正定性等）。
                        
                            ③ **求解线性常微分方程组**：形如 LaTex→→→5c,28,20,5c,6d,61,74,68,62,66,7b,79,7d,27,28,74,29,20,3d,20,41,20,5c,6d,61,74,68,62,66,7b,79,7d,28,74,29,20,5c,29←←←LaTex 的线性常微分方程组，如果 LaTex→→→5c,28,41,5c,29←←←LaTex 可以对角化（特别是当 LaTex→→→5c,28,41,5c,29←←←LaTex 是对称矩阵时），可以通过谱分解将方程组解耦，从而更容易求解。
                        
                            ④ **主成分分析 (PCA)**：如前所述，PCA与协方差矩阵的特征值分解紧密相关。协方差矩阵是对称矩阵，其特征值和特征向量可以通过谱分解获得。
                        
                            ⑤ **矩阵函数 (Matrix Functions)**：对于一个可以通过谱分解 LaTex→→→5c,28,41,20,3d,20,50,20,44,20,50,5e,7b,2d,31,7d,5c,29←←←LaTex 对角化的矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，许多矩阵函数 LaTex→→→5c,28,66,28,41,29,5c,29←←←LaTex 可以定义为 LaTex→→→5c,28,66,28,41,29,20,3d,20,50,20,66,28,44,29,20,50,5e,7b,2d,31,7d,5c,29←←←LaTex，其中 LaTex→→→5c,28,66,28,44,29,5c,29←←←LaTex 是对角矩阵 LaTex→→→5c,28,44,5c,29←←←LaTex 的对角线元素应用函数 LaTex→→→5c,28,66,5c,29←←←LaTex 得到的对角矩阵。这使得计算矩阵的幂、指数、对数等变得容易。
                        
                            #### 8.4.4 谱分解与SVD的关系 (Relationship between Spectral Decomposition and SVD)
                        
                            对于对称矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，其谱分解 LaTex→→→5c,28,41,20,3d,20,50,20,44,20,50,5e,54,5c,29←←←LaTex 与SVD LaTex→→→5c,28,41,20,3d,20,55,20,5c,53,69,67,6d,61,20,56,5e,54,5c,29←←←LaTex 之间存在密切关系。
                        
                            如果 LaTex→→→5c,28,41,5c,29←←←LaTex 是对称矩阵，则 LaTex→→→5c,28,41,5e,54,20,41,20,3d,20,41,20,41,20,3d,20,41,5e,32,5c,29←←←LaTex。LaTex→→→5c,28,41,5e,32,5c,29←←←LaTex 的特征值是 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5e,32,5c,29←←←LaTex，特征向量与 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征向量相同。
                        
                            根据SVD的定义，LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 的特征值是 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5e,32,5c,29←←←LaTex，特征向量是右奇异向量 LaTex→→→5c,28,76,5f,69,5c,29←←←LaTex。
                        
                            因此，对于对称矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，奇异值 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,5c,29←←←LaTex 是特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex 的绝对值 LaTex→→→5c,28,7c,5c,6c,61,6d,62,64,61,5f,69,7c,5c,29←←←LaTex，右奇异向量 LaTex→→→5c,28,76,5f,69,5c,29←←←LaTex 可以取为对应的特征向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex。
                        
                            左奇异向量 LaTex→→→5c,28,75,5f,69,5c,29←←←LaTex 满足 LaTex→→→5c,28,41,20,76,5f,69,20,3d,20,5c,73,69,67,6d,61,5f,69,20,75,5f,69,5c,29←←←LaTex。如果 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,20,3e,20,30,5c,29←←←LaTex，则 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3d,20,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex，LaTex→→→5c,28,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,3d,20,5c,6c,61,6d,62,64,61,5f,69,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex，所以 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,3d,20,5c,6c,61,6d,62,64,61,5f,69,20,75,5f,69,5c,29←←←LaTex，可取 LaTex→→→5c,28,75,5f,69,20,3d,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex。如果 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,20,3c,20,30,5c,29←←←LaTex，则 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3d,20,2d,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex，LaTex→→→5c,28,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,3d,20,5c,6c,61,6d,62,64,61,5f,69,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex，所以 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,3d,20,28,2d,5c,6c,61,6d,62,64,61,5f,69,29,20,75,5f,69,5c,29←←←LaTex，可取 LaTex→→→5c,28,75,5f,69,20,3d,20,2d,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,5c,29←←←LaTex。如果 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,20,3d,20,30,5c,29←←←LaTex，则 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3d,20,30,5c,29←←←LaTex，LaTex→→→5c,28,41,20,5c,6d,61,74,68,62,66,7b,76,7d,5f,69,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex，此时 LaTex→→→5c,28,75,5f,69,5c,29←←←LaTex 需要补充为 LaTex→→→5c,28,41,20,41,5e,54,5c,29←←←LaTex 零特征值对应的标准正交特征向量。
                        
                            总的来说，对于对称矩阵 LaTex→→→5c,28,41,5c,29←←←LaTex，SVD可以写成 LaTex→→→5c,28,41,20,3d,20,55,20,5c,53,69,67,6d,61,20,56,5e,54,5c,29←←←LaTex，其中 LaTex→→→5c,28,55,5c,29←←←LaTex 和 LaTex→→→5c,28,56,5c,29←←←LaTex 的列向量都是 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征向量（可能差一个符号），LaTex→→→5c,28,5c,53,69,67,6d,61,5c,29←←←LaTex 的对角线元素是 LaTex→→→5c,28,41,5c,29←←←LaTex 的特征值的绝对值。如果 LaTex→→→5c,28,41,5c,29←←←LaTex 是对称半正定矩阵（Symmetric Positive Semidefinite Matrix），则所有特征值 LaTex→→→5c,28,5c,6c,61,6d,62,64,61,5f,69,20,5c,67,65,20,30,5c,29←←←LaTex，此时 LaTex→→→5c,28,5c,73,69,67,6d,61,5f,69,20,3d,20,5c,6c,61,6d,62,64,61,5f,69,5c,29←←←LaTex，并且可以取 LaTex→→→5c,28,55,3d,56,3d,50,5c,29←←←LaTex，SVD与谱分解形式一致：LaTex→→→5c,28,41,20,3d,20,50,20,44,20,50,5e,54,5c,29←←←LaTex。
                        
                            <END_OF_CHAPTER/>
                        
                            ## 9. chapter 9： 线性代数的应用 (Applications of Linear Algebra)
                        
                            线性代数不仅仅是一门抽象的数学理论，它更是解决现实世界中许多问题的强大工具。从工程、物理、经济到计算机科学、生物学和社会科学，线性代数的思想和方法无处不在。本章将带领读者探索线性代数在各个领域的精彩应用，展示其强大的建模和分析能力。我们将看到，那些看似复杂的实际问题，在引入线性代数的视角后，往往能得到简洁而优雅的解决方案。
                        
                            ### 9.1 线性方程组在实际问题中的应用 (Applications of Systems of Linear Equations in Real-world Problems)
                        
                            线性方程组是线性代数最基础的概念之一，也是解决许多实际问题的直接工具。许多现实世界的现象和系统可以用一组线性方程来描述。
                        
                            #### 9.1.1 电路分析 (Circuit Analysis)
                        
                            在电路分析中，基尔霍夫定律 (Kirchhoff's Laws) 可以转化为线性方程组。例如，基尔霍夫电流定律 (Kirchhoff's Current Law, KCL) 表明流入节点的电流之和等于流出节点的电流之和，基尔霍夫电压定律 (Kirchhoff's Voltage Law, KVL) 表明沿闭合回路的电压降之和等于电动势之和。这些定律结合欧姆定律 (Ohm's Law) LaTex→→→5c,28,56,20,3d,20,49,52,5c,29←←←LaTex，可以建立包含电路中未知电流或电压的线性方程组。
                        
                            ⚝ **案例分析：简单电路**
                        
                            考虑一个包含电阻和电压源的简单电路。通过应用基尔霍夫定律，我们可以得到一个关于各支路电流 LaTex→→→5c,28,49,5f,31,2c,20,49,5f,32,2c,20,49,5f,33,2c,20,5c,64,6f,74,73,5c,29←←←LaTex 的线性方程组。解这个方程组即可确定电路中各处的电流分布。
                        
                            例如，一个包含两个回路的简单电路，可能有如下形式的方程组：
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,63,61,73,65,73,7d,a,52,5f,31,20,49,5f,31,20,2b,20,52,5f,32,20,28,49,5f,31,20,2d,20,49,5f,32,29,20,3d,20,56,5f,31,20,5c,5c,a,52,5f,32,20,28,49,5f,32,20,2d,20,49,5f,31,29,20,2b,20,52,5f,33,20,49,5f,32,20,3d,20,2d,56,5f,32,a,5c,65,6e,64,7b,63,61,73,65,73,7d,a,5c,5d←←←LaTex
                        
                            这是一个关于 LaTex→→→5c,28,49,5f,31,5c,29←←←LaTex 和 LaTex→→→5c,28,49,5f,32,5c,29←←←LaTex 的二元线性方程组，可以用高斯消元法或矩阵求逆等方法求解。
                        
                            #### 9.1.2 经济学：投入产出模型 (Economics: Input-Output Model)
                        
                            列昂惕夫投入产出模型 (Leontief Input-Output Model) 是经济学中一个著名的应用，用于分析一个经济体中各部门之间的相互依赖关系。假设一个经济体有 LaTex→→→5c,28,6e,5c,29←←←LaTex 个部门，每个部门的产出既可以作为最终消费，也可以作为其他部门生产的投入。
                        
                            定义：
                        
                            ⚝ LaTex→→→5c,28,78,5f,69,5c,29←←←LaTex：部门 LaTex→→→5c,28,69,5c,29←←←LaTex 的总产出。
                        
                            ⚝ LaTex→→→5c,28,64,5f,69,5c,29←←←LaTex：部门 LaTex→→→5c,28,69,5c,29←←←LaTex 的最终需求。
                        
                            ⚝ LaTex→→→5c,28,61,5f,7b,69,6a,7d,5c,29←←←LaTex：生产单位产出部门 LaTex→→→5c,28,6a,5c,29←←←LaTex 所需的部门 LaTex→→→5c,28,69,5c,29←←←LaTex 的投入量（投入系数）。
                        
                            那么，部门 LaTex→→→5c,28,69,5c,29←←←LaTex 的总产出 LaTex→→→5c,28,78,5f,69,5c,29←←←LaTex 必须满足：
                        
                            LaTex→→→5c,5b,a,78,5f,69,20,3d,20,28,5c,74,65,78,74,7b,90e8,95e8,20,7d,20,69,20,5c,74,65,78,74,7b,20,4f5c,4e3a,5176,4ed6,90e8,95e8,6295,5165,7684,603b,91cf,7d,29,20,2b,20,28,5c,74,65,78,74,7b,90e8,95e8,20,7d,20,69,20,5c,74,65,78,74,7b,20,7684,6700,7ec8,9700,6c42,7d,29,a,5c,5d←←←LaTex
                        
                            部门 LaTex→→→5c,28,69,5c,29←←←LaTex 作为其他部门投入的总量是 LaTex→→→5c,28,5c,73,75,6d,5f,7b,6a,3d,31,7d,5e,6e,20,61,5f,7b,69,6a,7d,20,78,5f,6a,5c,29←←←LaTex。因此，对于每个部门 LaTex→→→5c,28,69,5c,29←←←LaTex，我们有：
                        
                            LaTex→→→5c,5b,a,78,5f,69,20,3d,20,5c,73,75,6d,5f,7b,6a,3d,31,7d,5e,6e,20,61,5f,7b,69,6a,7d,20,78,5f,6a,20,2b,20,64,5f,69,a,5c,5d←←←LaTex
                        
                            将所有部门的方程写在一起，可以得到一个线性方程组：
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,63,61,73,65,73,7d,a,78,5f,31,20,3d,20,61,5f,7b,31,31,7d,78,5f,31,20,2b,20,61,5f,7b,31,32,7d,78,5f,32,20,2b,20,5c,64,6f,74,73,20,2b,20,61,5f,7b,31,6e,7d,78,5f,6e,20,2b,20,64,5f,31,20,5c,5c,a,78,5f,32,20,3d,20,61,5f,7b,32,31,7d,78,5f,31,20,2b,20,61,5f,7b,32,32,7d,78,5f,32,20,2b,20,5c,64,6f,74,73,20,2b,20,61,5f,7b,32,6e,7d,78,5f,6e,20,2b,20,64,5f,32,20,5c,5c,a,5c,76,64,6f,74,73,20,5c,5c,a,78,5f,6e,20,3d,20,61,5f,7b,6e,31,7d,78,5f,31,20,2b,20,61,5f,7b,6e,32,7d,78,5f,32,20,2b,20,5c,64,6f,74,73,20,2b,20,61,5f,7b,6e,6e,7d,78,5f,6e,20,2b,20,64,5f,6e,a,5c,65,6e,64,7b,63,61,73,65,73,7d,a,5c,5d←←←LaTex
                        
                            这可以写成矩阵形式：
                        
                            LaTex→→→5c,5b,a,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,41,20,5c,6d,61,74,68,62,66,7b,78,7d,20,2b,20,5c,6d,61,74,68,62,66,7b,64,7d,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,78,5f,31,20,5c,5c,20,5c,76,64,6f,74,73,20,5c,5c,20,78,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 是总产出向量，LaTex→→→5c,28,41,20,3d,20,28,61,5f,7b,69,6a,7d,29,5c,29←←←LaTex 是投入系数矩阵 (Input Coefficient Matrix)，LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,64,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,64,5f,31,20,5c,5c,20,5c,76,64,6f,74,73,20,5c,5c,20,64,5f,6e,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex 是最终需求向量。
                        
                            我们需要找到总产出向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,78,7d,5c,29←←←LaTex 来满足给定的最终需求 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,64,7d,5c,29←←←LaTex。将方程变形：
                        
                            LaTex→→→5c,5b,a,5c,6d,61,74,68,62,66,7b,78,7d,20,2d,20,41,20,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,64,7d,a,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,a,28,49,20,2d,20,41,29,20,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,64,7d,a,5c,5d←←←LaTex
                        
                            其中 LaTex→→→5c,28,49,5c,29←←←LaTex 是单位矩阵 (Identity Matrix)。如果矩阵 LaTex→→→5c,28,28,49,20,2d,20,41,29,5c,29←←←LaTex 可逆，那么总产出向量可以由下式计算：
                        
                            LaTex→→→5c,5b,a,5c,6d,61,74,68,62,66,7b,78,7d,20,3d,20,28,49,20,2d,20,41,29,5e,7b,2d,31,7d,20,5c,6d,61,74,68,62,66,7b,64,7d,a,5c,5d←←←LaTex
                        
                            矩阵 LaTex→→→5c,28,28,49,20,2d,20,41,29,5e,7b,2d,31,7d,5c,29←←←LaTex 被称为列昂惕夫逆矩阵 (Leontief Inverse Matrix)，它反映了为了满足单位最终需求所需的总产出。这个模型帮助经济学家理解不同部门之间的相互依赖性以及预测经济变化的影响。
                        
                            #### 9.1.3 化学：化学方程式配平 (Chemistry: Balancing Chemical Equations)
                        
                            化学方程式的配平遵循质量守恒定律，即反应物中每种元素的原子总数必须等于生成物中该元素的原子总数。这可以转化为一个线性方程组。
                        
                            ⚝ **案例分析：配平方程式**
                        
                            考虑化学反应：LaTex→→→5c,28,43,5f,32,48,5f,36,20,2b,20,4f,5f,32,20,5c,72,69,67,68,74,61,72,72,6f,77,20,43,4f,5f,32,20,2b,20,48,5f,32,4f,5c,29←←←LaTex。我们需要找到系数 LaTex→→→5c,28,78,2c,20,79,2c,20,7a,2c,20,77,5c,29←←←LaTex 使得：
                        
                            LaTex→→→5c,5b,a,78,20,43,5f,32,48,5f,36,20,2b,20,79,20,4f,5f,32,20,5c,72,69,67,68,74,61,72,72,6f,77,20,7a,20,43,4f,5f,32,20,2b,20,77,20,48,5f,32,4f,a,5c,5d←←←LaTex
                        
                            根据原子守恒定律，我们可以列出关于每种元素的方程：
                        
                            ⚝ 碳 (C): LaTex→→→5c,28,32,78,20,3d,20,7a,5c,29←←←LaTex
                        
                            ⚝ 氢 (H): LaTex→→→5c,28,36,78,20,3d,20,32,77,5c,29←←←LaTex
                        
                            ⚝ 氧 (O): LaTex→→→5c,28,32,79,20,3d,20,32,7a,20,2b,20,77,5c,29←←←LaTex
                        
                            这是一个齐次线性方程组：
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,63,61,73,65,73,7d,a,32,78,20,2d,20,7a,20,3d,20,30,20,5c,5c,a,36,78,20,2d,20,32,77,20,3d,20,30,20,5c,5c,a,32,79,20,2d,20,32,7a,20,2d,20,77,20,3d,20,30,a,5c,65,6e,64,7b,63,61,73,65,73,7d,a,5c,5d←←←LaTex
                        
                            我们可以将其写成矩阵形式 LaTex→→→5c,28,41,20,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,5c,29←←←LaTex，其中 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,76,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,78,20,5c,5c,20,79,20,5c,5c,20,7a,20,5c,5c,20,77,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex。
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,32,20,26,20,30,20,26,20,2d,31,20,26,20,30,20,5c,5c,a,36,20,26,20,30,20,26,20,30,20,26,20,2d,32,20,5c,5c,a,30,20,26,20,32,20,26,20,2d,32,20,26,20,2d,31,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,78,20,5c,5c,20,79,20,5c,5c,20,7a,20,5c,5c,20,77,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,3d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,30,20,5c,5c,20,30,20,5c,5c,20,30,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            通过高斯消元法求解这个齐次线性方程组，我们可以找到非零解。例如，可以得到 LaTex→→→5c,28,78,3d,6b,2c,20,7a,3d,32,6b,2c,20,77,3d,33,6b,2c,20,79,3d,33,2e,35,6b,5c,29←←←LaTex。由于化学计量系数通常是最小整数比，我们可以取 LaTex→→→5c,28,6b,3d,32,5c,29←←←LaTex，得到 LaTex→→→5c,28,78,3d,32,2c,20,79,3d,37,2c,20,7a,3d,34,2c,20,77,3d,36,5c,29←←←LaTex。
                        
                            所以配平后的方程式是：LaTex→→→5c,28,32,20,43,5f,32,48,5f,36,20,2b,20,37,20,4f,5f,32,20,5c,72,69,67,68,74,61,72,72,6f,77,20,34,20,43,4f,5f,32,20,2b,20,36,20,48,5f,32,4f,5c,29←←←LaTex。
                        
                            这些例子表明，线性方程组是描述和解决许多实际问题的基本数学模型。
                        
                            ### 9.2 最小二乘法 (Least Squares Method)
                        
                            在许多科学和工程领域，我们经常需要根据一组观测数据来拟合一个模型。然而，由于测量误差或其他随机因素，观测数据往往不会精确地落在理想的模型曲线上。最小二乘法是一种常用的技术，用于找到最“接近”观测数据的模型参数。它在线性回归 (Linear Regression)、数据拟合 (Data Fitting) 等领域有广泛应用。
                        
                            #### 9.2.1 问题描述 (Problem Description)
                        
                            假设我们有一组数据点 LaTex→→→5c,28,28,78,5f,31,2c,20,79,5f,31,29,2c,20,28,78,5f,32,2c,20,79,5f,32,29,2c,20,5c,64,6f,74,73,2c,20,28,78,5f,6d,2c,20,79,5f,6d,29,5c,29←←←LaTex，我们希望用一个线性模型 LaTex→→→5c,28,79,20,3d,20,61,5f,30,20,2b,20,61,5f,31,20,78,5c,29←←←LaTex 来拟合这些数据。理想情况下，如果所有点都严格在线上，那么对于每个点 LaTex→→→5c,28,28,78,5f,69,2c,20,79,5f,69,29,5c,29←←←LaTex，都有 LaTex→→→5c,28,79,5f,69,20,3d,20,61,5f,30,20,2b,20,61,5f,31,20,78,5f,69,5c,29←←←LaTex。将所有点代入，得到一个线性方程组：
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,63,61,73,65,73,7d,a,61,5f,30,20,2b,20,61,5f,31,20,78,5f,31,20,3d,20,79,5f,31,20,5c,5c,a,61,5f,30,20,2b,20,61,5f,31,20,78,5f,32,20,3d,20,79,5f,32,20,5c,5c,a,5c,76,64,6f,74,73,20,5c,5c,a,61,5f,30,20,2b,20,61,5f,31,20,78,5f,6d,20,3d,20,79,5f,6d,a,5c,65,6e,64,7b,63,61,73,65,73,7d,a,5c,5d←←←LaTex
                        
                            写成矩阵形式是 LaTex→→→5c,28,41,20,5c,6d,61,74,68,62,66,7b,70,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex，其中
                        
                            LaTex→→→5c,5b,a,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,26,20,78,5f,31,20,5c,5c,a,31,20,26,20,78,5f,32,20,5c,5c,a,5c,76,64,6f,74,73,20,26,20,5c,76,64,6f,74,73,20,5c,5c,a,31,20,26,20,78,5f,6d,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,2c,20,5c,71,75,61,64,20,5c,6d,61,74,68,62,66,7b,70,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,61,5f,30,20,5c,5c,20,61,5f,31,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,2c,20,5c,71,75,61,64,20,5c,6d,61,74,68,62,66,7b,79,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,79,5f,31,20,5c,5c,20,79,5f,32,20,5c,5c,20,5c,76,64,6f,74,73,20,5c,5c,20,79,5f,6d,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            通常情况下，数据点并不严格共线，所以这个方程组 LaTex→→→5c,28,41,20,5c,6d,61,74,68,62,66,7b,70,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex 是**无解**的（即 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex 不在 LaTex→→→5c,28,41,5c,29←←←LaTex 的列空间 (Column Space) 中）。我们的目标是找到一个向量 LaTex→→→5c,28,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex（即参数 LaTex→→→5c,28,61,5f,30,2c,20,61,5f,31,5c,29←←←LaTex 的估计值），使得 LaTex→→→5c,28,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex 最接近 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex。这里的“接近”通常是指欧几里得范数 (Euclidean Norm) 下的距离最小，即最小化残差向量 (Residual Vector) LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,65,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex 的长度 LaTex→→→5c,28,7c,7c,5c,6d,61,74,68,62,66,7b,65,7d,7c,7c,5e,32,20,3d,20,7c,7c,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,7c,7c,5e,32,5c,29←←←LaTex。这就是最小二乘问题 (Least Squares Problem)。
                        
                            #### 9.2.2 最小二乘解 (Least Squares Solution)
                        
                            最小化 LaTex→→→5c,28,7c,7c,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,7c,7c,5e,32,5c,29←←←LaTex 等价于找到 LaTex→→→5c,28,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex 使得 LaTex→→→5c,28,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex 是 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex 在 LaTex→→→5c,28,41,5c,29←←←LaTex 的列空间上的投影 (Projection)。根据线性代数理论，残差向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex 必须正交于 LaTex→→→5c,28,41,5c,29←←←LaTex 的列空间。这意味着 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex 必须正交于 LaTex→→→5c,28,41,5c,29←←←LaTex 的每一列，即对于 LaTex→→→5c,28,41,5c,29←←←LaTex 的每一列向量 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,61,7d,5f,6a,5c,29←←←LaTex，有 LaTex→→→5c,28,5c,6d,61,74,68,62,66,7b,61,7d,5f,6a,5e,54,20,28,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,29,20,3d,20,30,5c,29←←←LaTex。这可以紧凑地写成：
                        
                            LaTex→→→5c,5b,a,41,5e,54,20,28,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,29,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,a,5c,5d←←←LaTex
                        
                            展开得到：
                        
                            LaTex→→→5c,5b,a,41,5e,54,20,5c,6d,61,74,68,62,66,7b,79,7d,20,2d,20,41,5e,54,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,30,7d,a,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,a,41,5e,54,20,41,20,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,20,3d,20,41,5e,54,20,5c,6d,61,74,68,62,66,7b,79,7d,a,5c,5d←←←LaTex
                        
                            这是一个新的线性方程组，称为**正规方程组 (Normal Equations)**。如果 LaTex→→→5c,28,41,5c,29←←←LaTex 的列是线性无关的，那么矩阵 LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 是可逆的，最小二乘解 LaTex→→→5c,28,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,5c,29←←←LaTex 可以唯一确定为：
                        
                            LaTex→→→5c,5b,a,5c,68,61,74,7b,5c,6d,61,74,68,62,66,7b,70,7d,7d,20,3d,20,28,41,5e,54,20,41,29,5e,7b,2d,31,7d,20,41,5e,54,20,5c,6d,61,74,68,62,66,7b,79,7d,a,5c,5d←←←LaTex
                        
                            矩阵 LaTex→→→5c,28,28,41,5e,54,20,41,29,5e,7b,2d,31,7d,20,41,5e,54,5c,29←←←LaTex 被称为 LaTex→→→5c,28,41,5c,29←←←LaTex 的伪逆 (Pseudoinverse) 或 Moore-Penrose 逆。
                        
                            ⚝ **案例分析：数据拟合**
                        
                            假设我们有三个数据点 LaTex→→→5c,28,28,31,2c,20,31,29,2c,20,28,32,2c,20,32,29,2c,20,28,33,2c,20,32,29,5c,29←←←LaTex，希望用直线 LaTex→→→5c,28,79,20,3d,20,61,5f,30,20,2b,20,61,5f,31,20,78,5c,29←←←LaTex 拟合。
                        
                            对应的矩阵方程是 LaTex→→→5c,28,41,20,5c,6d,61,74,68,62,66,7b,70,7d,20,3d,20,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex：
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,26,20,31,20,5c,5c,a,31,20,26,20,32,20,5c,5c,a,31,20,26,20,33,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,61,5f,30,20,5c,5c,a,61,5f,31,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,3d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,5c,5c,a,32,20,5c,5c,a,32,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            计算 LaTex→→→5c,28,41,5e,54,20,41,5c,29←←←LaTex 和 LaTex→→→5c,28,41,5e,54,20,5c,6d,61,74,68,62,66,7b,79,7d,5c,29←←←LaTex：
                        
                            LaTex→→→5c,5b,a,41,5e,54,20,41,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,26,20,31,20,26,20,31,20,5c,5c,a,31,20,26,20,32,20,26,20,33,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,26,20,31,20,5c,5c,a,31,20,26,20,32,20,5c,5c,a,31,20,26,20,33,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,2b,31,2b,31,20,26,20,31,2b,32,2b,33,20,5c,5c,a,31,2b,32,2b,33,20,26,20,31,2b,34,2b,39,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,33,20,26,20,36,20,5c,5c,a,36,20,26,20,31,34,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            LaTex→→→5c,5b,a,41,5e,54,20,5c,6d,61,74,68,62,66,7b,79,7d,20,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,26,20,31,20,26,20,31,20,5c,5c,a,31,20,26,20,32,20,26,20,33,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,20,5c,5c,a,32,20,5c,5c,a,32,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,31,2b,32,2b,32,20,5c,5c,a,31,2b,34,2b,36,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,3d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,35,20,5c,5c,a,31,31,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            正规方程组为：
                        
                            LaTex→→→5c,5b,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,33,20,26,20,36,20,5c,5c,a,36,20,26,20,31,34,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,61,5f,30,20,5c,5c,a,61,5f,31,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,3d,a,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,a,35,20,5c,5c,a,31,31,a,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,a,5c,5d←←←LaTex
                        
                            解这个方程组。例如，用克拉默法则或高斯消元法。
                        
                            行列式 LaTex→→→5c,28,7c,41,5e,54,20,41,7c,20,3d,20,33,20,5c,74,69,6d,65,73,20,31,34,20,2d,20,36,20,5c,74,69,6d,65,73,20,36,20,3d,20,34,32,20,2d,20,33,36,20,3d,20,36,5c,29←←←LaTex.
                        
                            LaTex→→→5c,28,28,41,5e,54,20,41,29,5e,7b,2d,31,7d,20,3d,20,5c,66,72,61,63,7b,31,7d,7b,36,7d,20,5c,62,65,67,69,6e,7b,70,6d,61,74,72,69,78,7d,20,31,34,20,26,20,2d,36,20,5c,5c,20,2d,36,20,26,20,33,20,5c,65,6e,64,7b,70,6d,61,74,72,69,78,7d,5c,29←←←LaTex.```
                        
                            <END_OF_CHAPTER/>

10. chapter 10：进阶主题与展望 (Advanced Topics and Outlook)

线性代数是一个博大精深的领域，其理论和方法在科学、工程、经济、计算机科学等众多领域有着广泛而深刻的应用。前面章节我们已经系统地学习了线性代数的基础知识，包括线性方程组、向量空间、线性变换、行列式、特征值与特征向量以及内积空间等。这些构成了线性代数的核心框架。

然而，线性代数的旅程远未结束。在实际应用和更深入的理论研究中，我们还会遇到许多更复杂、更精妙的概念和技术。本章将带领大家初步探索一些进阶主题，包括二次型、若尔当标准型、广义逆矩阵以及数值线性代数，并展望线性代数在当前最热门的机器学习和数据科学领域的前沿应用。这些内容不仅能加深我们对线性代数理论的理解，更能为我们解决实际问题提供更强大的工具。

10.1 二次型 (Quadratic Forms)

二次型是线性代数中一个重要的概念，它在几何、物理、优化理论以及统计学中有广泛应用。简单来说，二次型是一个关于多个变量的二次齐次多项式。

10.1.1 二次型的定义 (Definition of Quadratic Forms)

一个 \(n\) 个变量 \(x_1, x_2, \dots, x_n\) 的二次型 \(Q(\mathbf{x})\) 是一个形如：
\[ Q(x_1, x_2, \dots, x_n) = \sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \]
的多项式，其中 \(a_{ij}\) 是常数。

我们可以用矩阵形式来表示二次型。令 \(\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}\) 是一个列向量，令 \(A = [a_{ij}]\) 是一个 \(n \times n\) 矩阵。则二次型可以写成：
\[ Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} \]
其中 \(\mathbf{x}^T\) 是向量 \(\mathbf{x}\) 的转置 (transpose)。

注意，对于任意矩阵 \(A\)，我们可以找到一个唯一的对称矩阵 \(S\) 使得 \(\mathbf{x}^T A \mathbf{x} = \mathbf{x}^T S \mathbf{x}\)。这个对称矩阵 \(S\) 的元素 \(s_{ij}\) 定义为 \(s_{ij} = \frac{a_{ij} + a_{ji}}{2}\)。因此，在研究二次型时，我们通常假设矩阵 \(A\) 是对称矩阵 (symmetric matrix)。如果 \(A\) 是对称矩阵，即 \(A^T = A\)，则 \(a_{ij} = a_{ji}\)。

例如，对于两个变量 \(x_1, x_2\)，一个二次型可以是 \(Q(x_1, x_2) = 3x_1^2 + 2x_1x_2 - x_2^2\)。其矩阵表示为：
\[ Q(x_1, x_2) = \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 3 & 1 \\ 1 & -1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \]
这里使用的对称矩阵是 \(A = \begin{bmatrix} 3 & 1 \\ 1 & -1 \end{bmatrix}\)。

10.1.2 二次型的分类 (Classification of Quadratic Forms)

二次型根据其取值的符号可以进行分类：

⚝ 正定 (Positive Definite)：对于所有非零向量 \(\mathbf{x} \in \mathbb{R}^n\)，\(Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} > 0\)。
⚝ 负定 (Negative Definite)：对于所有非零向量 \(\mathbf{x} \in \mathbb{R}^n\)，\(Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} < 0\)。
⚝ 半正定 (Positive Semidefinite)：对于所有向量 \(\mathbf{x} \in \mathbb{R}^n\)，\(Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} \ge 0\)，且存在非零向量 \(\mathbf{x}\) 使得 \(Q(\mathbf{x}) = 0\)。
⚝ 半负定 (Negative Semidefinite)：对于所有向量 \(\mathbf{x} \in \mathbb{R}^n\)，\(Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} \le 0\)，且存在非零向量 \(\mathbf{x}\) 使得 \(Q(\mathbf{x}) = 0\)。
⚝ 不定 (Indefinite)：存在向量 \(\mathbf{x}_1\) 和 \(\mathbf{x}_2\) 使得 \(Q(\mathbf{x}_1) > 0\) 且 \(Q(\mathbf{x}_2) < 0\)。

二次型的分类与其对应的对称矩阵 \(A\) 的特征值 (eigenvalues) 密切相关：

① \(Q\) 是正定的当且仅当 \(A\) 的所有特征值都大于零。
② \(Q\) 是负定的当且仅当 \(A\) 的所有特征值都小于零。
③ \(Q\) 是半正定的当且仅当 \(A\) 的所有特征值都大于或等于零。
④ \(Q\) 是半负定的当且仅当 \(A\) 的所有特征值都小于或等于零。
⑤ \(Q\) 是不定的当且仅当 \(A\) 既有正特征值也有负特征值。

10.1.3 二次型的主轴定理 (Principal Axis Theorem for Quadratic Forms)

对于任何二次型 \(Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x}\)，其中 \(A\) 是对称矩阵，存在一个正交变换 (orthogonal transformation) \(\mathbf{x} = P\mathbf{y}\)（其中 \(P\) 是正交矩阵，即 \(P^T P = I\)）可以将二次型化为标准形 (standard form) 或称主轴形 (principal axis form)：
\[ Q(\mathbf{y}) = \lambda_1 y_1^2 + \lambda_2 y_2^2 + \dots + \lambda_n y_n^2 \]
其中 \(\lambda_1, \lambda_2, \dots, \lambda_n\) 是矩阵 \(A\) 的特征值，\(y_1, y_2, \dots, y_n\) 是新坐标系的变量。

这个定理的证明依赖于对称矩阵的可对角化性质。对于对称矩阵 \(A\)，存在一个正交矩阵 \(P\) 使得 \(P^T A P = D\)，其中 \(D\) 是一个对角矩阵 (diagonal matrix)，对角线上的元素是 \(A\) 的特征值。令 \(\mathbf{x} = P\mathbf{y}\)，则 \(\mathbf{x}^T = (P\mathbf{y})^T = \mathbf{y}^T P^T\)。代入二次型表达式：
\[ Q(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} = (P\mathbf{y})^T A (P\mathbf{y}) = \mathbf{y}^T P^T A P \mathbf{y} = \mathbf{y}^T D \mathbf{y} \]
由于 \(D\) 是对角矩阵 \(D = \text{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)\)，所以 \(\mathbf{y}^T D \mathbf{y} = \sum_{i=1}^n \lambda_i y_i^2\)。

主轴定理的几何意义在于，通过一个旋转或反射变换（正交变换），可以将二次曲面（如椭圆、双曲线、抛物面等）的方程化为最简单的形式，其坐标轴与曲面的主轴对齐。

10.1.4 应用举例 (Examples of Applications)

⚝ 二次曲面 (Quadratic Surfaces)：在三维空间中，形如 \(ax^2 + by^2 + cz^2 + dxy + eyz + fzx + gx + hy + iz + j = 0\) 的方程描述了二次曲面。通过坐标平移和旋转（利用二次型的主轴定理），可以将二次项化为标准形，从而识别曲面的类型（椭球、双曲面、抛物面等）。
⚝ 优化问题 (Optimization Problems)：在多元函数的极值问题中，二阶偏导数构成的海森矩阵 (Hessian matrix) 是对称矩阵。函数在临界点附近的泰勒展开式中的二次项就是一个二次型。通过分析这个二次型的正定性或负定性，可以判断临界点是局部最小值、局部最大值还是鞍点 (saddle point)。
⚝ 统计学 (Statistics)：多元正态分布 (multivariate normal distribution) 的概率密度函数中包含一个二次型，即 \(- \frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\)，其中 \(\boldsymbol{\mu}\) 是均值向量，\(\Sigma\) 是协方差矩阵 (covariance matrix)。协方差矩阵是对称半正定矩阵。

10.2 若尔当标准型 (Jordan Canonical Form)

前面我们学习了矩阵的对角化。如果一个 \(n \times n\) 矩阵 \(A\) 有 \(n\) 个线性无关的特征向量 (linearly independent eigenvectors)，那么 \(A\) 可以对角化，即存在可逆矩阵 \(P\) 使得 \(P^{-1} A P = D\)，其中 \(D\) 是对角矩阵。然而，并非所有矩阵都可以对角化。例如，矩阵 \(A = \begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}\) 的特征值只有 \(\lambda = 1\)（重数 (multiplicity) 为 2），但其特征向量空间只有一维，由向量 \(\begin{bmatrix} 1 \\ 0 \end{bmatrix}\) 生成。它没有两个线性无关的特征向量，因此不可对角化。

对于不可对角化的矩阵，我们希望能找到一个“最接近”对角矩阵的相似标准形，这就是若尔当标准型。

10.2.1 广义特征向量 (Generalized Eigenvectors) 与若尔当块 (Jordan Blocks)

为了理解若尔当标准型，我们需要引入广义特征向量的概念。对于矩阵 \(A\) 和其特征值 \(\lambda\)，一个向量 \(\mathbf{v}\) 称为 \(A\) 对应于 \(\lambda\) 的 \(k\) 阶广义特征向量，如果 \((A - \lambda I)^k \mathbf{v} = \mathbf{0}\) 但 \((A - \lambda I)^{k-1} \mathbf{v} \ne \mathbf{0}\)。当 \(k=1\) 时，这就是普通的特征向量。

一个 若尔当块 \(J_k(\lambda)\) 是一个 \(k \times k\) 矩阵，其对角线元素都是 \(\lambda\)，对角线上方一行的元素都是 1，其余元素都是 0：
\[ J_k(\lambda) = \begin{bmatrix} \lambda & 1 & 0 & \dots & 0 \\ 0 & \lambda & 1 & \dots & 0 \\ 0 & 0 & \lambda & \dots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \dots & \lambda \end{bmatrix} \]
例如，\(J_1(\lambda) = [\lambda]\)，\(J_2(\lambda) = \begin{bmatrix} \lambda & 1 \\ 0 & \lambda \end{bmatrix}\)，\(J_3(\lambda) = \begin{bmatrix} \lambda & 1 & 0 \\ 0 & \lambda & 1 \\ 0 & 0 & \lambda \end{bmatrix}\)。

若尔当块 \(J_k(\lambda)\) 只有一个特征值 \(\lambda\)，其代数重数 (algebraic multiplicity) 是 \(k\)，但其几何重数 (geometric multiplicity)（即特征向量空间的维数）只有 1。

10.2.2 若尔当标准型定理 (Jordan Canonical Form Theorem)

对于任意一个 \(n \times n\) 复数矩阵 \(A\)（或者实数矩阵，但允许特征值为复数），都相似于一个唯一的（除了若尔当块的排列顺序）分块对角矩阵 (block diagonal matrix)，这个矩阵称为 \(A\) 的 若尔当标准型 \(J\)。
\[ J = \begin{bmatrix} J_{k_1}(\lambda_1) & & & \\ & J_{k_2}(\lambda_2) & & \\ & & \ddots & \\ & & & J_{k_m}(\lambda_m) \end{bmatrix} \]
其中 \(J_{k_i}(\lambda_i)\) 是若尔当块，\(\lambda_i\) 是 \(A\) 的特征值（可能重复），且 \(\sum_{i=1}^m k_i = n\)。

若尔当标准型中的若尔当块的个数和大小由矩阵 \(A\) 的特征值及其广义特征向量的结构决定。具体来说：

⚝ 对应于特征值 \(\lambda\) 的若尔当块的总数等于 \(\lambda\) 的几何重数（即特征子空间 \(\text{null}(A - \lambda I)\) 的维数）。
⚝ 对应于特征值 \(\lambda\) 的所有若尔当块的大小之和等于 \(\lambda\) 的代数重数（即 \(\lambda\) 作为特征多项式根的重数）。
⚝ 若尔当块的大小 \(k\) 对应于一个长度为 \(k\) 的广义特征向量链 (generalized eigenvector chain)：\(\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k\)，满足 \((A - \lambda I)\mathbf{v}_1 = \mathbf{0}\)，\((A - \lambda I)\mathbf{v}_2 = \mathbf{v}_1\)，\(\dots\)，\((A - \lambda I)\mathbf{v}_k = \mathbf{v}_{k-1}\)。

存在一个可逆矩阵 \(P\)（由广义特征向量链构成列向量）使得 \(P^{-1} A P = J\)。

10.2.3 若尔当标准型的意义与应用 (Significance and Applications of Jordan Canonical Form)

若尔当标准型是矩阵相似理论的最终结果，它揭示了任意矩阵的内在结构。尽管计算若尔当标准型通常比较复杂，但它在理论上非常重要：

⚝ 矩阵函数 (Matrix Functions)：计算矩阵的幂 \(A^k\)、矩阵指数 \(e^A\) 等矩阵函数时，如果矩阵可以对角化，则 \(f(A) = P f(D) P^{-1}\)，其中 \(f(D)\) 是对角矩阵，计算简单。对于不可对角化的矩阵，可以先求出其若尔当标准型 \(J = P^{-1} A P\)，则 \(A = P J P^{-1}\)，\(f(A) = P f(J) P^{-1}\)。计算若尔当块的函数 \(f(J_k(\lambda))\) 有特定的公式。这在解决线性常微分方程组 (systems of linear ordinary differential equations) 中非常有用。
⚝ 线性动力系统 (Linear Dynamical Systems)：形如 \(\mathbf{x}_{k+1} = A \mathbf{x}_k\) 或 \(\frac{d\mathbf{x}}{dt} = A\mathbf{x}\) 的线性动力系统的行为（稳定性、长期趋势）可以通过分析矩阵 \(A\) 的特征值和若尔当标准型来确定。若尔当块的存在（对应于几何重数小于代数重数的特征值）会导致解中出现 \(k e^{\lambda t}\) 或 \(k \lambda^k\) 这样的项，影响系统的行为。
⚝ 控制理论 (Control Theory)：若尔当标准型在系统的可控性 (controllability) 和可观测性 (observability) 分析中扮演重要角色。

10.3 广义逆矩阵 (Generalized Inverse Matrix)

我们知道，只有方阵 (square matrix) 且行列式不为零的矩阵才存在逆矩阵 (inverse matrix)。然而，在许多实际问题中，我们会遇到非方阵或奇异方阵 (singular square matrix)，它们没有通常意义上的逆矩阵。为了处理这类问题，我们引入了广义逆矩阵的概念。广义逆矩阵是逆矩阵概念的一种推广。

10.3.1 Moore-Penrose 广义逆 (Moore-Penrose Generalized Inverse)

最常用和性质最好的一种广义逆是 Moore-Penrose 广义逆，也称为伪逆 (pseudoinverse)。对于任意一个 \(m \times n\) 矩阵 \(A\)，其 Moore-Penrose 广义逆记为 \(A^+\)，是一个 \(n \times m\) 矩阵，它满足以下四个 Penrose 条件：

① \(A A^+ A = A\)
② \(A^+ A A^+ = A^+\)
③ \((A A^+)^T = A A^+\)
④ \((A^+ A)^T = A^+ A\)

可以证明，对于任意矩阵 \(A\)，其 Moore-Penrose 广义逆 \(A^+\) 是唯一存在的。

如果 \(A\) 是一个可逆方阵，那么 \(A^+\) 就是通常意义上的逆矩阵 \(A^{-1}\)。

10.3.2 计算 Moore-Penrose 广义逆 (Computing Moore-Penrose Generalized Inverse)

计算 Moore-Penrose 广义逆有几种方法：

⚝ 奇异值分解 (Singular Value Decomposition, SVD)：这是计算广义逆最稳定和常用的方法。设 \(A\) 的奇异值分解为 \(A = U \Sigma V^T\)，其中 \(U\) 是 \(m \times m\) 正交矩阵，\(V\) 是 \(n \times n\) 正交矩阵，\(\Sigma\) 是 \(m \times n\) 矩阵，其对角线上是 \(A\) 的奇异值 \(\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0\)，其余元素为零，\(r\) 是 \(A\) 的秩 (rank)。则 \(\Sigma^+\) 是一个 \(n \times m\) 矩阵，其对角线上对应于 \(\sigma_i\) 的位置是 \(1/\sigma_i\)，其余元素为零。Moore-Penrose 广义逆定义为 \(A^+ = V \Sigma^+ U^T\)。

⚝ 满秩分解 (Full Rank Factorization)：如果 \(A\) 的秩为 \(r\)，且 \(A = BC\)，其中 \(B\) 是 \(m \times r\) 矩阵且列满秩 (full column rank)，\(C\) 是 \(r \times n\) 矩阵且行满秩 (full row rank)，则 \(A^+ = C^T (C C^T)^{-1} (B^T B)^{-1} B^T\)。

⚝ 特殊情况：
▮▮▮▮ⓐ 如果 \(A\) 是列满秩矩阵（秩为 \(n\)），则 \(A^+ = (A^T A)^{-1} A^T\)。
▮▮▮▮ⓑ 如果 \(A\) 是行满秩矩阵（秩为 \(m\)），则 \(A^+ = A^T (A A^T)^{-1}\)。

10.3.3 广义逆的应用 (Applications of Generalized Inverse)

广义逆在解决线性方程组和最小二乘问题中非常有用：

⚝ 求解线性方程组 (Solving Linear Systems)：考虑线性方程组 \(A\mathbf{x} = \mathbf{b}\)。
▮▮▮▮ⓐ 如果方程组有解（即 \(\mathbf{b}\) 在 \(A\) 的列空间 (column space) 中），则 \(\mathbf{x} = A^+\mathbf{b}\) 是一个解。
▮▮▮▮ⓑ 如果方程组有无穷多解，则 \(\mathbf{x} = A^+\mathbf{b}\) 是其中范数 (norm) \(\|\mathbf{x}\|\) 最小的解。
▮▮▮▮ⓒ 如果方程组无解，则 \(\mathbf{x} = A^+\mathbf{b}\) 是使得 \(\|A\mathbf{x} - \mathbf{b}\|\) 最小的解，即最小二乘解 (least squares solution)。在所有最小二乘解中，\(A^+\mathbf{b}\) 是范数最小的那个。

⚝ 最小二乘问题 (Least Squares Problem)：求解 \(A\mathbf{x} = \mathbf{b}\) 的最小二乘解等价于求解正规方程 (normal equation) \(A^T A \mathbf{x} = A^T \mathbf{b}\)。如果 \(A^T A\) 可逆（当且仅当 \(A\) 列满秩），则 \(\mathbf{x} = (A^T A)^{-1} A^T \mathbf{b}\)，这与 \(A\) 列满秩时的广义逆解 \(A^+\mathbf{b}\) 一致。如果 \(A^T A\) 不可逆，则正规方程有无穷多解，其中一个解是 \(\mathbf{x} = (A^T A)^+ A^T \mathbf{b}\)。实际上，可以证明 \((A^T A)^+ A^T = A^+\)，所以最小二乘解可以统一表示为 \(\mathbf{x} = A^+\mathbf{b}\)。

⚝ 统计学与数据分析 (Statistics and Data Analysis)：在回归分析 (regression analysis) 中，当设计矩阵 (design matrix) 不是列满秩时（例如存在多重共线性 (multicollinearity)），需要使用广义逆来求解回归系数。

10.4 数值线性代数简介 (Introduction to Numerical Linear Algebra)

前面章节我们学习的线性代数方法主要是理论性的，适用于精确计算。然而，在实际应用中，我们处理的数据往往是浮点数，计算过程中会存在舍入误差 (rounding errors)。此外，实际问题中的矩阵规模可能非常巨大，直接使用理论公式进行计算可能效率低下甚至不可行。数值线性代数 (Numerical Linear Algebra) 研究如何使用数值方法（算法）来解决线性代数问题，同时考虑计算效率、稳定性和精度。

10.4.1 数值稳定性 (Numerical Stability)

数值算法的稳定性是指算法对输入数据或计算过程中产生的微小误差的敏感程度。一个数值稳定的算法意味着输入或中间计算的小误差不会导致最终结果产生巨大误差。

⚝ 条件数 (Condition Number)：矩阵 \(A\) 的条件数 \(\kappa(A)\) 衡量了线性方程组 \(A\mathbf{x} = \mathbf{b}\) 对输入 \(\mathbf{b}\) 的扰动的敏感性。如果 \(\kappa(A)\) 很大，称矩阵 \(A\) 是病态的 (ill-conditioned)，此时输入 \(\mathbf{b}\) 的微小变化可能导致解 \(\mathbf{x}\) 的巨大变化。计算条件数通常使用矩阵范数 (matrix norm)，例如 \(\kappa_2(A) = \|A\|_2 \|A^{-1}\|_2\)。对于奇异矩阵，条件数是无穷大。

⚝ 算法稳定性：不同的算法解决同一个问题可能有不同的稳定性。例如，用高斯消元法解线性方程组时，选择主元 (pivoting) 可以提高算法的数值稳定性。

10.4.2 常用数值算法 (Common Numerical Algorithms)

⚝ 求解线性方程组 (Solving Linear Systems)：
▮▮▮▮ⓐ 直接法 (Direct Methods)：通过有限步计算得到解。包括高斯消元法 (Gaussian elimination)、LU分解 (LU decomposition)、乔列斯基分解 (Cholesky decomposition)（针对对称正定矩阵）。这些方法对于中小型稠密矩阵 (dense matrices) 比较有效。
▮▮▮▮ⓑ 迭代法 (Iterative Methods)：通过迭代过程逐步逼近解。适用于大型稀疏矩阵 (sparse matrices)。常见的迭代法包括 Jacobi 法、Gauss-Seidel 法、共轭梯度法 (Conjugate Gradient method)（针对对称正定系统）、GMRES 法等。

⚝ 特征值计算 (Eigenvalue Computation)：
▮▮▮▮ⓐ 幂法 (Power Method)：用于计算矩阵的主特征值（绝对值最大的特征值）及其对应的特征向量。
▮▮▮▮ⓑ QR 算法 (QR Algorithm)：目前计算一般矩阵特征值的最常用和最有效的算法之一。它通过一系列 QR 分解将矩阵逐步转化为 Schur 标准形或对角形。
▮▮▮▮ⓒ Jacobi 方法：用于计算对称矩阵的特征值和特征向量。

⚝ 奇异值分解 (Singular Value Decomposition, SVD)：计算 SVD 的常用算法包括 Golub-Kahan 双对角化过程 (Golub-Kahan bidiagonalization) 和 QR 算法的变种。SVD 在数据压缩、降噪、主成分分析等方面有重要应用。

10.4.3 数值线性代数的挑战 (Challenges in Numerical Linear Algebra)

⚝ 大规模问题 (Large-scale Problems)：实际问题中的矩阵维度可能非常高（例如百万甚至上亿），直接法的计算量和存储需求巨大。需要发展高效的迭代法和并行计算技术。
⚝ 稀疏性 (Sparsity)：许多实际问题产生的矩阵是稀疏的（大部分元素为零）。利用矩阵的稀疏结构可以显著减少计算量和存储。
⚝ 病态问题 (Ill-conditioned Problems)：病态矩阵会导致数值计算结果对误差非常敏感。需要使用更稳定的算法或正则化 (regularization) 技术。
⚝ 非线性问题 (Nonlinear Problems)：许多问题本质上是非线性的，但可以通过线性化或迭代求解一系列线性问题来解决，这依赖于数值线性代数方法。

10.5 线性代数在机器学习 (Machine Learning) 与数据科学 (Data Science) 中的前沿应用

线性代数是机器学习和数据科学的基石。几乎所有机器学习算法和数据处理技术都离不开线性代数的概念和工具。

10.5.1 数据表示 (Data Representation)

⚝ 向量 (Vectors)：数据点通常表示为向量。例如，一张图片可以展平为一个高维向量，一个文本可以表示为词向量 (word vectors)。
⚝ 矩阵 (Matrices)：数据集通常表示为矩阵，每一行代表一个样本，每一列代表一个特征。
⚝ 张量 (Tensors)：更复杂的数据结构，如彩色图片（高度 x 宽度 x 颜色通道）或视频数据，可以用张量表示。张量是向量和矩阵的推广。

10.5.2 核心算法与技术 (Core Algorithms and Techniques)

⚝ 线性回归 (Linear Regression)：求解最小二乘问题 \(A\mathbf{x} = \mathbf{b}\)，其中 \(A\) 是特征矩阵，\(\mathbf{b}\) 是目标变量向量，\(\mathbf{x}\) 是待求解的回归系数向量。使用广义逆或正规方程求解。
⚝ 主成分分析 (Principal Component Analysis, PCA)：一种降维技术，通过找到数据协方差矩阵的特征值和特征向量来确定数据的主要变化方向（主成分）。这依赖于特征值分解 (eigenvalue decomposition) 或奇异值分解 (SVD)。
⚝ 奇异值分解 (SVD)：除了 PCA，SVD 在推荐系统 (recommendation systems)（如协同过滤 (collaborative filtering)）、自然语言处理 (natural language processing)（如潜在语义分析 (Latent Semantic Analysis, LSA)）和图像处理 (image processing) 中也有广泛应用。
⚝ 特征值分解 (Eigenvalue Decomposition)：除了 PCA，特征值分解在谱聚类 (spectral clustering)、图分析 (graph analysis)（如 PageRank 算法）中也很重要。
⚝ 矩阵分解 (Matrix Factorization)：将一个矩阵分解为两个或多个矩阵的乘积，常用于推荐系统和主题模型 (topic modeling)。例如，非负矩阵分解 (Non-negative Matrix Factorization, NMF)。
⚝ 线性分类器 (Linear Classifiers)：如支持向量机 (Support Vector Machines, SVM) 和逻辑回归 (Logistic Regression) 在其核心部分使用了线性模型和向量空间的概念。
⚝ 深度学习 (Deep Learning)：深度学习模型中的各种层（如全连接层 (fully connected layers)）本质上是矩阵乘法和向量加法。训练过程中的反向传播算法 (backpropagation) 也大量使用了矩阵运算和链式法则。张量运算是深度学习框架（如 TensorFlow, PyTorch）的基础。
⚝ 优化算法 (Optimization Algorithms)：许多机器学习模型的训练过程归结为优化问题，需要计算梯度 (gradient) 和海森矩阵 (Hessian matrix)。这些计算都涉及向量和矩阵运算。

10.5.3 未来展望 (Future Outlook)

随着数据规模的不断增长和模型复杂度的提高，线性代数在机器学习和数据科学中的作用将更加突出。未来的研究方向可能包括：

⚝ 大规模矩阵计算 (Large-scale Matrix Computation)：开发更高效、可扩展的数值线性代数算法，以处理 PB 级别甚至 EB 级别的数据。
⚝ 张量方法 (Tensor Methods)：研究和应用张量分解、张量网络等技术来处理高维数据和构建更强大的模型。
⚝ 随机线性代数 (Randomized Linear Algebra)：利用随机化技术来加速大规模矩阵计算，例如随机 SVD。
⚝ 差分隐私与安全计算 (Differential Privacy and Secure Computation)：研究如何在保护数据隐私的同时进行线性代数计算。
⚝ 硬件加速 (Hardware Acceleration)：利用 GPU、TPU 等硬件的并行计算能力来加速线性代数运算。

总而言之，线性代数不仅是数学的一个分支，更是理解和解决现代科学技术问题的强大工具。掌握扎实的线性代数基础，对于深入学习机器学习、数据科学以及其他相关领域至关重要。

A. Appendix A：附录 (Appendices)

A.1 集合论基础 (Basic Set Theory)

集合论是现代数学的基础，线性代数中的许多概念都建立在集合论之上，例如向量空间是满足特定条件的向量的集合，子空间是向量空间的子集。本节简要回顾集合论的一些基本概念。

A.1.1 集合与元素 (Sets and Elements)

⚝ 集合 (Set)：由一些确定的、不同的对象组成的总体。
⚝ 元素 (Element)：组成集合的对象。
⚝ 表示方法：
▮▮▮▮ⓐ 列举法：\(A = \{1, 2, 3\}\)
▮▮▮▮ⓑ 描述法：\(B = \{x \mid x \text{ 是大于 0 的偶数}\}\)
⚝ 属于关系：如果 \(a\) 是集合 \(A\) 的元素，记作 \(a \in A\)。如果不是，记作 \(a \notin A\)。
⚝ 空集 (Empty Set)：不包含任何元素的集合，记作 \(\emptyset\) 或 \(\{\}\)。

A.1.2 集合之间的关系 (Relationships Between Sets)

⚝ 子集 (Subset)：如果集合 \(A\) 的所有元素都属于集合 \(B\)，则称 \(A\) 是 \(B\) 的子集，记作 \(A \subseteq B\)。
⚝ 真子集 (Proper Subset)：如果 \(A \subseteq B\) 且 \(A \ne B\)，则称 \(A\) 是 \(B\) 的真子集，记作 \(A \subset B\)。
⚝ 相等 (Equality)：如果 \(A \subseteq B\) 且 \(B \subseteq A\)，则称 \(A\) 等于 \(B\)，记作 \(A = B\)。

A.1.3 集合运算 (Set Operations)

⚝ 并集 (Union)：集合 \(A\) 与 \(B\) 的并集是包含所有属于 \(A\) 或属于 \(B\) 的元素的集合，记作 \(A \cup B = \{x \mid x \in A \text{ 或 } x \in B\}\)。
⚝ 交集 (Intersection)：集合 \(A\) 与 \(B\) 的交集是包含所有既属于 \(A\) 又属于 \(B\) 的元素的集合，记作 \(A \cap B = \{x \mid x \in A \text{ 且 } x \in B\}\)。
⚝ 差集 (Difference)：集合 \(A\) 与 \(B\) 的差集是包含所有属于 \(A\) 但不属于 \(B\) 的元素的集合，记作 \(A \setminus B = \{x \mid x \in A \text{ 且 } x \notin B\}\)。
⚝ 补集 (Complement)：在全集 \(U\) 下，集合 \(A\) 的补集是所有属于 \(U\) 但不属于 \(A\) 的元素的集合，记作 \(A^c = U \setminus A\)。

A.1.4 笛卡尔积 (Cartesian Product)

集合 \(A\) 与 \(B\) 的笛卡尔积是所有有序对 \((a, b)\) 的集合，其中 \(a \in A\) 且 \(b \in B\)，记作 \(A \times B = \{(a, b) \mid a \in A, b \in B\}\)。
对于 \(n\) 个集合 \(A_1, A_2, \dots, A_n\)，它们的笛卡尔积是所有有序 \(n\) 元组 \((a_1, a_2, \dots, a_n)\) 的集合，其中 \(a_i \in A_i\)，记作 \(A_1 \times A_2 \times \dots \times A_n\)。
特别地，\(\mathbb{R}^n = \mathbb{R} \times \mathbb{R} \times \dots \times \mathbb{R}\)（\(n\) 个 \(\mathbb{R}\) 的笛卡尔积）表示所有 \(n\) 维实向量的集合。

A.2 复数 (Complex Numbers) 简介

虽然本书主要关注实数域上的线性代数，但在特征值和若尔当标准型等主题中，复数是不可或缺的。

A.2.1 复数的定义 (Definition of Complex Numbers)

一个复数 (complex number) \(z\) 可以表示为 \(z = a + bi\)，其中 \(a\) 和 \(b\) 是实数，\(i\) 是虚数单位 (imaginary unit)，满足 \(i^2 = -1\)。
⚝ \(a\) 称为复数 \(z\) 的实部 (real part)，记作 \(\text{Re}(z) = a\)。
⚝ \(b\) 称为复数 \(z\) 的虚部 (imaginary part)，记作 \(\text{Im}(z) = b\)。
所有复数构成的集合记作 \(\mathbb{C}\)。实数是虚部为 0 的复数，即 \(\mathbb{R} \subset \mathbb{C}\)。

A.2.2 复数的运算 (Operations with Complex Numbers)

设 \(z_1 = a + bi\) 和 \(z_2 = c + di\) 是两个复数。

⚝ 加法 (Addition)：\(z_1 + z_2 = (a+c) + (b+d)i\)
⚝ 减法 (Subtraction)：\(z_1 - z_2 = (a-c) + (b-d)i\)
⚝ 乘法 (Multiplication)：\(z_1 z_2 = (a+bi)(c+di) = ac + adi + bci + bdi^2 = (ac-bd) + (ad+bc)i\)
⚝ 除法 (Division)：\(\frac{z_1}{z_2} = \frac{a+bi}{c+di} = \frac{(a+bi)(c-di)}{(c+di)(c-di)} = \frac{ac - adi + bci - bdi^2}{c^2 - (di)^2} = \frac{(ac+bd) + (bc-ad)i}{c^2 + d^2} = \frac{ac+bd}{c^2+d^2} + \frac{bc-ad}{c^2+d^2}i\) (要求 \(z_2 \ne 0\))

A.2.3 复数的模与共轭 (Magnitude and Conjugate of Complex Numbers)

⚝ 复数共轭 (Complex Conjugate)：复数 \(z = a + bi\) 的共轭记作 \(\bar{z}\) 或 \(z^*\)，定义为 \(\bar{z} = a - bi\)。
⚝ 模 (Magnitude / Modulus)：复数 \(z = a + bi\) 的模记作 \(|z|\)，定义为 \(|z| = \sqrt{a^2 + b^2}\)。几何上，这是复数在复平面 (complex plane) 上对应点到原点的距离。注意 \(|z|^2 = z \bar{z}\)。

A.2.4 复数与线性代数 (Complex Numbers and Linear Algebra)

在处理实矩阵的特征值时，即使矩阵是实矩阵，其特征值和特征向量也可能是复数。例如，旋转矩阵 \(\begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}\) 的特征值为 \(i\) 和 \(-i\)。在复数域上，任何方阵都有特征值（代数基本定理）。在研究若尔当标准型、酉空间 (unitary spaces)（复向量空间上的内积空间）等主题时，复数是必需的。

A.3 符号与术语表 (Glossary of Symbols and Terms)

本附录列出了本书中常用的一些符号和术语，方便读者查阅。

⚝ 符号 (Symbols)：
▮▮▮▮ⓐ \(\mathbb{R}\)：实数集 (Set of real numbers)
▮▮▮▮ⓑ \(\mathbb{C}\)：复数集 (Set of complex numbers)
▮▮▮▮ⓒ \(\mathbb{R}^n\)：\(n\) 维实向量空间 (n-dimensional real vector space)
▮▮▮▮ⓓ \(\mathbb{C}^n\)：\(n\) 维复向量空间 (n-dimensional complex vector space)
▮▮▮▮ⓔ \(A \in M_{m \times n}(\mathbb{R})\)：\(A\) 是一个 \(m \times n\) 的实矩阵 (A is an m x n real matrix)
▮▮▮▮⚝ \(\mathbf{x}\)：向量 (Vector) (通常用粗体小写字母表示)
▮▮▮▮⚝ \(A\), \(B\), \(C\), ...：矩阵 (Matrix) (通常用大写字母表示)
▮▮▮▮⚝ \(I\), \(I_n\)：单位矩阵 (Identity matrix) (通常用 \(I\) 或 \(I_n\) 表示 \(n \times n\) 单位矩阵)
▮▮▮▮⚝ \(\mathbf{0}\)：零向量 (Zero vector) 或零矩阵 (Zero matrix)
▮▮▮▮⚝ \(A^T\), \(\mathbf{x}^T\)：矩阵 \(A\) 或向量 \(\mathbf{x}\) 的转置 (Transpose of matrix A or vector x)
▮▮▮▮⚝ \(A^{-1}\)：矩阵 \(A\) 的逆矩阵 (Inverse of matrix A)
▮▮▮▮⚝ \(A^+\)：矩阵 \(A\) 的 Moore-Penrose 广义逆 (Moore-Penrose generalized inverse of matrix A)
▮▮▮▮⚝ \(\det(A)\) 或 \(|A|\)：矩阵 \(A\) 的行列式 (Determinant of matrix A)
▮▮▮▮⚝ \(\text{rank}(A)\)：矩阵 \(A\) 的秩 (Rank of matrix A)
▮▮▮▮⚝ \(\text{nullity}(A)\)：矩阵 \(A\) 的零化度 (Nullity of matrix A)
▮▮▮▮⚝ \(\text{span}(S)\)：集合 \(S\) 的生成空间 (Span of set S)
▮▮▮▮⚝ \(\text{null}(A)\) 或 \(\text{ker}(A)\)：矩阵 \(A\) 的零空间 (Null space or kernel of matrix A)
▮▮▮▮⚝ \(\text{col}(A)\) 或 \(\text{Im}(A)\)：矩阵 \(A\) 的列空间 (Column space or image of matrix A)
▮▮▮▮⚝ \(\lambda\), \(\mu\), ...：特征值 (Eigenvalue)
▮▮▮▮⚝ \(\mathbf{v}\), \(\mathbf{u}\), ...：特征向量 (Eigenvector)
▮▮▮▮⚝ \(\langle \mathbf{u}, \mathbf{v} \rangle\), \(\mathbf{u} \cdot \mathbf{v}\)：向量 \(\mathbf{u}\) 和 \(\mathbf{v}\) 的内积 (Inner product or dot product of vectors u and v)
▮▮▮▮⚝ \(\|\mathbf{v}\|\)：向量 \(\mathbf{v}\) 的范数 (Norm of vector v)
▮▮▮▮⚝ \(A \sim B\): 矩阵 \(A\) 相似于矩阵 \(B\) (Matrix A is similar to matrix B)
▮▮▮▮⚝ \(A \cong B\): 向量空间 \(A\) 同构于向量空间 \(B\) (Vector space A is isomorphic to vector space B)

⚝ 术语 (Terms)：
▮▮▮▮⚝ 线性方程组 (Systems of Linear Equations)
▮▮▮▮⚝ 高斯消元法 (Gaussian Elimination)
▮▮▮▮⚝ 行阶梯形 (Row Echelon Form)
▮▮▮▮⚝ 向量空间 (Vector Space)
▮▮▮▮⚝ 子空间 (Subspace)
▮▮▮▮⚝ 线性组合 (Linear Combination)
▮▮▮▮⚝ 线性相关 (Linear Dependence)
▮▮▮▮⚝ 线性无关 (Linear Independence)
▮▮▮▮⚝ 基 (Basis)
▮▮▮▮⚝ 维数 (Dimension)
▮▮▮▮⚝ 线性变换 (Linear Transformation)
▮▮▮▮⚝ 核空间 (Kernel Space)
▮▮▮▮⚝ 像空间 (Image Space)
▮▮▮▮⚝ 行列式 (Determinant)
▮▮▮▮⚝ 特征值 (Eigenvalue)
▮▮▮▮⚝ 特征向量 (Eigenvector)
▮▮▮▮⚝ 对角化 (Diagonalization)
▮▮▮▮⚝ 内积空间 (Inner Product Space)
▮▮▮▮⚝ 正交性 (Orthogonality)
▮▮▮▮⚝ 标准正交基 (Orthonormal Basis)
▮▮▮▮⚝ 施密特正交化过程 (Gram-Schmidt Process)
▮▮▮▮⚝ 二次型 (Quadratic Form)
▮▮▮▮⚝ 若尔当标准型 (Jordan Canonical Form)
▮▮▮▮⚝ 广义逆矩阵 (Generalized Inverse Matrix)
▮▮▮▮⚝ 数值线性代数 (Numerical Linear Algebra)
▮▮▮▮⚝ 奇异值分解 (Singular Value Decomposition, SVD)
▮▮▮▮⚝ 主成分分析 (Principal Component Analysis, PCA)
▮▮▮▮⚝ 机器学习 (Machine Learning)
▮▮▮▮⚝ 数据科学 (Data Science)

参考文献 (References)

本书内容参考了以下经典线性代数教材和相关资料：

⚝ Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press.
⚝ Sheldon Axler. Linear Algebra Done Right. Springer.
⚝ Stephen H. Friedberg, Arnold J. Insel, Lawrence E. Spence. Linear Algebra. Prentice Hall.
⚝ David C. Lay, Steven R. Lay, Judi J. McDonald. Linear Algebra and Its Applications. Pearson.
⚝ James W. Demmel. Applied Numerical Linear Algebra. SIAM.
⚝ Gene H. Golub, Charles F. Van Loan. Matrix Computations. Johns Hopkins University Press.

这些书籍提供了线性代数理论的严谨阐述、丰富的例子和习题，是进一步深入学习的宝贵资源。