早上在面试的时候被问到了这个问题，所以记录一下。。。
矩阵的求解通常涉及线性方程组、特征值问题或矩阵方程等场景，不同问题有不同的求解方法。以下是常见的矩阵求解方式及其分类介绍：
1 线性方程组求解
针对形如 A\mathbf{x} = \mathbf{b} 的方程组：
- 高斯消元法： 通过初等行变换将增广矩阵化为行阶梯形（REF）或简化行阶梯形（RREF），然后回代求解。适用于小规模稠密矩阵。
- LU分解： 将矩阵 A 分解为下三角矩阵 L 和上三角矩阵 U，分两步求解 L\mathbf{y} = \mathbf{b} 和 U\mathbf{x} = \mathbf{y}。适合需要多次求解不同 \mathbf{b} 的情况。
- Cholesky分解： 针对对称正定矩阵，分解为 A = LL^T，效率高于LU分解。
- QR分解： 将矩阵分解为正交矩阵 Q 和上三角矩阵 R，通过 \mathbf{x} = R^{-1}Q^T\mathbf{b} 求解。数值稳定性高，适合病态矩阵。
- 迭代法：（如雅可比法、高斯-赛德尔法、共轭梯度法） 适用于大规模稀疏矩阵，通过迭代逼近解，节省存储空间。
2 矩阵逆与直接求逆
- 伴随矩阵法： 对小矩阵（如2×2或3×3），使用 A^{-1} = \frac{\text{adj}(A)}{\det(A)}，但计算量大。
- 分块求逆： 对大矩阵分块后按块求逆（如Schur补）。
- 数值方法： 通过LU分解或QR分解间接求逆（实际中避免直接求逆，因计算复杂且不稳定）。
3 特征值与特征向量求解
针对 A\mathbf{v} = \lambda \mathbf{v}：
- 幂迭代法： 求模最大的特征值及其向量，适合稀疏矩阵。
- QR算法： 通过迭代QR分解将矩阵转化为上三角形式，得到全部特征值。
- 雅可比方法： 适用于对称矩阵，通过旋转消去非对角元素。
- Lanczos算法： 对大型稀疏矩阵近似计算特征值。
4 矩阵方程求解
如 $AX + XB = C$（Sylvester方程）：
- Bartels-Stewart算法： 通过Schur分解将问题转化为三角方程组。
- Kronecker积法： 将矩阵方程向量化后求解，但计算复杂度高。
5 最小二乘问题
针对超定方程组 \|A\mathbf{x} - \mathbf{b}\|_2 最小化：
- 正规方程法： 解 A^TA\mathbf{x} = A^T\mathbf{b}，但 A^TA 可能病态。
- QR分解： 数值稳定，直接对 A 分解。
- SVD分解： 通过奇异值分解 A = U\Sigma V^T，解为 \mathbf{x} = V\Sigma^{-1}U^T\mathbf{b}，适合病态问题。
6 特殊矩阵的快速算法
- Toeplitz矩阵：Levinson递推法。
- 稀疏矩阵：使用压缩存储（如CSR）结合迭代法（如GMRES）。
- 带状矩阵：专用高斯消元法保留带宽。
7 符号计算
对符号矩阵（如Mathematica、SymPy），使用解析方法（如克莱姆法则），但仅适合小规模问题。
选择方法的依据
- 矩阵规模：小矩阵用直接法，大矩阵用迭代法。
- 稀疏性：稀疏矩阵优先迭代法。
- 条件数：病态矩阵需QR或SVD。
- 是否需要并行计算：如使用HPC库（LAPACK、PETSc）。
每种方法各有优劣，实际应用中需结合问题特性选择。