特征值与特征向量

(实)正定矩阵 $M$:$\forall \vec{x} \ne \vec{0},s.t.\vec{x}^TM\vec{x}>0$

考虑几何意义:$\vec{x}^TM\vec{x}=\vec{x}^T\vec{x’}>0$

也就是 $\vec{x}$ 在经过 $M$ 进行线性变化后,得到了与 $\vec{x}$ 夹角小于 $\frac{\pi}{2}$ 的向量 $\vec{x’}$
也就是说 $M$ 是把 $\vec{x}$ 往以 $\vec{x}$ 为法向量确定的半超空间进行映射
也就是说 $M$ 是将 $\vec{x}$ 沿着 $\vec{x}$ 的正方向进行映射

考虑矩阵 $M$ 的特征值:

矩阵 $M$ 的一组特征对 $(\lambda,\vec{v})$,表示某个向量会沿着特征向量 $\vec{v}$ 的方向进行映射,缩放比例由特征值 $\lambda$ 决定
$$
M\vec{v}_k=\lambda_k\vec{v}_k \Rightarrow M\vec{x}=M\sum a_k\vec{v}_k=\sum a_k\lambda_k\vec{v}_k
$$
也就是说,$\vec{x}$ 的 $\vec{v}_k$ 方向会缩放为原先的 $\lambda_k$ 倍

由于 $\vec{x}$ 和 $\vec{x}’$ 的夹角是小于 $\frac{\pi}{2}$,这实际上是意味着 $\lambda_k>0$(这里有点小问题)

但:$\forall(\lambda,\vec{v}),s.t.\vec{v}^TM\vec{v}>0 \Rightarrow \vec{v}^T\lambda \vec{v}=\lambda \Vert \vec{v} \Vert >0 \Rightarrow \lambda>0$

那么“正定”实际上指的是线性变换后,像与原像在方向上大体一致

所以,“特征”指的是方向特征,也就是说 $\vec{v}$ 在 $M$ 映射后只会进行伸缩而不会进行旋转!

对角化和谱分解

  • 谱分解
    • $\exists X,\det(X) \ne 0, s.t. X^{-1}AX=\Lambda=\mathrm{diag}(\vec{\lambda})$
    • 称 $X$ 对角化 $A$
    • 称分解 $A=X\Lambda X^{-1}$ 为 $A$ 的谱分解
  • 对 $n$ 阶方阵 $A$,有:$A$ 可对角化,当且仅当 $A$ 有 $n$ 个线性无关的特征向量
    • 如果方阵 $A$ 可对角化
      • $A$ 存在谱分解 $A=X\Lambda X^{-1}$
      • $\Lambda$ 的对角元素是 $A$ 的特征值
      • $X$ 的第 $i$ 列就是 $A$ 的属于 $\Lambda$ 的第 $i$ 个对角元素的特征向量
  • 方阵的属于不同特征值的特征向量线性无关
  • 几何重数:$\dim \mathcal{N}(\lambda_0I_n-A)$
    • $1 \le \text{几何重数} \le \text{代数重数}$
    • 特征值至少对应一个特征向量
  • 特征值
    • 特征值:$\text{代数重数}=1$
    • 半单特征值:$\text{代数重数}=\text{几何重数}$
    • 亏损特征值:$\text{代数重数} > \text{几何重数}$
  • 矩阵可对角化
    • $n$ 阶方阵 $A$ 在 $\mathbb{C}$ 上可对角化,当且仅当其特征值都半单
    • $n$ 阶方阵 $A$ 在 $\mathbb{R}$ 上可对角化,当且仅当其特征值多项式都是实根,且其特征值都半单
  • 对于分块对角矩阵 $A=\begin{bmatrix}A_1 & \\ & A_2 \end{bmatrix}$,有:$A$ 可对角化当且仅当 $A_1,A_2$ 都可对角化