Autovalores, descomposición espectral, SVD y PCA

Acá se ensambla toda la parte: el cambio de base, la covarianza como producto interno y las matrices simétricas se unen en una sola idea —encontrar las direcciones propias de una matriz—. Elegir la base correcta vuelve trivial una matriz complicada, y de ahí cae PCA.

Autovalores y autovectores

Casi toda dirección, al multiplicarla por $A$ , sale girada y estirada. Pero hay direcciones especiales que $A$ solo estira, sin rotar:

A\mathbf{v} = \lambda\,\mathbf{v}, \qquad \mathbf{v} \neq \mathbf{0}.

$\mathbf{v}$ es un autovector y $\lambda$ su autovalor (el factor de estiramiento). Movés $\mathbf{v}$ y, sobre las rectas propias, $A\mathbf{v}$ vuelve a apuntar igual:

Autovectores: las direcciones que solo se estiran — interactivo

M = [ 1.6 0.8 ; 0.8 1 ]
autovalores λ₁ = 2.15, λ₂ = 0.45

girá v hasta una recta roja: ahí Mv apunta igual que v

dirección de v25°

a1.6

b0.8

Un autovector es una dirección que la matriz **solo estira**, sin girarla: Mv = λv. Para casi todo v, el resultado Mv apunta distinto; pero sobre las rectas rojas coincide en dirección y solo cambia de largo por el factor λ (el autovalor). Como M es **simétrica**, sus dos autovectores son **perpendiculares** —el regalo del teorema espectral—.

Salen de la ecuación característica $\det(A - \lambda I) = 0$ (los $\lambda$ que hacen singular a $A - \lambda I$ , para que $(A - \lambda I)\mathbf{v} = \mathbf{0}$ tenga solución no nula). Dos invariantes útiles: la traza es la suma de los autovalores ( $\operatorname{tr} A = \sum_i \lambda_i$ ) y el determinante su producto ( $\det A = \prod_i \lambda_i$ ) —por eso $\det A = 0 \iff$ algún $\lambda = 0 \iff A$ no es invertible.

Diagonalización y descomposición espectral

Si juntás los autovectores como columnas de $P$ y los autovalores en una diagonal $\Lambda$ , la matriz se diagonaliza:

A = P\,\Lambda\,P^{-1}.

Es un cambio de base: $P^{-1}$ lleva a la base propia, $\Lambda$ solo escala cada eje, y $P$ vuelve. Lo que era una transformación enredada se vuelve "estirar cada eje por su $\lambda$ ". Y se vuelve trivial calcular potencias y funciones de matrices: $A^k = P\Lambda^k P^{-1}$ (elevás los $\lambda$ , nada más).

Para matrices simétricas —las covarianzas— pasa algo mejor, el teorema espectral:

A = Q\,\Lambda\,Q^\top, \qquad Q^\top Q = I,

los autovalores son reales y los autovectores ortonormales ( $Q$ es una rotación, $Q^{-1} = Q^\top$ ). Equivalente, $A$ es una suma de rango 1, $A = \sum_i \lambda_i\,\mathbf{q}_i \mathbf{q}_i^\top$ : la matriz se descompone en sus direcciones propias, cada una pesada por su autovalor. Esa ortogonalidad gratuita es la que hace funcionar a PCA.

La descomposición en valores singulares (SVD)

Los autovalores piden una matriz cuadrada (y "linda"). La SVD generaliza la idea a cualquier matriz $A$ de $m \times n$ :

A = U\,\Sigma\,V^\top, \qquad U^\top U = I,\ V^\top V = I,\ \Sigma \text{ diagonal} \ge 0.

Toda transformación lineal es, entonces, rotar → estirar → rotar: $V^\top$ rota la entrada, $\Sigma$ estira cada eje por un valor singular $\sigma_i \ge 0$ , y $U$ rota la salida. Los valores singulares son $\sigma_i = \sqrt{\lambda_i(A^\top A)}$ , y las columnas de $V$ y $U$ son los autovectores de $A^\top A$ y $A A^\top$ . La SVD da, gratis, el rango (número de $\sigma_i > 0$ ), la mejor aproximación de rango bajo (Eckart–Young: quedarse con los mayores $\sigma_i$ es la compresión óptima) y la pseudoinversa para resolver mínimos cuadrados de forma estable.

Análisis de componentes principales (PCA)

El destino de toda la parte. Tenés datos correlacionados (muchas variables que se mueven juntas) y querés los ejes ortogonales de máxima varianza. Centrás los datos, formás la covarianza $\Sigma$ , y notás que la varianza a lo largo de una dirección unitaria $\mathbf{w}$ es una forma cuadrática:

\operatorname{Var}(\mathbf{w}^\top \mathbf{X}) = \mathbf{w}^\top \Sigma\,\mathbf{w}.

Entonces "dirección de máxima varianza" es $\max_{\lVert \mathbf{w}\rVert = 1} \mathbf{w}^\top \Sigma\,\mathbf{w}$ . Y acá está la sorpresa que conecta todo: diagonalizando $\Sigma = Q\Lambda Q^\top$ , el cociente $\frac{\mathbf{w}^\top \Sigma \mathbf{w}}{\mathbf{w}^\top \mathbf{w}}$ es un promedio ponderado de los autovalores —que se maximiza poniendo todo el peso en el mayor—. O sea:

La dirección de máxima varianza es el autovector dominante de $\Sigma$ , y la varianza que captura es su autovalor. Las componentes principales son los autovectores de $\Sigma$ ordenados por autovalor decreciente —ortogonales de regalo por el teorema espectral—.

PCA: los ejes naturales de la nube — interactivo

varianzas (autovalores): λ₁ = 5.16, λ₂ = 0.36
PC1 explica 93% de la varianza

dispersión σ₁2.2

dispersión σ₂0.8

correlación ρ0.6

PC1 es la dirección de **máxima varianza** de la nube; PC2, la perpendicular. No hay que pedir que sean ortogonales: son los autovectores de la covarianza Σ, y el teorema espectral los entrega perpendiculares de regalo. Cada autovalor es la varianza capturada por su eje; subí la correlación y mirá cómo la nube se alarga y PC1 se lleva casi todo —la base de reducir dimensión.

Cambiar a esa base es la rotación $Q^\top$ que endereza la elipse y descorrelaciona las variables; quedarse con los primeros ejes (los de mayor $\lambda$ ) es reducir dimensión sin perder casi nada. Hay dos rutas para calcularlo: los autovectores de $\Sigma$ , o —numéricamente mejor— la SVD de los datos centrados ( $X = U\Sigma V^\top$ da las componentes en $V$ directamente, sin formar $\Sigma$ ).

Cierre

Autovalores, espectro, SVD y PCA son la misma idea a profundidades crecientes: encontrar la base donde la matriz solo estira. Con esto, la parte de Álgebra lineal queda completa —de los espacios vectoriales a PCA—, y es la base sobre la que se paran la optimización (gradiente, Hessiano) y los modelos gaussianos multivariados.