← Temas

Producto interno, proyecciones y mínimos cuadrados

Hasta acá el espacio vectorial no tenía geometría: podías sumar y escalar, pero no medir longitudes ni ángulos. El producto interno agrega exactamente eso —y con él aparece la idea más rentable de toda el área: la proyección, que es mínimos cuadrados, regresión y esperanza condicional, todo a la vez. La revelación de fondo: la covarianza es un producto interno entre variables y la correlación es el coseno del ángulo entre ellas.

El producto interno: geometría

En $\mathbb{R}^n$ es el producto punto de siempre, $\langle \mathbf{u}, \mathbf{v}\rangle = \mathbf{u}^\top\mathbf{v} = \sum_i u_i v_i$. Pero lo que importa no es la fórmula sino las tres propiedades que cumple —cualquier operación que las cumpla es un producto interno y hereda toda la geometría:

• Simetría: $\langle \mathbf{u}, \mathbf{v}\rangle = \langle \mathbf{v}, \mathbf{u}\rangle$.
• Linealidad: $\langle a\mathbf{u} + b\mathbf{w}, \mathbf{v}\rangle = a\langle \mathbf{u}, \mathbf{v}\rangle + b\langle \mathbf{w}, \mathbf{v}\rangle$.
• Definida positiva: $\langle \mathbf{v}, \mathbf{v}\rangle \ge 0$, con igualdad solo si $\mathbf{v} = \mathbf{0}$.

La última es la clave: garantiza que $\langle \mathbf{v}, \mathbf{v}\rangle$ tenga raíz real, que es la longitud:

Cauchy–Schwarz y el ángulo

Para que el coseno de un ángulo caiga en $[-1, 1]$ hace falta una desigualdad —la Cauchy–Schwarz, una de las más importantes de la matemática:

Prueba (completando el cuadrado). Para todo escalar $t$, la definición positiva da $\lVert \mathbf{u} - t\mathbf{v}\rVert^2 = \lVert \mathbf{u}\rVert^2 - 2t\langle \mathbf{u}, \mathbf{v}\rangle + t^2\lVert \mathbf{v}\rVert^2 \ge 0$. Es una cuadrática en $t$ que nunca es negativa; su mínimo (en $t^\star = \langle \mathbf{u},\mathbf{v}\rangle / \lVert \mathbf{v}\rVert^2$) vale $\lVert \mathbf{u}\rVert^2 - \langle \mathbf{u},\mathbf{v}\rangle^2 / \lVert \mathbf{v}\rVert^2 \ge 0$, que reordenado es la desigualdad. $\;\blacksquare$ (Ese $t^\star$ es, además, el coeficiente de proyección de abajo.)

Con eso, el cociente está garantizado en $[-1,1]$ y define el ángulo:

La revelación. Si el "producto interno" entre variables centradas es la covarianza $\langle X, Y\rangle = \mathbb{E}[XY]$, entonces la longitud es la desviación estándar ($\lVert X\rVert = \sqrt{\mathbb{E}[X^2]} = \sigma$) y el coseno es la correlación $\rho = \tfrac{\operatorname{Cov}(X,Y)}{\sigma_X \sigma_Y}$. Cauchy–Schwarz dice, en ese lenguaje, que $\lvert\rho\rvert \le 1$.

Ortogonalidad y proyección

El caso estrella es el ángulo de $90°$: como $\cos 90° = 0$, dos vectores son ortogonales exactamente cuando $\langle \mathbf{u}, \mathbf{v}\rangle = 0$ (en probabilidad: incorrelados). Y ahí vuelve Pitágoras: si $\mathbf{u} \perp \mathbf{v}$, $\lVert \mathbf{u} + \mathbf{v}\rVert^2 = \lVert \mathbf{u}\rVert^2 + \lVert \mathbf{v}\rVert^2$.

La proyección de $\mathbf{u}$ sobre la dirección de $\mathbf{v}$ —su mejor aproximación usando solo esa dirección— es

y su propiedad definitoria es que el residual $\mathbf{u} - \operatorname{proy}_{\mathbf{v}}(\mathbf{u})$ es ortogonal a $\mathbf{v}$. Esa frase —"mejor aproximación, error perpendicular"— es, literalmente, mínimos cuadrados y esperanza condicional. Miralo:

Bases ortonormales. Cuando los vectores de una base son perpendiculares y de longitud $1$, hallar coordenadas es gratis: en vez de invertir una matriz (como en el cambio de base), las coordenadas son simples productos internos, $\mathbf{v} = \sum_i \langle \mathbf{v}, \mathbf{e}_i\rangle\,\mathbf{e}_i$.

Mínimos cuadrados: el punto más cercano

¿Qué hacés cuando $A\mathbf{x} = \mathbf{b}$ no tiene solución porque $\mathbf{b}$ sobresale del espacio columna (datos con ruido, más ecuaciones que incógnitas)? Te quedás con lo más cerca posible: proyectás $\mathbf{b}$ sobre el plano alcanzable. Y ese punto ortogonal es el más cercano —por Pitágoras:

Sea $\mathbf{p} \in S$ con $\mathbf{b} - \mathbf{p} \perp S$. Para cualquier otro $\mathbf{s} \in S$: $\lVert \mathbf{b} - \mathbf{s}\rVert^2 = \lVert \mathbf{b} - \mathbf{p}\rVert^2 + \lVert \mathbf{p} - \mathbf{s}\rVert^2 \ge \lVert \mathbf{b} - \mathbf{p}\rVert^2$, porque $\mathbf{p} - \mathbf{s} \in S$ es ortogonal a $\mathbf{b} - \mathbf{p}$. La proyección minimiza la distancia. $\;\blacksquare$

"Residual ortogonal a todo el subespacio" equivale a "ortogonal a cada columna", $A^\top(\mathbf{b} - A\hat{\mathbf{x}}) = \mathbf{0}$, las ecuaciones normales:

(cuando las columnas son independientes, así $A^\top A$ es invertible). La matriz de proyección $P = A(A^\top A)^{-1}A^\top$ es idempotente ($P^2 = P$: proyectar lo ya proyectado no lo mueve) y simétrica.

OLS es esto, y el R² es un ángulo

Cambiá las etiquetas —$A \to X$ (regresores), $\mathbf{x} \to \boldsymbol\beta$, $\mathbf{b} \to \mathbf{y}$— y aparece toda la regresión lineal:

$H$ es la matriz sombrero: el ajuste $\hat{\mathbf{y}}$ es la proyección de las observaciones sobre el espacio columna, y las ecuaciones normales $X^\top\mathbf{e} = \mathbf{0}$ dicen, palabra por palabra, "los residuales no correlacionan con ningún predictor". Con datos centrados, Pitágoras da $\lVert \mathbf{y}\rVert^2 = \lVert \hat{\mathbf{y}}\rVert^2 + \lVert \mathbf{e}\rVert^2$ (total = explicada + residual), y

el coseno al cuadrado del ángulo entre $\mathbf{y}$ y el espacio columna. Movés la pendiente y mirás el SSE crecer fuera del óptimo:

Multicolinealidad. Si las columnas de $X$ son dependientes, $A^\top A$ es singular ($\ker(X) \neq \{\mathbf{0}\}$): hay infinitos $\hat{\boldsymbol\beta}$ con idéntico ajuste. La proyección $\hat{\mathbf{y}}$ siempre existe y es única (es geometría); lo que no es único es la receta $\hat{\boldsymbol\beta}$. Ridge suma $\lambda I$ para volver $X^\top X + \lambda I$ invertible y fijar una solución.

Matrices simétricas y definidas positivas

La proyección dejó a la vista una clase de matrices que reaparece sin parar: $A^\top A$. Siempre es simétrica ($(A^\top A)^\top = A^\top A$) y semidefinida positiva, porque $\mathbf{x}^\top (A^\top A)\,\mathbf{x} = \lVert A\mathbf{x}\rVert^2 \ge 0$. Es exactamente la forma de una matriz de covarianza.

Una forma cuadrática $\mathbf{x}^\top M\,\mathbf{x}$ con $M$ simétrica es definida positiva si $\mathbf{x}^\top M\,\mathbf{x} > 0$ para todo $\mathbf{x} \neq \mathbf{0}$ —el análogo de "$a > 0$" en una parábola—, lo que equivale a que todos sus autovalores sean positivos. Esa positividad es lo que garantiza que una covarianza describa una nube real (un elipsoide con volumen) y que su factorización de Cholesky $M = LL^\top$ exista, la forma estándar de "sacarle la raíz" a una matriz.

Lo que sigue

La frase "todos sus autovalores son positivos" abre la última puerta: autovalores, descomposición espectral, SVD y PCA —las direcciones propias de una matriz simétrica, y cómo diagonalizarla para volver círculos las elipses.