Derivadas respecto a vectores y matrices

Podrías derivar cualquier expresión vectorial bajando a componentes —escribir las sumas, derivar cada $x_i$ , recolectar—, pero es lento y opaco. El cálculo matricial da reglas para derivar formas como $\mathbf{a}^\top\mathbf{x}$ o $\mathbf{x}^\top A\mathbf{x}$ de un vistazo, tratando los vectores como un todo. Y la sorpresa tranquilizadora: es un espejo del cálculo escalar que ya dominás.

La convención: el gradiente tiene la forma de $\mathbf{x}$

La derivada de un escalar $f$ respecto de un vector $\mathbf{x}$ es un vector de la misma forma que $\mathbf{x}$ , con entrada $i$ igual a $\partial f / \partial x_i$ —es el gradiente—:

\frac{\partial f}{\partial \mathbf{x}} = \nabla f = \left(\frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n}\right)^\top.

Las cuatro identidades

Cubren el 90% de lo que vas a necesitar. Después de cada una, su gemela escalar —para que veas que no son reglas nuevas—.

1 · Forma lineal. $\nabla(\mathbf{a}^\top\mathbf{x}) = \mathbf{a}$ . Como $\mathbf{a}^\top\mathbf{x} = \sum_i a_i x_i$ , derivar en $x_j$ deja solo $a_j$ . (Escalar: $\tfrac{d}{dx}(ax) = a$ .)

2 · Norma al cuadrado. $\nabla(\mathbf{x}^\top\mathbf{x}) = 2\mathbf{x}$ . Como $\mathbf{x}^\top\mathbf{x} = \sum_i x_i^2$ , derivar en $x_j$ da $2x_j$ . (Escalar: $\tfrac{d}{dx}(x^2) = 2x$ .)

3 · Forma cuadrática (la clave). $\nabla(\mathbf{x}^\top A\mathbf{x}) = (A + A^\top)\mathbf{x} = 2A\mathbf{x}$ si $A$ es simétrica. En $\sum_{i,j} A_{ij} x_i x_j$ , la variable $x_k$ aparece como $x_i$ y como $x_j$ ; derivando salen $(A\mathbf{x})_k + (A^\top\mathbf{x})_k$ . (Escalar: $\tfrac{d}{dx}(ax^2) = 2ax$ .) Es la identidad de cada exponente gaussiano y cada varianza cuadrática.

4 · Mínimos cuadrados. $\nabla\lVert A\mathbf{x} - \mathbf{b}\rVert^2 = 2A^\top(A\mathbf{x} - \mathbf{b})$ . Expandiendo $\lVert A\mathbf{x} - \mathbf{b}\rVert^2 = \mathbf{x}^\top A^\top A\,\mathbf{x} - 2\mathbf{b}^\top A\mathbf{x} + \mathbf{b}^\top\mathbf{b}$ y aplicando las identidades 3 ( $A^\top A$ simétrica) y 1.

El espejo, lado a lado:

Expresión	Gradiente	Gemela escalar
$\mathbf{a}^\top\mathbf{x}$	$\mathbf{a}$	$\tfrac{d}{dx}(ax) = a$
$\mathbf{x}^\top\mathbf{x}$	$2\mathbf{x}$	$\tfrac{d}{dx}(x^2) = 2x$
$\mathbf{x}^\top A\mathbf{x}$	$2A\mathbf{x}$ (sim.)	$\tfrac{d}{dx}(ax^2) = 2ax$
$\lVert A\mathbf{x} - \mathbf{b}\rVert^2$	$2A^\top(A\mathbf{x} - \mathbf{b})$	(combinación)

Donde el escalar tiene $a$ , $2x$ , $2ax$ , el matricial tiene $\mathbf{a}$ , $2\mathbf{x}$ , $2A\mathbf{x}$ : las de siempre, con matrices en lugar de números.

El pago: OLS en tres líneas

La regresión minimiza $\lVert X\boldsymbol\beta - \mathbf{y}\rVert^2$ ; el mínimo está donde el gradiente se anula (identidad 4):

\nabla\lVert X\boldsymbol\beta - \mathbf{y}\rVert^2 = 2X^\top(X\boldsymbol\beta - \mathbf{y}) = 0 \;\Longrightarrow\; X^\top X\,\hat{\boldsymbol\beta} = X^\top\mathbf{y} \;\Longrightarrow\; \hat{\boldsymbol\beta} = (X^\top X)^{-1} X^\top\mathbf{y}.

Dos caminos al mismo lugar. En proyecciones obtuviste las ecuaciones normales por geometría (residual ⊥ espacio columna); acá por cálculo (gradiente cero). Coinciden porque el mínimo de una distancia es a la vez "no se puede bajar más" (gradiente cero) y "perpendicularidad". El error $\lVert X\boldsymbol\beta - \mathbf{y}\rVert^2$ es un cuenco convexo ( $X^\top X$ definida positiva) y resolver OLS es hallar su fondo.

Ridge sale igual: derivando $\lVert X\boldsymbol\beta - \mathbf{y}\rVert^2 + \lambda\lVert\boldsymbol\beta\rVert^2$ , el término $\lambda\lVert\boldsymbol\beta\rVert^2$ aporta $2\lambda\boldsymbol\beta$ (identidad 2), y queda $\hat{\boldsymbol\beta} = (X^\top X + \lambda I)^{-1} X^\top\mathbf{y}$ —el $+\lambda I$ que vuelve invertible la matriz—.

El exponente gaussiano

El otro pago directo. La log-densidad gaussiana tiene el exponente $-\tfrac12(\mathbf{x} - \boldsymbol\mu)^\top \Sigma^{-1}(\mathbf{x} - \boldsymbol\mu)$ ; derivarlo en $\mathbf{x}$ es la identidad 3 (con $A = \Sigma^{-1}$ , simétrica):

\nabla_{\mathbf{x}}\Bigl[-\tfrac12(\mathbf{x} - \boldsymbol\mu)^\top \Sigma^{-1}(\mathbf{x} - \boldsymbol\mu)\Bigr] = -\Sigma^{-1}(\mathbf{x} - \boldsymbol\mu).

Igualar a cero da $\mathbf{x} = \boldsymbol\mu$ : la densidad tiene su pico en la media. Y derivando en $\boldsymbol\mu$ y sumando sobre los datos sale la ecuación del MLE de la media. Estas identidades son las que te dejan calcular la score $\nabla_{\boldsymbol\theta}\log L = \mathbf{0}$ a mano para modelos gaussianos y lineales, en vez de derivar numéricamente.

Recall activo

¿Cuánto vale $\nabla(\mathbf{a}^\top\mathbf{x})$ ? ¿Y $\nabla(\mathbf{x}^\top\mathbf{x})$ ?
Derivá $\nabla(\mathbf{x}^\top A\mathbf{x})$ con $A$ simétrica. ¿La gemela escalar?
Derivá las ecuaciones normales de OLS igualando un gradiente a cero.
¿Por qué Ridge produce $(X^\top X + \lambda I)^{-1}$ ?

Soluciones: (1) $\mathbf{a}$ y $2\mathbf{x}$ ; (2) $2A\mathbf{x}$ , gemela $\tfrac{d}{dx}(ax^2) = 2ax$ ; (3) $2X^\top(X\hat{\boldsymbol\beta} - \mathbf{y}) = 0 \Rightarrow X^\top X\hat{\boldsymbol\beta} = X^\top\mathbf{y}$ ; (4) el término $\lambda\lVert\boldsymbol\beta\rVert^2$ deriva a $2\lambda\boldsymbol\beta$ (identidad 2), que suma $\lambda I$ dentro de la matriz a invertir.