← Temas

Varias variables: gradiente, jacobiano y hessiano

En una variable, la derivada era un número: la pendiente. En varias variables, $f : \mathbb{R}^n \to \mathbb{R}^m$, la derivada se vuelve un mapa lineal —una matriz—. Toda la riqueza del capítulo está ahí: el objeto que mejor aproxima localmente a $f$ ya no es una recta, sino una transformación lineal. Tres versiones de esa idea organizan todo: gradiente, jacobiano y hessiano.

La derivada como mapa lineal

La derivada total de $f$ en $a$ es la mejor aproximación lineal:

donde $Df(a)$ es una matriz que actúa sobre el incremento $h$. Sus entradas son las derivadas parciales $\frac{\partial f_i}{\partial x_j}$ (derivar respecto de una variable tratando las otras como constantes). Según la forma de $f$, esa matriz recibe distinto nombre.

Cuidado: tener todas las parciales no es ser diferenciable. Las parciales solo miran las direcciones de los ejes. La función $f(x,y) = \frac{xy}{x^2+y^2}$ (con $f(0,0)=0$) tiene ambas parciales nulas en el origen —vale $0$ sobre los ejes— pero ni siquiera es continua ahí: sobre la recta $y = x$ vale $\tfrac12$. La diferenciabilidad exige buena aproximación lineal en todas las direcciones a la vez. (Sí alcanza, en cambio, que las parciales sean continuas en un entorno.)

El gradiente — la dirección de máximo ascenso

Para una función escalar $f : \mathbb{R}^n \to \mathbb{R}$, la derivada es un vector, el gradiente:

Su magia: la derivada direccional en una dirección unitaria $u$ es $D_u f = \nabla f \cdot u$, que se maximiza cuando $u$ apunta como $\nabla f$. O sea, $\nabla f$ apunta hacia donde $f$ crece más rápido, y es perpendicular a las curvas de nivel (moverse a lo largo de una curva de nivel no cambia $f$, así que no tiene componente del gradiente). Movelo:

Por eso el descenso por gradiente se mueve en dirección $-\nabla f$: cuesta abajo, lo más rápido posible. La derivada que en una variable era "la pendiente" acá es "la dirección y la pendiente".

El jacobiano — el mapa lineal local

Para $f : \mathbb{R}^n \to \mathbb{R}^m$, la derivada es la matriz completa de parciales, el jacobiano:

Es el mapa lineal que mejor imita a $f$ cerca del punto: manda un cuadradito a un paralelogramo (en 3D, un cubito a un paralelepípedo). Sus columnas son las imágenes de los vectores base:

Dos consecuencias enormes. Primero, $\lvert \det J_f \rvert$ es cuánto escala el área (o el volumen) localmente —es el factor del cambio de variable en integrales múltiples, $dV' = \lvert\det J\rvert\,dV$. Segundo, la regla de la cadena se vuelve producto de matrices:

El gradiente es el caso $m = 1$: $\nabla f$ es el jacobiano de una función escalar (una matriz $1 \times n$). El jacobiano es el corazón de la linealización, de Gauss–Newton (jacobiano de los residuos) y de la propagación de incertidumbre $\Sigma' = J\,\Sigma\,J^\top$.

Deshacer y despejar: función inversa e implícita

El determinante del jacobiano no solo escala volumen: decide si $f$ se puede invertir localmente.

Teorema de la función inversa. Si $f : \mathbb{R}^n \to \mathbb{R}^n$ es $C^1$ y $\det J(p) \neq 0$, entonces cerca de $p$ la función es biyectiva, su inversa es $C^1$, y $(f^{-1})'(f(p)) = J(p)^{-1}$ —la versión matricial del $1/f'$ de una variable.

La intuición: $\det J(p) \neq 0$ significa que la aproximación lineal no aplasta el espacio (manda un cubito a un paralelepípedo de volumen positivo, no a algo degenerado), así que localmente $f$ se comporta como una transformación lineal invertible. La prueba reduce $f(x) = y$ a un punto fijo $\varphi_y(x) = x + A^{-1}(y - f(x))$ y muestra que es una contracción —de ahí la solución única, vía la completitud de $\mathbb{R}^n$—. Es local: en polares $f(r,\theta) = (r\cos\theta,\, r\sin\theta)$ tiene $\det J = r \neq 0$, pero $\theta$ y $\theta + 2\pi$ dan el mismo punto: invertible cerca, no globalmente.

Teorema de la función implícita. Dada $F(x,y) = 0$ con $F$ de clase $C^1$, si $\frac{\partial F}{\partial y} \neq 0$ en un punto, entonces localmente existe $y = g(x)$ de clase $C^1$ con $F(x, g(x)) = 0$ —aunque no haya fórmula explícita—, y $g'(x) = -\dfrac{\partial F/\partial x}{\partial F/\partial y}$.

Es un corolario del anterior (aplicado a $(x,y) \mapsto (x, F(x,y))$, cuyo jacobiano tiene determinante $\partial F/\partial y$). El círculo $x^2 + y^2 = 1$ lo ilustra: globalmente no define $y = g(x)$ (dos ramas), pero localmente sí donde $\partial F/\partial y = 2y \neq 0$; falla exactamente en $(\pm 1, 0)$, donde la tangente es vertical y las ramas se juntan. Inversa e implícita son hermanas: un determinante (o una derivada) no nulo garantiza que localmente se puede invertir o despejar, porque nada colapsó.

El hessiano — curvatura y óptimos

El gradiente es la primera derivada; la segunda es la matriz de derivadas parciales segundas, el hessiano:

Es simétrico (teorema de Clairaut–Schwarz: el orden de derivación no importa). Aparece en el Taylor de segundo orden:

En un punto crítico ($\nabla f = 0$) el término lineal se anula y manda el hessiano: la forma cuadrática $h^\top H h$ decide si es mínimo, máximo o silla, según el signo de los autovalores de $H$. Jugá con la forma:

Autovalores ambos positivos ($H$ definida positiva) → mínimo (cuenco); ambos negativos → máximo (cúpula); signos opuestos → silla. En 2D el atajo es el test de la segunda derivada: $\det H > 0$ y $f_{xx} > 0 \Rightarrow$ mínimo; $\det H < 0 \Rightarrow$ silla.

El hessiano es el jacobiano del gradiente, $H = J_{\nabla f}$, lo que cierra el círculo: gradiente → jacobiano → hessiano son la misma idea aplicada una y otra vez.

Por qué esto es la caja de herramientas de la optimización

Las tres piezas son, literalmente, la optimización moderna:

• Gradiente → descenso por gradiente: $x_{k+1} = x_k - \eta\,\nabla f$.
• Hessiano → método de Newton: $x_{k+1} = x_k - H^{-1}\nabla f$, que usa la curvatura para dar el paso óptimo (y converge cuadráticamente cerca del óptimo).
• Convexidad = $H \succeq 0$ en todo el dominio: garantiza que el mínimo local es global —la propiedad que vuelve confiable la optimización convexa.
• En estadística, la información de Fisher es $-E[H]$ de la log-verosimilitud: la curvatura de la verosimilitud mide cuánta información traen los datos, y su inversa es la covarianza asintótica del estimador.

De la pendiente en un punto pasamos a una matriz que codifica dirección, escala y curvatura. La derivada creció hasta volverse álgebra lineal —y ahí vive casi toda la optimización moderna.