Exponenciales y logaritmos

Exponencial y logaritmo son funciones inversas, y entre las dos hacen un solo truco que vale oro: la exponencial convierte sumas en productos ( $e^{x+y} = e^x e^y$ ) y el logaritmo convierte productos en sumas ( $\log(xy) = \log x + \log y$ ). Ese cambio de operación es la razón por la que aparecen en todos lados.

Leyes de los exponentes

Todas salen de una: $a^m$ es multiplicar $a$ por sí mismo $m$ veces, así que sumar exponentes es concatenar productos.

a^m a^n = a^{m+n}, \quad \frac{a^m}{a^n} = a^{m-n}, \quad (a^m)^n = a^{mn}, \quad (ab)^n = a^n b^n.

Las definiciones "raras" no son convenciones arbitrarias: se eligen para que la ley $a^{m+n} = a^m a^n$ siga valiendo. Por eso $a^0 = 1$ (para que $a^{n}a^{0}=a^n$ ), $a^{-n} = \tfrac{1}{a^n}$ , y $a^{1/n} = \sqrt[n]{a}$ .

Propiedades del logaritmo

$\log_b$ es la inversa de $b^x$ : $\log_b y = x \iff b^x = y$ . Cada ley de exponentes se refleja en una ley de logaritmos (definidas solo para argumento $> 0$ ):

\log(xy) = \log x + \log y, \quad \log\frac{x}{y} = \log x - \log y, \quad \log(x^p) = p\,\log x,

\log_b x = \frac{\ln x}{\ln b} \quad (\text{cambio de base}).

De dónde sale la estrella. Escribí $x = b^u$ , $y = b^v$ (o sea $u = \log_b x$ , $v = \log_b y$ ). Entonces $xy = b^u b^v = b^{u+v}$ , así que $\log_b(xy) = u + v = \log_b x + \log_b y$ . La propiedad producto→suma del log es, literalmente, la ley $a^m a^n = a^{m+n}$ leída a través de la inversa.

La primera es la estrella, y se ve mejor que se lee: en una escala logarítmica, multiplicar es sumar distancias.

El logaritmo convierte × en + — interactivo

log(a·b) = log a + log b → log(24) = 0.6 + 0.78 = 1.38

En una escala logarítmica, multiplicar es sumar distancias: la posición de ab es exactamente la de a más la de b. Esa es la razón de fondo por la que se maximiza la log-verosimilitud: un producto de densidades ∏ pᵢ se vuelve una suma Σ log pᵢ —más fácil de derivar y, sobre todo, sin underflow (mil factores de 0.01 dan 10⁻²⁰⁰⁰, que es cero en coma flotante; su suma de logaritmos, en cambio, es un número común).

De productos a sumas: la log-verosimilitud

Acá está el uso que justifica todo. Cuando $n$ datos son independientes, su verosimilitud es un producto,

L(\theta) = \prod_{i=1}^{n} p(x_i; \theta),

y maximizar esto a mano es horrible: derivar un producto de $n$ factores con la regla del producto es inviable. El logaritmo lo arregla. Como $\log$ es estrictamente creciente, maximizar $L$ y maximizar $\log L$ dan el mismo $\hat\theta$ ; pero el log convierte el producto en suma:

\ell(\theta) = \log L(\theta) = \sum_{i=1}^{n} \log p(x_i; \theta).

Ahora derivar es sumar derivadas, $\ell'(\theta) = \sum_i \partial_\theta \log p(x_i;\theta)$ (la score), y resolver $\ell'(\theta) = 0$ es tratable. Hay además una razón numérica brutal: un producto de muchas probabilidades desaparece por underflow —mil factores de $0{,}01$ dan $10^{-2000}$ , que en coma flotante es exactamente $0$ —, mientras que su suma de logaritmos es un número perfectamente representable. Siempre se trabaja en log.

Log-sum-exp

El compañero inevitable: cuando hay que normalizar (softmax, la evidencia de un modelo, la función de partición) aparece

\operatorname{LSE}(x_1, \dots, x_n) = \log \sum_{i=1}^{n} e^{x_i}.

Calcularlo ingenuamente vuelve a romper: si algún $x_i$ es grande, $e^{x_i}$ desborda a infinito. El arreglo es factorizar el máximo $m = \max_i x_i$ :

\operatorname{LSE}(x) = m + \log \sum_{i=1}^{n} e^{\,x_i - m}.

Ahora todos los exponentes son $\le 0$ , así que ningún término pasa de $1$ —nada desborda— y el resultado es idéntico. Probalo subiendo un $x_i$ por encima de $709$ :

Log-sum-exp: estable y suave — interactivo

ingenuo: log Σ e^xᵢ

5.17

estable: m + log Σ e^(xᵢ−m)

5.17

x12

x25

x33

LSE(x) = log Σ eˣⁱ aparece en cada normalización (softmax, evidencia, partición). El problema: con xᵢ grandes, e^xᵢ desborda a infinito (arriba de ~709 en float64) y el cálculo ingenuo muere. El truco: factorizar el máximo m, LSE = m + log Σ e^(xᵢ−m) —todos los exponentes quedan ≤ 0, nada desborda, y el resultado es idéntico. Subí un xᵢ por encima de 709 y mirá morir al ingenuo. Además, LSE es un máximo suave: queda entre max y max + log n, y los pesos softmax son justo los e^(xᵢ−m) renormalizados.

Dos lecturas extra: LSE es un máximo suave —siempre entre $\max_i x_i$ y $\max_i x_i + \log n$ —, y su gradiente es exactamente el softmax $\dfrac{e^{x_i}}{\sum_j e^{x_j}}$ , los pesos que ves en el gráfico.

Recall activo

Resolvé sin mirar:

Simplificá $\log(a^2 b) - \log b$ .
Escribí $\log\prod_{i=1}^{n} f(x_i)$ como suma.
Estabilizá $\log(e^{1000} + e^{1001})$ con LSE (sin calcular $e^{1000}$ ).
¿Por qué $a^0 = 1$ ? (la razón, no solo el valor)

Soluciones: (1) $2\log a$ ; (2) $\sum_{i=1}^{n} \log f(x_i)$ ; (3) $a^* = 1001$ , da $1001 + \log(e^{-1} + 1) \approx 1001{,}31$ ; (4) para que $a^n a^0 = a^{n+0} = a^n$ siga valiendo, $a^0$ debe ser el neutro $1$ .

Lo que sigue

La log-verosimilitud nos dejó sumas $\sum_i$ por todos lados. La próxima lección las toma en serio: sumatorias y series —manipular índices, telescoping, la serie geométrica y el teorema del binomio.