Supongamos que existen dos ruletas como sigue:

Despues de girar una ruleta tres veces obtienes la secuencia: Gana-Gana-Pierde. ¿Puedes adivinar que ruleta giraste?

Sea \(p\) la probabilidad de ganar. Para el ejemplo anterior tenemos:

\[ p=\begin{cases} 0.25 \;\text{si ruleta A}\\[5pt] 0.75\; \text{si ruleta B} \end{cases} \]

Entonces, la probabilidad de obtener la combinación Gana-Gana-Pierde es:

\[ p_{Gana-Gana-Pierde}=\begin{cases} 0.0469 \; \text{si ruleta A}\\[5pt] 0.1406 \; \text{si ruleta B} \end{cases} \]

Concluimos que es más probable que hayas girado la ruleta B y que el mejor estimador de \(p\) para la combinación Gana-Gana-Pierde es:

\[ \hat{p}=0.75 \]

Este es el estimador de máxima verosimilitud para este ejemplo.

Ahora supongamos que \(p\) puede tomar cualquier valor (entre cero y uno). Si observaste la secuencia Gana-Gana-Pierde, ¿Cuál es el valor de \(p\) más probable? Nota que la probabilidad de obtener esta secuencia se calcula como:

\[ L(p)=p\times p \times(1-p)=p^2-p^3 \]  

La función \(L(p)\) es la función de verosimilitud para este ejemplo. Esta depende del valor desconocido, \(p\).

Deducimos que el valor de \(p\) más probable es aquel que maximiza la función de verosimilitud:

\[ p=\text{arg} \max_p\;L(p) \]

Entonces es fácil encontrar que:

\[ \hat{p}=\frac{2}{3} \]

Ahora supongamos que dos observaciones independientes, \(x_1=4\) y \(x_2=6\), provienen de una distribución normal con media \(\mu\) y varianza \(\sigma^2\). Recordemos que la función de densidad de una normal es:

\[ f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2} \]

Como en el ejemplo anterior, primero supongamos que \(\mu=3.5\) y \(\sigma^2=1\). ¿Cuál es la probabilidad de observar los valores \(x_1=4\) y \(x_2=6\)?

Ejercicio

Muestra que si \(\mu=3.5\) y \(\sigma^2=1\) la probabilidad de obtener \(x_1=4\) y \(x_2=6\) es:

\[ f_{x_2,x_2}(x_1=4, x_2=6)=0.0062 \]

Muestra, además, que si \(\mu=4\) y \(\sigma^2=1\):

\[ f_{x_2,x_2}(x_1=4, x_2=6)=0.0215 \]

Claramente, si tuviéramos que elegir un estimador de \(\mu\) entre ambas distribuciones, elegiriamos:

\[ \hat{\mu}=0.4 \]

Supongamos ahora que \(\sigma^2=1\), pero que \(\mu\) puede tomar cualquier valor. En este caso, la función de verosimilitud sería:

\[ L(\mu)=f(x_1)f(x_2)=\left[\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}(4-\mu)^2}\right]\left[\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}(6-\mu)^2}\right] \]

El procedimiento es el mismo de antes, aunque la función es un poco más complicada de derivar.

Nota. En la práctica se simplifican los cálculos considerando, en lugar de la función de verosimilitud, a su logaritmo (¿Por qué?):

\[ \hat{\mu}=\text{arg} \min_\mu\{\log L(\mu)\} \]

Esta se conoce como función de log-verosimilitud.

Ejercicio

Muestra que el estimador de máxima verosimilitud en nuestro ejemplo es:

\[ \hat{\mu}=5 \]

¿Que pasa si tenemos \(n\) observaciones (y \(\sigma^2=1\))? En este caso, la función de verosimilitud es:

\[ L(\mu)=\prod_{i=1}^{n}f(x_i)=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}(x_i-\mu)^2} \]

Ejercicio

Calcula la función de log-verosimilitud cuando \(n\) datos independientes provienen de una distribución normal con \(\sigma^2=1\). Calcula luego el estimador de máxima verosimilitud de \(\mu\).

Comenta.

Ejercicio

Calcula la función de verosimilitud y log-verosimilitud para \(n\) datos independientes que provienen de una distribución normal con parametros \(\mu\) y \(\sigma^2\) desconocidos. Calcula los estimadores de máxima verosimilitud.

Considera el siguiente modelo de regresión simple:

\[ \begin{align} y_i&=\beta_1+\beta_2x_i+u_i\\[5pt] u_i&\:\sim\: \mathcal{N}(0, \sigma^2) \end{align} \]

con \(i=1,\ldots,n\). Nota que la función de densidad del término de error, \(u\), es:

\[ \begin{align} f(u)=&\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}\left(\frac{u}{\sigma}\right)^2}\\[5pt] =& \frac{1}{\sigma\sqrt{2\pi}}e ^{-\frac{1}{2}\left(\frac{y-\beta_1-\beta_2x}{\sigma}\right)^2} \end{align} \]

Dado que tenemos \(n\) observaciones, la función de verosimilitud para \(\beta_1,\: \beta_2\) y \(\sigma\) desconocidos es:

\[ \begin{align} L(\beta_1,\beta_2,\sigma)&=\prod_{i=1}^{n}f(u_i)\\[8pt] &=\prod_{i=1}^{n}\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}\left(\frac{y_i-\beta_1-\beta_2x_i}{\sigma}\right)^2} \end{align} \]

Ejercicio

Calcula la función de log-verosimilitud para el modelo de regresión simple. Calcula luego los estimadores de máxima verosimilitud de \(\beta_1,\:\beta_2\) y \(\sigma\). Comenta.