v.2026.10.19

PDF

De la estimación a la inferencia

Andy: precio y ventas

En el capítulo anterior estimamos un modelo que estudia la relación que existe entre las ventas y el precio, manteniendo el gasto en publicidad constante:

\[ sales_i=\beta_1+\beta_2price_i+\beta_3advert_i+u_i. \]

Pero:

¿Basta con obtener una pendiente estimada distinta de cero para afirmar que esa relación existe a nivel poblacional?

Una estimación no es el parámetro

La dificultad es que nuestro estimador depende de la muestra observada:

\[ \mathbf{b} = \left(\mathbf{x}^{\top}\mathbf{x}\right)^{-1} \mathbf{x}^{\top}\mathbf{y}. \]

Aunque sabemos que:

\[ \mathbb{E}(\mathbf{b}) = \boldsymbol{\beta}, \] el valor obtenido en una muestra no necesariamente coincide con el verdadero parámetro. Si cambia la muestra, generalmente cambia la estimación.

¿Qué podemos decir realmente sobre \(\boldsymbol{\beta}\) a partir de su estimador \(\mathbf{b}\)?

Distribución de los estimadores de MCO (1/2)

Recordemos que, bajo el supuesto de normalidad de los errores:

\[ \mathbf{u} \sim \mathcal{N}\left(\mathbf{0}, \sigma^2\mathbf{I}_n\right) \]

Nota que \(\mathbf{b}-\boldsymbol{\beta}=(\mathbf{x}^{\top}\mathbf{x})^{-1}\mathbf{x}^{\top}\mathbf{u}\) es una transformación lineal de \(\mathbf{u}\). Por tanto:

\[ \mathbf{b} \sim \mathcal{N} \left( \boldsymbol{\beta}, \sigma^2 \left(\mathbf{x}^{\top}\mathbf{x}\right)^{-1} \right); \] o bien:

\[ \mathbf{b}-\boldsymbol{\beta} \sim \mathcal{N} \left( \mathbf{0}, \sigma^2 \left(\mathbf{x}^{\top}\mathbf{x}\right)^{-1} \right). \]

Distribución de los estimadores de MCO (2/2)

Si nos enfocamos en cualquier coeficiente \(j=1,\ldots,k\) tenemos que:

\[ b_j \sim \mathcal{N} \left( \beta_j, \sigma^2 \left[ \left(\mathbf{x}^{\top}\mathbf{x}\right)^{-1} \right]_{jj} \right). \]

Por tanto:

\[ b_j-\beta_j \sim \mathcal{N} \left( 0, \sigma^2 \left[ \left(\mathbf{x}^{\top}\mathbf{x}\right)^{-1} \right]_{jj} \right). \]

La distribución de \(b_j\) nos indica tanto su centro como la incertidumbre asociada con la estimación.

Inferencia sobre un parámetro

Una afirmación sobre un parámetro

Supongamos que queremos evaluar una afirmación acerca de \(\beta_j\):

\[ H_0:\beta_j=\beta_j^0, \] donde \(\beta_j^0\) es cualquier valor. Esta es nuestra hipótesis nula.

Al mismo tiempo, consideramos una hipótesis alternativa. Por ejemplo:

\[ H_1:\beta_j\neq\beta_j^0. \]

¿Qué tan compatible es la estimación \(b_j\) con el valor propuesto por \(H_0\)?

Un caso sencillo: \(\sigma^2\) conocida

Si \(H_0\) es verdadera: \(H_0:\beta_j=\beta_j^0\). En este caso tenemos:

\[ b_j-\beta_j^0 \sim \mathcal{N} \left( 0, \sigma^2 \left[ (\mathbf{x}^{\top}\mathbf{x})^{-1} \right]_{jj} \right). \]

Si \(\sigma^2\) fuera conocida podríamos estandarizar. Esto es:

\[ z_j= \frac{ b_j-\beta_j^0 }{ \sqrt{ \sigma^2 \left[ (\mathbf{x}^{\top}\mathbf{x})^{-1} \right]_{jj} } } \sim\mathcal{N}(0,1). \]

El cociente \(z_j\) se conoce como estadístico \(z\).

¿Qué tan lejos es demasiado lejos?

Si \(H_0\) es verdadera: \(z_j\sim\mathcal{N}(0,1)\). Entonces, valores de \(z_j\) muy alejados de cero serían poco compatibles con \(H_0\).

Pero, ¿qué significa que \(z_j\) esté muy alejado de cero? Para responder, elegimos un nivel de significancia, \(\alpha\). Este indica la probabilidad total de caer en las regiones de rechazo.

Si el \(z_j\) observado cae en una de las regiones de rechazo, consideramos que la evidencia es suficientemente incompatible con \(H_0\).

Como la hipótesis alternativa considera desviaciones en ambas direcciones, tenemos una prueba de dos colas, con una región de rechazo en cada extremo de la distribución.

Pero \(\sigma^2\) es desconocida

En la práctica no conocemos \(\sigma^2\). Sin embargo, sabemos que un estimador insesgado de esta es:

\[ s^2=\frac{RSS}{n-k}. \]

Si utilizamos \(s^2\) en lugar de \(\sigma^2\) en nuestros cálculos, obtenemos el estadístico \(t\):

\[ t_j= \frac{b_j-\beta_j^0} {\operatorname{s.e.}(b_j)}; \quad \operatorname{s.e.}(b_j) = \sqrt{ s^2 \left[ (\mathbf{x}^{\top}\mathbf{x})^{-1} \right]_{jj} }. \]

Pero, ¿qué distribución sigue \(t_j\)?

La distribución del estadístico \(t\) (1/3)

Ejercicio*

Demuestra que, bajo \(H_0\), el estadístico \(t_j\) sigue una distribución t de Student:

\[ t_j \sim t_{n-k} \]

donde \(n-k\) son los grados de libertad: \(n\) observaciones y \(k\) parámetros, incluida la constante.

La distribución del estadístico \(t\) (2/3)

Pista: Para conocer la distribución del estadístico \(t\), reescribe este como:

\[ t_j = \frac{z_j}{\sqrt{q/(n-k)}}, \qquad q=\frac{RSS}{\sigma^2}. \] Recuerda que \(\mathbf{e}=\mathbf{M}_x\mathbf{u}\), \(\mathbf{M}_x\) es simétrica e idempotente y \(\operatorname{tr}(\mathbf{M}_x)=n-k\). Bajo normalidad, \(\mathbf{b}\) y \(\mathbf{e}\) son independientes: son conjuntamente normales y \(\operatorname{Cov}(\mathbf{b},\mathbf{e})=\mathbf{0}\).

Utiliza las reglas 1–4:

  1. Si \(v\sim N(0,1)\), \(w\sim\chi^2(m)\), y \(v\) y \(w\) son independientes:

    \[ \frac{v}{\sqrt{w/m}} \sim t_{(m)} \]

La distribución del estadístico \(t\) (3/3)

  1. Si \(\mathbf{v}\sim N(\mathbf{0},\mathbf{I}_n)\) y \(\mathbf{A}\) es simétrica e idempotente, entonces:

    \[ \mathbf{v}^{\top}\mathbf{A}\mathbf{v} \sim \chi^2_{\operatorname{rank}(\mathbf{A})} \]
  2. Si \(\mathbf{A}\) es una matriz idempotente, entonces:

    \[ \operatorname{rank}(\mathbf{A}) = \operatorname{tr}(\mathbf{A}) \]

  3. Si \(\mathbf{v}\) y \(\mathbf{w}\) son independientes, entonces \(f(\mathbf{v})\) y \(g(\mathbf{w})\) también lo son.

Andy: calcular el estadístico \(t\)

Ejercicio

La estimación del modelo de Andy Burger resulta en:

Término Estimación Error estándar
Constante 118.9136 6.3516
Precio -7.9079 1.0960
Publicidad 1.8626 0.6832

Consideremos las hipótesis:

\[ H_0:\beta_2=0,\qquad H_1:\beta_2\neq0. \]

Con \(n=75\), \(k=3\) y \(n-k=72\), calcula el estadístico \(t_2\).

¿Qué tan compatible es \(b_j\) con \(H_0\)?

Consideremos:

\[ H_0:\beta_j=\beta_j^0, \qquad H_1:\beta_j\neq\beta_j^0. \]

Bajo \(H_0\):

\[ t_j= \frac{b_j-\beta_j^0} {\operatorname{s.e.}(b_j)} \sim t_{n-k}. \]

Para un nivel de significancia \(\alpha\), elegimos el valor crítico \(t_{\alpha/2,(n-k)}\), de forma que:

\[ \mathbb{P} \left( -t_{\alpha/2,(n-k)} < t_j < t_{\alpha/2,(n-k)} \mid H_0 \right) = 1-\alpha. \]

La regla de decisión

Rechazamos \(H_0\) si el valor observado de \(t_j\) cae en alguna de las regiones de rechazo: \(|t_j|>t_{\alpha/2,(n-k)}\). No rechazamos en caso contrario.

Nota que, dado que \(t_j\sim t_{n-k}\) si \(H_0\) es verdadera, la probabilidad de rechazar \(H_0\) cuando esta es verdadera es \(\alpha\).

No rechazar \(H_0\) no significa demostrar que \(H_0\) es verdadera.

Andy: tomar una decisión

Ejercicio

Planteamos que:

\[ H_0:\beta_2=0, \qquad H_1:\beta_2\neq0 \]

Los valores críticos en la distribución \(t\) con \(n-k=72\) grados de libertad son:

Significancia Valor crítico positivo
10% 1.666
5% 1.993
1% 2.646

¿Rechazamos \(H_0\) al 10%, al 5% y al 1%?

¿Qué significa elegir \(\alpha\)?

Toda regla de decisión puede llevarnos a cometer errores:

  • Cometemos un error tipo I cuando rechazamos \(H_0\) siendo verdadera.

  • Cometemos un error tipo II cuando no rechazamos \(H_0\) siendo falsa.

El nivel de significancia controla la probabilidad del error tipo I:

\[ \mathbb{P} (\text{rechazar }H_0\mid H_0\text{ verdadera}) = \alpha. \]

Para un tamaño de muestra dado, reducir \(\alpha\) disminuye el riesgo de error tipo I, pero hace más difícil rechazar \(H_0\) cuando es falsa (error tipo II).

Intervalos de confianza

De la región de no rechazo al intervalo de confianza

De nuestra discusión anterior, podemos deducir que la probabilidad de que el estadístico \(t\) no caiga en las regiones de rechazo es:

\[ \mathbb{P} \left( -t_{\alpha/2,(n-k)} < \frac{b_j-\beta_j} {\operatorname{s.e.}(b_j)} < t_{\alpha/2,(n-k)} \right) = 1-\alpha. \]

Como \(\operatorname{s.e.}(b_j)>0\), podemos reordenar la desigualdad, de tal forma que:

\[ b_j- t_{\alpha/2,(n-k)}\operatorname{s.e.}(b_j) < \beta_j < b_j+ t_{\alpha/2,(n-k)}\operatorname{s.e.}(b_j) \]

Intervalo de confianza

El intervalo de confianza al nivel \(1-\alpha\) para \(\beta_j\) es:

\[ IC_{1-\alpha}(\beta_j)= \left[ b_j- t_{\alpha/2,(n-k)} \operatorname{s.e.}(b_j), \; b_j+ t_{\alpha/2,(n-k)} \operatorname{s.e.}(b_j) \right] \]

¿Qué nos dice un intervalo de confianza?

El intervalo de confianza al nivel \(1-\alpha\) contiene los valores de \(\beta_j\) que no serían rechazados en una prueba de dos colas al nivel \(\alpha\). Esto es:

Un intervalo de confianza contiene los valores del parámetro compatibles con la evidencia disponible.

Ejemplo: Andy

Para el coeficiente del precio obtenemos:

\[ IC_{95\%}(\beta_2)=[-10.093,-5.723]. \]

¿Qué nos dice este intervalo sobre la relación entre precio y ventas?

Intervalos de confianza y pruebas de hipótesis

Consideremos la siguiente prueba de dos colas:

\[ H_0:\beta_j=\beta_j^0, \qquad H_1:\beta_j\neq\beta_j^0. \]

Nuestra discusión anterior implica que, para un nivel de significancia \(\alpha\), no rechazamos \(H_0\) en tanto que:

\[ \beta_j^0\in IC_{1-\alpha}(\beta_j) \]

Naturalmente, rechazamos \(H_0\) si \(\beta_j^0\notin IC_{1-\alpha}(\beta_j)\)

Ejemplo. Regresando a Andy, ¿qué concluimos sobre \(H_0:\beta_2=0\)?

Pruebas de una sola cola

¿Por qué una sola cola?

Supongamos que:

\[ H_0:\beta_j=\beta_j^0. \]

Pero ahora, la alternativa es:

\[ \begin{align} H_1:\beta_j&=\beta_j^1,\\ \beta_j^1&>\beta_j^0. \end{align} \]

¿Qué valores de \(b_j\) constituyen evidencia a favor de \(H_1\)?

¿Qué valores favorecen a \(H_1\)?

Cuando \(\beta_j^1>\beta_j^0\):

  • Si \(b_j\) está a la derecha de \(B\), es más compatible con \(H_1\) que con \(H_0\). En este caso, rechazar \(H_0\) tiene sentido.

  • Si \(b_j\) está a la izquierda de \(A\), una prueba de dos colas también rechazaría \(H_0\), ¡aunque la estimación es más compatible con \(H_0\) que con \(H_1\)!

Prueba de cola derecha

Como los valores a la izquierda de \(A\) no favorecen a \(H_1\), eliminamos esa región de rechazo y concentramos todo el nivel de significancia \(\alpha\) en la cola derecha. Esto es:

\[ \mathbb{P}\left(T_{n-k}>t_{\alpha,(n-k)}\right)=\alpha. \]

Por tanto, rechazamos \(H_0\) si: \(t_j>t_{\alpha,(n-k)}\).

Pruebas de una sola cola

En general, una prueba de cola derecha plantea:

\[ H_0:\beta_j\leq\beta_j^0, \qquad H_1:\beta_j>\beta_j^0, \]

y una prueba de cola izquierda:

\[ H_0:\beta_j\geq\beta_j^0, \qquad H_1:\beta_j<\beta_j^0. \]

En ambos casos, calculamos \(t_j\) y el valor crítico en la frontera \(\beta_j^0\). Rechazamos \(H_0\) si:

\[ \begin{align} \text{Cola derecha: }& t_j>t_{\alpha,(n-k)}\\ \text{Cola izquierda: } & t_j<-t_{\alpha,(n-k)}. \end{align} \]

Valores \(p\)

El valor \(p\)

Hasta ahora hemos utilizado valores críticos. Otra forma de evaluar la evidencia es mediante el valor \(p\):

El valor \(p\), (o \(p\)-value) es la probabilidad, bajo \(H_0\), de observar un estadístico tan extremo como el obtenido o más, en la dirección de \(H_1\).

Para una prueba de dos colas, calculamos el valor \(p\) como:

\[ p= 2\,\mathbb{P} \left( T_{n-k}\geq |t_j| \right). \]

Para una sola cola, evaluando \(H_0\) en la frontera:

\[ p=\begin{cases} \mathbb{P}(T_{n-k}\geq t_j); & \ \text {Cola derecha}\\ \mathbb{P}(T_{n-k}\leq t_j); & \ \text{Cola izquierda} \end{cases} \]

Valor \(p\) y nivel de significancia

Cuando usamos el valor \(p\), rechazamos \(H_0\) si:

\[ p<\alpha \]

y no rechazamos en caso contrario. ¿Por qué?

Nota. El valor \(p\) no es la probabilidad de que \(H_0\) sea verdadera, ni la magnitud del efecto, ni una medida de importancia económica.

Ejemplo*: Andy

Utiliza los datos en el ejemplo de Andy Burger. Para \(H_0:\beta_2=0; \quad H_1:\beta_2\neq0\), calcula e interpreta \(p\). ¿Confirma las decisiones obtenidas con valores críticos y con el IC95%?

Valores \(p\)

Ejercicio*

Para la publicidad de Andy: \(n=75\), \(k=3\), \(b_3=1.8626\) y \(\operatorname{s.e.}(b_3)=0.6832\).

\[ H_0:\beta_3=1, \qquad H_1:\beta_3\neq1. \]

Como ventas y publicidad están en miles de dólares, \(H_0\) plantea que un dólar adicional de publicidad se asocia con un dólar adicional de ingresos esperados, manteniendo constante el precio.

  1. Calcula el estadístico \(t_3\) y el valor \(p\) de la prueba.

  2. Decide al 5%: ¿puedes rechazar \(H_0\)? Si no la rechazas, ¿puedes afirmar que \(\beta_3=1\)?

Pruebas de hipótesis conjuntas

¿Y si la hipótesis contiene varias restricciones?

Hasta ahora hemos evaluado una restricción a la vez. Sin embargo, muchas preguntas econométricas involucran varias afirmaciones simultáneas.

Por ejemplo, nos interesa probar:

\[ H_0:\beta_2=0,\qquad \beta_3=1. \]

La pregunta ya no es si cada restricción parece razonable por separado. Más bien, la pregunta es ahora:

¿Son compatibles los datos con que todas las restricciones se cumplan simultáneamente?

Restricciones lineales

Podemos escribir una hipótesis conjunta como:

\[ H_0: \mathbf R\boldsymbol\beta=\mathbf r, \]

donde:

  • \(\mathbf R\) es una matriz de dimensión \(m\times k\);
  • \(\mathbf r\) es un vector de dimensión \(m\times1\);
  • \(m=\operatorname{rank}(\mathbf R)\) es el número de restricciones linealmente independientes.

Cada renglón de \(\mathbf R\) representa una restricción.

Restricciones lineales: ejemplo

Por ejemplo, si tenemos el modelo: \[ y_i = \beta_1 + \beta_2x_{2i} + \beta_3x_{3i} + \beta_4x_{4i} + \beta_5x_{5i} + u_i. \]

y deseamos probar:

\[ H_0: \beta_2=0, \qquad \beta_3=1, \] tenemos \(m=2\) y:

\[ \boldsymbol{\beta} = \begin{pmatrix} \beta_1\\ \beta_2\\ \beta_3\\ \beta_4\\ \beta_5 \end{pmatrix}, \qquad \mathbf R = \begin{pmatrix} 0&1&0&0&0\\ 0&0&1&0&0 \end{pmatrix}, \qquad \mathbf r = \begin{pmatrix} 0\\ 1 \end{pmatrix}. \]

Restricciones lineales

Ejercicio

Considera el modelo:

\[ y_i = \beta_1 + \beta_2x_{2i} + \beta_3x_{3i} + \beta_4x_{4i} + \beta_5x_{5i} + u_i. \]

Escribe la forma de las matrices \(\mathbf{R}\) y \(\mathbf{r}\) para cada uno de los siguientes casos:

  1. \(H_0 : \beta_2 + \beta_3 = 0, \quad \beta_4 = \beta_5\)

  2. \(H_0 : \beta_2 = \beta_3, \quad \beta_4 = 0, \quad \beta_2 + \beta_3 = \beta_4\)

¿Qué tan lejos estamos de satisfacer \(H_0\)?

Bajo la hipótesis nula tenemos:

\[ H_0:\mathbf R\boldsymbol\beta=\mathbf r. \]

Sin embargo, las estimaciones muestrales \(\mathbf R\mathbf b\) no necesariamente coinciden con \(\mathbf r\). Entonces, ¿es suficientemente grande la diferencia \(\mathbf R\mathbf b-\mathbf r\) para rechazar \(H_0\)?

Para responder, debemos considerar la incertidumbre y las covarianzas entre los estimadores.

Distribución de las restricciones estimadas

Sabemos que:

\[ \mathbf b \sim \mathcal N \left( \boldsymbol\beta, \sigma^2 (\mathbf x^\top\mathbf x)^{-1} \right). \]

Por lo tanto:

\[ \mathbf R\mathbf b-\mathbf r \sim \mathcal N \left( \mathbf R\boldsymbol\beta-\mathbf r, \, \sigma^2 \mathbf R (\mathbf x^\top\mathbf x)^{-1} \mathbf R^\top \right). \]

Y, si \(H_0\) es verdadera:

\[ \mathbf R\mathbf b-\mathbf r \sim \mathcal N \left( \mathbf0, \, \sigma^2 \mathbf R (\mathbf x^\top\mathbf x)^{-1} \mathbf R^\top \right). \]

El estadístico \(F\)

Para evaluar conjuntamente \(m\) restricciones, utilizamos el estadístico \(F\):

\[ F= \frac{ (\mathbf R\mathbf b-\mathbf r)^\top \left[ \mathbf R(\mathbf x^\top\mathbf x)^{-1}\mathbf R^\top \right]^{-1} (\mathbf R\mathbf b-\mathbf r) }{ m\,s^2 }. \]

Valores grandes de \(F\) indican una mayor discrepancia respecto a las restricciones planteadas en \(H_0\).

Pero ¿qué distribución sigue \(F\)?

La distribución del estadístico \(F\) (1/3)

Ejercicio*

Demuestra que, bajo:

\[ H_0:\mathbf R\boldsymbol\beta=\mathbf r, \]

el estadístico \(F\) sigue una distribución \(F\) de Fisher:

\[ F\sim F_{m,n-k}. \]

Donde \(m\) es el número de restricciones linealmente independientes y \(n-k\) son los grados de libertad residuales.

La distribución del estadístico \(F\) (2/3)

Pista. Define:

\[ \mathbf v=\mathbf R\mathbf b-\mathbf r, \qquad \boldsymbol\Sigma =\sigma^2\mathbf R(\mathbf x^\top\mathbf x)^{-1}\mathbf R^\top. \]

Ahora escribe:

\[ w=\mathbf v^\top\boldsymbol\Sigma^{-1}\mathbf v, \qquad q=\frac{RSS}{\sigma^2}. \]

Observa que:

\[ F=\frac{w/m}{q/(n-k)}. \]

La distribución del estadístico \(F\) (3/3)

Recuerda que, bajo \(H_0\), \(\mathbf v\sim N(\mathbf0,\boldsymbol\Sigma)\), y que \(\mathbf b\) y \(\mathbf e\) son independientes.

Utiliza las siguientes reglas:

  1. Si \(\mathbf v\sim N(\mathbf0,\boldsymbol\Sigma)\), con \(\boldsymbol\Sigma\) definida positiva, entonces:

    \[ \mathbf v^\top\boldsymbol\Sigma^{-1}\mathbf v \sim\chi^2_m. \]

  2. Si \(w\sim\chi^2_m\) y \(q\sim\chi^2_{n-k}\) son independientes, entonces:

    \[ \frac{w/m}{q/(n-k)}\sim F_{m,n-k}. \]

Regla de decisión

Bajo \(H_0\) tenemos que:

\[ F\sim F_{m,n-k}. \]

Como \(F\geq0\), la región de rechazo se encuentra en la cola derecha. Por lo tanto, rechazamos \(H_0\) si:

\[ F> F_{\alpha,(m,n-k)}. \]

En caso contrario, no rechazamos \(H_0\).

Modelo restringido y modelo no restringido

¿Qué significa imponer \(H_0\)?

El estadístico \(F\) también puede calcularse a partir de las sumas de cuadrados de los residuales del modelo no restringido y del modelo restringido. El modelo no restringido permite que los coeficientes se estimen libremente. En cambio, el modelo restringido obliga a que se cumpla \(H_0\):

\[ \mathbf R\boldsymbol\beta=\mathbf r. \]

Como el modelo restringido tiene menos libertad:

\[ RSS_R\geq RSS_U. \]

¿Cuánto empeora el ajuste cuando obligamos al modelo a satisfacer \(H_0\)?

La pérdida de ajuste

Para restricciones lineales podemos calcular:

\[ F= \frac{ (RSS_R-RSS_U)/m }{ RSS_U/(n-k) }. \]

El numerador mide cuánto aumenta el \(RSS\) al imponer las \(m\) restricciones. El denominador mide la variabilidad residual del modelo no restringido.

Un aumento grande del \(RSS\), relativo a la variabilidad residual, constituye evidencia contra \(H_0\).

Dos formas de calcular \(F\)

Se puede demostrar que:

\[ RSS_R-RSS_U= (\mathbf R\mathbf b-\mathbf r)^\top \left[ \mathbf R(\mathbf x^\top\mathbf x)^{-1}\mathbf R^\top \right]^{-1} (\mathbf R\mathbf b-\mathbf r). \]

Por tanto, ambas expresiones del estadístico \(F\) son algebraicamente equivalentes.

Como se trata de la misma prueba, utilizamos la misma distribución y regla de decisión.

Equivalencia de las dos expresiones de \(F\)

Ejercicio*

Demuestra que:

\[ RSS_R-RSS_U= (\mathbf R\mathbf b-\mathbf r)^\top \left[ \mathbf R(\mathbf x^\top\mathbf x)^{-1}\mathbf R^\top \right]^{-1} (\mathbf R\mathbf b-\mathbf r). \]

Pistas.

  • Obtén el estimador MCO restringido mediante multiplicadores de Lagrange.
  • Utiliza las ecuaciones normales: \(\mathbf x^\top\mathbf e_U=\mathbf0\).

El estadístico \(F\) y la \(R^2\)

Ejercicio*

A partir de:

\[ F=\frac{(RSS_R-RSS_U)/m}{RSS_U/(n-k)}, \]

demuestra que:

\[ F= \frac{(R_U^2-R_R^2)/m} {(1-R_U^2)/(n-k)}, \] donde \(R_U^2\) y \(R_R^2\) son los coeficientes de determinación de los modelos no restringido y restringido, respectivamente.

Prueba \(F\) de significancia global

Ejercicio

Consideremos el modelo con \(k\) parámetros, \(\beta_1, \beta_2, \dots, \beta_k\). La hipótesis de significancia global es:

\[ H_0: \beta_2=\beta_3=\cdots=\beta_k=0. \]

Muestra que, en este caso:

\[ F= \frac{ R^2/(k-1) }{ (1-R^2)/(n-k) }. \] donde \(R^2\) es el coeficiente de determinación del modelo no restringido.

Valor \(p\) para la prueba \(F\)

Si el estadístico observado es \(F_{\text{obs}}\):

\[ p= \mathbb{P} \left( F_{m,n-k} \geq F_{\text{obs}} \right). \]

La regla es la misma que en el caso del estadístico \(t\) En particular, rechazamos \(H_0\) si:

\[ p<\alpha \]

El valor \(p\) expresa qué tan extremo resulta el \(F\) observado bajo las restricciones impuestas por \(H_0\).

Relación entre las pruebas \(t\) y \(F\)

Una restricción sobre un coeficiente

Ejercicio

Consideremos: \[ H_0:\beta_j=\beta_j^0. \]

Esta hipótesis también puede evaluarse mediante una prueba \(F\), utilizando: \[ \mathbf R= \begin{pmatrix} 0&\cdots&1&\cdots&0 \end{pmatrix}, \qquad \mathbf r=\beta_j^0, \] donde el \(1\) ocupa la posición \(j\).

Demuestra que, para esta hipótesis, \(F=t_j^2\).¿Cuál es la implicación.

Una restricción lineal cualquiera

Ejercicio*

Consideremos ahora:

\[ H_0:\boldsymbol\lambda^\top\boldsymbol\beta=\theta. \]

Podemos evaluarla mediante una prueba \(F\), con \(\mathbf R=\boldsymbol\lambda^\top\) y \(\mathbf r=\theta\), o bien con el estadístico:

\[ t= \frac{ \boldsymbol\lambda^\top\mathbf b-\theta }{ \sqrt{ s^2\boldsymbol\lambda^\top (\mathbf x^\top\mathbf x)^{-1} \boldsymbol\lambda } }. \]

Demuestra que, nuevamente, \(F=t_j^2\).

¿Y si tenemos varias restricciones?

Supongamos que queremos probar:

\[ H_0:\beta_2=0,\qquad\beta_3=1. \]

Una posibilidad sería realizar dos pruebas \(t\) separadas:

\[ H_{01}:\beta_2=0, \qquad H_{02}:\beta_3=1. \]

Podríamos rechazar \(H_0\) si al menos una de las restricciones es rechazada individualmente.

Pero, ¿equivale este procedimiento a realizar una prueba \(F\) conjunta?

Dos pruebas \(t\): una región rectangular

Cada prueba individual genera un intervalo de confianza:

\[ \begin{aligned} |\beta_2-b_2| &\leq t_{\alpha/2,(n-k)}\operatorname{s.e.}(b_2),\\[4pt] |\beta_3-b_3| &\leq t_{\alpha/2,(n-k)}\operatorname{s.e.}(b_3). \end{aligned} \]

Los valores de \((\beta_2,\beta_3)\) que satisfacen simultáneamente ambas condiciones forman una región rectangular en un plano cartesiano.

La prueba \(F\): una región elíptica

En cambio, la prueba \(F\) utiliza la matriz de varianzas y covarianzas de los estimadores.

Para dos restricciones, la región de confianza conjunta satisface:

\[ (\mathbf b_{23}-\boldsymbol\beta_{23})^\top \widehat{\mathbf V}_{23}^{-1} (\mathbf b_{23}-\boldsymbol\beta_{23}) \leq 2F_{\alpha,(2,n-k)}, \]

donde \(\widehat{\mathbf V}_{23}\) es la matriz de varianzas y covarianzas estimada de \((b_2,b_3)^\top\). Esta región tiene forma de elipse.

Pruebas individuales vs. prueba conjunta

Nota la diferencia:

¿Por qué necesitamos una prueba conjunta?

No podemos sustituir una prueba conjunta por varias pruebas \(t\) separadas porque:

  1. Si cada prueba individual utiliza un nivel de significancia \(\alpha\), la probabilidad de rechazar al menos una restricción verdadera no es, en general, \(\alpha\).

  2. Las pruebas individuales no consideran las covarianzas entre los estimadores al evaluar el conjunto de restricciones.

La prueba \(F\) evalúa simultáneamente todas las restricciones, considerando la distribución conjunta de los estimadores.

Resumen

¿Qué hemos aprendido?

En este capítulo aprendimos a:

  • reconocer que una estimación puntual está sujeta a incertidumbre;
  • utilizar la distribución de los estimadores para cuantificar esa incertidumbre;
  • interpretar el error estándar como una medida de precisión;
  • construir intervalos de confianza;
  • evaluar hipótesis sobre un parámetro mediante pruebas \(t\);
  • expresar la evidencia mediante valores \(p\);
  • formular restricciones lineales conjuntas;
  • evaluar varias restricciones simultáneamente mediante pruebas \(F\).

La inferencia no elimina la incertidumbre. Nos permite incorporarla explícitamente cuando construimos evidencia.

¿Qué sigue?

Hasta ahora hemos estudiado cómo cuantificar la incertidumbre de nuestros estimadores y cómo utilizarla para evaluar hipótesis sobre los parámetros del modelo. Sin embargo, la precisión de esos estimadores depende también de la información contenida en los regresores.

¿Qué ocurre cuando distintas variables explicativas contienen información muy parecida entre sí?