Recordemos que una serie de tiempo, \(y_t\), es estacionaria si:

1. Su media es constante:

   \[ \begin{align} \mathbb{E}(y_t) &= \mu_{y_t} \\ & = \mu \end{align} \]

2. Su función de autocovarianza, \(Cov(y_t, y_{t-h})\), es tal que:

   \[ \begin{align} Cov(y_t, y_{t-h}) & = \gamma_y(h) \\ &= \gamma(h); \ \forall \ h \in \mathbb{Z} \end{align} \]

¿Cuáles de estas series de tiempo parecen estacionarias?

Para modelar series de tiempo estacionarias usamos modelos Autorregresivos con Promedios Móviles (ARMA). Estos combinan:

• Parte autorregresiva, AR: La serie se modela como una combinación lineal de sus valores pasados.

• Parte de medias móviles, MA: La serie se modela en función de sus errores pasados.

Los modelos ARMA nos permiten capturar la parte cíclica de una serie de tiempo, es decir, las fluctuaciones que ocurren alrededor de una media constante.

Formalmente, un modelo AR(\(p\)) se define como:

\[ \begin{align} y_t &= \phi_1 y_{t-1} + \phi_2 y_{t-2} + \dots + \phi_p y_{t-p} + \varepsilon_t\\ &= \sum_{i=1}^{p} \phi_i y_{t-i} + \varepsilon_t \end{align} \]

Donde:

• \(\phi_i\) son los coeficientes autorregresivos, \(i=1,\dots,p\).
• \(\varepsilon_t\) es un ruido blanco.

Un modelo MA(\(q\)) se define como:

\[ \begin{align} y_t &= \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \dots + \theta_q \varepsilon_{t-q} \\ &= \varepsilon_t + \sum_{j=1}^{q} \theta_j \varepsilon_{t-j} \end{align} \]

Donde:

• \(\theta_j\) son los coeficientes de promedios móviles, \(j=1,\dots,q\).
• \(\varepsilon_t\) es un ruido blanco.

Un modelo ARMA(\(p\),\(q\)) combina los modelos AR(\(p\)) y MA(\(q\)):

\[ \begin{align} y_t &= \sum_{i=1}^{p} \phi_i y_{t-i} + \varepsilon_t \\ & + \sum_{j=1}^{q} \theta_j \varepsilon_{t-j} \end{align} \]

Por ejemplo, un modelo ARMA(\(1\),\(1\)):

\[ y_t = \phi_1 y_{t-1} + \varepsilon_t + \theta_1 \varepsilon_{t-1} \]

El operador de rezagos, \(L\) o \(B\), es un operador lineal tal que, aplicado a una serie de tiempo, \(y_t\):

\[ L y_t = y_{t-1} \]

Naturalmente:

\[ \begin{align} L^2 y_t &= L(L y_t)\\ &= L y_{t-1} \\ &= y_{t-2} \end{align} \]

En general:

\[ L^i y_t = y_{t-i} \]

Un modelo ARMA(\(p\), \(q\)) puede reescribirse en términos del operador de rezagos. En particular:

\[ \begin{align} y_t = \phi_1 y_{t-1} &+ \phi_2 y_{t-2} + \dots + \phi_p y_{t-p} + \varepsilon_t \\ & +\theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \dots + \theta_q \varepsilon_{t-q} \\ \end{align} \]

puede reescribirse como:

\[ \begin{align} y_t = \phi_1 Ly_{t} &+ \phi_2 L^2y_{t} + \dots + \phi_p L^py_{t} + \varepsilon_t \\ & + \theta_1 L\varepsilon_{t} + \theta_2 L^2\varepsilon_{t} + \dots + \theta_q L^q\varepsilon_{t} \end{align} \]

Un modelo ARMA(\(p\), \(q\)) puede reescribirse en términos del operador de rezagos:

\[ \Phi(L) y_t = \Theta(L)\varepsilon_{t} \]

Donde:

\[ \begin{align} \Phi(L) & = 1-\phi_1 L - \phi_2 L^2 - \phi_3 L^3 - \dots - \phi_p L^p\\ \Theta(L) &= 1+\theta_1 L + \theta_2 L^2 + \theta_3 L^3 + \dots + \theta_q L^q \end{align} \]

Usando la notación en términos del operador de rezagos, es posible demostrar que un proceso ARMA(\(p\), \(q\)) es:

1. Estacionario si las raíces de \(\Phi(L)=0\) están fuera del círculo unitario (\(|L|>1\)).
   
2. Invertible si las raíces de \(\Theta(L)=0\) están fuera del círculo unitario (\(|L|>1\)).

Nota

• Un proceso AR estacionario puede reescribirse como un MA(\(\infty\)).
  
• Un proceso MA invertible puede reescribirse como un AR(\(\infty\)).

Estas condiciones garantizan que el modelo tenga una representación estable y única.

Aunque en la práctica no trabajamos explícitamente con representaciones AR(\(\infty\)) o MA(\(\infty\)), su existencia es fundamental porque permite:

• Calcular momentos poblacionales (medidas de dependencia serial).
• Construir funciones impulso–respuesta.
• Derivar la función de autocorrelación parcial.

Consideremos un modelo ARMA(\(p\),\(q\)):

\[ \Phi(L) y_t = \Theta(L)\varepsilon_{t}\\ \varepsilon_t \sim WN(0,\sigma^2) \]

Deseamos calcular la funciones promedio, de autocovarianza y de autocorrelación. Para esto, conviene expresar el proceso en su representación MA(\(\infty\)). Luego, hacemos uso de la descomposición de Wold.

Sea \(\{y_t\}\) un proceso débilmente estacionario con media cero y varianza finita. Entonces existe una representación única:

\[ y_t = \sum_{i=0}^{\infty} \psi_i \varepsilon_{t-i}, \qquad \psi_0 = 1, \qquad \sum_{i=0}^{\infty} \psi_i^2 < \infty. \]

donde \(\varepsilon_t\) es un ruido blanco.

Entonces, si \(y_t\) es una serie estacionaria:

\[ \mathbb{E}(y_t) = \mu. \]

Y:

\[ \gamma_y(h) = \sigma^2 \sum_{j=0}^\infty \psi_j \psi_{j+h}. \]

Como ejemplo, consideremos un proceso MA(\(1\)):

\[ y_t = \varepsilon_t + \theta_1 \varepsilon_{t-1} \]

Este proceso cumple naturalmente con la representación de Wold, con:

\[ \psi_0 = 1, \quad \psi_1 = \theta_1. \]

Ahora, consideremos un proceso AR(\(1\)):

\[ y_t = \phi_1 y_{t-1} + \varepsilon_t \]

Si \(|\phi_1|<1\), el proceso tiene representación MA(\(\infty\)):

\[ y_t = \sum_{i=0}^{\infty} \phi_1^i \varepsilon_{t-i}. \]

Entonces, en este caso:

\[ \psi_i = \phi_1^i. \]

Usando la descomposición de Wold, muestra que, para un proceso MA(\(1\)):

\[ \gamma(h) = \begin{cases} (1 + \theta_1^2) \sigma^2 & h=0\\ \theta_1 \sigma^2 & |h|=1\\ 0 & |h|>1 \end{cases} \qquad \rho(h) = \begin{cases} 1 & h=0\\ \frac{\theta_1}{1 + \theta_1^2} & |h|=1\\ 0 & |h|>1 \end{cases} \]

Y muestra que, para un proceso AR(\(1\)) con \(|\phi_1|<1\):

\[ \gamma(h)=\phi_1^{|h|}\frac{\sigma^2}{1-\phi_1^2}, \qquad \rho(h)=\phi_1^{|h|}. \]

A nivel empírico, la función de autocorrelación (FAC) permite identificar patrones iniciales en la dinámica de la serie. En particular:

La FAC permite detectar la presencia de memoria en la serie y orientar la especificación del modelo.

La Función de Impulso-Respuesta (IRF):

• Muestra cómo un choque en el término de error, \(\varepsilon_t\), afecta a una serie de tiempo, \(y_t\), en periodos futuros.

• Permite analizar la dinámica temporal de un proceso y la persistencia de los efectos de un shock.

Si el proceso admite representación MA(\(\infty\)):

\[ y_t = \sum_{j=0}^\infty \psi_j \varepsilon_{t-j}, \]

entonces la IRF es simplemente:

\[ IRF(j) = \psi_j. \]

Esta nos indica el efecto que tiene un shock (normalizado a una unidad) en el periodo \(s\)-ésimo, \(\varepsilon_{s}\), sobre la variable \(y_t\).

Consideremos un proceso MA(\(1\)):

\[ y_t = \varepsilon_t + \theta_1 \varepsilon_{t-1} \]

En este caso, la FIR:

Para calcular la FIR de un proceso AR(\(1\)), primero tenemos que invertirlo. Como hemos visto antes, un proceso AR(\(1\)) puede invertirse en un proceso MA(\(\infty\)) en tanto el coeficiente \(|\phi_1|<1\):

\[ y_t = \sum_{i=0}^{\infty} \phi_1^i \varepsilon_{t-i} \]

Entonces, la FIR es:

Ejercicio

Considera el proceso AR(\(2\)):

\[ y_t = 0.6y_{t-1} + 0.2y_{t-2} + \varepsilon_{t} \]

1. Muestra que la FIR es:

Periodo	\(s-2\)	\(s-1\)	\(s\)	\(s+1\)	\(s+2\)	\(s+3\)	\(\dots\)
\(\varepsilon_t\)	0	0	1	0	0	0	\(\dots\)
\(y_t\)	0	0	1	0.6	0.516	0.4579	\(\dots\)

Ejercicio

2. Grafica la FIR de este proceso. Muestra que esta es:

Considera un proceso AR(\(p\)):

\[ \begin{align} y_t &= \phi_1 y_{t-1} + \phi_2 y_{t-2} + \dots + \phi_p y_{t-p} + \varepsilon_t \\ \varepsilon_t &\sim WN(0,\sigma^2) \end{align} \]

Este puede reescribirse como:

\[ \begin{align} y_t &= \phi_1 y_{t-1} + \phi_2 y_{t-2} + \dots + \phi_p y_{t-p} + 0\cdot y_{t-p-1} + 0\cdot y_{t-p-2} + \dots +0\cdot y_{t-p-m} + \varepsilon_t \\ \varepsilon_t &\sim WN(0,\sigma^2) \end{align} \]

Lo anterior indica que, si nuestro proceso es realmente un AR(\(p\)) todos los coeficientes:

\[ \begin{align} \phi_{p+1} &= \phi_{p+2} = \dots = \phi_{p+m} \\ &= 0 \end{align} \] En palabras: 1) la FACP es distinta de cero hasta el rezago \(p\); 2) para rezagos mayores, la FACP es cero.

Esta observación da origen a la definición de función de autocorrelación parcial.

La función de autocorrelación parcial (FACP), no es más que la secuencia de coeficientes \(\phi_{kk}\) del sistema:

\[ \begin{align} y_t &= \phi_{11}y_{t-1} + \varepsilon_{1t}\\ y_t &= \phi_{21}y_{t-1} + \phi_{22}y_{t-2} + \varepsilon_{2t}\\ y_t &= \phi_{31}y_{t-1} + \phi_{32}y_{t-2} + \phi_{33}y_{t-3} + \varepsilon_{3t}\\ &\vdots\\ y_t &= \phi_{k1}y_{t-1} + \phi_{k2}y_{t-2} + \dots + \phi_{kk}y_{t-k} + \varepsilon_{kt}\\ \end{align} \]

La FACP mide la correlación entre \(y_t\) y \(y_{t-k}\) una vez controlado el efecto lineal de los rezagos intermedios.

Para encontrar la FACP podemos utilizar la siguiente fórmula de correlación condicional:

\[ \text{Corr}(X,Y\mid Z)=\frac{\rho_{XY}-\rho_{XZ}\rho_{YZ}} {\sqrt{(1-\rho_{XZ}^2)(1-\rho_{YZ}^2)}}. \]

Podemos mostrar que, para un proceso AR(\(1\)), la función de autocorrelación parcial es:

\[ \begin{align} \phi_{11} &= \rho_1 \\ \end{align} \]

Y, para un proceso AR(\(2\)):

\[ \begin{align} \phi_{11} &= \rho_1 \\ \phi_{22} &= \frac{\rho_2-\rho_1^2}{1-\rho_1^2} \end{align} \]

En la práctica, la FACP no es más que una secuencia de coeficientes estimados por el método de los mínimos cuadrados ordinarios.

Al igual que la FAC, la función de autocorrelación parcial permite identificar patrones iniciales en la dinámica de la serie. En este caso tenemos:

En ausencia de parámetros,usamos las observaciones \(\{y_t\}_{t=1}^T\) para encontrar:

• Promedio muestral
• Autocovarianza muestral
• Autocorrelación muestral
• Autocorrelación parcial

Para identificar el orden de un ARMA(\(p\),\(q\)), comparamos el comportamiento de las medidas de dependencia serial muestrales con el comportamiento teórico para diferentes valores de \(p\) y de \(q\).

Regla 1

La función de autocorrelación puede ayudarnos a saber si el modelo adecuado es un AR/ARMA o un MA. Si el modelo es un MA, la función de autocorrelación nos indica su orden.

Si la FAC presenta corte abrupto, tenemos evidencia de componente MA(\(q\)).

Regla 2

Si el modelo resulta ser un AR(\(p\)), la función de autocorrelación parcial nos indicará su orden.

Si la FACP presenta corte abrupto, tenemos evidencia de componente AR(\(p\)).

Regla 3

Los residuales del modelo seleccionado deben comportarse (estadísticamente) como un ruido blanco.

Para saber si el residual de un proceso se comporta (estadísticamente) como un ruido blanco, usamos el estadístico Q de Ljung-Box:

\[ Q_{LB} = T(T+2)\sum_{h=1}^m\frac{\rho_h^2}{T-h} \]

Probamos la hipótesis nula:

\[ \begin{align} H_0 :& \ \varepsilon_t \sim WN \\ H_1 :& \ \varepsilon_t \nsim WN \end{align} \]

Si la hipótesis nula es correcta, se puede demostrar que:

\[ Q_{LB} \sim \chi^2_m; \ m \approx \sqrt{T} \]

Regla 4

Si tenemos más de un modelo, podemos seleccionar el mejor usando la función de verosimilitud. En general, el modelo con un valor más alto para la función de (log) verosimilitud es el mejor.

Esto también nos ayuda a elegir el orden de un proceso ARMA(\(p,q\)) cuando \(p\) y \(q\) son simultáneamente diferentes de cero.

Alternativamente, podemos elegir el modelo comparando:

• Los valores del criterio de información de Akaike (AIC):

\[ AIC = \mathbb{E}[-2\mathcal{L}(\cdot)] = T\ln(s^2) + 2k \]

• Los valores del criterio de información de Schwartz (SIC o BIC):

\[ BIC = T\ln(s^2) + k\ln(T) \]

En general, buscamos el modelo que tenga el menor valor posible para estos criterios.

Regla 5

Si el AIC y el BIC seleccionan modelos diferentes, tomar en cuenta que:

• AIC es eficiente: selecciona el modelo que tenga el error de predicción más pequeño.

• BIC es consistente: selecciona el modelo correcto con probabilidad 1 si \(T\) es grande.

Nota

Una vez que hemos identificado el orden del proceso, podemos estimar este usando el método de máxima verosimilitud.

Una vez que hemos estimado los coeficientes de un proceso ARMA(\(p\),\(q\)), podemos utilizar el modelo para realizar pronósticos.

Sea \(y_T\) el último valor disponible de \(y_t\). Entonces, el mejor pronóstico para \(h\) periodos hacia el futuro de \(y_t\), \(\widehat y_{T+h\mid T}, \ h=1,2,\dots\), es la proyección lineal óptima:

\[ \begin{align} \widehat y_{T+h\mid T} &= \mathbb{E}(y_{T+h}\mid \Omega_T),\\ \Omega_T&=\{y_T,y_{T-1},y_{T-2},\dots\} \end{align} \] la cual, en el caso de normalidad, coincide con el valor esperado condicional.

Ejemplo

Consideremos un proceso AR(\(1\)):

\[ \begin{align} y_t&=\phi_0+\phi_1y_{t-1}+\varepsilon_t, \ |\phi_1|<1\\ \varepsilon_t & \sim iid\mathcal{N}(0,\sigma^2)\\ \end{align} \] En este caso tenemos:

\[ \begin{align} \mathbb{E}(y_{T+1}\mid\Omega_T) &= \phi_0 + \phi_1 y_T,\\ \mathbb{E}(y_{T+2}\mid\Omega_T) &= \phi_0 (1+\phi_1) + \phi_1^{2} y_T,\\ \mathbb{E}(y_{T+3}\mid\Omega_T) &= \phi_0(1+\phi_1+\phi_1^{2}) + \phi_1^{3} y_T,\\ & \vdots \\ \mathbb{E}(y_{T+h}\mid\Omega_T) &= \phi_0\sum_{j=0}^{h-1}\phi_1^{j} + \phi_1^{h} y_T\\ &= \mu(1-\phi_1^h)+\phi_1^h y_T \\ \end{align} \]

Ejemplo (cont’d)

Nota que, para un proceso AR(\(1\)), si consideramos un horizonte más largo:

\[ \lim_{h\to\infty}\mathbb{E}(y_{T+h}\mid\Omega_T)=\mu, \]

donde:

\[ \mu=\frac{\phi_0}{1-\phi_1}. \] Esto es, \(\mathbb{E}(y_{T+h})\) converge a la media no condicional de \(y_t\).

Por supuesto, la calidad del pronóstico \(y_{T+h}\) depende crucialmente de la varianza del error del pronóstico, \(\mathbb{V}ar\big[y_{T+h}-\mathbb{E}(y_{T+h}\mid\Omega_T)\big]\).

Ejemplo

Consideremos un proceso AR(\(1\)). La varianza del error de pronóstico de \(y_t\) para \(h\) periodos hacia el futuro es:

\[ \begin{align} \mathbb{V}ar\!\big[y_{T+h}-\mathbb{E}(y_{T+h}\mid\Omega_T)\big] &=\sigma^2\sum_{j=0}^{h-1}\phi_1^{2j} \\ &=\sigma^2\frac{1-\phi_1^{2h}}{1-\phi_1^2} \end{align} \]

Nota que, conforme \(h\) crece, tenemos que la varianza del pronóstico converge a la varianza no condicional de \(y_t\):

\[ \lim_{h\to\infty}\mathbb{V}ar\!\big[y_{T+h}-\mathbb{E}(y_{T+h}\mid\Omega_T)\big] = \frac{\sigma^2}{1-\phi_1^2}. \]

Recordemos que, si un proceso ARMA(\(p,q\)) es estacionario e invertible, existe una representación MA(\(\infty\)) de la forma:

\[ y_t=\mu + \sum_{i=0}^{\infty}\psi_i\,\varepsilon_{t-i},\qquad \psi_0=1. \]

En este caso:

\[ \begin{align} \mathbb{V}ar\!\big[y_{T+h}-\mathbb{E}(y_{T+h}\mid\Omega_T)\big] &=\sigma^2\sum_{i=0}^{h-1}\psi_i^{2} \\ \lim_{h\to\infty}\mathbb{E}(y_{T+h}\mid\Omega_T)&=\mu\ . \end{align} \]

Si \(\varepsilon_t\sim iid \mathcal{N}(0,\sigma^2)\), un intervalo de confianza de \(100(1-\alpha)\%\) para \(y_{T+h}\) se calcula como:

\[ \widehat y_{T+h\mid T}\ \pm\ z_{1-\alpha/2}\,\sqrt{\mathbb{V}ar\!\big[y_{T+h}-\mathbb{E}(y_{T+h}\mid\Omega_T)\big]}. \]

Por ejemplo, si \(\alpha=0.05\), \(z_{1-\alpha/2}=1.96\). Entonces:

\[ \widehat y_{T+h\mid T}\ \pm\ 1.96\,\sqrt{\mathbb{V}ar\!\big[y_{T+h}-\mathbb{E}(y_{T+h}\mid\Omega_T)\big]}. \]

En el siguiente ejemplo usamos un índice para el empleo en Canadá que va desde el primer trimestre de 1962 al cuarto trimestre de 1992. Usamos un modelo AR(\(2\)) para pronosticar los cuatro trimestres de 1993 y 1994.