시계열&계량경제학

시계열 분석 #5 MA process와 ARMA process

seungbeomdo 2023. 2. 3. 13:52

1. MA(1) 모형

1.1. MA(1) 모형의 정의

  • MA(Moving-Average) 모형은 현재 시점의 값을 과거 시점의 모형 오차로 회귀시키는 모형이다. 즉 시계열 $X_{t}$에 대하여, MA(1) 모형은 다음과 같다.

$$X_{t} = c + \epsilon_{t} + {\theta}{\epsilon}_{t-1}$$

where c is a constant and $\epsilon_{t} \sim w.n.(0,\sigma^{2})$

1.2. MA(1) 모형의 성질

  • MA(1) 모형을 따르는 시계열의 주요 모멘트들은 다음과 같다.

 

$E[X_{t}] = c$

$Var[X_{t}] = (1+\theta^{2})\sigma^{2}$

$Cov(X_{t},X_{t-1}) = \theta\sigma^{2}$

$Cov(X_{t},X_{t-k}) = 0$ for k > 1

 

  • MA(1) process는 추가적인 가정이 없이도 약정상성을 만족한다는 것을 확인할 수 있다.

1.3. MA(1) 모형의 가역성(Invertibility)

  • 가역성이란 MA(1) 모형이 AR($\infty$) 모형으로 변환될 수 있는 성질을 말한다. 다음과 같은 MA(1) 모형으로부터,

$$X_{t} = c + \epsilon_{t} + {\theta}{\epsilon}_{t-1}$$

$$Z_{t} = \epsilon_{t}[1+\theta{L}]$$

where $Z_{t} = X_{t} - c$

  • 여기서 시차에 대하여 반복적 대입을 수행하면 다음의 결과를 얻는다.

$$Z_{t} = \epsilon_{t} + \theta{Z_{t-1}} - \theta^{2}{Z_{t-2}} + \theta^{3}{Z_{t-3}} - ... $$

  • 이때 마지막 식은 AR($\infty$) process와 같다는 것을 알 수 있다. 이 AR process가 정의되기 위해서는 다음의 조건이 필요하다는 것도 쉽게 알 수 있다.

$$|\theta| < 1$$

  • 이 조건이 MA(1) 모형의 가역성 조건이다.
    • AR process는 정상성을 만족하면 항상 가역성도 만족하기 때문에 이전 포스팅에서는 언급하지 않았다. 하지만 MA process는 항상 정상성을 만족하지만 가역성 조건은 따로 확인해주어야 한다.

1.4. MA(1) 모형의 ACF와 PACF

  • MA(1) 모형의 ACF는 다음과 같이 정의된다.

$$\rho(k) = \{^{-\theta/(1+\theta^2) ... k = 1}_{0 ... k > 1}$$

  • MA(1) 모형의 PACF는 다음과 같다.

$$P(k) = \frac{-\theta^{k}(1-\theta^{2})}{1-\theta^{2(k+1)}}$$

  • MA(1) 모형의 ACF는 시차 1을 초과해서는 0의 값을 갖는 절단된 곡선의 형태를 보이고, PACF는 시차에 대하여 감소하는 형태를 보일 것임(가역성을 만족한다면)을 짐작할 수 있다.

2. MA(q) 모형

2.1. MA(q) 모형의 정의

  • MA(q) 모형은 다음과 같이 정의한다.

$$X_{t} = c + \epsilon_{t} + {\theta_{1}}{\epsilon}_{t-1} + {\theta_{2}}{\epsilon}_{t-2} + ... + {\theta_{q}}{\epsilon}_{t-q}$$

  • MA(q) 모형도 시차연산자 $L$을 사용하여 편리하게 정의할 수 있다.

$$X_{t} = c + \Theta_{q}(L)\epsilon_{t}$$

where $\Theta_{q}(L) = 1 + \theta_{1}L + \theta_{2}L^{2} + ... + \theta_{q}L^{q}$

  • 여기서 $\Theta_{q}(L)$를 MA 다항식(MA Polynomial)이라고 부른다.

2.2. MA(q) 모형의 가역성 조건

  • MA(q) 모형은 별다른 조건 없이도 정상성을 만족한다. 다만 가역성 조건은 다음과 같다.

 

MA 다항식에 대하여, $\Theta_{q}(L) = 0$을 만족하는 q개의 근 $L$의 절대값이 모두 1보다 커야한다.

 

  • 정상성과 가역성을 만족하는 MA(q) 시계열의 ACF는 시차 q를 초과하는 경우들에 대하여 0의 값을 갖는다. 한편 PACF는 시차에 대하여 점차적으로 감소하는 형태를 보인다.

q=6일때, MA(q)의 ACF와 PACF


3. ARMA(Autoregressive Moving Average) 모형

3.1. ARMA(p,q) 모형

  • AR(p) 방정식과 MA(q) 방정식의 합으로 표현하는 시계열 모형을 ARMA(p, q) 모형이라고 한다.

$$X_{t} = c + {\phi_{1}}X_{t-1} + {\phi_{2}}X_{t-2} + ... + {\phi_{p}}X_{t-p} + \epsilon_{t} + {\theta_{1}}{\epsilon}_{t-1} + {\theta_{2}}{\epsilon}_{t-2} + ... + {\theta_{q}}{\epsilon}_{t-q}$$

  • 시차 다항식을 이용하여 보다 편리하게 나타내면,

$$\Phi_{p}(L)X_{t} = c + \Theta_{q}(L)\epsilon_{t}$$

3.2. ARMA(p,q) 모형의 정상성과 가역성

  • 정상성 조건은

AR 다항식에 대하여, $\Phi_{p}(L) = 0$을 만족하는 p개의 근 $L$의 절대값이 모두 1보다 커야한다.  

 

  • 가역성 조건은

MA 다항식에 대하여, $\Theta_{q}(L) = 0$을 만족하는 q개의 근 $L$의 절대값이 모두 1보다 커야한다.

 

  • 정상성과 가역성을 모두 만족하는 ARMA(p,q) 모형의 ACF와 PACF는 아래와 같은 형태를 보인다. ACF는 시차=q에서, PACF는 시차=p에서 절단된 형태라는 것만을 제외하면 유사한 패턴이다.

p=q=6인 ARMA(p,q) 모형의 ACF와 PACF

3.3. ARIMA(p,d,q) 모형

  • d차 차분을 거쳤을 때 정상성과 가역성을 만족하는 ARMA(p,q) model이 된다면, 원 시계열이 ARIMA(p,d,q) 모형을 따른다고 말한다. 그냥 원 시계열이 비정상 시계열이니까 d번 차분하고나서 ARMA 모형 적용하라는 뜻이다. 별 것 아니다.
  • d차 차분 후 정상시계열이 되는 시계열을 I(d) process를 따른다고도 말한다. 대부분은 d=1에서 해결된다.