시계열 분석 #5 MA process와 ARMA process

1. MA(1) 모형

1.1. MA(1) 모형의 정의

• MA(Moving-Average) 모형은 현재 시점의 값을 과거 시점의 모형 오차로 회귀시키는 모형이다. 즉 시계열 $X_{t}$에 대하여, MA(1) 모형은 다음과 같다.

$$X_t=c+{ϵ}_t+\theta {ϵ}_{t-1}$$

where c is a constant and $\epsilon_{t} \sim w.n.(0,\sigma^{2})$

1.2. MA(1) 모형의 성질

• MA(1) 모형을 따르는 시계열의 주요 모멘트들은 다음과 같다.

 

$E[X_{t}] = c$

$Var[X_{t}] = (1+\theta^{2})\sigma^{2}$

$Cov(X_{t},X_{t-1}) = \theta\sigma^{2}$

$Cov(X_{t},X_{t-k}) = 0$ for k > 1

 

• MA(1) process는 추가적인 가정이 없이도 약정상성을 만족한다는 것을 확인할 수 있다.

1.3. MA(1) 모형의 가역성(Invertibility)

• 가역성이란 MA(1) 모형이 AR($\infty$) 모형으로 변환될 수 있는 성질을 말한다. 다음과 같은 MA(1) 모형으로부터,

$$X_t=c+{ϵ}_t+\theta {ϵ}_{t-1}$$

$$Z_t={ϵ}_t[1+\theta L]$$

where $Z_{t} = X_{t} - c$

• 여기서 시차에 대하여 반복적 대입을 수행하면 다음의 결과를 얻는다.

$$Z_t={ϵ}_t+\theta Z_{t-1}-{\theta }^2{Z}_{t-2}+{\theta }^3{Z}_{t-3}-...$$

• 이때 마지막 식은 AR($\infty$) process와 같다는 것을 알 수 있다. 이 AR process가 정의되기 위해서는 다음의 조건이 필요하다는 것도 쉽게 알 수 있다.

$$|\theta |<1$$

• 이 조건이 MA(1) 모형의 가역성 조건이다.
  • AR process는 정상성을 만족하면 항상 가역성도 만족하기 때문에 이전 포스팅에서는 언급하지 않았다. 하지만 MA process는 항상 정상성을 만족하지만 가역성 조건은 따로 확인해주어야 한다.

1.4. MA(1) 모형의 ACF와 PACF

• MA(1) 모형의 ACF는 다음과 같이 정의된다.

$$\rho (k)={\{}_{0...k>1}^{-\theta /(1+{\theta }^2)...k=1}$$

• MA(1) 모형의 PACF는 다음과 같다.

$$P(k)=\frac{-{\theta }^k(1-{\theta }^2)}{1-{\theta }^{2(k+1)}}$$

• MA(1) 모형의 ACF는 시차 1을 초과해서는 0의 값을 갖는 절단된 곡선의 형태를 보이고, PACF는 시차에 대하여 감소하는 형태를 보일 것임(가역성을 만족한다면)을 짐작할 수 있다.

---

2. MA(q) 모형

2.1. MA(q) 모형의 정의

• MA(q) 모형은 다음과 같이 정의한다.

$$X_t=c+{ϵ}_t+{\theta }_1{ϵ}_{t-1}+{\theta }_2{ϵ}_{t-2}+...+{\theta }_q{ϵ}_{t-q}$$

• MA(q) 모형도 시차연산자 $L$을 사용하여 편리하게 정의할 수 있다.

$$X_t=c+{\mathrm{\Theta }}_q(L){ϵ}_t$$

where $\Theta_{q}(L) = 1 + \theta_{1}L + \theta_{2}L^{2} + ... + \theta_{q}L^{q}$

• 여기서 $\Theta_{q}(L)$를 MA 다항식(MA Polynomial)이라고 부른다.

2.2. MA(q) 모형의 가역성 조건

• MA(q) 모형은 별다른 조건 없이도 정상성을 만족한다. 다만 가역성 조건은 다음과 같다.

 

MA 다항식에 대하여, $\Theta_{q}(L) = 0$을 만족하는 q개의 근 $L$의 절대값이 모두 1보다 커야한다.

 

• 정상성과 가역성을 만족하는 MA(q) 시계열의 ACF는 시차 q를 초과하는 경우들에 대하여 0의 값을 갖는다. 한편 PACF는 시차에 대하여 점차적으로 감소하는 형태를 보인다.

q=6일때, MA(q)의 ACF와 PACF

---

3. ARMA(Autoregressive Moving Average) 모형

3.1. ARMA(p,q) 모형

• AR(p) 방정식과 MA(q) 방정식의 합으로 표현하는 시계열 모형을 ARMA(p, q) 모형이라고 한다.

$$X_t=c+{\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+...+{\varphi }_p{X}_{t-p}+{ϵ}_t+{\theta }_1{ϵ}_{t-1}+{\theta }_2{ϵ}_{t-2}+...+{\theta }_q{ϵ}_{t-q}$$

• 시차 다항식을 이용하여 보다 편리하게 나타내면,

$${\mathrm{\Phi }}_p(L)X_t=c+{\mathrm{\Theta }}_q(L){ϵ}_t$$

3.2. ARMA(p,q) 모형의 정상성과 가역성

• 정상성 조건은

AR 다항식에 대하여, $\Phi_{p}(L) = 0$을 만족하는 p개의 근 $L$의 절대값이 모두 1보다 커야한다.  

 

• 가역성 조건은

MA 다항식에 대하여, $\Theta_{q}(L) = 0$을 만족하는 q개의 근 $L$의 절대값이 모두 1보다 커야한다.

 

• 정상성과 가역성을 모두 만족하는 ARMA(p,q) 모형의 ACF와 PACF는 아래와 같은 형태를 보인다. ACF는 시차=q에서, PACF는 시차=p에서 절단된 형태라는 것만을 제외하면 유사한 패턴이다.

p=q=6인 ARMA(p,q) 모형의 ACF와 PACF

3.3. ARIMA(p,d,q) 모형

• d차 차분을 거쳤을 때 정상성과 가역성을 만족하는 ARMA(p,q) model이 된다면, 원 시계열이 ARIMA(p,d,q) 모형을 따른다고 말한다. 그냥 원 시계열이 비정상 시계열이니까 d번 차분하고나서 ARMA 모형 적용하라는 뜻이다. 별 것 아니다.
• d차 차분 후 정상시계열이 되는 시계열을 I(d) process를 따른다고도 말한다. 대부분은 d=1에서 해결된다.