시계열 분석 #4 white noise와 AR process

 

'정상' 시계열을 설명하기 위해 사용하는 대표적인 모형들을 정리한다.

1. 백색잡음(white noise)

• 백색잡음은 시계열 그 자체를 모델링하는 데 사용되지는 않는다. 하지만 모델링의 중요한 요소이고 살펴보아야할 성질이 있으므로 먼저 다룬다.
• 다음을 만족하는 $\epsilon_{t}$를 백색잡음이라고 한다.

 

$E[\epsilon_{t}] = 0$,

$Var[\epsilon_{t}] = \sigma^{2}$ and

$Cov[\epsilon_{t}, \epsilon_{t-k}] = 0$ for k = 1, 2, 3, ...

 

• 보론) white noise와 IID를 구분해야 한다. white noise는 약정상성을 만족하고 자기공분산이 0이며, IID는 강정상성을 만족하고(identical distributed) 독립(Independent)이다. 약정상성을 만족한다고 해서 강정상성을 만족하는 것은 아니며, 자기공분산이 0이라고해서 독립인 것은 아니기 때문에 white noise가 IID라고 말할 수는 없다. 일반적으로 IID는 white noise보다 강한 가정이라고 이해할 수 있을 것이다.
• 한편 white noise인 확률변수가 정규성(Gaussianity)까지 만족한다면 IID가 된다. 왜냐하면 (1) 정규분포는 평균과 분산의 두 가지 모수에 의해 고유하게 정의되고 (2) 공분산이 0인 두 정규분포 확률변수는 서로 독립인 성질이 있기 때문이다.

---

2. AR(1) 모형

2.1. AR(1) 모형의 정의

• AR(Auto-Regressive) 모형은 현재 시점의 값을 과거 1시점의 값으로 회귀시키는 모형이다. 즉 시계열 $X_{t}$에 대하여, AR(1) 모형은 다음과 같다.

 

$X_{t} = c + {\phi}X_{t-1} + \epsilon_{t}$

where $c$ is a constant and $\epsilon_{t} \sim w.n.(0, \sigma^{2})$

 

2.2. AR(1) 모형의 성질

• AR(1)을 따르는 확률변수 또는 AR(1) process의 성질을 알아보도록 하자. 우선 시차에 대하여 반복 대입을 통해 다음의 식이 성립함을 알 수 있다.

$$X_{t} = \frac{c}{1-\phi} + \Sigma_{j=0}^{\infty}\phi^{j}\epsilon_{t-j}$$

• 따라서 AR(1) process의 모멘텀들은 다음과 같다.

 

$E[X_{t}] = \frac{c}{1-\phi}$

$Var[X_{t}] = \frac{\sigma^{2}}{1-\phi^{2}}$

$Cov[X_{t}, X_{t-k}] = \frac{\phi^{k}}{1-\phi^{2}}\sigma^{2}$

 

2.3. AR(1) 모형의 정상성 조건

• 주어진 확률과정이 정상적이려면, 평균과 분산이 유한한 상수여야 한다. 위의 모멘텀들로부터 AR(1) 모형의 정상성 조건은 다음과 같음을 확인할 수 있다.

$$|\phi| < 1$$

• 만약 이 조건이 지켜지지 않는 경우 AR(1) 회귀식으로부터, 시계열의 값이 시간에 대해 점차 증가하거나 감소하는 추세를 가지게 될 것임을 예측할 수 있다.

 

2.4. AR(1) 모형의 ACF와 PACF

• AR(1) 모형의 ACF는 다음과 같이 정의된다(정상 시계열일 때).

$$\rho(k) = \frac{Cov[X_{t}, X_{t-k}]}{\sqrt{Var[X_{t}]Var[X_{t-k}]}} = \frac{Cov[X_{t}, X_{t-k}]}{Var[X_{t}]} = \phi^{k}$$

• AR(1) 모형의 PACF는 다음과 같이 정의된다. PACF는 AR(k) 회귀식의 회귀계수일 뿐이라는 점을 이전 글에서 다루었다.  

$$P(k) = \{ ^{\phi ... k = 1} _{0 ... k > 1}$$

 

• 따라서 AR(1) 모형이 정상적이라면 ACF는 시차에 대하여 감소하는 형태를 보이고, PACF는 시차 1을 초과해서는 0의 값을 갖는 형태일 것임을 짐작할 수 있다.

---

3. AR(p) 모형

3.1. AR(p) 모형의 정의

• AR(p) 모형은 p 시점 이전까지의 값들로 시계열을 회귀하는 모형이다.

$$X_{t} = c + {\phi_{1}}X_{t-1} + {\phi_{2}}X_{t-2} + ... + {\phi_{p}}X_{t-p} + \epsilon_{t}$$

• 시차연산자(Lag Operator) $L$을 사용하면 다음과 같이 정의할 수 있다. 시차연산자란 한 시차 이전의 값을 구하는 임의의 연산자를 말한다.

$$X_{t} - {\phi_{1}}X_{t-1} - {\phi_{2}}X_{t-2} - ... - {\phi_{p}}X_{t-p} = c  + \epsilon_{t}$$

$$(1 - \phi_{1}L - \phi_{2}L^{2} ... - \phi_{p}L^{p})X_{t} = c  + \epsilon_{t}$$

$$\Phi_{p}(L)X_{t} = c + \epsilon_{t}$$

defining $\Phi_{p}(L) =  1 - \phi_{1}L - \phi_{2}L^{2} - ... - \phi_{p}L^{p}$

• 여기서 $\Phi_{p}(L)$를 AR 다항식(AR Polynomial)이라고 부른다.

3.2. AR(p) 모형의 정상성 조건

• AR(p) 모형의 정상성 조건은 다음과 같다. 수리적인 증명 과정은 차후 포스팅으로 미룬다.

 

AR 다항식에 대하여, $\Phi_{p}(L) = 0$을 만족하는 p개의 근 $L$의 절대값이 모두 1보다 커야한다.  

 

• 정상성을 만족하는 AR(p) 시계열의 ACF는 시차에 대하여 점차적으로 감소하는 형태를 보인다. 한편 PACF는 시차 p를 초과하는 경우들에 대하여 0의 값을 갖는다.

p = 6일 때, AR(p)의 ACF와 PACF