seungbeomdo

1. 시계열적 상관 고전적 선형회귀 모형을 구성하는 가정 중 하나는 데이터셋이 IID하다는 것이다. 즉 다음과 같은 임의의 두 데이터 포인트가 독립이고 동일한 분포를 가진다.$$[Y_{t}, X_{t1}, X_{t2}, … , X_{tk}], \, [Y_{\tau}, X_{\tau1}, X_{\tau2}, … , X_{\tau k}]$$ 그런데 대부분의 경제 데이터들, 특히 금융 시계열 데이터들은 IID 가정을 불충족한다. 특히 독립성 가정에 문제가 있다. 이러한 데이터들에는 시계열적 상관이 존재한다고 말한다. 이 글에서는 독립성은 불만족하지만, 정상성(Strict한 의미에서의 Stationary는 Identicalness와 동일하다)은 만족하는 데이터에 대한 OLS 추정을 다룬다. 2. Ergodic ..

이전 글에 이어 내생성 문제에 관련된 몇 가지 심화된 이슈들을 다룬다. 계량경제학 #6 내생성 가정 하에서의 선형회귀 모형 (1): IV, TSLS 모형에 내생성 문제가 존재하는 경우, OLS 추정량은 더이상 모수에 대한 일치추정량이 아니다. 일치성이 지켜지지 않는 문제는 효율성이 지켜지지 않는 문제보다 훨씬 심각하다. 일치성이 지켜 seungbeomdo.tistory.com 3. GMM 앞서 TSLS는 IV의 일반화된 형태이고, IV는 OLS의 일반화된 형태임을 설명했다. 그런데 OLS, IV, TSLS는 모두 Least-Squared 방법의 일종이다. 즉 오차제곱합을 최소화하는 샘플 추정량 $\dot{\beta}_{n}$이다. $$\dot{\beta}_{n} = arg \, min _{\beta} \..

모형에 내생성 문제가 존재하는 경우, OLS 추정량은 더이상 모수에 대한 일치추정량이 아니다. 일치성이 지켜지지 않는 문제는 효율성이 지켜지지 않는 문제보다 훨씬 심각하다. 일치성이 지켜지지 않을 경우, 모형을 추정하는 기본적인 목적(인과관계 파악)을 달성할 수 없기 때문이다. 애초에 추정된 회귀계수가 무엇을 추정하는 것인지도 알 수가 없다. 만약 내생성의 원인이 변수 누락에 있다면, 누락된 변수를 모형에 추가하면 된다. 누락된 변수를 구할 수 없다면 적당한 대리변수(proxy)를 사용하면 된다. 그런데 적당한 대리변수조차 찾을 수 없거나, 얼마나 많은 변수들이 누락된 것인지 알 수 없거나, 혹은 동시성의 문제가 존재하는 것이라면 아예 다른 해결방안을 찾아야 한다. 그 방법이 도구변수이다. 1. 도구변수..

1. 외생성: Exogeneity 외생성 조건은 다음과 같다. $$E[\mathsf{X}_{t}U_{t}] = 0$$ 외생성의 직관적 의미 외생성 조건은 모형의 독립변수가 외생적이라는 의미이다. 외생적이라는 것은 모형 바깥에서 이미 결정돼 주어진다는 의미이다. 즉 독립변수가 진짜 독립적인가?를 묻는 조건이다. 외생적이지 못한 독립변수는 내생적(Endogeneous)이라고 말한다. 외생성의 수식적 표현에서 볼 수 있듯이, 외생성이 존재하면 독립변수와 오차 간의 상관이 존재한다. 이는 독립변수가 오차에 영향을 주고, 혹은 오차가 독립변수에 영향을 주는 관계가 존재한다는 것이다. 독립변수는 우리가 모형 내에서 통제하는 요인이지만, 오차는 우리가 통제하지 못하는 요인이다. 통제되는 요인에 통제되지 않은 요인이 ..

계량경제학 #3 이분산 가정 하에서 OLS: HC 추정량과 FGLS 1. Heteroskedasticity 동분산성(Homoskedasticity)은 오차의 조건부 분산이 상수라는 것을 의미한다. $$E(U_{t}^{2}|\mathsf{X}_{t}) = \sigma_{*}^{2}$$ 독립변수 벡터의 조건부 평균은 독립변수 벡터의 함수이다. 따라 seungbeomdo.tistory.com 이분산 가정 하에서 OLS 추정량은 Consistency를 만족하지만, 더이상 효율적인 추정량은 아니다. 즉 OLS 추정량보다 분산이 작은 추정량이 존재한다. 사실 OLS 추정량을 사용하더라도, 우리가 원하는 베타값에 대한 일치추정량을 구할 수 있다. 샘플 크기가 충분히 크다면 우리가 가지고 있는 추정량이 이미 베타값과 ..

1. Heteroskedasticity 동분산성(Homoskedasticity)은 오차의 조건부 분산이 상수라는 것을 의미한다. $$E(U_{t}^{2}|\mathsf{X}_{t}) = \sigma_{*}^{2}$$ 독립변수 벡터의 조건부 평균은 독립변수 벡터의 함수이다. 따라서 동분산 가정은 오차의 조건부 분산이 독립변수 값에 따라 변화하지 않는다는 것을 의미한다. 만약 오차의 조건부 분산이 독립변수 값에 따라 변화한다면, 이분산성(Heteroskedasticity)이 존재한다고 말한다. 2. 모형의 가정 기본적으로 CLM의 가정과 동일하지만, 동분산성 가정만 제외한다. Asymptotic Theory의 세계를 다루고 있으므로, 정규성 가정도 불필요하다. 1) IID: Independently & Id..

CLM 모형의 가정 중 하나는 오차의 조건부 분포가 정규분포라는 것이다.오차의 조건부 분포에 대한 특별한 가정을 할 수 없는 경우에서 OLS 추정량의 성질을 알아본다.1. 모형의 가정기본적으로 CLM의 가정과 동일하지만, 정규성 가정만 제외된다.1) IID: Independently & Identically DistributedIID 가정은 데이터셋을 구성하는 각 벡터 [$Y_{t}$, $X_{t1}$, $X_{t2}$, ..., $X_{tk}$]가 독립적이고 동일한 확률분포를 갖는다는 것이다.2) 선형성: Linearity다음의 식을 성립시키는 $\beta_{*}$가 존재한다.$$E[Y_{t}|\mathsf{X}_{t}] = \mathsf{X}_{t}^{T}\beta_{*}$$3) 가역성: Invert..

1. 선형회귀 모형의 개요 선형회귀 모형은 종속변수 $Y$를 독립변수 집합 $X_1$, $X_2$, ... , $X_k$의 선형함수로 설명하는 모형이다. 일반적으로 주어진 독립변수 집합 하에서 종속변수의 조건부 평균을 구하는 것이 목표이다. 즉 다음의 조건부 평균을 만족시키는 회귀계수 $\beta_*$를 구하는 것이다. $$E[Y_{t}|\mathsf{X}_{t}] = \beta_{1}X_{t1} + \beta_{2}X_{t2} + ... + \beta_{k}X_{tk} = \mathsf{X}_{t}^{T}\beta_{*}$$ where $$\mathsf{X}_{t}^{T} = [X_{t1}, X_{t2}, \cdots, X_{tk}]$$ $$\beta_* = [\beta_{1}, \beta_{2}, \..

DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks Probabilistic forecasting, i.e. estimating the probability distribution of a time series' future given its past, is a key enabler for optimizing business processes. In retail businesses, for example, forecasting demand is crucial for having the right inven arxiv.org 시계열 예측에 사용되는 RNN의 한 응용인 DeepAR 모형을 공부해보자. GitHub - Seungbe..

전 포스팅에서 VAR의 기본 골격을 살펴보았다. 여기서는 VAR 모형을 풍부하게 만들어주는 추가적인 이슈들을 고려한다. 1. 구조적 벡터자기회귀모형(SVAR; Structural VAR) 이전 포스팅에서 다룬 VAR은 Reduced Form VAR이라고 한다. 축소모형이라고도 부른다. 계량경제학 모형에서 Structural과 Reduced의 구분은 그 모형이 경제학 이론을 반영한 계량 모형인지 혹은 단지 복수의 변수 간의 관찰된 통계적 상관성만을 기술하는 모형인지에 따른 것이다. 전자이면 Structural, 후자이면 Reduced이다. 가령 인플레이션율과 GDP 증가율을 VAR 모형으로 추정한다고 하자. reduced from VAR는 다음과 같이 경제이론에 대한 고려 없이 단순하게 두 변수로 구성된 ..