{
"cells": [
{
"cell_type": "markdown",
"id": "4c7a6219",
"metadata": {},
"source": [
"# 01 · 데이터 입수 및 검증 — BOKDPM 재추정\n",
"한국은행 동태예측모형(BOKDPM)의 **관측변수 20개**를 2000Q1–2025Q4 전 구간에 걸쳐\n",
"단일 원천(한국은행 ECOS · 미국 FRED)에서 **새로 재수집**한다(원본 접합이 아니라 전면 재수집).\n",
"\n",
"**흐름:** 인증·경로(`config_env`) → 원계열 수집 → 변환(20 varobs) → SAFACTOR/지출항목(보조) →\n",
"파일 출력(`BOKDPM_data_2025.m`) → **원본(2000–2009)과 연속/단속 대조**.\n",
"\n",
"> 키는 `config_env`가 `.secret` 또는 OS 환경변수에서 읽으며 노트북에 저장되지 않는다."
]
},
{
"cell_type": "code",
"execution_count": 1,
"id": "3a723764",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"── BOKDPM 파이프라인 환경 ─────────────────────────\n",
" 프로젝트 : C:\\Temp\\VAForecast\\bokdpm_pipeline\n",
" 데이터 : C:\\Temp\\VAForecast\\bokdpm_pipeline\\data\n",
" 모형 : C:\\Temp\\VAForecast\\bokdpm_pipeline\\mod\n",
" 출력 : C:\\Temp\\VAForecast\\bokdpm_pipeline\\output\n",
" Octave : OK C:/Users/meals/octave-11.1.0-w64/mingw64/bin/octave-cli.exe\n",
" Dynare : OK C:/Users/meals/dynare-7.1/matlab\n",
" 표본 : 2000Q1 ~ 2025Q4 (원본 종료 2009Q4 )\n",
" ECOS 키 : 설정됨\n",
" FRED 키 : 설정됨\n",
"───────────────────────────────────────────────\n"
]
}
],
"source": [
"import os, json\n",
"from pathlib import Path\n",
"import numpy as np, pandas as pd, requests\n",
"from datetime import datetime\n",
"import matplotlib.pyplot as plt\n",
"try:\n",
" import koreanize_matplotlib # 한글 폰트\n",
"except Exception:\n",
" pass\n",
"import config_env as C\n",
"C.setup()\n",
"API_KEY_BOK, API_KEY_FRED = C.API_KEY_BOK, C.API_KEY_FRED\n",
"SAMPLE_START_Q = C.SAMPLE_START_Q # '2000Q1' (HP필터 끝점편의 완화 위해 일찍부터)\n",
"DATA_DIR = str(C.DATA_DIR)\n",
"assert API_KEY_BOK and API_KEY_FRED, '인증키 필요 — .secret 또는 환경변수 확인'\n"
]
},
{
"cell_type": "markdown",
"id": "dbde764d",
"metadata": {},
"source": [
"## 1. 수집 함수 (ECOS · FRED)"
]
},
{
"cell_type": "code",
"execution_count": 2,
"id": "a2e9181c",
"metadata": {},
"outputs": [],
"source": [
"ECOS_BASE = C.ECOS_BASE\n",
"\n",
"def fetch_ecos(stat_code, item_code, freq, start, end=None, n=5000):\n",
" \"\"\"한국은행 경제통계시스템 시계열 1개 → pandas Series. freq: A/Q/M/D.\"\"\"\n",
" if end is None:\n",
" t = datetime.today()\n",
" end = {'A': str(t.year), 'Q': f'{t.year}Q{(t.month-1)//3+1}',\n",
" 'M': t.strftime('%Y%m'), 'D': t.strftime('%Y%m%d')}[freq]\n",
" url = (f'{ECOS_BASE}/StatisticSearch/{API_KEY_BOK}/json/kr/1/{n}/'\n",
" f'{stat_code}/{freq}/{start}/{end}/{item_code}')\n",
" j = requests.get(url, timeout=30).json()\n",
" if 'StatisticSearch' not in j:\n",
" raise RuntimeError(f'ECOS 오류 ({stat_code}/{item_code}): {j}')\n",
" rows = j['StatisticSearch']['row']\n",
" return pd.Series({r['TIME']: float(r['DATA_VALUE']) for r in rows}).sort_index()\n",
"\n",
"def q_to_ts(s):\n",
" s2 = s.copy(); s2.index = pd.PeriodIndex(s2.index, freq='Q').to_timestamp(); return s2\n",
"\n",
"def m_to_q(s, how='mean'):\n",
" s2 = s.copy()\n",
" fmt = '%Y%m' if len(str(s2.index[0])) == 6 else '%Y%m%d'\n",
" s2.index = pd.to_datetime(s2.index.astype(str), format=fmt)\n",
" return s2.resample('QS').mean() if how == 'mean' else s2.resample('QS').last()\n",
"\n",
"FRED_BASE = C.FRED_BASE\n",
"def fetch_fred(series_id, start='2000-01-01'):\n",
" url = (f'{FRED_BASE}/series/observations?series_id={series_id}'\n",
" f'&api_key={API_KEY_FRED}&file_type=json&observation_start={start}')\n",
" j = requests.get(url, timeout=30).json()\n",
" if 'observations' not in j:\n",
" raise RuntimeError(f'FRED 오류 ({series_id}): {j}')\n",
" rows = [(o['date'], o['value']) for o in j['observations'] if o['value'] != '.']\n",
" s = pd.Series({d: float(v) for d, v in rows}); s.index = pd.to_datetime(s.index)\n",
" return s.sort_index()\n"
]
},
{
"cell_type": "markdown",
"id": "17325f94",
"metadata": {},
"source": [
"## 2. 한국·미국 원계열 수집 (13 + 6)"
]
},
{
"cell_type": "code",
"execution_count": 3,
"id": "f3371dff",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"한국 원계열 수집...\n",
" KR_BLT 2000~2001 원본 보완 → n=107, 시작 2000-01-01\n",
" KR_GDP_REAL n= 106 2000-01-01~2026-04-01\n",
" KR_GDP_NOM n= 105 2000-01-01~2026-01-01\n",
" KR_GOV n= 106 2000-01-01~2026-04-01\n",
" KR_CA n= 106 2000-01-01~2026-04-01\n",
" KR_BLT n= 107 2000-01-01~2026-07-01\n",
" KR_UNR n= 106 2000-01-01~2026-04-01\n",
" KR_CPI n= 107 2000-01-01~2026-07-01\n",
" KR_FX n= 107 2000-01-01~2026-07-01\n",
" KR_HOUSE n= 107 2000-01-01~2026-07-01\n",
" KR_CALL n= 107 2000-01-01~2026-07-01\n",
" KR_CD n= 107 2000-01-01~2026-07-01\n",
" KR_TB n= 107 2000-01-01~2026-07-01\n",
" KR_CB n= 107 2000-01-01~2026-07-01\n",
"\n",
"미국 원계열 수집...\n",
" US_GDP_REAL n= 106 2000-01-01~2026-04-01\n",
" US_GDP_POT n= 148 2000-01-01~2036-10-01\n",
" US_CPI n= 318 2000-01-01~2026-07-01\n",
" US_RATE n= 319 2000-01-01~2026-07-01\n",
" US_OIL n= 319 2000-01-01~2026-07-01\n",
" US_BLT n= 107 2000-01-01~2026-07-01\n"
]
}
],
"source": [
"print('한국 원계열 수집...')\n",
"kr_gdp_real = q_to_ts(fetch_ecos('200Y108','10101','Q',SAMPLE_START_Q)).rename('KR_GDP_REAL') # 실질GDP(계절조정)\n",
"kr_gdp_nom = q_to_ts(fetch_ecos('200Y107','10101','Q',SAMPLE_START_Q)).rename('KR_GDP_NOM') # 명목GDP(계절조정)\n",
"kr_gov = q_to_ts(fetch_ecos('200Y108','1010120','Q',SAMPLE_START_Q)).rename('KR_GOV') # 정부소비(실질)\n",
"kr_ca = q_to_ts(fetch_ecos('301Y013','000000','Q',SAMPLE_START_Q)).rename('KR_CA') # 경상수지\n",
"kr_blt = q_to_ts(fetch_ecos('514Y001','AA','Q','2002Q1')).rename('KR_BLT') # 대출태도(2002Q1~)\n",
"# KR_BLT는 ECOS 514Y001이 2002Q1부터 제공 → 2000~2001은 원본(주동헌) 데이터로 보완\n",
"_o = pd.read_csv(os.path.join(DATA_DIR,'orig_varobs.csv'))\n",
"_oi = pd.period_range('2000Q1', periods=len(_o), freq='Q').to_timestamp()\n",
"_pre = pd.Series(_o['BLT_kor'].values, index=_oi, name='KR_BLT').loc[:'2001-10-01']\n",
"kr_blt = pd.concat([_pre, kr_blt]).sort_index()\n",
"kr_blt = kr_blt[~kr_blt.index.duplicated(keep='last')]\n",
"print(f' KR_BLT 2000~2001 원본 보완 → n={len(kr_blt)}, 시작 {kr_blt.index.min().date()}')\n",
"kr_unr = q_to_ts(fetch_ecos('901Y027','I61BC','Q',SAMPLE_START_Q)).rename('KR_UNR') # 실업률\n",
"kr_cpi = m_to_q(fetch_ecos('901Y009','0','M','200001')).rename('KR_CPI') # 소비자물가\n",
"kr_fx = m_to_q(fetch_ecos('731Y004','0000001','M','200001')).rename('KR_FX') # 원/달러\n",
"kr_house = m_to_q(fetch_ecos('901Y062','P63A','M','200001')).rename('KR_HOUSE') # 주택매매가격\n",
"kr_call = m_to_q(fetch_ecos('722Y001','0101000','M','200001')).rename('KR_CALL') # 콜금리\n",
"kr_cd = m_to_q(fetch_ecos('817Y002','010502000','D','20000101',n=15000)).rename('KR_CD') # CD(91일)\n",
"kr_tb = m_to_q(fetch_ecos('817Y002','010200000','D','20000101',n=15000)).rename('KR_TB') # 국고채(3년)\n",
"kr_cb = m_to_q(fetch_ecos('817Y002','010300000','D','20000101',n=15000)).rename('KR_CB') # 회사채(3년,AA-)\n",
"kr_all = [kr_gdp_real,kr_gdp_nom,kr_gov,kr_ca,kr_blt,kr_unr,kr_cpi,kr_fx,kr_house,kr_call,kr_cd,kr_tb,kr_cb]\n",
"for s in kr_all: print(f' {s.name:11s} n={len(s):4d} {s.index.min().date()}~{s.index.max().date()}')\n",
"\n",
"print('\\n미국 원계열 수집...')\n",
"us_gdp_real = fetch_fred('GDPC1').rename('US_GDP_REAL') # 실질GDP\n",
"us_gdp_pot = fetch_fred('GDPPOT').rename('US_GDP_POT') # 잠재GDP(CBO)\n",
"us_cpi = fetch_fred('CPIAUCSL').rename('US_CPI') # CPI(계절조정)\n",
"us_rate = fetch_fred('FEDFUNDS').rename('US_RATE') # 연방기금금리\n",
"us_oil = fetch_fred('POILDUBUSDM').rename('US_OIL') # WTI 유가\n",
"us_blt = fetch_fred('DRTSCILM').rename('US_BLT') # 대출태도(순긴축)\n",
"for s in [us_gdp_real,us_gdp_pot,us_cpi,us_rate,us_oil,us_blt]:\n",
" print(f' {s.name:11s} n={len(s):4d} {s.index.min().date()}~{s.index.max().date()}')\n"
]
},
{
"cell_type": "markdown",
"id": "0486165f",
"metadata": {},
"source": [
"## 3. 분기 패널 병합 + 산출갭(HP필터)"
]
},
{
"cell_type": "code",
"execution_count": 4,
"id": "666145ef",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"병합 2000-01-01~2026-07-01, n=107 | 산출갭 완료\n"
]
}
],
"source": [
"m2q = lambda s: s.resample('QS').mean()\n",
"us_cpi_q, us_rate_q, us_oil_q = m2q(us_cpi).rename('US_CPI'), m2q(us_rate).rename('US_RATE'), m2q(us_oil).rename('US_OIL')\n",
"us_gdp_real.index = pd.PeriodIndex(us_gdp_real.index, freq='Q').to_timestamp()\n",
"us_gdp_pot.index = pd.PeriodIndex(us_gdp_pot.index, freq='Q').to_timestamp()\n",
"us_gdp_pot = us_gdp_pot[us_gdp_pot.index <= us_gdp_real.index.max()] # 미래 전망(2036) 제거 → 다른 변수와 기간 일치\n",
"\n",
"raw = pd.concat(kr_all + [us_gdp_real,us_gdp_pot,us_cpi_q,us_rate_q,us_oil_q,us_blt], axis=1).sort_index()\n",
"raw.index.name = 'quarter_start'\n",
"\n",
"from statsmodels.tsa.filters.hp_filter import hpfilter\n",
"lgdp_kr = 100*np.log(raw['KR_GDP_REAL'].dropna())\n",
"cyc_kr,_ = hpfilter(lgdp_kr.values, lamb=1600) # 한국 산출갭 = HP필터(λ=1600) 순환성분\n",
"Y_kor = pd.Series(cyc_kr, index=lgdp_kr.index, name='Y_kor')\n",
"print(f'병합 {raw.index.min().date()}~{raw.index.max().date()}, n={len(raw)} | 산출갭 완료')\n"
]
},
{
"cell_type": "markdown",
"id": "88ceb041",
"metadata": {},
"source": [
"## 4. 관측변수 20개 변환\n",
"- **로그수준**(100×ln): 실질GDP·CPI·디플레이터·환율·주택·미국GDP·미국CPI·유가\n",
"- **원계열**: 금리 6종·실업률·대출태도\n",
"- **파생**: 정부지출 증감률(4분기 로그차분)·경상수지비율·산출갭(HP/잠재)"
]
},
{
"cell_type": "code",
"execution_count": 5,
"id": "7cdd533d",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"표본구간 : 2000-01-01 ~ 2025-10-01 (104분기)\n",
"전변수 관측: 2000-01-01 ~ 2025-10-01 (BLT 원본보완으로 2000부터)\n"
]
},
{
"data": {
"text/html": [
"\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" UNR_kor | \n",
" RS_kor | \n",
" LCPI_kor | \n",
" LGDP_kor | \n",
" Y_kor | \n",
" BLT_kor | \n",
" GE_kor | \n",
" CA_kor | \n",
" LS_kor | \n",
" LDEF_kor | \n",
" RS_us | \n",
" LCPI_us | \n",
" LGDP_us | \n",
" Y_us | \n",
" BLT_us | \n",
" CD_kor | \n",
" CB_kor | \n",
" LHOUSE_kor | \n",
" LOIL_us | \n",
" TB_kor | \n",
"
\n",
" \n",
" | quarter_start | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
"
\n",
" \n",
" \n",
" \n",
" | 2025-01-01 | \n",
" 2.8 | \n",
" 2.83 | \n",
" 475.38 | \n",
" 1284.03 | \n",
" -0.85 | \n",
" 7.0 | \n",
" 2.58 | \n",
" 4.52 | \n",
" 727.69 | \n",
" 473.83 | \n",
" 4.33 | \n",
" 576.67 | \n",
" 1006.68 | \n",
" 0.57 | \n",
" 6.2 | \n",
" 2.94 | \n",
" 3.20 | \n",
" 459.08 | \n",
" 427.40 | \n",
" 2.59 | \n",
"
\n",
" \n",
" | 2025-04-01 | \n",
" 2.7 | \n",
" 2.58 | \n",
" 475.63 | \n",
" 1284.82 | \n",
" -0.59 | \n",
" -13.0 | \n",
" 12.20 | \n",
" 6.51 | \n",
" 723.86 | \n",
" 474.19 | \n",
" 4.33 | \n",
" 577.08 | \n",
" 1007.62 | \n",
" 0.94 | \n",
" 18.5 | \n",
" 2.66 | \n",
" 2.96 | \n",
" 459.14 | \n",
" 417.10 | \n",
" 2.39 | \n",
"
\n",
" \n",
" | 2025-07-01 | \n",
" 2.7 | \n",
" 2.50 | \n",
" 475.94 | \n",
" 1286.01 | \n",
" 0.08 | \n",
" -28.0 | \n",
" 25.19 | \n",
" 8.15 | \n",
" 723.79 | \n",
" 474.41 | \n",
" 4.29 | \n",
" 577.84 | \n",
" 1008.69 | \n",
" 1.45 | \n",
" 9.5 | \n",
" 2.53 | \n",
" 2.93 | \n",
" 459.46 | \n",
" 418.57 | \n",
" 2.45 | \n",
"
\n",
" \n",
" | 2025-10-01 | \n",
" 2.9 | \n",
" 2.50 | \n",
" 476.56 | \n",
" 1286.56 | \n",
" 0.10 | \n",
" -21.0 | \n",
" -0.75 | \n",
" 8.76 | \n",
" 727.31 | \n",
" 475.00 | \n",
" 3.90 | \n",
" 578.55 | \n",
" 1008.81 | \n",
" 1.02 | \n",
" 6.5 | \n",
" 2.70 | \n",
" 3.29 | \n",
" 460.03 | \n",
" 408.84 | \n",
" 2.84 | \n",
"
\n",
" \n",
"
\n",
"