벨만 방정식 · 제1회

미래의 값을 지금지금 이 자리는 얼마나 ‘값진’ 자리일까? — 미래 보상을 현재로 접는 법

길을 찾을 때 우리는 ‘여기서 목표까지 얼마나 가까운가’로 방향을 정해요. 벨만은 이걸 수식으로 만들었어요 — 지금 자리의 값 = 당장의 보상 + 다음 자리의 값. 미래를 현재로 접는 하나의 방정식.

01지금 이 자리는 얼마나 값진가

보물(목표)까지 가야 해요. 어떤 칸은 목표에 가깝고 어떤 칸은 멀죠. 각 칸의 ‘가치’를 어떻게 한꺼번에 매길까요?

비밀은 이웃 칸의 값으로 내 값을 정하는 거예요. 목표에서 시작해 값이 물결처럼 퍼져 나갑니다.

02직접 해보기 — 가치가 퍼져 나간다

노란 칸이 목표(보물), 어두운 칸은 벽이에요. 각 칸의 값 = γ × (가장 좋은 이웃 칸의 값). 화살표는 그 칸에서 갈 최선의 방향이에요. γ(할인율)를 바꿔 보세요.

0.90
‘한 걸음 계산’을 눌러 값이 목표에서 퍼지는 걸 보세요.

γ가 1에 가까울수록 먼 미래의 보상까지 크게 쳐줘서 값이 멀리까지 퍼지고, γ가 작으면 목표 근처만 값이 커요. 이게 ‘얼마나 멀리 내다보는가’예요.

03하나의 방정식으로

V(s) = maxa [ R(s,a) + γ · V(s′) ]

지금 자리 값 V(s)는 당장의 보상 R과 다음 자리 값 V(s′)의 합 중 가장 큰 것. 이 벨만 방정식 하나가 최단경로·강화학습(AI)·재고관리·투자결정을 전부 풀어요. 알파고도 이 원리로 배웠죠.

04스스로 점검하기

점수 0 / 0

05더 깊이 — 세 개의 수심

고교할인·최적경로 직관미래 보상을 γ로 접어 지금 값으로. 목표에서 값이 퍼지는 최단경로 감.
학부동적계획법·가치반복·정책반복벨만 방정식을 반복으로 풀기. 마르코프 결정과정(MDP)의 최적정책.
대학원강화학습·연속시간 HJB모형 없이 배우는 Q러닝·심층강화학습, 연속시간 해밀턴–야코비–벨만. 최적제어·거시경제.

다음 회 예고 — 한 사람의 최적 선택을 경제 전체로 확장하면? 가계·기업·정부가 시간 따라 함께 움직이는 DSGE로. → DSGE 방

『수요를 따라가는 수학 · 벨만 방정식』 제1회. 가치반복 격자 시뮬레이터 + 자동채점. · 벨만방정식방으로