벨만 방정식 · 제4회

부딪히며 배운다보상 규칙을 아무도 안 알려줘도, 기계는 시행착오로 길을 찾는다

2회에선 보상을 미리 다 알려줬죠(가치반복). 하지만 실제 로봇·게임 AI는 규칙을 모른 채 시작해요. 직접 움직여 보고 상·벌을 겪으며 경험만으로 배워요 — 이게 Q러닝, 모형 없는 강화학습입니다.

01지도 없이 출발

처음엔 어디가 목표고 어디가 함정인지 전혀 몰라요. 무작정 움직이다 보상(+10)이나 벌점(−10)을 만나죠. 이 경험만으로 최적 경로를 어떻게 배울까요?

매번 겪은 결과로 각 칸·행동의 가치 Q를 조금씩 고쳐요. 에피소드를 반복하면 지도가 저절로 그려져요.

노란 테=출발, 초록=목표(+10), 빨강=함정(−10). 에피소드를 돌릴수록 학습된 가치(색)와 정책(화살표)이 목표로 향하고 함정을 피해요.

학습한 에피소드 0 · 최근 성공률 —

‘10 에피소드’를 눌러 기계가 배우는 걸 지켜보세요.

처음엔 헤매지만, 반복할수록 스스로 길을 찾아요. 놀라운 건 보상 규칙을 미리 안 줬다는 것 — 오직 겪은 결과로 벨만 방정식을 근사해 풀어요. 알파고·자율주행이 바로 이렇게 훈련돼요.

Q(s,a) ← Q(s,a) + α[ r + γ·max Q(s′,·) − Q(s,a) ]

겪은 보상 r과 다음 칸의 최선 추정으로 가치를 조금씩(학습률 α) 갱신해요. 대괄호 안이 ‘예상과 실제의 차이(TD 오차)’예요. 상태가 수백만이면 표 대신 신경망으로 Q를 근사 — 그게 심층강화학습(DQN)이에요.

점수 0 / 0

고교경험 학습·시행착오모형 없이 겪은 상·벌로 가치를 갱신, 반복하면 최적 정책 수렴.

학부TD학습·Q러닝·SARSA·수렴시간차 오차, off/on-policy, 학습률·탐험 스케줄과 수렴 조건.

대학원심층강화학습·정책경사·액터크리틱신경망 함수근사(DQN), 정책경사·PPO, 알파고·로보틱스.

다음 회 예고 — 세상이 부분적으로만 보일 때(불완전 관측)의 최적 결정은? POMDP와 신념상태로. → 벨만 제5회

『수요를 따라가는 수학 · 벨만 방정식』 제4회. Q러닝(모형 없는 강화학습) 시뮬레이터 + 자동채점. · 벨만방정식방으로