벨만 방정식 · 제2회

함정을 피해상은 받고 벌은 피하며 — 기계는 어떻게 스스로 길을 배울까?

1회에선 목표(보물)만 있었죠. 현실엔 함정도 있어요. 게임 AI·로봇청소기·자율주행은 보상은 좇고 벌점은 피하며 스스로 최선의 길을 찾아요. 그 학습의 뼈대가 벨만 방정식 — 이게 강화학습입니다.

01지름길에 함정이 있다면

목표(+10) 바로 아래에 함정(−10)이 있어요. 지름길로 가면 빠르지만 위험하죠. 기계는 어떻게 안전한 길을 스스로 알까요?

비결은 똑같아요 — 각 칸의 가치를 계산하면, 함정 칸은 값이 낮아 화살표가 저절로 피해 가요.

02직접 해보기 — 함정을 피하는 정책

초록=목표(+10), 빨강=함정(−10). 가치를 계산하면 각 칸의 화살표(정책)가 함정을 우회해 목표로 향해요. γ를 바꿔 보세요.

0.90
‘학습’을 눌러 함정을 피하는 최적 경로를 만들어 보세요.

화살표를 따라가면 함정을 돌아서 목표에 닿아요. 벌점이 값을 끌어내려, 굳이 위험을 무릅쓰지 않는 거죠. 이렇게 보상·벌점만 주면 기계가 스스로 정책을 배우는 게 강화학습이에요.

03보상을 좇는 최적 정책

V(s) = maxa [ R(s,a) + γ·V(s′) ], 정책 π(s) = argmaxa …

각 칸의 가치 V를 알면, 매 칸에서 값이 가장 큰 이웃으로 가는 게 최적 정책(π). 보상 설계만 바꾸면 완전히 다른 행동을 배워요. 알파고·자율주행·추천·로봇이 이 원리로 훈련됩니다.

04스스로 점검하기

점수 0 / 0

05더 깊이 — 세 개의 수심

고교보상·벌점·정책 직관가치가 높은 쪽으로 이동, 벌점은 피하기. 상벌로 행동이 바뀐다.
학부MDP·가치/정책반복·Q함수마르코프 결정과정, 상태–행동가치 Q(s,a), 최적정책의 수렴.
대학원Q러닝·심층강화학습·정책경사모형 없이 경험으로 학습, 신경망 함수근사. DQN·액터–크리틱.

다음 회 예고 — 세상이 무작위로 흔들릴 때(전이가 확률적)의 최적 결정은? 확률적 MDP와 탐험–활용 딜레마로. → 벨만 제3회

『수요를 따라가는 수학 · 벨만 방정식』 제2회. 보상·벌점 격자 강화학습 시뮬레이터 + 자동채점. · 벨만방정식방으로