벨만 방정식 · 제3회
2회에서 보상이 정해진 세계를 배웠죠. 현실은 어느 선택이 좋은지 모른 채 시작해요. 아는 맛집만 갈까(활용), 새 집을 도전할까(탐험)? 이 탐험–활용 딜레마가 강화학습의 심장입니다.
당첨률이 제각각(숨겨짐)인 슬롯머신 셋. 당길수록 어느 게 좋은지 감이 오지만, 계속 한 대만 당기면 더 좋은 걸 놓칠 수 있어요. 어떻게 해야 최대로 딸까요?
탐험(정보 모으기)과 활용(지금 최선 뽑기)의 균형이 답이에요. 직접 당겨보며 감을 잡아봐요.
머신을 클릭해 당겨요. 각 머신의 추정 당첨률과 당긴 횟수가 보여요. ε-greedy 자동은 대부분 최선을 당기되 가끔 무작위로 탐험해요.
한 대만 고집하면(순수 활용) 더 좋은 머신을 영영 모를 수 있고, 마구잡이로 당기면(순수 탐험) 손해가 커요. ε-greedy는 대부분 최선을 쓰되 가끔 탐험해 둘을 절충해요.
ε-greedy: 확률 ε로 탐험(무작위), 1−ε로 활용(추정 최선)
미래 보상을 최대화하려면 지금의 최선과 더 나은 걸 찾는 모험 사이 균형이 필요해요. 이 원리가 광고 노출·임상시험·추천·A/B 테스트, 그리고 강화학습 전반의 핵심이에요.
다음 회 예고 — 상태가 수백만 개라 표를 못 만들 땐? 신경망으로 가치를 근사하는 심층강화학습(DQN)으로. → 벨만 제4회
『수요를 따라가는 수학 · 벨만 방정식』 제3회. 멀티암드 밴딧 + ε-greedy + 자동채점. · 벨만방정식방으로