인공지능수학 · 제2회

틀리며 배운다사람이 가중치를 못 맞춰요 — 기계는 어떻게 스스로 고칠까?

1회에선 우리가 손으로 가중치를 맞췄죠. 그런데 특징이 수백만 개면 불가능해요. 기계는 ‘틀린 정도(오차)’를 조금씩 줄이는 방향으로 스스로 가중치를 고쳐요 — 이게 딥러닝 학습의 심장, 경사하강법입니다.

01어느 쪽으로 고칠까

가중치를 조금 바꿨더니 오차가 줄었어요. 그럼 그 방향으로 더 가야겠죠! 반대로 늘면 반대로. 그런데 얼마나 크게 움직여야 할까요?

오차를 언덕이라 생각해요. 공을 내리막 방향(기울기 반대)으로 굴리면 골짜기(최소 오차)에 닿아요. 직접 굴려봐요.

곡선은 오차(Loss), 공은 지금 가중치예요. 한 걸음마다 기울기 반대로 조금 이동해요. 학습률이 너무 크면 튕겨 나가고, 너무 작으면 느려요!

학습률 (한 걸음 크기)0.30

가중치 w = — · 오차 = — · 걸음 0

‘한 걸음’을 눌러 공이 골짜기로 내려가는 걸 보세요.

기계는 w ← w − (학습률)×(기울기)를 반복해 오차가 가장 작은 가중치를 찾아요. 학습률이 적당하면 쏙 내려가고, 너무 크면 골짜기를 지나쳐 튕겨 오히려 커져요. 이 균형이 딥러닝의 핵심 기술이에요.

w ← w − η · ∂Loss/∂w (η = 학습률)

‘오차가 가장 빨리 줄어드는 방향’은 기울기의 반대예요. 그 방향으로 학습률만큼 이동하기를 반복하죠. 신경망·GPT·이미지 생성이 전부 이렇게 수백만~수천억 개 가중치를 학습해요.

점수 0 / 0

고교경사하강·학습률 직관오차를 줄이는 방향(기울기 반대)으로 조금씩, 학습률의 역할.

학부기울기·역전파·확률적 경사하강편미분으로 기울기, 연쇄법칙 역전파(BP), 미니배치 SGD·모멘텀.

대학원Adam·볼록성·안장점적응적 최적화(Adam), 비볼록 손실면의 안장점, 일반화 이론.

다음 회 예고 — 뉴런 하나(선 하나)로 못 푸는 문제가 있어요. 층을 겹겹이 쌓으면? 신경망으로. → 인공지능수학 제3회

『수요를 따라가는 수학 · 인공지능수학』 제2회. 경사하강법 시뮬레이터 + 자동채점. · 인공지능수학방으로