통계 · 제2회
공부 시간과 성적, 키와 몸무게처럼 두 값을 찍으면 점들이 흩어져 있어요. 완벽한 직선은 아니지만 대체로 오른쪽 위로 향하죠. 이 경향을 가장 잘 맞는 한 줄로 요약하는 게 회귀예요.
흩어진 점들 사이로 직선을 그으라면 무수히 많죠. 그중 ‘가장 잘 맞는’ 직선은 어떤 기준으로 고를까요?
기준은 최소제곱 — 각 점과 직선의 세로 오차를 제곱해 모두 더한 값을 가장 작게 만드는 직선이에요.
그래프를 클릭해 점을 추가해 봐요. 점을 찍을 때마다 최소제곱 회귀직선(초록)과 상관계수 r이 실시간으로 갱신돼요. 회색 선은 각 점의 오차예요.
r은 −1에서 +1 사이 — +1에 가까우면 강한 우상향, −1이면 우하향, 0이면 관계 없음이에요. 회귀직선으로 안 찍힌 x의 y까지 예측할 수 있죠. 이게 머신러닝 예측의 조상이에요.
min Σ ( yᵢ − (a·xᵢ + b) )² → 기울기 a, 절편 b
모든 점의 세로 오차 제곱의 합을 최소로 만드는 a, b를 (미분으로) 구하면 회귀직선이 나와요. 상관관계는 인과가 아니에요 — 함께 움직인다고 원인은 아니라는 점, 꼭 기억!
다음 회 예고 — 이 관계가 ‘우연’일 확률은? 데이터로 주장을 검증하는 가설검정과 p값으로. → 통계 제3회
『수요를 따라가는 수학 · 통계』 제2회. 산점도·최소제곱 회귀 시뮬레이터 + 자동채점. · 통계방으로