벡터 · 제4회
3회에서 고유벡터를 봤죠. 이제 그 실전이에요. 키·몸무게·나이… 수많은 숫자로 된 데이터를 가장 잘 요약하는 하나의 방향을 찾는 법 — 주성분분석(PCA)입니다.
데이터 점들이 비스듬히 길쭉하게 퍼져 있어요. 이걸 딱 한 방향(축)으로 요약한다면, 어느 방향이 정보를 가장 많이 담을까요?
정답은 점들이 가장 넓게 퍼진 방향 — 그 축에 투영하면 정보(분산)를 가장 적게 잃어요. 이게 제1주성분이에요.
축(초록 선)을 회전시키면 점들을 그 축에 투영한 분산이 아래 막대로 보여요. 분산이 최대가 되는 각이 제1주성분(PC1)이에요!
분산이 최대인 축이 PC1, 그에 수직인 축이 PC2예요. PC1 하나만 남기면 2차원을 1차원으로 압축하면서 정보는 최대한 지켜요. 수백 차원도 이렇게 몇 개의 주성분으로 줄여요.
PC1 = 공분산행렬의 최대 고유벡터 (고유값 = 그 방향의 분산)
데이터의 공분산행렬을 만들고 고유벡터를 구하면, 분산이 큰 순서대로 주성분이 나와요. 얼굴인식(고유얼굴)·유전자·추천·이미지 압축·노이즈 제거가 전부 PCA 위에 있어요.
다음 회 예고 — 데이터를 비슷한 것끼리 묶으려면? 거리로 무리를 찾는 군집화(k-평균)로. → 벡터 제5회
『수요를 따라가는 수학 · 벡터』 제4회. PCA 분산 최대 축 시뮬레이터 + 자동채점. · 벡터방으로