여럿에게 물으면 정확해지는가 — 조건이 붙는다

무엇을 재려 했는가

AI에게 채점을 맡기는 일이 늘고 있다. 이때 실무자가 마주하는 선택은 단순하다. 모델 하나에게 물을 것인가, 여러 모델에게 물어 다수결을 낼 것인가. 후자는 비용이 모델 수만큼 든다. 언제 그 비용을 치를 가치가 있는지 알아야 한다.

이 실험은 그 답이 두 가지에 따라 달라진다고 보고 설계했다. 하나는 과제의 난이도이고, 다른 하나는 판정을 수집하는 방식이다.

과제 — 문장 두 개의 유사도 매기기

두 문장이 얼마나 비슷한지를 1점에서 5점으로 매기게 했다. 등급의 뜻은 다음과 같다.

난이도 — 정답 등급으로 정의한다

척도의 양 끝은 판단이 명확하고, 가운데로 갈수록 이웃 등급과 헷갈린다. 그래서 난이도를 정답 등급 자체로 정의했다.

• 쉬움 — 등급 1과 5. 척도의 양 끝이다
• 중간 — 등급 2와 4. 한쪽 이웃과 헷갈린다
• 어려움 — 등급 3. 양쪽 이웃 모두와 헷갈린다

임베딩 코사인 유사도도 함께 측정했으나 보조지표로만 쓴다. 정답이 자의적이지 않은지 확인하는 용도이며, 난이도를 정하지 않는다. 그 이유는 3장에서 데이터로 보인다.

같은 심판에게 상황만 바꿔 물었다

사람 실험처럼 설계하되 참가자는 전원 AI다. 핵심은 같은 심판에게 같은 문항을 상황만 바꿔 제시한 것이다. 같은 심판이 자기 자신의 대조군이 되므로, 판정의 변화가 곧 조작의 효과다.

두 가지 조작

• 루브릭 — 위의 5단계 정의를 프롬프트에 붙여 줄 것인가
• 앵커 — “앞선 판정자는 N점으로 판정했습니다”를 덧붙일 것인가

앵커의 N은 언제나 정답에서 한 칸 벗어난 값이다. 그대로 따르면 한 문항도 맞힐 수 없다. 남의 판단에 얼마나 끌려가는지를 재기 위한 장치다.

심판 7개

계열을 최대한 흩었다. 같은 회사의 모델끼리 오류가 겹치는 것을 줄이기 위해서다. 전 모델을 온도 0, 추론 기능 끔으로 고정해 같은 입력에 같은 출력이 나오도록 했다.

정답은 자의적이지 않다 — 다만 코사인이 대신할 수는 없다

정답 등급을 우리가 정했으니, 그것이 임의로 붙은 것이 아님을 보여야 한다. 독립적으로 측정한 코사인 유사도와 비교했다.

난이도는 정답 등급의 순서와 다르다

아무 도움도 주지 않은 기본 조건부터 본다.

판정을 어떻게 모으는지가 결정한다

이제 본론이다. 채점 기준표와 앞선 답이라는 두 축을 바꿔 가며 네 조건을 비교한다.

같은 조작인데 효과가 다르다

두 조작을 따로 떼어 보면, 상대 조건에 따라 효과 크기가 크게 달라진다.

채점 기준표의 가치는 정확도를 조금 올리는 데 있지 않다. 판정이 외부 정보에 휘둘리지 않도록 붙잡아 주는 데 있다.

다섯 문장으로

• 다수결은 조건부로만 이득이다. 전체로는 +7.8%p지만 정답 2 구간에서는 −6.1%p로 손해였다.
• 판정 독립성이 가장 중요하다. 앞선 답을 보여준 것만으로 배심원 정확률이 0.579에서 0.311로 떨어졌고 이득은 사라졌다. 여러 모델을 모으는 것만으로는 신뢰도가 오르지 않는다.
• 채점 기준표는 방어막이다. 정확도 개선보다 외부 정보에 대한 저항력을 높이는 효과가 훨씬 크다.
• 난이도는 정답 등급의 순서와 다르다. 정답 5가 가장 쉽고 정답 2가 가장 어려웠다.
• 코사인은 보조지표까지가 적정하다. 정답의 타당성은 뒷받침하나 정답 2와 3을 구분하지 못하고 정답 등급과 구조적으로 얽혀 있다.

노트북과 자료를 함께 공개한다

이 카드의 모든 표와 그림은 노트북 하나를 실행하면 그대로 재현된다. Colab이나 주피터랩 어디서든 돌아간다.

노트북은 한글 글꼴을 자동으로 잡고, Colab에서는 파일 업로드 창을 띄운다. 표와 그림마다 읽는 법을 함께 적어 두었다.