AI에게 채점을 맡길 때, 몇 명에게 물어야 하는가

논문 한 편을 한 페이지로 읽기

투고 원고(Do LLM Juries Beat Their Own Members? Difficulty, Rubrics, and Anchoring in Multi-LLM Similarity Grading on Human-Labelled Korean and English Benchmarks)의 논리를 결과 순서 그대로 12개 절로 정리한 해설 노트다. 아래 포털이 "무엇을 어떤 순서로 했나"의 기록이라면, 해설 노트는 "논문이 무엇을 주장하고 무엇으로 뒷받침하나"를 눌러 보는 그래프와 함께 설명한다.

해설 노트의 결론("중앙값 투표는 개별 모델을 이기지 못했다")에 대한 교수님 피드백 이후, 왜 그런지 원인을 찾고 원인을 제거한 설계로 같은 판정을 다시 분석한 추가 노트다. 결론을 정하기 전 검토용이며 논문에는 아직 반영하지 않았다.

왜 지금 중요한가

데이터 라벨링, 문서 분류, 답안 채점, 콘텐츠 심사가 빠르게 LLM에게 넘어가고 있다. 문제는 AI의 판정을 얼마나, 언제 믿을 수 있는가에 대한 근거 있는 지침이 아직 없다는 것이다.

비용의 문제

배심원 방식의 비용은 모델 수에 비례한다. 언제 하나로 충분하고 언제 여럿이 필요한지 알면 평가 비용이 몇 배 달라진다. 루브릭이 배심원을 대신할 수 있다면 절감 폭은 더 커진다.

신뢰의 문제

오류의 대가가 큰 평가에 AI 판정 활용이 늘고 있다. 그러나 모델들끼리 일치한다고 정답인 것은 아니며(일관성 ≠ 타당성; Norman et al., 2026), 사람은 제시된 AI 답에 동조하는 경향이 보고되어 있다(Rathi et al., 2025).

지식의 공백

배심원의 이득이 언제 생기고 사라지는지를 요인 조작으로 규명한 연구는 드물다. 오류 상관이 다수결 이득을 제약한다는 보고(Kim et al., 2025; Kohli, 2026)는 있으나, 왜, 어떤 조건에서는 비어 있다.

판정자 한 명에서 배심원단까지

세 가지 확증 가설

H1 · 배심원의 이득은 어려운 과제일수록 커진다

쉬운 문제는 모델 하나로 충분하다. 어려운 문제일수록 각 모델의 실수 지점이 갈리고, 그때 중앙값 투표가 실수를 지운다. 여기서 ‘어렵다’는 사람 정답 등급(1~5)으로 보고, 평가자별 점수가 있는 KLUE-STS에서는 사람 평가자 편차로도 본다. 배심원 자신의 불일치로 난이도를 정하면 같은 표로 기준도 정하고 성적도 매기는 순환이 되므로 쓰지 않는다.

H2 · 루브릭은 개별 모델과 배심원을 함께 올리는가

상세한 채점 기준표가 개별 모델의 정확도와 중앙값 투표의 정확도를 함께 올리는지, 그리고 루브릭이 있을 때 배심원 이득이 살아나는지를 검정한다. 루브릭과 중앙값 투표를 함께 검정한 선행연구는 없다.

H3 · 답을 보여주면 배심원은 무너지고, 루브릭은 이를 누그러뜨리는가

판정 전에 앞선 답을 보여주면 AI도 동조한다. 중앙값 투표가 첫 답의 메아리가 되어 배심원 이득이 사라지는지, 그리고 루브릭이 이 앵커 효과를 얼마나 줄이는지(루브릭 × 앵커 상호작용)를 함께 검정한다.

같은 AI에게 다른 상황을

사람 실험처럼 설계하되 참가자는 전원 LLM 에이전트다. 동일한 에이전트에게 동일한 문항을 상황만 바꿔 제시한다. 같은 에이전트가 자기 자신의 통제집단이 되므로 판정의 변화가 곧 조작의 효과이며, 모델 차이로 생기는 변동이 원천적으로 제거된다.

난이도

난이도는 사람 정답 등급(1~5)으로 본다. 처음에는 양 끝(1·5)이 쉽고 가운데(3)가 어렵다고 가정했지만, 순서를 강제하지 않고 등급마다 실측한 정확도를 그대로 보고한다. KLUE-STS는 평가자 5~7명의 개별 점수가 있어 사람 평가자 편차(표준편차)로도 난이도를 정한다.

실제 판정 프롬프트

다음 두 문장의 주제 유사도를 1(무관)~5(동일)로 판정하세요.


문장1: 오늘 오후부터 전국에 비가 내리겠습니다.


문장2: 오늘 오후 들어 전국적으로 비가 오겠습니다.


숫자 하나만 답하세요.

루브릭 조건에서는 5단계 채점 기준을 덧붙이고, 앵커 조건에서는 참고: 앞선 판정자는 이 쌍을 N점으로 판정했습니다를 덧붙인다. N은 언제나 정답에서 한 칸 벗어난 값이다.

배심원 7인

계열 다양성을 최우선으로 삼았다. 오류 상관을 낮추는 것이 배심원의 제1원칙이기 때문이다(Verga et al., 2024). 전 모델 온도 0, 추론 비활성, 버전 고정으로 재현성을 확보했다. 배심원 판정은 7개 점수의 중앙값 투표(중위수, median)로 정한다. 비교 기준인 개별 모델 평균은 7개 모델을 각각 단독으로 썼을 때 정확도의 평균이다.

세 개의 자료를 각각 분석한다

같은 실험 설계를 서로 독립된 세 자료에 각각 적용한다. 하나가 다른 하나를 검증하는 관계가 아니다. 같은 질문을 세 번 묻고, 답이 자료와 언어를 넘어 재현되는지를 본다.

세 자료 모두 사람이 매긴 공개 벤치마크다. 정답은 사람 점수를 1~5 등급으로 옮긴 값이고, 배심원 7모델이 2,448쌍 전부를 네 조건에서 판정했다(68,544 판정, 결측 0).

사람 라벨 세 자료의 결과

같은 2×2 설계(루브릭×앵커)와 배심원 7모델로 세 자료를 분석한 결과다. 블라인드·무루브릭 기준, 배심원 = 7개 점수의 중앙값 투표(중위수, median), 정답 = 사람 등급 1~5. 배심원 이득 = 중앙값 투표 정확도 − 개별 모델 평균 정확도(7개 모델을 각각 단독으로 썼을 때 정확도의 평균)(%p), 문항 단위 부트스트랩 2,000회 95% CI. 그림과 해설은 위 논문 해설 노트에 있다.

배심원 vs 개별 모델 — 중앙값 투표는 개별 모델 평균을 못 이긴다

H1 — 사람 등급별 배심원 이득 (개별 모델 평균 → 중앙값 투표, Δ)

H1은 어려운 문항일수록 배심원 이득이 커진다고 예측했다. 결과는 반대다. 등급 1~3에서 배심원이 개별 모델 평균보다 유의하게 나쁘고, 5등급(그리고 KorSTS의 4등급)에서만 좋다. 등급 2·3은 개별 모델 자신에게도 가장 어려운 등급이라, 배심원은 도움이 가장 필요한 곳에서 실패한다. H1 기각.

H2 — 루브릭 효과 (문항 단위 부트스트랩 95% CI)

루브릭은 개별 모델과 배심원을 함께 올린다. 세 자료 모두 개별 모델 평균과 중앙값 투표가 함께 오르지만, 루브릭 조건에서도 배심원 이득은 −0.9 / −5.0 / +0.3으로 살아나지 않는다. 즉 루브릭은 배심원을 대신하는 것이 아니라 개별 모델과 배심원을 같은 폭으로 밀어 올린다. H2 지지.

H3 — 앵커 효과와 루브릭의 완화 (문항 단위 부트스트랩 95% CI)

앵커는 개별 모델과 배심원을 함께 내리며 표를 앵커값 쪽으로 끌어당긴다. 배심원은 앵커에 개별 모델보다 더 크게 무너진다(앵커에 끌린 일곱 표가 앵커값으로 수렴하면 중앙값이 따라간다). 루브릭이 앵커 효과를 누그러뜨리는 상호작용은 한국어 두 자료에서만 유의하고 STS-B에서는 유의하지 않다. H3 지지, 루브릭의 완화는 부분 지지.

다국면 Rasch — 심판 능력 θ (로짓, 자료별)

정답 여부를 θ(심판) − β(문항) + 조건으로 모형화해 심판 능력과 문항 난이도를 분리. θ가 높을수록 난이도를 통제한 뒤에도 잘 맞히는 심판.

개별 모델별 정확일치와 순위

같은 문항을 개별 모델 하나로만 채점했을 때의 정확일치다. 중앙값 투표는 어느 코퍼스·조건에서도 7개 모델 전부를 앞서지 못한다. 상위 3개(EXAONE 3.5, GPT-4o-mini, Claude Haiku 4.5)와 하위 2개(Gemma 4, GPT-OSS 120B)는 대체로 고정이지만, Llama 3.1은 KLUE-STS에서 1위, STS-B에서 7위로 코퍼스에 따라 크게 움직인다. 코퍼스 간 순위 상관은 KorSTS–STS-B 0.71, KorSTS–KLUE 0.52, KLUE–STS-B 0.20이다. 루브릭을 주면 순위가 거의 유지되지만(블라인드 대비 0.82~0.86), 앵커를 보이면 순위가 뒤집힌다(−0.18~0.32).

자료·프로그램 내려받기

투명성·재현성 검토용 패키지: llm_jury_repro_20260911.zip (1.3 MB). 문항 파일 3종과 판정 원자료 68,544건(jsonl), 집계·그림 스크립트, 결과 파일과 그림, README(프롬프트·실행법)를 담았다. API 키와 서버 정보는 포함하지 않는다. 표 파일: 개별 모델 정확도·순위 · 모델 비용·등급.

지금까지 한 것

사람 라벨 세 자료의 진행 상황이다. KorSTS·KLUE-STS·STS-B 수집·분석과 확증 분석·다국면 Rasch·논문 원고까지 완료했다.

앞으로 할 것

분석은 완료돼 위 지금까지 한 것으로 올렸다. 남은 것은 투고 준비다.

참고문헌

APA 7판 형식. 영문 알파벳순.

• Fasolo, B., Heard, C., & Scopelliti, I. (2025). Mitigating cognitive bias to improve organizational decisions: An integrative review, framework, and research agenda. Journal of Management. https://doi.org/10.1177/01492063241287188
• Ham, J., Choe, Y. J., Park, K., Choi, I., & Soh, H. (2020). KorNLI and KorSTS: New benchmark datasets for Korean natural language understanding. Findings of the ACL: EMNLP 2020. [KorSTS]
• Kim, E., Garg, A., Peng, K., & Garg, N. (2025). Correlated errors in large language models. ICML 2025. https://doi.org/10.48550/arXiv.2506.07962
• Kim, S., Shin, J., Cho, Y., Jang, J., Longpre, S., Lee, H., … Seo, M. (2024). Prometheus: Inducing fine-grained evaluation capability in language models. ICLR 2024. https://doi.org/10.48550/arXiv.2310.08491
• Kohli, G. (2026). Nine judges, two effective votes: Correlated errors undermine LLM evaluation panels. arXiv. https://doi.org/10.48550/arXiv.2605.29800
• Liu, Y., Iter, D., Xu, Y., Wang, S., Xu, R., & Zhu, C. (2023). G-Eval: NLG evaluation using GPT-4 with better human alignment. EMNLP 2023, 2511–2522. https://doi.org/10.18653/v1/2023.emnlp-main.153
• Norman, J. D., Rivera, M. U., & Hughes, D. A. (2026). Reliability without validity: A systematic, large-scale evaluation of LLM-as-a-judge models across agreement, consistency, and bias. arXiv. https://doi.org/10.48550/arXiv.2606.19544
• Park, S., Moon, J., Kim, S., et al. (2021). KLUE: Korean Language Understanding Evaluation. NeurIPS 2021, Datasets and Benchmarks Track. [KLUE-STS]
• Rathi, N., Jurafsky, D., & Zhou, K. (2025). Humans overrely on overconfident language models, across languages. arXiv. https://doi.org/10.48550/arXiv.2507.06306
• Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., … Perez, E. (2024). Towards understanding sycophancy in language models. ICLR 2024. https://doi.org/10.48550/arXiv.2310.13548
• Verga, P., Hofstätter, S., Althammer, S., Su, Y., Piktus, A., Arkhangorodsky, A., … Lewis, P. (2024). Replacing judges with juries: Evaluating LLM generations with a panel of diverse models. arXiv. https://doi.org/10.48550/arXiv.2404.18796
• Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., … Stoica, I. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. NeurIPS 2023, Datasets and Benchmarks Track. https://doi.org/10.48550/arXiv.2306.05685

교수님과의 의논

교수님 피드백을 받을 때마다 확인한 사실과 다시 계산한 결과를 날짜별로 남긴다. 결론을 정하기 전 검토용이며, 정해진 내용은 본문(04 방법·06 결과)과 원고에 반영한 뒤 여기에는 이력만 남긴다.

• 2026-09-16 (17·18일 갱신) · 교수님 질문 아홉 개에 대한 답 — 서열상관으로 다시 본 배심원. 지표를 정확일치에서 사람 연속 점수와의 서열상관(스피어만·피어슨)으로, 배심원을 중앙값에서 평균으로 바꾸어 다시 계산했다. 등급 변환 규칙 불일치와 STS-B 손상 4문항을 확인했고, 앵커는 정답+1이었음을 답하며 무작위 앵커 결과를 붙였다. 조합 탐색과 교차코퍼스 검증, 난이도 층을 담았고, 17일에 후보 6모델(solar-pro4 · GLM-5.3-Flash · Kimi-K2.6 · gemma-3-27b · DeepSeek-V4-Flash · Qwen3.5-9B) 판정 58,752건을 받아 13모델 조합 재탐색 결과를 4번·8번에 더했다. 13모델 배심원은 세 코퍼스·네 조건 모두 14명 중 1위이고, 값싼 모델만의 조합도 최고 단일 모델을 넘는다. 18일에는 교수님이 제안하신 상호정보 교환 앵커(가설 4)를 13모델 델파이 라운드(133,835건)로 실험해 10번 절로 더했다. 근거를 공유하면 의견은 강하게 수렴하지만 배심원의 서열상관은 세 코퍼스 모두 내려가고, 루브릭과 3라운드로도 회복되지 않는다. 열기 →
• 2026-09-12 ~ 14 · 첫 피드백("결론이 원하던 것과 다르다") 이후의 추가 분석. 정확일치 기준에서 배심원이 진 원인(공통 위쪽 치우침)을 찾고 분위수 보정과 무작위 앵커 재실험을 정리했다. 서열상관으로 지표가 바뀌면서 보정 부분은 부록으로 내려갈 예정이다. 열기 →