AIForA Lab · Research Preview

LLM 배심원 연구
세 가지 질문

AI(대규모 언어모델)에게 채점을 맡길 때, 한 모델에게 물을까요, 여러 모델의 다수결(배심원)로 할까요? 이 연구는 같은 AI에게 다른 상황을 주고 판정이 어떻게 변하는지를 관찰해 세 가지 질문에 답합니다.

질문 1. 배심원은 언제 필요한가 — 쉬운 과제에도 여러 모델을 돌릴 가치가 있나?
질문 2. 좋은 채점 기준표(루브릭)면 충분하지 않은가 — 배심원을 대신할 수 있나?
질문 3. 투표는 왜 독립적으로 받아야 하는가 — 앞선 답을 보여주면 무슨 일이 생기나?

전체 스토리라인

① 왜 지금 중요한가→ ② 무엇이 밝혀졌나→ ③ 무엇이 비어 있나→ ④ 세 질문과 가설→ ⑤ 어떻게 검증하나→ ⑥ 1차 결과→ ⑦ 참고문헌

1연구의 배경과 중요성 — 왜 지금인가

AI에게 '평가'를 맡기는 시대는 이미 왔습니다. 데이터 라벨링, 문서 분류, 답안 채점, 콘텐츠 심사 — 사람 평가는 느리고 비싸고 지치기 때문에, 이 일들이 빠르게 LLM에게 넘어가고 있습니다. 문제는 "AI의 판정을 얼마나, 언제 믿을 수 있는가"에 대한 근거 있는 지침이 아직 없다는 것입니다.

비용의 문제 (실무)

배심원(여러 모델 다수결)의 비용은 모델 수에 비례합니다. 언제 1개로 충분하고 언제 여러 개가 필요한지 알면 평가 비용이 몇 배 달라지고, 루브릭이 배심원을 대신할 수 있다면 절감 폭은 더 커집니다. 이 연구의 답이 곧 비용 지침입니다.

신뢰의 문제 (고위험 평가)

오류의 대가가 큰 평가에 AI 판정 활용이 늘고 있습니다. 그런데 모델들끼리 일치한다고 정답인 것은 아니며(일관성 ≠ 타당성; Norman et al., 2026), 사람은 제시된 AI 답에 동조하는 경향(자동화 편향)이 보고되어 있습니다(Rathi et al., 2025). 과신의 구조를 모르면 위험합니다.

지식의 문제 (학술)

배심원의 이득이 언제 생기고 사라지는지 — 그 조건을 요인을 직접 조작해 인과적으로 규명한 연구는 드뭅니다. 오류 상관으로 다수결 이득이 제약된다는 보고(Kim et al., 2025; Kohli, 2026)와 일관성이 타당성을 보장하지 않는다는 지적(Norman et al., 2026)은 있으나, "왜, 어떤 조건에서"는 비어 있습니다. 이 연구는 난이도·루브릭·독립성을 조작해 그 조건을 검증합니다.

요약하면 — 이 연구는 AI 평가의 신뢰 조건을 지도로 만드는 작업입니다. 아래 이야기는 "무엇이 밝혀졌나 → 무엇이 비어 있나 → 무엇을 묻나 → 어떻게 확인하나" 순서로 이어집니다.

2선행연구 — 판정자 한 명에서 배심원단까지

이 분야는 3년 만에 "한 명의 심판"에서 "배심원단"으로 진화했습니다.

2023

판정자 1명의 시대

GPT-4 한 모델이 심판을 봤습니다(Zheng et al., 2023; Liu et al., 2023). 싸고 빠르지만 — 길게 쓴 답을 선호하는 장황성 편향과, 쌍대 비교에서 제시 순서에 휘둘리는 위치 편향이 드러났습니다.

2024

배심원 3명의 등장

서로 다른 회사의 작은 모델 3개 — OpenAI GPT-3.5, Anthropic Claude Haiku, Cohere Command R — 를 배심원으로 묶었더니, 큰 모델 한 명보다 정확하고 비용은 1/7이었습니다(Verga et al., 2024, PoLL).

2025

불편한 발견 — 오류 상관, 그리고 사람의 과의존

회사가 달라도 LLM들은 같은 문제를 같이 틀려(Kim, Garg, Peng, & Garg, 2025), 배심원이 여럿이어도 사실상 한 표일 수 있습니다. 한편 사람은 여러 언어에서 과신하는 LLM 출력을 그대로 따르는 경향이 확인되어(Rathi et al., 2025), 판정 수집 방식(앞선 답 노출)이 결과를 오염시킬 수 있습니다.

2026

"9명 중 실효 2표"

판정자 9명을 모아도 오류가 겹쳐 실질적으로는 2표에 불과했습니다(Kohli, 2026). 일관성이 높다고 정답에 가까운 것도 아니었습니다(Norman et al., 2026).

3다섯 가지 공백 — 그림으로 보기

선행연구들이 아직 답하지 못한 질문 다섯 개입니다. (아래 로봇 그림은 개념 설명용 예시입니다.)

공백 ① 언제 불러야 하는지 아무도 안 쟀어요

쉬운 문제든 어려운 문제든 언제나 배심원 전부를 부릅니다 — 이득의 조건을 잰 연구가 없습니다.

공백 ② 손은 여럿인데 표는 하나예요

비슷한 데이터로 배운 모델들은 같은 문제를 똑같이 틀립니다 — 그런데 어떤 문제에서 심해지는지는 모릅니다.

공백 ③ 기준표 섬과 배심원 섬, 다리가 없어요

채점 기준표(루브릭) 연구와 배심원 연구는 각자 발전했을 뿐, 서로 만난 적이 없습니다.

공백 ④ 답을 보면 메아리가 돼요

먼저 나온 답을 보여주면 따라 말합니다 — 다수결이 첫 답의 복제가 되는데, 이를 직접 검증한 연구가 없습니다.

공백 ⑤ 사람 기준·구체 과제 검증이 부족해요

실험 대부분이 범용 과제에서, 정답·난이도를 AI가 정한 설정으로 이뤄졌습니다 — 사람이 라벨링한 벤치마크로 유사도 판정 과제를 검증한 연구는 드뭅니다.

4세 가지 연구가설

다섯 공백은 세 질문으로 수렴합니다 — 공백 ①은 질문 1로, 공백 ②는 질문 1의 작동 원리(오류 상관)로, 공백 ③은 질문 2로, 공백 ④는 질문 3으로 이어집니다. 공백 ⑤(사람 기준·구체 과제)는 세 질문 모두를 사람 라벨 벤치마크(한국어 KLUE-STS·영어 STS-B)로 검증하는 무대가 됩니다.

H1 · 질문 1: 언제 필요한가

배심원의 이득은 모델이 갈리는 어려운 과제일수록 커진다

쉬운 문제는 모델 하나로 충분합니다. 어려운 문제일수록 각 모델의 실수 지점이 갈리고, 그때 다수결이 실수를 지워줍니다. 여기서 '어렵다'는 정답 등급 자체가 아니라 판정자들이 서로 갈리는 정도로 봐야 합니다.

근거 — 오류 상관 실증(Kim et al., 2025; Kohli, 2026)에서 유사한 모델들의 오류가 겹쳐 다수결 이득이 제약됨이 보고되었습니다. 본 연구는 난이도를 직접 조작해 이를 인과적으로 검증하며, 1차 분석에서 이득은 명목 등급이 아니라 모델 간 불일치가 클수록 커졌습니다(⑥절).

H2 · 질문 2: 루브릭이면 충분한가

루브릭은 배심원의 대체재이자 앵커 방어막인가

좋은 채점 기준표(루브릭)가 (1) 배심원이 주던 이득을 대신하는지(대체재), 그리고 (2) 앞선 답에 대한 동조를 억제하는지(방어막)를 함께 검정합니다.

근거 — 구조화된 기준은 판정을 모으고 인간 정렬을 높이며(Liu et al., 2023; Kim, S. et al., 2024), 구조화된 의사결정 보조는 앵커링 같은 편향을 완화하는 것으로 보고됩니다(Fasolo et al., 2025). 사람·LLM 모두 제시된 답에 동조합니다(Rathi et al., 2025; Sharma et al., 2024). 루브릭과 다수결을 함께 검정한 연구는 없습니다(공백 ③). 1차 분석에서 루브릭의 정확도 개선은 작았으나(대체재로는 약함) 앵커 손상은 크게 완화됐습니다(방어막; 완전 상쇄는 아님, ⑥절).

H3 · 질문 3: 왜 독립 투표인가

답을 보여주면 배심원은 무너진다 — 투표는 독립적으로

판정 전에 앞선 답을 보여주면 AI도 동조(앵커링)합니다. 다수결이 첫 답의 메아리가 되어 배심원 이득이 사라지는지 검정합니다.

근거 — 사람은 제시된 AI 답에 과의존하는 경향이 보고되어 있고(Rathi et al., 2025), LLM도 상대 의견에 동조합니다(Sharma et al., 2024). '앞선 판정 제시'가 배심원의 실질 독립성을 무너뜨리는지 직접 검증한 연구는 없습니다(공백 ④).

세 가설이 지지되면 지침 한 줄이 나옵니다:
쉬운 과제는 단일 모델 + 루브릭으로, 어려운 과제만 배심원으로, 투표는 항상 독립적으로.

5방법론 — 같은 AI에게 다른 상황을

사람 실험처럼 설계하되, 참가자는 전원 LLM 에이전트입니다.

핵심 아이디어: 개체 내(within-subject) 반복측정

동일한 에이전트에게 동일한 문항을 상황만 바꿔 제시합니다 — 루브릭이 있을 때/없을 때, 앞선 답을 보여줄 때/안 보여줄 때. 같은 에이전트가 자기 자신의 통제집단이 되므로, 판정의 변화가 곧 조작의 효과입니다. 모델이 달라서 생기는 변동이 원천적으로 제거되어 적은 문항으로도 높은 검정력을 얻습니다.

실험 절차 6단계

문항 제작 — 유사도 정답 등급(1~5)을 통제해 만든 구성적 문항을 사용합니다. 정답을 확실히 알아야 정확도를 잴 수 있기 때문입니다. (도메인은 이번 논문에서 분석 축으로 두지 않고 통합하며, 도메인 비교는 후속연구로 남깁니다.)
난이도 정의(H1 조작) — 난이도는 정답 등급 기준(1·5=쉬움, 3=어려움)과 판정자 간 불일치로 정의합니다. 임베딩(bge-m3) 코사인은 난이도 기준이 아니라 정답 점검용 보조 지표입니다 — "정답 등급과 코사인이 비례하는지"를 확인하는 용도이며(정합 ρ≈0.86, 잠정), 난이도를 정하지 않습니다.
문항 뱅크 확정 — 난이도 층화 900쌍(구성적 정답). 인간 준거는 KLUE-STS를 주 준거로 둡니다 — 사람 주석자 7명의 개별 점수가 공개되어 "사람들이 얼마나 갈렸는가(불일치)"로 난이도를 사람 기준으로 정의할 수 있기 때문입니다. 영어 표준 STS-B는 대개 평균 점수만 공개되어 이 방식이 어렵기에, 결과가 언어를 넘어 재현되는지 확인하는 교차언어 준거로 병행합니다.
판정 수집 — 7개 에이전트 전원이 모든 문항을 4가지 상황(루브릭 유무 × 답 제시 유무)에서 판정. 온도 0, 구조화 출력, 문항 순서 무작위, 모델 버전 기록. 본실험 약 2.5만 판정 + 인간 준거 팔.
저장 — 모든 판정을 MySQL(llm_jury.judgments)에 원문과 함께 저장. 중단·재실행에 안전한 멱등 구조
배심원 재표집·검정 — 블라인드 판정의 부분집합으로 배심원 1·3·5·7명을 조합 구성(추가 실험 없음), 혼합모형으로 세 가설 검정

실제 판정 프롬프트 (본실험에서 사용한 원문)

조건 A — 기본(블라인드 · 루브릭 없음)

다음 두 문장의 주제 유사도를 1(무관)~5(동일)로 판정하세요. 문장1: 오늘 오후부터 전국에 비가 내리겠습니다. 문장2: 오늘 오후 들어 전국적으로 비가 오겠습니다. 숫자 하나만 답하세요.

조건 B — 루브릭 제공 시 추가되는 부분 (H2 조작)

[채점 기준] 5점: 두 문장이 같은 사건·주장을 다룸 (표현만 다름) 4점: 같은 주제의 매우 유사한 내용 (세부 대상만 다름) 3점: 같은 분야의 관련 주제이나 초점이 다름 2점: 부분적으로만 겹침 (기술만 같거나 분야만 같음) 1점: 주제가 겹치지 않는 무관한 내용

조건 C — 답 제시(앵커) 시 추가되는 부분 (H3 조작)

참고: 앞선 판정자는 이 쌍을 4점으로 판정했습니다.

앵커 값은 일부러 정답에서 한 칸 비껴가게 제시합니다(정답 3이면 4를 제시) — 에이전트가 끌려가는지를 재기 위해서입니다. 조건 D는 B+C를 함께 제시합니다.

배심원 재표집: 실험 한 번으로 배심원 구성 전부를 시험

7개 에이전트 전원의 블라인드 판정(슈퍼셋)을 모아두면, 크기 1명(7가지), 3명(35조합), 5명(21조합), 7명(1조합)의 배심원을 계산만으로 만들 수 있습니다. 전부 홀수라 이진 판정에서 동수가 없고, 같은 문항 위에서 모든 구성이 비교되므로 문항 차이가 통제됩니다. 다양성은 제공사 라벨 대신 구성원 간 오류 상관(관측치)으로 재며, Kohli(2026)가 경고한 '실효 투표 수'를 직접 측정합니다.

실험 요인	수준	연결 가설
과제 난이도	정답 등급 기준(1·5=쉬움, 3=어려움) + 판정자 불일치로 검증	H1
스코어 루브릭	없음 / 상세 제공	H2 · H4
답 제시	블라인드 / 앞선 판정 제시(정답±1 앵커)	H3 · H4
배심원 크기·다양성	1·3·5·7명 / 오류 상관 연속 측정	사후 재표집

배심원 선정기준

다음 여섯 기준으로 선정했습니다. (초기 9인 후보에서 한국어 특화 모델 EXAONE와 호출 한도 제약이 큰 Qwen을 제외해, 해외 일반화와 수집 안정성을 고려한 7인으로 확정했습니다.)

① 계열 다양성 최대화 — 서로 다른 모델 가문 5개(Google·Meta·Zhipu·OpenAI·Anthropic) + 상용/오픈 구분. 오류 상관을 낮추는 배심원의 제1원칙입니다(Verga et al., 2024).
② 무료·유료 균형 — 오픈웨이트 4개(온프레미스 2 + 고속 API 2) + 상용 API 3개. 같은 회사의 오픈·상용 쌍(Gemma·Gemini, GPT-OSS·GPT-4o-mini)은 학습·정렬 계보가 달라 별개 판정자로 두되, "같은 회사면 오류가 더 상관되는가"를 검정하는 재료가 됩니다.
③ 한국어 판정 가능 — 전원 한국어 지시를 수행합니다.
④ 재현성 — 전 모델 버전 고정·온도 0·로그 기록 가능.
⑤ 실측 검증 — 7개 전원이 실제 판정 테스트를 통과함.
⑥ 홀수 구성 — 7명이면 재표집 크기 1·3·5·7이 전부 홀수라 다수결 동수가 없습니다.

배심원 선정결과 (7인)

#	에이전트	모델 계열	비용	실행 위치
1	Gemma 4	Google (오픈)	무료	연구실 서버 (Ollama)
2	Llama 3.1 8B	Meta (오픈)	무료	연구실 서버 (Ollama)
3	GLM-4.7	Zhipu (오픈)	무료급	Cerebras API
4	GPT-OSS 120B	OpenAI (오픈)	무료급	Cerebras API
5	GPT-4o-mini	OpenAI (상용)	유료	OpenAI API
6	Claude Haiku 4.5	Anthropic (상용)	유료	Anthropic API
7	Gemini 2.5 Flash	Google (상용)	유료	Google API

7개 중 4개는 호출 비용이 사실상 0원(오픈웨이트·무료급)입니다.

분석 계획 (사전 등록)

주 모형은 문항·에이전트 교차 임의효과 혼합모형입니다: 정답 여부 ~ 난이도 × 배심원크기 + 루브릭 × 배심원크기 + 답제시 + 루브릭 × 답제시 + (1|문항) + (1|에이전트). H1은 난이도(불일치) × 배심원 상호작용, H2는 루브릭 × 배심원 상호작용, H3은 같은 에이전트·문항에서 블라인드 대비 판정 이동(대응 비교), H4는 루브릭 × 앵커 상호작용으로 검정하고, 모든 효과에 문항 단위 부트스트랩 95% 신뢰구간을 답니다. 가설·모형·제외 기준은 실험 전 사전 등록해 사후 가설화를 차단합니다.

지금 어디까지 와 있나

본실험(7인 배심원, 900쌍, 25,200판정)이 수집 완료·1차 분석 중입니다. 순환성을 끊기 위한 인간 준거(KLUE-STS·STS-B) 판정 수집이 진행 중입니다. 아래 ⑥절은 교수님 검토·인간 준거 반영 전의 잠정 1차 결과입니다.

61차 결과 — 7인 배심원, 900쌍 (잠정, 2026. 8.)

구성적 정답 900쌍 × 7에이전트 × 4조건 = 25,200판정(결측 0)의 1차 분석입니다. 교수님 검토 및 인간 준거(KLUE-STS) 반영 전 잠정 수치로, 확정 시 갱신됩니다.

아래 수치는 내부 1차 분석 결과이며, 최종 논문 수치와 다를 수 있습니다.

배심원의 한계 이득은 체감한다

블라인드·무루브릭 다수결 정확도 1명 52.0% → 3명 57.7% → 5명 60.1% → 7명 61.3%. 늘수록 오르나 이득이 뚜렷이 줄고, 최고 단일 모델(Claude Haiku, 70.1%)이 7인 배심원(61.3%)을 능가. 크기보다 판정자 선별이 먼저입니다.

앵커는 판정을 체계적으로 끌어간다

비껴간 답을 보여주면 무루브릭 정확도 52.0% → 37.6%(−14.4%p). 판정의 약 74%는 불변이지만 변한 판정의 82%가 앵커 방향. 취약성은 역량과 대체로 반비례(GPT-4o-mini가 가장 취약).

루브릭은 앵커 손상을 완화한다

루브릭의 평균 개선은 +2.2%p이고 모델별로 −11 ~ +15%p로 갈리지만, 앵커 손상이 무루브릭 −14.4%p에서 루브릭 −4.0%p로 크게 줄어듭니다(완전 상쇄는 아님). 루브릭의 핵심 가치는 정확도보다 판정 견고성.

핵심: '어려움'을 무엇으로 정의하느냐가 H1을 가른다

배심원 이득은 정답 등급(명목 난이도)으로 보면 난이도에 따라 커지지 않았습니다. 그러나 모델 간 불일치로 난이도를 정의하면, 불일치가 클수록 이득이 뚜렷이 커졌습니다(±1·오차 기준 단조 증가). 이는 다수결이 "판정자들이 갈릴 때" 오류를 상쇄한다는 콩도르세 원리와 부합합니다.

정답 타당성 점검 (코사인)

구성적 정답 등급과 임베딩 코사인의 상관은 ρ=0.857, 사람이 라벨링한 공개 벤치마크(KLUE-STS)에서도 ρ=0.877로, 우리 정답이 자의적이지 않고 사람 라벨과 유사하게 정렬됨을 확인했습니다. (코사인은 정답 점검용 보조 지표이며 난이도 기준이 아닙니다.)

논문 초안

「LLM 배심원은 언제 필요한가: 스코어 루브릭과 판정 독립성에 대한 개체 내 에이전트 시뮬레이션」 — 해외 SCIE/SSCI/SCI 저널 투고를 목표로 실험 논문 초안을 작성 중입니다. (선행 인간 대조 관찰연구는 국내 학술지로 별도 진행.)

본실험·순환성 대응 현황

사전 등록 문서 v1 작성 완료 — 확증 가설 4개(난이도·루브릭·앵커링·루브릭의 앵커링 방어), 분석 계획, 제외 규칙을 데이터 수집 전에 고정.
문항 뱅크 구축 완료 — 난이도 층화 900쌍(도메인은 분석 축으로 두지 않음). 문항 제작은 배심원단 외 모델(Claude Sonnet 4.5)이 수행해 순환성을 일부 차단했고, 정답·난이도가 모두 AI 산출이라는 한계는 사람 라벨 벤치마크(KLUE-STS 주 · STS-B 보조)를 실제 판정에 투입해 끊습니다.
본 수집(run_id=main-v1) 완료, 인간 준거 팔 수집 진행 중.
사전등록 문서 무결성 증빙(SHA-256, 2026-08-11 게시): 본실험_사전등록_v1.docx = d6d834cebbb8166f28c851e5775d2dea62e8286421659a5821fc3cdddfebf97d — 문서 내용은 논문 공개 시 함께 공개되며, 해시 일치로 수집 전 작성을 증명합니다.

7참고문헌

APA 7판 형식(전체 저자 명단·연도·출처·DOI) — 논문 참고문헌 목록에 그대로 옮겨 쓸 수 있습니다. 영문 알파벳순.

Fasolo, B., Heard, C., & Scopelliti, I. (2025). Mitigating cognitive bias to improve organizational decisions: An integrative review, framework, and research agenda. Journal of Management. https://doi.org/10.1177/01492063241287188
Kim, E., Garg, A., Peng, K., & Garg, N. (2025). Correlated errors in large language models. In Proceedings of the 42nd International Conference on Machine Learning (ICML 2025). https://doi.org/10.48550/arXiv.2506.07962
Kim, S., Shin, J., Cho, Y., Jang, J., Longpre, S., Lee, H., Yun, S., Shin, S., Kim, S., Thorne, J., & Seo, M. (2024). Prometheus: Inducing fine-grained evaluation capability in language models. In The Twelfth International Conference on Learning Representations (ICLR 2024). https://doi.org/10.48550/arXiv.2310.08491
Kohli, G. (2026). Nine judges, two effective votes: Correlated errors undermine LLM evaluation panels. arXiv. https://doi.org/10.48550/arXiv.2605.29800
Liu, Y., Iter, D., Xu, Y., Wang, S., Xu, R., & Zhu, C. (2023). G-Eval: NLG evaluation using GPT-4 with better human alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (pp. 2511–2522). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.emnlp-main.153
Norman, J. D., Rivera, M. U., & Hughes, D. A. (2026). Reliability without validity: A systematic, large-scale evaluation of LLM-as-a-judge models across agreement, consistency, and bias. arXiv. https://doi.org/10.48550/arXiv.2606.19544
Rathi, N., Jurafsky, D., & Zhou, K. (2025). Humans overrely on overconfident language models, across languages. arXiv. https://doi.org/10.48550/arXiv.2507.06306
Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., Cheng, N., Durmus, E., Hatfield-Dodds, Z., Johnston, S. R., Kravec, S., Maxwell, T., McCandlish, S., Ndousse, K., Rausch, O., Schiefer, N., Yan, D., Zhang, M., & Perez, E. (2024). Towards understanding sycophancy in language models. In The Twelfth International Conference on Learning Representations (ICLR 2024). https://doi.org/10.48550/arXiv.2310.13548
Verga, P., Hofstätter, S., Althammer, S., Su, Y., Piktus, A., Arkhangorodsky, A., Xu, M., White, N., & Lewis, P. (2024). Replacing judges with juries: Evaluating LLM generations with a panel of diverse models. arXiv. https://doi.org/10.48550/arXiv.2404.18796
Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., Lin, Z., Li, Z., Li, D., Xing, E. P., Zhang, H., Gonzalez, J. E., & Stoica, I. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. In Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://doi.org/10.48550/arXiv.2306.05685
Ham, J., Choe, Y. J., Park, K., Choi, I., & Soh, H. (2020). KorNLI and KorSTS: New benchmark datasets for Korean natural language understanding. In Findings of the Association for Computational Linguistics: EMNLP 2020. [KorSTS]
Park, S., Moon, J., Kim, S., et al. (2021). KLUE: Korean Language Understanding Evaluation. In NeurIPS 2021, Datasets and Benchmarks Track. [KLUE-STS]

LLM 배심원 연구세 가지 질문