따로 묻고 평균하면, 배심원은 최고의 심판을 넘는다

00 — 한눈에

숫자로 보는 결론

아래 여섯 칸이 원고 v15의 결과를 요약한다. 값은 따로 적지 않으면 루브릭 없음·앵커 없음 조건이다.

논문 원고 v15

가제 「LLM Juries and Human Similarity Ratings: Aggregation, Rubrics, Random Anchors and Deliberation」제목 확정 전. Information Processing & Management(SCIE/SSCI) 투고용 영문 원고. 본문 6절·표 10·그림 6·부록 A~D·참고문헌 43편. 아래 03~06절은 이 원고의 가설·방법·결과를 같은 번호의 표·그림으로 옮긴 것이다.

01 — 배경

배심원이 이기려면 표가 독립적이어야 한다

데이터 라벨링, 검색 결과 채점, 요약·답안 평가가 빠르게 LLM에게 넘어가고 있다. 한 모델의 편향을 피하려고 여러 모델에게 같은 문항을 묻고 표를 합치는 배심원(jury) 방식이 퍼졌지만, 그것이 언제 최고의 단일 모델을 넘는지는 실증이 드물다.

오래된 논리

심판들이 서로 독립적으로 틀린다면 표를 합칠 때 오류가 상쇄되어 집단이 어느 구성원보다 진실에 가깝다(Galton, 1907; Condorcet 배심원 정리). LLM 심판들이 이 조건을 만족하는지는 경험적 질문이고, 최근 연구는 서로 다른 회사의 모델도 같은 문항을 같이 틀린다고 경고한다(Kim et al., 2025; Kohli, 2026).

두 가지 설계 선택

• 무엇으로 재는가. 사람 정답은 여러 평가자의 연속 평균(0~5)이고, 배심원의 쓸모는 "어느 쌍이 더 비슷한가"라는 순서다. 사람 점수와의 서열상관은 순서를 그대로 재고, 모델이 전체적으로 높게 주는 습관(척도 치우침)에 영향을 받지 않는다. 반올림한 등급과의 정확일치는 순서를 완벽히 맞추고도 한 칸 후하게 주면 0점이 된다.
• 심판이 무엇을 보는가. 판정 전에 보이는 숫자(앵커)는 사람의 결정을 끌어당기고(Tversky & Kahneman, 1974), LLM은 아첨과 프롬프트 효과에 취약하다(Sharma et al., 2024; Sclar et al., 2024). 서로의 점수를 본 배심원은 더 이상 독립 투표가 아니다.

지식의 공백

오류 상관이 다수결 이득을 제약한다는 보고는 있으나, 사람이 매긴 정답 위에서 (1) 평균 집계 배심원이 최고 단일 모델을 넘는지, (2) 루브릭이 얼마나 올리는지, (3) 정답과 무관한 앵커가 얼마나 끌어당기는지, (4) 서로의 근거를 읽는 델파이식 교환이 배심원을 돕는지 해치는지를 같은 모델·같은 문항에서 함께 잰 연구는 없다.

02 — 선행연구

판정자 한 명에서 배심원단, 그리고 배심원단의 한계까지

이 분야는 3년 만에 "한 명의 심판"에서 "배심원단"으로, 다시 "배심원단의 한계"로 옮겨 왔다. 원고 2절은 이를 네 갈래(심판·배심원 / 루브릭·앵커 / 사람 점수와의 일치 측정 / 의견 교환)로 정리한다.

루브릭과 앵커

구조화된 기준은 사람 평가자 편향의 표준 처방이고(Fasolo et al., 2025) 세분화된 루브릭은 LLM 평가자를 개선한다(Kim et al., 2024). 앵커링은 사람 판단에서 가장 견고한 발견 중 하나이며(Tversky & Kahneman, 1974), LLM에서 가장 가까운 현상은 아첨(Sharma et al., 2024)이다. 루브릭이 LLM 심판의 앵커링을 줄이는지는 사람 정답 위에서 측정된 적이 없다.

사람 점수와의 일치를 무엇으로 재는가

STS 벤치마크는 시스템과 사람 점수의 일치를 상관으로 보고한다. SemEval은 피어슨(Agirre et al., 2012; Cer et al., 2017), 흔히 스피어만도 함께다. 정답이 여러 평가자의 연속 평균이기 때문이다. 카파류 계수(Cohen, 1968; Artstein & Poesio, 2008)와 이산 등급과의 정확일치는 범주 결정에 맞고, 서열상관은 상대적 순서를 잰다. 사람 평가자들 자신도 구조적으로 갈리므로(Y. Wang et al., 2023) 연속 정답을 그대로 쓴다. 주 지표는 스피어만, 피어슨은 보조로 함께 보고한다.

의견 교환, 사회적 영향, 군중의 지혜

델파이 기법은 집단의 이전 답을 통제된 방식으로 돌려주며 판단을 반복해 수렴과 개선을 기대한다(Dalkey & Helmer, 1963). 델파이식 절차를 피드백 없음 / 집단 통계 / 평가자 근거로 나눠 비교한 실험에서는, 피드백이 없는 조건을 포함한 세 조건 모두 라운드를 거치며 정확도가 올랐고 그 과정은 서로 달랐다(Rowe & Wright, 1996). 사람 군중 실험은 약한 사회적 영향만으로도 추정치의 다양성이 줄고 군중의 지혜가 무너지며 자신감만 커진다고 보고했다(Lorenz et al., 2011). LLM 다중 에이전트 토론은 사실 추론을 돕고(Du et al., 2024) LLM 평가자와 사람 판단의 일치를 높인다는 보고(Chan et al., 2024)가 있는 반면, 토론의 이득은 대부분 다수결에서 오며(Choi et al., 2025) 능력이나 답이 비슷한 에이전트들의 토론은 다수 의견으로 수렴한다는 분석(Estornell & Liu, 2024)도 있다. 외부 피드백 없이 자기 답을 고치게 하면 추론이 잘 나아지지 않고 오히려 나빠지기도 한다(Huang et al., 2024). 그래서 LLM 배심원의 의견 교환을 시험하려면 다시 묻는 효과와 남의 답을 보는 효과를 나눠야 한다. 이렇게 나눈 의견 교환이 사람 정답 기준으로 배심원을 돕는지 해치는지가 네 번째 질문이다.

03 — 가설

네 가지 가설

2026-09-16 교수님 의논 이후 세운 가설이다. 지표는 사람 연속 점수와의 스피어만 서열상관 ρ, 배심원은 13개 후보 중 기본 조건 성적 상위 9개의 정수 점수 평균이다. 옛 가설(난이도–이득, 정답+1 앵커)은 폐기했고 그 이력은 11 이전 기록에 있다.

04 — 방법

같은 모델에게 같은 문항을, 상황만 바꿔서

사람 실험처럼 설계하되 참가자는 전원 LLM이다. 후보 13개 모델이 같은 2,444쌍을 네 조건에서 채점하고, 그중 상위 9개 배심원이 델파이식 라운드로 다시 판정한다. 같은 모델이 자기 자신의 통제집단이므로 판정의 변화가 곧 조작의 효과다(개체 내 설계).

실제 판정 프롬프트

다음 두 문장의 주제 유사도를 1(무관)~5(동일)로 판정하세요.
문장1: 오늘 오후부터 전국에 비가 내리겠습니다.
문장2: 오늘 오후 들어 전국적으로 비가 오겠습니다.
숫자 하나만 답하세요.

영어 문항(STS-B)은 같은 뜻의 영어 프롬프트를 받는다. 루브릭 조건은 첫 줄 뒤에 5단계 채점 기준(5점 같은 사건·주장 / 4점 같은 주제의 매우 유사한 내용 / 3점 같은 분야의 관련 주제 / 2점 부분적으로만 겹침 / 1점 무관)을 덧붙이고, 앵커 조건은 문장 앞에 참고: 앞선 판정자는 이 쌍을 N점으로 판정했습니다.를 덧붙인다. N은 문항 번호를 씨앗으로 한 의사난수로 1~5에서 균등하게 뽑으므로 사람 점수와 무관하고, 모든 모델에 같은 값이 가며, 재현된다. 전 모델 온도 0, 추론(thinking) 모드 비활성, 버전 고정, 시스템 프롬프트 없음. 채점 조건 판정 수는 13 × 2,444 × 4 = 127,088.

델파이식 의견 교환 (배심원 9개)

1라운드에서 각 모델은 한두 문장의 근거와 점수를 낸다. 2라운드에서는 같은 쌍과 자기 1라운드 점수·근거를 다시 받고, 세 조건 중 하나로 최종 점수를 정한다(유지 또는 변경). 자기 재검토는 다른 정보가 없고, 점수만 공유는 다른 8개 배심원의 1라운드 점수를, 점수+근거 공유는 그 근거까지 ‘평가자 1~8’로 익명화해 문항별 고정 난수 순서로 받는다. 세 조건이 같은 1라운드에서 출발하므로 1라운드 → 자기 재검토는 다시 묻는 효과, 자기 재검토 → 점수만 공유는 남의 점수 효과, 점수만 → 점수+근거는 남의 근거 효과다. 루브릭 없이·있이 두 번 돌렸다. 판정 9 × 2,444 × 8 = 175,968건 중 175,967건에서 점수를 얻어(gpt-oss-120b의 KorSTS 1건 빈 출력) 분석한 판정은 모두 303,055건이다.

후보 13개 모델과 배심원 9개

큰 판정자 하나 대신 서로 다른 계열의 작은 모델들로 패널을 꾸리자는 제안(Verga et al., 2024)을 따라, 대부분 각 개발사의 작거나 저렴한 등급으로 후보를 꾸렸다. 같은 개발사·구조의 모델끼리 오류가 더 비슷하므로(Kim et al., 2025) 개발사 9곳, 공개·비공개 가중치, 8B~120B 크기를 섞었고, 다국어 판정이 영어보다 덜 믿을 만하다는 보고(Fu & Liu, 2025)에 따라 한국 개발사 모델 2개(exaone-3.5, solar-pro4)를 넣었다. 여러 개발사 LLM의 앙상블은 예측 과제에서 사람 군중만큼 정확했다(Schoenegger et al., 2024). 처음 7개로 시작해 9월 17일에 교수님이 주신 키로 6개(solar-pro4 · GLM-5.3-Flash · Kimi-K2.6 · gemma-3-27b · DeepSeek-V4-Flash · Qwen3.5-9B)를 더했다.

배심원 구성 규칙. 13개를 기본 조건(루브릭 없음·앵커 없음) 개별 ρ의 세 코퍼스 평균으로 줄 세우고 상위 k개의 평균을 배심원으로 한다. 배심원 정리와 LLM 평가 패널의 관행에 따라 홀수 크기만 두었고(Dietrich & Spiekermann, 2023; Kohli, 2026), 여러 자료의 성적을 같은 비중으로 평균해 비교하는 관행(A. Wang et al., 2019; Muennighoff et al., 2023)에 따라 세 코퍼스 평균 ρ가 가장 높은 홀수 크기를 골랐다. 그 결과 배심원은 solar-pro4, gpt-4o-mini, exaone-3.5, claude-haiku-4.5, Qwen3.5-9B, gpt-oss-120b, gemma-3-27b, Kimi-K2.6, GLM-5.3-Flash의 9개(개발사 8곳)이고, 네 가설 모두 같은 배심원을 쓴다. 순위와 크기는 기본 조건만으로 정해 루브릭·앵커·의견 교환 조건은 고르는 데 들어가지 않았다.

지표·집계·추론

• 지표. 코퍼스 문항 전체에서 심판 점수와 사람 연속 점수의 스피어만 서열상관 ρ(주 지표). 피어슨 r은 보조로, 네 가설 모두의 결과를 부록 표 C.1에 싣는다.
• 배심원. 문항별 구성원 9개 정수 점수의 산술 평균. 사람 정답이 만들어진 방식과 같고, 정수 중앙값이 버리는 순서 정보를 보존한다. 중앙값 집계는 비교용(부록 표 B.3).
• 비교. 같은 코퍼스·조건의 최고 단일 모델(구성원 중), 9개 개별 ρ의 평균, 10명(9 + 배심원) 중 순위. 차이는 문항 단위 쌍 부트스트랩 1,000회의 백분위 95% 구간. p값 대신 구간을 보고.
• 조건 효과. 루브릭 효과 = 루브릭 − 무루브릭(앵커 없음), 앵커 효과 = 앵커 − 무앵커(같은 루브릭 설정). 앵커 끌림 = 무앵커 점수가 앵커와 달랐던 판정 중 앵커 쪽으로 움직인 비율.
• 의견 교환. 조건별 배심원 ρ와 1라운드 대비 변화, 단계 효과(다시 묻기·남의 점수·남의 근거 = 이웃한 조건의 쌍 차이), 수렴(문항 내 9개 점수 표준편차, 만장일치 비율), 움직임(바뀐 판정 비율, 다른 8개의 1라운드 평균 쪽으로 간 비율, 사람 점수에 가까워진/멀어진 비율). 루브릭 유무 사이의 차이는 탐색적으로만.

05 — 분석 대상

사람이 매긴 세 자료를 각각 분석한다

같은 설계를 서로 독립된 세 자료에 적용한다. 하나가 다른 하나를 검증하는 관계가 아니라, 같은 질문을 세 번 묻고 답이 자료와 언어를 넘어 재현되는지를 본다.

세 자료 모두 사람이 매긴 공개 벤치마크이고, 정답은 여러 평가자의 연속 평균(0~5)을 그대로 쓴다. 반올림 등급 1~5는 STS-B 표본을 등급별로 고르고 자료를 기술할 때만 썼다.

06 — 결과

사람 점수와의 서열상관으로 본 네 가설

원고 4절의 표 3~10과 그림 1~6을 같은 번호로 옮겼다. 값은 사람 연속 점수와의 스피어만 ρ, 배심원 = 상위 9개 점수의 평균, 구간은 문항 단위 쌍 부트스트랩 1,000회 95%. 부록 표 B.1~B.3(모델별 ρ·r, 앵커 조건, 평균 대 중앙값), C.1(피어슨 전체), D.1(제외 문항)은 이 절 끝에 있다.

4.1 배심원 크기, 그리고 배심원 vs 개별 모델 (가설 1)

모델을 성적 순으로 하나씩 더하면(표 3, 그림 1), 상위 2개만 묶어도 세 코퍼스 모두 최고 단일 모델을 넘는다(0.839 / 0.859 / 0.884 vs 0.815 / 0.843 / 0.875). 이득은 그 뒤 평평해진다. 홀수 크기의 세 코퍼스 평균 ρ는 5개 0.8759, 7개 0.8778, 9개 0.8789, 11개 0.8787로 9개가 가장 높다. STS-B만 보면 7개가 9개보다 조금 높지만(−0.0015) 구간이 0을 포함한다([−0.0041, +0.0011]). 두 배심원이 7개를 공유하고 문항이 546쌍이라 표본 변동보다 작은 차이다. 가장 낮은 순위의 모델들을 더하면 상관이 내려가고, KLUE-STS에서 가장 뚜렷하다.

앵커 없는 6칸 모두에서 배심원의 ρ가 모든 구성원을 넘고 10명 중 1위다. 앵커 조건 2개를 더한 12칸에서도 같다(부록 표 B.2). 배심원 − 최고 단일 모델의 쌍 차이는 6칸 모두 양수(+0.021~+0.045)이고 구간이 0을 비껴간다. 피어슨으로도 6칸 모두 배심원이 1위이고, 최고 단일 모델과의 차이 구간은 6칸 중 5칸에서 0을 비껴간다(예외 STS-B 루브릭 없음; 부록 표 C.1). 피어슨이 스피어만보다 낮게 나오는 것은 모델 점수가 위쪽에 몰려 사람 점수와 직선 관계가 아니기 때문이며, 이것이 스피어만을 주 지표로 쓴 이유 중 하나다.

4.2 루브릭 (가설 2)

루브릭은 개별 평균 ρ를 세 코퍼스 모두 올리고(+0.013 / +0.016 / +0.023, 구간 모두 0을 비껴감) 배심원은 +0.016 / +0.008 / +0.017 올린다(표 5). 배심원 구간은 KorSTS·STS-B에서 0을 비껴가고 KLUE-STS에서는 포함한다([−0.001, +0.017]). 9개 중 9 / 8 / 8개 모델이 오른다. 최고 단일 모델은 KorSTS에서만 확실히 오르는데, 다른 두 코퍼스에서는 최고 모델이 이미 풀의 위쪽 끝 근처였기 때문이다. 피어슨으로는 세 코퍼스 모두 같은 방향이고 배심원 구간이 모두 0을 비껴가지만, 개별 평균은 KorSTS에서 0을 포함한다(부록 표 C.1).

4.3 무작위 앵커 (가설 3)

무작위 앵커는 루브릭 없을 때 개별 평균 ρ를 0.086 / 0.073 / 0.027, 배심원을 0.053 / 0.050 / 0.011 내린다(표 5, 그림 3). 개별 평균은 세 코퍼스 모두 구간이 0을 비껴가고, 배심원은 KorSTS·KLUE-STS에서 비껴가며 STS-B에서는 상한이 0에 닿는다([−0.022, +0.000]). 무앵커 점수가 앵커와 달랐던 판정 중 50% / 47% / 28%가 앵커 쪽으로, 3% / 2% / 3%가 반대쪽으로 움직였다(표 6). 루브릭은 끌림을 20~37%로 줄이고 손실도 줄이지만 없애지는 못한다(루브릭 있어도 배심원 −0.039 / −0.023 / −0.004, KorSTS·KLUE-STS에서 구간이 0을 비껴감). 배심원은 모든 코퍼스·루브릭 설정에서 구성원 평균보다 덜 잃는다. 구성원이 서로 다른 정도로 끌려 평균이 일부 상쇄하기 때문이지만, 앵커를 벗어나지는 못한다. 피어슨으로는 배심원 하락이 KorSTS·KLUE-STS에서 남고 STS-B에서는 없다.

4.4 의견 교환 (가설 4)

점수 전에 근거를 쓰게 한 1라운드의 배심원 ρ는 0.867 / 0.880 / 0.897(루브릭 없음)로 기본 조건(0.859 / 0.882 / 0.895)과 비슷하다. 다시 묻기(자기 1라운드 답만 보고 재판정)는 판정의 8~11%만 바꾸고 배심원 ρ도 거의 그대로다(−0.007 / −0.005 / −0.003, KorSTS에서만 구간이 0을 비껴감; 표 7, 그림 4). 다른 8개의 점수를 보면 판정의 24~33%가 바뀌고 그중 97~99%가 다른 모델들의 평균 쪽으로 움직이며, 배심원 ρ는 세 코퍼스 모두 내려간다. 자기 재검토 → 점수만 공유 단계의 효과는 −0.013 / −0.015 / −0.023이고 구간이 모두 0을 비껴간다. 근거까지 보여 주면 일관된 추가 효과가 없다(+0.007 / −0.004 / −0.006, KorSTS의 작은 회복만 구간이 0을 비껴감). 불일치는 무너진다. 문항 내 9개 점수의 표준편차는 0.38~0.50에서 0.16~0.24로, 만장일치 문항은 9~31%에서 43~63%로(그림 5). 점수를 공유하면 개별 평균 ρ는 오르지만(예: KorSTS 0.789 → 0.814) 배심원은 내려간다. 구성원들이 서로 닮아 가며 평균이 기대던 다양성이 줄었다는 해석과 맞는다(오류의 독립성을 직접 재지는 않았다). 점수 공유 뒤 바뀐 판정 중 사람 점수에 가까워진 것은 39~48%, 멀어진 것은 52~60%다(표 8). 자기 재검토에서는 더 적게 바뀐 판정의 58~68%가 가까워졌다.

루브릭이 있어도 수렴은 비슷했고, 1라운드 → 점수+근거 공유에서 배심원 ρ가 세 코퍼스 모두 내려갔다(−0.017 / −0.023 / −0.027, 구간 모두 0 제외). 다시 묻기는 거의 바꾸지 않았다(−0.004 / −0.000 / −0.006). 다만 나뉘는 방식이 달랐다. 남의 점수 효과는 −0.003 / −0.013 / −0.007(KLUE-STS만 구간이 0을 비껴감), 남의 근거 효과는 −0.009 / −0.009 / −0.014(KorSTS·STS-B에서 비껴감)였다. 두 루브릭 설정을 탐색적으로 비교하면, 남의 점수로 인한 하락은 루브릭이 있을 때 KorSTS·STS-B에서 더 작았고(차이 +0.010, +0.015, 구간 0 제외) KLUE-STS에서는 아니었다(+0.002). 남의 근거 효과는 KorSTS에서만 달랐다(−0.016). 루브릭은 남의 답을 본 뒤의 하락을 막지 못했다. 다만 공유된 정보 중 어느 부분이 하락을 이끄는지는 바꿀 수 있다. 피어슨으로도 점수만 공유·점수+근거 공유의 하락은 6칸 모두 구간이 0을 비껴가고, 다시 묻기의 효과는 작다(부록 표 C.1).

4.5 난이도 층 (탐색적)

사람 점수 구간 안에서는 범위 제한으로 상관이 낮아지지만 심판들의 순서는 유지된다. 배심원의 점추정은 루브릭 없을 때 코퍼스 × 구간 9칸 중 7칸에서 최고 단일 모델을 넘고(그중 6칸에서 구간이 0을 비껴감), 9칸 모두에서 개별 평균을 넘는다(모두 구간 0 제외; 표 9, 그림 6). 모델들의 위쪽 치우침이 점수를 압축하는 KLUE-STS 높은 구간이 모든 심판에게 가장 약한 칸이다. KLUE-STS 평가자 불일치 하·중·상위 3분위에서 배심원의 최고 단일 모델 대비 여유는 +0.014 / +0.069 / +0.032(구간 [−0.009, +0.037], [+0.026, +0.119], [−0.030, +0.090]). 피어슨으로도 배심원은 9칸 모두 개별 평균을 넘고(구간 0 제외) 8칸에서 최고 단일 모델을 넘지만(6칸에서 0 제외), 칸별로는 다르다. KLUE-STS 높은 구간의 최고 단일 대비 여유는 +0.355에서 +0.007(구간 0 포함)로 줄고, 낮은 구간은 −0.025에서 +0.080으로 바뀐다.

4.6 가설 요약

부록 표

재현 패키지는 원고 v15 기준으로 다시 만들어 OSF에 기탁할 예정이다(08 계획). 이전 판(원고 v10, 13개 평균 배심원 기준) 패키지: repro_package_v10.zip (18 MB). API 키와 서버 정보는 포함하지 않는다.

07 — 현황

지금까지 한 것

2026-09-16 교수님 의논 이후의 일이다. 그 전(9월 9~14일)의 일은 11 이전 기록에 있다.

08 — 계획

앞으로 할 것

분석과 원고는 v15까지 왔다. 남은 것은 교수님 확인과 투고 절차다.

09 — 참고문헌

참고문헌 (원고 v15, 43편)

APA 7판 형식, 영문 알파벳순. 원고 본문에서 인용한 문헌만 남겼다.

• Agirre, E., Cer, D., Diab, M., & Gonzalez-Agirre, A. (2012). SemEval-2012 Task 6: A pilot on semantic textual similarity. Proceedings of the First Joint Conference on Lexical and Computational Semantics (*SEM 2012), 385–393. https://aclanthology.org/S12-1051
• Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
• Bavaresco, A., Bernardi, R., Bertolazzi, L., Elliott, D., Fernández, R., Gatt, A., Ghaleb, E., Giulianelli, M., Hanna, M., Koller, A., Martins, A., Mondorf, P., Neplenbroek, V., Pezzelle, S., Plank, B., Schlangen, D., Suglia, A., Surikuchi, A. K., Takmaz, E., & Testoni, A. (2025). LLMs instead of human judges? A large scale empirical study across 20 NLP evaluation tasks. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 238–255. https://doi.org/10.18653/v1/2025.acl-short.20
• Calderon, N., Reichart, R., & Dror, R. (2025). The alternative annotator test for LLM-as-a-judge: How to statistically justify replacing human annotators with LLMs. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 16051–16081. https://doi.org/10.18653/v1/2025.acl-long.782
• Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., & Specia, L. (2017). SemEval-2017 Task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), 1–14. https://doi.org/10.18653/v1/S17-2001
• Chan, C.-M., Chen, W., Su, Y., Yu, J., Xue, W., Zhang, S., Fu, J., & Liu, Z. (2024). ChatEval: Towards better LLM-based evaluators through multi-agent debate. The Twelfth International Conference on Learning Representations (ICLR 2024). https://proceedings.iclr.cc/paper_files/paper/2024/hash/25cc3adf8c85f7c70989cb8a97a691a7-Abstract-Conference.html
• Chen, G. H., Chen, S., Liu, Z., Jiang, F., & Wang, B. (2024). Humans or LLMs as the judge? A study on judgement bias. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 8301–8327. https://doi.org/10.18653/v1/2024.emnlp-main.474
• Choi, H. K., Zhu, X., & Li, S. (2025). Debate or vote: Which yields better decisions in multi-agent large language models? Advances in Neural Information Processing Systems 38 (NeurIPS 2025). https://arxiv.org/abs/2508.17536
• Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220. https://doi.org/10.1037/h0026256
• Dalkey, N., & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management Science, 9(3), 458–467. https://doi.org/10.1287/mnsc.9.3.458
• Dietrich, F., & Spiekermann, K. (2023). Jury theorems. In E. N. Zalta & U. Nodelman (Eds.), The Stanford Encyclopedia of Philosophy (Spring 2023 ed.). https://plato.stanford.edu/archives/spr2023/entries/jury-theorems/
• Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., & Mordatch, I. (2024). Improving factuality and reasoning in language models through multiagent debate. Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 11733–11763. https://proceedings.mlr.press/v235/du24e.html
• Estornell, A., & Liu, Y. (2024). Multi-LLM debate: Framework, principals, and interventions. Advances in Neural Information Processing Systems 37 (NeurIPS 2024). https://proceedings.neurips.cc/paper_files/paper/2024/hash/32e07a110c6c6acf1afbf2bf82b614ad-Abstract-Conference.html
• Fasolo, B., Heard, C., & Scopelliti, I. (2025). Mitigating cognitive bias to improve organizational decisions: An integrative review, framework, and research agenda. Journal of Management, 51(6), 2182–2211. https://doi.org/10.1177/01492063241287188
• Fu, X., & Liu, W. (2025). How reliable is multilingual LLM-as-a-judge? Findings of the Association for Computational Linguistics: EMNLP 2025, 11040–11053. https://doi.org/10.18653/v1/2025.findings-emnlp.587
• Galton, F. (1907). Vox populi. Nature, 75(1949), 450–451. https://doi.org/10.1038/075450a0
• Gu, J., Jiang, X., Shi, Z., Tan, H., Zhai, X., Xu, C., Li, W., Shen, Y., Ma, S., Liu, H., Wang, S., Zhang, K., Wang, Y., Gao, W., Ni, L., & Guo, J. (2024). A survey on LLM-as-a-judge. arXiv. https://doi.org/10.48550/arXiv.2411.15594
• Ham, J., Choe, Y. J., Park, K., Choi, I., & Soh, H. (2020). KorNLI and KorSTS: New benchmark datasets for Korean natural language understanding. Findings of the Association for Computational Linguistics: EMNLP 2020, 422–430. https://doi.org/10.18653/v1/2020.findings-emnlp.39
• Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X., & Zhou, D. (2024). Large language models cannot self-correct reasoning yet. The Twelfth International Conference on Learning Representations (ICLR 2024). https://arxiv.org/abs/2310.01798
• Jiang, D., Ren, X., & Lin, B. Y. (2023). LLM-Blender: Ensembling large language models with pairwise ranking and generative fusion. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 14165–14178. https://doi.org/10.18653/v1/2023.acl-long.792
• Kim, E., Garg, A., Peng, K., & Garg, N. (2025). Correlated errors in large language models. Proceedings of the 42nd International Conference on Machine Learning (ICML 2025), PMLR 267. https://doi.org/10.48550/arXiv.2506.07962
• Kim, S., Shin, J., Cho, Y., Jang, J., Longpre, S., Lee, H., Yun, S., Shin, S., Kim, S., Thorne, J., & Seo, M. (2024). Prometheus: Inducing fine-grained evaluation capability in language models. Proceedings of the Twelfth International Conference on Learning Representations (ICLR 2024). https://doi.org/10.48550/arXiv.2310.08491
• Kohli, G. S. (2026). Nine judges, two effective votes: Correlated errors undermine LLM evaluation panels. arXiv. https://doi.org/10.48550/arXiv.2605.29800
• Li, D., Jiang, B., Huang, L., Beigi, A., Zhao, C., Tan, Z., Bhattacharjee, A., Jiang, Y., Chen, C., Wu, T., Shu, K., Cheng, L., & Liu, H. (2025). From generation to judgment: Opportunities and challenges of LLM-as-a-judge. Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2757–2791. https://doi.org/10.18653/v1/2025.emnlp-main.138
• Li, Z., Wang, C., Ma, P., Wu, D., Wang, S., Gao, C., & Liu, Y. (2024). Split and merge: Aligning position biases in LLM-based evaluators. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 11084–11108. https://doi.org/10.18653/v1/2024.emnlp-main.621
• Liu, Y., Iter, D., Xu, Y., Wang, S., Xu, R., & Zhu, C. (2023). G-Eval: NLG evaluation using GPT-4 with better human alignment. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2511–2522. https://doi.org/10.18653/v1/2023.emnlp-main.153
• Lorenz, J., Rauhut, H., Schweitzer, F., & Helbing, D. (2011). How social influence can undermine the wisdom of crowd effect. Proceedings of the National Academy of Sciences, 108(22), 9020–9025. https://doi.org/10.1073/pnas.1008636108
• Morreau, M. (2021). Democracy without enlightenment: A jury theorem for evaluative voting. Journal of Political Philosophy, 29(2), 188–210. https://doi.org/10.1111/jopp.12226
• Muennighoff, N., Tazi, N., Magne, L., & Reimers, N. (2023). MTEB: Massive text embedding benchmark. Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, 2014–2037. https://doi.org/10.18653/v1/2023.eacl-main.148
• Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM evaluators recognize and favor their own generations. Advances in Neural Information Processing Systems, 37, 68772–68802. https://doi.org/10.52202/079017-2197
• Park, S., Moon, J., Kim, S., Cho, W. I., Han, J., Park, J., Song, C., Kim, J., Song, Y., Oh, T., Lee, J., Oh, J., Lyu, S., Jeong, Y., Lee, I., Seo, S., Lee, D., Kim, H., Lee, M., … Cho, K. (2021). KLUE: Korean Language Understanding Evaluation. Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks 1 (NeurIPS Datasets and Benchmarks 2021). https://doi.org/10.48550/arXiv.2105.09680
• Romaniega, Á. (2022). On the probability of the Condorcet Jury Theorem or the miracle of aggregation. Mathematical Social Sciences, 119, 41–55. https://doi.org/10.1016/j.mathsocsci.2022.06.002
• Rowe, G., & Wright, G. (1996). The impact of task characteristics on the performance of structured group forecasting techniques. International Journal of Forecasting, 12(1), 73–89. https://doi.org/10.1016/0169-2070(95)00658-3
• Saito, K., Wachi, A., Wataoka, K., & Akimoto, Y. (2023). Verbosity bias in preference labeling by large language models. arXiv. https://doi.org/10.48550/arXiv.2310.10076
• Schoenegger, P., Tuminauskaite, I., Park, P. S., Valdece Sousa Bastos, R., & Tetlock, P. E. (2024). Wisdom of the silicon crowd: LLM ensemble prediction capabilities rival human crowd accuracy. Science Advances, 10(45), eadp1528. https://doi.org/10.1126/sciadv.adp1528
• Sclar, M., Choi, Y., Tsvetkov, Y., & Suhr, A. (2024). Quantifying language models' sensitivity to spurious features in prompt design or: How I learned to start worrying about prompt formatting. Proceedings of the Twelfth International Conference on Learning Representations (ICLR 2024). https://doi.org/10.48550/arXiv.2310.11324
• Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., Cheng, N., Durmus, E., Hatfield-Dodds, Z., Johnston, S. R., Kravec, S., Maxwell, T., McCandlish, S., Ndousse, K., Rausch, O., Schiefer, N., Yan, D., Zhang, M., & Perez, E. (2024). Towards understanding sycophancy in language models. Proceedings of the Twelfth International Conference on Learning Representations (ICLR 2024). https://doi.org/10.48550/arXiv.2310.13548
• Spearman, C. (1904). The proof and measurement of association between two things. The American Journal of Psychology, 15(1), 72–101. https://doi.org/10.2307/1412159
• Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124–1131. https://doi.org/10.1126/science.185.4157.1124
• Verga, P., Hofstätter, S., Althammer, S., Su, Y., Piktus, A., Arkhangorodsky, A., Xu, M., White, N., & Lewis, P. (2024). Replacing judges with juries: Evaluating LLM generations with a panel of diverse models. arXiv. https://doi.org/10.48550/arXiv.2404.18796
• Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2019). GLUE: A multi-task benchmark and analysis platform for natural language understanding. International Conference on Learning Representations (ICLR 2019). https://openreview.net/forum?id=rJ4km2R5t7
• Wang, Y., Tao, S., Xie, N., Yang, H., Baldwin, T., & Verspoor, K. (2023). Collective human opinions in semantic textual similarity. Transactions of the Association for Computational Linguistics, 11, 997–1013. https://doi.org/10.1162/tacl_a_00584
• Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., Lin, Z., Li, Z., Li, D., Xing, E. P., Zhang, H., Gonzalez, J. E., & Stoica, I. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems, 36, 46595–46623. https://doi.org/10.52202/075280-2020

10 — 교수님과의 의논

교수님과의 의논

교수님 피드백을 받을 때마다 확인한 사실과 다시 계산한 결과를 날짜별로 남긴다. 정해진 내용은 본문(03 가설·04 방법·06 결과)과 원고(현재 v15)에 반영했고, 여기에는 이력과 상세 페이지를 둔다.

• 2026-09-16 (17·18일 갱신) · 교수님 질문 아홉 개에 대한 답 — 서열상관으로 다시 본 배심원.v10 이후 설계의 출발점
  지표를 정확일치에서 사람 연속 점수와의 서열상관(스피어만·피어슨)으로, 배심원을 중앙값에서 평균으로 바꾸어 다시 계산했다. 등급 변환 규칙 불일치와 STS-B 손상 4문항을 확인했고, 앵커는 정답+1이었음을 답하며 무작위 앵커 결과를 붙였다. 조합 탐색과 교차코퍼스 검증, 난이도 층을 담았고, 17일에 후보 6모델 판정 58,752건을 받아 13모델 조합 재탐색 결과를 4번·8번에 더했다. 18일에는 교수님이 제안하신 상호정보 교환 앵커(가설 4)를 13모델 델파이 라운드(133,835건)로 실험해 10번 절로 더했다. 열기 →
• 2026-09-12 ~ 14 · 첫 피드백("결론이 원하던 것과 다르다") 이후의 추가 분석.v7 기준 · 보정 부분은 v10에서 제외
  정확일치 기준에서 배심원이 진 원인(공통 위쪽 치우침)을 찾고 분위수 보정과 무작위 앵커 재실험을 정리했다. 서열상관으로 지표가 바뀌면서 보정은 원고에서 빠졌고, 무작위 앵커 부분만 가설 3으로 이어졌다. 열기 →

11 — 이전 기록

이전 포털·해설·노트 (보존)

설계가 바뀌기 전에 쓴 페이지들이다. 결론이나 수치가 지금과 다르지만 연구가 어떻게 바뀌어 왔는지를 보여 주므로 지우지 않고 그대로 둔다. 링크는 예전 그대로 열린다.