# 개별 모델별 정확일치(%)와 순위 — 3코퍼스 × 4조건 (사람 등급 1~5 기준, 7모델 완전 문항)

괄호 안은 그 조건에서의 순위(1 = 최고). 마지막 두 행은 중앙값 투표와 '중앙값 투표가 앞서는 개별 모델 수'.

## KorSTS (n = 1379)

| 모델 | 블라인드 | 루브릭 | 앵커 | 루브릭+앵커 |
|---|---|---|---|---|
| gemini-2.5-flash | 26.9 (4) | 27.3 (5) | 16.2 (5) | 21.8 (6) |
| gemma-4 (8B) | 23.4 (7) | 26.8 (6) | 23.4 (2) | 30.2 (4) |
| exaone-3.5 (7.8B) | 35.8 (3) | 46.0 (2) | 7.8 (7) | 43.3 (1) |
| gpt-4o-mini | 39.1 (2) | 48.6 (1) | 16.8 (4) | 29.9 (5) |
| gpt-oss-120b | 23.9 (6) | 24.3 (7) | 15.2 (6) | 18.9 (7) |
| claude-haiku-4-5 | 39.9 (1) | 36.0 (3) | 18.7 (3) | 34.4 (3) |
| llama-3.1 (8B) | 26.5 (5) | 35.0 (4) | 26.8 (1) | 35.4 (2) |
| **중앙값 투표** | 30.6 | 33.9 | 12.7 | 26.7 |
| 앞서는 개별 모델 수 (7개 중) | 4 | 3 | 1 | 2 |

## KLUE-STS (n = 519)

| 모델 | 블라인드 | 루브릭 | 앵커 | 루브릭+앵커 |
|---|---|---|---|---|
| gemini-2.5-flash | 14.6 (5) | 13.7 (7) | 12.5 (3) | 12.7 (7) |
| gemma-4 (8B) | 14.3 (6) | 14.3 (5) | 13.9 (2) | 15.6 (5) |
| exaone-3.5 (7.8B) | 18.3 (3) | 25.2 (3) | 4.6 (7) | 17.9 (3) |
| gpt-4o-mini | 18.5 (2) | 32.9 (1) | 8.7 (5) | 17.9 (4) |
| gpt-oss-120b | 14.3 (7) | 14.3 (6) | 12.5 (4) | 13.1 (6) |
| claude-haiku-4-5 | 17.3 (4) | 18.7 (4) | 8.1 (6) | 22.2 (2) |
| llama-3.1 (8B) | 26.2 (1) | 26.4 (2) | 25.4 (1) | 30.1 (1) |
| **중앙값 투표** | 14.3 | 15.8 | 8.9 | 14.5 |
| 앞서는 개별 모델 수 (7개 중) | 0 (동률 2) | 3 | 3 | 2 |

## STS-B (n = 550)

| 모델 | 블라인드 | 루브릭 | 앵커 | 루브릭+앵커 |
|---|---|---|---|---|
| gemini-2.5-flash | 35.6 (4) | 31.5 (6) | 32.9 (4) | 31.1 (5) |
| gemma-4 (8B) | 34.2 (5) | 37.3 (4) | 34.5 (3) | 39.3 (3) |
| exaone-3.5 (7.8B) | 42.4 (1) | 45.3 (2) | 41.3 (2) | 44.9 (1) |
| gpt-4o-mini | 42.0 (2) | 49.3 (1) | 22.9 (7) | 35.3 (4) |
| gpt-oss-120b | 31.8 (6) | 32.7 (5) | 24.5 (6) | 30.9 (6) |
| claude-haiku-4-5 | 37.8 (3) | 43.8 (3) | 42.4 (1) | 44.9 (2) |
| llama-3.1 (8B) | 22.0 (7) | 26.7 (7) | 26.0 (5) | 22.4 (7) |
| **중앙값 투표** | 36.4 | 38.4 | 32.2 | 33.8 |
| 앞서는 개별 모델 수 (7개 중) | 4 | 4 | 3 | 3 |

## 순위 안정성

- 코퍼스 간 순위 상관(블라인드, Spearman): KorSTS–KLUE 0.52, KorSTS–STS-B 0.71, KLUE–STS-B 0.20
- KorSTS 조건 간 순위 상관(블라인드 대비): 루브릭 0.82, 앵커 -0.18, 루브릭+앵커 0.29
- KLUE-STS 조건 간 순위 상관(블라인드 대비): 루브릭 0.85, 앵커 -0.10, 루브릭+앵커 0.76
- STS-B 조건 간 순위 상관(블라인드 대비): 루브릭 0.86, 앵커 0.32, 루브릭+앵커 0.79
- 요약: exaone-3.5, gpt-4o-mini, claude-haiku-4-5가 대체로 상위, gemma-4와 gpt-oss-120b가 하위. llama-3.1은 KLUE-STS 1위·STS-B 7위로 코퍼스에 따라 크게 움직임. 루브릭을 주면 순위가 거의 유지되지만 앵커를 보이면 순위가 뒤집힌다.