가상 뉴스 300건은
제대로 구성되었는가

1단계 실험은 정답을 알고 만든 가상 뉴스 300건 위에 서 있습니다. 문항이 설계대로 만들어지지 않았다면 가설 1·2·3의 검정 결과도 그만큼 신뢰도를 잃습니다. 이 문서는 배포 직전의 items_audited.csv 300문항을 전수 실측하여, 현 상태로 사용 가능한 부분과 수정이 필요한 부분을 구분한 감사 기록입니다.

1무엇을 검사했나

감사 대상은 T1(관련성 필터링) 과제용 300문항입니다. 문항은 난이도 3층 × 정답 2범주로 설계되었고, 검수는 판정 기준 R1~R5를 순서대로 적용해 해당되는 첫 규칙에서 멈추는 방식입니다.

따라서 문항이 설계대로 만들어졌다면 층과 규칙은 다음처럼 대응해야 합니다 — L1 무관은 R2에서, L2는 R3에서, L3 무관은 R1에서 판가름 나야 하고, 관련 문항은 배제 규칙을 모두 통과해 R5로 떨어져야 합니다. 아래 감사는 이 대응이 실제로 성립하는지를 봅니다.

2코퍼스 기본 점검 — 이상 없음

규모·균형·중복에서는 이상이 발견되지 않았습니다. 실험 설계에서 요구한 구조가 그대로 지켜졌습니다.

3판정은 통과했다

두 검수자(A·B)가 300문항을 독립 판정한 결과입니다. “정답을 알고 만든 문항이 실제로 그 정답으로 읽히는가”는 확인됐습니다.

불일치 6건(split)은 무작위로 분포하지 않고 한 유형에 집중되어 있습니다 — 5건이 전부 “사건 기사에서 조현병이 한 문장 부수적으로 언급되는” L1 무관 문항이고, 검수자 A는 R2(부수적 언급 → 무관)를, B는 R3(→관련)을 적용했습니다. 설계가 노린 경계가 실제로 경계로 작동했다는 뜻이므로, 이 5건은 결함이 아니라 성공한 난이도 조작입니다.

4그런데 근거 규칙은 일치하지 않는다

검수자 B — 규칙 열을 사용할 수 없다

B는 300건 중 255건을 R1로 태깅했고, 그중 133건이 ‘관련’ 판정입니다. R1은 정의상 무관만 산출할 수 있는 배제 규칙이므로 이 조합은 성립하지 않습니다. 잔여 규칙 R5는 단 1건만 썼습니다. B는 “멈춘 규칙”이 아니라 “통과한 첫 규칙”을 기록하고 있습니다.

검수자 A — 32건 이탈

A는 판정을 300/300 맞혔지만, 규칙 태그는 32건이 스펙에서 벗어납니다.

• R1 + 관련 8건 — 전부 L3 관련 문항(조현병 신약·유전 연구 기사)입니다. 배제 규칙에서 관련이 나올 수 없으므로 R5(잔여)여야 합니다.
• 조현병이 명시돼 있는데 R1로 무관 처리 24건 — R1은 “언급이 없으면 무관”인데 이 24건은 본문에 조현병이 실제로 등장합니다. 대부분 L2 무관 정책 기사로, 올바른 근거는 R3(나열형 판별)입니다.

설계된 층–규칙 대응은 지켜졌는가

검수자 A의 규칙 태그를 층별로 펼치면 L2 무관 칸에서만 설계와 어긋납니다.

5L2층의 균열

L2 무관 50건을 본문 구조로 분해하면 이렇게 나뉩니다. 설계 의도대로 제작된 것은 절반 수준입니다.

6쟁점 문항의 정체

부정포함형 15건이 왜 문제인지는, 같은 L2층의 두 문항을 대조하면 분명해집니다. 둘 다 지자체 정책 기사이고, 둘 다 조현병이 등장합니다.

현재 라벨은 “정책의 명시적 대상에 포함되는가”를 기준으로 갈렸습니다. 전자는 담당자 발언에서 조현병을 수혜 대상으로 직접 호명하므로 관련, 후자는 대상에서 빠졌으므로 무관입니다. 내부 검토에서 나온 반론은 이렇습니다 — “조현병이 지원 대상이 아니라는 사실 자체가 사회적 인식을 보여주는 것 아닌가.”

7결정이 필요한 사항

결정 1 — 부정포함형 15건을 어느 쪽으로 규정할 것인가

결정 2~4

• 규칙 열 재수집 — 검수자 B의 규칙 태그는 현 상태로 분석 불가입니다. “적용한 규칙 하나, 멈춘 지점만”을 프롬프트에 명시해 재수집해야 합니다. 검수자 A의 32건도 함께 정정합니다.
• L2 무관 7건 교체 — 조현병이 아예 없는 문항이라 L3와 구분되지 않습니다. 같은 정책 기사 형태에 조현병을 나열 항목으로 포함해 재작성합니다.
• 열 정리 — 빈 기계검증 열 삭제, 검수동의수·verdict 중 하나만 유지.

전문가 합의에 부칠 문항 — 21건

300건 전체를 인간 코더가 재코딩할 필요는 없습니다. 이번 감사가 어디가 어려운지를 특정했기 때문에, 합의 자원은 아래에만 투입하면 됩니다.

7인 × 21건 × 3라운드 = 응답 441건. 1건당 1분이면 한 분이 라운드당 21분입니다. 합의 절차를 설계할 때 1라운드는 상호 열람도 AI 피드백도 없이 받아야 합니다 — 그래야 그 결과를 LLM 판정의 검증 기준(gold)으로 사용할 수 있습니다. 2라운드부터 상호 열람, 3라운드에 AI 피드백을 넣으면 “AI 피드백이 인간 합의에 미치는 영향”이 별도의 측정 대상으로 남습니다.

8재현 방법

이 문서의 모든 수치는 items_audited.csv(300행, UTF-8 BOM)를 pandas로 읽어 산출했습니다. 층·정답 교차표, 검수자별 규칙 교차표, 조현병 표기 정규식 조현병|정신분열|F2[0-9], 부정포함 탐지 정규식 조현병[^.]{0,40}(포함되지 않|제외|해당하지 않|대상이 아) 및 그 역순 패턴을 사용했습니다. 부정포함 15건은 정규식으로 추출한 뒤 전수 육안 확인했습니다.