조현병을 비롯한 정신질환 보도 연구는 “이 기사가 정신질환 관련인가”, “어떤 프레임인가”, “논조는 부정인가”라는 세 번의 판정 위에 서 있습니다. 그 판정을 지금은 LLM이 대신합니다. 판정이 흔들리면 그 위에 쌓은 지수도, 사건효과도 함께 흔들립니다. 이 계획은 가상 뉴스 300건으로 판정 방법론을 먼저 검정하고, 그 위에서 실제 인식지수와 사건효과를 추정하는 2단계 설계입니다.
가설 1. 배심원(여러 모델 다수결)은 언제 필요한가 — 애매한 기사에서만 이득이 나오는가?
가설 2. 좋은 분류 기준표(루브릭)면 충분하지 않은가 — 배심원을 대신할 수 있는가?
가설 3. 투표는 왜 독립적으로 받아야 하는가 — 앞선 판정을 보여주면 무슨 일이 생기는가?
본 포털의 선행 분석은 네이버뉴스 5년치 21,338건을 LLM 3단계 분류로 처리했습니다. 결론(사건기 부정적 인식 프레임 수렴, 매체 동조화 0.599)의 신뢰도는 결국 그 분류의 타당도에 묶입니다.
“정신질환 관련 기사”의 경계는 생각보다 모호합니다 — 범죄 기사에 스치듯 나오는 병명 언급, 정책·복지 기사, 연예인 우울증 고백. 무엇을 넣고 빼느냐가 부정 보도 비율을 통째로 바꿉니다.
모델들끼리 판정이 모인다고 타당한 것이 아닙니다(일관성 ≠ 타당성). 판정자를 여럿 모아도 오류가 겹치면 실효 투표 수는 몇 표에 불과할 수 있습니다(Kohli, 2026).
정신질환 보도 연구는 대부분 사람 코딩 아니면 검증 없는 LLM 분류입니다. “LLM 판정을 언제·어떻게 믿을 것인가”를 먼저 세우면, 이후 정신질환 뉴스 분석 논문들이 참조할 절차가 됩니다.
요약하면 — 1단계에서 판정 절차를 인과적으로 증명하고, 2단계에서 그 절차로 실제 데이터를 처리합니다.
정신질환 보도 분석에서 LLM이 실제로 수행하는 판정은 세 종류입니다. 세 과제 모두 동일한 실험 설계로 검정합니다.
| 과제 | 판정 내용 | 출력 | 경계사례(어려운 문항) |
|---|---|---|---|
| T1 · 관련성 필터링 | 이 기사가 조현병·정신질환을 실질적으로 다루는가 | 관련 / 비관련 | 병명이 비유·수식으로만 등장, 사건 기사에 한 줄 언급 |
| T2 · 프레임 분류 | 일화적(episodic) / 주제적(thematic) 프레임 | 2범주 | 개별 사건으로 시작해 제도 문제로 확장되는 기사 |
| T3 · 감성·논조 분류 | 부정 / 중립 / 긍정 | 3범주 | 사실 전달형 사건 기사, 인용 안에만 부정 표현 |
가상 데이터로 절차를 증명한 뒤, 같은 절차를 실제 기사에 그대로 적용합니다.
LLM 배심원 연구(llm-jury)에서 확립한 세 가설을, 정신질환 뉴스 판정이라는 실제 과제 위에서 다시 검정합니다.
제목에 조현병이 박힌 명백한 기사는 모델 하나로 충분합니다. 경계사례(스치는 언급, 비유적 사용)에서만 모델들의 실수 지점이 갈리고, 그때 다수결이 실수를 지웁니다.
근거 — 오류 상관 실증(Kim et al., 2025; Kohli, 2026)과 파일럿 관찰(쉬운 과제 이득 0, 어려운 과제 +11.6%p)을 난이도 직접 조작으로 인과 검증.
“무엇을 관련 기사로 볼 것인가”를 또렷이 적어주면 모델들의 판정이 모입니다. 배심원이 주던 이득의 상당 부분이 루브릭만으로 해소되는지 — 즉 루브릭이 배심원의 대체재인지를 검정합니다.
근거 — 기준 구조화가 인간 정렬을 높인다는 G-Eval(Liu et al., 2023), Prometheus(Kim, S. et al., 2024). 다만 파일럿에서 루브릭의 평균 정확도 개선은 +0.6%p에 불과했고 모델별로 ±20%p 갈렸습니다.
판정 전에 앞선 답을 보여주면 AI도 동조(앵커링)합니다. 다수결이 첫 답의 메아리가 되어 배심원 이득이 사라지는지 검정합니다. 뉴스 분류 파이프라인에서 이전 기사·이전 라벨을 함께 넣는 관행이 흔하기 때문에 실무적으로도 중요합니다.
근거 — LLM의 동조(sycophancy) 경향(Sharma et al., 2024)과 파일럿 실측(앵커 제시 시 정확도 −7.8%p, 변한 판정의 71%가 앵커 방향).
실제 기사로는 정답을 알 수 없습니다. 그래서 정답을 알고 만든 가상 기사로 먼저 검정합니다. 관계를 설계해 제작하므로 준거(ground truth)가 구성적으로 확보됩니다.
동일한 에이전트에게 동일한 기사를 상황만 바꿔 제시합니다 — 루브릭이 있을 때/없을 때, 앞선 판정을 보여줄 때/안 보여줄 때. 같은 에이전트가 자기 자신의 통제집단이 되므로 판정의 변화가 곧 조작의 효과이고, 모델 간 변동이 원천 제거되어 적은 문항으로도 높은 검정력을 얻습니다.
| 실험 요인 | 수준 | 연결 가설 |
|---|---|---|
| 과제 난이도 | 쉬움 / 중간 / 어려움 (경계사례 비율 20 / 50 / 80%) | H1 |
| 분류 루브릭 | 없음 / 상세 제공 | H2 |
| 답 제시 | 블라인드 / 앞선 판정 제시(오답 방향 앵커) | H3 |
| 판정 과제 | T1 필터링 / T2 프레임 / T3 감성 | 일반화 |
| 배심원 크기·다양성 | 1·3·5·7명 / 오류 상관 연속 측정 | 사후 재표집 |
Gemma 4 · Llama 3.1 8B · EXAONE 3.5 7.8B(연구실 서버) · GLM-4.7 · GPT-OSS 120B · Qwen 3.6 27B(무료급 API) · Claude Haiku 4.5(상용 API). Google · Meta · LG · Zhipu · OpenAI · Alibaba · Anthropic 일곱 계열을 하나씩 배치해 계열 중복 없이 오류 상관을 낮추고, 7명이면 재표집 크기 1·3·5·7이 전부 홀수라 다수결 동수가 없습니다.
한국어 판정이 핵심인 과제이므로 한국어 특화 모델(EXAONE)을 반드시 포함합니다 — 파일럿에서 이 무료 모델이 정확도 90.0%로 배심원 다수결(최고 80.0%)을 10%p 능가했습니다.
조건 A가 기본이고, B·C는 각각 H2·H3 조작을 위해 문장을 덧붙이기만 합니다. 조건 D는 B+C를 함께 제시합니다.
조건 A — 기본(블라인드 · 루브릭 없음)
조건 B — 루브릭 제공 시 추가되는 부분 (H2 조작)
조건 C — 답 제시(앵커) 시 추가되는 부분 (H3 조작)
앵커는 일부러 정답과 반대 방향으로 제시합니다 — 에이전트가 끌려가는지를 재기 위해서입니다. T3(3범주)에서는 정답에서 한 칸 비껴간 값을 제시합니다.
정답 여부 ~ 난이도 × 배심원크기 + 루브릭 × 배심원크기 + 답제시 + (1|문항) + (1|에이전트). H1은 난이도 × 배심원 상호작용, H2는 루브릭 × 배심원 상호작용, H3은 같은 에이전트·문항에서 블라인드 대비 판정 이동(대응 비교)으로 검정하고, 모든 효과에 문항 단위 부트스트랩 95% 신뢰구간을 답니다.
다범주 과제(T3)는 정확도와 함께 macro-F1·가중 κ를 병기하고, 클래스 불균형이 큰 T1은 재현율·정밀도를 분리해 보고합니다. 가설·모형·제외 기준은 데이터 수집 전에 사전 등록해 사후 가설화를 차단합니다.
가상 데이터의 구성적 정답과 별도로, 실제 기사 표본에 대한 인간 코더 검증(본 포털의 검증 도구)을 병행해 “가상에서 통한 절차가 실제에서도 통하는가”를 확인합니다. 두 준거가 갈리는 지점이 곧 프로토콜의 한계 조건입니다.
1단계에서 확정된 프로토콜로만 실제 기사를 처리합니다. 여기서부터가 원래 묻고 싶었던 질문입니다.