언어모델 평정단으로 조현병 보도를 읽는 법

1배경과 목적

조현병은 전체 인구의 약 1%가 겪는 질환이지만, 많은 사람은 조현병을 직접 겪은 사람이 아니라 뉴스를 통해 만난다. 강력범죄가 보도될 때마다 가해자의 병력이 함께 전해지고, 그 보도가 반복되면 조현병은 질환이 아니라 위험의 표지로 읽힌다. 언론 보도가 정신질환에 대한 사회적 인식을 만든다는 사실은 여러 나라에서 확인되었으나, 한국 언론이 조현병을 어떻게 다루는지를 장기간·대규모로 측정한 연구는 드물다.

측정이 어려운 이유는 분명하다. 5년치 기사 2만 건을 사람이 코딩하려면 수천 시간이 든다. 코더를 여럿 두면 사람 사이의 판정이 갈리고, 한 사람이 다 하면 그 사람의 성향이 결과가 된다. 언어모델이 대안으로 떠올랐지만, 모델의 판정을 그대로 믿을 근거가 아직 부족하다.

2선행연구

OpenAlex, PubMed, KCI 세 곳에서 선행연구 372편을 수집했다. 국제 문헌은 정신질환 보도와 사회적 인식, 언어모델의 내용분석 활용으로 나뉘고, 국내 문헌은 보도 양상과 가이드라인 평가에 몰려 있다.

2.1 정신질환 보도와 사회적 인식 (OpenAlex)

2.2 조현병 보도의 국제 비교 (PubMed)

2.3 언어모델을 코더로 쓴 연구 (OpenAlex)

2.4 국내 연구 (KCI)

3선행 방법과 그 한계

마지막 칸이 이 연구의 출발점이다. 언어모델을 코더로 쓴 연구는 늘고 있으나, 지침을 어떻게 쓰느냐에 따라 판정이 얼마나 달라지는지, 모델을 몇 대 어떻게 묶어야 하는지를 체계적으로 실험한 연구는 찾기 어렵다.

4새 방법론

한계를 넘기 위해 세 가지를 설계에 넣었다. 첫째 평정단, 둘째 지침의 실험적 조작, 셋째 라운드다.

4.1 세 변인과 범주

세 변인 모두 가운데 칸을 둔 3범주로 통일했다. 판단이 갈리는 기사를 억지로 한쪽에 넣지 않고 기록에 남기기 위해서다.

4.2 강건성을 위한 시뮬레이션

결과가 설계의 우연이 아님을 보이기 위해 같은 표본 300건 위에서 네 가지를 반복한다.

1. 지침 효과 — 지침 구체화 수준 3단계를 완전 대응 설계로 비교한다. 조건마다 11종 × 300건 = 3,300회 판정.
2. 라운드 효과 — 상호 검토 뒤 일치도가 오르는지 본다. 동조와 수렴을 구분하기 위해 "다수를 따를 필요는 없다"는 지시를 넣는다.
3. 조합 탐색 — 11종에서 뽑을 수 있는 모든 7인 조합(330가지)의 일치도를 계산해 최적·최악 조합을 찾는다.
4. 재표집 — 기사를 다시 뽑는 부트스트랩으로 신뢰구간을 구해, 조건 간 차이가 우연 범위를 넘는지 판정한다.

5연구가설

6데이터 수집

추론 기능이 켜져 있던 네 모델(Gemini 2.5 Flash, Kimi-K2, GLM-4.7-Flash, gpt-oss-120b)은 설정을 확인해 껐다. Kimi-K2는 추론을 켜면 기사당 202초·$0.0122가 들지만 끄면 49초·$0.0039로 줄어든다.

7결과

7.1 지침별 판정 분포

7.2 지침과 라운드에 따른 일치도

알파는 분포가 한쪽으로 쏠리면 낮게 나온다. 이 자료는 유관이 80%를 넘으므로 알파만으로는 지침의 효과를 과소평가할 수 있다. 그래서 쏠림에 덜 민감한 지표를 함께 싣는다. 관찰 일치는 평정자 쌍이 같은 판정을 낸 비율이고, Gwet AC1은 우연 일치를 범주 수로 추정해 유병률 편향을 줄인 계수다.

알파만 오르고 관찰 일치가 떨어지면 분포만 흔든 것으로 보았다. C′안은 관찰 일치가 다섯 조건 가운데 가장 높고(0.766), AC1은 B안과 사실상 같다(0.704 대 0.720). 알파만 크게 올랐다.

7.3 지침이 무너지는 자리

C안에서 일치도가 떨어진 것은 지침을 주었기 때문이 아니라 지침의 서술이 겹쳤기 때문이다. C안은 무관과 보류를 모두 "직접적으로 드러나지 않음"으로 시작했고, 보류에 "추론을 통해서 추측할 수 있음"을 붙였다. 이 문장은 사실상 모든 기사에 적용될 수 있다. 아래는 모델별 보류 선택 비율(%)이다.

Llama-3.1-8B는 C안에서 300건 가운데 88%를 보류로 보냈다. 그러나 이 모델을 뺀 10인에서도 C안의 알파는 0.137 [0.105, 0.172]로 B안의 0.300 [0.261, 0.341]에 못 미쳤다. 한 모델의 문제로 돌릴 수 없다는 뜻이다.

C′안은 같은 세 범주를 유지하면서 세 곳을 고쳤다. 유관과 무관을 각각 "질병에 관한 서술이 한 문장 이상 있는지"라는 확인 가능한 조건으로 바꾸고, 1번부터 차례로 확인해 처음 걸리는 범주로 확정하게 하고, 보류를 "본문이 끊긴 경우"와 "병명이 다른 뜻으로 쓰였는지 확인되지 않는 경우"로만 한정했다. 범주의 수도 기사도 평정단도 그대로 두었으므로, C안과 C′안의 차이는 서술 방식의 차이다.

7.4 모델별 합의 일치율

각 모델이 평정단 최빈값과 같은 판정을 내린 비율(%)이다.

7.5 평정단 조합

11종에서 7인을 뽑는 330가지 조합을 모두 계산했다. 같은 인원이라도 구성에 따라 일치도가 달라지며, 그 폭은 지침이 좋을수록 줄어든다.

7.6 라운드가 바꾼 것

스코어카드로 1라운드를 돌린 뒤, 다른 평정자의 판정 분포와 대표 근거를 보여주고 다시 판정하게 했다. "다수를 따를 필요는 없다"를 지시에 넣어 동조를 억제했다. 모델들은 평균 17%의 기사에서 판정을 바꿨다.

바뀐 방향이 한쪽으로 쏠리지 않았다는 점이 중요하다. 평정단 전체의 유관 비율은 73%에서 75%로 거의 그대로인데, 모델별로는 Gemini-2.5-Flash가 65%에서 80%로 올리고 GPT-4o-mini가 81%에서 69%로 내렸다. 단순 동조라면 모두 같은 방향으로 움직여야 한다.

7.7 세 변인에서의 재현

지침의 세 조건을 관계에서 끌어냈으므로, 변인을 바꾸어도 같은 결론이 나오는지 확인해야 한다. 논조는 부정·애매·긍정으로, 프레임은 에피소딕·애매·테마틱으로 두고, 관계에서 유관으로 합의된 기사에만 적용했다. 두 변인의 스코어카드는 서술을 베끼지 않고 같은 원칙으로 다시 썼다. 각 변인마다 두 특징의 있음과 없음으로 세 범주를 가르는 결정표를 만들고, 두 특징이 함께 있을 때 무엇으로 가를지를 변인마다 따로 정했다. 논조는 제목과 첫 문단이 어느 쪽인지로, 프레임은 기사가 원인과 해법을 어디에 두는지로 가른다.

분포는 낮은 점수부터 차례로 적었다. 7인 최적은 11종에서 7인을 뽑는 330가지 조합의 최댓값이다.

이 과정에서 동점 규칙을 두 번 고쳤고, 두 번 모두 배울 것이 있었다.

첫째, 잔여 범주는 좁아야 한다. 논조의 첫 결정표는 애매를 "두 특징이 함께 있거나 둘 다 없다"로 두었는데, 부정 서술과 긍정 서술이 함께 든 기사가 많아 애매가 17%에서 45%로 늘고 서열 알파가 오히려 떨어졌다. 잔여 범주를 좁히라는 세 번째 조건을 지침 자체가 어긴 셈이다. "둘 다 있으면 제목과 첫 문단으로 가른다"로 고치자 명목 알파와 관찰 일치가 함께 올랐다.

둘째, 동점 규칙은 위치가 아니라 내용이어야 한다. 프레임에도 같은 "제목과 첫 문단" 규칙을 썼더니 알파가 오르는 듯했으나, 뉴스의 제목과 첫 문단은 거의 언제나 사건으로 시작하므로 판정이 에피소딕으로 쏠린 결과였다(에피소딕 46%에서 67%). 동점 규칙을 "기사가 원인과 해법을 어디에 두는가"로 바꾸자 분포가 55 대 39로 돌아왔고, 그와 함께 이득도 크게 줄었다. 지표를 올리는 규칙과 옳은 규칙은 같지 않다.

8해석

9가치

• 방법론으로서 — 언어모델을 코더로 쓰려는 연구가 따라 쓸 수 있는 절차를 제시한다. 평정단 구성, 지침 조작, 라운드, 조합 탐색, 재표집 신뢰구간이 한 묶음이다.
• 실증으로서 — 검증된 판정 위에 5년치 조현병 보도의 인식지수를 올리고, 사건 전후의 변화를 추정한다.
• 공개 자료로서 — 지침 전문, 판정 원자료, 분석 코드를 함께 공개해 재현할 수 있게 한다.
• 확장 — 같은 설계를 우울증·조울증·중독으로 넓히면 질환 간 보도 차이를 같은 자로 잴 수 있다.