데이터
분석 자료는 한국언론진흥재단 빅카인즈에서 구매한 기사다. 공개 매체 90개 기관을 대상으로, 사회적 파장이 큰 대기업 부정·위기 사건 다섯 건을 다룬다. 다섯 사건은 고려아연(경영권 분쟁)·홈플러스(기업회생)·롯데카드(개인정보 유출)·남양유업(경영권 분쟁)·큐텐(정산지연)이며, 연구 윤리를 위해 매체·기자의 실명은 코드로 마스킹하고 매칭 표는 별도로 관리한다. 다만 빅카인즈는 제휴 매체의 기사를 색인할 뿐 모든 매체·모든 기사를 빠짐없이 포괄한다고 보장하지 않는다. 따라서 분석은 확보 가능한 기사에 한정되며, 실제 매체 간 동조·복제는 여기서 관측한 값보다 클 수 있다.
기사 분류와 의미 표현
회사명으로 넓게 수집한 기사는 먼저 사건 관련성으로 걸러, 광고·단신·주가 목록처럼 무관한 기사를 제외한다. 남은 관련 기사는 이슈(부정·중립·긍정)·보도기사·광고기사의 다섯 범주로 분류된다. 그러나 중립과 긍정, 보도와 광고의 경계는 모호해 세분류의 신뢰도가 낮다. 그래서 동조·복제 분석에는 신뢰도가 높은 부정 이진(부정 대 그 외)만을 사용한다. 부정 여론 자체가 이 연구의 관심 대상이므로, 부정을 다른 유형과 가르는 이진 판정이 분석의 출발점이 된다.
이어 각 기사를 의미 임베딩으로 표현하고 L2 정규화하여, 글의 분량이 아니라 내용(방향)만으로 닮음을 재도록 한다. 분석의 기본 단위는 서로 다른 매체 사이의 기사쌍이 이루는 매체간 코사인 유사도이며, 같은 매체 내부의 쌍은 제외한다. 이는 본 연구가 겨냥하는 것이 서로 다른 매체가 서로 닮고 베끼는 매체 간(intermedia) 현상이기 때문이다. 상호매체 의제설정과 매체 간 내용 동질화 연구가 바로 이 매체 간 수렴을 대상으로 삼는다(Boczkowski & de Santos, 2007). 반면 같은 매체 기사는 기자·데스크·문체를 공유해 자연히 닮고 그 근접중복은 대개 기사 갱신·재게시나 수집 아티팩트여서, 함께 넣으면 두 현상이 뒤섞여 교란이 된다.
자료도 이 선택을 뒷받침한다. 사후 부정 국면에서 매체 간 평균 유사도(0.549)가 같은 매체 안(0.572)에 육박하고, 매체 간 변동(0.098)은 오히려 매체 내(0.105)보다 작다 — 서로 다른 매체가 같은 매체 안만큼, 그리고 더 고르게 닮았다는 뜻이다. 사건 전→후 부정에서 매체 간 평균은 오르고 변동은 줄어(평균↑·변동↓), 매체를 가로지른 수렴이 뚜렷해진다. 중립·보도에는 이 조임이 없다.
| 국면·유형 | 매체 간 평균 | 매체 간 sd | 매체 내 평균 | 매체 내 sd |
|---|---|---|---|---|
| 사전 부정 | 0.500 | 0.142 | 0.544 | 0.142 |
| 사후 부정 | 0.549 | 0.098 | 0.572 | 0.105 |
| 사전 중립·보도 | 0.457 | 0.097 | 0.502 | 0.136 |
| 사후 중립·보도 | 0.479 | 0.107 | 0.519 | 0.131 |
검증
분류기와 코사인이 사람의 판단과 부합하는지를 별도로 검증한다. 이해관계가 없는 독립 연구자 5인과 서로 다른 LLM 5종이 동일한 분류 문항과 유사쌍 문항을 판정한다. 이들의 판정과 분류기·코사인이 얼마나 일치하는지를 계산해 신뢰성을 확인한다. 특히 다섯 범주 전체가 아니라, 실제 분석에 쓰이는 부정 이진 판정에서의 일치도를 핵심 지표로 삼는다. 사람과 LLM이 비슷하게 판단한다는 점이 확인되어야, 이후의 자동 판정을 믿을 근거가 마련된다.
동조 측정
동조는 매체를 관측 단위로 삼아, 각 매체가 다른 매체 기사들과 이루는 평균 코사인으로 정의한다. 관측 단위를 기사쌍이 아니라 매체로 두는 것은, 같은 매체가 여러 쌍에 반복 등장하여 생기는 비독립성을 피하기 위함이다. 이렇게 얻은 매체별 동조를 시점(사건 사전·사후)과 기사 유형(부정·중립보도)을 교차한 2×2 설계에서 비교한다. 아래 표의 네 방향 — 사전 행, 사후 행, 부정 열, 중립보도 열 — 각각에서 두 집단이 다른지를 확인한다. 검정은 분포 정규성을 가정하지 않는 Mann-Whitney U와 모수 Welch t-검정을 함께 사용하며, 두 검정의 결론은 일치한다.
| 사전 | 사후 | |
|---|---|---|
| 부정 | 사전 부정 | 사후 부정 |
| 중립·보도 | 사전 중립·보도 | 사후 중립·보도 |
복제 판정
복제 여부는 서로 다른 회사·계열의 대형 언어모델 다섯으로 구성한 LLM 배심원이 판정한다. 배심원은 기사쌍의 본문을 실제로 읽고 복제인지 독립인지 각자 판단한 뒤, 다수결로 결론짓는다. 판정 대상은 코사인 0.95 이상은 모든 쌍을 전수로, 0.5–0.95 구간은 층화표본으로 정한다. 이를 바탕으로 커버리지율(닮음, 기사쌍 기준)과 복제율(베낌, 기사 기준)을 산출한다. 두 지표를 나누는 것은, 넓게 닮는 것과 실제로 통째 베끼는 것을 구분하기 위함이다.
인간 전수검사
자동 판정만으로 마무리하지 않고, 마지막에 사람이 직접 확인한다. LLM 배심원이 복제로 판정한 기사쌍을 인간 연구자가 다시 검토한다. 이때 표본이 아니라 전수를 검토하여 누락 없이 확인한다. 각 쌍의 본문을 맞대어 실제로 옮겨 적은 복제인지 최종 판정한다. 이로써 자동 판정의 신뢰성을 사람의 눈으로 최종적으로 담보한다.
인간 판정은 복제·독립·애매의 세 가지로 한다. 애매는 판정 실패가 아니라 부분 복제·변형이 섞인 경우로, 한 기사 안에서 일부 단락은 사실상 옮겨 적은 복제 수준이지만 다른 단락은 조금씩 표현을 바꿔 삽입해 통째 복제도 완전한 독립도 아니라고 본 쌍이다. 이렇게 세 가지로 나누면, 복제만 센 값(하한)과 애매까지 포함한 값(상한)으로 복제율의 범위를 함께 제시할 수 있다. 배심원 복제 판정을 사람이 재확인한 비율(복제 확인율)은 코사인 유사도가 높을수록 올라가며, 이 확인율로 배심원 복제율을 사람 기준으로 보정한다.