의미 임베딩과 LLM 배심원 기반 매체 간 부정 보도 동조와 복제 탐지: 기업 위기 사건을 중심으로

최형규¹ ‧ 김다혜² ‧ 김효영³ ‧ 박대근¹교신저자, dkpark@cha.ac.kr

¹차의과학대학교 일반대학원 AI헬스케어융합학과, ²김다혜 변호사 법률사무소,

³한국공학대학교 인공지능학과

Detecting Cross-Outlet Synchronization and Copying of Negative News with Semantic Embeddings and an LLM Jury: The Case of Corporate Crisis Events

Hyeong Gyu Choi¹ ‧ Da Hye Kim² ‧ Hyo Young Kim³ ‧ Dae Keun Park¹

¹Department of AI Healthcare Convergence, Graduate School, CHA University,

²Da Hye Kim Law Office,

³Department of Artificial Intelligence, Tech University of Korea

1. 서론

1.1 연구 배경

한국에서 뉴스 이용의 상당 부분은 포털을 통해 이루어지며[9, 10], 이용자는 한 화면에서 여러 매체가 동일한 사건을 다룬 기사를 동시에 접한다. 이때 매체 간 보도 유사성은 이용자가 접하는 정보의 다양성과 중복 노출의 관점에서 실질적인 문제가 된다. 다만 이러한 유사성은 포털이 만들어 내기보다는 공통된 취재원의 사용이나 매체 간 상호 참조에서 비롯되며, 포털은 그 결과를 한 화면에 모아 나타내고 있는 것이다. 그러나 관측된 유사성만으로는 그것이 동일 사건 보도의 자연스러운 수렴인지 본문을 옮긴 복제인지 구분하기 어렵다.

매체 간 보도 유사성은 학술적 논의에 그치지 않고 포털의 뉴스 품질 관리 실무와도 맞닿아 있다. 네이버 뉴스제휴위원회가 2026년에 개편·시행한 「뉴스 제휴 심사 및 운영 평가 규정」은 개별 기사가 먼저 송고된 기존 기사와 문장 단위로 상당 부분 겹치는지를 정량 지표로 삼는다[2]. 이 판정의 비교 대상은 자사 기사에 한정되지 않고 다른 매체의 기사까지 포함한다. 다만 이 지표는 개별 기사의 중복 여부를 가릴 뿐, 특정 사건의 보도에서 관측된 매체 간 유사성이 수렴인지 동조인지 복제인지를 구분하는 재현 가능한 절차는 아직 충분히 정립되지 않았다.

특정 사건을 다룬 기사들이 서로 유사하다는 관찰만으로는, 동일한 사건을 보도하는 과정에서 나타난 자연스러운 수렴과 본문 복제를 구분하기 어렵다. 여기서 유사성(resemblance)은 두 문서의 내용과 표현이 어느 정도 공통되는지를 나타내는 문서 유사도 연구의 개념에 근거한다[16]. 먼저 관측된 유사성이 동일 사건의 보도에서 나타나는 자연스러운 수렴[36, 42]인지, 비교군과 구별되는 동조인지 판단해야 한다. 다음으로 각 언론사가 동일한 사실을 독립적으로 작성한 것인지, 다른 기사나 외부 자료의 본문을 옮긴 복제인지 별도로 판별해야 한다.

이에 본 연구는 동일 기업의 사건 이전 기사와 사건 이후의 중립 기사 및 발표성 보도기사를 비교군으로 설정하여 동조의 수준을 검증한다. 사건 이후 부정 기사의 매체 간 유사성이 비교군보다 증가하는지를 분석하여, 일반적인 보도 수렴과 구별되는 양상인지 통계적으로 확인한다. 복제는 유사도가 높은 매체 간 기사쌍을 선별한 뒤, 두 기사의 문장과 표현에서 실제로 축자적 중복이 나타나는지를 확인하여 판정한다. 이로써 포털 기사가 서로 비슷하다는 일반적인 관찰을 RQ1의 매체 간 동조와 RQ2의 본문 복제라는 두 연구문제로 구체화한다.

1.2 연구 목적

본 연구의 목적은 의미 임베딩을 이용하여 기업 위기 사건 이후 나타나는 매체 간 부정 보도의 동조와 본문 복제를 구분해 정량적으로 분석하는 데 있다. 분석 대상은 단기간에 여러 매체의 보도가 집중된 다섯 건의 기업 위기 사건이며, 사건의 성격과 피해 유형이 서로 다른 사례를 포함한다. 먼저 사건 이전 기사와 같은 시기의 중립 기사 및 발표성 보도기사를 비교군으로 설정하여, 사건 이후 부정 보도의 동조가 증가하는지를 검증한다. 이어 코사인 유사도가 높은 매체 간 기사쌍을 복제 후보로 선별하고, 대형언어모델 배심원과 연구자 5인이 문장과 표현의 중복 여부를 판정한다. 이를 통해 동조와 복제를 탐지하고 정량화하는 재현 가능한 절차를 제시하고, 포털의 뉴스 품질관리와 중복 기사 관리에 활용할 방법을 제안한다.

[RQ1] 사건 이후의 부정 기사는 사건 이전의 부정 기사와 같은 시기의 중립 기사 및 발표성 보도기사보다 매체 간 유사성이 통계적으로 유의하게 증가하는가?

[RQ2] 사건 이후 부정 기사에서 관측된 유사성은 동일한 사실을 독립적으로 보도한 결과인가, 다른 기사의 본문을 옮겨 쓴 복제인가, 복제의 규모는 어느 정도인가?

2. 선행 연구

뉴스 텍스트 연구는 문서의 의미적 유사성을 측정하고, 한국어 뉴스의 주제와 관계를 파악하며, 매체별 보도 차이를 비교하는 방향으로 발전해 왔다. 포털을 통한 뉴스 유통이 확대되면서 기사의 반복 전송과 본문 재사용을 다룬 연구도 국내외 여러 분야에서 꾸준히 축적되어 왔다. 이들 연구는 분석 대상과 방법에서 차이를 보이지만, 다수의 뉴스가 서로 비슷해지는 과정과 그 정도를 설명한다는 문제의식을 공유한다. 본 장에서는 의미 임베딩 기반 뉴스 분석, 한국어 뉴스 텍스트 마이닝과 매체 비교, 한국 포털뉴스의 어뷰징과 중복 보도를 차례로 살펴본다.

2.1 의미 임베딩 기반 뉴스 텍스트 분석

뉴스 텍스트의 의미적 유사성을 정량적으로 측정하는 연구는 사전학습 언어모델의 발전에 따라, 단어의 일치뿐 아니라 문맥과 의미를 비교하는 방향으로 확장되어 왔다. BERT[22]는 트랜스포머 인코더를 양방향으로 사전학습하여 앞뒤 문맥에 따라 달라지는 단어의 의미를 벡터로 표현하고, 이를 여러 자연어처리 과제에 적용하였다. 그러나 BERT를 문장쌍 비교에 직접 적용하면 각 문장쌍을 함께 입력해야 하므로, 대규모 문서 사이의 유사도를 반복적으로 계산하는 데 효율성의 한계가 있었다. Sentence-BERT[37]는 각 문장을 독립된 벡터로 변환하고 직접 비교하도록 학습함으로써, 문장 간 의미적 유사도를 효율적으로 계산할 수 있게 하였다. SimCSE[24]는 의미가 가까운 문장의 벡터는 가깝게, 다른 문장의 벡터는 멀게 배치하는 대조학습을 적용하여 문장 임베딩의 구분력을 높였다.

이후 BGE-M3[18]는 100개 이상의 언어와 긴 문서를 지원하고, 밀집·희소·다중 벡터 표현을 함께 제공하는 임베딩 모델을 제시하였다. 이러한 임베딩은 언어가 다른 뉴스를 묶는 다국어 군집화[33]와 관련 기사를 단계적으로 분류하는 계층적 군집화[1, 26]에 활용되었다. 시간에 따라 유입되는 기사를 사건별로 분류하는 스트림 군집화[39]와 국가 간 보도 동조를 측정하는 연구[19]로도 적용 범위가 확대되었다. 한편 정보검색 분야에서는 문자 n-gram의 중복 정도를 이용하여 뉴스 본문의 재사용을 탐지하는 방법이 발전해 왔다[16, 31]. Nicholls[34]는 기사 받아쓰기 문제에 주목하고, 문자 n-gram을 이용해 보도자료와 통신사 및 언론사 기사 사이의 본문 재사용을 분석하였다.

최근에는 대형언어모델을 평가자로 활용하여 텍스트의 품질이나 관계를 판정하고, 그 결과를 인간의 평가와 비교하는 연구도 이루어졌다. Chiang과 Lee[20]는 대형언어모델이 일정한 조건에서 인간 평가를 보완할 수 있음을 보였고, Zheng 등[43]은 모델 판정의 성능과 편향을 분석하였다. Verga 등[41]은 서로 다른 대형언어모델의 판정을 결합한 배심원 방식이 단일 모델의 편향과 판단 변동을 줄일 수 있음을 제시하였다. 이러한 연구는 의미 임베딩으로 후보를 선별하고, 어휘 중복과 다중 모델 판정을 이용하여 본문 재사용 여부를 검토하는 절차의 근거를 제공한다.

2.2 한국어 뉴스 텍스트 마이닝과 매체 비교

한국어 뉴스 텍스트 마이닝 연구는 대규모 기사에서 주요 주제를 찾고, 단어와 주제의 관계를 파악하기 위해 여러 분석 방법을 결합해 왔다. 동시출현단어 네트워크를 이용해 시기별 토픽 변화를 추적한 연구[7]가 이루어졌으며, 토픽 모델링과 소셜네트워크 분석을 결합한 연구도 제시되었다[3]. 텍스트 마이닝과 네트워크 분석을 함께 적용한 연구가 축적되었고[5], 대형언어모델이 작성한 요약문을 뉴스 군집화에 이용하는 방법도 검토되었다[1]. 언론사별 보도 내용을 비교한 연구[8]도 이어졌으나, 분석 대상은 대체로 세 곳에서 여섯 곳 정도의 주요 일간지에 한정되는 경향을 보였다. 따라서 포털에 함께 유통되는 다수 매체를 대상으로, 매체 간 보도 내용의 유사성과 차이를 직접 비교한 연구는 상대적으로 충분하지 않다.

2.3 한국 포털뉴스 어뷰징·중복 보도

매체 간 보도의 유사성은 한 매체의 의제가 다른 매체의 보도에 영향을 미치는 과정을 설명하는 매체 간 의제 설정 연구에서 다루어져 왔다[32]. 관련 연구에서는 엘리트 매체가 다른 매체의 의제를 선도하는 현상[25]과 특정 쟁점에서 매체 간 보도가 수렴하는 현상[36]이 보고되었다. 기업 뉴스에서도 주요 매체의 의제가 지역 매체의 보도에 영향을 미치면서, 매체별 보도 내용이 수렴할 수 있음이 확인되었다[42]. 그러나 동일 사건을 보도하면서 나타나는 일반적인 수렴과 달리, 받아쓰기(churnalism) 연구는 보도자료나 다른 기사의 본문을 재사용하는 현상에 주목하였다[21, 27]. 따라서 매체 간 보도의 전반적인 수렴과 구체적인 문구의 재사용은 관련되어 있더라도 서로 구분되는 현상으로 검토할 필요가 있다.

보도자료와 브리핑은 언론에 정보 보조로 작용하며[23], 뉴스룸의 자원이 줄어들수록 외부 자료에 대한 의존과 본문 재사용이 증가하는 것으로 나타났다[28, 29]. 광고와 자본이 보도에 미치는 압력도 외부 자료에 대한 의존을 높이고, 매체별 보도 내용의 차이를 줄이는 구조적 요인으로 논의되어 왔다[15, 40]. 한국에서는 포털 중심의 뉴스 유통이 확대되면서 매체 지위별 어뷰징 행태[6], 구체적 사례와 전문가 인식[4], 온라인 뉴스 어뷰징[11]이 연구되었다. 기사 반복과 제목 변경을 줄이기 위한 제도적·기술적 개선 방안도 제시되었으나[12], 기존 연구는 일부 매체나 특정 사례를 중심으로 한 경우가 많았다. 이에 다수의 사건과 매체를 함께 비교하고, 보도의 유사성과 실제 본문 재사용을 구분하여 정량적으로 검토할 필요가 있다.

3. 데이터

분석 데이터는 국내 최대 뉴스 포털 네이버에 유통된 기사로 구성하였다. 본 연구가 다루는 매체 간 동조와 복제는 여러 이용자가 동일한 포털 인터페이스에서 뉴스를 접하는 환경과 관련되므로, 실제 유통 기사를 분석 단위로 삼았다. 다섯 사례에 관한 기사는 매체명, 매체 유형, 발행일 등의 정보와 함께 수집하였으며, 수집 자료는 연구 목적으로만 이용하였다. 기사 원문은 재배포하지 않았으며, 매체 실명과 원문 링크를 공개하지 않은 채 모든 매체를 유형 코드로 익명화하였다. 매체 간 비교의 일관성을 확보하기 위해 주요 매체를 일곱 유형으로 구분하고, 이에 해당하는 90개 매체로 분석 범위를 한정하였다.

분석 대상은 단기간에 집중 보도가 관찰된 고려아연, 홈플러스, 롯데카드, 남양유업, 큐텐의 다섯 위기 사건이다. 회사명과 핵심 행위자 및 주요 사건어를 검색어로 사용하여 사건 전후 기사 77,118편을 수집하였다. 각 사례는 공적으로 보도된 사안이며, 분석 대상은 해당 기업의 행위나 책임이 아니라 사건에 관한 언론 보도의 내용과 관계이다. 다섯 사례는 경영권 분쟁, 기업회생, 개인정보 유출, 정산 지연 등 사건의 성격과 피해 유형이 서로 다르도록 선정하였다. 사례별 사전·사후 기사 수와 전체 자료의 규모는 <표 1>과 <그림 1>에 제시하였다.

<표 1> 사례별 사전·사후 기사 수

<그림 1> 사례별 사전·사후 기사 수(누적 막대)

사전과 사후는 각 사건이 발생해 보도가 본격화된 시점을 기준으로 구분하였다. 사건별 발생 시점, 주요 후속 사건, 전체 관찰 기간은 <표 2>에 정리하였다. 남양유업 사례는 2021년 지분매각 분쟁이 2024년 1월 대법원 확정까지 이어진 장기 사건에 해당한다. 이에 따라 확정 이전의 분쟁 보도가 장기간 누적되어, 다섯 사례 가운데 유일하게 사전 기사 수가 사후 기사 수보다 많았다.

<표 2> 사건 발생 시점과 주요 후속 사건

본 연구의 검정은 각 사례 내부에서 사건 전후의 상대적 변화를 비교하는 방식으로 설계하였다. 사례를 통합한 분석에서는 매체 평균을 관측 단위로 삼아 시점과 기사 유형의 2×2 상호작용을 검정하였다. 따라서 관찰 기간의 절대적인 길이보다 사건 전후에 매체 간 유사성이 어떻게 달라졌는지가 분석의 핵심이다. 사후 부정 보도의 선택적 상승이 다섯 사례에서 각각 재현되었다는 결과도 이러한 비교 설계를 뒷받침한다.

관찰 기간의 차이는 각 사례와 매체에서 집계되는 기사 수에 영향을 주므로, 추정치의 정밀도에는 차이를 만들 수 있다. 그러나 동조는 같은 기간의 중립·보도를 대조로 한 상대적 차이이며, 복제율은 사후 부정 기사 내부의 비율로 산출하였다. 이러한 설계에 따라 관찰 기간의 차이가 추정치를 일정한 방향으로 변화시킬 가능성은 제한적이라고 판단하였다. 다만 동조의 강도가 시간에 따라 감소할 수 있으므로, 동일 길이의 관찰 기간을 적용한 추가 검증은 후속 연구의 과제로 남는다.

수집된 원자료에는 사건과 무관한 동음이의어 기사나 회사명이 일부 언급된 기사가 포함되어 있어, 사건 관련성 판정을 거쳐 분석 대상을 확정하였다. 또한 매체 단위 지표의 통계적 안정성을 위해 해당 분석 구간에서 관련 기사가 두 편 미만인 매체는 지표 산출에서 제외하였다. 분석 범위를 주요 매체 90개와 네이버에 노출된 기사로 제한하였으므로, 결과를 모든 언론사와 유통 경로에 그대로 일반화하기는 어렵다. 따라서 본 연구의 결과는 설정한 매체와 관찰 기간 및 포털 유통 범위 안에서 해석할 필요가 있다.

4. 방법

본 절에서는 데이터 수집부터 인간 검토까지의 분석 절차를 적용 순서에 따라 설명한다. 먼저 사건 관련성을 판정하고 기사 유형과 논조를 분류한 뒤, 기사별 의미 임베딩과 매체 간 코사인 유사도를 산출한다. 이어 사람과 여러 대형언어모델의 판단으로 분류, 임베딩, 모델 배심원의 타당성을 검토한다. 마지막으로 시점과 기사 유형을 교차하여 동조를 측정하고, 유사 기사쌍의 복제 여부를 판정한 뒤 인간 검토로 재확인한다.

4.1 관련성 필터링과 분류

회사명으로 기사를 폭넓게 수집하면 광고, 단신, 주가 목록 등 사건과 무관한 자료가 포함되므로, 관련성 판정으로 이를 제외하였다. 관련 기사는 유형에 따라 이슈 보도, 발표성 보도기사, 광고기사로 구분하고, 이슈 보도에는 부정·중립·긍정의 논조를 추가로 부여하였다. 두 기준을 결합하여 이슈-부정, 이슈-중립, 이슈-긍정, 보도기사, 광고기사의 다섯 범주를 구성하였다. 분류에는 gpt-4o-mini를 사용하고, 판정 결과를 저장하여 이후 분석에 동일하게 적용하였다. 동조와 복제 분석에는 이슈-부정 기사를 사용하고 같은 사후 구간의 중립·보도를 비교군으로 삼았으며, 광고기사는 건수만 집계하였다.

<그림 2> 연구 방법 개관

4.2 의미 임베딩과 코사인 유사도

각 기사의 제목과 본문은 OpenAI의 text-embedding-3-large[35]를 이용하여 3,072차원의 밀집 벡터로 변환하였다. 임베딩 선택에 따른 차이를 확인하기 위해 OpenAI 명사, BGE-M3 제목·본문, BGE-M3 명사의 세 방식을 추가로 산출하였다. BGE-M3는 밀집·희소·다중 벡터를 지원하지만, 본 연구의 강건성 검토에서는 1,024차원의 밀집 벡터를 사용하였다[18]. 네 방식은 부록 B에서 비교하였으며, 다국어 표현력과 본문 정보의 반영 정도를 고려하여 OpenAI 제목·본문 방식을 대표 결과로 채택하였다. 이와 같은 비교는 본 연구의 결과가 하나의 임베딩 모델이나 텍스트 구성 방식에 의존하는지를 확인하기 위한 것이다.

코사인 유사도 계산 전 임베딩 벡터에 L2 정규화를 적용하여 벡터 크기의 영향을 제거하였다. 두 기사의 의미적 유사성은 정규화된 두 벡터의 내적으로 계산되는 코사인 유사도로 측정하였다. 밀집 임베딩의 코사인 유사도로 문서의 근접중복과 의미적 관계를 측정하는 방식은 정보검색 연구에서 널리 사용되어 왔다[16, 31, 37]. 임베딩의 타당성은 무작위 기사쌍에서 코사인 값이 실제 유사성을 적절히 반영하는지를 사람과 모델이 각각 평정하도록 하여 검증하였다. 특정 임계값으로 유사도를 미리 이분하지 않고, 연속된 코사인 값이 기사 사이의 유사성 정도와 부합하는지를 직접 평가하였다.

4.3 타당성 검증

분류기와 임베딩의 결과가 사람의 판단과 어느 정도 일치하는지를 무작위 표본을 이용하여 검증하였다. 평가에는 저자를 제외한 독립 연구자 5인과 서로 다른 공급자 및 계열의 대형언어모델 5종을 사용하였다. 평가 모델은 GPT-4.1-mini, Claude Haiku 4.5, Gemini 2.5 Flash, Gemma-4-31B, GLM-4.7로 구성하였다. 사람과 모델은 동일한 기사와 문항을 제공받아 기사 분류와 기사쌍의 유사성을 서로 독립적으로 판정하였다. 모델의 정확한 버전과 호출 기간, 판정 프롬프트 및 모델별 결과는 재검토가 가능하도록 분석 기록으로 보관하였다.

다섯 범주의 완전 일치율은 사람 67%, 모델 55%로 나타나, 세부 범주를 모두 동일하게 판정하는 데에는 일정한 차이가 있었다. 이는 중립과 긍정, 보도기사와 광고기사 사이의 경계가 일부 기사에서 명확하게 구분되지 않았기 때문이다. 주 분석에 사용한 이슈-부정과 그 외의 이진 구분에서는 사람 다수결 88%, 모델 다수결 83%가 분류기와 일치하였다. 분류 모델과 배심원 일부가 OpenAI 계열이라는 점은 다른 네 모델을 포함한 다수결을 사용하여 특정 공급자의 판단이 지배하지 않도록 하였다.

타당성 검증은 임베딩 유사도와 대형언어모델 배심원의 사용 가능성을 각각 확인하는 데 목적이 있다. 먼저 코사인 유사도가 사람과 모델의 유사성 판단에 부합하는지를 확인하여, 임베딩 공간의 거리를 보도 유사성의 척도로 사용할 근거를 마련하였다. 이어 다섯 모델의 핵심 판정이 사람의 판단과 어느 정도 일치하는지를 확인하여, 복제 판정에서 모델 다수결을 사용할 근거를 검토하였다. 독립 연구자 5인과 대형언어모델 5종 사이의 개별 일치율과 전체 비교 결과는 부록 A와 B에 제시하였다.

복제 판정에는 하나의 대형언어모델을 단독으로 사용하지 않고, 서로 다른 다섯 모델의 판정을 다수결로 결합하였다. 이 방식은 대형언어모델을 평가자로 사용하는 연구[20, 43]와 여러 모델의 판정을 결합하는 배심원 접근[41]에 근거한다. 단일 모델의 위치 편향과 표현 길이 편향 및 자기강화 가능성은 서로 다른 공급자와 계열의 모델을 함께 사용하여 줄이고자 하였다. 다중 모델의 판정은 인간 검토를 대체하는 최종 판단이 아니라, 많은 기사쌍에서 복제 후보를 일관된 기준으로 선별하는 단계로 사용하였다.

4.4 동조 측정

본 연구에서 동조는 서로 다른 매체가 보도한 기사들의 내용이 전반적으로 비슷해지는 현상을 의미한다. 한 매체가 기사를 갱신하거나 재게시하면서 생기는 자기반복은 매체 사이의 수렴과 다른 현상이므로 동조 측정에서 구분할 필요가 있다[36, 42]. 이에 동조는 서로 다른 매체에 속한 기사쌍의 코사인 유사도로만 측정하고, 같은 매체에 속한 기사쌍은 계산에서 제외하였다. 각 매체가 다른 매체의 기사와 이루는 코사인 유사도의 평균을 산출하고, 이 매체 평균을 통계 검정의 관측 단위로 사용하였다. 이러한 집계는 하나의 기사가 여러 기사쌍에 반복하여 포함되면서 기사쌍 사이의 독립성 가정이 약해지는 문제를 줄이기 위한 것이다.

동조 검정은 시점의 사전·사후와 기사 유형의 부정·중립보도를 교차한 2×2 비교로 구성하였다. 시간축에서는 부정 기사의 동조가 사건 이후 증가했는지를 확인하고, 유형축에서는 부정 기사가 중립·보도보다 더 유사한지를 검정하였다. 검정에는 비모수 Mann-Whitney U 검정[30]과 양측 Welch t 검정을 함께 적용하여 분석 방법에 따른 결과의 차이를 확인하였다. 각 비교에는 검정통계량과 유의수준을 제시하고, 두 검정의 방향과 통계적 판단이 일치하는지를 기준으로 결과의 안정성을 검토하였다.

4.5 복제 판정

본 연구에서 복제는 두 기사가 본문의 문장이나 어구를 상당 부분 축자적으로 공유하여, 서로 독립적으로 작성된 결과로 보기 어려운 경우로 정의한다. 코사인 유사도는 의미가 가까운 기사쌍을 선별하는 기준일 뿐, 높은 값만으로 본문 복제를 확정하지 않았다. 따라서 후보 기사쌍의 전체 본문을 비교하여 문장 순서와 표현 및 어휘 중복을 함께 확인하였다. 이때 복제는 본문 중복에 관한 분석적 분류이며, 저작권 침해나 표절 여부에 관한 법적 판단을 뜻하지 않는다.

복제 후보 기사쌍은 서로 다른 다섯 대형언어모델의 판정을 다수결로 종합하여 분류하였다[41, 43]. 각 모델에는 두 기사의 전체 본문과 문자 10-gram 자카드(Jaccard) 유사도를 함께 제시하였다. 자카드 유사도는 두 기사에서 추출한 문자 n-gram 집합의 교집합을 합집합으로 나눈 값이다[16, 31]. 이 값은 동일한 문구의 중복 정도를 나타내지만, 문서 길이에 따라 달라질 수 있어 판정의 보조 정보로만 사용하였다. 각 모델은 문장 순서와 표현 및 어휘 중복을 종합하여 기사쌍을 복제 또는 독립으로 판정하였다.

판정 대상은 코사인 유사도에 따라 밴드별로 구성하였다. 코사인 0.95 이상인 기사쌍은 전수판정하고, 0.50 이상 0.95 미만은 다섯 밴드로 나누어 층화표집하였다. 전수 대상과 층화표본은 동일한 입력 형식으로 대형언어모델 배심원에게 제시하였다. 모델 출력의 변동을 줄이기 위해 temperature를 0으로 설정하고, 그 밖의 표본추출 매개변수도 동일하게 유지하였다. 모델 버전과 호출 기간 및 프롬프트와 판정 결과는 이후 검토가 가능하도록 분석 기록으로 보관하였다.

밴드별 판정 결과로 복제 규모를 제시할 때는 커버리지율과 복제율 추정치를 함께 사용하였다. 낮은 코사인 임계값은 더 많은 유사 기사쌍을 포착하지만 독립 보도를 함께 포함할 수 있다. 높은 임계값은 후보 범위를 줄이는 대신 복제 가능성이 높은 기사쌍에 집중한다. 두 지표는 이러한 후보 범위와 복제 가능성 사이의 잠재적 상충관계를 임계값별로 보여주기 위한 것이다. 커버리지율(≥t)은 임계값 이상 기사쌍이 전체 기사쌍에서 차지하는 비율이며, 복제율 추정치(≥t)는 밴드별 추정 복제율에 각 밴드의 기사 수를 가중치로 적용한 값이다[16].

두 지표는 기사와 기사쌍 기준으로 모두 계산할 수 있어 산출 단위를 분명히 할 필요가 있다. 어느 단위가 본질적으로 우월한 것은 아니므로, 각 지표의 차이를 더 잘 보존하는 단위를 선택하였다. 예를 들어, 6편 기사에서 가능한 15쌍 가운데 같은 6편이 유사쌍을 이루면 유사쌍이 3개든 9개든 개수와 상관 없이, 기사 기준의 커버리지율은 모두 100%가 된다. 반면 기사쌍 기준의 값은 20%와 60%로 달라지므로, 커버리지율은 기사쌍 단위로 산출한다는 것이다.

복제율의 산출 단위도 같은 여섯 편의 기사로 설명할 수 있다. 첫 번째는 3편이 서로 복제 관계를 이루어 3개의 복제쌍을 만드는 경우이고, 두 번째는 6편이 두 편씩 나뉘어 3개의 복제쌍을 만든다고 가정하였다. 두 경우 모두 전체 15쌍 가운데 복제쌍은 3개이므로, 기사쌍 기준 복제율은 20%로 같다. 그러나 기사 기준 복제율은 첫 번째 경우 3/6인 50%, 두 번째 경우 6/6인 100%로 달라져 복제에 관여한 기사 규모가 구분이 된다. 이에 복제율 추정치는 기사 단위로 제시하였으며, 두 지표의 계산 예시는 <표 3>에 정리하였다.

<표 3> 커버리지율·복제율 계산 예시

전체 자료에 두 산출 단위를 적용한 결과에서도 같은 차이가 확인되었다. 기사 단위 커버리지율은 낮은 임계값에서 100%에 가까워져 임계값별 차이가 작았다. 반면 기사쌍 단위에서는 코사인 0.5 이상 69.9%와 0.7 이상 5.5%로 구분되어 후보 범위의 변화를 드러냈다. 기사쌍 기준 복제율 추정치는 전체 기사쌍 약 6,169만 쌍을 분모로 하여 0.025%로 축소된 반면, 기사 기준 추정치는 복제에 관여한 기사 규모의 차이를 유지하였다. 이에 커버리지율은 기사쌍 단위로, 복제율 추정치는 기사 단위로 제시하였다. 임계값별로 두 단위를 모두 적용한 결과는 부록 C에 제시하였다[13, 14].

복제 규모는 사후 부정 기사 21,260편을 다른 매체 기사와의 최대 코사인 유사도에 따라 밴드별로 구분하여 추정하였다. 코사인 0.95 이상 밴드는 전수판정 결과를 사용하고, 0.50 이상 0.95 미만 밴드는 층화표본의 배심원 판정 결과를 사용하였다. 각 밴드에서는 배심원이 복제로 판정한 기사쌍의 비율을 이용하여 복제율을 추정하였다. 13.9%는 밴드별로 추정한 복제율에 각 밴드에 속한 기사 수를 가중치로 적용하여 산출한 추정 복제율이다. 밴드별 배심원 판정과 인간 검토 결과는 <표 7>에 제시하였다.

4.6 배심원 복제 판정쌍의 인간 검토

대형언어모델 배심원이 복제로 판정한 기사쌍은 연구자 5인이 본문을 직접 대조하여 다시 검토하였다. 각 연구자는 두 기사에서 문장과 어구가 실제로 겹치는지를 확인하고, 의견이 다른 경우에는 논의를 거쳐 복제·독립·애매 가운데 하나로 합의하였다. 여러 연구자가 자료를 함께 검토하고 이견을 조정하여 합의하는 방식은 팀 기반 정성 코딩에서 사용되는 절차이다[17, 38]. 본 연구는 독립적인 판정값의 평균보다 합의된 최종 판정을 사용하였으므로, 독립 평가를 전제로 하는 Cohen의 kappa는 산출하지 않았다. 각 기사쌍에는 최종 범주와 판정 근거를 기록하여 이후 동일 자료를 다시 검토할 수 있도록 하였다. 다만 평가자별 독립 판정값을 별도로 보존하지 않아 정량적인 평가자 간 일치도를 제시하지 못한 점은 인간 검토 절차의 한계이다.

Cascio 등[17]은 팀 기반 코딩에서 평가자 간 이견을 논의하고 합의에 이르는 과정이 판정의 신뢰성을 확보하는 방법이 될 수 있다고 설명하였다. 본 연구의 판정 대상은 추상적인 태도나 의도가 아니라 두 기사 본문에서 확인되는 문장과 어구의 중복 여부이다. 따라서 연구자들은 동일한 텍스트 증거를 바탕으로 판정하였고, 이견이 있는 사례는 근거를 다시 대조하여 최종 범주를 결정하였다. 대형언어모델 배심원이 복제로 판정한 기사쌍 가운데 82.9%는 연구자들의 합의 판정에서도 복제로 확인되었다.

복제는 두 기사가 본문의 문장이나 어구를 상당 부분 축자적으로 공유하여, 서로 독립적으로 작성된 결과로 보기 어려운 경우로 정의한다. 독립은 동일한 사실을 다루더라도 문장과 표현의 축자적 겹침이 확인되지 않아 별개의 기사로 판단되는 경우이다. 애매는 판정이 불가능한 경우가 아니라, 한 기사 안에서 복제된 부분과 새롭게 작성되거나 변형된 부분이 함께 나타나는 경우를 의미한다. 예를 들어 일부 단락은 다른 기사와 거의 같지만 나머지 단락의 구성과 표현이 달라, 복제와 독립 가운데 하나로 명확히 구분하기 어려운 사례가 이에 해당한다.

인간 보정 추정치는 모델 배심원이 복제로 판정한 387쌍을 연구자 5인이 모두 대조한 결과로 산출하였다. 각 코사인 밴드에서 연구자가 복제로 확인한 기사쌍 수를 해당 밴드의 전체 판정 표본 수로 나누어 복제율을 추정하였다. 복제로 확인된 사례만 포함한 9.4%를 본 추정치로, 애매한 사례까지 포함한 10.2%를 상한으로 제시하였다. 두 값도 13.9%와 동일하게 밴드별 추정 복제율에 밴드별 기사 수를 가중치로 적용한 추정치이다.

5. 결과

5.1 관련성 필터링과 분류

수집한 기사 77,118편 가운데 사건 관련성 판정을 통과한 43,039편을 분석 대상으로 삼고, 무관 기사 34,079편은 제외하였다. 관련 기사 중 이슈-부정은 22,899편, 보도기사는 10,656편, 이슈-중립은 4,618편, 이슈-긍정은 1,931편, 광고기사는 182편이었다. 다섯 범주의 합계는 40,286편이며, 나머지 2,753편은 무관으로 재판정된 2,730편과 범주 판정 실패 23편이다. 이슈-부정 기사 22,899편은 사전 1,639편과 사후 21,260편으로 나뉘며, 동조와 복제 분석에 사용하였다(<그림 3>).

<그림 3> 관련 기사 5범주 분포

5.2 의미 임베딩과 코사인 유사도

매체 간 기사쌍의 코사인 유사도를 비교한 결과, 사후 부정 기사쌍의 평균은 0.549였다. 같은 기간 중립·보도 기사쌍의 평균은 0.479로, 부정 기사쌍보다 낮았다. 전체 분포에서도 사후 부정 기사쌍은 중립·보도보다 높은 유사도 구간에 더 많이 분포하였다. 이는 평균 차이가 일부 고유사 기사쌍에 한정되지 않고 분포 전반에서 나타났음을 보여준다(<그림 4>).

<그림 4> 매체 간 코사인 분포

5.3 타당성 검증

분류기와 임베딩 및 모델 배심원의 타당성은 독립 연구자 5인과 서로 다른 대형언어모델 5종의 판정을 비교하여 평가하였다. 다섯 범주의 완전 일치율은 사람 67%, 모델 55%였으나, 주 분석 단위인 이슈-부정과 그 외의 이진 판정에서는 각각 88%와 83%였다. 코사인 유사도가 사람과 모델의 실제 유사성 판단에 부합한 비율은 임베딩 구성에 따라 71%에서 81% 사이로 나타났다. 분류와 임베딩의 구성별 결과 및 연구자와 모델 사이의 개별 일치율은 부록 A와 B에 제시하였다.

5.4 동조 측정

동조는 매체별 평균 코사인 유사도를 관측 단위로 삼아, 시점과 기사 유형을 교차한 2×2 비교로 검정하였다. 사후 부정 기사의 평균 동조는 0.556으로, 같은 기간 중립·보도 기사의 평균 0.442보다 0.114 높았다. 이 차이의 95% 신뢰구간은 0.108에서 0.120이었으며, 부정과 중립·보도의 관측 수는 각각 319와 275였다. 부정 기사의 동조는 사건 이전 0.499에서 사건 이후 0.556으로 증가했지만, 중립·보도 기사는 0.436에서 0.442로 큰 변화가 없었다.

검정 단위가 기사쌍이 아니라 매체 평균이므로 표준오차가 작게 추정되어, z와 t 통계량은 비교적 크게 나타났다. 따라서 통계적 유의성과 함께 평균 코사인 차이와 신뢰구간을 제시하여 변화의 실제 크기를 함께 확인하였다. 시점과 기사 유형의 상호작용은 사건 이후 부정 기사에서만 동조가 증가하고, 중립·보도 기사에서는 변화가 제한적이었음을 나타냈다. 이와 같은 방향의 차이는 관찰 기간이 서로 다른 다섯 사례에서 모두 확인되어, 사례별 결과는 동일한 방향을 보였다(<표 4>, <표 5>, <그림 5>).

<표 4> 시점×유형 2×2 매체 간 동조 검정

주: *** p<0.001, ** p<0.01, * p<0.05

<표 5> 사례별 사후 부정·중립보도 동조

주: *** p<0.001, ** p<0.01, * p<0.05

<그림 5> 동조 2×2 (통합·사례별)

5.5 복제 판정

복제 분석은 연구의 주요 대상인 사후 부정 기사 21,260편을 대상으로 수행하고, 코사인 유사도와 모델 배심원 판정을 함께 이용하였다. 매체 간 기사쌍의 69.9%는 코사인 유사도 0.5 이상이었지만, 임계값을 높일수록 조건을 충족하는 기사쌍의 비율은 빠르게 감소하였다. 코사인 0.7 이상인 기사쌍은 5.5%, 0.8 이상은 0.35%, 0.9 이상은 0.012%로 나타났다. 이는 사후 부정 기사에서 중간 수준의 내용 유사성은 폭넓게 나타나지만, 매우 높은 유사성을 가진 기사쌍은 일부에 집중되어 있음을 보여준다.

모델 배심원의 밴드별 추정 복제율에 밴드별 기사 수를 가중치로 적용한 추정 복제율은 13.9%였다. 연구자 5인의 본문 검토를 같은 방식으로 반영하면 복제로 확인된 사례만 포함한 추정치는 9.4%였다. 복제와 변형이 함께 나타난 애매한 사례를 추가로 포함한 추정치는 10.2%이며, 이를 결과의 상한으로 제시하였다. 세 값은 모두 밴드별 추정 복제율을 밴드별 기사 수로 가중하여 산출하였다(<표 6>, <그림 6>, <그림 7>).

<표 6> 코사인 임계별 커버리지율·복제율 추정치

<그림 6> 커버리지율 (기사쌍)

<그림 7> 코사인 임계별 기사 복제율 추정치

복제율 추정치가 코사인 0.5, 0.7, 0.8 이상에서 동일한 것은 0.8 미만 밴드의 표본 기사쌍에서 복제 판정이 없었기 때문이다. 모델 배심원은 코사인 0.5 이상 0.95 미만을 밴드별로 표집했으며, 0.8 미만 밴드의 추정 복제율은 모두 0이었다. 따라서 임계값을 0.8 이하로 낮추어도 밴드별 기사 수를 가중치로 적용한 추정 복제율은 일정하게 유지되었다. 반면 임계값을 0.9와 0.95로 높이면 낮은 밴드의 추정분이 제외되어 복제율 추정치가 감소하였다(<표 7>).

<표 7> 코사인 구간별 복제 판정 및 인간 검토

5.6 배심원 복제 판정쌍의 인간 검토

모델 배심원이 복제로 판정한 사후 부정 기사쌍 387쌍은 연구자 5인이 본문을 대조하고, 이견이 있는 경우 논의를 거쳐 최종 범주에 합의하였다. 검토 결과는 복제 321쌍, 독립 38쌍, 애매 28쌍으로 나타나, 모델 배심원의 복제 판정 가운데 82.9%가 사람의 판단과 일치하였다. 복제 확인율은 코사인 0.80 이상 0.90 미만 구간에서 45%, 0.90 이상 0.95 미만에서 70%, 0.95 이상에서 92%였다. 따라서 코사인 유사도가 높은 구간일수록 모델 배심원이 복제로 판정한 기사쌍이 연구자 검토에서도 복제로 확인되는 비율이 높았다.

모델 배심원 복제 판정쌍의 전체 확인율 82.9%를 13.9%에 단순히 곱하지는 않았다. 82.9%는 고유사 밴드의 기사쌍이 상대적으로 많이 반영된 통합 비율이어서, 밴드별 기사 분포를 나타내지 않기 때문이다. 이에 각 코사인 밴드에서 연구자가 복제로 확인한 기사쌍의 비율을 다시 구하고, 밴드별 기사 수를 가중치로 적용하여 9.4%를 추정하였다. 애매 판정을 포함해 같은 방식으로 계산한 10.2%는 상한으로 제시하였다.

<그림 8> 배심원 복제 판정쌍의 사례별 인간 검토

사례별 복제 확인율은 큐텐이 91%로 가장 높았고, 고려아연과 홈플러스는 각각 85%로 나타났다. 롯데카드는 74%, 남양유업은 68%로 다른 세 사례보다 낮았지만, 모든 사례에서 모델 판정의 과반이 연구자 검토에서도 복제로 확인되었다. 인간 보정 복제율 추정치는 남양유업 18.2%, 홈플러스 10.5%, 롯데카드 9.9%, 큐텐 8.3%, 고려아연 7.3%의 순서였다. 인간 보정 이후에도 사례 간 순서는 배심원 추정치와 같아, 보정은 각 사례의 복제율 수준을 낮출 뿐 상대적 순위는 달라지지 않았다(<표 8>, <그림 9>).

<표 8> 사례별 복제 판정 및 기사 복제율 추정치

<그림 9> 사례별 기사 복제율 추정치

6. 논의 및 결론

본 연구는 다섯 기업 위기 사건에 관한 포털 유통 기사를 이용하여, 사건 전후의 매체 간 부정 보도 동조와 본문 복제를 정량적으로 분석하였다. 사건 이후 부정 기사의 매체 간 유사성은 사건 이전보다 증가했고, 같은 기간의 중립 기사와 발표성 보도기사보다 높게 나타났다. 이러한 방향의 차이는 분석한 다섯 사례에서 모두 확인되어, 사건 이후 부정 보도의 동조가 특정 사례에만 한정되지 않았음을 보여주었다. 밴드별 추정 복제율에 밴드별 기사 수를 가중치로 적용한 추정 복제율은 배심원 판정 13.9%, 인간 보정 9.4%였으며, 애매 판정을 포함한 상한은 10.2%였다.

본 연구의 첫 번째 기여는 사건 이후 부정 보도의 동조를 사건 이전 및 같은 기간의 다른 기사 유형과 비교하여 검정했다는 점이다. 동일 사건을 다룬 기사 사이의 유사성은 자연스럽게 발생할 수 있으므로, 사건 이후 부정 기사만 관찰해서는 그 정도가 두드러지는지 판단하기 어렵다. 본 연구는 시점과 기사 유형을 함께 비교하여, 사건 이후 부정 기사에서 매체 간 유사성이 선택적으로 증가하는지를 확인하였다. 이러한 비교는 포털 기사들이 전반적으로 비슷하다는 관찰을 넘어, 특정 보도 국면에서 동조가 어느 정도 달라지는지를 평가하게 한다.

두 번째 기여는 의미적 유사성과 본문 복제를 구분하여 탐지하는 절차를 제시했다는 점이다. 의미 임베딩은 전체 기사에서 유사도가 높은 후보쌍을 선별하고, 문자 10-gram 자카드는 후보쌍의 구체적인 어휘 중복 정보를 제공하였다. 서로 다른 다섯 대형언어모델의 판정은 후보 기사쌍을 일관된 기준으로 검토하는 데 사용하고, 연구자 5인의 본문 대조로 그 결과를 재확인하였다. 이 절차는 코사인 유사도가 높은 독립 보도와 실제 문구를 재사용한 기사를 구분하고, 구간별 판정률을 이용해 기사 기준의 복제 규모를 추정할 수 있게 한다.

제안한 절차는 뉴스 플랫폼이 중복 기사 노출을 점검할 때 사용할 수 있는 단계별 의사결정 방법으로 구성할 수 있다. 먼저 운영 목적에 맞는 코사인 임계값을 정해 유사도가 높은 기사쌍을 선별하고, 여러 모델의 판정으로 복제 후보의 범위를 좁힐 수 있다. 이후 일부 또는 전체 후보를 사람이 검토하면, 자동화에 따른 처리 효율성과 최종 판정의 검토 가능성을 함께 확보할 수 있다. 임계값과 인간 검토 비율은 정상 기사를 복제로 판단하는 오류와 실제 복제를 놓치는 오류의 상대적 비용을 고려하여 조정할 필요가 있다. 따라서 본 연구의 결과는 특정 임계값을 일률적으로 제안하기보다, 플랫폼이 운영 목적과 위험 수준에 따라 판정 기준을 설정하는 데 필요한 근거를 제공한다.

관측된 보도 유사성의 원인을 해석할 때에는 매체 간 영향과 공통 자료의 사용 가능성을 함께 고려해야 한다. 통신사 기사나 기업 보도자료를 여러 매체가 공통으로 이용하면 매체 사이의 직접적인 복제가 없어도 본문이 유사해질 수 있다. 유사도가 높은 기사쌍에 포함된 기사 가운데 본문에 연합뉴스, 뉴시스, 뉴스1, 연합인포맥스의 출처가 표시된 기사는 약 10%였다. 나머지 약 90%는 본문에서 출처를 확인할 수 없었으므로, 현재 자료만으로 통신사나 보도자료의 영향을 정확히 분리하기는 어렵다. 출처 표시를 삭제하거나 문장을 일부 수정한 기사에서는 공통 자료의 흔적을 확인하기 어렵다는 점도 원인 해석의 제약에 해당한다.

분석 대상 90개 매체에는 통신사 자체가 포함되지 않아, 기사 유통 경로를 매체 유형만으로 추적하는 방법에도 한계가 있다. 따라서 관측된 유사성이 매체 간 영향에서 비롯되었는지, 공통 출처의 공유에서 비롯되었는지를 인과적으로 구분하는 문제는 후속 연구가 필요하다. 다만 원인과 관계없이 이용자에게 노출되는 여러 매체의 기사 내용이 유사해지는 정도는 본 연구의 코사인 유사도로 관측할 수 있다. 복제 판정도 법적 책임의 귀속보다 실제 본문 중복의 확인에 초점을 두므로, 기사 출처와 전파 경로의 분석은 별도의 연구문제로 다루어야 한다.

본 연구는 주요 매체 90개와 네이버에 노출된 기사로 분석 범위를 제한했으므로, 결과를 모든 언론사와 뉴스 유통 경로에 일반화하는 데에는 한계가 있다. 또한 복제와 변형이 한 기사 안에 함께 나타난 애매 사례 28쌍은 문장이나 단락 단위의 중복률을 추가로 측정할 필요가 있다. 후속 연구에서는 기업 보도자료와 기사 사이의 직접적인 관계, 복제의 원본과 전파 순서, 더 많은 사건과 매체에 대한 적용을 검토할 수 있다. 의미 임베딩으로 후보를 선별하고 다중 모델 판정과 인간 검토를 결합한 절차는 뉴스뿐 아니라 문서 중복과 내용 재사용을 판별하는 다른 연구에도 적용할 수 있다.

부록 A. 대형언어모델 배심원 구성과 연구자·모델 간 일치도

복제 판정과 분류 및 임베딩 검증에는 서로 다른 회사와 계열의 대형언어모델 다섯 종을 사용하였다. 평가 모델은 GPT-4.1-mini, Claude Haiku 4.5, Gemini 2.5 Flash, Gemma-4-31B, GLM-4.7로 구성하였다. 표에서는 각 모델을 GPT, Claude, Gemini, Gemma, GLM으로 줄여 표기하였다. 세 개 상용 공급자의 모델과 두 개의 오픈 가중치 모델을 함께 사용하여 특정 회사나 모델 계열의 판단이 결과를 지배하지 않도록 구성하였다.

부정 이진 분류에서 사람 다수결은 분류기와 88%, 모델 다수결은 83% 일치하여 핵심 분류에서 비슷한 수준의 결과를 보였다. 코사인 유사도가 사람과 모델의 유사성 판단에 부합한 비율은 임베딩 방식에 따라 71%에서 81% 사이였다. 모든 모델에는 동일한 프롬프트와 기사 정보를 제시하고, 모델별 판정 결과와 근거를 기록하여 이후 검토가 가능하도록 하였다. 다중 모델의 다수결과 인간 검토를 함께 사용하여 개별 모델의 편향을 줄이고, 판정 과정을 다시 검토할 수 있도록 하였다.

<표 A.1>과 <표 A.2>는 독립 연구자 5인과 대형언어모델 5종 사이의 직접 일치율을 각각 제시한다. 부정 이진 분류에서는 다섯 모델이 모든 연구자와 대체로 80% 이상의 일치율을 보여, 모델과 연구자 사이의 차이가 비교적 작았다. 유사성 판정에서는 모델별 차이가 더 크게 나타났으며, 특히 GLM은 다른 모델보다 사람과 낮은 일치율을 보였다. 반면 오픈 가중치 모델인 Gemma는 여러 연구자와 상용 모델에 가까운 일치율을 보여, 공개 여부만으로 판정 성능을 구분하기 어려웠다. 이러한 차이는 성향이 다른 여러 모델의 판정을 결합하고, 인간 검토로 결과를 다시 확인하는 설계의 필요성을 뒷받침한다.

분류GPTClaudeGeminiGemmaGLM연구자193%90%88%91%91%연구자283%82%80%83%83%연구자387%88%86%89%85%연구자483%80%80%81%81%연구자595%92%90%93%91%

<표 A.2> 유사도 판정 연구자·모델 간 일치율

부록 B. 임베딩 선택에 대한 강건성

text-embedding-3-large 제목·본문 방식 외에 OpenAI 명사와 BGE-M3 제목·본문 및 명사 방식의 결과를 추가로 산출하였다. 각 방식의 코사인 유사도가 사람과 모델의 실제 유사성 판단에 부합하는지를 같은 평가 기준으로 비교하였다. 사람의 적합도는 네 방식에서 77%에서 81%, 모델의 적합도는 71%에서 81% 사이로 나타났다. 네 방식이 비슷한 범위의 적합도를 보였으므로, 본 연구의 유사성 측정 결과가 특정 임베딩 모델이나 입력 구성에만 의존한다고 보기는 어려웠다(<표 B.1>).

<표 B.1> 임베딩 방식별 적합도

부록 C. 커버리지율·복제율의 단위별 산출

두 지표를 기사쌍과 기사 단위로 각각 산출한 결과는 <표 C.1>에 제시하였으며, 분석 대상은 사후 부정 기사 21,260편과 매체 간 기사쌍 약 6,169만 쌍이다. 커버리지율을 기사 단위로 산출하면 낮은 임계값에서 대부분의 기사가 유사한 상대를 가져, 값이 100%에 가까워지고 유사성 수준의 차이가 줄어든다. 반대로 복제율 추정치는 기사쌍 기준에서 0.025%였고, 밴드별 추정 복제율에 밴드별 기사 수를 가중치로 적용한 기사 기준 추정치는 13.9%였다. 이에 커버리지율은 기사쌍 단위로, 복제율 추정치는 기사 단위로 제시하여 각 지표가 나타내는 유사성 범위와 복제 기사 규모의 차이를 유지하였다.

<표 C.1> 코사인 임계별 커버리지율·복제율 추정치

참고문헌

[1] 김병욱, 정경환, 이승우, 양영욱, 장홍준(2025), "뉴스 문서 계층적·점증적 군집화 성능 향상을 위한 언어 모델 기반 문서 표현 방법 고찰," 데이타베이스연구, 41(1), 53-75.

[2] 네이버 뉴스제휴위원회(2026), 「뉴스 제휴 심사 및 운영 평가 규정」.

[3] 이제욱, 김현정(2022), "뉴스 토픽모델링과 소셜네트워크 분석을 통한 스포츠-인공지능 산업·기술 트렌드 분석," 한국스포츠학회지, 20(1), 715-737. (https://doi.org/10.46669/kss.2022.20.1.064)

[4] 이현재(2015), "포털 뉴스서비스에서의 기사 어뷰징 사례와 전문가 인식 연구 [석사학위논문, 건국대학교 언론홍보대학원]."

[5] 정안용, 박진영, 남윤재(2022), "텍스트마이닝과 네트워크분석을 활용한 스마트도시 언론보도 분석," Journal of The Korean Data Analysis Society, 24(4), 1563-1582. (https://doi.org/10.37727/jkdas.2022.24.4.1563)

[6] 조영신, 유수정, 한영주(2015), "포털 기사 공급 형태 및 매체 지위와 어뷰징과의 관계에 대한 탐색적 연구," 한국언론학보, 59(6), 314-338.

[7] 진설아, 허고은, 정유경, 송민(2013), "트위터 데이터를 이용한 네트워크 기반 토픽 변화 추적 연구," 정보관리학회지, 30(1), 285-302. (https://doi.org/10.3743/KOSIM.2013.30.1.285)

[8] 최정균, 진서훈, 최종후(2017), "텍스트 마이닝 기법을 이용한 언론사별 보도 변화 양상 탐구," Journal of The Korean Data Analysis Society, 19(5), 2509-2522. (https://doi.org/10.37727/jkdas.2017.19.5.2509)

[9] 한국언론진흥재단(2023), "2023 언론수용자 조사," 한국언론진흥재단.

[10] 한국언론진흥재단(2025), "2025 언론수용자 조사," 한국언론진흥재단.

[11] 함민정, 이상우(2018), "온라인 뉴스에서 발생하는 어뷰징 행태 분석," 정보사회와 미디어, 19(2), 91-120. (https://doi.org/10.52558/ISM.2018.08.19.2.91)

[12] 홍문기, 김병희(2016), "인터넷 뉴스 어뷰징의 실효적 피해구제를 위한 제도적·기술적 개선방안," 한국광고홍보학보, 18(2), 112-147. (https://doi.org/10.16914/kjapr.2016.18.2.112)

[13] Amigó, E., Gonzalo, J., Artiles, J., and Verdejo, F.(2009), "A comparison of extrinsic clustering evaluation metrics based on formal constraints," Information Retrieval, 12(4), 461-486. (https://doi.org/10.1007/s10791-008-9066-8)

[14] Bagga, A., and Baldwin, B.(1998), "Algorithms for scoring coreference chains," Proceedings of the LREC Workshop on Linguistic Coreference, 563-566.

[15] Besley, T., and Prat, A.(2006), "Handcuffs for the grabbing hand? Media capture and government accountability," American Economic Review, 96(3), 720-736. (https://doi.org/10.1257/aer.96.3.720)

[16] Broder, A. Z.(1997), "On the resemblance and containment of documents," Proceedings of the Compression and Complexity of Sequences (SEQUENCES 97), 21-29. (https://doi.org/10.1109/SEQUEN.1997.666900)

[17] Cascio, M. A., Lee, E., Vaudrin, N., and Freedman, D. A.(2019), "A team-based approach to open coding: Considerations for creating intercoder consensus," Field Methods, 31(2), 116-130. (https://doi.org/10.1177/1525822X19838237)

[18] Chen, J., Xiao, S., Zhang, P., Luo, K., Lian, D., and Liu, Z.(2024), "M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation," arXiv:2402.03216. (https://doi.org/10.48550/arXiv.2402.03216)

[19] Chen, X., Hale, S. A., Jurgens, D., Samory, M., Zuckerman, E., and Grabowicz, P. A.(2024), "Global news synchrony and diversity during the start of the COVID-19 pandemic," Proceedings of the ACM Web Conference 2024, 2639-2650. (https://doi.org/10.1145/3589334.3645645)

[20] Chiang, C.-H., and Lee, H.-Y.(2023), "Can large language models be an alternative to human evaluations?," Proceedings of ACL 2023, 15607-15631. (https://doi.org/10.18653/v1/2023.acl-long.870)

[21] Davies, N.(2008), "Flat earth news," London: Chatto & Windus.

[22] Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K.(2019), "BERT: Pre-training of deep bidirectional transformers for language understanding," Proceedings of NAACL-HLT, 4171-4186. (https://doi.org/10.18653/v1/N19-1423)

[23] Gandy, O. H.(1982), "Beyond agenda setting: Information subsidies and public policy," Norwood, NJ: Ablex.

[24] Gao, T., Yao, X., and Chen, D.(2021), "SimCSE: Simple contrastive learning of sentence embeddings," Proceedings of EMNLP 2021, 6894-6910. (https://doi.org/10.18653/v1/2021.emnlp-main.552)

[25] Gilberg, S., Eyal, C., McCombs, M., and Nicholas, D.(1980), "The state of the union address and the press agenda," Journalism Quarterly, 57(4), 584-588. (https://doi.org/10.1177/107769908005700405)

[26] Hanley, H. W. A., and Durumeric, Z.(2025), "Hierarchical level-wise news article clustering via multilingual Matryoshka embeddings," Proceedings of ACL 2025, 2476-2492. (https://doi.org/10.18653/v1/2025.acl-long.124)

[27] Jackson, D., and Moloney, K.(2016), "Inside churnalism: PR, journalism and power relationships in flux," Journalism Studies, 17(6), 763-780. (https://doi.org/10.1080/1461670X.2015.1017597)

[28] Lee, J., and Berkowitz, D.(2004), "Third gatekeeping in Korea: The screening of first-edition newspapers by public relations practitioners," Public Relations Review, 30(3), 313-325. (https://doi.org/10.1016/j.pubrev.2004.05.004)

[29] Lewis, J., Williams, A., and Franklin, B.(2008), "A compromised fourth estate? UK news journalism, public relations and news sources," Journalism Studies, 9(1), 1-20. (https://doi.org/10.1080/14616700701767974)

[30] Mann, H. B., and Whitney, D. R.(1947), "On a test of whether one of two random variables is stochastically larger than the other," Annals of Mathematical Statistics, 18(1), 50-60. (https://doi.org/10.1214/aoms/1177730491)

[31] Manning, C. D., Raghavan, P., and Schütze, H.(2008), "Introduction to information retrieval," Cambridge University Press.

[32] McCombs, M. E., and Shaw, D. L.(1972), "The agenda-setting function of mass media," Public Opinion Quarterly, 36(2), 176-187. (https://doi.org/10.1086/267990)

[33] Miranda, S., Znotiņš, A., Cohen, S. B., and Barzdins, G.(2018), "Multilingual clustering of streaming news," Proceedings of EMNLP 2018, 4535-4544. (https://doi.org/10.18653/v1/D18-1483)

[34] Nicholls, T.(2019), "Detecting textual reuse in news stories, at scale," International Journal of Communication, 13, 4173-4197.

[35] OpenAI(2024), "New embedding models and API updates," OpenAI. (https://openai.com/index/new-embedding-models-and-api-updates/)

[36] Reese, S. D., and Danielian, L. H.(1989), "Intermedia influence and the drug issue: Converging on cocaine," In Communication campaigns about drugs (pp. 29-45). Lawrence Erlbaum.

[37] Reimers, N., and Gurevych, I.(2019), "Sentence-BERT: Sentence embeddings using Siamese BERT-networks," Proceedings of EMNLP-IJCNLP 2019, 3982-3992. (https://doi.org/10.18653/v1/D19-1410)

[38] Saldaña, J.(2015), "The coding manual for qualitative researchers (3rd ed.)," Los Angeles, CA: SAGE Publications.

[39] Saravanakumar, K. K., Ballesteros, M., Chandrasekaran, M. K., and McKeown, K.(2021), "Event-driven news stream clustering using entity-aware contextual embeddings," Proceedings of EACL 2021, 2330-2340. (https://doi.org/10.18653/v1/2021.eacl-main.198)

[40] Schiffrin, A.(2018), "Introduction to special issue on media capture," Journalism, 19(8), 1033-1042. (https://doi.org/10.1177/1464884917725167)

[41] Verga, P., Hofstätter, S., Althammer, S., Su, J., Piktus, A., Arkhangorodsky, A., Xu, M., White, N., and Lewis, P.(2024), "Replacing judges with juries: Evaluating LLM generations with a panel of diverse models," arXiv:2404.18796. (https://doi.org/10.48550/arXiv.2404.18796)

[42] Zhang, X.(2018), "Intermedia agenda-setting effect in corporate news: Examining the influence of The New York Times and The Wall Street Journal on local newspapers," Journal of Applied Journalism & Media Studies, 7(2), 245-263. (https://doi.org/10.1386/ajms.7.2.245_1)

[43] Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., Lin, Z., Li, Z., Li, D., Xing, E. P., Zhang, H., Gonzalez, J. E., and Stoica, I.(2023), "Judging LLM-as-a-judge with MT-Bench and Chatbot Arena," Advances in Neural Information Processing Systems (NeurIPS 2023), Datasets and Benchmarks Track. arXiv:2306.05685. (https://doi.org/10.48550/arXiv.2306.05685)