L2 정규화
길이를 1로 맞춰 '방향(의미)'만 본다
각 기사는 수천 개 숫자로 된 벡터(화살표)로 표현된다. 방향은 글의 의미를, 길이는 글 분량 같은 크기를 반영한다. L2 정규화는 벡터를 그 길이(유클리드 거리)로 나눠 길이를 1로 맞춘다 — 방향은 그대로, 크기만 통일한다.
예) 벡터 (3, 4)의 길이는 √(3²+4²)=√25=5 → 정규화하면 (3/5, 4/5)=(0.6, 0.8). 벡터 (6, 8)은 길이 10 → 정규화하면 똑같이 (0.6, 0.8). 크기가 2배여도 방향이 같으면 정규화 뒤 동일. 그래서 닮음을 글 분량이 아니라 내용(방향)으로만 잰다.
각 기사는 수천 개 숫자로 된 벡터(화살표)로 표현된다. 방향은 글의 의미를, 길이는 글 분량 같은 크기를 반영한다. L2 정규화는 벡터를 그 길이(유클리드 거리)로 나눠 길이를 1로 맞춘다 — 방향은 그대로, 크기만 통일한다.
예) 벡터 (3, 4)의 길이는 √(3²+4²)=√25=5 → 정규화하면 (3/5, 4/5)=(0.6, 0.8). 벡터 (6, 8)은 길이 10 → 정규화하면 똑같이 (0.6, 0.8). 크기가 2배여도 방향이 같으면 정규화 뒤 동일. 그래서 닮음을 글 분량이 아니라 내용(방향)으로만 잰다.
참고문헌 · Salton, G., Wong, A., & Yang, C. S. (1975). A vector space model for automatic indexing. Communications of the ACM, 18(11), 613–620.
매체간 코사인 · 2×2 설계
서로 다른 매체의 기사끼리, 방향의 닮음을 잰다
두 기사를 방향 있는 화살표로 보면, 완전히 같은 방향이면 코사인 1(똑 닮음), 직각이면 0(무관), 반대면 −1. L2 정규화된 벡터끼리는 코사인이 그냥 곱(내적)이 된다.
예) (0.6, 0.8)·(0.6, 0.8) = 0.6×0.6 + 0.8×0.8 = 1 → 완전히 닮음. (0.6, 0.8)·(0.8, −0.6) = 0.48 − 0.48 = 0 → 무관. 이 값을 서로 다른 매체의 기사끼리만 잰다(같은 매체 내부 제외). 우리가 보려는 것은 서로 다른 매체가 서로 닮는 매체 간(intermedia) 현상이기 때문이다. 여기에 시점(사전·사후)과 유형(부정·중립보도)을 교차한 2×2를 얹어 대칭으로 견준다.
두 기사를 방향 있는 화살표로 보면, 완전히 같은 방향이면 코사인 1(똑 닮음), 직각이면 0(무관), 반대면 −1. L2 정규화된 벡터끼리는 코사인이 그냥 곱(내적)이 된다.
예) (0.6, 0.8)·(0.6, 0.8) = 0.6×0.6 + 0.8×0.8 = 1 → 완전히 닮음. (0.6, 0.8)·(0.8, −0.6) = 0.48 − 0.48 = 0 → 무관. 이 값을 서로 다른 매체의 기사끼리만 잰다(같은 매체 내부 제외). 우리가 보려는 것은 서로 다른 매체가 서로 닮는 매체 간(intermedia) 현상이기 때문이다. 여기에 시점(사전·사후)과 유형(부정·중립보도)을 교차한 2×2를 얹어 대칭으로 견준다.
참고문헌 · Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence embeddings using Siamese BERT-networks. EMNLP. · Boczkowski, P. J., & de Santos, M. (2007). When more media equals less news… Political Communication, 24(2), 167–190. · Harder, R. A., Sevenans, J., & Van Aelst, P. (2017). Intermedia agenda setting in the social media age. Int'l J. Press/Politics, 22(3), 275–293.
Mann-Whitney U
순위로 비교하는 검정
두 집단의 값을 모두 섞어 순위를 매긴 뒤, 한 집단이 대체로 위쪽(큰 값) 순위를 차지하는지 본다. 평균·정규분포를 가정하지 않아 치우친 분포에도 안전하다.
예) A반 {90, 85, 80}, B반 {70, 60, 50}을 섞어 순위를 매기면 A반이 1·2·3위를 독차지 → A가 유의하게 높다. 이 연구에서는 매체 하나가 학생 한 명인 셈이며, 부정 매체들의 동조가 다른 집단보다 위쪽 순위인지를 본다.
두 집단의 값을 모두 섞어 순위를 매긴 뒤, 한 집단이 대체로 위쪽(큰 값) 순위를 차지하는지 본다. 평균·정규분포를 가정하지 않아 치우친 분포에도 안전하다.
예) A반 {90, 85, 80}, B반 {70, 60, 50}을 섞어 순위를 매기면 A반이 1·2·3위를 독차지 → A가 유의하게 높다. 이 연구에서는 매체 하나가 학생 한 명인 셈이며, 부정 매체들의 동조가 다른 집단보다 위쪽 순위인지를 본다.
참고문헌 · Mann, H. B., & Whitney, D. R. (1947). On a test of whether one of two random variables is stochastically larger than the other. Annals of Mathematical Statistics, 18(1), 50–60.
LLM Jury (AI 배심원)
AI 다섯의 다수결 배심원
서로 다른 회사의 대형 언어모델 다섯이 같은 두 기사를 읽고 각자 '베꼈다 / 아니다'에 투표한다. 다수결로 닫아 한 모델·한 사람의 주관을 누르고, 누가 어떻게 투표했는지 기록해 재현·감사 가능하게 한다.
예) 5표 중 4표가 '베꼈다' → 다수결로 복제. 3:2로 갈리면 근소, 5:0이면 확실. 서로 다른 회사·계열의 모델을 섞어 단일 모델 편향을 상쇄한다. 다섯 모델은 GPT-4.1-mini(OpenAI)·Claude Haiku 4.5(Anthropic)·Gemini 2.5 Flash(Google)·Gemma-4-31B·GLM-4.7로, 세 상용사와 오픈 모델을 섞어 단일 모델·회사 편향을 상쇄한다. 이렇게 판정된 복제는 다시 인간이 전수 재확인한다.
서로 다른 회사의 대형 언어모델 다섯이 같은 두 기사를 읽고 각자 '베꼈다 / 아니다'에 투표한다. 다수결로 닫아 한 모델·한 사람의 주관을 누르고, 누가 어떻게 투표했는지 기록해 재현·감사 가능하게 한다.
예) 5표 중 4표가 '베꼈다' → 다수결로 복제. 3:2로 갈리면 근소, 5:0이면 확실. 서로 다른 회사·계열의 모델을 섞어 단일 모델 편향을 상쇄한다. 다섯 모델은 GPT-4.1-mini(OpenAI)·Claude Haiku 4.5(Anthropic)·Gemini 2.5 Flash(Google)·Gemma-4-31B·GLM-4.7로, 세 상용사와 오픈 모델을 섞어 단일 모델·회사 편향을 상쇄한다. 이렇게 판정된 복제는 다시 인간이 전수 재확인한다.
참고문헌 · Verga, P., et al. (2024). Replacing judges with juries: Evaluating LLM generations with a panel of diverse models. arXiv:2404.18796. · Zheng, L., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. NeurIPS (arXiv:2306.05685).
커버리지율 · 복제율
닮음과 베낌을 나눠 본다
커버리지율(닮음) = 전체 매체간 기사쌍 중 코사인이 임계 이상인 쌍의 비율(기사쌍 기준). 복제율(베낌) = 배심원이 복제로 판정한 쌍에 속한 기사의 비율(기사 기준).
예) 닮은 쌍이 아무리 많아도(커버리지 높아도) 실제 통째 베낀 것은 그중 일부일 수 있다. 그래서 '닮음'과 '베낌'을 각각의 단위로 나눠, 넓게 닮는 것과 실제 베끼는 것을 구분한다. 특히 보도자료 기반 기사는 원래 여러 매체가 같은 원문을 재게시해 복제가 높다는 점(처널리즘)을 감안한다.
커버리지율(닮음) = 전체 매체간 기사쌍 중 코사인이 임계 이상인 쌍의 비율(기사쌍 기준). 복제율(베낌) = 배심원이 복제로 판정한 쌍에 속한 기사의 비율(기사 기준).
예) 닮은 쌍이 아무리 많아도(커버리지 높아도) 실제 통째 베낀 것은 그중 일부일 수 있다. 그래서 '닮음'과 '베낌'을 각각의 단위로 나눠, 넓게 닮는 것과 실제 베끼는 것을 구분한다. 특히 보도자료 기반 기사는 원래 여러 매체가 같은 원문을 재게시해 복제가 높다는 점(처널리즘)을 감안한다.
참고문헌 · Lewis, J., Williams, A., & Franklin, B. (2008). A compromised fourth estate? UK news journalism, public relations and news sources. Journalism Studies, 9(1), 1–20. · Davies, N. (2008). Flat Earth News. London: Chatto & Windus.