우리가 궁금했던 것
조언자가 한 번 크게 틀렸습니다. 그 다음에 무슨 일이 벌어질까요?
사람들이 조언을 안 믿게 된다는 건 이미 잘 알려져 있습니다. 그런데 그 다음을 연구한 사람은 별로 없습니다. 무너진 신뢰가 다시 돌아올까요? 돌아온다면 얼마나, 얼마나 빨리?
여기에 질문을 하나 더 얹었습니다. 조언자가 AI일 때와 사람일 때가 다를까요? 흔히 AI가 틀리면 더 매섭게 버림받는다고들 합니다.
그리고 또 하나. 틀리는 방식도 두 가지입니다. 한 번 실수하고 마는 것과 계속 틀리는 것. 이 둘은 전혀 다른 신호를 줍니다. 앞은 "운이 나빴네", 뒤는 "이 사람은 상황이 바뀐 걸 모르는구나"입니다.
실험은 이렇게 생겼습니다
참가자는 주가 그래프를 봅니다. 지금까지의 흐름이 이미 그려져 있고, 참가자는 다음 값을 맞혀야 합니다. 이걸 30번 반복합니다.
한 번의 라운드는 이렇게 흘러갑니다.
참가자는 120명이고, 네 그룹으로 나뉩니다.
조언의 내용은 네 그룹 모두 완전히 똑같습니다. 숫자 하나 다르지 않습니다. 달라지는 건 화면에 "AI 시스템"이라고 쓰여 있느냐 "사람 전문가"라고 쓰여 있느냐뿐입니다.
그래야 차이가 나올 때 "조언이 달라서"가 아니라 "누구라고 생각했느냐 때문에"라고 말할 수 있습니다.
신뢰를 숫자로 재는 법
"얼마나 믿었나"를 어떻게 숫자로 만들까요? 물어보지 않습니다. 행동을 봅니다.
내가 처음에 100원이라고 했는데 조언자가 120원이라고 합니다. 그리고 내가 최종적으로 110원을 냈다면 — 나는 조언 쪽으로 절반 움직인 겁니다.
한 가지 더 — 조언보다 더 멀리 가버리는 사람도 있습니다. 조언이 120원인데 130원을 내는 경우죠. 이것도 사실 자기 판단을 못 지킨 겁니다. 그래서 1을 넘어가는 만큼도 깎아서 계산했습니다. 논문에서 WOAadj라고 쓰는 게 이겁니다.
두 종류의 충격
실험 중간에 주가에 충격을 넣습니다. 90개 점 중 77번째, 참가자 입장에서는 17번째 라운드입니다.
충격은 두 종류이고, 이게 우리 실험의 핵심 조작입니다.
두 충격의 크기가 다른 이유
일시적 충격은 20, 영구적 충격은 10입니다. 왜 다를까요?
심사자 1이 정확히 이걸 물었습니다. 그리고 논문에는 아직 답이 적혀 있지 않습니다. 하지만 타당한 이유가 있습니다.
두 충격은 조언자를 몇 번 틀리게 만드는지가 다릅니다.
기준은 충격의 크기가 아니라 조언자가 실제로 틀리는 총량입니다.
영구 충격은 조언자가 알아챌 때까지 10 → 7 → 4.9로 세 번 틀립니다. 합치면 21.9입니다. 일시 충격은 한 번만 틀리므로, 같은 양을 맞추려면 그 한 번이 20이어야 합니다.
즉 20은 아무렇게나 정한 숫자가 아닙니다. 조언자가 매 기 30%씩 따라잡는다는 사실에서 자동으로 나오는 값입니다. 30으로 줬다면 30 대 21.9로 오히려 어긋납니다.
그리고 결과적으로 이게 우리에게 유리합니다
일시적 충격은 두 배나 큰 충격이었습니다. 그런데도 신뢰를 거의 떨어뜨리지 못했습니다.
즉 더 크게 때렸는데도 한 번뿐이면 사람들은 용서합니다. 절반 크기여도 계속되면 신뢰를 잃습니다. "크기가 아니라 지속이 문제"라는 우리 주장이, 크기가 달랐기 때문에 오히려 더 강해집니다.
지금은 이 설명이 논문에 없어서 심사자에게 "왜 다르냐"는 의심으로 보였습니다. 설명만 넣으면 약점이 아니라 강점이 됩니다.
지속적인 오차를 어떻게 만들었나
이 연구에서 가장 중요한 설계 결정입니다. 여기만 이해하면 나머지는 따라옵니다.
우리가 보고 싶은 것은 "오차가 계속될 때 신뢰가 어떻게 되는가"입니다. 그러면 실험은 참가자에게 계속되는 오차를 실제로 보여줘야 합니다. 한 번 틀리고 마는 걸 보여주면 다른 연구가 됩니다.
그런데 이게 생각보다 만들기 어렵습니다. 순서대로 따라가 봅시다.
왜 "다른 형태"여야 하는가
주가는 원래도 매일 흔들립니다. 그런데 그 흔들림은 대부분 제자리로 돌아옵니다. 정확히는 30%만 남고 70%는 사라집니다.
그래서 아무리 크게 흔들어도 그건 "오늘 좀 많이 움직였네"일 뿐 "세상이 바뀌었네"가 아닙니다. 조언자도 곧 돌아올 걸 알기 때문에 몇 번씩 틀리지 않습니다.
주가가 스스로 만들어내는 흔들림과 달리, 한 번 올라가면 그대로 머무는 충격을 따로 주입합니다. 되돌아오는 부분이 전혀 없습니다.
이것이 "구조가 다른 충격이 기존 구조 위에 겹쳐진다"는 말의 정확한 뜻입니다. 크기가 아니라 종류가 다른 것입니다.
그러면 조언자가 연달아 틀립니다
조언자는 나쁘지 않습니다. 매 순간 그 시점에서 가능한 최선의 예측을 냅니다. 다만 세상이 바뀐 걸 즉시 알 수 없고, 알기 전까지는 늘 하던 방식대로 예측합니다. 그 방식은 새 수준을 조금씩만 따라갑니다.
영구 충격은 10입니다. 조언자는 빗나갈 때마다 오차의 30%씩 예측을 옮깁니다.
| 라운드 | 조언자 오차 | 무슨 일이 일어나나 |
|---|---|---|
| 17 | 10.0 | 충격 발생. 전혀 몰랐으므로 통째로 빗나감 |
| 18 | 7.0 | 30%를 따라잡음 |
| 19 | 4.9 | 또 30%를 따라잡음 |
| 20 | ≈ 0 | 두 번 틀린 걸 확인 → 수준 이동을 통째로 반영 |
같은 방향으로 세 번 연달아 틀리는 조언자 — 이것이 우리가 만들려던 장면입니다.
조언자는 보정을 하든 안 하든 17~19 구간에서는 똑같이 10 → 7 → 4.9로 조금씩 따라잡습니다. 이건 자동으로 일어납니다.
보정은 그 꼬리를 20라운드에서 잘라냅니다. 없었다면 20라운드에 3.4, 21라운드에 2.4, 22라운드에 1.7 … 계속 끌고 갔을 겁니다.
왜 잘라야 할까요? 회복을 보기 위해서입니다. 오차가 회복 구간까지 끌려 들어오면, WOA가 안 올라가는 게 "신뢰가 안 돌아와서"인지 "조언자가 아직도 틀려서"인지 구분할 수 없습니다. 20라운드부터 조언자가 정확히 맞히기 때문에, 그 뒤의 변화는 순수하게 신뢰의 문제가 됩니다.
17라운드 — 조언자가 처음 틀립니다. 참가자는 아직 모릅니다. 운이 나빴을 수도 있으니까요.
18라운드 — 두 번째로 틀립니다. "어라?" 싶습니다.
19라운드 — 세 번째입니다. 이제 확실합니다.
조언자가 구조변화를 알아채는 데 두 번의 오차가 필요했다면, 참가자도 똑같이 필요합니다. 사후에 고른 시점이 아니라 설계에서 나오는 시점입니다.
참고로, 보정이 없었다면 예측선이 새 수준까지 얼마나 느리게 올라가는지를 그림으로 보면 이렇습니다.
우리 실험은 위 표처럼 20라운드에서 끊깁니다. 이 그림은 꼬리를 자르지 않았을 때의 모습입니다.
무엇이 나왔나
결과는 네 가지입니다. 숫자는 WOA가 얼마나 변했는지를 뜻합니다. 마이너스가 클수록 신뢰가 많이 떨어진 겁니다.
| 무엇을 봤나 | 숫자 | 결론 |
|---|---|---|
| 충격 이후 전반적인 신뢰 하락 | −0.047 | 확실함 |
| AI가 사람보다 더 버림받았나 | 0.023 | 차이 못 찾음 |
| 영구 충격이 일시 충격보다 심했나 | −0.090 | 확실함 |
| 회복이 일어났나 (전체) | +0.022 | 확인 안 됨 |
회복도 제대로 분석했습니다. 눈으로 본 게 아니라, 신뢰가 다시 올라가기 시작하는 시점을 22라운드부터 27라운드까지 하나씩 다 넣어보고 가장 잘 맞는 지점을 찾았습니다. 그리고 그 지점을 바꿔도 결론이 유지되는지까지 확인했습니다.
① 오래 가는 충격은 신뢰를 확실히 무너뜨립니다. 잠깐 튀는 충격은 두 배 크기여도 거의 영향이 없습니다.
② AI냐 사람이냐에 따른 차이는 찾지 못했습니다.
③ 회복은 방향은 있었지만 확실하다고 말할 만큼은 아니었습니다.
심사자 1이 한 말, 그리고 우리 답변
심사자 1은 논문을 좋아했습니다. "I really like the manuscript"라고 썼습니다. 그런데 지적이 날카롭습니다. 각 지적 옆에 우리가 어떻게 답할지를 나란히 적습니다.
| 심사자가 한 말 | 우리 답변 |
|---|---|
| "왜 하필 19라운드부터인가요?" 충격은 17라운드인데 하락을 19부터 셌다. 데이터를 보고 고른 것 아니냐. |
조언자가 구조변화를 알아채는 데 두 번의 오차가 필요했다면 참가자도 똑같이 필요합니다.
17은 우연과 구분되지 않고, 18에서 두 번째를 본 뒤에야 판단이 섭니다.
설계에 이미 들어 있던 규칙에서 나오는 시점입니다. (6장) 그리고 요구대로 18라운드 기준으로 다시 분석했습니다. 17라운드 기준까지 추가로요. |
| "못 찾은 걸 없다고 쓰지 마세요" 사전 검정력 분석도 없다. |
전부 톤다운했습니다. "압도된다" → "차이를 찾지 못했다".
"거의 유의함" 같은 표현도 전량 삭제했습니다. 다만 검정력 문제 자체는 재실험으로만 풀립니다. (10장) |
| "본문과 그림 5가 안 맞습니다" | 확인해보니 진짜 오류였습니다. 회복 계수의 부호가 본문에서 반대로 적혀 있었습니다. 회복 시점도 24가 아니라 26이 맞았습니다. 정정하고 "심사자 덕분에 발견했다"고 밝혔습니다. |
| "왜 두 충격의 크기가 다릅니까?" | 한 번짜리 충격과 세 번짜리 충격에 같은 크기를 주면 오류 총량이 3배 차이 나서, 비교하는 것이 "지속"이 아니라 "총량"이 됩니다. (5장) 설명을 논문에 넣기만 하면 됩니다. |
| "H2를 교호작용 가설로 세웠어야 합니다" | 동의합니다. 기존 데이터에 조언자 × 충격 교호작용 모형을 추가로 추정합니다. |
| "개인차를 모형에 넣으세요" | 넣었습니다. 사람마다 기본 신뢰 수준이 다른 걸 반영했더니 그 차이가 전체 변동의 44%였습니다. 그래도 결론은 그대로였습니다. |
| "모형끼리 어느 게 나은지 비교하세요" | 비교 지표를 넣었습니다. 두 지표가 서로 다른 모형을 고르는데, 그 불리한 결과도 그대로 보고했습니다. |
| "미리 등록하고 데이터·코드를 공개하세요" | 이번 개정에서 가장 크게 바뀌는 부분입니다. 어떻게 하는지는 15장에서 따로 다룹니다. |
심사자 2가 한 말, 그리고 우리 답변
심사자 2도 논문 자체는 인정합니다. "worthy of publication"이라고 썼습니다. 다만 무거운 말을 하나 덧붙였습니다.
| 심사자가 한 말 | 우리 답변 |
|---|---|
| "참가자들이 다 같은 그래프를 본 건가요?" 글이 애매해서 알 수 없다. 같은 그래프 하나였다면 결과가 그 그래프 때문일 수 있다. |
먼저 서술이 애매했음을 인정하고 "완전히 같은 그래프 하나"라고 다시 씁니다. 그리고 왜 그렇게 했는지 설명합니다 — 사람마다 그래프가 다르면 조언자가 몇 번 틀리는지가 달라져 실험 조작 자체가 흔들립니다. (11장) 다만 일반화는 제약된다는 걸 인정하고, "원래 이렇다"를 "이 환경에서 이랬다"로 고칩니다. |
| "다른 방식으로 만든 그래프에서도 해보세요" | 받아들입니다. 바뀌는 건 배경이지 실험이 아니라서, 설계를 건드리지 않고 반복할 수 있습니다. (12장) |
| "조언은 최적이었는데 왜 WOA가 낮았나요? 사람들이 더 높게 부른 건 아닌가요?" |
분석해봤습니다. 더 높게 부르는 경향은 없었습니다. 대신 조언 방향과 무관하게 자기 처음 생각 쪽으로 끌어당기는 패턴이 나왔습니다. 심사자 질문 덕분에 새 결과 하나가 추가됐습니다. |
| "회복을 계단 모양으로만 봐야 하나요?" | 회복 구간이 짧아 다른 모양을 검정할 힘이 없었습니다. 한계로 명시하고, 재실험에서 회복 구간을 늘리면 검정 가능하다고 적습니다. |
| "WOA는 행동으로 잰 신뢰라고 명시하세요" | 명시했습니다. 설문으로 묻는 신뢰와 다를 수 있다는 점도 함께 적습니다. |
| "부록 B가 빠졌습니다" | 넣었습니다. 두 심사자가 공통으로 지적한 유일한 항목입니다. |
그리고 가장 아픈 지적이 하나 남았습니다
표로 요약이 안 되는 지적이라 따로 풉니다. 먼저 두 실험에서 참가자가 실제로 뭘 하는지부터 봐야 합니다.
Dietvorst 실험 — 참가자가 보는 화면
이 지원자의 MBA 성적 순위를 맞혀보세요.
학부 학점 3.6 · GMAT 700 · 면접 8/10 · 경력 3년 · 에세이 B+
여러 개의 정보를 종합해 하나를 예측합니다. 그리고 응답은 —
"당신의 예측으로 보상받겠습니까, 통계 모델의 예측으로 보상받겠습니까?"
둘 중 하나를 고릅니다. 전부 아니면 전무입니다.
우리 실험 — 참가자가 보는 화면
이 주식의 지난 흐름입니다. 다음 값은 얼마일까요?
그 주식 자신의 과거만 봅니다. 다른 정보는 없습니다. 그리고 응답은 —
내 예측 100원 → 조언 120원 → 최종 예측을 얼마로?
0%에서 100% 사이 아무 값이나 됩니다. 110원이면 절반만 반영한 겁니다.
| Dietvorst | 우리 | |
|---|---|---|
| 보는 정보 | 여러 변수 | 그 변수의 과거 |
| 응답 방식 | 택일 | 혼합 |
| 한 번 실망하면 | 통째로 버림 | 비중만 줄임 |
Harvey & De Baets (2025)가 두 문헌을 비교했더니 결과가 정반대였습니다.
단서 기반 — 처음엔 알고리즘 선호 → 틀리는 걸 본 후 버림
시계열 — 처음엔 알고리즘 기피 → 틀리는 걸 본 후 오히려 더 의존
그러니 완벽성 도식은 우리가 쓴 패러다임에 해당되지 않는다는 것이 심사자의 결론입니다.
그런데 여기에 반론이 있습니다
왜 두 문헌의 결과가 반대인지에 대한 설명이 하나만 있는 게 아닙니다.
| 심사자의 설명 | 우리의 설명 | |
|---|---|---|
| 원인이 무엇인가 | 응답 방식 택일이냐 혼합이냐 | 문제의 성격 AI가 잘 푼다고 알려진 문제냐 아니냐 |
| 그래서 우리 연구는 | 이론을 잘못 빌려온 것 | 이론의 일반화 범위를 검증한 것 |
Dietvorst가 쓴 문제 — 학점과 시험점수로 성적 예측 — 는 통계 모델이 사람보다 낫다고 널리 알려진 영역입니다. 그래서 기대가 높고, 그 기대가 무너지니 크게 버려집니다.
주가 예측은 다릅니다. 아무도 AI가 주가를 잘 맞힌다고 생각하지 않습니다. 기대가 애초에 낮으니 무너질 것도 적습니다.
즉 우리 연구는 "AI가 잘 푼다고 여겨지지 않는 문제에서도 같은 현상이 나타나는가"를 물은 것입니다. 이론을 오적용한 게 아니라 경계를 찾는 작업입니다.
실험 시작 전에 "이 조언자를 얼마나 믿습니까"를 7점 척도로 물었습니다. 참가자 120명 기준입니다.
AI 조언자 2.58점 · 인간 전문가 2.80점 (둘의 차이는 유의하지 않음)
7점 만점에 2.58입니다. "AI는 완벽할 것"이라는 기대가 처음부터 없었습니다.
완벽성 도식은 높은 기대를 전제로 작동합니다. 전제가 충족되지 않았으니 효과가 안 나오는 게 당연합니다. 이론이 틀린 게 아니라 이 영역에서는 발동 조건이 없었던 것입니다.
여기서 논문의 위치가 바뀝니다
지금 논문은 이렇게 읽힙니다 — "Dietvorst 이론을 가져다 썼는데 결과가 안 나왔다." 이러면 심사자 지적을 방어할 수밖에 없습니다.
그런데 질문을 이렇게 놓으면 완전히 달라집니다.
AI가 잘 푼다고 여겨지지 않는 문제에서도
같은 현상이 나타나는가
이건 방어가 아니라 "Dietvorst가 어디까지 통하는지 검증했다"가 됩니다. 심사자 2의 지적을 막는 게 아니라 그 지적을 연구질문으로 흡수하는 겁니다.
그러면 선행연구의 역할이 달라집니다
인용을 채우는 게 아니라 이 질문이 성립한다는 걸 보이는 일이 됩니다. 세 단계로 쌓으면 됩니다.
| 보여야 할 것 | 근거 | |
|---|---|---|
| 1 | 알고리즘 신뢰는 영역마다 다르다 | Castelo, Bos & Lehmann (2019) |
| 2 | Dietvorst류 과제는 모델 우위가 확립된 영역이다 | Meehl (1954), Dawes (1979) |
| 3 | 금융 시계열은 그렇지 않다 | Önkal 외 (2009) |
여기까지 오면 "그럼 후자에서도 성립하나?"가 자연스러운 질문이 되고, 그게 바로 우리가 한 실험입니다.
어디에 쓰느냐가 중요합니다 — 이걸 한계 절에 넣으면 변명으로 읽힙니다. 서론과 이론 절에 넣어서, 논문을 처음부터 이 질문으로 열어야 합니다.
그래서 우리 답변은 이렇습니다
① 두 패러다임이 다르다는 지적을 받아들입니다. 논문에서 명시적으로 구분합니다.
② 다만 우리 연구는 이론의 오적용이 아니라 "이 이론이 어디까지 통하는가"를 검증한 것이라고 다시 위치를 잡습니다.
③ 그 근거로 우리가 측정한 초기 신뢰 2.58점을 제시합니다. 발동 조건이 없었다는 것을 데이터로 보입니다.
④ 따라서 "차이를 못 찾았다"는 결과는 실패가 아니라 완벽성 도식의 경계조건입니다.
이 해석은 결과를 보고 나서 세운 것입니다. 미리 예측한 게 아닙니다. 그러니 응답서에도 그렇게 밝혀야 합니다.
대신 다음 실험에서 검증하겠다고 하면 됩니다 — "이 영역에서 AI가 얼마나 잘할 것 같은가"를 미리 재고, 그 기대 수준이 침식 크기를 조절하는지 보는 겁니다. 그러면 사후 해석이 사전 예측이 됩니다.
고쳐야 할 것 하나 — 원고는 "참가자들이 인간 조언자를 더 신뢰하며 시작했다"고 썼습니다. 그런데 참가자 단위로 검정하면 유의하지 않습니다(차이 −0.22, p = .56). 행 단위(3,600개)로 계산하면 유의해지는데, 그건 같은 사람의 답을 30번 센 것입니다. 이 주장은 철회하고, 대신 "두 조언자 모두 초기 신뢰가 낮았다"를 보고해야 합니다 — 그게 우리 논거에도 더 맞습니다.
저울 이야기
"못 찾았다"와 "없다"는 다릅니다.
눈금이 10kg 단위밖에 없는 저울로 두 자루의 무게를 쟀습니다. 둘 다 "50kg쯤"이라고 나왔습니다.
그럼 "두 자루는 무게가 같다"고 말할 수 있을까요? 없습니다. 저울이 거칠어서 차이를 못 잡은 것일 수도 있으니까요. 정직하게 말하면 "이 저울로는 차이를 못 찾았다"입니다.
우리 논문이 딱 이 상황입니다. AI와 사람 사이에 차이를 못 찾았습니다. 그런데 본문에는 이렇게 썼습니다.
이건 "차이가 없다"는 적극적인 주장입니다. 못 찾은 것을 없다고 쓴 겁니다.
실험 전에 "120명이면 차이를 잡아낼 수 있나?"를 계산해봤어야 하는데 하지 않았습니다. 그래서 지금은 정말 차이가 없는 건지, 저울이 거칠어서 못 잡은 건지 구분할 방법이 없습니다.
회복도 같은 문제입니다. 회복이 일어났는지 확인이 안 됐는데, 본문은 "참가자들이 점차 신뢰를 회복했다"고 썼고 실무 조언까지 덧붙였습니다.
얼마나 못 잡는지 숫자로 보면
우리가 측정한 AI와 인간의 차이는 0.023입니다. 그런데 이 값의 오차 범위가 대략 −0.04에서 +0.09 사이입니다.
절반만 해결됩니다. 틀린 주장을 멈추는 것까지는 됩니다. "차이가 없다" → "차이를 찾지 못했다"로 바꾸면 정직해집니다.
하지만 "차이가 없다"고 말할 수 있게 되지는 않습니다. 그건 여전히 우리가 할 수 없는 주장입니다.
시험 문제가 하나였습니다
참가자 120명 전원이 똑같은 주가 그래프 하나를 봤습니다. 시험 문제 한 개로 시험을 본 셈입니다.
여기서 두 가지를 반드시 구분해야 합니다. 팀 안에서도 이 부분이 가장 자주 엉킵니다.
| 질문 | 답 |
|---|---|
| AI 그룹과 사람 그룹 비교가 공정한가? | 공정합니다. 두 그룹이 같은 문제를 봤으니 문제 탓을 할 수 없습니다. 모두에게 똑같은 것은 두 그룹의 차이를 만들 수 없습니다. |
| "원래 다 이렇다"고 말할 수 있나? | 없습니다. "이 문제에서는 이랬다"까지만 말할 수 있습니다. 문제 하나 풀려보고 그 학생의 수학 실력 전체를 판정할 수는 없으니까요. |
참가자마다 다른 그래프를 줬다면, 조언자가 몇 번 연달아 틀리는지가 사람마다 달라집니다. 누구는 두 번, 누구는 네 번, 어떤 그래프에서는 충격이 잔잔한 흔들림에 묻혀 아예 안 보일 수도 있습니다.
그러면 우리가 연구하려던 "오류가 계속된다"는 조작 자체가 사람마다 흔들립니다. 같은 그래프를 쓴 덕분에 모든 참가자가 완전히 똑같은 오류 경험을 했습니다. 이건 설계상 옳은 판단이었고, 응답서에서 그렇게 설명하면 됩니다.
다만 글은 고쳐야 합니다. "이 환경에서 이랬다"로 써야 할 것을 "원래 이렇다"로 썼기 때문입니다.
'다른 모형'이란 무슨 뜻인가
심사자 2는 다른 방식으로 만든 그래프에서도 같은 결과가 나오는지 보고 싶어 합니다.
6장에서 본 것을 떠올려 봅시다. 우리는 되돌아오지 않는 충격을 넣어서 지속적 오차를 만들었습니다. 심사자가 묻는 건 그 충격이 얹히는 배경을 바꿔도 같은 일이 벌어지느냐입니다.
그래서 헷갈리기 쉬운 것 하나만 짚고 갑니다. 바뀌는 것은 배경이지 실험이 아닙니다.
| 바뀌는 것 | 바뀌지 않는 것 |
|---|---|
| 주가가 평소에 어떻게 출렁이는지. 그래서 충격이 얼마나 도드라져 보이는지. |
충격은 여전히 사라지지 않고, 조언자는 여전히 세 번 틀린 뒤 정확해집니다. |
다른 방식으로 그래프를 만드는 건 실험을 다시 설계하는 일이 아니라, 다른 환경에서 같은 실험을 반복하는 일입니다. 설계를 건드리지 않으니 결과가 재현되면 그대로 일반화 근거가 됩니다.
심사자에게 "안 됩니다"라고 답할 이유가 없습니다. 어떤 그래프로 바꿀 것인가만 정하면 됩니다.
더 알고 싶다면 — 왜 그냥 큰 변동을 주면 안 되는지, 두 힘이 어떻게 상쇄되는지,
어떤 사양을 골라야 안전한지는 별도 문서로 정리했습니다.
→ 왜 이렇게 설계했는가 (설계 해설)
우리 전략은 '설명'입니다
심사자들은 우리 연구가 틀렸다고 하지 않았습니다. 말을 실제보다 세게 했다고 했습니다.
그래서 이번 개정의 핵심은 새로운 주장을 더하는 것이 아니라, 이미 한 것을 제대로 설명하는 것입니다. 설명해야 할 것이 네 가지입니다.
설명 ① 왜 19라운드부터인가
조언자가 구조변화를 알아채는 데 두 번의 오차가 필요했다면 참가자도 똑같이 필요합니다. 17·18에서 두 번 틀리는 걸 보고, 19에서 조언을 버리기 시작합니다. 설계에서 나오는 시점이지 사후에 고른 시점이 아닙니다. (6장)
설명 ② 왜 두 충격의 크기가 다른가
한 번만 틀리게 하는 충격과 세 번 틀리게 하는 충격을 같은 숫자로 주면, 비교하는 것이 "지속"이 아니라 "총량"이 되어버립니다. 그래서 한 번짜리에 더 큰 값을 줬습니다. (5장)
설명 ③ 왜 모두에게 같은 그래프를 줬나
조작을 흔들리지 않게 하기 위해서입니다. 다만 "이 환경에서"라는 조건을 문장마다 붙여야 합니다. (11장)
설명 ④ 우리 연구가 어느 동네에 속하는가
"AI는 완벽할 거라 기대받는다"는 이론은 다른 종류의 예측 과제에서 나온 것입니다. 그 이론을 근거로 삼는 대신 시계열 분야 안에서 우리 결과의 의미를 다시 말해야 합니다. 논문을 약하게 만드는 게 아니라 정확한 자리를 찾아주는 일입니다. (9장)
그리고 말 낮추기입니다. 이건 재실험을 하든 안 하든 어차피 해야 합니다.
| 지금 쓰여 있는 말 | 이렇게 바꿔야 함 |
|---|---|
| 조언자가 누구인지는 압도된다 | 조언자에 따른 차이는 찾지 못했다 |
| 참가자들이 점차 신뢰를 회복했다 | 회복 방향의 변화는 있었으나 확인되는 수준은 아니었다 |
| 신뢰 변화는 오류의 시간 구조가 지배한다 | 이 실험 환경에서는 오류의 시간 구조가 더 크게 작용했다 |
| 시스템은 모든 실수에 대응할 필요가 없다 | (실무 조언은 근거가 확실한 것에만 붙인다) |
남은 결정 하나
말을 낮추면 논문이 정직해집니다. 그런데 동시에 얇아 보입니다. 확실하게 남는 주장이 "오래 가는 충격이 신뢰를 무너뜨린다" 하나이기 때문입니다.
심사자 2가 이미 "기여가 충분한지 모르겠다"고 한 상태라, 여기서 기여를 더 줄이면 부담이 됩니다.
| 말만 낮추고 낸다 | 실험을 한 번 더 한다 | |
|---|---|---|
| 비용 | 없음 | 200명 내외 · 3주 |
| AI vs 사람 | "못 찾았다"로 후퇴 | 저울을 정밀하게 만들어 제대로 검증 |
| 일반화 | "이 환경에서"로 한정 | 그래프 여러 개로 확장 |
| 남는 주장 | 1개 | 3개 |
Study 1과 똑같은 2×2를 유지하되, 그래프를 여러 개 만들어 나눠 주고, 사람 수를 늘려 저울을 정밀하게 만듭니다. 그리고 분석 계획을 미리 등록합니다.
이 하나로 심사자 2의 주된 지적과 심사자 1의 두 가지 지적이 동시에 해결됩니다. 투명성 조작이나 새 측정을 얹지 않는 게 중요합니다 — 아무도 요구하지 않았고, 새 질문거리만 늘어납니다.
"저울을 정밀하게"가 정확히 무슨 뜻인가
사람 수만 늘리면 될까요? 그것만으로는 부족합니다. 세 가지가 함께 필요합니다.
| 무엇을 | 왜 |
|---|---|
| ① 사람을 더 모은다 | 몇 명이면 되는지를 실험 전에 계산합니다. 지금은 이 계산이 없어서 "못 잡은 건지 없는 건지" 판단할 근거가 없습니다. |
| ② 동등성 검정 equivalence test |
여기가 핵심입니다. "이 정도 이하면 없는 것과 같다"는 기준을
미리 정해두고, 효과가 그 안에 들어오는지 검정합니다. 이게 있어야 "차이가 없다"를 결론으로 쓸 수 있습니다. 사람만 늘리면 여전히 "못 찾았다"에 머뭅니다. |
| ③ 귀무 지지 증거 Bayes factor |
"차이가 없다는 쪽 증거가 얼마나 강한가"를 수치로 냅니다. ②를 보완합니다. |
"여러 그래프를 썼다"는 것만으로는 검증이 아닙니다. 그래프 하나당 여러 명씩 배정하고, 그래프를 모형에 요인으로 넣어야 "결과가 그래프에 따라 달라지는가"를 실제로 검정할 수 있습니다.
참가자마다 다른 그래프를 주면 그래프당 한 명이라 이 검정 자체가 불가능합니다. 그래서 씨드를 4개로 고정하는 겁니다.
사전등록, 어떻게 하나
심사자 1이 요구한 것이고, 요즘 좋은 저널이 기대하는 표준입니다. 한 번 해두면 다음 논문부터는 훨씬 쉬워집니다.
사전등록이 뭔가
데이터를 보기 전에 "무엇을 어떻게 분석할지"를 공개된 곳에 미리 적어 못 박아두는 것입니다. 날짜가 찍히고 나중에 고칠 수 없습니다.
우리는 회복 시점을 22~27 중에서 골랐고, 신뢰 하락 시작점도 19로 골랐습니다. 둘 다 근거가 있습니다. 그런데 근거가 있어도 "데이터를 보고 고른 것 아니냐"는 의심을 원천적으로 막을 수는 없습니다.
미리 등록해두면 그 의심 자체가 성립하지 않습니다. 설명으로 방어하는 대신 구조로 막는 것입니다.
실제로 하는 순서
3번에 적어야 하는 일곱 가지
| 항목 | 우리는 이렇게 적으면 됩니다 |
|---|---|
| 가설 | H1·H2를 방향까지 적습니다. "차이가 있다"가 아니라 "AI 쪽이 더 크게 떨어진다"처럼. |
| 몇 명을 모을 것인가 | 숫자와 그 근거. 검정력 계산 결과를 함께 적습니다. 이게 심사자 1의 지적을 바로 해소합니다. |
| 조건 배정 방법 | 2×2 무작위 배정, 그래프 씨드도 무작위 배정. |
| 측정할 것 | WOA 공식을 그대로. 1을 넘는 값을 어떻게 처리하는지까지. |
| 분석 모형 | 회귀식을 그대로 씁니다. 나중에 "이 모형이 더 좋아 보여서" 바꾸는 걸 막습니다. |
| 분기점 | 여기가 핵심입니다. 하락 시작 19라운드, 회복 시작 몇 라운드인지 미리 못 박습니다. |
| 제외 기준 | 이해도 문항 탈락자, 이상치 처리 방식을 미리 정합니다. |
데이터와 코드 공개
같은 곳(OSF)에 올리면 됩니다. 익명화만 하면 됩니다 — 참가자 식별번호를 일련번호로 바꾸고, MTurk 작업자 ID는 지웁니다.
- 원자료 (엑셀)
- 분석 스크립트 — 이미 있습니다
- 주가 그래프를 만든 코드
- 실험 화면(Shiny 앱) 소스 — 이미 있습니다
- 변수 설명서 (각 열이 무엇인지 적은 짧은 문서)
① "등록하면 절대 못 바꾼다" — 아닙니다. 바꿔도 됩니다. 다만 "등록과 다르게 했고 이유는 이렇다"고 밝히면 됩니다. 미리 계획하지 않았던 분석은 "탐색적"이라고 표시하면 되고요.
② "논문 나오기 전에 아이디어가 공개된다" — 아닙니다. 비공개 기간(embargo)을 걸어두면 게재될 때까지 감춰둘 수 있습니다.
이번에 하기 좋은 이유 — 우진 학생이 만들어 둔 설계서·실험 앱·분석 스크립트가
거의 그대로 등록 자료가 됩니다. 새로 만들 게 별로 없습니다.
윤리 승인(IRB)도 이미 받아둔 상태입니다.
실제로 필요한 시간은 하루이틀입니다. 그리고 한 번 만들어두면
다음 연구부터는 양식을 복사해서 쓰면 됩니다.
지금까지 된 것
우진 학생이 이미 상당 부분을 해놓았습니다.
- 19라운드 문제 — 심사자가 요구한 18라운드 기준 재분석에 더해 17라운드 기준까지 돌려 부록으로 만들었습니다. 결과가 15~28% 약해진다는 불리한 사실도 그대로 보고했습니다.
- 부호 오류 세 건을 찾아 정정했습니다.
- 세 가지 방법으로 다시 분석했습니다. 결론은 방법을 바꿔도 유지됩니다.
- 새 분석 하나를 추가했습니다. 사람들이 조언 방향과 무관하게 자기 처음 생각 쪽으로 끌어당긴다는 걸 보였습니다.
- "거의 유의함" 같은 애매한 표현을 전부 제거했습니다.
- 모형 비교 지표를 넣었고, 두 지표가 서로 다른 답을 준다는 불리한 결과도 숨기지 않았습니다.
응답서에 "Study 2 실행 후 작성"으로 비워둔 자리가 여섯 군데 있습니다. 그중 하나가 심사자 2 주된 지적에 대한 답변 자리입니다. 즉 재실험 여부가 정해져야 응답서를 완성할 수 있습니다.
그리고 응답서와 설계서가 서로 다른 계획을 적고 있어 맞춰야 합니다.