Regaining Trust in AI: How Trust Erodes and Recovers After Temporary and Permanent Forecasting Errors

연구 질문

The question

조언자가 예측을 틀리면 사람들은 조언을 덜 따릅니다. 여기까지는 잘 알려져 있습니다. 이 연구가 보는 것은 그 다음입니다 — 무너진 신뢰가 돌아오는가, 얼마나, 무엇에 따라.

여기에 두 개의 축을 세웠습니다.

• 조언자가 누구인가 — AI 시스템 vs 인간 전문가
• 오류가 어떤 성격인가 — 한 번 튀고 마는 일시적 충격(AO) vs 자료생성과정 자체가 바뀌는 영구적 충격(LS)

두 충격은 사용자에게 전혀 다른 신호를 줍니다. 앞은 "운이 나빴다", 뒤는 "이 조언자는 세상이 바뀐 걸 모른다"입니다. 신뢰 회복의 속도가 이 조합에 따라 어떻게 달라지는지는 실증된 바가 없습니다.

팀 설명서(그림책)로 먼저 보기 → — 이 카드의 내용을 그림으로 풀어 쓴 15장짜리 문서입니다.

선행연구

Literature

가설

Hypotheses

심사자 1은 H2를 교호작용 가설로 세웠어야 한다고 지적했습니다 — 완벽성 도식 논리가 참이라면 인간 조언자가 영구 충격에 더 잘 적응한다고 기대될 것이므로, 조언자 × 충격 교호작용을 검정해야 한다는 것입니다.

방법

Method

설계

2 (조언자: AI / 인간) × 2 (충격: AO / LS) 피험자 간 설계, MTurk N=120, 셀당 30명. 조언의 내용은 네 조건에서 완전히 동일하며 라벨만 다릅니다. 세션 약 40분, 보상 $2 + 성과 보너스(평균 $3.25).

자극

ARIMA(0,1,1) 로 주가 계열을 생성했습니다.

계열은 90개 관측치이고, 참가자는 61~90번째를 30라운드에 걸쳐 예측합니다. 충격은 77번째 시점 = 라운드 17에 주입되며 참가자에게 고지되지 않습니다.

조언자의 적응 규칙

Chen & Liu (1993)의 개입 모형화를 따릅니다. 조언자는 구조변화를 즉시 탐지하지 못하고, 두 번의 연속된 예측오차를 관찰한 뒤 수준 이동항 ω를 반영합니다. 따라서 조언은 라운드 17·18·19에서만 최적이 아니고, 라운드 20부터 다시 최적입니다.

이 설계 덕분에 충격 직후의 오차는 조언자의 무능이 아니라 정보 제약의 결과가 되고, 관측되는 WOA 변화는 조언 품질이 아니라 순수한 신뢰의 동태로 해석됩니다.

종속변수

Harvey & Fischer (1997). 0이면 조언 무시, 1이면 완전 수용. 조언보다 더 멀리 가는 과대추종도 신뢰의 실패로 보아 1을 넘는 부분을 대칭적으로 감점한 WOA_adj를 사용합니다.

두 심사자 모두 이것을 행동적(revealed) 신뢰로 명시하고, 설문으로 묻는 명시적(stated) 신뢰와 구분하라고 요구했습니다 (O'Neill, 2002; Daschner & Obermaier, 2022).

추정

A계열은 회복을 가정하지 않고, B계열은 두 번째 분기점을 두어 회복을 모형화합니다.

회복 분기점은 탐색으로 찾았습니다. 라운드 22~27을 후보로 두고 각각 추정해 F통계량이 최대인 지점을 선택했으며, 인접 분기점으로 바꿔도 결과가 유지되는지 확인했습니다(Appendix B). 개정 과정에서 이 값이 24가 아니라 26이었음이 확인되어 정정했습니다.

결과

Results · 원고 Table 1을 원자료로 재현하고 정확한 p값을 붙였습니다

표를 읽기 전에 — 기호가 무슨 뜻인가

모형 여섯 개가 무엇인가

같은 자료에 여섯 개의 회귀식을 돌렸습니다. 이름은 글자 + 숫자로 되어 있고, 각각 뜻이 있습니다.

글자는 회복을 모형에 넣었는지, 숫자는 집단을 어떻게 나눴는지를 뜻합니다. 예를 들어 B3은 "회복까지 보면서, 일시 충격과 영구 충격을 갈라서 비교한 모형"입니다.

식으로 쓰면

결과표

강조된 칸만 통계적으로 유의합니다. 흐린 숫자는 0과 구분되지 않습니다.
^· p < .10  |  ^* p < .05  |  ^** p < .01  |  ^*** p < .001   (이분산에 강건한 표준오차 기준)
^· 표시는 참고용입니다 — 유의한 것으로 세지 않으며, 이 칸에 근거해 주장을 세우지 않습니다.

모형 하나씩 읽어보기

계수만 보면 무슨 뜻인지 잘 안 잡힙니다. 각 모형의 계수를 실제 평균값으로 되돌려 계산해 보겠습니다. 숫자는 "조언 쪽으로 얼마나 이동했나"이고, 0.32면 조언과 내 생각 사이의 3분의 1쯤입니다.

표에서 읽어야 할 세 가지

재분석으로 보강된 것

개정본에서는 OLS · 참가자 랜덤절편 혼합효과 · 참가자 클러스터 부트스트랩(B=1,000) 세 가지를 병렬로 보고합니다. ICC = 0.441로 개인차가 큽니다. 핵심 결과(B3의 δ₁)는 세 방법 모두에서 유지되며 부트스트랩 95% 신뢰구간은 [−0.180, −0.043]으로 0을 배제합니다. 참가자 단위로 묶은 표준오차로 다시 계산해도 p = .003으로 유의합니다.

그리고 심사자 2의 질문에 답하는 과정에서 새 분석이 하나 추가됐습니다. 방향성 낙관 편향은 없었고(평균 −0.36), 대신 조언 방향과 무관하게 자기 초기값 쪽으로 당기는 양방향 앵커링이 나타났습니다 — 상향 조언 시 −3.23, 하향 조언 시 +2.17.

보고 오류 세 건 — 재현으로 확인한 것

Reporting errors found by reproducing Table 1 from the raw data

원자료 reponse_all.xlsx로 여섯 모형을 다시 추정해 원고 Table 1과 대조했습니다. 세 건의 불일치가 나왔고, 세 건 모두 분석이 아니라 보고 단계의 오류입니다. 개정 작업에서 이미 발견·정정된 것과 같은 건이며, 여기서는 근거와 계산 과정을 남깁니다.

① 회복 분기점 — 본문 24, 실제 26

논문에 쓰인 것. 3.4절:

재현 결과. 두 분기점으로 각각 돌려 F값을 비교했습니다.

세 모형의 F값이 소수점까지 26에서만 일치합니다.

결론. Table 1은 26으로 계산됐고 본문만 24라고 적혀 있습니다. 탐색은 제대로 수행됐고(F 최대값이 26), 그 값을 본문에 옮겨 적을 때 틀렸습니다.

② B1의 γ₀ — 부호가 뒤집혀 있음

논문 Table 1의 B1 행: γ₀ = +0.022  ·  재현 결과: γ₀ = −0.0216, p = .228. 크기는 같고 부호만 반대입니다.

γ₀가 무슨 뜻인가. 충격 전 기저 수준 대비 회복기의 조언 수용도입니다. 부호가 뜻을 완전히 바꿉니다.

실제 수준으로 계산하면 이렇습니다.

부분 회복이 맞고, 따라서 음수가 맞습니다.

③ B3의 γ₁ — 별표 누락, 그리고 해석 방향

논문 본문: "LS conditions demonstrated marginally significant differential recovery (Model B3: γ₁ = −0.060, p < .10), indicating more active trust repair attempts"
논문 Table 1: −0.060, 별표 없음  ·  표 각주: ^*p < .10

즉 본문은 p<.10이라 하고 표는 그 등급의 별표를 붙이지 않았습니다. 표와 본문이 서로 다릅니다.

재현 결과. γ₁ = −0.0597, 강건 표준오차 0.0359, p = .0962. 본문이 맞고 표에 별표가 빠진 것입니다.

그런데 더 큰 문제는 해석 방향입니다. γ₁ = −0.060은 "LS 조건의 회복기 수준이 AO보다 0.060 낮다"는 뜻입니다(각자 기저 대비). 그런데 본문은 이를 "더 적극적인 신뢰 회복"으로 읽었습니다. 음수를 "더 많이 회복"으로 읽은 것입니다.

변화량으로 보면 LS가 훨씬 많이 회복한 것이 맞습니다(+0.069 대 +0.017). 본문의 직관은 틀리지 않았습니다. 문제는 γ₁이 재는 것이 변화량이 아니라 수준이라는 점입니다. LS는 훨씬 깊이 떨어졌기 때문에, 많이 회복하고도 회복기 수준은 여전히 AO보다 낮습니다. 두 개는 다른 양인데 본문이 섞어 썼습니다.

정리

디스커션 1 · 충격의 구조

Discussion — what participants actually saw

본 연구의 해석은 전적으로 참가자가 화면에서 무엇을 보았는가에 달려 있습니다. "라운드 17에 충격을 주었다"는 서술만으로는 그것이 정해지지 않습니다. 이 절에서 구조를 명시합니다.

충격은 기존 구조 위에 겹쳐진 다른 구조입니다

충격 이전까지 계열은 ARIMA(0,1,1)로 움직이고 있었습니다. 그런데 주입된 영구 충격은 그 구조가 아니라 랜덤워크형 수준 이동입니다. 즉 구조가 다른 충격이 들어와 기존 구조와 합쳐진 형태이며, 이 어긋남이 지속적 예측오차의 원인입니다.

ARIMA(1,1,1)로 일반화해 쓰면, ε₈₀ = M 하나가 들어갔을 때 관측 수준의 경로와 영구 잔존량은 다음과 같습니다.

그림 1 · 같은 충격, 다른 관측 경로

클릭하면 원본 크기로 열립니다

충격 당기의 반응은 다섯 경우 모두 1로 동일하고, 갈라지는 것은 그 다음 기부터입니다. 범례의 φ, θ는 자료생성과정의 계수입니다. AR(φ)은 관성, MA(θ)는 반작용이며, 크기가 같으면 서로 상쇄되어 순수 랜덤워크가 됩니다 — 그래서 φ=θ=0.7과 φ=θ=0은 완전히 동일한 경로를 만들고, 가장 단순한 표현인 ARIMA(0,1,0)으로 쓰는 것이 옳습니다. 본 연구의 영구 충격이 이 경우입니다(잔존 100%).

보정이 있는 경우와 없는 경우를 구분해야 합니다

이 둘을 섞으면 논지가 무너집니다.

그림 2 · 보정이 없다면 (경우 A) — 관측 시계열과 예측선

클릭하면 원본 크기로 열립니다

흰 점선이 관측 수준, 색선이 각 습관 모형의 예측입니다. 범례의 φ₀, θ₀는 조언자 모형의 계수로, 그림 1의 자료생성 계수와 다른 모수이므로 아래첨자로 구분했습니다. 이 그림은 경우 A이며, 본 실험의 설계가 아닙니다 — 보정이 왜 필요한지, 없으면 어떻게 되는지를 보이는 기준선입니다.

그림 3 · 경우 A의 예측오차

클릭하면 원본 크기로 열립니다

그림 2의 세로 간격만 분리한 것입니다. φ₀ > θ₀인 경우 오차가 음수로 반전해 일관된 편의가 아니라 진동으로 지각됩니다.

그림 4 · 조언자 계수 조합별 오차 지속 기간

클릭하면 원본 크기로 열립니다

경우 A에서 조작이 성립하는 영역의 지도입니다. 점선 대각선 φ₀ = θ₀ 아래에서는 오차가 소멸하거나 부호가 뒤집혀 측정할 종속변수가 사라집니다.

irf_level <- function(phi, theta, K = 13) {      # 그림 1 · 관측 임펄스 응답
  k <- 0:K
  s <- if (phi == 1) k else (1 - phi^k) / (1 - phi)
  c(1, (1 + (phi - theta) * s)[-1])
}
fc_error  <- function(phi0, theta0, K = 13)     # 그림 2·3 · 경우 A의 예측오차
  c(1, (theta0 - phi0) * theta0^(0:(K - 1)))
n_persist <- function(phi0, theta0)             # 그림 4 · 지속 기간
  sum(abs((theta0 - phi0) * theta0^(0:19)) >= 0.2)

irf_level(0, 0)       # 1 1 1 1 ...  랜덤워크, 충격이 전액 영구화 — 본 실험의 LS
fc_error(0, 0.7)      # 1.00 0.70 0.49 0.34 ...
n_persist(0, 0.7)     # 4

심사의견과 대응

Reviewer response

심사자 1 — 개방과학과 추론의 엄밀성

• 라운드 19 코딩이 사후적으로 보인다. 최소한 라운드 18 기준 강건성 검정을 보고하라 → 요구대로 재추정하고 라운드 17 기준까지 추가해 Appendix C로 제출. 라운드 18 기준에서 효과가 15–28% 감쇠한다는 불리한 결과도 그대로 보고했습니다. 이론적 근거는 위 디스커션.
• 귀무를 긍정 주장으로 쓰지 마라. 사전 검정력 분석 부재 → 관련 문장 전면 톤다운, "marginal significance" 표현 전량 삭제 (Olsson-Collentine 외, 2019).
• H2를 교호작용 가설로. 두 번째 핵심 발견이 AO/LS를 구분하지 않는 A2에 근거함 → Study 1 데이터에 완전 교호작용 모형 A4/B4 추가 추정.
• 랜덤 절편 도입 (Rebholz, Biella & Hütter, 2024) → 혼합효과 추정 병행, ICC 0.441 보고.
• 모형 적합 비교(BIC) → AIC·BIC·모수 수 추가. 두 지표가 다른 모형을 선택한다는 결과를 그대로 보고하고, R² ≤ 0.009인 영역에서 BIC의 복잡도 벌점이 불리하게 작동함을 설명.
• 본문·Figure 5 불일치 → 실제 부호 오류로 확인, 정정.
• AO·LS 크기 차이 설명 → 위 방법 절의 설명 박스로 추가.
• 사전등록·데이터·코드 공개 → OSF 익명 공개 준비.
• Appendix B 누락, Table 1 표준오차, Figure A1 캡션, 절 순서 등 편집 사항 반영.

심사자 2 — 일반화와 이론적 위치

그 외 — WOA를 행동적 신뢰로 명시(O'Neill, 2002), Slovic(1993) 비대칭 원리 추가, 회복의 계단형 모형화 한계와 관찰 구간 절단을 한계로 명시, 낙관 편향 분석 수행(새 4.4절), Appendix B 포함.

남은 결정

Open decision

심사자 2는 "이 실험만으로 게재를 정당화할 만큼 기여가 충분한지 확신이 서지 않는다"고 썼고, 심사자 1은 사전등록된 후속 데이터 수집을 권고했습니다. 두 심사자가 독립적으로 새 데이터를 지목했습니다.