📄 논문 한눈에 보기 — 연구가설과 결과
Regaining Trust in AI: How Trust Erodes and Recovers After Temporary and Permanent Forecasting Errors · Journal of Behavioral Decision Making 수정 후 재심사(R&R) · Study 1 (MTurk, N = 120) + Study 2 (CloudResearch Connect, N = 247, 사전등록)
① 무엇을 물었나
사람은 조언자가 틀린 뒤 그 조언을 얼마나 덜 쓰게 되고, 조언자가 다시 맞히기 시작하면 얼마나 회복되는가? 그리고 그 과정이 조언자가 AI인지 사람 전문가인지, 실패가 일시적(AO)인지 영구적(LS)인지에 따라 달라지는가?
② 어떻게 쟀나
참가자는 주가 시계열을 보고 30라운드 동안 예측합니다. 매 라운드 자기 예측 → 조언 확인 → 최종 예측 → 정답 확인. 17라운드에 충격이 들어가고, 조언자는 17~19라운드에 크게 틀린 뒤 20라운드부터 교정된 조언을 냅니다.
핵심 지표는 WOA_adj(조언 반영 정도, 0 = 무시, 1 = 완전 수용). Study 2는 여기에 라운드마다 말로 밝힌 신뢰(정답 보기 전/후, 1~7점)를 추가했습니다.
③ 연구가설과 결과
| 가설 | 예측 | Study 1 (N=120) | Study 2 (N=247) | 판정 |
|---|---|---|---|---|
| H1 · 조언자 유형 | AI 조언에 대한 신뢰가 사람 전문가보다 더 쉽게 무너지고 더 느리게 회복된다. | AI–사람 차이 없음 (상호작용 p > .3) | AI–사람 차이 없음 (침식 상호작용 b = +.001, p = .96; 회복 b = +.004, p = .89) | 지지되지 않음 |
| H2 · 충격 유형 | 영구적 실패(LS)가 일시적 실패(AO)보다 신뢰를 더 크게, 더 오래 깎는다. | LS 침식 더 큼 (b = −.111, p < .001) | LS 침식 더 큼 (b = −.053, 혼합모형 p = .021). 크기는 Study 1의 약 절반 | 침식은 지지됨 |
| H2 · 회복 | LS 조건은 교정 후에도 신뢰가 덜 회복된다. | 방향은 맞으나 불확실 (p = .022~.091) | 방향은 맞으나 불확실 (b = −.039, p = .14; LS 전체 회복 −.043, p = .052) | 방향 일치, 불확실 |
| H2 · AI × 충격 | LS의 타격이 AI 조언자에게서 더 크다. | 직접 검정 없음 | 3원 상호작용 없음 (침식 b = −.001, p = .99; 회복 b = +.077, p = .14) | 지지되지 않음 |
| 확장 · 오차 지속성 (θ) | LS의 오차가 더 오래 남을수록(D4 < D8 < D12) 신뢰가 더 깎인다. | — | 단조 순서 없음. D8이 가장 낮고 D4·D12는 비슷 (프로파일×국면 모두 p > .2) | 단조 효과 없음 |
| 확장 · 행동 vs 말 | 행동으로 드러난 신뢰(WOA)와 말로 밝힌 신뢰가 같이 움직인다. | — | 말로 밝힌 신뢰는 교정 후 기준선 이상으로 회복(정답 후 신뢰 b = +.37, p = .001), 행동 신뢰는 기준선 아래 유지 | 둘이 갈라짐 |
④ 한 줄 요약
누가 조언했는지보다 어떤 종류의 실패였는지가 더 중요했다. AI든 사람이든 실패 뒤 조언 사용은 줄었고, 영구적 실패 뒤에 더 많이 줄었으며, 교정된 조언이 나와도 완전히 돌아오지 않았습니다. 사람들은 "다시 믿는다"고 말하면서도 행동은 전보다 덜 따랐습니다.
⑤ 조심해서 읽을 점
- 두 연구 모두 같은 시계열 한 개를 썼습니다. 다른 잡음 경로·다른 ARIMA 모형으로 일반화하는 검정은 다음 연구 과제입니다.
- Study 2의 LS 침식 효과는 혼합모형에서만 유의하고 부트스트랩 구간 [−.113, +.005]은 0을 살짝 포함합니다.
- θ 조작은 처음 3라운드의 오차 크기만 바꿉니다(20라운드부터 모두 교정). "틀린 조언을 4·8·12번 받는" 효과는 검정하지 못했습니다.
- Study 2는 MTurk 폐쇄·한도 문제로 Connect에서 모집했고 칸당 25→30명으로 늘렸습니다(OSF 변경 기록 참조).


📁 자료실 — 데이터 · 분석 프로그램 · 결과 · 논문
Study 2 (CloudResearch Connect, 2026-09-04 수집) 최종 자료입니다. 참가자 식별자는 HMAC 해시(pid)로만 들어 있습니다. 클릭하면 내려받습니다.
| 구분 | 파일 | 내용 | 크기 |
|---|---|---|---|
| ① 설문·과제 데이터 | study2_connect_participants.csv | 참가자 247명 × 조건(advisor/shock/persistence), 인구통계, 기준 신뢰, 조작 점검, 완료 시각 | 26 KB |
| study2_connect_rounds.csv | 7,410 라운드 × 실제값·조언·초기/최종 예측·라운드 신뢰(전/후)·오차·WOA(raw, capped, adj) | 946 KB | |
| study2_connect_participant_flow.csv | 조건별 참가자 흐름(배정·동의·시작·완료·만료 인원) | 1 KB | |
| ② 분석 프로그램 | study2_analysis.R | 사전등록 분석 파이프라인 (R). Rscript study2_analysis.R extract|analyze connect [B]. A1–A3/B1–B3 OLS·혼합모형·군집 부트스트랩, Advisor×Shock×Phase, LS 확장, 강건성, 그림 | 40 KB |
| ③ 결과 | study2_connect_results.xlsx | 결과표 18개 시트 (셀 크기, 인구통계, 국면 평균, 회귀계수, 적합도, LRT, 3원 모형, 강건성, MC 통과자, LS 확장, 신뢰 모형, 8셀 모형) | 73 KB |
| study2_connect_analysis_log.txt | 분석 실행 전체 로그 (2026-09-04 20:22 KST, 부트스트랩 1,000회) | 30 KB | |
| fig_woa_replication.png · fig_woa_8cells.png · fig_woa_ls_profiles.png · fig_trust_profiles.png · fig_breakpoints.png · fig_ls_phase_means.png | 논문 Figure 7–12 (PNG) | 100–250 KB | |
| ④ 논문 | Manuscript_Revised_20260904.docx | 수정 원고. Study 2 시뮬레이션 절을 실제 데이터로 교체 (초록, 서론, 5.4.1–5.4.8, Table 4–8, Figure 7–12; 신뢰 측정 분석 추가) | 2.0 MB |
| ⑤ 심사의견 답변서 | Response_to_Reviewers_20260904.docx | Reviewer 1·2 답변. Study 2 관련 자리표시자 6곳 모두 실제 결과로 채움 | 40 KB |
| ⑥ OSF 사전등록 | OSF_Registration_Update_Study2_20260904.docx | 투명한 변경 기록 (플랫폼 MTurk→Connect, 칸당 30명, 보수 규칙, 운영 변경, 불변 사항) | 39 KB |
| OSF_Preregistration_REVISED_ING_20260903.docx | 사전등록 본문 | 160 KB |
📡 데이터 수집 기록 (2026-09-04 종료)
전체 요약
| 플랫폼 | 완료 / 목표 | 달성률 | 진행 중 | % |
|---|---|---|---|---|
| Connect 전체 (8개 조건 × 30명) | 247 / 240 | 0 | 100% | |
| MTurk 전체 (5개 조건 × 25명) | 62 / 125 | 0 | 50% | |
| 합계 | 309 / 365 | 0 | 85% |
Connect 조건별 진행 (8개 모집 단위)
| 조건 | 완료 / 목표 | 달성률 | 진행 중 | 더 필요 | 상태 |
|---|---|---|---|---|---|
| AI_AO | 31 / 30 | 0 | 0 | 목표 달성 | |
| Human_AO | 30 / 30 | 0 | 0 | 목표 달성 | |
| AI_LS_D4 | 31 / 30 | 0 | 0 | 목표 달성 | |
| Human_LS_D4 | 33 / 30 | 0 | 0 | 목표 달성 | |
| AI_LS_D8 | 30 / 30 | 0 | 0 | 목표 달성 | |
| Human_LS_D8 | 30 / 30 | 0 | 0 | 목표 달성 | |
| AI_LS_D12 | 31 / 30 | 0 | 0 | 목표 달성 | |
| Human_LS_D12 | 31 / 30 | 0 | 0 | 목표 달성 | |
| 합계 | 247 / 240 | 0 | 0 |
완료 수는 DB에서 30라운드를 모두 마친 실제 인원(같은 조건의 모든 프로젝트 + 기존 앱 완료자 합산). 목표 30 = 25 + 예비 5. 30을 넘는 숫자는 마감 시점에 진행 중이던 사람이 끝까지 완료한 것입니다. "더 필요" = 목표 − 완료. "진행 중"은 지금 과제를 하는 사람 수이고, Connect 프로젝트의 남은 자리는 "더 필요" 만큼 열려 있습니다(자리는 완료 수 기준으로 만들어 두었음).
MTurk 조건별 진행 (5개 모집 단위)
| 조건 | 완료 / 목표 | 달성률 | 진행 중 | 상태 |
|---|---|---|---|---|
| AI_AO | 16 / 25 | 0 | 모집 중 | |
| Human_AO | 10 / 25 | 0 | 모집 중 | |
| AI_LS_D4 | 6 / 25 | 0 | 모집 중 | |
| Human_LS_D4 | 14 / 25 | 0 | 모집 중 | |
| AI_LS_D8 | 16 / 25 | 0 | 모집 중 | |
| 합계 | 62 / 125 | 0 |
배치 5개, 각 25명, $2 + 보너스. 9월 5일 00:57 KST 만료. 나머지 3개 조건은 AWS 월 한도 초과로 게시하지 못해 Connect로 대체.