Stock Price Forecasting with Advice · Study 2

📄 Study 2 결과와 자료

8개 조건 · 목표 365명 · 데이터 수집 2026-09-04 종료, 정산 완료 (갱신 05:42 KST)

📄 논문 한눈에 보기 — 연구가설과 결과

Regaining Trust in AI: How Trust Erodes and Recovers After Temporary and Permanent Forecasting Errors · Journal of Behavioral Decision Making 수정 후 재심사(R&R) · Study 1 (MTurk, N = 120) + Study 2 (CloudResearch Connect, N = 247, 사전등록)

① 무엇을 물었나

사람은 조언자가 틀린 뒤 그 조언을 얼마나 덜 쓰게 되고, 조언자가 다시 맞히기 시작하면 얼마나 회복되는가? 그리고 그 과정이 조언자가 AI인지 사람 전문가인지, 실패가 일시적(AO)인지 영구적(LS)인지에 따라 달라지는가?

② 어떻게 쟀나

참가자는 주가 시계열을 보고 30라운드 동안 예측합니다. 매 라운드 자기 예측 → 조언 확인 → 최종 예측 → 정답 확인. 17라운드에 충격이 들어가고, 조언자는 17~19라운드에 크게 틀린 뒤 20라운드부터 교정된 조언을 냅니다.

핵심 지표는 WOA_adj(조언 반영 정도, 0 = 무시, 1 = 완전 수용). Study 2는 여기에 라운드마다 말로 밝힌 신뢰(정답 보기 전/후, 1~7점)를 추가했습니다.

③ 연구가설과 결과

가설예측Study 1 (N=120)Study 2 (N=247)판정
H1 · 조언자 유형AI 조언에 대한 신뢰가 사람 전문가보다 더 쉽게 무너지고 더 느리게 회복된다.AI–사람 차이 없음 (상호작용 p > .3)AI–사람 차이 없음 (침식 상호작용 b = +.001, p = .96; 회복 b = +.004, p = .89)지지되지 않음
H2 · 충격 유형영구적 실패(LS)가 일시적 실패(AO)보다 신뢰를 더 크게, 더 오래 깎는다.LS 침식 더 큼 (b = −.111, p < .001)LS 침식 더 큼 (b = −.053, 혼합모형 p = .021). 크기는 Study 1의 약 절반침식은 지지됨
H2 · 회복LS 조건은 교정 후에도 신뢰가 덜 회복된다.방향은 맞으나 불확실 (p = .022~.091)방향은 맞으나 불확실 (b = −.039, p = .14; LS 전체 회복 −.043, p = .052)방향 일치, 불확실
H2 · AI × 충격LS의 타격이 AI 조언자에게서 더 크다.직접 검정 없음3원 상호작용 없음 (침식 b = −.001, p = .99; 회복 b = +.077, p = .14)지지되지 않음
확장 · 오차 지속성 (θ)LS의 오차가 더 오래 남을수록(D4 < D8 < D12) 신뢰가 더 깎인다.—단조 순서 없음. D8이 가장 낮고 D4·D12는 비슷 (프로파일×국면 모두 p > .2)단조 효과 없음
확장 · 행동 vs 말행동으로 드러난 신뢰(WOA)와 말로 밝힌 신뢰가 같이 움직인다.—말로 밝힌 신뢰는 교정 후 기준선 이상으로 회복(정답 후 신뢰 b = +.37, p = .001), 행동 신뢰는 기준선 아래 유지둘이 갈라짐

④ 한 줄 요약

누가 조언했는지보다 어떤 종류의 실패였는지가 더 중요했다. AI든 사람이든 실패 뒤 조언 사용은 줄었고, 영구적 실패 뒤에 더 많이 줄었으며, 교정된 조언이 나와도 완전히 돌아오지 않았습니다. 사람들은 "다시 믿는다"고 말하면서도 행동은 전보다 덜 따랐습니다.

⑤ 조심해서 읽을 점

  • 두 연구 모두 같은 시계열 한 개를 썼습니다. 다른 잡음 경로·다른 ARIMA 모형으로 일반화하는 검정은 다음 연구 과제입니다.
  • Study 2의 LS 침식 효과는 혼합모형에서만 유의하고 부트스트랩 구간 [−.113, +.005]은 0을 살짝 포함합니다.
  • θ 조작은 처음 3라운드의 오차 크기만 바꿉니다(20라운드부터 모두 교정). "틀린 조언을 4·8·12번 받는" 효과는 검정하지 못했습니다.
  • Study 2는 MTurk 폐쇄·한도 문제로 Connect에서 모집했고 칸당 25→30명으로 늘렸습니다(OSF 변경 기록 참조).
Study 2 WOA_adj by round, AO vs LS-D4 by advisor
Study 2 · 라운드별 조언 반영도(WOA_adj). 빨간 점선 = 충격(17R), 회색 = 침식 구간 시작(19R), 파란 = 회복 구간 시작(26R). 실선 AI, 점선 사람 전문가; 빨강 AO, 청록 LS-D4.
Study 2 stated trust by round
Study 2 · 말로 밝힌 신뢰. 충격 직후 급락했다가 교정 조언(20R)이 나오자 곧 기준선 이상으로 돌아온다. 행동 신뢰(위 그림)는 그만큼 돌아오지 않는다.

📁 자료실 — 데이터 · 분석 프로그램 · 결과 · 논문

Study 2 (CloudResearch Connect, 2026-09-04 수집) 최종 자료입니다. 참가자 식별자는 HMAC 해시(pid)로만 들어 있습니다. 클릭하면 내려받습니다.

구분파일내용크기
① 설문·과제 데이터study2_connect_participants.csv참가자 247명 × 조건(advisor/shock/persistence), 인구통계, 기준 신뢰, 조작 점검, 완료 시각26 KB
study2_connect_rounds.csv7,410 라운드 × 실제값·조언·초기/최종 예측·라운드 신뢰(전/후)·오차·WOA(raw, capped, adj)946 KB
study2_connect_participant_flow.csv조건별 참가자 흐름(배정·동의·시작·완료·만료 인원)1 KB
② 분석 프로그램study2_analysis.R사전등록 분석 파이프라인 (R). Rscript study2_analysis.R extract|analyze connect [B]. A1–A3/B1–B3 OLS·혼합모형·군집 부트스트랩, Advisor×Shock×Phase, LS 확장, 강건성, 그림40 KB
③ 결과study2_connect_results.xlsx결과표 18개 시트 (셀 크기, 인구통계, 국면 평균, 회귀계수, 적합도, LRT, 3원 모형, 강건성, MC 통과자, LS 확장, 신뢰 모형, 8셀 모형)73 KB
study2_connect_analysis_log.txt분석 실행 전체 로그 (2026-09-04 20:22 KST, 부트스트랩 1,000회)30 KB
fig_woa_replication.png · fig_woa_8cells.png · fig_woa_ls_profiles.png · fig_trust_profiles.png · fig_breakpoints.png · fig_ls_phase_means.png논문 Figure 7–12 (PNG)100–250 KB
④ 논문Manuscript_Revised_20260904.docx수정 원고. Study 2 시뮬레이션 절을 실제 데이터로 교체 (초록, 서론, 5.4.1–5.4.8, Table 4–8, Figure 7–12; 신뢰 측정 분석 추가)2.0 MB
⑤ 심사의견 답변서Response_to_Reviewers_20260904.docxReviewer 1·2 답변. Study 2 관련 자리표시자 6곳 모두 실제 결과로 채움40 KB
⑥ OSF 사전등록OSF_Registration_Update_Study2_20260904.docx투명한 변경 기록 (플랫폼 MTurk→Connect, 칸당 30명, 보수 규칙, 운영 변경, 불변 사항)39 KB
OSF_Preregistration_REVISED_ING_20260903.docx사전등록 본문160 KB

📡 데이터 수집 기록 (2026-09-04 종료)

전체 요약

플랫폼완료 / 목표달성률진행 중%
Connect 전체 (8개 조건 × 30명)247 / 240
0100%
MTurk 전체 (5개 조건 × 25명)62 / 125
050%
합계309 / 365
085%

Connect 조건별 진행 (8개 모집 단위)

조건완료 / 목표달성률진행 중더 필요상태
AI_AO31 / 30
00목표 달성
Human_AO30 / 30
00목표 달성
AI_LS_D431 / 30
00목표 달성
Human_LS_D433 / 30
00목표 달성
AI_LS_D830 / 30
00목표 달성
Human_LS_D830 / 30
00목표 달성
AI_LS_D1231 / 30
00목표 달성
Human_LS_D1231 / 30
00목표 달성
합계247 / 240
00

완료 수는 DB에서 30라운드를 모두 마친 실제 인원(같은 조건의 모든 프로젝트 + 기존 앱 완료자 합산). 목표 30 = 25 + 예비 5. 30을 넘는 숫자는 마감 시점에 진행 중이던 사람이 끝까지 완료한 것입니다. "더 필요" = 목표 − 완료. "진행 중"은 지금 과제를 하는 사람 수이고, Connect 프로젝트의 남은 자리는 "더 필요" 만큼 열려 있습니다(자리는 완료 수 기준으로 만들어 두었음).

MTurk 조건별 진행 (5개 모집 단위)

조건완료 / 목표달성률진행 중상태
AI_AO16 / 25
0모집 중
Human_AO10 / 25
0모집 중
AI_LS_D46 / 25
0모집 중
Human_LS_D414 / 25
0모집 중
AI_LS_D816 / 25
0모집 중
합계62 / 125
0

배치 5개, 각 25명, $2 + 보너스. 9월 5일 00:57 KST 만료. 나머지 3개 조건은 AWS 월 한도 초과로 게시하지 못해 Connect로 대체.