왜 이렇게 설계했는가 — 자극 설계와 ARIMA 일반화

먼저, 우리가 만들어야 했던 장면

참가자가 "이 조언자는 계속 틀리는구나"라고 느끼는 순간.

이 연구의 종속변수는 "오류가 지속될 때 신뢰가 어떻게 되는가"입니다. 그러니 실험은 참가자에게 지속되는 오류를 실제로 보여줘야 합니다. 한 번 틀리고 마는 걸 보여주면 다른 연구가 됩니다.

그 장면을 만들려면 네 가지가 동시에 성립해야 합니다.

필요한 것	안 되면 어떻게 되나
① 충격이 사라지지 않아야 한다	일시적이면 조언자가 한 번만 틀림 → 지속 없음
② 조언자가 즉시 못 따라가야 한다	바로 적응하면 오차가 한 번으로 끝남 → 볼 게 없음
③ 오차가 같은 방향으로 반복돼야 한다	부호가 왔다갔다하면 "일관되게 틀림"이 아니라 "흔들림"으로 지각됨
④ 결국은 다시 정확해져야 한다	계속 틀리면 회복을 관찰할 수 없음

자극 설계의 모든 선택은 이 네 가지를 만족시키기 위한 것입니다. 아래에서 하나씩 봅니다.

왜 그냥 큰 오차를 주면 안 되는가

주가에 아주 큰 변동을 한 번 주면 될 것 같지만, 안 됩니다.

우리 주가 계열은 자기 나름의 변동 방식을 갖고 있습니다. 그리고 그 방식에서는 큰 변동이 와도 대부분 되돌아옵니다. 정확히 말하면 30%만 남고 70%는 사라집니다.

그러니 아무리 큰 변동을 줘도 그건 "평소보다 큰 흔들림"일 뿐 "세상이 바뀐 것"이 아닙니다. 조언자도 곧 원래 자리로 돌아올 걸 알기 때문에 몇 번씩 틀리지 않습니다.

그래서 구조가 다른 충격을 넣습니다

계열이 원래 갖고 있던 변동 방식과 다른 성질의 충격 — 100% 그대로 남는 수준 이동 — 을 따로 주입합니다.

이것이 "구조가 다른 충격이 기존 구조 위에 겹쳐진다"는 말의 정확한 뜻입니다. 같은 종류의 충격을 크게 주는 것과, 다른 종류의 충격을 주는 것은 질적으로 다릅니다.

자세히 — 30%만 남는다는 게 무슨 뜻인가

계열이 ARIMA(0,1,1), θ = 0.7로 생성됩니다. 이때 이 과정 자체의 무작위 변동 하나가 장기적으로 수준에 남기는 몫은

(1 − θ) ÷ (1 − φ) = (1 − 0.7) ÷ (1 − 0) = 0.3

즉 계열이 스스로 만들어내는 충격은 70%가 되돌아갑니다. 크기를 열 배로 키워도 비율은 같습니다 — 열 배 크게 튀었다가 열 배 크게 되돌아올 뿐입니다.

반면 우리가 주입하는 수준 이동(LS)은 Y_t ← Y_t + ω를 t ≥ 77에 그대로 더하는 것이라 잔존율이 1.0입니다. 되돌아오는 부분이 없습니다.

이 잔존율 차이가 "평소의 큰 변동"과 "구조변화"를 가르는 기준입니다. 사람도 알고리즘도, 되돌아올 것과 안 돌아올 것을 구분해야 하는데 그 구분이 바로 이 값입니다.

같은 크기의 충격이 계수 조합에 따라 전혀 다른 잔존량을 남기는 모습 — 같은 크기의 충격이라도 **얼마나 남느냐**가 전혀 다릅니다. 파란 선은 30%만 남고, 회색 선은 100% 남습니다. **우리 실험의 영구 충격은 회색 선**입니다.

왜 조언자는 세 번 틀리고 멈추는가

조언자를 일부러 나쁘게 만든 것이 아닙니다. 정보 제약을 넣은 것입니다.

조언자는 매 순간 그 시점에서 가능한 최선의 예측을 냅니다. 다만 수준이 바뀌었다는 사실을 즉시 알 수는 없습니다. 한 번 크게 빗나간 것만으로는 우연과 구분되지 않으니까요.

그래서 두 번 연속 틀린 것을 확인한 뒤 수준 이동을 반영합니다. 결과적으로 오차는 라운드 17·18·19 세 번이고, 라운드 20부터 다시 정확합니다.

1장의 네 조건이 여기서 모두 충족됩니다 — 충격이 남고(①), 조언자가 즉시 못 따라가고(②), 오차가 같은 방향으로 반복되고(③), 결국 다시 정확해집니다(④).

그래서 신뢰 하락을 19라운드부터 셉니다

조언자가 구조변화를 알아채는 데 두 번의 오차가 필요했다면, 참가자도 똑같이 필요합니다. 17의 첫 오차는 우연과 구분되지 않고, 18에서 두 번째를 본 뒤에야 "체계적"이라는 판단이 섭니다. 그래서 조언을 버리기 시작하는 첫 라운드는 19입니다.

이건 데이터를 보고 고른 시점이 아니라 설계에 이미 들어 있던 규칙에서 나오는 시점입니다. 심사자 1의 "사후적 선택 아니냐"는 지적에 대한 답이 여기에 있습니다.

자세히 — 보정이 없었다면 어떻게 됐을까

조언자가 보정 없이 습관대로만 예측한다면, 오차는 사라지지 않고 서서히 감쇠합니다.

e_k = M × (θ₀ − φ₀) × θ₀^k−1

θ₀ = 0.7이면 0.70 → 0.49 → 0.34 → 0.24 → 0.17로 네 기간 넘게 남습니다.

우리 실험은 이 경우가 아닙니다. 명시적 보정 규칙을 넣었기 때문에 세 라운드로 끝납니다. 다만 이 계산은 왜 보정 규칙이 필요한지를 보여줍니다 — 보정이 없으면 오차가 회복 구간까지 끌고 들어와, "침식"과 "회복"을 구분할 수 없게 됩니다.

보정이 없을 때 조언자의 예측이 뒤늦게 따라잡는 모습 — 보정이 없는 경우의 그림입니다. 흰 점선이 실제 수준, 색선이 조언자 예측. 범례의 `φ₀, θ₀`는 **조언자 모형**의 계수로, 위 잔존율의 `φ, θ`(자료생성 계수)와는 다른 모수입니다.

왜 두 충격의 크기가 다른가

일시적 충격 20, 영구적 충격 10. 심사자 1이 이유를 물었습니다.

일시적 충격은 조언자를 한 번만 틀리게 합니다. 영구적 충격은 세 번 틀리게 합니다. 두 조건에 같은 숫자를 주면 참가자가 겪는 오류의 총량이 세 배 차이 납니다.

그러면 우리가 비교하는 것이 "지속되느냐"가 아니라 "얼마나 많이 틀렸느냐"가 되어버립니다. 두 가지가 한꺼번에 달라지면 무엇 때문에 차이가 났는지 말할 수 없습니다. 맞춰야 하는 것은 충격의 크기가 아니라 오차의 총량입니다.

그래서 한 번짜리에 더 큰 값을 줘서 총량을 맞췄습니다. 영구 충격은 10 + 7 + 4.9 = 21.9, 일시 충격은 20 — 거의 같습니다. ω = 20은 θ = 0.7에서 도출되는 값이지 임의의 선택이 아닙니다.

그리고 이 비대칭이 결과적으로 논지를 강화합니다

일시적 충격은 두 배나 큰 충격이었습니다. 그런데도 침식을 거의 일으키지 못했습니다(A3에서 −0.002). 더 크게 때렸는데도 한 번뿐이면 용서받고, 절반 크기여도 계속되면 신뢰를 잃습니다. "크기가 아니라 지속이 문제"라는 주장의 가장 강한 증거입니다.

심사자가 말한 "다른 ARIMA 모형"은 무엇을 바꾸는가

여기가 이 문서의 핵심입니다. 무엇이 바뀌고 무엇이 안 바뀌는지를 정확히 구분해야 다음 행동이 정해집니다.

바뀌는 것 — 배경

계열이 평소에 어떻게 출렁이는지, 그 출렁임이 얼마나 오래 이어지는지가 달라집니다. 그러면 충격이 배경 대비 얼마나 도드라져 보이는지도 달라집니다.

바뀌지 않는 것 — 조작

수준 이동은 여전히 100% 남고, 조언자는 여전히 두 번 틀린 뒤 보정하며, 오차는 여전히 세 라운드입니다. 처치 자체는 그대로입니다.

그래서 이 요구는 받아들일 수 있습니다

다른 사양으로 바꾸는 것은 실험을 다시 설계하는 일이 아니라 다른 환경에서 같은 실험을 반복하는 일입니다. 설계를 건드리지 않으므로, 결과가 재현되면 그대로 일반화 근거가 됩니다.

심사자에게 "안 됩니다"라고 답할 이유가 없습니다. "어떤 사양으로, 왜 그것으로"만 정하면 됩니다.

자세히 — 그런데 아무 사양이나 되는 건 아닙니다

사양을 바꿀 때 지켜야 할 선이 있습니다. 충격이 배경에 묻히면 안 됩니다.

배경 변동성이 커지면 참가자 눈에 수준 이동이 "그냥 또 한 번 출렁였네"로 보입니다. 그러면 조작이 약해지고, 결과가 안 나와도 그게 "일반화 실패"인지 "충격이 안 보인 것"인지 구분할 수 없습니다.

그래서 사양을 고를 때 충격 크기 대 배경 변동성의 비(M/σ)를 계산해 두 사양에서 비슷하게 맞춰야 합니다. 이 값을 논문에 적어두면 "왜 이 크기의 충격인가"라는 질문까지 함께 막을 수 있습니다.

또 하나 — 조언자의 보정 규칙(두 번 오차 후 반영)은 그대로 유지해야 합니다. 이걸 바꾸면 처치가 달라져 Study 1과 비교할 수 없게 됩니다.

자세히 — 그런데 사양을 정말 "다르게" 만들 수 있나 (상쇄 문제)

계열의 모양은 두 개의 힘이 정합니다.

밀어주는 힘 (AR, φ) — 이번에 올라간 만큼 다음에도 밀어 올립니다. 관성입니다.
되돌리는 힘 (MA, θ) — 이번 충격의 일부를 다음에 되돌립니다. 반작용입니다.

중요한 건 이 둘이 서로 상쇄된다는 점입니다. 크기가 같으면 정확히 지워집니다.

잔존율 = (1 − θ) ÷ (1 − φ) → φ = θ 이면 항상 1.0

그래서 φ = θ = 0.7과 φ = θ = 0은 완전히 같은 계열을 만듭니다. 숫자만 복잡해질 뿐 아무것도 달라지지 않습니다.

여기서 실무적 교훈 — "다른 ARIMA 모형을 썼다"고 말하려면 계수를 아무렇게나 바꾸면 안 되고, 잔존율이 실제로 달라지는 조합을 골라야 합니다. 그러지 않으면 심사자가 계산해보고 "이건 같은 모형이잖아요"라고 되돌려줄 수 있습니다.

자세히 — 사양별로 조작이 성립하는 영역

보정 규칙 없이 조언자가 습관 모형만 유지한다고 가정하면, 오차가 몇 기간 눈에 띄게 남는지를 계수 조합별로 그릴 수 있습니다.

조언자 계수 조합별 오차 지속 기간 지도 — 점선 대각선 아래(θ₀ ≤ φ₀)에서는 오차가 소멸하거나 부호가 뒤집혀 **1장의 조건 ③**(같은 방향으로 반복)이 깨집니다. 이 영역은 피해야 합니다.

우리 설계는 보정 규칙으로 오차를 세 라운드에 고정하므로 이 지도에 직접 얽매이지는 않습니다. 다만 Study 2에서 사양을 고를 때 이 지도가 안전한 영역을 알려줍니다.

그래서 Study 2는 무엇을 바꾸면 되는가

지금까지의 정리를 그대로 설계로 옮기면 이렇게 됩니다.

요소	Study 1	Study 2	이유
조건 구조	2 × 2	그대로 2 × 2	H1 귀무를 다시 검정하려면 조언자 요인이 있어야 함
계열 실현값	1개	씨드 4개, 셀 내 무선 배정	자극을 무선효과로 모형화 가능
자료생성 사양	ARIMA(0,1,1)	+ 사양 하나 추가	심사자 2의 "다른 모형" 요구
조언자 보정 규칙	두 번 오차 후	그대로	바꾸면 처치가 달라져 비교 불가
충격 잔존율	1.0	그대로 1.0	구조변화의 정의 자체
표본	120	160~200	사전 검정력 분석으로 결정
사전등록	없음	OSF 등록	심사자 1의 개방과학 요구

하나의 설계로 세 지적이 동시에 풀립니다

심사자 2 — 다른 노이즈, 다른 사양 요구 충족
심사자 1 — 검정력 확보로 귀무 주장 가능
심사자 1 — 사전등록으로 연구자 자유도 문제 해소

투명성 조작·명시적 신뢰 척도·No-Shock 기저선은 아무도 요구하지 않았습니다. 얹으면 셀이 늘고 새 질문거리만 생깁니다. 후속 논문으로 분리하는 것이 안전합니다.

한 걸음 더 — 지속 기간을 '용량'으로 만들면

지금 논문은 지속을 있다 / 없다로만 봅니다. 이걸 얼마나로 바꾸면 연구의 급이 달라집니다.

Study 1은 일시 충격(오차 한 번)과 영구 충격(오차 세 번)을 비교했습니다. 결과는 "영구가 더 심하다"입니다. 여기에 4기간 · 8기간 · 12기간처럼 여러 수준을 두면 "오차가 오래 갈수록 신뢰가 비례해서 무너지는가, 아니면 어느 지점을 넘으면 급격히 무너지는가"를 물을 수 있습니다. 약으로 치면 용량-반응 곡선을 그리는 셈입니다.

여기에 함정이 하나 있습니다

보정 시점만 늦춘다고 오차가 오래 가지 않습니다.

우리 조언자는 매 기 오차의 30%씩 따라잡습니다. 그래서 보정을 안 해도 오차가 저절로 줄어듭니다 — 10 → 7 → 4.9 → 3.4 → 2.4 → 1.7 → 1.2 → 0.8. 8기쯤 되면 이미 배경 잡음에 묻힙니다. "12기간 동안 틀렸다"고 해도 참가자 눈에는 서너 번만 틀린 것으로 보입니다.

그러니 지속 기간을 늘리려면 조언자가 더 천천히 따라잡게 만들어야 합니다.

그래서 조작해야 하는 것은 조언자의 적응 속도입니다

조언자가 매 기 오차의 몇 %를 따라잡는지를 바꿉니다. 실무에서 지수평활을 쓸 때 늘 정하는 값이라 자연스럽습니다.

조건	매 기 따라잡는 비율	θ₀	오차가 20% 아래로 떨어지는 데	말로 하면
빠른 적응	30%	0.70	4기간	Study 1과 동일
보통	17%	0.83	8기간	두 배 오래
느린 적응	12%	0.88	12기간	세 배 오래

세 값 모두 실무에서 흔히 쓰는 범위 안에 있습니다. 그리고 각 조건의 마지막에는 똑같이 보정을 넣어, 그 뒤로는 조언자가 정확해지도록 합니다 — 회복을 깨끗하게 관찰하기 위해서입니다.

이 설계가 답하는 것

심사자 2 — "기여가 충분한가" → 이진 비교가 용량-반응 관계로 바뀝니다. 새 발견이 생깁니다.
심사자 1 (Major 1·2) — "빨리 적응하는 알고리즘과 느린 알고리즘의 차이는?" → 이것이 바로 그 질문의 답입니다.
심사자 2 — 노이즈·모형 일반화 → 씨드 4개를 얹으면 함께 해결됩니다.
심사자 1 — 검정력·사전등록 → 새로 모집하므로 둘 다 충족됩니다.

자세히 — 라운드 수와 표본 크기

라운드가 더 필요합니다. 12기간 조건에서 충격이 라운드 17이면 오차가 28라운드까지 이어지고, 회복을 볼 구간이 두 라운드밖에 남지 않습니다. 충격을 라운드 11로 당기고 전체를 40라운드로 늘리면 12기간 조건도 회복 구간을 17라운드 확보합니다. 심사자 2가 "회복 구간이 짧다"고 한 지적도 함께 해결됩니다.

표본. 3(지속) × 2(조언자) = 6개 조건. 셀당 50명이면 300명입니다. Study 1의 핵심 효과(−0.111, 클러스터 SE 0.038)를 기준으로 사전 검정력 분석을 돌려 확정해야 합니다.

세션이 길어집니다. 30라운드에 40분이었으니 40라운드면 50분 안팎. 보상을 그에 맞춰 올려야 합니다.

자세히 — 일시 충격을 '지속 1기간'으로 넣으면

수준을 1 · 4 · 8 · 12로 두면, 일시 충격(AO)이 지속 1기간 조건과 같아집니다.

그러면 Study 1에서 별개의 두 조건이었던 AO와 LS가 하나의 연속선 위 두 점이 됩니다. "충격의 종류가 다르다"가 아니라 "같은 것의 정도가 다르다"는 더 강한 주장이 가능해집니다.

다만 조건이 8개(4×2)로 늘어 표본이 400명 규모가 됩니다. 마감을 감안하면 이번엔 3수준으로 가고 이 확장은 다음 논문으로 남기는 편이 안전합니다.

그런데 이번에 꼭 해야 하나요

심사자가 요구한 것만 보면 필요 없습니다. 요구는 (1) 다른 노이즈·모형, (2) 검정력, (3) 사전등록이고, Study 1을 그대로 복제하면서 씨드만 늘려도 셋 다 충족됩니다. 그쪽이 3주 안에 확실히 끝납니다.

다만 심사자 2가 "기여가 충분한지 모르겠다"고 했습니다. 단순 복제는 그 판단을 바꾸지 못합니다. 용량-반응 설계는 새 발견을 하나 만들어냅니다. 대신 표본이 두 배가 되고 라운드도 길어집니다.

즉 "확실히 끝내기" 대 "확실히 통과시키기"의 선택입니다. 마감 연장이 가능하다면 후자를 권합니다.

응답서에는 이렇게 쓰면 됩니다

심사자 2의 주된 지적에 대한 답변 뼈대입니다. 순서가 중요합니다 — 인정 → 설명 → 대안.

① 서술이 모호했음을 인정한다

"모든 참가자가 같은 시계열을 봤다"가 동일 실현값인지 동일 생성방식인지 구분되지 않았습니다. 동일 실현값이며, 그렇게 다시 썼습니다.

② 왜 그렇게 했는지 설명한다

참가자마다 실현값을 바꾸면 조언자가 연달아 틀리는 횟수가 사람마다 달라져 처치 강도 자체가 흔들립니다. 동일 실현값은 임의의 선택이 아니라 오류 지속성을 상수로 유지하기 위한 설계 요건이었습니다.

③ 무엇이 제약되는지 정확히 말한다

모든 조건이 같은 계열을 공유하므로 조건 간 대비는 교란되지 않습니다. 제약되는 것은 일반화이며, 이에 따라 본문의 무조건적 명제를 조건부로 수정했습니다.

④ 대안을 제시한다

일반화는 자극을 무작위화해서가 아니라 복제해서 얻어집니다. Study 2에서 고정 계열 4개를 배정해 자극을 무선효과로 모형화하고, 사양 하나를 추가합니다.

이 문서의 5장 전체가 응답서 부록으로 그대로 들어갈 수 있습니다. 심사자가 "다른 ARIMA 모형"이라고 했을 때 우리가 그것을 정확히 이해했음을 보이는 것이, 요구를 얼마나 충족했는지보다 더 크게 작용할 때가 많습니다.