생성형 AI와 사람이 함께 메타분석을 해내는 이야기입니다. 연구의 배경과 목적, 그리고 방법론을 쉬운 그림과 글로 풀었습니다.
세상에는 같은 물음을 놓고 저마다 다르게 답한 연구들이 많다. 어떤 연구는 크게 도움이 된다고 하고, 어떤 연구는 별 차이가 없다고 한다. 이 낱낱의 점들을 이어 하나의 그림으로 만드는 작업이 바로 지금부터 이야기할 여정
여러 사람이 저마다 다른 방법으로 같은 질문에 답을 구했다고 하자. 한 사람의 답만 놓고 보면 우연이나 착오가 섞여 있을 수 있다. 메타분석은 이렇게 흩어진 여러 연구의 결과를 한데 모아, 저울질하고 다시 계산하여 더 믿을 만한 하나의 결론으로 다듬어내는 작업
문제는 이 작업이 결코 만만치 않다는 데 있다. 수백 편의 논문 가운데 쓸 것을 가려내고, 필요한 숫자를 하나하나 꺼내 정리하는 데만 여러 달이 걸리기도 한다. 사람이 하는 일이다 보니 지치기 마련이고, 같은 자료를 두고도 판단이 조금씩 엇갈리는 흔한 일
최근 생성형 AI가 이 지친 작업을 거들기 시작했다. 논문을 훑어보고 필요한 숫자를 뽑아내는 일을 AI에게 맡기는 시도가 부쩍 늘었다. 다만 대부분은 메타분석의 한두 단계에서만 AI를 썼을 뿐, 처음부터 끝까지 사람과 AI가 함께 일하는 방식을 온전히 그려낸 사례는 드물었다.
이 연구는 사람과 AI의 협업 방식을 시험해 볼 무대로 디지털 미술치료를 골랐다. 화상 상담, 온라인 플랫폼, 가상현실처럼 기술을 쓰는 방식이 저마다 다르고, 우울감이나 스트레스처럼 재는 마음의 잣대도 연구마다 제각각이기 때문이다. 다루기 쉬운 분야가 아니라, 오히려 까다로운 분야를 골라 협업 절차의 실력을 제대로 시험해 보고자 한 선택
이 연구는 메타분석의 첫 걸음인 논문 모으기부터 마지막 걸음인 결과 해석까지, 전 과정에 걸쳐 사람과 AI가 함께 일하는 절차를 설계하였다. 그리고 그 절차를 실제 디지털 미술치료 논문에 적용하여, 정말로 잘 작동하는지 직접 확인하였다. 요컨대 이론이 아니라, 실제로 돌려본 결과로 말하는 연구
사람과 AI가 함께 일하는 원리를 하나로 세울 수 있을까. 그 원리를 실제 논문에 적용했을 때, 사람의 판단과 AI의 답이 서로 맞아떨어지는 모습을 확인할 수 있을까. 그리고 그 과정에서 쌓인 노하우를, 다음에 다른 연구자가 그대로 가져다 쓸 수 있는 형태로 남길 수 있을까. 이 연구는 이 세 가지 물음에서 출발한다.
이 연구를 관통하는 단 하나의 원리는 이렇다. 사람 연구자가 먼저 정답을 정해 두고, AI에게도 같은 문제를 풀게 한 뒤, 둘의 답을 하나하나 맞대어 본다. 답이 다르면 왜 다른지 따져보고, AI에게 주는 지시문을 그만큼 고쳐 다시 풀게 한다. 이 되풀이를 사람의 답과 AI의 답이 완전히 같아질 때까지 이어가는 것, 이것이 이 연구가 이름 붙인 '인간 기준 기반 AI 수렴'
이 원리는 논문을 모으는 첫 걸음부터 통계를 풀어 결론을 내리는 마지막 걸음까지, 모두 여섯 걸음에 걸쳐 똑같이 적용된다. 논문을 모으고, 관련 있는 것만 거르고, 메타분석에 맞는지 고르고, 더 깐깐한 기준으로 다시 살피고, 필요한 숫자를 뽑아 통일된 형식으로 바꾸고, 마지막으로 통계를 계산하고 그 의미를 풀어내는 여섯 걸음
189편의 논문에서 시작해 사람과 AI가 함께 걸러낸 끝에 13편이 남았고, 여섯 걸음 모두에서 사람의 판단과 AI의 답이 끝내 일치하는 지점에 이르렀다. 다만 이 일치는 지시문을 다듬는 데 쓰인 바로 그 논문들 안에서 확인된 결과이며, 처음 보는 논문에도 똑같이 잘 들어맞을지는 앞으로 더 지켜보아야 할 몫
여섯 단계 파이프라인, 논문 원문, 자세한 데이터 추출 가이드는
연구실 구성원 페이지에서 이어 보실 수 있습니다.