병원 수술명 전체에 코드를 먼저 매칭하고, 여러 대규모 언어모델(Large Language Model)을 배심원으로 두어 자리마다 확실한 근거와 불확실한 사유를 태깅합니다. 이 1차 분류를 의사 전문가가 검토하고, 그 결과로 코드를 한 자리씩 정하는 계층형 분류 모델을 만듭니다.
여덟 개 모델 비교에서 복강경 담낭절제술 하나에 여덟 개의 서로 다른 코드가 나왔고, 모두 확신도 5점이었습니다. 모델의 자기 확신은 신호가 되지 못합니다. 그래서 확실성은 배심원 간 일치와 규칙 검사로만 정합니다.
계층형 모델이 코드를 한 자리씩 정하므로, 등급도 몇째 자리까지 믿을 수 있는지로 매깁니다.
자유 서술로 받으면 20만 건을 집계할 수 없습니다. 태그마다 어느 자리에 관한 것인지가 정해져 있어 그대로 계층형 모델의 특징이 됩니다.
| 태그 | 자리 | 뜻 |
|---|---|---|
| C1 | 2·3·4 | 코드표 설명과 직접 대응 |
| C2 | 2 | 어근이 계통을 결정 |
| C3 | 3 | 절제 범위가 명시됨 |
| C4 | 5 | 접근 경로가 명시됨 |
| C5 | 4 | 좌우가 명시됨 |
| C6 | 6·7 | 장치·한정 없음이 명백 |
| C7 | 1 | 의료·외과 부문 |
| U01 | 2·3·4 | 약어를 해석할 수 없음 |
| U02 | 4 | 좌우 미기재 |
| U03 | 3 | 절제 범위 미기재 |
| U04 | 5 | 접근 경로 미기재 |
| U05 | 6 | 장치·이식편 미기재 |
| U06 | 4 | 척추 분절·절단 높이 미기재 |
| U07 | 2·4 | 조직 종류가 모호함 |
| U08 | 2·4 | 부위 자체가 미기재 |
| U09 | 3 | 술기 해석이 갈림 |
| U10 | 전체 | 코드표에 대응 항목 없음 |
| S1~S4 | 범위 | 수술 개수, 시행 여부 불명확, 동반 시술 규약 |
| A1~A6 | 자동 | 배심원 일치·불일치, 코드표 밖 코드, 수술 개수 불일치, 어근 사전과 불일치 |
배심원 판정은 기록 단위가 아니라 고유 수술명 단위로 합니다.
빈도 층을 똑같이 둔 이유가 있습니다. 한 번만 나온 수술명이 전체 기록의 27.8%이므로, 빈발 수술명만으로 평가하면 성능이 부풀려집니다. 각 층 안에서는 해부학적 계통 비율을 유지하였으며, 32개 계통 층이 모두 들어 있습니다.
배심원 세 명(Gemini 2.5 Flash, Claude Haiku 4.5, GPT-4o-mini)의 판정을 전문가 세 분의 판정과 대조하였습니다. 세 배심원 모두 6건 전부 형식을 지켰습니다.
| 수술 | 배심원 주 코드 | 전문가 3인 | 등급 | 무엇이 드러났는가 |
|---|---|---|---|---|
| 재발 간세포암 종양절제술 | 0FB00ZZ ×2, 0FB04ZZ | 0FB00ZZ ×3 | B | 접근 경로 미기재(U04)와 좌우 미기재(U02)를 배심원 둘이 지적하였고, 실제로 5번째 자리에서 갈렸습니다. |
| 하르트만 수술 | 0DTN0ZZ ×3 | 0DTN0ZZ ×2, 0DBN0ZZ | B | 코드는 셋이 같았으나 수술 개수 판단이 갈려(A5) 확실 등급에서 내려갔습니다. |
| 홀뮴레이저 전립선적출술 | 0VB08ZZ ×2, 0VB04ZZ | 0VB08ZZ ×2, 0VT04ZZ | B | 접근 경로에서 갈렸습니다. 다수 답이 사람 다수 답과 같습니다. |
| 흉강경 폐 쐐기절제 | 0BBF4ZZ, 0BTF4ZZ, 0BJ08ZZ | 0BBF4ZZ ×3 | C | 3번째 자리(술기)에서 Excision과 Resection이 갈렸습니다. 가장 흔한 쟁점 그대로입니다. |
| 관절경 회전근개 봉합 | 근육 계통 ×3 | 힘줄 계통 ×2, 근육 ×1 | D | 배심원 셋이 모두 근육으로 틀렸습니다. 어근 사전(힘줄)과의 교차 검사(A6)가 잡아냈습니다. |
| 복식 자궁적출술 + 양측 난소난관절제 | 0UT90ZZ ×3 | 코드 개수 1~3개로 갈림 | B | 주 코드는 모두 같았고, 동반 시술을 몇 개 코딩할지가 갈렸습니다(A5). |
같은 회사의 모델은 같은 방향으로 틀리기 쉽습니다. 독립성을 위해 제조사를 나누고, 의료 특화 모델과 한국어 특화 모델을 함께 둡니다.