운영 중인 임상 AI 노트 847개 들여다보기 — Sebastian Fox(Composo)

URL: https://www.youtube.com/watch?v=yqF6XhzbWBk 요청된 URL: https://www.youtube.com/watch?v=yF6XhzbWBk (YouTube ID가 10자리로 잘려 있어 실제 영상 ID yqF6XhzbWBk로 교정) 날짜: 2026-08-25 채널: aiDotEngineer (AI Engineer) 원문 제목: Inside 847 Production Clinical AI Notes — Sebastian Fox, Composo

---

번역·작성 메타데이터

• 번역 언어: 영어 → 한국어
• 작성 방식: 전체 영어 전사문을 시간순으로 검토하고, 임상 맥락과 기술 용어를 보존해 4계층으로 재구성
• 자막 처리: 요청 ID가 잘린 값이라 실제 ID를 확인한 뒤 처리했으며, 해당 영상의 자동 자막 요청은 YouTube HTTP 429로 차단되어 전사 원문과 Composo 사례 자료를 교차 대조
• 핵심 인물: Sebastian Fox, 의사 출신이며 Composo에서 고위험 영역(High-stakes domain) AI 평가 시스템을 구축
• 주제: 임상용 앰비언트 스크라이브(Ambient Scribe)의 본番 오류, LLM-as-a-judge 평가의 한계, 전문가 판단을 지속적으로 반영하는 평가 루프

📌 핵심 질문 / 핵심 논점

==임상 AI의 가장 위험한 오류는 문장이 노골적으로 틀린 경우가 아니라, 완벽하게 그럴듯한 기록에서 중요한 사실·의도·맥락이 조용히 사라지는 경우다.==

• 실제 환자 기록 20건 중 약 1건에서 중대한 위해 가능성이 있는 오류가 발견된다.
• 전체 오류를 넓혀 보면 거의 5건 중 1건에 중요한 누락(omission)이 있고, 10건 중 1건 이상에 환각(hallucination)이 있다.
• 정교한 rubric 기반 LLM 평가기는 전사와 노트의 차이는 찾을 수 있어도, 그 차이 중 무엇이 임상적으로 중요한지 판단하는 전문가의 암묵적·맥락적·변화하는 지식은 충분히 갖지 못한다.
• 해결책은 생성기를 완벽하게 만들려는 시도가 아니라, 실제 운영 출력에서 실패 모드를 발견하고(Discover), 전문가의 수정과 추론을 기록하며(Capture), 각 출력에 관련 과거 판단과 지침을 검색해 맞춤형 기준으로 보정하는(Calibrate) 반복 루프다.

Sebastian Fox는 의료 현장에서 AI 노트가 환자 안전을 위협하는 방식을 보여 주며, 고위험 AI의 품질 기준은 사전에 한 번 작성해 고정하는 문서가 아니라 실제 출력과 전문가 판단을 통해 계속 발견·갱신되는 운영 시스템이어야 한다고 주장한다.

1. 완벽해 보이는 임상 노트가 환자에게 가장 위험할 수 있다

그럴듯하고 기술적으로 틀리지 않은 문장이 핵심 위험 신호를 삭제하면, 의료진은 오류를 발견하지 못한 채 잘못된 후속 조치를 취할 수 있다.

1.1. 50세 이상 환자의 두통과 턱 통증이 사라진 사례 (0:12–0:48)

1. 표면상 무해한 노트

   1. 실제 진료에서 AI가 작성한 노트는 “새로 생긴 두통, 긴장형 두통 가능성이 높으므로 파라세타몰을 복용하고 가라앉지 않으면 재방문하라”는 내용이었다.
   2. 문장 자체는 자연스럽고, 진단·약물·재방문 안내 어느 것도 표면적으로 틀리지 않았다.

2. 사라진 한 문장이 진단을 바꾼다

   1. 환자는 진료실에서 씹을 때 턱이 아프다고도 말했다.
   2. 50세 이상 환자의 새 두통과 씹을 때 발생하는 턱 통증은 거대세포동맥염(Giant Cell Arteritis)을 의심하게 하는 조합이다.
   3. 거대세포동맥염을 치료하지 않으면 며칠 안에 시력을 잃을 수 있으므로, 당일 즉시 스테로이드를 시작하고 응급 대응해야 한다.

3. 오류의 본질은 거짓말이 아니라 부재다

   1. 턱 통증 한 줄이 노트에 들어오지 않으면서, 기록은 긴장형 두통과 파라세타몰 처방으로 축소됐다.
   2. 노트에 적힌 내용만 검사하면 기술적으로 틀린 문장이 없다.
   3. 실제 위해를 만드는 요소는 잘못 적힌 문장이 아니라 반드시 있어야 할 정보가 빠졌다는 사실이다.

1.2. 눈에 띄는 환각보다 조용한 오류가 더 오래 남는다 (1:19–2:23)

1. 20대 남성의 편도염이 여러 질환으로 바뀐 사례

   1. 20대 남성이 인후통과 편도염 때문에 일반의(GP)를 방문했다.
   2. AI는 진료 내용을 흉통, 협심증 의심, 환자가 한 번도 복용한 적 없는 당뇨병 약으로 바꿔 적었다.
   3. 존재하지 않는 병원의 주소까지 만들어 냈고, Fox는 병원 이름을 그럴듯하게 만들려 한 시도 자체는 “좋은 병원명 시도”라고 비꼬았다.
   4. 몇 주 뒤 환자는 실제로 당뇨병이 없는데도 당뇨병 안과 검진에 초대됐다.

2. 발견되는 오류와 기록에 잔류하는 오류

   1. 흉통·협심증·가짜 병원 주소처럼 황당한 오류는 누군가 눈치챌 가능성이 높다.
   2. 아무도 지적하지 않는 조용한 누락과 의도 변경은 전자의무기록에 계속 남아 후속 진료를 오염시킨다.
   3. 자연스러운 문체와 완성도 높은 형식은 이 조용한 오류를 더 오래 보이지 않게 만든다.

2. 847개 본番 노트가 드러낸 규모와 오류 지형

임상 앰비언트 스크라이브는 이미 대규모로 배포됐지만, 오류가 환자 안전 사건으로 집계되지 않아 실제 영향은 사실상 보이지 않는다.

2.1. 실제 운영에서 확인된 오류율 (1:50–2:55)

1. 중대한 위해 가능성

   1. 가장 큰 규모의 실제 임상 노트 연구에서 약 20건 중 1건(약 5%)에 환자에게 상당한 위해를 줄 수 있는 오류가 있었다.
   2. 이는 합성 테스트나 이론적 벤치마크가 아니라 실제 환자에게 사용된 본番(production) 기록에서 나온 수치다.

2. 중요 누락과 환각

   1. 중대한 오류만 세지 않고 범위를 모든 오류로 넓히면 거의 5건 중 1건(약 20%)에 중요한 정보 누락이 있었다.
   2. 10건 중 1건 이상(10% 초과)에는 환각이 있었다.
   3. Composo의 847개 노트 사례 분석은 14일간의 본番 출력에서 127개 실패를 찾았고, 그중 23개는 임상 결정을 직접 바꿀 수 있는 중증도 임계(severity-critical) 실패였다.
   4. 세부 사례에는 누락된 소견 34건, 약물 처방 항목 환각 19건, 스테로이드 용량·감량 오류 12건, 중증도 임계 사례 11건이 포함됐다.

3. 배포 속도와 추적 부재

   1. 앰비언트 스크라이브는 미국 진료실의 약 3분의 1에서 이미 사용되고 있으며 도입률이 계속 상승하고 있다.
   2. 의사의 AI 사용은 전년 대비 두 배가 됐다.
   3. 대부분의 시스템에는 유해 사건(adverse event) 보고 체계가 없고, 오류는 사건으로 집계되지 않은 채 기록에만 남는다.
   4. “문제가 없다고 확인한 것”이 아니라 “아무것도 모른 채 비행하는 것(flying blind)”이 현재 상태다.

2.2. 세 가지 상용 앰비언트 스크라이브의 실패 분포 (3:39–4:06)

1. 분석 대상과 시각화

   1. Fox는 시장에서 가장 우수하다고 알려진 본番 앰비언트 스크라이브 세 가지로 전주에 대량의 노트를 생성했다.
   2. 각 점은 발견된 하나의 오류이며, 색은 오류 유형을 나타낸다.
   3. 가로축은 오류가 임상적으로 얼마나 중요한지를, 세로축은 강력한 자동 검사기가 그 오류를 잡을 가능성을 나타낸다.

2. 오른쪽 아래가 핵심 위험 영역이다

   1. 위쪽에 있는 일부 오류는 강한 자동 검사에 걸린다.
   2. 그러나 대부분의 오류는 자동 검사 기준선 아래에 놓인다.
   3. 특히 오른쪽 아래, 즉 위해 가능성은 높지만 자동 검사에는 잡히지 않는 오류가 가장 중요하다.
   4. 이 분포는 “오류를 발견할 수 있는가”와 “그 오류가 중요한가”가 서로 다른 문제임을 보여 준다.

3. 오류는 전사 단계와 생성 단계에서 서로 다른 방식으로 생긴다

완벽한 전사라도 임상적 의도와 중요도를 보존하지 못하면 안전한 노트가 되지 않는다.

3.1. 전사(Transcription) 단계의 소리 유사어 오류 (5:07–6:14)

1. 소리를 잘못 듣는 오류

   1. 앰비언트 스크라이브는 먼저 대화를 전사하고 그다음 전사문에서 노트를 생성한다.
   2. Humalog를 Humulin으로 듣는 오류는 이름이 비슷한 두 인슐린을 뒤바꾼다.
   3. 두 약물은 투여 시간대가 완전히 다르므로 서로 바꾸면 환자의 혈당을 위험하게 무너뜨릴 수 있다.

2. 반대 개념으로 바뀌는 오류

   1. hyperthyroidism(갑상선기능항진증)이 hypothyroidism(갑상선기능저하증)으로 바뀌면 질환의 방향 자체가 반대가 된다.
   2. “암의 증거가 없음(no evidence of cancer)”에서 no가 빠져 “암의 증거(evidence of cancer)”로 바뀌면 부정이 긍정으로 전환된다.
   3. 이런 문제는 어렵고 흔하지만, Fox가 주로 다루려는 핵심은 전사가 완벽해도 계속 발생하는 오류다.

3.2. 완벽한 전사 뒤에도 남는 세 가지 생성 오류 (6:14–6:49)

1. 추가(Add)

   1. 실제 대화에 없던 내용을 모델이 임상 노트에 넣는다.
   2. 존재하지 않는 흉통, 협심증, 당뇨약, 병원 주소를 만든 사례가 여기에 해당한다.

2. 변경(Change)

   1. 환자가 말한 의미나 의사가 선택한 계획을 모델이 다른 의미나 계획으로 바꾼다.
   2. “잘 모르겠다, 그냥 그렇게 됐다”를 “갑자기 시작됐다(abrupt sudden onset)”로 기록한 사례가 대표적이다.

3. 누락(Omit)

   1. 실제 대화에 있었고 노트에 있어야 하는 정보가 사라진다.
   2. 턱 통증, 알레르기, 여행력 같은 정보가 임상적 맥락에 따라 핵심 단서가 될 수 있다.

4. 탐지의 진짜 난점

   1. 노골적인 추가·변경·누락은 쉽게 잡힌다.
   2. 어려운 문제는 추가·변경·누락이 실제로 중요한지 판별하는 일이다.
   3. 약간의 과잉 추론(over-inference)이 위험한 조작인지, 무해한 바꿔쓰기(rephrase)가 의미를 바꾼 편집인지 구분해야 한다.
   4. 잡담 한 줄의 누락과 치명적일 수 있는 알레르기 누락은 표면적 형태가 같아도 임상적 결과가 완전히 다르다.

3.3. 모델이 부족한 것은 사실 지식이 아니라 “무엇이 중요한가”에 대한 판단이다 (6:49–7:23)

1. 암묵적(Tacit)

   1. 도메인 전문가는 어떤 차이가 중요한지 알고 있지만 그 판단을 완전한 규칙으로 모두 적어 낼 수 없다.
   2. 전문가는 점수만이 아니라 왜 해당 문장을 위험하다고 봤는지 설명하는 판단을 갖고 있다.

2. 맥락적(Contextual)

   1. 같은 정보도 한 노트에서는 핵심이고 다른 노트에서는 잡음일 수 있다.
   2. 혈뇨 환자의 여행력처럼 단어의 존재보다 그 정보가 놓인 임상 맥락이 중요도를 결정한다.

3. 변화하는(Moving)

   1. 모델이 바뀌고, 임상 지침이 바뀌며, 훌륭한 의사 둘도 서로 다른 판단을 내릴 수 있다.
   2. 병원마다 중요 정보와 허용 가능한 기록의 정의가 다르다.
   3. 따라서 평가기가 읽을 수 있는 고정된 “정답 기준”을 한 번 작성하는 방식은 오래 유지되지 않는다.

4. 생성기를 완벽하게 만드는 대신 검증기를 별도로 설계한다

생성은 값싸고 복잡하지만, 오류 하나를 집중적으로 찾는 검사는 더 좁은 과업으로 설계할 수 있다.

4.1. 생성과 검증의 비대칭성 (7:23–8:35)

1. 생성기의 부담

   1. 생성기는 모든 정보를 정확히 담고 다양한 지시를 동시에 처리해야 한다.
   2. 모든 환자·질환·대화의 변이를 한 번에 고려해야 하므로 완벽하게 만들기 어렵다.

2. 검증기의 좁은 과업

   1. 생성기가 노트를 작성하도록 둔 뒤, 후단에 checker를 배치하고 기준을 통과한 출력만 전달한다.
   2. 검증기는 “이 노트에서 잘못된 한 가지가 무엇인가”를 찾아내는 일에 집중할 수 있다.
   3. 더 많은 시간과 토큰, 정확히 정의된 실패 모드를 검사기에 제공할 수 있다.

3. 검증의 비대칭성

   1. 수학 답안이나 코드에는 단위 테스트와 컴파일러가 있어 검증이 생성보다 쉽다.
   2. 임상 노트가 안전하고 완전한지 판단하는 문제에는 공짜 단위 테스트가 없다.
   3. “전사문과 노트가 다른가”를 찾는 쉬운 검증은 생성보다 쉽지만, “그 차이 중 무엇이 중요한가”를 판단하는 어려운 검증은 생성보다 더 어렵다.

4.2. 최고 수준의 rubric 기반 LLM-as-a-judge도 놓치는 오류 (8:35–10:17)

1. 전문가 인간이 gold standard다

   1. 임상 노트를 전문가가 직접 읽고 판단하는 방식이 품질의 기준점(gold standard)이다.
   2. 그러나 본番의 모든 노트를 사람이 읽을 수는 없으므로 자동화가 필요하다.

2. 강력한 평가 시스템의 구성

   1. 전사문, 생성 노트, 임상 맥락을 judge 모델 앞에 함께 제공한다.
   2. 충실성(faithfulness)을 평가하는 상세 rubric을 넣고, 통과(pass)·실패(fail) 예시를 함께 제공한다.
   3. rubric을 GPA/GEPA와 같은 자동 최적화 방식으로 다듬거나, 결정론적 NLP로 두 자료에서 달라진 의학 개념을 세는 구성도 가능하다.
   4. 이런 시스템은 강력해 보이지만, Fox는 실제 앰비언트 스크라이브 오류를 한 오후에 다수 추출했다.

3. 깨끗한 통과 뒤에 숨은 중대 오류

   1. 같은 노트를 강력한 judge에 넣자 judge는 소수만 플래그하고 나머지는 승인했다.
   2. 깨끗하게 통과한 출력 5건 중 1건에는 여전히 심각한 오류가 묻혀 있었다.
   3. 그 오류는 자주 누락이었으며, 있어야 할 정보가 조용히 사라진 유형이었다.
   4. 이 judge는 프런티어 모델이고 전문적인 엔지니어링으로 만들어졌지만, 단순히 똑똑하지 않아서 실패한 것이 아니다.

4.3. 충실성(faithfulness)과 의도(intent)는 다르다 (10:17–11:22)

1. 대화에 등장한 단어를 보존해도 의도를 배반할 수 있다

   1. 실제 상담에서 의사가 아목시실린(amoxicillin)을 언급했지만 최종 결정은 “일단 지켜보고(wait and see)”인 상황을 생각할 수 있다.
   2. 노트가 “아목시실린 500mg을 시작하라”고 적으면 아목시실린이라는 단어에 대해서는 충실하다.
   3. 그러나 환자에게 전달된 실제 의도와 결정은 항생제를 바로 시작하지 않는 것이므로, 노트는 의도에 관해 거짓말을 한다.

2. 평가기가 무엇을 플래그할지 모른다

   1. judge는 해당 불일치를 잡을 수도 있지만, 다른 여러 지적 후보 중 무엇을 우선해야 하는지는 임상적으로 무엇이 가장 중요한지 알아야 한다.
   2. 평가기가 중요도를 모르면 표면적 충실성을 안전성으로 착각한다.
   3. 그 결과 시스템 앞에 놓인 judge는 안전망이 아니라 첫 번째 실패에 고개를 끄덕이는 두 번째 조용한 실패가 된다.

3. 사전 rubric의 구조적 한계

   1. 사전에 명시한 rubric은 전문가가 글로 표현할 수 있었던 판단만 담는다.
   2. 실제로 중요한 판단은 표현하기 어려운 부분에 남아 있으므로 고정 rubric이 그 전체를 읽어 낼 수 없다.

5. 중요도는 동일한 누락의 모양이 아니라 임상 맥락이 결정한다

동일한 정보가 빠져도 한 사례에서는 잡음이고 다른 사례에서는 진단 그 자체가 될 수 있다.

5.1. 프랑스 여행과 말라위 호수 여행 (11:48–12:24)

1. 겉으로 같은 두 사례

   1. 두 환자 모두 소변에 피가 섞이는 혈뇨를 보였다.
   2. 두 노트 모두 환자가 휴가를 다녀왔다는 비슷한 문장을 빠뜨렸다.
   3. 영어 문장 누락의 형태만 보면 두 사례는 같은 오류다.

2. 맥락에 따른 완전히 다른 중요도

   1. 프랑스 여행은 해당 혈뇨를 해석하는 데 중요하지 않은 정보일 수 있다.
   2. 말라위 호수 여행은 사하라 이남 아프리카의 담수 노출을 뜻하며, 확진 전까지 주혈흡충증(schistosomiasis)을 의심해야 하는 핵심 단서다.
   3. 말라위 여행을 빠뜨리면 진단과 치료 계획 전체가 바뀐다.
   4. 동일한 “여행력 한 줄 누락”이 한쪽에서는 순수한 잡음이고 다른 쪽에서는 정답이다.

5.2. “취향(Taste)”은 미적 취향이 아니라 고위험 판단이다

1. Fox가 말하는 taste는 문장 스타일이나 미적 선호가 아니다.

   1. 어떤 누락된 알레르기가 환자를 죽일 수 있는지, 아니면 중요하지 않은지 판단하는 전문적 감각이다.
   2. 이 감각은 명시적 사실 지식과 별개로, 해당 사례에서 어떤 차이가 의사결정을 바꾸는지 선택한다.

2. LLM의 능력과 결핍

   1. 현대 LLM은 사실을 읽고 연결하는 능력이 매우 뛰어나다.
   2. 그러나 특정 사례에서 무엇이 중요한지 결정하는 암묵적 기준을 자동으로 확보하지는 못한다.
   3. 고위험 오류는 모델이 지식을 몰라서가 아니라 중요도를 잘못 배분해서 발생한다.

6. “좋음”의 기준을 저장하는 세 가지 방법과 한계

전문가 판단을 시스템에 넣으려면 글로 고정하거나 가중치에 굽거나, 판단 사례 자체를 살아 있는 참조 자료로 유지할 수 있다.

6.1. 프롬프트와 rubric에 사전 명시하기

1. 방법

   1. 완벽한 rubric을 작성해 judge 프롬프트에 넣는다.
   2. “충실하라”, “중요한 것을 빠뜨리지 마라” 같은 일반 원칙과 pass/fail 예시를 미리 지정한다.

2. 한계

   1. 사람이 미리 글로 쓸 수 있었던 taste만 전달한다.
   2. 아직 발견하지 못한 실패 모드와 사례별 중요도를 포함하지 못한다.
   3. Fox가 실제 노트에 적용한 결과처럼, 중대한 누락이 있어도 깨끗한 통과를 내놓을 수 있다.

6.2. 모델 가중치에 굽기

1. 방법

   1. 미세조정(fine-tuning)이나 지속학습(continual learning)으로 전문가 판단을 모델 가중치에 반영한다.
   2. 충분한 사례를 학습하면 모델이 평가 기준을 내재화할 수 있다는 접근이다.

2. 한계

   1. 의료 지침과 조직 기준이 변하면 가중치 속 기준이 낡는다.
   2. 특정 점수가 왜 변했는지 설명하기 어렵다.
   3. 기준을 바꾸려면 다시 학습해야 한다.
   4. 계속 이동하고 설명 가능해야 하는 평가 기준을 보관하기에는 가중치가 적합하지 않다.

6.3. 과거 판단 사례를 살아 있는 예시로 유지하기

1. 방법

   1. 과거의 전문가 판단, 수정 내용, 참고 문서, 지침을 사례로 저장한다.
   2. 새 출력이 들어올 때 해당 출력과 관련된 사례를 검색해 judge의 컨텍스트에 주입한다.
   3. 다음 호출부터 새로 추가된 판단이 즉시 평가 기준에 반영된다.

2. 장점

   1. 어떤 과거 판단이 점수를 움직였는지 정확히 가리킬 수 있다.
   2. 모델을 매번 재훈련하지 않고 기준을 업데이트할 수 있다.
   3. 고정 rubric과 재학습된 가중치보다 싸고 설명 가능하며, 실제 운영의 변화에 맞춰 살아 움직인다.

7. Discover–Capture–Calibrate 반복 루프

평가 기준은 화이트보드에서 추측해 만드는 목록이 아니라, 실제 출력과 전문가의 설명에서 계속 발견하고 보정하는 운영 루프다.

7.1. Discover: 실제 출력에서 실패 모드를 발견한다 (13:35–14:39)

1. 생산 환경을 먼저 본다

   1. rubric을 진공 상태에서 작성하지 않고 시스템을 본番에 넣어 실제 출력을 관찰한다.
   2. 예상하지 못한 오류를 포함해 실제로 무엇이 잘못되는지 데이터에서 찾는다.

2. 실패를 클러스터링한다

   1. 반복되는 오류를 묶으면 실패 모드가 스스로 드러난다.
   2. 드러난 패턴에 이름을 붙여 실패 모드 온톨로지(failure mode ontology)를 만든다.
   3. 온톨로지는 어떤 판단을 수집하고 어떤 사례를 검색할지 정하는 지도다.

3. 합성 테스트만으로는 부족하다

   1. 실제 시스템이 잘못되는 방식은 사실상 무한하다.
   2. 합성 테스트는 팀이 이미 상상한 실패만 다룬다.
   3. 진짜 위해를 만드는 실패는 자주 아무도 예상하지 못한 것이므로 실제 본番 출력에서만 발견된다.

7.2. Capture: 전문가의 점수뿐 아니라 이유와 수정을 기록한다 (14:39–15:06)

1. 전문가에게 실제 출력을 보여 준다

   1. 발견된 실패 모드를 체크리스트로 judge에게 강제하는 것이 아니라 전문가에게 무엇을 물어볼지와 사례를 어떻게 색인할지에 활용한다.
   2. 임상의가 실제 출력에 집중해 몇 시간 동안 코멘트를 남기는 것으로 시작할 수 있다.
   3. 처음부터 한 달짜리 대규모 라벨링 프로젝트를 진행할 필요는 없다.

2. 판단의 원재료를 보존한다

   1. 단순 점수나 통과·실패 라벨만 저장하지 않는다.
   2. 무엇이 잘못됐는지, 어떤 수정을 해야 하는지, 왜 그 차이가 중대한지에 대한 전문가의 추론을 저장한다.
   3. 시간이 지나면 전문가가 실제로 임상 노트를 평가하는 방식의 기록이 축적된다.

7.3. Calibrate: 출력마다 사례별 기준을 조립한다 (15:06–16:59)

1. 일반 규칙과 사례별 규칙을 분리한다

   1. “충실하라”, “중요한 것을 빠뜨리지 마라” 같은 일반 원칙은 한 번 쉽게 작성할 수 있다.
   2. 특정 노트에서 무엇이 심각한 누락인지 결정하는 일은 맥락에 따라 달라져 사전 규칙으로 완전히 쓸 수 없다.

2. 출력별 컨텍스트 엔지니어링

   1. judging agent가 각 출력에 맞춰 관련된 과거 사례를 검색한다.
   2. 검색 대상에는 유사한 출력과 그 점수, 적용 가능한 전문가 수정, 참고 문서와 임상 지침이 포함된다.
   3. 하나의 고정 rubric이나 매주 재훈련하는 모델 대신, 해당 출력에 맞는 사례별 평가 기준을 즉석에서 조립한다.

3. 두통 사례에 적용하기

   1. 새 두통과 50세 이상이라는 형태를 가진 과거 사례를 검색한다.
   2. “고령자의 새 두통은 red flag를 확인해야 한다”는 전문가 수정과 관련 지침을 함께 불러온다.
   3. 같은 모양의 과거 사례와 기준을 컨텍스트에 넣으면 빠진 턱 통증이 눈에 띈다.
   4. 모델이 거대세포동맥염 사례를 암기했기 때문이 아니라, 무엇을 중요하게 봐야 하는지 알려 주는 올바른 맥락을 받았기 때문에 발견할 수 있다.

4. 루프의 자기 강화

   1. 평가한 모든 출력과 전문가의 모든 수정이 다음 판단을 더 날카롭게 만든다.
   2. 새 실패 모드가 나타나면 Discover가 이를 표면화하고, Capture와 Calibrate를 거쳐 곧바로 다음 평가에 반영한다.

8. 세 가지 평가기의 비교와 다른 고위험 영역으로의 확장

같은 노트에서 judge가 본 정보만 바꿔도, 고정 rubric과 살아 있는 사례 기반 루프의 성능 차이가 드러난다.

8.1. 동일 데이터셋에서의 비교 (16:59–17:39)

1. 첫 번째 평가기: 범용 judge

   1. rubric을 가진 프런티어 모델을 그대로 사용한다.
   2. 동전 던지기보다 나은 수준이지만, 중요한 오류 대부분을 놓친다.

2. 두 번째 평가기: 정교한 고정 평가 시스템

   1. 더 깊은 rubric과 결정론적 검사 등을 함께 사용한다.
   2. 첫 번째보다 좋아지지만, 무엇이 중요한지에 관한 판단을 여전히 상당 부분 놓친다.

3. 세 번째 평가기: Discover–Capture–Calibrate 루프

   1. 실제 데이터에서 실패 모드를 발견하고, 전문가가 판단한 사례를 출력마다 검색해 보정한다.
   2. 같은 데이터셋에서 앞선 두 시스템보다 훨씬 더 잘 작동한다.

4. 차이를 만든 것은 컴퓨트가 아니다

   1. 세 평가기는 같은 노트를 평가했다.
   2. 달라진 것은 judge에게 무엇을 보여 줬는지뿐이다.
   3. 첫 두 시스템은 taste를 추측하고 하나의 기준을 얼려 시간이 지나며 낡게 만든다.
   4. 반복 루프는 실패 모드를 발견하고 각 모드에 맞게 기준을 조정하며 계속 학습한다.

8.2. 의료 외 고위험 업무에 적용하기 (17:39–19:22)

1. 계약 검토

   1. 계약의 모든 문장을 읽는 것보다 거래 조건을 바꾸는 조항을 놓치지 않는 것이 중요하다.
   2. 고정 rubric은 “조항을 충실히 추출했는가”를 보지만, 특정 거래에서 어떤 조항이 결정적인지는 과거 전문가 판단이 알려 준다.

2. 고객지원 에이전트

   1. 고객지원 AI가 제공하지 않는 환불을 약속하는 오류는 문장 품질 문제가 아니라 사업적 손실과 신뢰 훼손 문제다.
   2. 어떤 표현이 허용 가능한 예외이고 어떤 표현이 무단 재정 약속인지 도메인별 사례와 전문가 판단이 구분해야 한다.

3. 공통 구조

   1. 자신 있게 틀리는 시스템을 도메인에서 무엇이 중요한지 모르는 judge가 감시하면 동일한 문제가 반복된다.
   2. 실제 출력에서 실패 모드를 찾고, 전문가가 글로 완전히 표현할 수 없는 기준을 사례별 판단으로 기록하며, 과거 판단을 검색해 모든 출력을 보정해야 한다.

8.3. 바로 실행할 세 가지와 가장 쉬운 시작점 (18:17–19:22)

1. 첫째, 실제 출력에서 실패 모드를 발견한다

   1. 화이트보드에서 가능한 오류를 추측하지 말고 본番 결과를 관찰한다.
   2. 새 오류가 나타날 때 실패 모드 온톨로지를 확장한다.

2. 둘째, 전문가 판단을 캡처한다

   1. 전문가가 글로 완전히 쓸 수 없는 기준을 실제 사례의 코멘트와 수정으로 보존한다.
   2. 점수보다 판단의 이유와 교정 내용을 중심으로 저장한다.

3. 셋째, 정적 rubric이나 재훈련된 모델 대신 과거 판단으로 보정한다

   1. 각 출력에 이미 전문가가 판단한 가장 유사한 사례를 검색해 judge 컨텍스트에 넣는다.
   2. 표준이 움직이면 루프도 함께 움직이게 한다.

4. 가장 쉬운 출발점

   1. 전문가가 실제 출력에 자유 형식(free-form) 코멘트를 남기게 하는 것으로 시작한다.
   2. 그 코멘트가 실패 모드 발견, 전문가 판단 기록, 사례 검색 기반 보정의 원재료가 된다.

주요 발언 모음

“가장 위험한 실패는 실제로는 완전히 괜찮아 보이는 실패다.”

“위험한 것은 노트에 기술적으로 틀린 내용이 있다는 사실이 아니라, 노트에 있어야 할 내용이 없다는 사실이다.”

“모델이 궁극적으로 아는 것은 사실이다. 모델에 부족한 것은 이 특정 사례에서 무엇이 중요한지 아는 감각이다.”

“평가는 생성보다 쉬워야 한다. 생성기는 모든 것을 맞혀야 하지만, 검증기는 틀린 한 가지를 찾아 그 과업에 집중하면 된다.”

“충실성 rubric은 대화에 나온 단어를 확인할 수 있지만, 대화에서 실제로 선택된 의도까지 보존했는지는 보장하지 않는다.”

“사전에 지정한 rubric은 당신이 글로 쓸 수 있었던 taste일 뿐이다. 중요한 taste는 글로 쓸 수 없었던 부분이다.”

“실제 출력에서 실패 모드를 발견하고, 전문가가 판단하는 방식을 포착하고, 이미 판단된 사례에 맞춰 모든 출력을 보정하라.”

“평가는 가지고 있는 것이 아니라, 시간에 걸쳐 계속 수행하는 것이다.”

핵심 데이터 & 수치

• 847개 노트: Composo가 분석한 본番 임상 AI 노트의 규모다.
• 14일: 847개 노트가 수집된 Composo 사례 분석 기간이다.
• 127개 실패: 847개 노트에서 발견된 전체 실패 수다.
• 23개 중증도 임계 실패: 임상 결정을 직접 바꿀 수 있는 실패 수다.
• 약 1/20: 실제 임상 AI 노트에서 상당한 환자 위해를 일으킬 수 있는 오류의 비율이다.
• 거의 1/5: 중요한 정보 누락이 포함된 노트의 비율이다.
• 10% 초과: 환각이 포함된 노트의 비율이다.
• 34건: Composo 사례 분석에서 발견된 누락된 임상 소견이다.
• 19건: 환각된 약물 처방 항목이다.
• 12건: 잘못된 용량 또는 스테로이드 감량 일정 오류다.
• 11건: 중증도 임계로 분류된 세부 사례 수로 제시됐다.
• 미국 진료실 약 1/3: 앰비언트 스크라이브가 이미 사용되는 규모다.
• 전년 대비 2배: 의사의 AI 사용 증가 폭이다.
• 0건에 가까운 추적: 많은 시스템에서 유해 사건 보고가 없어 오류가 환자 안전 사건으로 드러나지 않는다.

결론 및 시사점

1. 임상 AI 안전성은 “문장이 전사문과 일치하는가”만으로 판단할 수 없고, 환자의 위험 신호와 의사의 최종 의도가 보존됐는지를 확인해야 한다.
2. 생성기의 표면적 유창함은 안전성을 보장하지 않으며, 가장 위험한 실패는 정확한 문장 사이에 숨어 있는 누락·의도 변경·맥락 삭제다.
3. LLM-as-a-judge는 강력한 모델과 상세 rubric을 사용해도, 고정된 사전 기준으로 표현되지 않은 전문가의 판단을 재현하기 어렵다.
4. 전문가의 판단을 점수 하나로 축약하지 말고, 왜 중요한지와 어떻게 고쳐야 하는지를 사례별로 저장해야 한다.
5. 실제 운영 데이터를 기반으로 실패 모드 온톨로지를 만들고, 출력별로 유사 과거 사례·수정·지침을 검색하는 평가 루프를 지속해야 한다.
6. 이 접근은 임상 노트뿐 아니라 계약 검토, 고객지원, 금융·법률·인프라처럼 자신 있게 틀리는 비용이 큰 모든 AI 시스템에 적용된다.
7. 가장 실용적인 첫 단계는 전문가에게 실제 출력에 자유 형식 코멘트를 남기게 하는 것이며, 그 기록이 살아 있는 품질 기준의 씨앗이 된다.

핵심 요약 (20줄)

AI가 작성한 두통 노트에서 씹을 때 턱 통증이 빠지면 거대세포동맥염이라는 시력 상실 응급질환이 긴장형 두통으로 축소된다.

기술적으로 틀린 문장이 없어도 중요한 정보의 부재가 환자에게 가장 큰 위해를 만들 수 있다.

20대 남성의 편도염 진료가 흉통·협심증·가짜 당뇨약·존재하지 않는 병원 주소로 바뀐 실제 사례는 눈에 띄는 환각의 위험을 보여 준다.

조용히 기록에 남는 누락과 의도 변경은 황당한 환각보다 발견되기 어려워 후속 진료를 더 오래 오염시킨다.

본番 임상 AI 노트 약 20건 중 1건에는 상당한 환자 위해를 일으킬 수 있는 오류가 포함됐다.

전체 오류 기준으로 거의 5건 중 1건은 중요한 누락을, 10건 중 1건 이상은 환각을 포함했다.

미국 진료실의 약 3분의 1이 앰비언트 스크라이브를 사용하고 의사의 AI 사용은 전년 대비 두 배가 됐지만 유해 사건 추적은 부족하다.

전사 단계에서는 Humalog와 Humulin 같은 약물명이 뒤바뀌거나 hyperthyroidism이 hypothyroidism으로 변할 수 있다.

전사가 완벽해도 모델은 정보를 추가하거나 의미를 변경하거나 있어야 할 정보를 누락한다.

“그냥 그렇게 됐다”를 “갑자기 시작됐다”로 바꾸면 뇌출혈을 시사하는 위험 신호가 환자가 말하지 않은 사실로 기록된다.

항생제 논의를 최종 결정인 것처럼 적으면 단어에는 충실해도 실제 환자·의사의 wait-and-see 의도에는 거짓말이 된다.

어떤 차이가 중요한지 판단하는 전문적 taste는 암묵적이고 맥락적이며 모델·지침·병원에 따라 계속 변한다.

프랑스 여행과 말라위 호수 여행의 누락은 같은 형태지만 후자는 주혈흡충증을 시사해 진단과 치료를 바꾼다.

생성기를 완벽하게 고치기보다 오류 하나를 찾는 검증기를 후단에 두는 편이 고위험 시스템에 적합하다.

전문가의 수동 검토는 gold standard지만 모든 본番 노트에 적용할 수 없어 자동 평가가 필요하다.

정교한 rubric 기반 judge도 깨끗하게 통과시킨 출력 5건 중 1건에서 심각한 오류를 놓쳤다.

전문가 판단은 프롬프트에 고정하거나 가중치에 굽기보다 과거 수정과 추론을 사례로 저장하는 편이 설명 가능하고 최신 상태를 유지한다.

Discover 단계는 실제 출력에서 실패를 클러스터링해 팀이 예상하지 못한 실패 모드 온톨로지를 만든다.

Capture 단계는 전문가의 점수뿐 아니라 오류 이유와 수정 내용을 모아 판단의 원재료를 보존한다.

Calibrate 단계는 유사 과거 판단·전문가 수정·지침을 각 출력에 검색해 사례별 평가 기준을 조립하고, 모든 새 판단으로 루프를 갱신한다.