정확도가 높다고 항상 더 좋은 AI일까요?
의료 AI의 평가 기준, '얼마나 똑똑한가'에서 '언제 믿고 맡길 수 있는가'로

높은 정확도를 자랑하는 의료 인공지능(AI)이 실제 진료 현장에서는 왜 그만큼의 신뢰를 받지 못할까요? 현재 의료 AI 분야에는 한 가지 역설이 존재합니다. 수많은 알고리즘이 통계적 벤치마크에서 뛰어난 정확도를 입증하고 규제 기관의 승인을 받고 있지만, 실제 진료 현장으로의 도입은 여전히 조심스럽게 진행되고 있습니다. 그 근본적인 이유는 기존의 전반적인 정확도 평가 지표만으로는 임상의가 가장 필요로 하는 핵심 질문, 즉 "이 AI의 판단을 언제, 얼마나 안전하게 믿고 맡길 수 있는가?"에 답할 수 없기 때문입니다.

이러한 평가의 한계를 극복하기 위해 저희 연구진은 '안전성 인지 ROC(Safety-Aware ROC, SA-ROC)' 프레임워크를 제안했습니다. SA-ROC는 AI의 안전성을 개발자가 제시한 일괄적인 척도가 아닌, 임상의가 진료 목적에 맞춰 직접 설정한 신뢰도 기준을 충족하는지 여부로 평가합니다. 이 프레임워크는 AI의 예측 결과를 임상적 조치가 가능한 세 가지 구역으로 분류합니다. 첫째는 AI가 매우 높은 확신을 가져 자율적인 진단이나 후속 조치가 가능한 '확진 안전 지대(Rule-in Safe Zone)'이며, 둘째는 정상 상태임을 확신하여 전문의 검토 없이도 안전하게 배제할 수 있는 '배제 안전 지대(Rule-out Safe Zone)'입니다. 마지막은 AI의 확신도가 기준에 미치지 못해 반드시 인간 전문가의 검토가 필요한 ‘회색 지대(Gray Zone)’입니다. 특히 이 회색 지대의 면적을 정량화함으로써, 의료 현장은 불확실성으로 인해 의사가 직접 감당해야만 하는 남은 업무량, 즉 의사결정 지연에 따른 운영 비용을 명확히 측정할 수 있습니다.

이 프레임워크의 실효성을 검증하기 위해 FDA 승인을 받은 두 개의 유방암 검진 AI 모델을 비교 분석한 결과, 기존의 인식을 전환하는 중요한 발견을 할 수 있었습니다. 통상적인 정확도 평가에서는 AI 모델 #1이 모델 #2보다 통계적으로 우수했습니다. 그러나 '단 하나의 암도 놓치지 않아야 한다'는 100%의 엄격한 안전성 기준을 적용하자 상반된 결과가 나타났습니다. 가장 높은 안전성이 요구되는 상황에서, 전반적인 정확도가 낮았던 AI 모델 #2는 전체 환자의 29.0%를 의사의 검토 없이 안전하게 '정상'으로 걸러내어 진료 효율을 효과적으로 높였습니다. 반면, 전체 정확도가 더 높았던 AI 모델 #1은 16.7%의 환자만을 걸러내는 데 그쳤습니다. 이는 단순한 성능 지표가 의사의 업무량을 안전하게 줄여주는 AI의 실질적인 운영 효율성을 온전히 대변하지 못한다는 것을 입증합니다.

더욱 흥미로운 점은 임상의와 AI의 판단이 엇갈리는 지점입니다. AI가 가장 확신을 가지고 정상으로 판별한 배제 안전 지대(Rule-out Safe Zone)에서, 역설적으로 인간 영상의학과 전문의들의 진단 정확도가 가장 낮게 나타났습니다. 이는 단 한 명의 암 환자도 놓쳐서는 안 된다는 의사들의 막중한 책임감에서 비롯된 결과입니다. 따라서 확실하게 저위험군으로 분류된 구역에서는 AI의 판단을 신뢰하는 것이 진단에 대한 의사들의 심리적 부담을 덜고 불필요한 추가 검사를 줄이는 데 기여할 수 있음을 시사합니다.

SA-ROC 프레임워크는 다양한 진료 환경과 철학에 맞춰 AI를 가장 안전하고 효율적으로 쓸 수 있는 맞춤형 청사진을 제공합니다. 더 나아가, AI가 판단을 유보한 '회색 지대'의 진단적 난제들은 향후 알고리즘을 고도화하고 의학적 한계를 넓혀가는 귀중한 연구 자산이 됩니다. 지금까지 우리는 의료 AI를 향해 "얼마나 똑똑한가?"만을 물어왔습니다. 하지만 "언제 인간의 개입을 줄이고 안전하게 일을 맡길 수 있는가?"라는 질문에 답할 수 있을 때 임상 현장의 진정한 혁신이 시작되며, 비로소 AI는 신뢰할 수 있는 의사결정 동반자로 확고히 자리 잡을 것입니다.

• 형식Research article
• 게재일2026년 02월 (BRIC 등록일 2026-02-23)
• 연구진국외 연구진
• 분야 바이오·의료융합 > 다학제 융합/복합