1. 논문관련 분야의 소개, 동향, 전망을 설명, 연구과정에서 생긴 에피소드

  ChatGPT를 시작으로 생성형 AI가 대중에게 폭발적으로 확산되고 있습니다. 하지만 이에 대한 사회적 이해와 안전장치(Safety Guardrail)는 기술 발전 속도를 따라가지 못하고 있는 실정입니다. Anthropic이 Constitutional AI를 내세우며 안전성을 강조하는 등 업계 차원의 노력이 이어지고 있지만, 이러한 안전장치를 우회하는 Jailbreaking 기법들은 여전히 끊임없이 등장하고 있습니다.
  저희 연구팀은 의료 분야에서 이 문제가 얼마나 심각한지 확인하고자 'Prompt Injection' 공격을 체계적으로 시뮬레이션했습니다. Prompt Injection이란 악의적으로 조작된 입력을 통해 LLM의 안전 가이드라인을 무력화하고, 설계자가 의도하지 않은 행동을 유도하는 공격 기법입니다. 연구 결과, 216건의 시뮬레이션 대화 중 94.4%에서 공격이 성공했고, 환자에게 유해하거나 금기인 처방을 권고하도록 모델을 조작할 수 있었습니다. 놀라운 점은 경량 모델뿐 아니라 GPT-5, Claude 4.5 Sonnet 같은 최신 Flagship 모델들도 정교한 Client-side Injection 공격에 높은 취약성을 보였다는 것입니다. Client-side Injection은 사용자 본인이 아닌 제3자가 중간에서 모델을 조작할 수 있다는 점에서 현실적인 위협 시나리오라 할 수 있습니다.
  연구를 진행하면서 가장 큰 어려움은 보안연구자, AI연구자, 의료인 사이의 관점 차이였습니다. 보안연구자 입장에서는 prompt injection이 가드레일을 뚫었다는 사실 자체가 핵심 문제입니다. 공격 경로(attack surface)는 부차적인 문제죠. 

"일반적으로 이런 취약점은 다 막힌다"는 가정 자체가 보안에서는 통하지 않기 때문입니다. Supply chain 공격이든, man-in-the-middle이든, malware든-공격자에게는 모두 실행 가능한 시나리오입니다. 반면 AI연구자 관점에서는 사용자가 직접 입력하는 direct prompt injection은 큰 문제로 보지 않습니다. 제3자가 실제로 공격을 전달(delivery)할 수 있는 현실적 경로까지 증명해야 비로소 위협으로 인정하는 것이죠.
  흥미로운 점은 이런 논쟁 자체가 LLM 연구자들 사이에서는 이미 익숙한 주제인데 반해, LLM을 임상에서 활용하는 의료인/환자들은 prompt injection의 존재조차 모르는 경우가 많습니다. 그래서 이번 연구에서는 의료인이라면 누구나 알고 있는 위험 처방-임산부에게 thalidomide를 권고하는 상황-을 client-side prompt injection으로 만들어낼 수 있다는 것을 보여주고자 했습니다. 이를 통해 의료계에 경각심을 주는 것이 연구의 핵심 목표였습니다.

2. 연구를 진행했던 소속기관 또는 연구소에 대해 소개 부탁드립니다.

  서울아산병원 비뇨의학과는 홍준혁 과장님을 포함해 11명의 스탭과 3명의 임상강사로 구성되어 있습니다. 뉴스위크가 선정하는 세계 Top 5 비뇨의학과 병원에 수년간 이름을 올리고 있는 곳이기도 합니다. 저는 비뇨기종양 분야에서 세계적 명성을 갖고 계신 김청수 교수님 (현 이대서울병원), 안한종 교수님 (현 강원대병원)께 진료와 연구 지도를 받는 행운을 누렸습니다.
  본 연구는 기가스터디(GIGA Study)라는 비영리연구조직과 함께 수행했습니다. 기가스터디는 2025년 발족되어, 국내 디지털헬스케어의 핵심 주제에 대한 교육 콘텐츠 제작, 강의, 연구를 진행하고 있습니다.
  논문의 제1저자인 인하대학교병원 이로운 선생님은 딥노이드에서 최고의학책임자(CMO)를 역임하셨고, 현재 여러 의료 AI 기업의 자문을 맡고 계십니다. 공동저자인 박형준 대표는 '헬미닥'을 운영하고 있습니다. 헬미닥은 누구나 자신의 증상을 전문의 수준의 AI에게 문의하고 즉시 답변받을 수 있는 LLM 서비스인데, 비공식 레드팀 테스팅과 실제 서비스 피드백을 바탕으로 안전하고 정확한 의학정보를 제공하고 있습니다. 다른 환자 대상 의료 LLM 서비스들과 달리 악의적 공격에 대한 방어를 진지하게 고민하는 서비스로, 이번 연구에 큰 모티베이션을 주었습니다. 조수익 대표는 루닛 Medical Director 출신의 피부과 전문의로, 의료·뷰티 산업을 아우르는 맞춤형 AI 서비스 '인스킨랩'을 운영하고 있습니다. 이정무 교수는 서울대병원 간담췌외과 부교수를 거쳐 현재 이대서울병원에서 진료 중이며, LLM을 활용한 논문 작성 등 의료인 대상 LLM 교육을 활발히 진행하고 계십니다. 이 외에도 저를 포함하여 소속과 성함을 공개하기 어려운 의료정보·의료 AI 분야 전문가들이 다수 참여하고 있습니다.

3. 연구 활동 하시면서 평소 느끼신 점 또는 자부심, 보람

  레드팀 테스팅은 합법과 비합법의 경계에 있는 작업입니다. 그래서 기관이나 서비스 제공자의 협조가 반드시 필요합니다. 다양한 공격 시나리오를 시험해볼 테스트베드 확보도 중요한데, 이 역시 협력 없이는 불가능합니다.
다행히 저는 헬미닥 박형준 대표와 카카오헬스케어의 협조를 얻어 다양한 시나리오를 실험해볼 수 있었습니다. 단순히 취약점을 찾는 데 그치지 않고, 악의적 사용자를 방어하기 위한 개선안을 제안했고, 이것이 실제 서비스에 반영되었습니다. 연구가 현실의 보안 강화로 이어졌다는 점에서 큰 보람을 느꼈습니다.

4. 이 분야로 진학하려는 후배들 또는 유학준비생들에게 도움이 되는 말씀을 해 주신다면?

  Medical LLM 안전성 평가에는 기술적 역량과 임상적 맥락 이해가 모두 필요합니다. 특히 Red Teaming은 일반적인 개발자 사고방식과는 다른 접근이 요구됩니다. "이 시스템이 어떻게 작동하는가" 를 토대로 "이 시스템을 어떻게 무너뜨릴 수 있는가"를 끊임없이 고민해야 숨겨진 위험을 찾아낼 수 있기 때문입니다.
결국 이 분야의 궁극적 목표는 환자 안전입니다. 기술, 보안, 의료-이 세 영역을 넘나들며 다양한 관점으로 문제에 접근할 수 있다면, 분명 훌륭한 연구자로 성장할 수 있을 것입니다.


5. 연구 활동과 관련된 앞으로의 계획이 있으시다면?

  ETRI 전종홍 책임연구원님과 의료 LLM 레드팀 테스팅 분야에서 지속적으로 협력해 나갈 계획입니다. 또한 전태준 교수님과 함께 의료 LLM뿐 아니라 기존 의료 AI 전반에 걸친 보안 테스트 시나리오 연구를 준비하고 있습니다. 의료 서비스 전체를 아우르는 체계적인 보안 평가 프레임워크를 만들어가는 것이 목표입니다.

6. 다른 하시고 싶은 이야기들.....

  늘 "이상한 연구"를 해도 묵묵히 지지해주시는 아산병원 비뇨의학과 교수님들께 깊이 감사드립니다. 제가 이 길을 걷게 된 데 큰 영향을 주신 서울대병원 정창욱 교수님께도 감사의 말씀을 전합니다.
밤늦게 귀가해도 항상 응원해주는 가족에게 고마운 마음뿐입니다. 요즘 아들이 부쩍 코딩에 관심을 보이는데… 아빠처럼 되진 않았으면 좋겠습니다.