MedChemExpress AD
 
 

BRIC

검색 닫기

전체 메뉴

팝업 닫기
동향  >  연재

[연구자가 알아야 할 AI 활용법] SaaS 플랫폼 개발하는 변호사가 AI 환각률 70% 낮추는 실무 커스터마이징 하는 방법 연구자가 알아야 할 AI 활용법 연재

[연구자가 알아야 할 AI 활용법] SaaS 플랫폼 개발하는 변호사가 AI 환각률 70% 낮추는 실무 커스터마이징 하는 방법

  • 등록2026.04.07.
  • 조회951
SaaS 플랫폼 개발하는 변호사가 
AI 환각률 70% 낮추는 
실무 커스터마이징 하는 방법

시간이 정말 쏜살같이 흘러간다. 눈 뜨면 한 달이 지나가 있다. 지난 연재 후로 벌써 몇 달의 시간이 흐른듯한데, 체감은 2주밖에 지난 것 같진 않다. 작년 말부터 필자는 SaaS 플랫폼 개발 회사를 본격적으로 운영하기 시작했는데, 5개의 상표권 출원 신청과, 1개의 디자인 특허 출원 신청 그리고 현재 2개의 특허를 준비 중에 있다. 지난주에 새로 오픈한 법률 기반 플랫폼은, 법무법인과 변호사들로부터 반응이 상당히 좋다.

AI가 이렇게 비즈니스의 생태계를 바꾸어 놓고 있다. 불과 2년 전만 해도, 필자가 원했던 플랫폼을 구축하기 위해선, 몇 명의 개발자와 디자이너를 고용해서 12개월가량 풀로 작업을 해도 어려웠지만, AI 덕분에 시간과 비용을 절반가량 아낄 수 있어서, 얼마나 다행인지 모르겠다. 이렇게, AI의 발전으로 세상은 정말 급속도로 변화하고 있는데, 이제는 AI 에이전트(Agent) 단계로 진화하면서 과거 단순했던 결과물을 전달해 주던 AI는 한 단계 업그레이드하여 직접 데이터를 분석하고 가설을 세우며 복잡한 워크플로우를 직접 실행하는 수준까지 도달하여, 연구자들에게 도움을 주는 동시에 위협을 주고 있다.

2026년 3월, 현재 시점으로 AI 기술 업데이트 현황에 잠시 이야기를 해보겠다. Manus, OpenAi Operator 등과 같은 인공지능들이 에이전트 기능을 탑재하게 되면서, 연구자들의 업무 효율성을 높여주고 있다. 사용자가 명령을 내리면 AI가 스스로 자료 조사를 하고 데이터를 추출하여 보고서를 작성하는 이 단계들이 자동화가 되고 있다. 이전에는 단순히 텍스트 수준의 결과물을 제공하는 데 그쳤지만, 이제는 텍스트뿐만 아니라, 이미지, 영상, 복잡한 그래프까지, 수백 장도 아닌, 수천 장의 PDF를 한꺼번에 분석하여 문맥의 흐름을 파악한 후, 내용을 이해할 정도로, 비약한 성장을 보이고 있다. 

또한, 환각 형상(할루시네이션:Hallucination)이 크게 줄어들었고, 출처 기반의 답안으로 모든 답변에 실제 학술 데이터의 인용구가 실시간으로 포함된다. 환각 현상 비율은 모델과 작업의 환경에 따라 천차만별이지만, 과거보다는 많이 개선된 수치를 보여주고 있는데, 최신 통계(Vectara 외)에 따르면, 다음과 같다.

@ ChatGPT 이미지 생성 그래프를 보면 알겠지만, 할루시네이션을 0%로 만들기는 불가능하지만, 수치가 상당히 많이 개선되었다. 일반인들이 사용하는 무료 또는 기본 검색형 AI(퍼플렉시티, 챗지피티)의 경우, 환각률이 최대 45%까지도 올라간다. 그래서, 많은 일반인이 오픈 AI가 거짓말을 하도 많이 잘해서 못 쓰겠다고 불만을 토로하기도 하는데, 아무런 세팅 없이 무작위 프롬프트를 넣으면 결괏값이 이럴 수밖에 없다. 

반면에, 중위권, 상위권, 최상위권에 있는 AI들의 평균 환각률은 10% 미만을 유지하고 있다. Claude 4.6 Sonnet과 헷-5.4 Nano의 경우, 환각률이 약 1..5%에서 3.5%로 사실 관계 왜곡이 매우 적다. 필자가 실제 이용을 하고 있는데, 확실히, 결과 값이 좋다. 그리고, Gemini 2.5 Pro의 경우는 환각률이 5.5%에서 7.0% 사이에 왔다 갔다 하는데, 전문적인 내용이 아니라, 일반적인 대화 수준에서는 신뢰하고 사용해도 무방할 것이다. 그 외에는 글쎄.. 특히, 연구자들에게는 커스터마이징을 하지 않는 한, 이 이하의 모델을 사용하는 것을 권유하지 않는다.

분야별 환각 발생 차이는 다음과 같다. 다음의 데이터는 Vectara의 "Hallucination Leaderboard"과 OpenAI의 "SimpleQA" 및 "GPQA" 벤치마크와 Stanford University (HELM - Holistic Evaluation of Language Models) Arthur AI의 "Hallucination Check"를 참조하여 작성했다.

  • 일반 상식 및 요약:1% 미만
  • 의학 및 보건: 약 2.4%-4.5%
  • 법률: 6.4%-18%
  • 수학 및 과학: 10%-20%
  • 인물: 30% 이상

법률 AI의 경우, 판례 조작 위험이 많이 발생하고 있고, 이 때문에, 실제로, AI가 작성한 소장으로 소송을 진행했다가 징계를 받은 미국 변호사들도 있다. 인물의 경우에는, 유명하지 않은 인물일수록, 허구의 이력을 만들어내는 확률이 높은 것으로 나온다. 다행히도, 의학이나 보건의 경우, 데이터베이스를 연동하여 작업을 많이 하므로, 할루시네이션 %가 낮은 편이다.

그럼, 이러한 할루시네이션이 왜 발생하는 것일까? 

사람도 거짓말을 하듯, 모든 과거의 기억을 다 소환할 수 없듯이. 인공지능도 마찬가지다. AI의 경우, 사실 여부보다 결과 값을 이용자에게 전달을 해줘야 하는 의무감이 있기에, 팩트보다는 문장을 자연스럽게 연결하여 그럴싸한 결괏값을 주려고 한다. 그리고, 잘못 주입된 정보를 가지고 AI가 생성한 정보를 학습하면서, 오류가 정정되지 못해서 잘못된 결괏값을 전달한다. 그렇다 보니, 복잡한 단계를 거쳐야 하는 논리적 추론을 할 때에는, 사소한 작은 오류가 최종 결과에 치명적인 환각으로 변하는 경우가 발생하는 것이다.

그렇다면 어떻게 해야, 이 환각률을 낮출 수 있을까?

일단, 모든 단계를 세분화하여 진행해야 한다. 한 번에 긴 프롬프트를 주고 알아서 해라가 아닌, 단계별로, 질문을 던지고 답을 받으면서 서서히 최종 값에 도달하게 해야 한다. 이렇게 되면, AI가 스스로 오류들을 논리적으로 검토를 하게 되어 답변의 정확도가 올라가면서 퀄리티 좋은 답변을 제공해 준다.

또한, 커스터마이징을 잘해야 한다. 몇 년의 시간이 흐른 시점에서 스스로 커스터마이징을 할 수 있는 날까지는 인간이 최대한 커스터마이징을 하여 정확도를 높여야 한다. AI가 알아서 해주겠거니, 하면 큰 오산이다. 일단, 간단하게 답변의 정확도를 올리고 싶다면, 본인의 가지고 있는 파일을 첨부하고 다음과 같이 말하도록 한다.

“네 지식으로 답하지 말고, 내가 업로드한 이 논문 파일 안에서만 답해줘.”

라고 질문을 하게 되면, 환각률을 70% 이상 낮출 수 있다.

필자가 항상 사용하는 방법이다.

그리고, 크로스 체크(교차검증)를 하는 것을, 습관을 들이도록 하는 것이 좋다. 

Perplexity(출처 확인용)과 Claude(논리 검증용)등 서로 다른 AI에게 물어보고 비교해서 틀린 답을 제외 시켜야한다. 이 과정을 귀찮다고 생각해선 안 된다. 

관련 기사

본 기사는 네티즌에 의해 작성되었거나 기관에서 작성된 보도자료로, BRIC의 입장이 아님을 밝힙니다. 또한 내용 중 개인에게 중요하다고 생각되는 부분은 사실확인을 꼭 하시기 바랍니다. [기사 오류 신고하기]

목록
연구자가 알아야 할 AI 활용법 전체 보기
[연구자가 알아야 할 AI 활용법] SaaS 플랫폼 개발하는 변호사가 AI 환각률 70% 낮추는 실무 커스터마이징 하는 방법 
《AI 시대의 연구자, 도구보다 양심이 먼저다》

AI가 하루가 다르게 발전하고, 연구자들의 책상 위에도 점점 더 많은 AI 도구들이 올라오는 시대. 이 연재는 단순히 ‘어떤 AI를 써야 하나요?’에 대한 기술 소개가 아닙니다. 그보다 먼저 묻습니다.

"당신은, 왜 AI를 쓰는가?"

연구자의 윤리성, 도덕적 책임, 그리고 AI 활용의 실전 기술까지.

법과 IT를 전공하고, 석박사 연구자들의 영문 논문을 직접 교정해 온 필자가 보는 현실 속 이야기와 통찰을 담았습니다.

AI에 대한 환상도 경계하고, 그러나 AI가 주는 가능성도 환영하는, 윤리와 기술, 그리고 연구가 Equilibrium(균형)을 이루는 지점을 함께 고민해 봅니다.
소개글 펼쳐보기

필코리아테크놀로지 AD

벡톤디킨슨코리아