수의 AI는 왜 국가고시 만점보다 어려운가: 벤치마크를 넘어 Spectrum of Care로

AI가 의사 국가고시를 만점으로 통과했다는 이야기는 더 이상 새로운 소식이 아닙니다.

USMLE(United States Medical Licensing Examination) 에서는 이미 최고 수준의 성과가 보고되었고, 춘옥컴퍼니가 개발한 VetJarvis 역시 스마트폰에서 구동되는 4B 규모의 온디바이스 모델임에도 일본 수의사 국가고시 합격선을 넘어섰습니다. 이제 모델이 시험 문제를 푸는 능력 자체는 상당한 수준에 도달했습니다.

그렇다면 진료의 미래도 이미 결정된 것일까요?

최근 발표된 두 편의 연구를 읽으며 오히려 반대의 생각을 하게 되었습니다. 시험을 잘 보는 것과 진료를 잘하는 것은 생각보다 훨씬 다른 문제였습니다.

시험을 잘 본 AI가 좋은 수의 AI인 것은 아닙니다

NYU 연구팀은 흥미로운 비교 실험을 수행했습니다. GPT-5, Gemini 3 Pro, Claude Sonnet 4.5와 같은 범용 대규모 언어모델과 OpenEvidence, UpToDate Expert AI 같은 의료 특화 도구를 동일한 1,000문항 벤치마크에서 평가한 것입니다.

결과는 다소 의외였습니다. 의료 특화를 표방한 도구들이 범용 모델보다 전반적으로 낮은 성능을 보였습니다. 다만 순수 의학 지식을 평가하는 MedQA에서는 범용 모델이 94.1%, 특화 도구가 89.0%를 기록해 차이가 크지 않았고 통계적으로도 유의하지 않았습니다.

반면 임상 정합성과 실제 의료 응답 품질을 평가하는 HealthBench에서는 격차가 크게 벌어졌습니다. 범용 모델은 91.7%, 특화 도구는 74.8%를 기록했습니다.

흥미로운 점은 단순한 지식 부족 때문이 아니었다는 것입니다. 특화 도구가 상대적으로 약한 영역은 답변의 완결성, 설명의 질, 환자 상황에 대한 맥락 이해, 그리고 응급 상황에서 적절히 상급 진료를 권고하는 안전 판단이었습니다.

이 결과를 두고 "의료 특화 모델은 의미가 없다"고 해석하는 것은 적절하지 않습니다. 오히려 좋은 임상 AI가 충족해야 할 기준이 무엇인지를 보여주는 결과에 가깝습니다.

정답을 아는 것은 기본 조건입니다. 하지만 그 정답을 빠뜨리지 않고 안전하게 전달하고, 상대방이 이해할 수 있도록 설명하며, 상황에 맞게 적용하는 것은 전혀 다른 문제입니다. 훨씬 더 어렵고 복합적인 문제이기도 합니다.

의료 LLM은 실제 임상 상황에서 왜 다른 결과를 보일까요

Nature Medicine에 발표된 옥스퍼드 연구팀의 무작위 연구는 한 걸음 더 나아갑니다.

연구진은 영국 일반인 1,298명을 대상으로 AI가 혼자 의료 문제를 해결하는 경우와, 사람이 AI와 상호작용하며 판단하는 경우를 비교했습니다.

AI 단독 성능은 상당히 우수했습니다. 관련 질환을 찾아내는 정확도는 평균 94.9%였으며, 적절한 의료 서비스를 선택하는 과제에서는 56.3%를 기록했습니다.

그러나 같은 AI를 실제 사람이 활용하는 상황에서는 결과가 달라졌습니다. 질환 식별 성능은 34.5% 이하로 떨어졌고, 적절한 대응 판단 역시 44.2% 이하로 감소했습니다. 일부 항목에서는 AI를 사용하지 않은 대조군과 유의미한 차이가 없었으며, 질환 식별에서는 오히려 대조군이 더 나은 결과를 보였습니다.

사람과 AI가 함께 판단할 때 발생하는 문제

문제는 모델 자체가 아니라 사람과 AI 사이의 상호작용 과정에서 발생했습니다.

사용자는 중요한 증상을 질문에 포함하지 않았고, AI는 질문을 잘못 이해했으며, AI가 올바른 답을 제시하더라도 사용자가 그것을 적절히 해석하지 못했습니다.

연구에 따르면 AI는 한 대화에서 평균 2.21개의 가능한 질환을 제시했지만, 그중 실제 정답은 약 34%에 불과했습니다. 또한 사용자는 제시된 여러 가능성 중 올바른 답을 효과적으로 선별하지 못했습니다.

진료실에서 수의사가 문진을 통해 핵심 정보를 수집하듯이, 임상 AI 역시 사용자의 상황을 정확히 파악하고 필요한 정보를 끌어낼 수 있어야 함을 보여주는 결과입니다.

더 중요한 사실은 이러한 실패가 기존 벤치마크에서는 거의 측정되지 않았다는 점입니다.

벤치마크에서 80% 이상의 성능을 보인 모델이 실제 사용자 과제에서는 20% 이하의 결과를 기록하는 경우도 있었습니다. 심지어 AI가 환자 역할을 수행하는 시뮬레이션 환경에서도 실제 사람과의 상호작용에서 발생하는 문제는 제대로 재현되지 않았습니다.

결국 시험 문제를 잘 푼다는 사실만으로는 해당 AI가 실제 환경에서 안전하게 작동하는지 판단하기 어렵습니다.

수의진료에는 하나의 정답만 존재하지 않습니다

여기까지가 두 연구가 공통적으로 보여주는 핵심입니다.

정답이 존재하는 문제에서도 실제 현장에서는 전달 과정과 상호작용 과정에서 성능이 크게 저하될 수 있다는 것입니다.

다만 한 가지 중요한 점이 있습니다. 두 연구 모두 의사가 미리 정의한 정답을 기준으로 평가를 수행했습니다. 즉, 이 연구들이 보여주는 것은 "정답이 없다"가 아니라 "정답이 있어도 실제 사용 과정에서 제대로 전달되지 않을 수 있다"는 사실입니다.

그리고 이 연구들은 모두 사람 의료를 대상으로 수행되었습니다.

수의진료에서는 여기에 또 하나의 복잡성이 추가됩니다.

수의진료에서는 동일한 근거 위에서도 여러 수용 가능한 선택지가 존재하는 경우가 많습니다. 보호자의 경제적 상황, 동물의 종과 품종, 보호자의 가치관, 퇴원 후 간호 가능 여부, 삶의 질, 그리고 안락사에 대한 판단까지 함께 고려해야 하기 때문입니다.

같은 증상과 같은 진단명이 주어지더라도 선택 가능한 진료 경로는 하나가 아닐 수 있습니다.

진료는 객관식 문제가 아닙니다.

Spectrum of Care가 수의학에서 중요해진 이유

이러한 배경에서 수의학계는 이미 Gold Standard 중심의 사고에서 Spectrum of Care(SOC)로 관심을 확대하고 있습니다.

Spectrum of Care는 하나의 이상적 치료만을 정답으로 보는 접근이 아니라, 다양한 상황 속에서 여러 수용 가능한 진료 선택지를 고려하는 개념입니다.

연속선의 한쪽 끝에는 모든 검사와 치료를 수행하는 적극적 치료가 있습니다. 반대쪽 끝에는 대증치료, 완화치료, 경우에 따라 경제적 이유로 인한 안락사까지 포함됩니다.

이러한 변화의 배경에는 현실적인 문제가 있습니다.

Access to Veterinary Care Coalition의 보고서에 따르면 보호자의 약 28%가 최근 2년 내 수의진료 접근 장벽을 경험했으며, 가장 큰 이유는 비용 문제였습니다.

만약 Gold Standard만을 유일한 정답으로 제시한다면 보호자는 치료 자체를 포기할 수 있습니다. 반면 현실적인 대안을 함께 제시하면 완전한 치료가 아니더라도 환자가 적절한 관리를 받을 가능성은 높아집니다.

Spectrum of Care는 Gold Standard를 포기하자는 개념이 아닙니다. 오히려 그것을 포함한 다양한 선택지를 투명하게 제시하고, 충분한 설명과 동의 과정을 거쳐 함께 의사결정을 내리자는 접근입니다.

수의진료의 현실에서는 교과서적 정답이 항상 최선의 선택이 되는 것은 아닙니다.

문화와 환경에 따라 달라지는 임상 의사결정

Spectrum of Care의 범위조차 국가와 문화에 따라 달라질 수 있습니다.

최근 태국 방콕에서 열린 TAHSA 회의에 참석하며 이러한 차이를 다시 한번 체감할 수 있었습니다.

국민의 대다수가 불교를 믿는 태국에서는 살생을 지양하는 종교적 전통이 안락사에 대한 인식에도 영향을 미칩니다. 현지에서 만난 수의사들 가운데 상당수는 평생 안락사를 시행한 경험이 없었습니다.

이들에게 진료의 목표는 삶의 질을 유지하는 데 있으며, 안락사는 사실상 선택지에서 제외되는 경우가 많습니다.

반면 서구권 수의학에서는 안락사를 환자의 고통을 줄이기 위한 하나의 치료 선택지로 받아들이는 경우가 일반적입니다.

같은 말기 환자와 같은 예후를 두고도 국가와 문화에 따라 적절한 결정은 달라질 수 있습니다.

근거는 존재합니다. 하지만 동일한 근거 위에서도 상황과 가치관에 따라 여러 수용 가능한 선택지가 존재합니다. 이것이 실제 임상 현장의 모습입니다.

좋은 수의 AI는 임상 의사결정 지원 시스템이어야 합니다

이쯤 되면 방향은 분명해집니다.

좋은 수의 AI는 정답을 알려주는 신탁이 아닙니다.

정답을 아는 것은 출발점일 뿐이며, 그것만으로 더 나은 진료가 이루어지지는 않습니다.

우리가 지향하는 수의 AI는 환자의 상태뿐 아니라 보호자의 경제적 상황과 가치관, 나아가 사회적·문화적 맥락까지 고려할 수 있어야 합니다. 또한 각각의 선택지가 가진 장점과 한계를 명확하게 제시하고, 수의사가 이를 이해하고 설명할 수 있도록 지원해야 합니다.

결국 AI의 역할은 정답을 대신 결정하는 것이 아니라, 더 나은 의사결정을 지원하는 것입니다.

최종 결정은 언제나 사람의 몫입니다.

환자가 더 나은 결과에 도달하는 순간은 AI가 정답을 맞히는 순간이 아니라, AI의 도움을 받아 수의사와 보호자가 함께 가장 적절한 선택을 내리는 순간입니다. 벤치마크 점수에 주목하기 쉬운 시대입니다. 그러나 최근 연구들이 보여주듯, 시험을 잘 보는 AI와 실제 진료를 돕는 AI 사이에는 상당한 간극이 존재합니다.

그리고 그 간극을 메우는 것은 더 높은 정답률만이 아닙니다. 더 나은 상호작용, 더 깊은 맥락 이해, 그리고 신뢰할 수 있는 임상 의사결정 지원이 필요합니다. 그래서 Veterinary AI의 핵심 과제는 정답 생성이 아니라 임상 의사결정 지원(CDSS)에 있습니다.

이는 춘옥컴퍼니에서 플랫폼을 만들어가는 방향이기도 합니다.