그림 1. Grad-CAM으로 시각화한 뇌종양 탐지 모델[16] 

XAI는 모델이 오진한 사례를 분석하고 학습 데이터 편향을 교정하는 것에도 유용하다. 또한 의료 인공지능 분야에서 '교육용 AI'[17]도 꾸준히 탐구되고 있는 만큼 설명 가능성은 앞으로도 점점 더 중요해질 것이다. 어느 정도 숙련된 임상의가 주로 사용하게 되는 진단 보조 도구와 달리, 교육 도구는 아직 임상 경험이 거의 없는 의과대학생도 대상이 되는 만큼, 말 그대로 '모델이 사람을 학습시키기' 때문이다.

현재 규제기관에서 의료 인공지능에 대한 RCT를 필수로 요구하고 있지는 않다[18] 그러나 AI가 높은 정확도를 보인다고 하더라도, 또 다른 차원의 문제인 임상적 결과를 평가하기 위해, RCT는 필요하다. 병원에서의 결과는 AUROC(area under receiver operating characteristic curve) 점수가 아니라 결국 사망률, 생존률, 재발률, 입원일수 등일 것이며,[19] 이는 후향적 연구로도 조사할 수는 있지만, 결국 RCT로 가장 정확하게 알 수 있다. RCT는 또한 다양한 인종과 지역에 수행된다면 의료 인공지능의 형평성(equity) 문제 해결에도 도움이 될 수 있다.

이미 개발된 이미지 분석 모델의 투명성을 높이고 임상시험을 하는 것을 넘어서, 전에 없던 모델을 개발할 여지는 없는 것일까? 지금도 몇 가지 새로운 과제가 존재한다. 그 중 한 가지 토픽으로 '기회진단(opportunistic screening)'을 들 수 있다. 예를 들어 심초음파 영상으로부터 원래의 검사 이유와는 무관했던 만성 간 질환을 우연히 발견하는 식이다.[20] CV 알고리즘은 인간 의료진도 볼 수 없었던 의외의 특징(feature)을 검출하는 경우가 있기 때문에 가능한 접근이다. 그 외에도 기관 간 일반화(generalization), 지도 학습(supervised learning)을 위한 라벨링(labeling, annotation), 컴퓨팅 자원의 효율적 사용 등의 오래된 문제들 역시 당분간은 알고리즘의 개선으로 좀 더 풀어갈 필요가 있는 숙제가 될 것이다.

그러나 좀 더 본격적인 기술적 도약을 위해서는 아무리 CV에 관심이 많더라도 LLM에 대해서도 깊이 이해해야 하는 시대가 되어가고 있는 것은 사실이다. LLM의 발전 과정에서 등장한 진보된 알고리즘을 이미지 분석에 적용할 수 있기 때문이다. 뿐만 아니라 언어 모델 자체 또는 그 산출물을 이미지 분석과 융합하는 방향도 점점 더 조명받고 있다.

픽셀의 언어를 해독하라: 트랜스포머로 다시 쓰는 컴퓨터 비전

CV의 한 가지 중요한 기술적 돌파구로, 전통적인 CNN이 아닌 새로운 architecture를 사용하려는 시도가 이루어지고 있다. 이 중 최근 LLM이 착안하고 있는 transformer architecture를 적용하려는 시도가 Google, Microsoft등에서 지속적으로 이루어지고 있다.[21][22] Transformer architecture를 CV에 사용하고자 하는 이유는 2가지이다. 첫 번째로 transformer는 압도적으로 확장성 (scalability)이 좋기 때문에 대규모 데이터에 대한 학습과 일반화 성능이 뛰어나다. 둘째, 데이터 내 장기 의존성 (long-term dependency)을 파악할 수 있기 때문이다. 이외에도 NLP를 위하여 개발된 생태계(e.g. pre-trained model, 라이브러리, ASIC 칩)를 CV에 그대로 적용할 수 있다는 장점이 있을 것이다.

하지만 트랜스포머는 귀납적 편향(inductive bias) 측면에서는 CNN보다 불리한 면이 있다. CNN은 이미지의 평행 이동에 대한 등변성(equivariance), 2차원 구조의 보존, 그리고 다양한 스케일의 특징 분리(scale separation) 등에 강점을 가지지만, 트랜스포머는 이러한 성질을 기본적으로 갖추고 있지 않다. 더불어, 기본적인 트랜스포머의 self-attention은 계산 복잡도가 입력 길이의 제곱에 비례하기 때문에, 수많은 픽셀로 구성된 높은 해상도의 이미지 (~Gb 단위의 병리학 조직 슬라이드가 하나의 예시가 될 수 있겠다) 를 처리하기에는 비효율적일 수 있다. 이러한 한계점을 극복하기 위해서 이미지의 기하학적 특징을 반영하거나 계산 복잡도를 줄이는 다양한 변형 transformer 구조가 등장하고 있다.

Google Research에서는 자연어 분석에 사용되는 architecture를 CV에 적용할 수 있는 가능성을 최초로 포착하여 Vision Transformer (ViT)를 제안했다.[23] ViT에서는 이미지가 일정 픽셀의  “패치(patch)” 형태로 나뉘어져서 각 “패치”가  NLP에서 하나의 token과 대응하여 입력으로 사용된다. 이후 각 패치에서 선형 임베딩을 적용하고, positioning embedding을 더하여 트랜스포머에 입력한다. (그림 2 참조) 해당 모델은 데이터의 양이 상대적으로 적은 특화된 데이터셋에서는 CNN을 underperform한다. 하지만 ViT는 ChatGPT와 같이 높은 확장성을 지니고 있어 충분히 큰 데이터셋이 있는 경우 CNN을 압도한다. Google Research 팀에서는 ViT를 large scale dataset에서 pre-training을 시행한 이후, transfer learning을 하는 패러다임을 제시한다.

그림 2. Vision Transformer의 구조

한편 Microsoft Research에서는 ViT를 변주하여 Swin (Sliding Window) Transformer를 제시한다.[24] Swin Transformer는 ViT가 직면한 2가지 문제를 해결하기 위해서 만들어졌다. 첫 번째는 ViT는 각 패치 내에서는 단순한 선형 투영(linear projection)을 가하기 때문에 국소적인 이미지 특징을 반영하기에는 불리하다. 두 번째로, ViT는 각 패치를 1차원적으로 나열해 2차원적인 이미지의 특징을 반영하기가 어렵다. 이러한 문제점을 해결하기 위해서 Swin Transformer는 작은” 패치에서 시작하여 순차적으로 2차원적으로 인접한 주위 패치와 융합하는 방식의 계층적인 architecture를 채택한다. 이러한 방식을 통해 초기에는 국소적인 특징, 깊은 layer에서는 전역적인 특징을 반영할 수 있다. 나아가 같은 “규모”의 패치 내에서는 패치를 평행 이동(sliding window)하면서 CNN과 같은 기하적 등변성을 반영할 수 있도록 하였다.

그림 3. Swin Transformer와 ViT의 비교 

이러한 CV의 발전은 의료 이미지 분석, 특히 이미지의 분류 (classification), 분할 (segmentation)에 응용이 이루어지고 있다. 이를 바탕으로 조직 이미지로 악성 종양과 양성 종양을 감별하거나, 폐의 X-ray 이미지로 COVID-19와 다른 감염원을 감별할 수 있는 ViT와 Swin Transformer가 개발되고 있다.[25] 한편, 해당 architecture는 어디에 모델이 가중치를 부여하고 분석을 하였는지 attention에 대한 heat map을 추출할 수 있기 때문에 영상 이미지 진단의 설명 가능성 (explainability)에도 변화를 가지고 올 수 있을 것이라고 기대된다.[26]

원래 우리는 이미지와 텍스트를 같이 읽는다

수년간 GPT, PaLM, Claude, LLaMA 등의 대규모 언어 모델(LLM)은 인간 수준의 언어 이해와 생성 능력을 바탕으로 범용성과 전이학습의 효율성을 입증하며 파운데이션 모델의 중심축으로 자리매김했다. 이러한 LLM은 단일 모델로 요약, 번역, 질의응답, 코드 생성 등 다양한 작업을 수행하며 텍스트 기반 AI의 패러다임을 선도해 왔다. 그러나 인간처럼 세계를 인식하고 추론하려면 언어뿐 아니라 시각, 청각 등 다양한 감각 정보를 통합할 수 있는 능력이 필수적이라는 인식이 확산되었고, 이에 따라 시각과 언어를 연결하는 VLM(Visual Language Model)의 중요성이 높아졌다. 특히 CLIP, CoCa, Flamingo, GPT-4V 같은 모델들은 대규모 이미지-텍스트 데이터를 기반으로 멀티모달 표현 학습의 가능성을 보여주며, LLM을 중심으로 다른 모달리티를 연결하는 흐름을 강화하고 있다. 이처럼 LLM은 여전히 파운데이션 모델 생태계의 핵심으로서 기능하며, VLM은 그 위에 멀티모달 지능을 쌓아가는 중요한 축으로 빠르게 진화하고 있는 상황이다.

요즈음, LLM의 성능이 향상되며, 의학적 맥락에서의 질문들도 꽤 정확하게 답변하는 foundation model들이 있다. 특히 일반적인 상황에서 문진을 기반으로 한 의학적 판단은 현재의 LLM도 꽤나 정확도가 높은 답변을 보인다. 그래서 요즘 많이 LLM을 medical 분야로 fine-tuning 시킨 모델들의 benchmark로 사용되는 것이 USMLE를 기반으로 하는 평가 metric이고, 이젠 레지던트/학생들보다 훨씬 높은 점수를 보여준다. 그럼에도 불구하고, 아직 의료에선 LLM이 활용되긴 어렵다고 판단되는 이유는 무엇일까? 일반적으로 사람들이 의사를 만나는 이유는 정확한 진단을 얻기 위한 것이다. 정확한 진단을 내리기 위해, 각종 Lab test도 진행하지만, 결국 청진/시진/영상검사를 진행한다. 이러한 문답 기반이 아닌, 다양한 감각을 이용한 정보 수집을 하는 것이 결국 의사를 아직도 “직관”이라는 거대한 해자로 AI의 위협에서 보호해주고 있는 게 아닌가 싶다.

이러한 가능성을 기반으로, 요즈음 많은 회사, 그리고 연구진들은 “소리”를 이용해 질병을 조기 예측하는 인공지능, “영상” 또는 “이미지” 데이터를 이용해 질병을 진단하고/연구하려는 시도를 계속하고 있다. 그중에서도 아직까진 미지의 영역이고, 최근 주목할만한, 것은 “병리학적 이미지”를 처리하는 방법론들이라고 생각된다. 그래서 이 글의 일부분은 “CONCH”라는 MIT 연구진에 의해서 제시된 VLM 모델을 설명하는데 할애하려고 한다.

현재 가장 널리 알려져 사용되는 VLM모델은 Open AI에서 제시된 CLIP(Contrastive Language–Image Pretraining)[27]이다. CLIP은 이미지와 텍스트를 각각 처리하는 이중 인코더 구조(dual encoder architecture)를 기반으로 한다. 하나는 이미지를 입력받아 임베딩하는 이미지 인코더이고, 다른 하나는 문장을 입력받아 임베딩하는 텍스트 인코더이다. 이 두 인코더는 각각의 입력을 같은 임베딩 공간으로 매핑하도록 학습된다. 학습의 핵심은 contrastive learning 방식으로, 주어진 이미지와 올바른 캡션 쌍이 서로 가장 가까운 위치에 오도록 하고, 잘못된 캡션들과는 멀어지도록 학습한다. 구체적으로는 하나의 미니배치 안에서 모든 이미지-문장 쌍 간의 코사인 유사도를 계산하고, 정답 쌍이 가장 높은 점수를 갖도록 cross-entropy loss를 사용한다. 이 과정을 통해 CLIP은 라벨 없이도 이미지와 텍스트 간의 의미적 연관성을 학습하며, 학습 이후에는 텍스트 프롬프트만으로 다양한 이미지 분류나 검색 작업을 수행할 수 있는 zero-shot 능력을 갖게 된다.

병리학은 기본적으로 조직 슬라이드를 분석하고(Vision), 다양한 의학적 맥락(병력)을 기반으로 암을 진단하는 학문이다. 특히, 같은 형태의 세포더라도, 이 환자의 병력/병변의 위치에 따라서 다른 진단으로 결론이 날 수도 있기 때문에, 병리학적 진단을 위해선 단순히 WSI(Whole Slide Image)만을 이용해 해석하는 Vision focused된 Transformer model만으로는 부족한 것이 사실이다.

CONCH(CONtrastive learning from Captions for Histopathology)[28]는 병리학 분야에서 이미지와 언어를 통합적으로 이해할 수 있는 멀티모달 파운데이션 모델의 필요성에 따라 개발되었다. 기존의 병리학 AI는 대부분 이미지 단독(WSI 기반)의 분석에 한정되었고, 특히 병리학 연구에서의 중요한 언어 정보(진단 보고서, 교과서적 설명 등)는 거의 활용되지 않았다. CONCH는 이러한 한계를 극복하고자 117만 개 이상의 병리 이미지–캡션 쌍을 구축하고, 이를 기반으로 task-agnostic한 사전학습을 진행했다. 데이터 수집과정에서는 PMC 논문, 교육자료 등에서 다중 이미지 패널을 자동으로 분할하고, 캡션을 문맥에 맞게 나누고, 이미지와 문장을 정렬하는 자동화 파이프라인을 개발해 대규모 고품질 학습 데이터를 확보했다. 모델 구조는 Google의 CoCa 프레임워크를 기반으로 하여, 이미지 인코더, 텍스트 인코더, 멀티모달 디코더를 포함하고 있으며, contrastive loss와 captioning loss를 함께 최적화하여 이미지–텍스트 간 의미 정렬과 문장 생성을 동시에 학습한다. 학습된 CONCH는 병리학의 주요 작업인 슬라이드 분류, 조직 패턴 분류, 희귀 질환 식별, 이미지–텍스트 검색, coarse segmentation 등의 다양한 작업에서 기존 SOTA 모델들(PLIP, BiomedCLIP 등)을 능가하는 성능을 보여주었고, 특히 zero-shot, few-shot 환경에서도 강력한 성능을 발휘했다. 이처럼 CONCH는 단순한 병리 이미지 분류를 넘어서, 교육, 임상 의사결정 지원, 의료 검색 시스템 등 다양한 실질적 응용 가능성을 지닌 범용 비전–언어 플랫폼으로 주목받고 있다.

이때 CoCa[29]에 대해서도 짚고 넘어갈 필요가 있다. CoCa는 ViT 기반 이미지 인코더, Transformer 기반 텍스트 인코더, 그리고 이미지와 텍스트 정보를 함께 받아 문장을 생성하는 GPT-style 멀티모달 디코더로 구성되어, 이미지–텍스트 쌍을 의미적으로 정렬하는 contrastive loss(CLIP과 유사)와 이미지로부터 자연어 캡션을 직접 생성하는 captioning loss(GPT-style autoregressive 방식)를 동시에 학습함으로써, 단순한 매칭을 넘어 이미지 기반 문장 생성까지 가능한 범용 비전–언어 프레임워크이다.

그림 4. CoCa 프레임워크의 개요