DentalX: Context-Aware Dental Disease Detection with Radiographs
(Zhi Qin Tan, Xiatian Zhu, Owen Addison, Yunpeng Li)
깃허브 주소: https://github.com/zhiqin1998/DentYOLOX
퍼블릭 데이터셋 (논문 참조 [18]번) A. Fatima, “Dental-Caries-Segmentation,” 2022,
-> https://github.com/anumfatima427/Dental-Caries-Segmentation
1. Abstract
기존 문제
-치과 방사선 사진에서 질병 진단을 시각적으로 하는 건 어렵다 (병변 경계가 불분명하고 중증도간 차이가 미세하다, 전문가 사이에서도 판독 불일치가 크다)
- 기존 딥러닝 모델(Faster R-CNN, YOLO)는 고양이 vs 개 같은 명확한 물체 구분에 최적화되어 있으나 치과 질병처럼 회색 음영 차이는 취약하다
제안 방법
-치아 해부학 구조(법랑질, 상아질, 뼈 등) 를 활용해 두 작업(질병 탐지 + 해부학 분할)을 동시에 학습한다. Structural Context Extraction (SCE)
-특정 치과질환은 특정 치아 구조에서만 나타난다
- 1~2등급 치아 우식증 → 법랑질(enamel) 에만
- 3~5등급 우식증 → 상아질(dentin) 침범
- 치주 골 소실 → CEJ 주변
제안 모델: DentalX
구강구조정보를 활용하는 구조적 문맥추출 모듈
3. Method (방법론)
3.2 Model Architecture (모델 구조)
(1) FPN Backbone: 이미지에서 중요한 특징을 추출
-Feature Pyramid Network- 입력된 엑스레이 사진을 분석해 P3, P4, P5라는 세 가지 크기의 특징 지도(Feature Map)를 만듭니다. P3가 가장 해상도가 높고 자세한 정보를 담고 있습니다.
(2) SCE Module (Structural Context Extraction Module)-> -Auxiliary Output
-Auxiliary Task(보조 작업)인 Semantic Segmentation수행
-치과 방사선 영상의 Anatomy(해부학적 구조)를 6개의 클래스(Enamel, Dentin, Root Dentin, Pulp, Bone, Implant)로 구분하여 분할 지도 출력 ->어느 부위인지
-> 결과물은 Classification(분류) 헤드로
(3) Disease Detection Branch; 실제로 질병(충치, 골 손실 등)을 찾아냄
FPN 특징 지도 수신: FPN Backbone으로부터 P3, P4, P5입력받고 정제함
- Decoupled Head (분리된 헤드) 구조
작업 분리:
1) Classification Head: 질병 종류 판별- SCE 모듈에서 온 구조 정보와 결합해(Concat) 20가지 질환 클래스에 대한 확률을 계산해 어느 부위 병인지 판단--"여기는 '잇몸뼈' 근처니까 이 그림자는 '골 손실'일 확률이 높다"거나 "여기는 '상아질' 내부니까 3단계 충치다"
2) Box Regression Head: 위치와 크기 특정 : 질병 부위를 감싸는 사각형 틀인 Bounding Box의 좌표 예측
3) Objectness Head: 존재 여부 확신도 역할: 배경과 실제 질병 부위를 구분하여, 예측된 결과가 얼마나 믿을만한지 점수(Confidence Score)를 매김
-> 모델 수렴 속도, 탐지 성능 좋아짐
4. 최종 출력 (Primary Output)
-Objectness score: 질병이 존재할 확률
-Bounding box: 질병 부위의 위치 좌표
-Class probabilities: 20가지 질환 유형 중 어디에 해당하는지에 대한 확률
3.3 Joint Learning with Partially Annotated Data
1.질병 탐지 데이터셋
-영국 런던 킹스 칼리지(King's College London) 치과 병원의 실제 환자 데이터- 3,463장의 구내 방사선 사진(Periapical Radiographs)을 사용
->전문가들이 직접 20가지 질병(충치 단계별, 골 손실 단계별 등)에 대해 상자(Bounding Box)를 그려 정답을 매김
2. 치아 구조 분할 데이터셋: 퍼블릭(Public)
-Dental-Caries-Segmentation 데이터셋 (논문 참조 [18]번) A. Fatima, “Dental-Caries-Segmentation,” 2022, https://github.com/anumfatima427/Dental-Caries Segmentation, Accessed: Mar. 22, 2024.
손실 함수 구조
-> 사진에 질병 정답이 있으면 질병 점수만 매기고, 구조 정답이 있으면 구조 점수만 매기자
한 번에 학습하는 데이터 묶음에는 두 가지 작업에서 온 샘플들을 똑같은 비율로 섞어서 넣고 각 샘플에 대해 학습 점수(손실 값)를 계산
만약 어떤 사진이 질병 탐지 데이터셋에 속한다면, 구조 분할에 대한 점수는 계산하지 않고 질병 탐지에 대한 점수만 계산합니다. 이 점수에는 질병 상자의 위치를 얼마나 잘 맞혔는지, 그리고 질병의 종류와 존재 여부를 얼마나 정확히 판별했는지가 포함됩니다.
반대로, 사진이 치아 구조 분할 데이터셋에 속한다면, 질병 탐지에 대한 점수는 계산하지 않습니다. 대신 사진의 각 픽셀 단위로 치아의 해부학적 구조를 얼마나 정확하게 색칠했는지를 바탕으로 구조 분할에 대한 점수만 계산합니다.
4. Experiments (실험)
YOLOX-S를 기본 뼈대(Backbone)로 사용
모델은 COCO 데이터셋으로 사전 학습된 가중치를 사용했으며, 총 100 에포크(Epoch) 동안 학습됨
평가 지표 (Evaluation Metrics):
탐지 성능->mAP (mean Average Precision)
분할 성능->mIoU (mean Intersection over Union)
4.1 Detection 성능
논문은 DentalX와 기존의 최신 모델들(Faster R-CNN, SSD, YOLOv5, YOLOX 등)을 비교
(e)GT가 정답!
네모 박스 = 질병이 있다고 모델이 판단한 위치
색깔 텍스트 = 질병 종류 (Caries Grade 3 (C3): 상아질까지 진행된 중등도 충치
Alveolar Bone Loss Grade 1~2 (L1, L2): 치조골(잇몸뼈)이 녹아내린 상태
Periapical Radiolucency (PR): 치아 뿌리 끝에 염증이 생겨 뼈가 검게 보이는 증상
Other: 보철물이나 기타 분류하기 어려운 치과적 소견
(a)Faster R-CNN- 박스 너무 많이 그림 Caries Grade 2 등->치아 구조에 대한 이해 없이 픽셀의 어두운 패턴에만 반응하기 때문
(b) YOLOX: 박스 너무 많이 그림 오진 많음
(c) DINOv3: 박스 너무 많이 그림 오진 많음 성능 수치가 30.3으로 가장 낮음
(d) DentalX (Ours): 정답에 가장 근접
치아 내부 조직(법랑질, 상아질, 치수 등)을 얼마나 잘 구분하는지 보여주는 그림
(f)GT가 정답!
(b) UNet: 치아 뿌리 끝이나 경계선이 뭉툭하고 부정확하게 표현됩니다.
(c) SETR, (d) PID net 치아 내부의 Pulp(치수, 갈색) 모양을 실제(f)보다 너무 가늘게 그리거나 뭉개뜨리는 경향이 있습니다.
(e) DentalX: 미세한 치아 관 구조까지 정답((f) GT)과 거의 완벽하게 일치하게 구분해냈습니다.
-전체적인 성능 향상: D특히 기본 모델인 YOLOX와 비교했을 때, mAP 지표가 40.7에서 45.9로 5.2포인트(약 12.8% 상대적 향상) 상승
-미세한 질병 탐지: 방사선 사진에서 구별하기 어려운 초기 충치(G1, G2)나 미세한 골 손실 단계에서 DentalX의 성능 향상
-오진 제거: 기존 모델들은 치아 사이의 겹친 부분이나 어두운 그림자를 질병으로 잘못 판단하는 경우가 많았는데 질병이 생길 수 없는 위치의 가짜 신호를 효과적으로 걸러냄
Ablation Study
1) 구조 정보 주입의 효과
구조 맥락 추출(SCE) 모듈을 추가했을 때와 그렇지 않았을 때의 성능을 비교한 결과 SCE 모듈을 통해 해부학적 구조 정보를 질병 탐지 브랜치의 분류 헤드에 결합했을 때, 탐지 성능이 40.7에서 45.9로 5.2포인트 향상됨
->위치적 맥락을 AI에게 알려주었을 때 진단 정확도가 올라간다.
2. 보조 작업(분할)의 기여도
우리는 질병 탐지만 단독으로 학습시킨 모델과, 구조 분할 작업을 보조 작업으로 함께 학습시킨 모델을 비교 보조 작업을 함께 수행했을 때, 모델의 백본(Backbone)이 치아의 해부학적 특징을 더 잘 추출하게 되어 최종 탐지 성능이 개선됨
3. 손실 함수 분리 학습의 타당성 (Joint Learning with Partial Labels)
탐지 데이터와 분할 데이터에 대해 각각 독립적인 손실 값을 계산하여 역전파하는 방식이, 두 작업 간의 간섭을 최소화하고 상호 보완적인 학습을 가능하게 함
5. Conclusion (결론)
치과 질병 탐지는 구조 맥락이 핵심
DentalX는:질병 + 해부학을 훈련 단계에서 결합 후처리 rule-based 방식보다 훨씬 효과적