Dental panoramik radyografilerde derin öğrenme tabanlı segmentasyon yaklaşımları
Deep learning based segmentation approaches on dental panoramic radiographies
Yazar: NİDA KUMBASAR
Danışman: PROF. İBRAHİM YÜCEL ÖZBEK
Atatürk Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Amaç: Panoramik Radyografi (PR), dental radyolojide hastalıkların tanı-tedavi sürecinde yaygın olarak kullanılan tıbbi görüntüleme aracıdır. PR'de anatomik yapıların otomatik segmentasyonu, nüfus yoğunluğu fazla olan bölgelerde diş hekimlerinin verimliliğini artırmakta ve hastaların tedavi sürecini hızlandırmaktadır. Öte yandan gerçek hayatta üç boyutlu anatomik yapıların PR üzerinde iki boyutlu forma dönüşmesi bozulmalara ve üst üste binmelere sebep olmaktadır. Gri seviyeli ve kontrastı düşük PR görüntülerinde ayırt ediciliğin az olması segmentasyon işlemini zorlaştırmakta ve segmentasyon başarısını diş hekiminin tecrübesine bağlı kılmaktadır. Yüksek düzeyde hesaplamalı donanımın makinelere entegre edilmesiyle yapay zeka tabanlı derin öğrenme, dental alanda da problem çözme ve karar verme görevlerinde giderek daha fazla tercih edilmektedir. PR'nin radyasyonun düşük, maliyetinin az olması ve hızlı sonuç vermesi sebebiyle hemen hemen her hastadan ön tanı amacıyla temin edilmesi; PR görüntülerinin birikim hızını artırmış ve derin öğrenmenin ihtiyaç duyduğu verilere erişimi kolaylaşmıştır. Bu tez PR üzerinde "çene segmentasyonu" ve "diş segmentasyonu" olmak üzere 2 ana bölümden oluşmaktadır. Tez kapsamında, kemik erimesi ön tanısına yardımcı çene segmentasyonu ve diş değişim döneminde süt dişlerine sahip çocuk hastaların dişlerinin segmentasyonu çeşitli derin öğrenme yaklaşımları ile ele alınmıştır.
Yöntem: Çene segmentasyonu için alt çeneye ait mandibula kemik bölgesinden ve alt-üst
çeneyi içeren maksillomandibular bölgeden oluşan iki farklı veri seti üzerinde 3 farklı son
teknoloji yaklaşımı; tekli modalitede ve önerilen çoklu modalitelerde, farklı eşikleme değerinde
performans bakımından karşılaştırılmıştır. Piksel seviyesinde sert ve yumuşak etiketler karar
seviyesinde çeşitli mantıksal-matematiksel operatörlerle füzyon işlemine tabi tutulmuştur. Öte
yandan diş segmentasyonu için PR görüntülerine orijinal boyuta ek olarak yama bazlı yaklaşım
geliştirilerek giriş verisinin farklı boyutlardaki yama formunda performansı 5 farklı derin
öğrenme yaklaşımı ile incelenmiştir.
Bulgular: Yapılan deneysel çalışmalar sonucu çene segmentasyonu probleminde her iki veri
seti için, önerilen "yumuşak etikette ortalama tabanlı karar füzyonu"nun modaliteler arasında
en yüksek perfromansa sahip olduğu gözlemlenmiştir. Bununla beraber ikili görüntüye
dönüşüm esnasında segmentasyon performansını artıran daha düşük bir eşik değer
belirlenmiştir. Diş segmentasyonu için giriş görüntüsünün orijinal boyuttan ziyade yamalara
ayrılmasıyla hem veri sayısı artırılmış hem de model öncesi boyut küçültme esnasındaki
bozulmaların önüne geçilmiş daha doğru tahmin sonuçları elde edilmiştir.
Sonuçlar: PR üzerinde geniş yer kaplayan, manuel olarak zaman alıcı veya uzmanlık
gerektiren çene ve diş bölgelerinin segmentasyonu; model girişine - çıkışına bağlı geliştirilen
yaklaşımlarla daha perfromanslı şekilde gerçekleştirilmiştir.
Anahtar Kelimeler: derin öğrenme, çene segmentasyonu, diş segmentasyonu, panoramik
radyografi, yumuşak etiket füzyonu, yama bazlı yaklaşım

Abstract:
Purpose: Panoramic Radiography (PR) is a widely used medical imaging tool in the diagnosis-treatment process of diseases in dental radiology. The automatic segmentation of anatomical structures in PR increases the efficiency of dentists in densely populated areas and accelerates the treatment process of patients. On the other hand, in real life, the conversion of three-dimensional anatomical structures into two-dimensional form on PR causes distortions and overlaps. The lack of discrimination in gray-level and low-contrast PR images makes the segmentation process difficult and makes segmentation success dependent on the experience of the dentist. With the integration of highly computational hardware into machines, artificial intelligence-based deep learning is increasingly preferred for problem solving and decision-making tasks in the dental field. The fact that PR is available for preliminary diagnosis from almost every patient due to its low radiation, low cost and fast results has increased the rate of accumulation of PR images and facilitated access to the data needed by deep learning. This thesis consists of 2 main chapters on PR: "jaw segmentation" and "teeth segmentation". Within the scope of this thesis, jaw segmentation for preliminary diagnosis of osteoporosis and segmentation of teeth of pediatric patients with deciduous teeth during the tooth replacement period are addressed with various deep learning approache
Method: For jaw segmentation, 3 different state-of-the-art approaches are compared in terms
of peak performance at different thresholding values in the single modality and the proposed
multimodalities on two different datasets consisting of the mandibular bone region of the lower
jaw and the maxillomandibular region including the upper and lower jaw. At the pixel level,
hard and soft labels are fused with various logical-mathematical operators at the decision level.
On the other hand, for tooth segmentation, a patch-based approach was developed for PR
images in addition to the original size and the performance of the input data in the form of
patches of different sizes was observed with 5 different deep learning approaches.
Findings: As a result of the experimental studies, it is observed that the proposed "soft label
mean-based decision fusion" has the highest performance among the modalities for both
datasets in the jaw segmentation problem. However, a lower threshold value is set which
improves the segmentation performance during the conversion to binary image. For tooth
segmentation, patching the input image into patches rather than the original size increases the
number of data and prevents distortions during pre-model downsizing, resulting in more
accurate prediction results.
Conclusions: Segmentation of jaw and tooth regions, which occupy a large area on the PR and
are manually time-consuming or require expertise, was performed more efficiently with the
approaches developed based on model input and output.
Keywords: deep learning, jaw segmentation, tooth segmentation, panoramic radiography, soft
label fusion, patch-based approach
s.