Ultrason görüntülerinde derin öğrenme yaklaşımıyla süper çözünürlük
Ultrasound image super resolution with deep learning approach
Yazar: HAKAN TEMİZ
Danışman: PROF. DR. HASAN ŞAKİR BİLGE
Gazi Üniversitesi / Bilişim Enstitüsü / Bilgisayar Bilimleri Ana Bilim Dalı
Derece: Doktora, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu çalışmada ultrason görüntüleme yöntemindeki düşük görüntü çözünürlüğü ve kalitesini iyileştirmek için Derin Öğrenme algoritmalarından yararlanılarak süper çözünürlük uygulanmıştır. Diğer yöntemlerden farklı olarak, süper çözünürlük, ultrason görüntülemenin son safhası olan B-mod görüntüler üzerinde uygulanmıştır. Bu maksatla, tasarlanan bir derin ağ (DECUSR ağı) 28 bine yakın ultrason görüntüsüne sahip bir eğitim kümesi ile 4 farklı (2, 3, 4 ve 8 kat) büyültme faktörü için eğitilmiş ve en iyi performans için optimize edilmiştir. DECUSR modelinin başarısı 8 adet görüntü kalitesi metriği ile literatürdeki diğer 7 yöntemle kıyaslanmıştır. Uygulanan yöntemin başarısı ayrıca tek yönlü varyans analizi (ANOVA) ve Welch t-testi ile de doğrulanmıştır. Sonuçlar derin öğrenme algoritmaları ile B-mod safhasında elde edilen süper çözünürlüğün diğer safhalarda ve yöntemlerle elde edilen çözünürlükten daha başarılı olduğunu gözler önüne sermiştir. İlave olarak, derin öğrenme ağlarının eğitilmesinde izlenecek en iyi yöntemin bulunması amacıyla; insan vücudunun belirli bir bölgesi veya organına ait görüntüler ile bir derin ağın yerel eğitilmesinin ya da her bölgeden rastgele alınan karma görüntüler ile eğitilmesinin ağın performansı üzerindeki etkileri kapsamlı bir deney düzeneğiyle araştırılmıştır. Bunun haricinde, eğitim verisi miktarının eğitimin başarısını nasıl etkilediği de irdelenmiştir. Neticede, yerel eğitim yapılmasının ağın başarısını artırmadığı, hatta kimi durumda rastgele karma görüntüler ile eğitim yapmanın daha başarılı sonuç verdiği ve derin ağların eğitimden edindiği bilgilerin eğitim bölgesinden bağımsız olduğu gösterilmiştir. Diğer taraftan, eğitimde kullanılan görüntü miktarının artırılmasının ağın performansına doğrudan katkı sağladığı da gözler önüne serilmiştir. İlave olarak, B-mod görüntüler üzerinde mi yoksa radyo frekans sinyali formatındaki ultrason verisi üzerinde mi uygulanan süper çözünürlüğün daha başarılı olduğu da ayrıca ele alınmıştır. Bulgular, B-mod görüntülerde elde edilen süper çözünürlüğün çok daha üstün olduğunu ortaya koymuştur. Bu çalışmadan elde edilen tüm sonuçlar B-mod ultrason görüntülerinde derin öğrenme ile süper çözünürlüğün ultrason görüntülemedeki düşük çözünürlük sorununun giderilmesinde umut vaat ettiğini göstermiştir.

Abstract:
In this study, the low image resolution and quality in the ultrasound imaging was improved by implementing the super resolution with Deep Learning algorithms. Unlike other methods, the super resolution is applied to B-mode images, which is the final stage of ultrasound imaging. For this purpose, a deep network (denominated as DECUSR) has been trained for 4 different (2, 3, 4, and 8 scales) magnification factors and optimized for the best performance with a training set consists of nearly 28 thousand ultrasound images. The success of the DECUSR network was compared with 7 other methods in the literature via 8 image quality metrics. The success of the applied method was also confirmed by one-way analysis of variance (ANOVA) and Welch's t-test. The results revealed that the super resolution obtained in the B-mode phase with deep learning algorithms is more successful than the resolution obtained in other phases or other methods. In addition, in order to find the best method to be followed in the training of deep learning networks; the effects of local training of a deep network with images from a specific region or organ of the human body, or, training with fused random images taken from each region were investigated with a comprehensive experiment. Apart from this, how the amount of training data affects the success of education was also examined. As a result, it has been shown that local training a deep network with a particular region does not improve its success. However, in some cases, training with fused random images yields more successful results. The information obtained by deep networks is independent of the training region. On the other hand, it has been demonstrated that increasing the number of training images directly contributes to the performance of the network. In addition, it is also examined whether the super resolution applied to B-mode images or ultrasound radio frequency signals is more successful. The findings revealed that obtaining the super resolution on B-mode images is much superior. All the results obtained from this study showed that the super resolution implemented by deep learning algorithms on B-mode ultrasound images is promising in eliminating the low resolution problem in ultrasound imaging.