Donanım tabanlı hızlandırılmış evrişimsel sinir ağı ile ultrason görüntülerinin çakıştırılması
Registration of ultrasound images using hardware based accelerated convolutional neural network
Yazar: SEDA GÜZEL AYDIN
Danışman: PROF. DR. HASAN ŞAKİR BİLGE
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu tez çalışmasında Ultrason-Ultrason (US-US) görüntü çiftleri arasındaki katı dönüşüm parametrelerinin tahmini için eğitilen Evrişimsel Sinir Ağının (ESA) çıkarım aşaması alanda programlanabilir kapı dizileri (FPGA) donanımı üzerinde gerçeklenmiştir. Çalışma iki aşamalı olarak gerçekleştirilmiştir. Birinci aşamada US-US B-mod görüntü çiftleri arasındaki katı dönüşüm parametrelerinin tahminini yapan ağın eğitimi yazılım tabanlı gerçekleştirilmiştir. Farklı hiper parametreler denenerek eğitimi tamamlanan ağın ağırlık parametreleri kaydedilmiştir. İkinci aşamada ESA modelini oluşturan evrişim, havuzlama, aktivasyon ve tam bağlantılı katmanlar teker teker donanım tabanlı tasarlanmıştır. Daha sonra yazılım tabanlı uygulamada kullanılan hiper parametre ve parametreler kullanılarak aynı model FPGA üzerinde çıkarım aşaması için katmanların birleştirilmesi ile gerçeklenmiştir. FPGA üzerinde tek duyarlıklı kayan noktalı sayı ve 32-, 28-, 20-, 18- ve 16-bit uzunluklarına sahip sabit noktalı sayı gösterim yöntemleri kullanılarak donanım kaynak kullanımı, hız ve hassasiyet parametreleri incelenmiştir. Hassasiyet parametresi yazılım tabanlı uygulamadan elde edilen değerlerin, donanım tabanlı elde edilen değerlerle ortalama kare hatası (Mean squared error, MSE), ortalama mutlak hata (mean absolute error, MAE), R-kare ve kök ortalama kare hatası (root mean squared error, RMSE) metriklerine göre değerlendirilmiştir. Bu değerlendirmeler sonunda en iyi hassasiyet, kaynak kullanımı ve hız dengesini sağlayan 20-bit sabit noktalı sayı gösterim yönteminin kullanılmasına karar verilmiştir. Katmanları ayrı ayrı tasarlanan ESA modelinde katmanlar arası ve katmanlar içi işlemlerin eş zamanlı yürütülmesi için eniyileme yöntemleri kullanılmıştır. Katmanlar arası işlemlerin kısmi eşzamanlı yapılabilmesi için veri akışı paralelliği, katman içlerinde ise döngü açma, döngü boru hattı ve dizi bölme eniyileme teknikleri kullanılmıştır. Uygulanan eniyileme tekniklerinden sonra FPGA tabanlı hızlandırılmış US-US B-mod görüntü çakıştırma parametrelerini tahmin eden ESA ağının (FUIR-CNN) ihmal edilebilecek bir miktarda hassasiyet kaybıyla beraber, yazılım tabanlı uygulamadan yaklaşık 139 kat daha hızlı sonuç ürettiği aynı zamanda da daha az güç tüketerek daha üstün bir performans sergilediği gösterilmiştir.

Abstract:
In this thesis, the extraction phase of the Convolutional Neural Network (CNN), which is trained for the estimation of rigid transformation parameters between Ultrasound-Ultrasound (US-US) image pairs, is implemented on the field programmable gate array (FPGA) hardware. The study was carried out in two stages. In the first stage, the training of the network, which estimates the rigid transformation parameters between the US-US B-mode image pairs, is carried out using software. The weight parameters of the network, whose training was completed by trying different hyper parameters, were recorded. In the second stage, The CNN model's convolution, pooling, activation, and fully connected layers are each uniquely designed based on hardware. Then, using the hyperparameters and parameters used in the software-based application, the same model was implemented on the FPGA by combining the layers for the extraction phase. Hardware resource utilization, speed and precision parameters were investigated by using single precision floating point number and fixed-point number representation methods with 32-, 28-, 20-, 18- and 16-bit lengths on the FPGA. The sensitivity parameter was evaluated according to the values obtained from the software-based application, with the values obtained from the hardware-based application, according to the MSE (Mean squared error), MAE (mean absolute error), R-squared and RMSE (root mean squared error) metrics. At the end of these evaluations, it was decided to use the 20-bit fixed-point number display method, which provides the best balance of precision, resource usage and speed. Optimization methods are used for simultaneous execution of operations between and within layers in the CNN model, in which layers are designed separately. Data flow parallelism is used to perform partial parallel operations between layers, while loop unrolling, loop pipelining and array partitioning optimization techniques are used within layers. After the applied optimization techniques, FPGA-based accelerated US-US image registration CNN network (FUIR-CNN) has been shown to exhibit superior performance by producing results approximately 139 times faster than the software-based application, with a negligible loss of precision, while consuming less power.