İkili ağırlıklı ağ ve XNOR-ağ ikilileştirilmiş evrişimsel derin sinir ağlarının analizi
Analysis of binary weighted network and XNOR-net binarized convolutional deep neural networks
Yazar: EMİR ALİ DİNSEL
Danışman: DOÇ. DR. HALİFE KODAZ
Konya Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Evrişimsel derin sinir ağları (ESA), çoğunlukla görüntü tanıma ve görüntü tespiti işlemlerinde kullanılmakta ve etkileyici performanslar göstermektedir. ESA modellerinin boyutları gün geçtikçe daha da genişlemektedir. Bu sayede başarıları dolaylı olarak artırmakla beraber yüksek olan parametre sayıları, bellek ve işlem maliyetleri de artmaktadır. Bu yüksek bellek ve işlem maliyetinden dolayı gömülü sistemler, mobil aygıtlar, IoT (Nesnelerin İnterneti) gibi kısıtlı donanımlarda uygulanmasında problemler meydana gelmektedir. Bu problemler için çeşitli çözüm yolları geliştirilmektedir.
ESA'ların yüksek olan bellek ve işlem maliyetlerini azaltmak için ortaya sunulmuş yöntemlerden birisi ağı ikilileştirmektir. ESA'ların büyük bir çoğunluğunun efektif çalışabilmesi için GPU'lar (Grafik İşlem Birimi) gereklidir. Tek başına CPU'lar (Merkezi İşlem Birimi) yeterli olamamaktadır. İkilileştirilmiş yapay derin sinir ağları, GPU bağımlılığına çözüm sunulabilmekte ve orta – düşük performanslı CPU'larda da ESA'ların çalışmasına olanak sağlanabilmektedir.
Bu çalışmada, ağ ikilileştirme yöntemlerinden olan İkili Ağırlıklı Ağ (İAA) ve XNOR-Ağ yapıları incelenmiştir. CIFAR-10, CIFAR-100, MNIST ve SVHN veri setleri kullanılarak LeNet-5, AlexNet, VGG modelleri ve bu çalışma için özelleştirilmiş ağ modelleri ile belirtilen algoritmalar test edilmiştir. Klasik ondalıklı parametrelere sahip ağlarla doğruluk, işlem hızı, bellek maliyeti, enerji tüketimi gibi kriterler temel alınarak karşılaştırmaları yapılmıştır. XNOR-Ağ ile ESA'lar yaklaşık 58 kat daha hızlı çalışmaktadır. Hem XNOR-Ağ hem de İAA ile tek duyarlıklı kayan noktalı formata göre 32 kat, çift duyarlıklı kayan noktalı formata göre 64 kat bellek tasarrufu sağlanmaktadır.

Abstract:
Convolutional deep neural networks (CNN) are mostly used in image recognition and image detection processes and show impressive performances. The dimensions of CNN models are expanding day by day. In this way, while relatively increasing the successes, the high number of parameters, memory and transaction costs also increase. Due to this high memory and processing cost, problems occur in the limited hardware such as application of embedded systems, mobile devices, and IoT (Internet of Things). Various solutions are developed for these problems.
One of the methods introduced to reduce the high memory and processing costs of the CNNs is to binarize the network. GPU (Graphic Processing Unit) is required for most of the CNNs to work effectively. Only CPU (Central Processing Unit) is not enough. Binarized artificial deep neural networks can be solved for GPU dependency and make possible to operate the CNNs in mid - low performance CPUs.
In this study, BWN (Binary Weighted Network) and XNOR-NET binarized neural network structures are examined. LeNet-5, AlexNet, VGG models and the models which specialized for this study were tested using CIFAR-10, CIFAR-100, MNIST and SVHN datasets. Comparisons were made with networks with classical decimal parameters based on criteria such as accuracy, processing speed, memory cost and energy consumption. CNNs work approximate 58 times faster with XNOR-NET. With both XNOR-NET and BWN, it is provided with 32 times memory saving compared to single precision floating point format and 64 times memory saving compared double precision floating point format.