Barkodsuz ürünlerin tanınmasında derin öğrenmeye dayalı yaklaşımların uygulanması
The implementation of deep learning based approaches in the identification of barcod-free products
Yazar: FURKAN ATBAN
Danışman: DR. ÖĞR. ÜYESİ HAMZA OSMAN İLHAN
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Makine öğrenmesi = Machine learning ; Sınıflandırma = Classification ; Ödeme yöntemleri = Payment methods

Özet:
Derin öğrenme ağları günümüzde farklı disiplinlerde uygulanan ileri düzey makine öğrenimi yaklaşımları olarak tanımlanabilir. Görüntülerin analizinde, derin öğrenme ağlarıyla sektörel çözümler için çalışmalar yapılmıştır. Farklı teknolojik yaklaşımlara sahip sistemler geliştirilmiş ve pratik alanda uygulanmaya başlanmıştır. Mevcut çalışmalar ürünler bazında incelendiğinde nesne sınıflarının sınırlı olduğu çalışmalardır. Çalışmaların kapsamı, tek ürün çeşidi bazında ilgili ürünün kendi içerisinde kalite, büyüklük gibi nitel ve nicel sınıf çıktıları üzerinden sınıflandırılması açısından kısıtlıdır. Tez çalışmasında, çalışmaya özel olarak hazırlanmış, kuruyemiş, bakliyat ve şekerleme ürünlerine ait alt başlıkları içeren 30 sınıftan oluşan MAKBUL veri kümesi üzerinde çoklu model içeren kollektif öğrenme kapsamında gerçekleştirilen hibrit bir sınıflandırma yaklaşımı önerilmiştir. Bu kapsamda ilk olarak, literatürde tanımlanan farklı derin öğrenme ağlarının, perakende sektöründe önemli bir aşama olan kasada barkodsuz ürün tanıma ve ürünün otonom ücretlendirilmesi aşamasında kullanımı için sınıflandırma performansları değerlendirilmiştir. Sunulan çalışmada, farklı derin öğrenme ağlarının sınıflandırma sonuçlarına ek olarak, bu mimariler sadece özellik çıkarımı amacı ile de uygulanmıştır. Bu aşamada, çıkarılan tüm öznitelikler, önerilen özellik seviyesinde
füzyon yaklaşımıyla birleştirilerek yeni öznitelik matrisi ortaya çıkarılmıştır. Bu yaklaşımın uygulanabilirliği Çalışma 1 başlığı altında gösterilmiştir. Önceden eğitilen her bir ağ mimarisinden elde edilen özel bireysel öznitelikler ve bireysel özniteliklerin birleşimi olarak belirtilen öznitelik füzyon matrisi, destek vektör makineleri kullanılarak tekrar sınıflandırılmış ve performans çıktıları elde edilmiştir. Çalışma 2 kapsamında, derin öğrenme ağ mimarilerin, farklı hiper parametre seçimleriyle oluşturulan deney sonuçlarına bakıldığında en iyi performansın DenseNet201 ile %96'lık doğruluk değeri olarak ölçüldüğü görülmüştür. Çalışmada kullanılan her bir ağdan çıkarılan özel bireysel özniteliklerin, ayrı şekilde SVM sınıflandırıcısını beslemesi sonucunda, en yüksek doğruluk değerinin %96,07 olarak EfficientNetB3 ile elde edildiği görülmüştür. Özellik düzeyinde füzyon yaklaşımıyla elde edilen SVM sınıflandırma sonuçları, önerilen yaklaşımın başarıyı %96,56'lik doğruluk değerine çıkardığını göstermiştir. Elde edilen sonuçlar, perakende sektöründeki barkod içermeyen ve poşete doldurma usulü ile satışı yapılan ürünlerin sınıflandırılarak, ödeme süreçlerini otonom hale getirecek sistemin günlük hayatta kullanılabilirliğini göstermektedir.

Abstract:
Deep learning networks can be defined as advanced machine learning approaches applied in different disciplines today. In the analysis of images, studies were carried out for sectoral solutions with deep learning networks. Systems with different technological approaches have been developed and started to be applied in the practical field. When the existing studies are examined based on products, they are studies in which object classes are limited. The scope of the studies is limited in terms of classifying the related product based on a single product type, based on qualitative and quantitative class outputs such as quality and size. In the thesis study, a hybrid classification approach is proposed, which is carried out within the scope of collective learning with multiple models on the MAKBUL dataset, which consists of 30 classes containing sub-titles of nuts, legumes, and confectionery products specially prepared for the study. In this context, firstly, the classification performances of different deep learning networks defined in the literature were evaluated for the use of barcode-free product recognition at the checkout and autonomous pricing of the product, which is an important stage in the retail sector. In the present study, in addition to the classification results of different deep learning networks, these architectures are also applied for the purpose of feature extraction only. At this stage, a new feature matrix is created by combining all extracted features with the
proposed feature-level fusion approach. The applicability of this approach is demonstrated in Study 1. Special individual features obtained from each pre-trained network architecture and the feature fusion matrix, specified as a combination of individual features, are reclassified using support vector machines, and performance outputs are obtained. In the study 2, when the experimental results of different deep learning network architectures were examined with different hyperparameter selections, it was seen that the best performance was measured with DenseNet201 with an accuracy value of 96%. As a result of the special individual features extracted from each network used in the study, feeding the SVM classifier separately, it was seen that the highest accuracy value was obtained with EfficientNetB3 as 96.07%. The SVM classification results obtained with the feature-level fusion approach showed that the proposed approach increased the success to 96.56% accuracy. The results show the usability of the system in daily life, which will make the payment processes autonomous by classifying the products that do not contain barcodes in the retail sector and are sold with the bag-filling method.