Derin öğrenme kullanılarak perakende ürün tespiti /
Yazar: İSMAİL KÖSE
Danışman: PROF. DR. OĞUZ KAYNAR
Sivas Cumhuriyet Üniversitesi / Sosyal Bilimler Enstitüsü / Yönetim Bilişim Sistemleri Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilim ve Teknoloji = Science and Technology
Dizin: Derin öğrenme = Deep learning ; Evrişimli sinir ağları = Convolutional neural networks ; Nesne tanıma = Object recognition

Özet:
Derin öğrenme ve bu konudaki gelişmeler günümüzde insan yaşamındaki zor ve karmaşık olan birçok problemin çözümünde oldukça önemli bir yere sahip olmuşlardır. Özellikle bilgisayarlı görü konusu ; müşteriler için mağaza içi alışveriş yardımı, Google Lens tarafından kullanılan görsel ürün arama, mağazalarda kasaların ve kasiyerlerin kullanılmadığı mağazalar (Amazon Go), mağaza yönetimleri için gerçek zamanlı stok takibi ve mağazaların raf yerleşimlerini belirleyebilen  uygulamaların geliştirilmesiyle perakende süreçlerinin otomasyonunda oldukça önemli ve işlevsel bir araç haline gelmiştir. Geliştirilen bu akıllı uygulamaların temelinde, nesne tanıma uygulamalarının aksine çeşitli yeni zorluklar içeren ürün tanıma sorununa çözüm bulma çabaları yatmaktadır.
Ürün tanıma sorunu birçok ayrıntıya sahip benzer ürünleri tespit etmeyi amaçlayan bir sınıflandırma problemi olarak kabul edilebilir. Herhangi bir süpermarketteki aynı markaya ait ürünlerde bile şekil, ambalaj, paket boyutu gibi küçük görsel farklılıklar olması nedeniyle ayırt edilmeleri oldukça zor olan binlerce farklı paketlenmiş ürün olduğu düşünüldüğünde ürün tanıma işleminde ürün görsellerinin belirlenmesi oldukça büyük bir zorluk barındırmaktadır. Karşılaşılan diğer bir zorluk ise, eğitim setleri için elde edilen görsellerin stüdyo koşullarında ve her ürün için birkaç eğitim görseline sahip sınırlı sayıda veri kümesi olmasıdır. Bunun sonucu olarak araştırmacılar veri kümelerini genişletmek için gerçek bir perakende ortamında raftan ürün görüntüleri alınarak elde etmeyi tercih etmektedirler. Bu durumda ise elde edilen görüntülerde bulanıklık, düşük çözünürlük, kapanma, beklenmedik arka planlar vb. sorunları beraberinde getirmektedir.
Günümüzde nesne tanıma işleminin çözümü için çok katmanlı sinir ağlarının geliştirilmiş hali olan Evrişimsel Sinir Ağları (CNN-Convolutional Neural Network) kullanılmaktadır. Yapılan çalışmalarda CNN'lerin, görüntü üzerindeki nesnenin tespit edilmesi ve sınıflandırılması problemlerinde oldukça iyi sonuçlar verdiği görülmüştür.
Derin öğrenme tabanlı nesne tanıma yöntemleri kullanılarak geliştirilecek otomatik ürün tanıma otomasyonları, insan merkezli sistemler düşünüldüğünde gerek zaman tasarrufu gerekse güvenilirlik bakımından hem daha ekonomik hem de sosyal ilerleme için büyük öneme sahiptir. Görüntüleme sistemleri kullanılarak elde edilen görüntüler ile ürün tanıma, bilgisayarlı görü konusunda oldukça zorlu bir iştir. Ancak nesne tanıma kullanılarak geliştirilecek otomasyonlar sayesinde otomatik ödeme, stok takibi, planogram uyumluluğu ve görme engelli yardımı gibi birçok konu çok hızlı ve yüksek başarı oranıyla çözüme kavuşturulabilecektir.
 Bu çalışmada, literatürdeki nesne tanıma işleminin çözümü için kullanılan derin öğrenme yöntemleri ve nesne tanımada karşılaşılabilecek sorunlar incelenmiş, nesne tanıma işlemi, özel bir konu olan süpermarket raflarındaki perakende ürünlerin tespitinde kullanılmıştır. Yapılan bu çalışma ile süpermarket raf resimleri kullanılarak raflardaki ürünlerin etrafına sınırlayıcı kutular çizilerek ve ürünlerin tespit edilmesi amaçlanmıştır. 
Bu çalışmada popüler derin öğrenme yöntemlerinden YOLOv5 ve Faster R-CNN kullanılmış, bu yöntemlerin başarımları ve karşılaşılabilecek problemler ile ilgili değerlendirmeler yapılmıştır.
 
Anahtar Kelimler: Derin Öğrenme, Nesne Tanıma, Derin Öğrenme Modelleri, Evrişimsel Sinir Ağı, YOLO, Faster R-CNN

Abstract:
Deep learning and developments in this field have a very important place in solving many difficult and complex problems in human life today. Especially the subject of computer vision; It has become a very important and functional tool in the automation of retail processes with the development of in-store shopping assistance for customers, visual product search used by Google Lens, stores where cashiers and cashiers are not used in stores (Amazon Go), real-time inventory tracking for store management and the development of applications that can determine the shelf placement of stores. has arrived. On the basis of these developed smart applications, there are efforts to find solutions to the problem of product recognition, which includes various new challenges, unlike object recognition applications.
The product identification problem can be regarded as a classification problem that aims to identify similar products with many details. Considering that there are thousands of different packaged products that are difficult to distinguish due to small visual differences such as shape, packaging, package size, even in products of the same brand in any supermarket, identifying product images in the product recognition process poses a great challenge. Another challenge is that the images obtained for the training sets are limited in studio conditions and with a few training images for each product. As a result, researchers prefer to obtain off-the-shelf product images in a real retail environment to expand their dataset. In this case, blur, low resolution, closure, unexpected backgrounds, etc. in the images obtained. brings with it problems.
Today, Convolutional Neural Networks (CNN - Convolutional Neural Network), which is the developed version of multi-layered neural networks, are used for the solution of object recognition. In the studies, it has been seen that CNNs give very good results in the problems of detecting and classifying the object on the image.
Automatic product recognition automations, which will be developed using deep learning-based object recognition methods, are of great importance for both economic and social progress in terms of both time saving and reliability when human-centered systems are considered. Product recognition with images obtained using imaging systems is a very challenging task in computer vision. However, thanks to the automations to be developed using object recognition, many issues such as automatic payment, stock tracking, planogram compatibility and assistance for the visually impaired will be solved very quickly and with a high success rate.
 In this study, deep learning methods used for the solution of the object recognition process in the literature and the problems that may be encountered in object recognition were examined, and the object recognition process was used in the detection of retail products on the supermarket shelves, which is a special subject. With this study, it is aimed to identify the products by drawing bounding boxes around the products on the shelves using supermarket shelf pictures.
In this study, YOLOv5 and Faster R-CNN, which are popular deep learning methods, were used, and the performances of these methods and the problems that could be encountered were evaluated.

Keywords: Deep Learning, Object Recognition, Deep Learning Models, Convolutional Neural Network, YOLO, Faster R-CNN