Bilgisayarla görme ve makine öğrenmesi yöntemleri kullanılarak market raflarında ürün tanıma
Product recognition on grocery shelves using computer vision and machine learning methods
Yazar: CEREN GÜLRA MELEK
Danışman: PROF. DR. SONGÜL VARLI ; DOÇ. DR. ELENA BATTİNİ SÖNMEZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Görüntü işleme-bilgisayarlı = Image processing-computer assisted ; İnsan-bilgisayar etkileşimi = Human-computer interaction

Özet:
Market raflarındaki ürünlerin görüntüden tanıması için akıllı bir sistemin kullanılması, perakendecilik sektöründe karşılaşılan planogram uyumluluğu, stok takibi ve müşteri desteği gibi birçok sorunun çözümüne fayda sağlar. Ürün tanıma probleminin normal bir nesne tanıma probleminden farklı olarak kendine has zorlukları vardır: (1) ürün çeşitliliğinin ve ürünler arasındaki benzerliklerin fazla olması, (2) ürün boyutlarının birbirinden çok farklı olması (3) yenilenen ambalajlar ve eklenen yeni ürünlere ait verilerin sürekli toplanması ve sisteme eklenmesi. Bu nedenle, problemin çözümü için geleneksel yöntemlerin tek başına kullanılması yeterli değildir. Bu tez çalışmasında önerilen çok aşamalı uçtan-uca süreç ile ürün çeşidinden bağımsız olarak ürünlerin algılanması ve farklı ölçek, döndürme ve afin değişmez özellik çıkarma yöntemlerinin hibrit kullanımı sayesinde market raflarında ürün tanıma probleminin zorluklarına çözüm üretilmiştir. Ürünün algılanması, sınıflandırılması ve sonuçların iyileştirilmesini içeren bu yöntem ile girdi olarak alınan bir raf görüntüsünde önceden tanımlanmış tüm ürünlerin lokalizasyon ve sınıflandırma sonuçları elde edilir. Ürün algılama aşamasında, görüntüdeki her bir mevcut ürünün lokalizasyonu SSD algoritması ile tespit edilir. Ürün sınıflandırma aşamasında, probleme uygun özellik çıkarma yöntemleri SURF, BRISK ve ORB'nin hibrit kullanımı ile ürün şablonları, ürün algılama aşamasından elde edilen bölge önerileriyle eşleştirilir. Son aşama olan iyileştirme aşamasındaysa, komşuluk ilişkisi eklenmiş kümeleme algoritması ile aynı ürüne ait çoklu bölge önerileri üzerinde iyileştirmeler yapılarak nihai sonuca ulaşılır. Geliştirilen yöntem, farklı sayıda ürün çeşidi ve görüntüden oluşan Grocery Products veri seti ve onun alt kümeleri olan GP-20, GP-181 veri setlerinde test edilmiştir. Ayrıca, ürün algılama aşamasında eğitim için Grocery Dataset ve SKU-110K'nın alt kümesinden bir eğitim seti oluşturulmuştur.
Bu tez çalışmasında, ürün çeşidinden bağımsız bir algılama süreci sağlandığından sürekli yenilenen ürün ambalajları ve eklenen yeni ürünlerden dolayı eğitim sürecinin tekrarlanması gerekmez. Ayrıca, hibrit bir ürün tanıma konseptiyle geniş ürün çeşitliliğinin market raflarındaki ürünlerin görüntüden tanınması probleminde yarattığı zorluğun üstesinden gelinmektedir. İyileştirme prosedürü ile güçlendirilen yöntemimiz, sunulan farklı yöntemlerle karşılaştırılır sonuçlar elde etmiştir.

Abstract:
Using an intelligent system to recognize products from grocery shelf images provide to solve many problems encountered in the retail industry, such as planogram compatibility, stock tracking and customer support. The product recognition problem, unlike a normal object recognition problem, has its own difficulties: (1) product diversity and similarities between products are high, (2) product sizes are very different from each other (3) constantly collecting and adding the data of renewed packaging and new products to the system. Therefore, the use of conventional methods alone is not enough to solve problem. In this thesis, the proposed multi-stage end-to-end process produces solution to the difficulties of product recognition problem on grocery shelves with a product-independent detection process and the hybrid use of different scale, rotation, and affine invariant feature extraction methods. The method which includes product detection, classification and refinement of results, returns the localization and label results of all predefined products in a shelf image that takes as input. In the detection phase, the localization of each existing product in the image is detected with SSD algorithm. In the classification phase, product templates are matched with the region proposals obtained from the detection phase with the hybrid use of problem-
appropriate feature extraction methods: SURF, BRISK and ORB. In refinement, the final result is achieved by making improvements on multiple region proposals for the same product with the neighborhood-related clustering algorithm. The developed method was tested on the dataset of Grocery Products and its subsets GP-20 and GP-181, which consists of different numbers of product types and images. Additionally, a training set was created from the Grocery Dataset and subset of SKU-110K for training in detection phase.
In this thesis, retraining process does not required due to constantly renewed packaging and newly added products because a product-independent detection is provided. Moreover, a hybrid product recognition concept overcomes the difficulty created by product diversity in the problem of product recognition from shelf images. Our method, enhanced by the refinement procedure, achieved comparable results with the different presented methods.