Planogram uyumluluğunun görüntü işleme teknikleri ile analizi
Determination of planogram compliance with image processing techniques
Yazar: ALİ İHSAN ÜSTÜN
Danışman: DOÇ. DR. UMUT ASAN
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Mühendislik Yönetimi Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Planogramlar perakende mağazalarında ürünlerin ideal raf dizilimlerini ve yerleşim
planını belirleyen modellerdir. Ürünlerin planograma uygun olarak dizilmesi
perakende mağazasının karlılığına ve gelirine pozitif etki yapmaktadır. Bu
planogramlar, pek çok analist ve stratejistin kullanıcı deneyimleri, insan psikolojisi,
tüketici alışkanlıkları, satış istatistikleri ve buna benzer pek çok faktörü
değerlendirmesi sonucunda oluşturulmaktadır. Örneğin bir mağazada şekerleme
reyonunun kasaya yakın tutulması, promosyonlu ürünlerin dikkat çekici afişlerle
vurgulanması bu planogram çalışmasının bir parçasıdır.
Pek çok mağaza bir planograma bağlı olarak raf yerleşimlerini yapmaktadır. Fakat
mağazalarda planograma uygun olarak dizilen ve yerleştirilen ürünlerin zaman içinde
dizilimi bozulmakta ve ürünler düzen dışına çıkmaktadır. Buna müşterilerin
inceledikleri ürünü aldıkları yere geri bırakmaması, ürünün stoğunun bitmesi veya
raftaki ürünlerin düşmesi ya da yönünün değişmesi gibi pek çok faktör sebep
olabilmektedir. Tüm bu sebeplerden kaynaklı planogram bozulmasının takibini
çoğunlukla mağaza personeli yapmaktadır. Bu oldukça maliyetli bir iştir. Çoğu
mağazada, mağaza personelinin müşterilere ve mağazanın işlerine ayırdığı zamanın
dışında ek olarak bu sorumluluğu üstlenmesi gerekmektedir. Personeller önce tüm
raflara ait planogramları bulduktan sonra bu planogramları referans alarak
mağazadaki rafları tek tek tarayıp uyumsuzluk olup olmadığını tespit etmeye
çalışmaktadır. Mağazadaki raf ve ürün sayısı göz önünde bulundurulduğunda ne
denli zahmetli ve hataya açık bir iş olduğu aşikardır.
Günümüzde görüntü elde etme imkanları oldukça yaygınlaşmış ve pek çok cihazın
içine kamera ya da fotoğraf makinesi yerleştirilebilir hale gelmiştir. Ayrıca artık
neredeyse herkesin cebinde fotoğraf çekebilme ve video kaydedebilme özellikli akıllı
telefonlar bulunmaktadır. Raf görüntülerinin belirli periyotlarla bu cihazlar aracılığı
ile alınıp kaydedildiği ve bu görüntüler üzerinde görüntü işleme teknikleri ile
raflardaki ürünlerin ve konumlarının tespit edilebildiği bir sistem planogram
uyumluluğunun insan gücü olmaksızın teknoloji odaklı tespit edilmesini
sağlayacaktır. Görüntü işleme teknikleri ve makine öğrenmesi algoritmalarının iç içe
kullanıldığı bilgisayarlı görüntü analizlerinde yüksek başarı oranı ile nesne tanıma
çalışmaları yapılabilmektedir.
Bu çalışmada, mağazadan elde edilen referans planogram, mağazada anlık
gözlemlenen raf görüntüleri ve rafta yer alan ürünlerin tekli referans görüntüleri
kullanılarak, görüntü işleme teknikleri yardımıyla planogram uyumluluğunun tespiti
üzerine bir sistem geliştirilmeye çalışılmıştır. Planogramdaki ve gözlenen raflardakiürünler görüntü işleme teknikleri yardımıyla, SIFT ve SURF öznitelik eşleştirme
yöntemleri ile tespit edilerek ve bu tespit edilen ürünlerin birbirleri ile oluşturdukları
komşuluk matrisleri kullanılarak planogram uyumluluğu tespit edilmeye çalışılmıştır.
Planogram uyumluluğunun teknoloji odaklı bir yöntemle tespit edilmesiyle
perakende mağazalarında verimlilik artışı sağlanması hedeflenmektedir. Mağaza
personellerinin asıl sorumluluğunun yanında takip etmeye çalıştığı planogram
uyumluluğu teknoloji yardımıyla tespit edildiğinde, personeller müşterilere daha
fazla vakit ayırıp asıl sorumluluklarına odaklanabileceklerdir. Bunun yanında
planogram uyumluluğu da insan takibine kıyasla daha yüksek bir doğruluk oranıyla
ve düşük maliyetle takip edilebilecektir.

Abstract:
Planograms are models that determine the ideal shelf arrangement and layout of
products in retail stores. Arrangement of products in accordance with the planogram
has a positive effect on the profitability and income of the retail store. These
planograms are created as a result of many analysts and strategists evaluating user
experiences, human psychology, consumer habits, sales statistics and many other
factors. For example, keeping the candy aisle close to the counter in a store and
emphasizing promotional products with remarkable posters are part of this
planogram study.
Many retailer make shelf layouts depending on a planogram. However, the products
arranged and placed in stores in accordance with the planogram are disordered over
time and the products go out of order. This can be caused by a number of factors,
such as customers failure to return the product they are examining to, where the
product has run out of stock, or if products on the shelf have fallen or changed
direction. All these reasons are mostly monitored by store personnel. This is quite
costly. In most stores, store personnel are additionally required to take on this
responsibility beyond the time they devote to customers and the work of the store.
First of all, the personnel find the planograms of the shelves and then try to find out
if there is any inconsistency by scanning these shelves one by one. Considering the
number of shelves and products in the store, it is obvious how troublesome and errorprone
this job is.
Nowadays, the possibilities of image acquisition have become widespread and
camera can be placed in many devices. In addition, smartphones are now available in
almost everyone's pocket for taking photos and recording videos. Thus, a system that
is able to take and record shelf images by such devices at certain periods and process
these images by image processing techniques to detect products and their positions
on the shelves will allow automatic planogram compliance checking without
manpower. In computer vision systems where image processing techniques and
machine learning algorithms are nested, object recognition studies can be performed
with high success rate.
In this study, a system is being developed to determine the planogram compliance.
The system, involving image processing techniques, uses reference planograms, shelf
images observed in the store and single reference images of the products on the shelf.
With the help of image processing techniques, the products in the planogram and the
observed shelves were determined by SIFT and SURF attribute matching methods
and the planogram compatibility was tried to be determined by using adjacent
matrices created by these determined products. By determining the compatibility of
planogram with a technology-oriented method, it is aimed to increase productivity in
retail stores. When the planogram compatibility that the store staff tries to follow
besides its main responsibility is determined with the help of technology, the staff
will be able to devote more time to the customers and focus on their main
responsibilities. In addition, planogram compatibility can be followed with higher
accuracy and lower costs compared to human tracking.
In this study, a system capable of determining planogram compatibility for the
shelves in retail stores has been developed by making use of only reference
planogram, observed shelf image and a model image information for each product. It
is an important achievement that such a study can be done with the image processing
techniques used in the system without requiring a large amount of data. In studies
using deep learning techniques such as CNN used in object recognition systems,
although the high success rate is generally achieved, the amount of data needed to
start the study is very large and this large data set requires the tagging effort to
include the test classes that are intended to be classified, so that it can be wider to use
this method. it requires time and more effort.
The thesis study consists of five sections. In the introduction section, which is the
first part of the thesis, a detailed definition of the problem that is the subject of the
thesis study has been made. The purpose of the study is mentioned and the feasibility
and cost of the solution that can be developed for the problem are mentioned.
In the literature research section, which is the second part of the thesis, the concept of
planogram is examined and its purpose and gains and planogram compatibility are
discussed. In other words, the importance and components of planogram
compatibility are mentioned and what problems can be contributed to the solution of
retail stores. In addition, the difficulties in the implementation of the planogram are
explained and the suggestions about the solutions that can be developed are
mentioned. The methods and algorithms used in image processing and computer
imaging techniques are mentioned in detail.
Object recognition algorithms used in image processing are expected to give
different results depending on factors such as the quality of the images, the light of
the environment, and the differences in perspective of the images to be compared. In
order to reduce the error detection scenarios related to these factors, the algorithm
that works best with the conditions of the situation should be selected. By using
normalization processes such as filtering of noises other than the products sought in
the images used as inputs, it may positively affect the stability and success rate of the
system.
In the third part of the thesis, the methods used for product recognition on store
shelves are mentioned. The algorithm details of each method are mentioned. The
methods were compared with each other and the pros and cons were evaluated.
In the fourth section of the thesis proposed method, the solution tried to be developed
in order to ensure planogram compatibility is mentioned. The steps of the designed
method are explained in detail, and a flow diagram summarizing the system's
operation is presented.
In the experimental study and results section, which is the fifth section of the thesis,
the details and results of the application designed using the method detailed in the
third section are mentioned. In the experimental study, planogram and shelf
compatibility were tried to be determined by using image processing techniques. The
location of the products was determined on the images taken under appropriate
conditions and neighborhood matrices were calculated. By comparing the neighbor
matrices of the rack and planogram, planogram compliance or incompliance was
determined.
In the last section of study, further researches and possible improvement has been
mentioned.
The determination of planogram compliance with the help of technology will have
direct effects such as more efficient use of human resources and cost savings in
stores and markets that work with the rack layout. By maintaining planogram
compliance, its indirect effect on sales will be better measurable.