Product Recognition with a Graphical Shelf Model

Recently, retail product recognition has become an interesting computer vision research topic. The classification of products on shelves is a very challenging classification problem because many product classes are visually similar in terms of shape, color, texture, and metric size. In shelves, same or similar products are more likely to appear adjacent to each other and displayed in certain arrangements rather than at random. The arrangement of the products on the shelves has a spatial continuity both in brand and metric size. By using this context information, the co-occurrence of the products and the adjacency relations between the products can be statistically modeled. In this work, we present a context-aware hybrid classification system for the problem of fine-grained product class recognition. The proposed hybrid approach improves the accuracy of the context-free image classifiers, by combining them with a probabilistic graphical model based on Hidden Markov Models. The fundamental goal of this paper is to use contextual relationships in retail shelves to improve accuracy of the product classifier. Keywords—Context-aware Classification, Probabilistic Graphical Model, Hidden Markov Model. I. G İRİŞ Bilgisayarla görme yöntemleri ile tasarlanan perakende ürün tanıma uygulamalarına olan ilgi gün geçtikçe artmaktadır. Perakende ürün tanıma sistemi müşteriler tarafından önceden hazırlanan listeye göre yardımcı alışveriş mekanizmasında kullanılabileceği gibi aynı zamanda üreticiler için de önem taşımaktadır. Üreticiler, market raflarındaki ürün düzenlemelerinin takibi, envanterin gerçek zamanlı yönetimi, stok fazlası ve biten ürünlerin tespiti gibi birçok konuda otomatik perakende ürün tanıma sistemlerine ihtiyaç duyarlar. Birbirine çok benzeyen nesnelerin sınıflandırılması bilgisayarlı görme alanındaki zorlayıcı problemlerden biridir [1], [2]. Marketlerde, çok sayıda şekil, renk, doku ve boyut açısından benzer görünüme sahip ürün sınıfları vardır. Ayrıca, ürün görüntülerinin ideal stüdyo ortamında değil de akıllı telefonlarla market ortamında toplanması farklı görüş açılarından görüntü toplama, bulanıklık, çeşitli engellerle ürünün kapanması, beklenmeyen arka plan parçaları ve farklı aydınlatma koşulları gibi pek çok sorunları da beraberinde getirmektedir. Toplanan görüntülerdeki bu gibi karmaşıklıklar ürün tanıma problemini daha da zor hale getirmektedir. Bu nedenle, sadece ürün görüntüsünden elde edilen bilgiye dayalı tasarlanan ürün sınıflandırma sistemleri bu problem için yeterli olamayabilir. Perakende sektöründe, raflardaki ürünler rastgele değil belli bir düzene göre sıralanır. Market ve satış potansiyelini en üst düzeye çıkarmak için ürün dizilimlerini içeren planogram olarak adlandırılan bir diyagram kullanılır. Planogram, ürünlerin raflarda nasıl ve nerede bulunacağını gösterir. Genel olarak, planogramlarda, aynı veya benzer ürünlerin birbirine komşu olma olasılığı daha yüksek olduğu görülmektedir. Ürün yerleştirmelerde hem marka hem de ürün boyutu açısından belli bir düzen ve devamlılık vardır. Bu bağlam bilgisi bize belirli ürünlerin birlikte bulunma ihtimali ve ürün dizilimlerinin olasılıksal modelinin oluşturulması hakkında bilgi verir. Özellikle veri zorlu olduğunda, bu olasılıksal model perakende ürün sınıflandırma sistemlerinin performansını artırabilir. Son zamanlarda, perakende raflarda bulunan ürünlerin tanınması bilgisayarlı görme alanında popüler bir araştırma koŞekil 1: Önerilen sistemin akış şeması. nusu haline geldi [3]–[8]. Diğer uygulama alanlarında bağlam ve görüntüden elde edilen bilgiyi birleştiren hibrit yaklaşımlar olmasına rağmen, [9], [6]–[8] hariç literatürdeki perakende ürün sınıflandırma çalışmalarının birçoğunda ürün dizilimlerinden elde edilen olasılıksal model dikkate alınmamıştır. Bu bildiride önerilen metodun ana amacı perakende ürün sınıflandırma probleminde olasılıksal ürün dizilim bilgisini kullanmak olduğu için önerilen yöntem literatürdeki diğer çalışmalardan ayrılmaktadır. [3]’teki çalışmada perakende ürün sınıflandırılması için hiyerarşik bir algoritma önerilmiştir. İlk olarak, bir test görüntüsünün ait olabileceği olası sınıflar basit bir sınıflandırıcı ile filtrelenir. Sonra, test görüntüsü ve filtrelenmiş olası sınıflar arasında hızlı yoğun piksel eşleştirmesi uygulanır. Bu çalışma ürün dizilimlerini istatistiksel olarak modellemek yerine benzer ürünlerin yan yana geldiği varsayımında bulunmaktadır. Bu çalışmadaki deneysel sonuçlar ürün dizilimleriyle alakalı bilginin perakende ürün sınıflandırma üzerinde olumlu etkisi olduğunu göstermektedir. [7]’deki yaklaşımda, sahnedeki perakende ürünler arasındaki bağı modelleyen bir çıkarım grafiği modeli, Vi-Co-Net, önerilmiştir ve 62 farklı perakende üründen oluşan bir veri kümesi kullanılmıştır. Bu çalışmanın asıl amacı sınıflandırıcı doğruluğundan çok verimliliği üzerinedir. Bizim yaklaşımımızın aksine, bu yöntemde birbirine çok benzeyen ürünler seviyesinde değil de farklı kategorilere ait ürünlerin sınıflandırılması amaçlanmıştır. Bu bildiride, birbirine çok benzeyen perakende ürünleri sınıflandıran hibrit bir bilgisayarlı görme sistemi öneriyoruz. Önerilen sınıflandırma sistemi, sadece ürün görüntüsünden bilgiyi değil aynı zamanda ürün dizilimleri arasındaki olasılıksal çıkarımı da kullanarak sınıflandırma sonucunu iyileştirmeyi amaçlamaktadır. Raftaki perakende ürünleri bir dizi olarak görülebilir. Ancak, literatürdeki perakende ürün tanıma sistemlerinin ürün dizilim bilgisinin kullanılması çok sınırlıdır. Önerilen hibrit yaklaşım bağlam bilgisi kullanmayan sınıflandırıcıyı ürün dizilimlerini grafiksel olarak modelleyen saklı Markov (HMM) modelleri ile birleştirir. Önerilen ürün sınıflandırma sistemi hem ürün görüntüsünden gelen bilgiden hem de raftaki komşu ürün dizilimleri arasındaki ilişkiden elde edilen bilgiden yararlandığı için geleneksel yöntemlere göre daha başarılı sonuçlar verdiği görülmektedir. Bu çalışmanın erken bir sürümü İngilizce olarak [10]’da sunulmuştur. Bildirinin geri kalan kısmı aşağıdaki şekilde düzenlenmiştir: Bölüm II’de önerilen perakende ürün sınıflandırıcı ayrıntılarıyla açıklanmaktadır. Bölüm III’te deneylerde kullanılan zengin veri kümesi ve deney sonuçlarımız anlatılmaktadır.