İstatistik tabanlı görüntü işleme ve kümeleme yöntemleri ile nesne tanıma
Object recognition using statistical image processing and clustering methods
Yazar: MUHAMMED MERT KAYALAN
Danışman: PROF. DR. AYÇA ÇAKMAK PEHLİVANLI
Mimar Sinan Güzel Sanatlar Üniversitesi / Lisansüstü Eğitim Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: İstatistik = Statistics

Özet:
Bu çalışmada, gıda israfını azaltmayı ve tüketicilere daha taze ürünler sunmayı hedefleyen yenilikçi bir akıllı buzdolabı sistemine yönelik bir uygulama üzerine odaklanılmaktadır. Özellikle bozulmaya yatkın domatesler üzerine yapılan bu araştırma, domateslerin bozulma süreçlerini erken aşamada tespit ederek tüketiciyi bilgilendirmeyi amaçlamıştır. Bu amaç doğrultusunda, domateslerin çeşitli olgunluk ve çürüme seviyelerini analiz edebilmek için iki aşamalı bir kendini düzenleyen haritalar (SOM - Self Organizing Maps) modeli geliştirilmiştir. 
Bu model, domateslerin olgunluk seviyelerini ve bozulma süreçlerini belirleyerek, kullanıcıya geri bildirim sağlamayı hedeflemektedir. Veri seti, internet kaynaklarından toplanan domates görselleri, domateslerin olgunluk seviyelerinden çürümeye kadar kaydedilmiş videolar ve düzenli aralıklarla çekilmiş fotoğraflardan oluşturulmuştur. Bu süreçte toplam 3.138 adet görsel, belirli kıstaslara göre etiketlenerek, taze, bayat, çürük şeklinde sınıflandırılmıştır. Bu veriler iki aşamalı bir SOM modeli ve diğer kümeleme algoritmalarıyla analiz edilmiştir. İlk aşamada, domateslerin üç farklı olgunluk seviyesine (taze, bayat, çürük) göre kümeleme yapılmıştır. Bu süreçte SOM modeli kullanılarak, yüksek boyutlu veriler düşük boyutlu bir topolojik haritaya dönüştürülmüş ve taze, bayat, çürük olmak üzere üç farklı küme oluşturulmuştur. Test seti üzerinde yapılan değerlendirmede, modelin genel doğruluk oranı 0,67 olarak hesaplanmıştır. Taze domateslerin sınıflandırılmasında daha yüksek bir başarı elde edilirken (duyarlılık 0,72), bayat domateslerin doğru sınıflandırılmasında (duyarlılık 0,40) zorluk yaşandığı gözlemlenmiştir. Bu durum, bayat domateslerin görsel özelliklerinin taze veya çürük domateslerle karışmasına neden olmuştur. İkinci aşamada ise domateslerin farklı zaman aralıklarında (0-7, 7-14, 14-30, 30+ gün) bozulma süreçleri kümeleme yöntemleri kullanılarak analiz edilmiştir. Her bir zaman aralığından görsel örneklemleri seçilerek ortalama vektörler hesaplanmış ve bu vektörler SOM modeli için başlangıç küme merkezleri olarak kullanılmıştır. Model, bu dört küme merkezine göre veri setindeki tüm görselleri kümeleyerek, domateslerin belirli zaman aralıklarındaki olgunluk durumlarını tespit etmeyi hedeflemiştir. Elde edilen genel küme saflığı (purity) değeri 0,51 olarak belirlenmiştir. Silhouette skoru ise 0,63 olarak hesaplanmış, bu da kümeler arasındaki ayrımın belirli bir düzeyde olduğunu göstermiştir. 
Sonuç olarak, geliştirilen bu iki aşamalı SOM modeli, domateslerin bozulma süreçlerini yüksek doğrulukla analiz edebilmekte ve gıda israfını azaltma noktasında önemli bir potansiyel sunmaktadır. Bu çalışma, yapay zeka ve makine öğrenimi tekniklerinin gıda kalitesini izleme ve sürdürülebilir tüketim alışkanlıkları geliştirme konusunda nasıl etkili araçlar olabileceğini göstermektedir. Gelecekte, modelin daha büyük veri setleri ve daha gelişmiş algoritmalarla güçlendirilmesi, farklı gıdaların bozulma süreçlerinin de analiz edilebilmesi için uyarlanabilirliğinin test edilmesi planlanmaktadır. Bu çalışmalar, gıda israfını azaltma ve tüketici sağlığını koruma çabalarında önemli bir ilerleme sağlayarak, gıda sektöründe sürdürülebilirlik ve verimlilik konularında yeni kapılar açabilir.

Abstract:
This study focuses on an innovative smart refrigerator system aimed at reducing food waste and providing consumers with fresher products. Specifically, the research targets tomatoes, which are prone to spoilage, with the objective of detecting spoilage processes at an early stage to inform consumers in a timely manner. To achieve this goal, a two-stage Self-Organizing Map (SOM) model was developed to analyze various ripeness and spoilage levels of tomatoes. This model aims to determine the ripeness stages and spoilage progression of tomatoes, providing feedback to the user.
The dataset was composed of images gathered from internet sources, including photos documenting the ripening stages to the spoilage of tomatoes and pictures taken at regular intervals. A total of 3.138 images were labeled and classified as fresh, edible, or spoiled, according to specific criteria. These images were analyzed using a two-stage SOM model and other clustering algorithms.
In the first stage, tomatoes were clustered into three different ripeness levels: fresh, edible, and spoiled. The SOM model was utilized to reduce high-dimensional data into a low-dimensional topological map, resulting in three distinct clusters. Evaluation on the test set revealed an overall accuracy rate of 0,67. The classification of fresh tomatoes achieved higher success (sensitivity 0,72), while the accurate classification of edible tomatoes (sensitivity 0,40) faced challenges. This was attributed to the overlap of visual features of edible tomatoes with those of fresh or spoiled ones, making differentiation difficult.
In the second stage, the spoilage process of tomatoes was analyzed using clustering techniques across different time intervals (0-7, 7-14, 14-30, and 30+ days). Visual samples were selected from each time interval to compute average vectors, which served as the initial cluster centers for the SOM model. The model then clustered all images in the dataset according to these four cluster centers, aiming to determine the ripeness status of tomatoes across specific time intervals. The overall cluster purity was found to be 0,51, while the silhouette score was 0,63, indicating a moderate level of distinction between the clusters.
In conclusion, the two-stage SOM model developed in this study shows promising potential for accurately analyzing the spoilage processes of tomatoes and contributing to the reduction of food waste. This research demonstrates the effectiveness of artificial intelligence and machine learning techniques in monitoring food quality and promoting sustainable consumption habits. Future work aims to enhance the model's accuracy by expanding the dataset and employing more advanced algorithms, as well as to test the adaptability of the model to analyze the spoilage processes of different types of food. Such advancements would mark significant progress in efforts to reduce food waste and protect consumer health, while opening new avenues for sustainability and efficiency in the food sector.