Kamera tabanlı algılama sistemleri için yapay zeka tabanlı anomali tespiti
Artificial intelligence based anomaly detection for camera-based perception systems
Yazar: MUSTAFA KARACA
Danışman: PROF. DR. MEHMET BİLGİNER GÜLMEZOĞLU ; DR. ÖĞR. ÜYESİ UĞUR YAYAN
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Mühendislik Bilimleri = Engineering Sciences
Dizin: Endüstriyel robotlar = Industrial robots ; Görsel algılama = Visual perception ; Hata toleransı = Fault tolerance ; Sayısal görüntü işleme = Digital image processing ; Sayısal işaret üretme = Digital signal generation ; Yapay zeka = Artificial intelligence

Özet:
Kamera tabanlı algılama sistemleri günümüzde birçok kritik alanlarda ve görevlerde
kullanılan sistemler haline gelmiştir. Kamera üzerinde oluşan hata ve anomaliler ise insanlar,
ürünler ve çevre için büyük sorunlar veya zararlara sebebiyet verebilmektedir. Kamera
tabanlı sistemlerin güvenlik ve emniyeti için hataların ve anomalilerin tespiti önem
taşımaktadır. "Kamera Tabanlı Algılama Sistemleri için Yapay Zeka Tabanlı Anomali
Tespiti" isimli bu tez çalışması kapsamında, kamera tabanlı sistemlerde ortaya çıkan kritik
hata ve anomalilere neden olan gürültülerin yapay zeka yöntemleriyle sınıflandırılması
hedeflenmiştir. Bu bağlamda, VALU3S projesi kapsamında ele alınan Otomotiv şase kalite
kontrolü için otomatik robot kontrol hücresi, hata ve anomalilerin tespiti için bir kullanım
senaryosu olarak seçilmiştir. Bu tez çalışmasında, üretimde olan bir otobüs şasesinin dijital
ikizini simülasyon ortamında kullanarak, robotik kamera algılama sisteminden alınan
görüntüler üzerinde donanım veya yazılımdan kaynaklı gürültüler ile hata ve anomalileri
simüle etme çalışmaları yapılmıştır. Bu süreçte, otobüs şase kontrol sistemi aracılığıyla elde
edilen görüntülere gerçek hayatta sıkça karşılaşılan gürültüler eklenerek, farklı hataların ve
anomalilerin bulunduğu bir veri seti oluşturulmuştur. İlk aşamada, bu veri seti üzerinde dört
farklı gürültü sınıfına ait çalışmalar yapılmıştır. İkinci aşamada ise, veri setine iki yeni
görüntü gürültü tipi eklenmiş ve altı farklı sınıf için Ortak Vektör Yaklaşımı (OVY),
Evrişimsel Sinir Ağlar (ESA) ve OVY tabanlı öznitelik çıkarımı ile ESA modelinin
entegrasyonu ile oluşturulan yenilikçi OVY entegreli ESA yöntemi ile testler
gerçekleştirilmiştir. Elde edilen sonuçlar bu çalışmada sunulmuştur. Yapılan çalışma ile
OVY entegreli ESA yönteminin, OVY'nin tek başına kullanıldığı ve mevcutta kendini
kanıtlamış Resnet, EfficientNet gibi ESA yöntemlerinden gürültü tanıma, eğitim ve test
süreleri açısından daha iyi performans sağladığı görülmüştür. Önerilen OVY entegreli ESA
yönteminin gürültü tespit başarısı, dört ve altı sınıflı problemler için karşılaştırmalı tablolar
sunulmuştur.

Abstract:
Camera-based detection systems have become systems used in many critical areas
and tasks today. Errors and anomalies that occur on the camera can cause major problems or
damage for humans, products, and the environment. For the security and safety of camerabased systems, it is important to detect errors and anomalies. Within the scope of the thesis
work titled " Artificial Intelligence based Anomaly Detection for Camera-based Perception
Systems", the aim is to classify the noise types hat cause critical errors and anomalies in
camera-based systems using artificial intelligence methods. In this context, the Automated
robot control cell for quality control of automotive body-in-white, which was considered
within the VALU3S project, was selected as a usage case for error and anomaly detection.
This thesis work focuses on simulating errors and anomalies with noise from hardware or
software on the images obtained from the robotic camera detection system by using the
digital twin of a bus chassis in a simulation environment. During this process, a data set
including different errors and anomalies was constructed by adding noise that is frequently
encountered in real life to the images obtained through the bus chassis control system. In the
first phase, classifications were made on this data set by using the Common Vector Approach
(CVA), Convolutional Neural Networks (CNN), and CVA_based CNN models for four
different noise classes. In the second phase, two new types of image noises were added to
the data set and tests were conducted with the same classifiers for six different classes. The
results obtained are presented in this study. The studies have shown that the CVA integrated
CNN method provides better performance than when CVA and currently proven CNN
methods such as Resnet, EfficientNet are used separately in terms of noise recognition,
training and test times. The comparative tables with tests conducted for four and six different
classes have been provided for noise detection success