Görüntü işleme teknikleri ile balıklarda duruş tahmini ve hareket tanıma
Pose estimation and action recognition in fish with image prosessing techniques
Yazar: MEHMET FURKAN AKÇA
Danışman: DOÇ. DR. MEHMET FATİH DEMİRAL ; PROF. DR. ALİ HAKAN IŞIK
Burdur Mehmet Akif Ersoy Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Balıkların besin değerinin yüksek olması, nüfus artışına bağlı olarak balık etine olan talebin artması ve gelecekte daha da artacak olması balıkların insan yaşamındaki önemini ortaya koymaktadır. Ancak bu önemine karşın yeterli veri setinin olmaması gibi etkenler balıklar üzerinde çalışma yapmayı zorlaştırmaktadır. Bir başka ifadeyle literatürde balıklar üzerine yapılmış çalışma sayısı yeterli düzeyde değildir. Bu alanda yapılacak çalışmalar hem literatüre katkı yapacağı hem de bu konudaki bilinçlenme düzeyini artıracağı söylenebilir. Bu araştırmada veri olarak Xu vd. tarafından 2017 yılında yapılan çalışmada açık olarak paylaşılan veri seti kullanılmıştır. 16528 görüntüden oluşan veri setinde 9 farklı sınıfta balık hareketi mevcuttur. Bu çalışmada literatürden farklı olarak direkt balık görüntülerinin üzerinden işlem yapılmasının aksine balığın hareketini duruş tahmini yöntemi ile iki boyutlu bir düzleme aktarıp hareketinin görüntüsü üzerinden transfer öğrenme yöntemlerini kullanarak sınıflandırılması önerilmiştir. Çalışmada hareketin düzleme aktarılma aşamalarında görüntü işleme yöntemleri kullanılmıştır. Anahtar nokta tespiti için YOLOv8 modeli ve sınıflandırma için evrişimsel sinir ağları modellerinden olan Xception, ResNet50, ResNet101, Inception v3, NasNetLarge, DensNet169, VGG 16, EfficientNet-B4 modelleri kullanılmıştır. Çalışmada detaylı olarak sınıflandırma raporları verilen modellerden en yüksek model performansına %89,43 doğruluk, %91,85 kesinlik, %88,80 duyarlılık ve %89,17 f1-skor değerleri ile EfficientNet-B4 ile ulaşılmıştır.

Abstract:
The high nutritional value of fish, raise in the demand for fish meat due to population growth and the fact that the increase will continue even more in the future reveal the place of fish in human life. However, despite this importance, factors such as the lack of sufficient data sets make it difficult to conduct studies on fish. In other words, the number of studies on fish in the literature is not adequate. It can be said that studies to be done in this field will, on the one hand, contribute to the literature, on the other hand, increase the level of awareness on this issue. In this study, the data set shared openly in the study conducted by Xu et al in 2017 was used as data. There are 9 different classes of fish movements in the dataset consisting of 16528 images. In this study, as different from the literature, it is proposed to classify the motion of the fish by transferring the motion of the fish to a two-dimensional plane with the pose estimation method and using transfer learning methods over the image of the motion. In the study, image processing methods were used to transfer the motion to the plane. In this study, following models were used: YOLOv8 model for key point detection and Xception, ResNet50, ResNet101, Inception v3, NasNetLarge, DenseNet169, VGG 16, EfficientNet-B4 models for classification. As a result, among the models, EfficientNet-B4 had the highest model performance with 89.43% accuracy, 91.85% precision, 88.80% recall and 89.17% f1-score values.