Derin öğrenme yöntemleri ile güvenlik kamerası görüntülerinden apronlarda yer operasyonlarının gerçek zamanlı analizi
Real-time analysis of ground operations on aprons from security camera images with deep learning methods
Yazar: BERNA YILMAZ
Danışman: DOÇ. DR. MİNE ELİF KARSLIGİL YAVUZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İstanbul Havalimanı'ndan günlük olarak yaklaşık 1000 uçuş gerçekleşmektedir. Her uçuş için uçakların havalimanı apron alanında kaldıkları süre boyunca sürdürülen operasyonel faaliyetleri mevcuttur. İnişten sonra veya kalkıştan önce yapılması gerekli işlemler bulunmaktadır. İşlemler uçağın apron park alanına gelmesi ile başlayıp, geri itme işleminin bitmesiyle sona erer. Mevcut durumda, bu süreçler farklı sistemlerden gelen bilgiler ve gözle yapılan değerlendirmeler sonucu takip edilmekte ve gerek güvenlik, gerekse operasyon süreçlerinin optimizasyonu için değerlendirilmektedir. Yapılan operasyonların kontrolünün, takibinin ve standardizasyonunun sağlanabilmesi için operasyon işlemlerinin otomatize edilmesi önemli bir fayda sağlayacaktır. Bu tez çalışmasında, video görüntülerini değerlendirerek, uçağın apronda bulunduğu süre boyunca yapılan operasyonel faaliyetlerin tespit, takip ve raporlamasını yapan derin öğrenme tabanlı bir sistem tasarlanmış ve gerçeklenmiştir.

Konu ile ilgili genel kullanıma açık bir veri kümesi bulunmadığı için, önce güvenlik kamerasının farklı zamanlara ait görüntüleri kullanılarak veri kümesi hazırlanmıştır. Operasyonel işlemlerin değerlendirilmesi görüntüde uçağın tespiti ile başlamaktadır. Uçak iniş yaptıktan sonra körük yanaşması, ikram yükleme, yakıt yükleme gibi farklı işlemlerin tespiti yapılmaktadır. Uçak ve operasyonlarda yer alan araçların tespiti için bölge tabanlı evrişimsel sinir ağı modellerinden biri olan Mask R-CNN yöntemi kullanılmıştır. Yapılan işlemlerin oryantasyonunun uygunluğunun anlaşılabilmesi için uçağın kapıları ve kuyruk bölümü de yine Mask R-CNN kullanılarak tespit edilmiştir. Uçak ve diğer araçların takibi için farklı nesne takip yöntemleri incelenmiş ve derin öğrenme tabanlı SiamMask algoritması kullanılmıştır. Operasyonda yer alan araçların uçak ile bağlantısı başladıktan sonra aracın konumu ve hareket yönü bilgileri kullanılarak yapılan işlemler hakkında çıkarımlarda bulunularak operasyonun türü, başlangıç ve bitiş zamanı bilgileri çıkartılmıştır. 

Olayların başarısını nesne tespiti ve takibi doğrudan etkilemektedir. Bu sebeple her aşamada performans değerlendirmesi yapılmıştır. Sistemin genel başarısının gerçek zamanlı kullanım için yeterli olduğu görülmüştür.

Abstract:
There are approximately 1000 flights daily from Istanbul Airport. For each flight, there are operational activities that continue during the aircraft's stay in the airport apron area. There are procedures to be done after landing or before take-off. Operations begin with the aircraft's arrival at the apron parking area and end with the end of the push-back operation. Currently, these processes are monitored as a result of the informations coming from different systems and visual evaluations, and evaluated for both security and optimization of operational processes. Automating processes of the operation will provide a significant benefit in order to ensure the control, follow-up and standardization of the operations. In this thesis, a deep learning-based system that evaluates videos and detects, monitors and reports operational activities while the aircraft is on the apron has been designed and implemented.

Since there is no publicly available dataset on the subject, a dataset was prepared with security camera footages taken from various times. Evaluation of operational processes begins with the detection of the aircraft. After the aircraft has landed, different operations such as fuel, catering loading are detected. Mask R-CNN method, which is one of the region-based convolutional neural network models, was used to detect aircraft and vehicles in operations. In order to understand the operations performed, the doors, front wheel and tail part of the aircraft were determined using Mask R-CNN. Different object tracking methods have been examined for tracking aircraft and other vehicles and the deep learning based SiamMask algorithm has been used. After the connection of the vehicles involved in the operation with the aircraft began, inferences were made about the operations performed using the vehicle's position and direction of movement information, and the type of operation, start and end time information were obtained. 

Object detection and tracking directly affect the success of these events. For this reason, performance evaluation was made at each stage. It has been seen that the overall success of the system is sufficient for real-time use.