Göz-bakışı tabanlı 3 boyutlu bilgisayarla görme uygulamaları
Eye-gaze based 3D computer vision applications
Yazar: ULAŞ VURAL
Danışman: DOÇ. DR. YUSUF SİNAN AKGÜL
Gebze Yüksek Teknoloji Enstitüsü / Mühendislik ve Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2012
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayarla görme = Computer vision

Özet:
Günlük hayattaki problemlerin bilgisayarlar ve tamamen otomatik sistemler tarafından çözülmesi arzulanır. Tamamen otomatik sistemler insan hatalarından bağımsızdır ve bu sistemler oldukça verimli çalışırlar. Bununla birlikte mevcut teknolojik seviye insanların rahatlıkla çözebildikleri birçok problem için henüz yeterli değildir. Bu nedenle, uygulanabilir çözümlerin büyük bir bölümü önemli karar alma mekanizmalarında insanları kullanmaktadır.Günümüz teknolojileri genellikle daha yüksek otomasyon seviyelerini amaçlarlar fakat insanın döngüdeki başarımını incelemezler. İnsan başarımını ölçen sistemler ise çoğu zaman benzetimlerle sınırlıdır. Bu tezde çalışmasında, insan operatörlerin güvenlik gözetleme sistemlerinin vazgeçilemez bir parçası olduğu ve bu sistemlerinin döngüde-insan sistemi olarak düşünülmesi gerektiği gösterilmiştir.Önerilen ilk çalışma operatörlerin nesnelere bakıp bakmadığını analiz etmektedir. Yöntem gözden kaçırılan kısımların doğrusal olmayan bir özetini operatörlere tekrar göstermektedir [Vural and Akgul, 2009]. Bu sayede operatörlere ikinci bir şans verilmiştir. Bu çalışma, yüksek çözünürlüklü güvenlik videolarında çalışacak şekilde genişletilmiştir [Vural and Akgul, 2011a]. Yapılan bir diğer çalışma videoları sentezlerken sadece göz-bakış konumlarını kullanmak yerine operatörlerin dikkat seviyelerini de hesaba katmaktadır. İnsanların dikkat seviyeleri sınırlıdır ve nesnel ve öznel değişkenlere bağımlıdır. Bu nedenle üretilecek videoların operatörün durumuyla uyumlu olması önemlidir. Deneyler, operatörlerin dikkat seviyelerine uygun üretilmiş videoların sistemin gürbüzlüğünü arttığını göstermiştir. Tezde duyurulan dördüncü çalışma hangi nesne özelliklerinin operatör için ilginç olduğunu analiz eder [Vural and Akgul, 2012b]. Yöntem ilginç nesneleri videoda daha erken konumlara çeker. Ayrıca, geliştirilen yöntemler x-ışınlı bagaj görüntüleme sistemleri de denenmiştir.

Abstract:
It is desired that daily life problems are solved with computers and fully automated systems. Fully automated systems are free from the human errors and they can work efficiently, however the current technological level is not even sufficient for solving many problems which can be easily handled by humans. Therefore, most of the feasible solutions use human operators on decision critical parts.Today?s advanced technologies aim to increase the automation levels but they do not analyze the performances of operators. The systems that measure the human performances are generally limited to simulation environments. In this dissertation, we show that the human operators are indispensable parts of visual surveillance tasks and also the video surveillance system should be thought as an instance of a human-in-the-loop system.The first proposed method analyzes whether the operator is looking at an object or not. The method then shows a non-linear synopsis video of overlooked parts again to the operator [Vural and Akgul, 2009]. By doing so, a second chance is given to the operator. This method is then extended to work with high-definition surveillance videos at real-time rates [Vural and Akgul, 2011a]. Another proposed method synthesizes surveillance videos by not only using the eye-gaze position but also taking account of operators? attention levels. Attention levels of human operators are limited and depend on subjective and objective variables. Thus, it is important that a video should fit in with the operator?s state. The experiments show that the robustness of the surveillance systems are increased by showing synthetically adjusted videos [Vural and Akgul, 2011b]. The forth method proposed in this dissertation analyzes the object properties which are interesting for the human surveillance operator. The method places the interesting objects to the earlier times positions [Vural and Akgul, 2012b]. We also use eye-gaze based metrics on x-ray based baggage inspection.