Derin pekiştirmeli öğrenme ile medikal video özetleme
Medical video summarization with deep reinforcement learning
Yazar: ALİ ÇOBAN
Danışman: DR. ÖĞR. ÜYESİ CEREN GÜZEL TURHAN ; DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Tıbbi ve medikal videoların analizi, hastaların teşhis süreçlerinin önemli ve kritik bir parçasıdır. Ancak, tıp uzmanlarının videolardaki önemli bulguları yakalaması için geçen süre zaman alıcı olabilmektedir. Ayrıca tıp uzmanlarının yeterli zamanı bulamadığı durumlar da görülmektedir. Bu nedenle bu çalışmada derin pekiştirmeli öğrenme ile  video özetleme yöntemi ve yeni geliştirilen yakınlık ödülü medikal videolardaki ilgili verilerin elde edilebilmesi için kullanılmıştır.  Oluşturulan özet videoların kullanımıyla hastalıkların daha hızlı teşhis edilmesi ve analiz edilmesi ile daha az hacimsel işlem  yapılması hedeflenmiştir. Bunun için zayıf denetim kullanan yeni bir pekiştirmeli öğrenme ödül mekanizması geliştirilmiştir. Geliştirilen bu yeni mekanizmanın başarısını ölçmek için ekokardiyografi videolarından oluşan, açık erişimli Echonet-Dynamic veri seti kullanılmıştır. Yakınlık ödülü pekiştirmeli öğrenme ajanını kalp sağlığını analiz etmeyi ölçebilecek video kareleri seçmeye teşvik etmektedir. Bu video kareleri bir kalp atımındaki kalbin hacminin en büyük ve en küçük olduğu ve bu video karelerine en yakın video karelerinden oluşmaktadır. Literatürde bulunan farklı ödüller ve mimarilerde eklenerek yeni geliştirilen yakınlık ödülünün performansı karşılaştırmalı şekilde F1-skor üzerinden ölçülmüştür. Ayrıca elde edilen video özetleri , videoların tam halleriyle kalp yetmezliği sınıflandırılması görevinde karşılaştırılmıştır. Elde edilen sonuçlara göre tez çalışmasında önerilen yakınlık ödülüne dayalı model ile video özetleme performansının F1-skoruna göre arttığı gözlemlenmiştir. Ek olarak, kalp yetmezliği sınıflandırılmasında kullanılan özet videolar deneysel çalışmalara göre videoların tam hallerine yakın ve belirli noktalarda daha iyi sonuçlar verdiğini ortaya koymuştur.

Abstract:
Medical video analysis is an important and critical part of the diagnostic process for patients. However, it can be time-consuming task for medical experts to capture significant findings in these medical videos. In addition, there are cases where medical experts cannot find enough time. Therefore, in this study, we developed the video summarization method with deep reinforcement learning and the newly developed proximity reward to extract relevant data in medical videos. We aimed to analyse diagnoses faster and perform less voluminous processing by using the generated summary videos. For this, we developed a new reinforcement learning reward mechanism using weak supervision. We used the open access Echonet-Dynamic dataset of echocardiography videos to measure the success of this newly developed mechanism. The proximity reward encourages the reinforcement learning agent to select video frames that can measure analysing heart health. These video frames consist of the video frames in which the volume of the heart in a heartbeat is the largest and smallest, and the video frames closest to these video frames. We measured the performance of the newly developed proximity reward by comparing it with different rewards and architectures found in the literature, based on the F1-score. We also compared the generated video summaries with the full videos in the heart failure classification task. Our results showed that the video summarization performance with the proximity reward-based model proposed in the thesis increases according to the F1-score. Additionally, our findings demonstrated that the summary videos used for heart failure classification not only yielded results comparable to the full-length videos but also outperformed them in certain aspects.