Bilimsel makaleler üzerinde çıkarımsal metin özetleme yaklaşımlarını ve algoritmalarını analiz etmek ve karşılaştırmak için çok ölçütlü bir model
A multi-metric model for analyzing and comparing extractive text summarization approaches and algorithms on scientific papers
Yazar: MEHMET ALİ DURSUN
Danışman: DR. ÖĞR. ÜYESİ SOYDAN SERTTAŞ
Kütahya Dumlupınar Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Yazılımı Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Doğal dil işleme = Natural language processing ; Yapay zeka = Artificial intelligence

Özet:
Günümüz dünyasında, veri ve bilgi hızla artarken, metin özetleme ve teknolojileri, büyük miktardaki metin verilerini daha erişilebilir ve anlamlı hale getirmede kritik bir rol oynamaktadır. İş dünyasından haber endüstrisine, akademik araştırmalardan diğer birçok alana kadar metin özetleme, hızlı kararlar alınmasına, bilgilere daha hızlı erişilmesine ve kaynakların daha etkin bir şekilde yönetilmesine yardımcı olmaktadır. Ayrıca, bu teknolojileri geliştirmek ve metinlerin daha iyi özetlenmesini sağlamak amacıyla yeni yöntemler ve algoritmalar geliştirmek için metin özetleme alanında araştırmalar devam etmektedir. Bu nedenle, metin özetleme ve bu alandaki araştırmalar, bilgi çağında büyük bir öneme sahiptir.
Bu çalışmada, metin özetleme için yeni bir işletim modeli önerilmiş ve değerlendirilmiştir. 16 özetleme algoritması, altı farklı yaklaşımı kapsayacak şekilde uygulanmış ve 50 farklı makale veri kümesi üzerinde test edilmiştir. Üretilen özetlerin, orijinal özetlerle benzerliğini değerlendirmek için dört değerlendirme metriği (BLEU, Rouge-N, Rouge-L, METEOR) kullanılmıştır. Her yaklaşımın algoritmalarının performansı bu metrik sonuçlarına göre değerlendirilmiş ve en iyi performans gösteren algoritma referans algoritma olarak seçilmiştir. Bu referans algoritma, özetlenen metin içindeki konuları ve anahtar kelimeleri belirlemek için LDA yöntemiyle daha fazla analize tabi tutulmuştur.
Önerilen model, veri kümeleri ve değerlendirme metrikleri arasında özetleme algoritmalarını geliştirmek ve kapsamlı bir şekilde test etmek için standartlaştırılmış bir iş akışı sunarak, en uygun özetleme yaklaşımını belirlemekte yardımcı olur. Bu çalışma, modelin çeşitli algoritma ve metin kaynakları üzerindeki etkinliğini göstermektedir.

Abstract:
In today's world, where data and information are increasingly proliferating, text summarization and technologies play a critical role in making large amounts of text data more accessible and meaningful. In business, the news industry, academic research, and many other fields, text summarization helps make quick decisions, access information faster, and manage resources more effectively. Additionally, text summarization research is conducted to further improve these technologies and develop new methods and algorithms to provide better summarization of texts. Therefore, text summarization and research in this field are of great importance in the information age.
In this study, a new operating model for text summarization that can be applied to different algorithms is proposed and evaluated. Sixteen summarization algorithms covering six approaches (statistical, graph-based, content-based, pointer-based, position-based, and user-oriented) were implemented and tested on 50 different full-text article datasets. Four evaluation criteria (BLEU, Rouge-N, Rouge-L, METEOR) were used to assess the similarity between the generated summaries and the original summaries. The performance of the algorithms within each approach was averaged and the overall best-performing algorithm was selected. This best algorithm was subjected to further analysis through Topic Modelling and Keyword Extraction to identify key topics and keywords within the summarised text. 
The proposed model provides a standardized workflow for developing and thoroughly testing summarization algorithms across datasets and evaluation metrics to determine the most appropriate summarization approach. This study demonstrates the effectiveness of the model on a variety of algorithm types and text sources.