Derin öğrenme yöntemleri ile Türkçe metinlerden anlamlı özet çıkarma
Abstractive summarization from Turkish texts using deep learning methods
Yazar: MERVE NERGİZ AFATSUN
Danışman: DOÇ. DR. HACER YALIM KELEŞ
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Doğal dil işleme = Natural language processing ; Makine öğrenmesi = Machine learning ; Otomatik doküman özetleme = Automatic document summarization ; Türkçe = Turkish ; Özetleme = Summarizing

Özet:
Teknolojinin hızla gelişmesi ve herkesin hayatına daha kolay girmesi ile sanal ortamdaki veri miktarı oldukça artmıştır. Bu artış aynı zamanda bilgi fazlalığına neden olmuştur. İstenilen öz bilgiye ulaşmak güçleşmiştir. Metin özetleme ile istenilen öz bilgiye ulaşılması amaçlanmaktadır. Metnin içindeki ana bilginin korunarak daha kısa bir şekilde ifade edilmesi amaçlanmıştır.
Bu çalışmada, önce Deutsche Welle haber sitesindeki metinler ve özetler kullanarak bir Türkçe haber veri seti (THV) toplanmıştır. Soyutlayıcı metin özetleme için sekanstan sekansa mimaride derin bir model geliştirilmiştir.  Modelimiz, dikkat katmanlı kelime gömmeleri kullanarak eğitilmiş çift yönlü bir LSTM modelidir. Türkçe dilindeki modelimizin performansı hem Wikipedia hem de THV'deki kelimeler kullanılarak eğitilmiş kelime vektörleri ile ayrı ayrı değerlendirilmiştir. Modelimizin THV'deki ROUGE-1 metriğine göre performans puanı 40.90'dır. Modelimizi doğrulamak için, İngilizce metinleri özetlemede sıklıkla kullanılan GigaWord ve CNN/Daily Mail veri kümeleri ile ek deneyler yaptık. Bu veri setlerinde modern yöntemlerle kıyaslanabilir sonuçlar elde ettik. Veri setimiz yakında herkese açık hale gelecektir.

Abstract:
With the rapid development in technologies that affect our daily lives amount of virtual data has increased considerably. This has also caused an excessive increase in useful information. Evidently this excessive increase has complicated the process of accessing this useful information. With text summarization these complications are aimed to be overcome. This study's intention is to preserve the core information and simplify the way this information is expressed.
In this context, firstly a Turkish news dataset (TND) using the texts and their summaries in Deutsche Welle news web site are collected. A deep sequence to sequence generation model for abstract text summarization are developed.  Our model is an attention based bidirectional LSTM model that we trained using word embeddings. The performance of this model in Turkish by training word vectors using the words from Wikipedia and TND are separately evaluated. The performance of our model with ROUGE-1 metric is 40.90 in TND. In order to verify our model, additional experiments with the GigaWord and CNN/Daily Mail datasets, which are frequently used datasets for summarizing texts in English language are conducted. Comparable results with the state-of-the-art methods in these datasets were obtained. Our dataset will be made publicly available soon.