Paragraf Tabanlı Çıkarımsal Özetlemede Öbekleme Kullanan İki Yeni Yöntemin Kıyaslanması
Comparison of Two New Methodologies Using Paragraph Based Extractive Summarization
Yazar: Kısayol, Ahmet İlkay; Turan, Metin
Dergi: Duzce University Journal of Science and Technology, Vol. 6 No. 4, 2018
Anahtar kelimeler: Engineering ; Mühendislik ; çoklu dokümanlarda özetleme,paragraf tabanlı özetleme,metin öbekleme,özellik çıkarımı ; multiple document  summarize,paragraph  base summarization,text grouping,feature extraction

Özetleme,bir bakıma metinleri kısaltma işlemidir. Bu kısaltma işlemi metinlerdeki önemlibilgileri içerecek şekilde olmalıdır. Bu çalışmanın amacı da İngilizce dilindeyazılmış makale, haber vs. gibi doküman paragraflarının içerdiği bilgi öneminegöre seçilerek özetleme yapılmasıdır. Çalışmanınilk aşamasında doküman kümesini temsil edecek önemli kelimeler belirlenmiştir.Bu aşamada tüm dokümanlarda geçen kelimeler kök geçiş sıklıklarına görebüyükten küçüğe göre sıralanır ve belirli sayıda seçilen en sık kelimeler ileparagraf vektörü temsil edilir. Birsonraki aşamada, istenilen özet oranına göre paragraflar kümelere ayrıştırılır.Kümeleme algoritması olarak K-Means kullanılmıştır. Kümeler oluşturulurkenbaşlangıç noktalarının belirlenmesi amacıyla iki farklı yöntem kullanılmıştır. İlkyöntemde, geçiş sıklıkları en yüksek ilk 10 kelimeden birinin en fazla görüldüğüparagraflar küme başlangıçları olarak seçilir. İkinci yöntemde, kullanıcınınbelirlediği özet oranına göre seçilecek anahtar kelime sayısı belirlenir. Dahasonra bu anahtar kelimelerin en çok geçtiği paragraflar başlangıç noktalarıolarak belirlenir. Özet oluşturmada çıkarım yöntemi olarak, ayrıştırılan herbir küme içinden kümenin merkez noktasına Jaccard uzaklığı bakımından en yakınolan paragraf seçimi uygulanmıştır. Çıkan sonuçlar kontrol edildiğinde ikinciyöntemin daha başarılı bir sonuç verdiği gözlemlenmiştir. İkinci yönteme görebaşarı oranları %20 özet oranı için %40 , %40 özet oranı için %50 ve %60 özetoranı için %71 elde edilmiştir.

Summarizationis means of process of the abbreviation of a text. This abbreviation should besuch that it contains important information about the texts. The purpose ofthis study is selecting paragraphs according to the importance of theinformation contained in  paragraphs ofdocuments such as articles, news, etc. written in English. During thefirst phase of the study, important words that represents the document set wereidentified. At this stage, the words in all the documents are sorted accordingto the frequency of their stems in ascending order and paragraph vector arerepresented by a certain number of most frequently limited selected words. In the nextstep, the paragraphs are separated into clusters according to the desiredsummary ratio. K-Means was used as the clustering algorithm. Two differentmethods were used to determine the starting points when the clusters wereconstructed. In the first method, the paragraphs with the highest frequency ofpassage of one of the first 10 words are selected as the cluster starts. In thesecond method, the number of keywords to be selected is determined according tothe summary ratio determined by the user. Then the paragraphs most often passedby these keywords are set as starting points. As an extraction method in thesummarization, the paragraph selection which is closest to Jaccard distance tothe central point of the cluster is applied for all clusters.When the resultswere checked, it was observed that the second method gave a more successfulresult. Success rates according to the second method were 40% for the 20%summary rate, 50% for the 40% summary rate and 71% for the summary rate.