Türkçe haber metinlerinin yaklaşık en yakın komşu arama yöntemi ile benzerlik tespiti
Similarity detection of turkish news articles with approximate nearest neighbor search
Yazar: HAKAN TORUN
Danışman: DR. ÖĞR. ÜYESİ ALPASLAN BURAK İNNER
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Doğal dil işleme = Natural language processing ; K-En Yakın Komşu Algoritması = K-Nearest Neighbor Algorithm ; Otomatik doküman özetleme = Automatic document summarization

Özet:
İnternet haberciliğinin yaygınlaşması ile birlikte geleneksel medya organları büyük bir dönüşüm geçirmektedir. Çevrimiçi ve çevrimdışı platformlarda yayınlanan haberler çoğunlukla konusu dışında içerikler barındırmaktadır. Aynı zamanda internet üzerinde yayınlanan haberler genellikle benzer içeriklerle farklı kaynaklar tarafından yayınlanmakta ve okuyucuların haberin içeriğine hızlı bir şekilde ulaşması zorlaşmaktadır. Haber sitelerinin daha fazla kullanıcı tarafından ziyaret edilmesi amacıyla tıklama tuzağı (clickbait) başlıklar kullanılmakta ve ziyaretçilerin gazetecilikte 5N1K kuralı olarak adlandırılan;  ne, ne zaman, nerede, nasıl ve kim gibi haber öğelerine ulaşması zorlaşmaktadır. Bu çalışmada Türkçe yayın yapan 5 farklı haber kaynağından 350.000 Türkçe haber geliştirilen bir web kazıyıcı (scraper) aracılığıyla toplanmış ve özetlenmiştir. Bu haberler içerisinden 2022 Ocak ayında yayınlanmış toplam 28.000 haber kullanılarak eğitim verisi oluşturulmuştur. Ham haber metinleri ve özet haber metinleri kullanılarak haber vektörleri oluşturulup, haber vektörleri arasında yaklaşık en yakın komşu araması yapılarak farklı kaynaklardan yayınlanan benzer haberlerin tespit edilmesi için bir yöntem geliştirilmiştir. Sistemin başarısının ölçülmesi için web tabanlı bir oylayıcı sistem geliştirilmiş ve uzmanlar tarafından değerlendirilmiştir. Uzman oylaması sonucunda vektörleştirme yöntemlerinin başarısı ve özetlemenin başarı üzerine etkisi karşılaştırılarak performans değerlendirmesi yapılmıştır.

Abstract:
With the spread of internet journalism, traditional media organs are undergoing a huge transformation. The news published on online and offline platforms mostly contain different content other than their subjects. News articles on the internet are generally published by different sources with similar content and it is difficult to reach the content of the news quickly for the visitors. Clickbait headlines are used to be visited by more users. It becomes harder for visitors to reach the basic elements of journalism, such as what, when, where, how and who. In this study, 350.000 news which were published from 5 different news sources in Turkish were collected through a web scraper developed by us and summarized. Training data was created by using 28.000 news published in January 2022 from these news. A method has been developed to detect similar news articles from different sources by creating news vectors using raw and summarized news articles, and approximate nearest neighbors searching among news vectors. To measure the success of the system, a web-based voting system has been developed and evaluated by experts. As a result of expert voting, the success of vectorization methods and the effect of summarization on success were compared and performance was evaluated.