Türkçe metinlerin benzerliğinin hesaplanması için yeni bir yöntem
A new method for computing the similarity of Turkish texts
Yazar: BÜNYAMİN DURSUN
Danışman: PROF. DR. A. COŞKUN SÖNMEZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Bölümü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2008
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Verilen iki metinin birbirleri ile benzerlik oranını hesaplamak için çok sayıda yöntem bulunmaktadır. Bu yöntemlerin bazıları doğrudan metinlerin benzerliklerini klasik yöntemlere göre hesaplarken, diğer bazı yöntemler ise daha akıllı bir şekilde çalışarak daha doğru ve insan zekasına yakın benzerlikler hesaplayabilmektedirler. Bu ikinci kısım yöntemler genel olarak Bulanık Metin Benzerliği olarak adlandırılmaktadır.Bulanık metin eşleme yöntemleri genellikle İngilizce dili ve İngilizce metinler düşünülerek geliştirildiğinden, İngilizce metinler için yüksek başarı gösterseler bile Türkçe metinlerde çoğu kez bu kadar başarılı sonuçlar üretememektedirler.Bu nedenle bu çalışmada Türkçe metinlerin eşlenmesinde ve benzerliklerinin hesaplanmasında sık karşılaşılan bazı hata durumları modellenerek yeni bir benzerlik hesaplama yöntemi geliştirilmiştir. Bu yöntem özellikle yazım yanlışlarını algılayıp, metinlerin benzerliklerini daha tutarlı bir şekilde hesaplamaktadır. Burada metin olarak ifade edilen kavram, birkaç harften oluşan bir kelime olabileceği gibi yüzlerce kelimeden oluşan paragraf gibi uzun bir metin parçası da olabilir.Geliştirilen bu yöntemin başarısını ölçmek için farklı seviyelerde ve farklı özelliklere sahip bilgisayar kullanıcılarından, farklı şekillerde veri girişi yapmaları talep edilerek, kullanıcıların hatalı girdikleri bu veriler kullanılmıştır. Bu kullanıcıların hatalı girdikleri metinler ve bu metinlerin doğru hallerinden oluşan metin çiftlerinin benzerlik oranları, Geliştirilen yöntem, Edit Distance Benzerliği ve Jaro-Winkler Benzerliği olmak üzere 3 farklı yöntem ile hesaplanarak, karşılaştırmalı olarak başarıları ölçülmüştür. Ayrıca bahsedilen 3 yöntemi kullanarak, herhangi bir Oracle veritabanı sisteminde bulunan tablolardaki tekrarlı veya benzer kayıtları bulan bir yazılım gerçekleştirilmiştir.Yapılan bu çalışma Türkçe Doğal Dil İşleme, veritabanı sistemlerinde bulunan benzer kayıtların bulunması, Türkçe işletim sistemi, Türkçe arama motorları, entegrasyon projeleri ve e-Devlet çalışmalarında faydalı olabilir.

Abstract:
To compute similarity rate of two texts, there are many methods. While some of these methods compute the similarity of texts by classical methods, some others can compute similarities more correctly and more closely to human brain by working more intelligently. The ones mentioned as the second are called Fuzzy String Similarity.Fuzzy string matching methods are generally improved through thinking English and texts in English. Thus, even they are succesfull for the texts in English, they usually may not be perform as the same in Turkish texts.Therefore, in this work a new similarity computing technic has been improved by modeling some cases oftenly encountered in matching Turkish texts and computing similarities. Especially, an intelligent method has been developed that perceives slips in spelling, arranges them, and computes similarity. Here, the concept mentioned as text may be both a word composed of a few letters and a long text composed of hundreds of words.In order to measure the success of the method improved, different computer users who have different specialities, at different levels, were asked to type different texts, and then these wrongly typed inputs were used. The similarity percent of the texts users typed false and their correct forms was computed by 3 different methods; The improved method, Edit Distance Similarity and Jaro-Winkler Similarity. So, their success was measured comparatively. Also, a software that finds repeated or similar records on the tables in any Oracle database by using 3 methods mentioned above was developed.It is hoped that this work may contribute to the common good of e-government workings with the aim of Turkish Natural Language Processing, finding similar records available in database systems, Turkish operating system, Turkish search engines, integration projects and providing integration between establishments.