Metin sınıflandırmada boyut azaltmanın etkisi ve özellik seçimi
Effetcts of dimensionality reduction and feature selection in text categorization
Yazar: OSMAN DURMAZ
Danışman: YRD. DOÇ. DR. HASAN ŞAKİR BİLGE
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2011
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Metinlerin veya genel olarak verilerin sınıflandırılmasındaki amaç bilgiye erişim zamanının azaltılmasıdır. Verilerin sürekli artması sınıflandırma işlemini elle yapmayı olanaksız kılmaktadır. Bu durumda devreye otomatik metin sınıflandırma sistemleri girmektedir. Metin sınıflandırma sistemlerinde veri uzayının büyük boyutta olması önemli bir problemdir. Bu sistemlerde boyut azaltma teknikleri ve özellik seçim yöntemleri kullanılarak az bir veri ile doğru sınıflandırma yapmak mümkün olmaktadır. Bu çalışmada metinlerin tümü terim frekansı ? ters doküman frekansı (TF?IDF) vektörleri ile temsil edilmiştir. Çalışmada uygulanan Ayrık Kosinüs Dönüşüm (AKD) yöntemi ve Varyans Oranı ile özellik seçim yöntemi metin vektörlerinden oluşturulan TF?IDF vektör uzayının boyutunun azaltılarak sınıflandırma için daha etkili sonuçların elde edilebilmesi amacıyla kullanılmıştır. Her iki yöntem de TF?IDF vektörleri üzerinde uygulanmıştır. Boyutları azaltılmış vektörlerle başarılı sonuçlar elde edilmiştir. Bunun yanında, boyut azaldığı için sistemin çalışma zamanı da azalmıştır. Veri kümesi olarak kendi hazırladığımız Milliyet, literatürde kullanılan R8 ve WebKB?4 veri kümeleri kullanılmıştır. Milliyet veri kümesi beş sınıf içermektedir. R8 veri kümesi Reuters?21578 içinde bulunmakta ve sekiz sınıf içermektedir. WebKB?4 veri kümesi çeşitli üniversitelerin bilgisayar bilimleri bölümlerinden toplanan web sayfaları kullanılarak oluşturulmuş ve dört sınıf içermektedir. Her üç veri kümesi için de metinler eğitim ve sınama metinleri olarak gruplanmış, eğitim metinleri kullanılarak sistem eğitilmiş ve sınama metinlerinin ait olduğu sınıf kullanılan yönteme göre tespit edilmiştir. Seçilen yönteme göre boyutu azaltılmış vektörlerle sınıflandırma başarısı %92'lere kadar çıkmıştır. Önerilen yöntemler Microsoft .Net ortamında C# dili kullanılarak uygulanmıştır.

Abstract:
The goal of classifying text or generally data is to decrease the time of access to the information. Continuously increasing of documents makes the classification process impossible to do manually. In this case, the automatic text classification systems are activated. In text classification systems, large data space is an important problem. By using dimensionality reduction techniques and feature selection in text classification systems, it is possible to do right classification with reduced size of data. In this study, all of the texts have been represented by term frequency ? inverse document frequency (TF?IDF) vectors. Discrete Cosine Transform (DCT) method and the feature selection with Proportion of Variance method are used to get more effective results for classification by reducing dimensionality of TF?IDF vector space which is generated by text vectors. Successful results have been obtained with reduced dimension. In addition, these results are obtained in a short time. Milliyet, R8 and WebKB?4 datasets are used. Milliyet dataset contains 5 classes and is prepared by us. R8 dataset is in Reuters?21578, contains eight classes and is used in literature. WebKB?4 dataset is collected from web sites of computer science departments of various universities, contains four classes and is used in literature. For all three datasets, texts are grouped in training and test texts. Classification system is trained by training test and classes of test texts are determined by using our system. According to chosen method, classification success increases 92% with reduced dimension of vector.Proposed methods are applied with using Microsoft .Net framework and C# language.