Kelime Vektörü Yöntemlerinin Model Oluşturma

In this study, two different datasets for sentiment analysis have been modeled by Word2Vec that it is a word vector algorithm. While the model is creating that has used two different methods CBoW and Skip-Gram of Word2Vec. Generally, the arithmetic mean is used for modeling a text with Word2Vec. In this study, three different methods for modeling a text are suggested on both CBoW and Skip-Gram. Its modeling time (training time) is measured. As a result, it was experimentally shown that CBoW is more successful than Skip-Gram based for modeling time. Keywords— Word2Vec, modeling time, training time, CBoW, Skip-Gram, natural language processing 1. GİRİŞ (INTRODUCTION) Kelime vektörleri son zamanlarda geliştirilen, danışmansız bir şekilde çalışan ve son yıllarda doğal dil işleme uygulamalarında kullanımı oldukça artan bir yöntemdir. Word2Vec olarak isimlendirilen bu yöntem ile verilen bir metin içindeki tüm kelimeler tanımlanan bir uzayda vektörler ile ifade edilir. Oluşturulan bu vektörler yardımıyla istenilen kelimeler arasındaki benzerlik ya da zıtlık vb. durumlar matematiksel olarak ifade edilebilir. Word2Vec’in kullanıldığı çalışmalar duygu analizi, metin sınıflandırma, metin temsili vb. konularla özetlenebilir. Zhang ve ark. bir ürün hakkında yapılan 100.000 Çince yorum üzerinde pozitif-negatif şeklinde bir duygu analizi çalışması yapmışlardır. Sözlük (lexicon) ve cümle öğesi (parts of speech) üzerine yapılan iki farklı çalışma için Word2Vec tabanlı bir sistem kullanılmış ve sözlük tabanlıda %89.95 ve cümle öğesini bulma çalışmasında %90.3’lük başarı oranlarına ulaşmışlardır [1]. Dickinson ve ark. bir şirkete ait hisse senedindeki değişimin hisse senedi ile ilgili atılan tivitlerin (tweet) nasıl etkilediğini araştırmak için duygu analizi tabanlı bir sistem geliştirmişlerdir. N-gram ve Word2Vec ile gerçekleştirilen çalışmada n-gram %65 başarı ile sınıflandırma gerçekleştirirken Word2Vec %75’lik bir başarılı sınıflandırma değerine ulaşmıştır [2]. Tang ve ark. tivitler üzerinde duygu analizi çalışması gerçekleştirmişlerdir. Çeşitli n-gramlar ve Word2Vec yöntemi ile gerçekleştirilen duygu analizi çalışmasında %77.33’lük doğru sınıflandırma değerlerine ulaşmıştır [3]. Polpinij ve ark. gerçekleştirdikleri çalışmalarında bir otele ait web sayfası üzerinden otel ile ilgili yapılan yorumların sınıflandırılması için Word2Vec tabanlı bir sistem 142 BİLİŞİM TEKNOLOJİLERİ DERGİSİ, CİLT: 12, SAYI: 2, NİSAN 2019 geliştirmişlerdir. Sınıflandırma için SVM (Support Vector Machines) algoritması kullanılmıştır [4]. Şahin, Türkçe metinler üzerinde Word2Vec ile model kuran ve SVM ile sınıflandıran bir sistem tasarlamıştır. Gerçekleştirilen çalışmada 22.729 belge üzerinde sınıflandırma işlemi gerçekleştirilmiştir [5]. Xue ve ark. Çinde kullanılan Sina Weibo adındaki bir mikroblog sitesi üzerinde duygu analizi çalışması gerçekleştirmiştir. Model oluşturmak için Word2Vec kullanılmış ve yapılan sınıflandırmada pozitif veriler %94, negatif veriler için %96 ve nötr veriler için %85’lik doğru sınıflandırma başarılarına ulaşılmıştır [6]. Bilgin ve Şentürk, Türkçe ve İngilizce metinler üzerinde Word2Vec’in doküman modellemek için genişletilmiş versiyonu olan Doc2Vec kullanarak, veri setinin modelini oluşturmuş ve sınıflandırma başarılarını ölçmüşlerdir [7] Bilgin ve Köktaş, Türkçe metinler üzerinde yaptıkları duygusal analizi çalışmasında 3 sınıflı bir veri seti üzerinde kelime vektörlerini kullanmışlardır. Word2Vec temelli model oluşturma yaklaşımı kullanarak 2 farklı makine öğrenmesi yöntemiyle sistemin performansını test etmişlerdir [8]. Mahdaouyve ark. Word2Vec kelime vektörlerini ve Doc2Vec doküman vektörlerini kullanarak Arapça metinlerin sınıflandırılması üzerine bir çalışma gerçekleştirmişlerdir. Yaptıkları çalışmada vektörlerin boyutlarının azaltılmasının doğruluk üzerindeki olumlu etkilerini ve BOW’a (Bag of Words)’a göre kelime vektörlerinin kullanılmasının başarıyı artırdığını yaptıkları çalışmada göstermişlerdir [9]. Çoban ve Karabey yaptıkları müzik türü sınıflandırma çalışmasında geleneksel yöntem olan BOW’u, Word2Vec -Doc2vec ile kıyaslayarak SVM tabanlı bir metin sınıflandırma işlemi gerçekleştirmişlerdir. Ayrıca önişleme adımlarının ve vektör boyutlarının doğruluk üzerindeki etkilerini incelemişlerdir [10]. Ma ve ark. ders seçiminde anlamsal benzerlik analizi için TF-IDF, Word2Vec ve Doc2Vec tabanlı bir sistem önermiş ve ders seçimindeki başarımlarını ölçmüşlerdir [11]. Razzaghnoori ve ark. Pers (İran) dilinde soru sınıflandırma için kelime vektörlerini ve frekanslarını kullanmışlardır. Sonuçların sınıflandırılması için SVM ve Neural Network sınıflandırıcıları kullanılmıştır [12]. Polat ve Körpe yaptıkları çalışmada TBMM (Türkiye Büyük Miller Meclisi) tutanakları üzerinde Word2Vec ve Glove ile modeller oluşturularak kullanılan bir kavramın en yakın anlamlı kavramları bulunmaya çalışılmıştır. Çalışmada Word2Vec ile oluşturulan model ile daha yüksek doğrulukta sınıflandırma yapan bir sistem tasarlanmıştır [13] Bu makalenin tasarımı; giriş bilgilerinin ve literatür araştırmasının verildiği 1. Bölüm, kullanılan metotların anlatıldığı 2. Bölüm, kullanılan veri kümesi hakkında bilgilerin verildiği 3. Bölüm, yapılan deneylerle ilgili bilgilerin verildiği 4. Bölüm, sonuçların verildiği 5. Bölüm ve sonuçların tartışıldığı 6. Bölüm ile kaynakça bölümlerinden oluşmaktadır.