Derin öğrenme yöntemleriyle evrak sınıflandırılması
Classification of documents by deep learning methods
Yazar: GÖZDE DEMİREL
Danışman: PROF. DR. RECEP ERYİĞİT
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Doğal dil işleme = Natural language processing ; Metin sınıflandırma = Text categorization

Özet:
Yapay zekanın potansiyelinin keşfedilmeye başlanması ve teknolojinin gelişmesiyle birlikte bu alanda yapılan çalışmaların sayısı son yıllarda hızla artmıştır. Yapay zekanın işleri otomatikleştirmesi, hataları azaltması, işlem hızını arttırması, yeni çözümler keşfetmesi ve insanların işlerini kolaylaştırması gibi faydalarından dolayı bu alanda çalışmalar yapan araştırmacılar ve şirketler, yenilikçi çözümler geliştirmeye ve bu çözümleri piyasaya sürmeye çalışmaktadırlar. Yapay zekanın alt dallarından biri olan derin öğrenme, yapay sinir ağları olarak adlandırılan ağ yapılarını kullanarak veri setlerini inceleyen ve bu verilerden öğrenen bir yöntemdir. Bu alt dal, özellikle görüntü ses ve metin verilerinin sınıflandırılması gibi zor görevlerde etkin bir şekilde kullanılmaktadır. Evrak sınıflandırma, bir organizasyonun evraklarını belirli kategorilere göre sınıflandırma işlemini ifade eder. Bu işlem, evrakların daha kolay bulunması ve kullanılması için yapılır. Derin öğrenme yöntemleri, evrak sınıflandırma gibi zor bir görevin otomatikleştirilebilmesinde etkin bir şekilde kullanılabilir. Örneğin bir organizasyonun müşteri taleplerini içeren e-postalarını otomatik olarak sınıflandırılabilir ve bu e-postaları önem derecesine göre işleyebilir. Bu hem zaman tasarrufu açısından hem organizasyonlar açısından yararlı olabilir. Doğal dil işleme yöntemi, makine öğrenmesi modellerinden biridir ve metin sınıflandırma alanında oldukça başarılıdır. Tez çalışmasında NLP alanında BERT modeli kullanılarak çeşitli konulardaki haber metinlerinin metin analizi yapılmış ve elde edilen sonuçlar ortaya konmuştur. Çalışmada BERT modeline AdamW, SGD, RMSprop ve Adagrad gibi çeşitli optimizasyon algoritmaları uygulanmış bu algoritmaların karmaşıklık matrisine göre performansları değerlendirilerek duyarlılık, kesinlik, F1 skor ve doğruluk değerleri bulunmuştur. Test veri seti için metin sınıflandırma alanında en iyi BERT modeli optimizasyonun duyarlılık, kesinlik ve F1 skor için sırasıyla %94, %94, %94 değerleri ile AdamW olduğu belirlenmiştir. Bu çalışmanın amacı, literatürde doğal dil işleme başlığı altında Türkçe veriler üzerinde yapılan çalışmalara katkıda bulunmak ve doğal dil işlemenin Türkçe veriler üzerindeki başarısını ve sonuçlarını incelemektir.

Abstract:
With the discovery of the potential of artificial intelligence (AI) and the rapid advancement of technology, the number of studies in this field has significantly increased in recent years. Researchers and companies working in this domain aim to develop innovative solutions and bring them to the market, benefiting from the advantages of AI, such as automation of tasks, error reduction, increased processing speed, discovering new solutions, and facilitating human work. One of the subfields of AI, known as deep learning, is a method that utilizes network structures called artificial neural networks to analyze datasets and learn from them. Particularly effective in challenging tasks like classifying image, audio, and text data, deep learning has gained prominence. Document classification, referring to the process of categorizing documents into specific categories, is one application of deep learning. This process is conducted to make documents easier to find and use. Methods of deep learning can be effectively employed in automating challenging tasks like document classification. For instance, an organization's emails containing customer requests can be automatically classified, and these emails can be processed based on their importance. This can be beneficial both in terms of time-saving and for organizations. Natural Language Processing (NLP) is a machine learning model that excels in text classification. In the thesis, an analysis of news texts on various topics was conducted using the BERT model in the field of NLP. Various optimization algorithms, including AdamW, SGD, RMSprop, and Adagrad, were applied to the BERT model, and their performances were evaluated based on the complexity matrix. Sensitivity, precision, F1-score, and accuracy values were determined. For the test dataset, the AdamW optimization algorithm yielded the best BERT model performance in text classification, with sensitivity, precision, and F1-score values of 94%, 94%, and 94%, respectively. The aim of this study is to contribute to the literature under the title of Natural Language Processing by examining the success and results of studies conducted on Turkish data.