Bilgisayar bilimleri alanında yapılan Türkçe akademik yayınların doğal dil işleme yöntemleri ile incelenmesi
Analysing Turkish academic papers in computer science using natural language processing techniques
Yazar: CANER KARA
Danışman: PROF. DR. ECİR UĞUR KÜÇÜKSİLLE
Süleyman Demirel Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayarlı dil bilim = Computerized linguistics

Özet:
Yayımlandıkları dergilere gönderiminden kabul edilmesine kadar kapsam, biçim ve
nitelik bakımından sıkı ve uzun bir süreçten geçen bilimsel makaleler, bu inceleme
işlemine rağmen anlatım bütünlüğünü etkileyen durumlar içermektedirler. Bir akademik
çalışmanın özetinin içeriğini tam olarak temsil edemeyişi veya olması gereken ana
başlıkları içermeyişi çalışmanın anlatımını olumsuz etkileyebilen sebeplerdir ve
araştırmacıların çalışmayı hızlı bir şekilde tarayıp kavramasına engel olmaktadırlar.
Bununla beraber anlatım bütünlüğüne sahip bir yayının bile okunup anlaşılması zaman
almaktayken bütünlüğüne dikkat edilmemiş bir yayının detaylarıyla incelenmesi daha
da zorlaşmaktadır. Son yıllarda yapay zeka alanındaki gelişmeler sayesinde yayımlanan
bilimsel araştırmaların incelemesini kolaylaştıran araçlar geliştirilmektedir.
İnsanlarca konuşulan doğal dillerde yazılan metinlerin, makinelerce anlaşılır hale
getirilmesi için çeşitli yöntemler yardımıyla bir dizi işlemden geçirilmesi literatürde
doğal dil işleme olarak anılmaktadır. İstatistik ve yapay zeka gibi alanlardan da
faydalanan doğal dil işleme, özellikle derin öğrenme yöntemleri ile desteklenerek
metin anlamından çıkarsamalar yapabilmek amacıyla kullanılmaktadır.
Bu çalışmada, Bilgisayar Bilimleri alanında SCI-EXPANDED, ESCI ve TR Dizin'de
indekslenen çeşitli dergilerde Türkçe tam metin olarak yayımlanmış 493 adet araştırma
makalesi incelenmiştir. İncelenen makalelerin başlık, özet, anahtar kelimeler ve içerik
açısından bütünlüğü; Doğal Dil İşleme, Derin Öğrenme ve istatistiksel yöntemleri de
içeren bir dizi ölçüt ile değerlendirilmiştir. Çalışmanın amacı belirlenen ölçütler ile
incelenen makalelerin tüm bölümleri ile bütünlüğünü ortaya koymaktır.
Değerlendirme bulguları, incelenen makalelerinin biçim ve makale anlatımında
bulunması gereken ögeler açısından çarpıcı sonuçlar ortaya koymaktadır. Genel
değerlendirme sonucu en yüksek puan alan 84,900 puan ile 358 kayıt numaralı makale,
en düşük ise 34,733 puan ile 197 kayıt numaralı makale olmuştur. Özellikle Soyutlayıcı,
Çıkarımsal ve BERT özetleme yöntemleri ile yapılan Otomatik Özetleme sonuçlarına
göre özetlerin dahil edildiği verisetinde etiketlerin tahmin edilme oranının düştüğü
gözlenmiştir. Uzmanlarca etiketlenen özetlerde değerlendirmeye giren 492 makaleden
sadece 68 tanesinde tüm ögelere yer verildiği gözlenmiştir. 85 makalede ise ana
başlıklardan birinin olmadığı tespit edilmiştir. Sonuç olarak makalelerin büyük bir
kısmında özet bölümünün kapsam, problem, amaç, yöntem, bulgu ve sonuca işaret eden
anlatımlar açısından kısmen veya büyük oranda yoksun olduğu sonucuna ulaşılmıştır.

Abstract:
Scientific articles go through a strict and long process in terms of scope, form, and
quality, from their submission to publication. Despite this review process, publications
might contain situations that affect the integrity of their meaning. If the abstract of
an academic study does not fully represent the content or does not contain standard
main headings, that might negatively affect the expression of the study and prevent
researchers from scanning and comprehending the study quickly. Nevertheless, while it
takes time to read and understand even a publication with narrative integrity, it becomes
even more difficult to examine the details of a publication whose integrity has not
been taken into account. Tools that make it easier for researchers to review published
scientific research have been developed with advances in artificial intelligence in recent
years.
Enabling machines to understand the texts written in natural languages that are spoken
by humans using various methods is called Natural Language Processing (NLP) in the
literature. NLP, which benefits from statistics and artificial intelligence fields, especially
Deep Learning methods, is a computer science field that is useful for inferring the
meaning of text.
In this study, 493 full-text Turkish research articles published in various journals
indexed in SCI-EXPANDED, ESCI, and TR Index in the field of computer science
were examined in terms of abstract, keywords, and content was evaluated with a set
of criteria. The aim of the study is to reveal the integrity of all sections of the articles
examined with the determined criteria.
The data obtained as a result of the study reveal striking results in terms of the format
of the articles examined and the elements that should be included in the article abstract.
As a result of the general evaluation, the article with the highest score was the article
with an ID number of 411 with 84,900 points, and the lowest was the article with an ID
number of 239 with 34,733 points. It was observed that the rate of estimation of labels
decreased in the dataset that included summaries, especially according to the Automatic
Summarization results made with SVM, ANN, and BERT methods. It was observed
that, only 68 out of 492 articles have all items in their abstracts, according to the experts.
In 85 articles, it was determined that there was no main title. In conclusion, most of
the abstract sections of articles are partially or largely lacking in terms of coverage,
problem, purpose, method, findings, and conclusion. This evaluation shows that abstract
sections of scientific research papers are not effectively written.