Açıklanabilir yapay zeka ile hukuki metin analizi
Legal text analysis with explainable artificial intelligence
Yazar: TÜLAY TURAN
Danışman: PROF. DR. ECİR UĞUR KÜÇÜKSİLLE
Süleyman Demirel Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Son yıllarda internet teknolojilerinin gelişmesi, bilgisayarların işlem gücünün 
artması ve bulut bilişim ile verilerin depolanabilmesi sonucunda, yapay zeka 
çalışmalarının hızlı bir şekilde arttığı görülmektedir. Hukuk alanında yapay 
zekanın kullanımı ise son yıllarda dikkat çeken bir konu başlığı olup, ülkemizde 
çok az uygulama örneği bulunan yeni bir çalışma alanıdır. Hukuk sektöründe 
yapay zekanın kullanımı; hızlandırılmış karar süreci, giriş verilerinin anında 
doğrulanması, tarafsız bakış açısı, benzer modellere sahip geçmiş vakaları hızlı 
bir şekilde değerlendirmesi yeteneği ile birçok faydayı beraberinde 
getirmektedir. Uzun zaman alan ve sadece uzman kişiler tarafında yürütülebilen 
geleneksel hukuk araştırmalarını ve analizlerini otomatikleştirmesi yönüyle de 
önemli ve değerlidir.

Bu çalışmada, hukuk alanında Türkçe yapay zeka uygulamalarının geliştirilmesi 
ve yaygınlaştırılması hedefiyle, hukuki metin analizi uygulamaları geliştirilmiştir. 
Çalışmada ilk olarak, Türkiye Cumhuriyeti Anayasa Mahkemesi tarafından 
Kararlar Bilgi Bankası web sayfasında yayımlanan açık erişim veriler kullanılarak 
hukuki veri seti oluşturulmuştur. Daha sonra özetleme uygulaması için 1300 
bireysel başvuru kararına ait manuel özetler alanında uzman hukuk 
çalışanlarının desteği ile oluşturulmuş ve veri seti içeriğine eklenmiştir. 
Çalışmanın özetleme aşaması için çıkarımsal ve soyut özetlemenin birlikte 
kullanıldığı transformer tabanlı hibrit yaklaşım geliştirilmiştir. Geliştirilen model 
0,6129 Rouge-1 değeri, 0,5884 Rouge-2 değeri ve 0,5891 Rouge-L değerleri ile 
literatürde yer alan farklı dillerde gerçekleştirilen çalışmalardan daha yüksek 
başarı oranı elde ettiği görülmüştür. Çalışmada metin özetlemeden sonra, yargı 
karar sonuçlarının tahmin edildiği Yasal Yargı Tahmini (YYT) uygulamaları 
geliştirilmiştir. Karar metinlerinin, hem özetlenmeden önceki tam metin belgeleri 
hem de özetlenme aşamasından sonraki soyut özet belgelerinin "ihlal / ihlal 
olmama" sonuçları; K-En Yakın Komşu (KEYKM), Destek Vektör Makineleri 
(DVM), Rastgele Ormanlar (RO), Karar Ağaçları (KA) ve XGBoost denetimli 
öğrenme algoritmaları ile tahmin edilmiştir. Tam metin hukuk kararlarının 
tahmini için geliştirilen ve hiperparametre optimizasyonu gerçekleştirilen 
XGBoost modelinin %93,84 avreage Accuracy, %93 Precision, %93 Recall ve %93 
F1-Score ile en iyi sonucu verdiği görülmüştür. Özet metin hukuk kararlarının 
tahmininde XGBoost modelinin %62,30 avreage Accuracy, %62 Precision, %63 Recall ve %62 F1-Score ile en iyi sonucu verdiği görülmüştür. Çalışmanın son aşamasında açıklanabilir yapay zeka tekniklerinden SHAP (SHapley Additive exPlanations) yöntemi kullanılarak model sonuçları açıklanmıştır. 

Tez çalışması, Türkiye Cumhuriyeti Anayasa Mahkemesi kararlarını, yapay zeka 
ile tahmin edilmesinde, açıklanabilir yapay zeka tekniklerini kullanması ve 
Türkçe hukuk kararlarını hibrit yöntemle özetlemesi yönü ile ülkemizde 
gerçekleştirilen ilk çalışma olma özelliğini taşımaktadır

Abstract:
In recent years, it has been observed that artificial intelligence studies have 
increased rapidly as a result of the development of internet technologies, the 
increase in the processing power of computers and the ability to store millions of 
data with cloud computing. The use of artificial intelligence in the field of law is a 
topic that has attracted attention in recent years and is a new field of study with 
very few examples of application in our country. Use of artificial intelligence in 
the legal sector; It brings many benefits with its accelerated decision process, 
instant verification of input data, unbiased perspective, and the ability to quickly 
evaluate past cases with similar models. It is also important and valuable in that 
it automates traditional legal research and analysis, which takes a long time and 
can only be carried out by experts.

In this study, legal text analysis applications were developed with the aim of 
developing and disseminating Turkish artificial intelligence applications in the 
field of law. In the study, firstly, a legal data set was created using open access 
data published by the Constitutional Court of the Republic of Turkey on the 
Decisions Information Bank web page. Later, for the summation application, 
manual summaries of 1300 individual application decisions were created with 
the support of expert legal professionals and added to the data set content. For 
the summarization phase of the study, a transformer-based hybrid approach was 
developed in which inferential and abstract summarization were used together. 
It has been observed that the developed model achieved a higher success rate 
than studies conducted in different languages in the literature, with 0.6129 
Rouge-1 value, 0.5884 Rouge-2 value and 0.5891 Rouge-L values. In the study, 
after text summarization, LJP (Legal Judgment Prediction) applications were 
developed to predict the results of judicial decisions. The "violation / nonviolation" results of the decision texts, both the full text documents before 
summarization and the abstract summary documents after the summarization 
stage, were estimated with KNN, SVM, DT, RF and XGBoost supervised learning 
algorithms. It has been observed that the XGBoost model, which was developed 
and hyperparameter optimized for the prediction of full-text legal decisions, gave 
the best results with 93.84% avreage Accuracy, 93% Precision, 93% Recall and 
93% F1-Score. In the last stage of the study, model results were explained using the SHAP (SHapley Additive exPlanations) method, one of the explainable 
artificial intelligence techniques. 

The thesis is the first study carried out in our country in predicting the decisions 
of the Constitutional Court of the Republic of Turkey with artificial intelligence, 
using explainable artificial intelligence techniques and summarizing Turkish 
legal decisions with a hybrid method.