Yapay zekâ tarafından üretilen metinleri tespit etme yöntemleri ve zorlukları: Yaygın yapay zekâ tespit araçlarının etkinlik ve tutarlılık analizi
Methods and challenges of detecting artificial intelligence generated texts: Effectiveness and consistency analysis of common artificial intelligence detection tools
Yazar: FATİH MAHMUD KOÇ
Danışman: DR. ÖĞR. ÜYESİ NEGAR SADAT SOLEIMANI ZAKERI
İSTANBUL NİŞANTAŞI ÜNİVERSİTESİ / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgi Teknolojileri Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu çalışmada öncelikle yapay zekâ tarafından üretilen metinleri tespit etmenin yöntemleri ve tespit etmenin zorlukları anlatılmıştır. Yöntemler özetle; istatistikler yaklaşımlar, makine öğrenmesi tabanlı modeller, hibrit modeller, insan katılımlı modeller, stilometri, metadata analizi ve çevrimiçi araçlar olarak ele alınmıştır. Zorluklar ise; büyük dil modellerinin karmaşıklığı ve taklit yeteneği, sürekli değişen ve gelişen teknoloji, veri çeşitliliği ve veriye erişim sorunları, dilin öznel yönleri, yanlılık ve hatalı sonuçlar, teknik zorluklar, model uyumsuzluğu, insan kabiliyetleri ve tespit önleme (bypass) araçları olarak ele alınmıştır.
Bunlara ek olarak çalışmanın uygulaması olarak 5 adet akademik metin toplanmış ve 9 adet metin yapay zekâ araçları tarafından ürettirilmiştir. Ardından bu metinlerin yapay zekâ tarafından yazılıp yazılmadığını tespit amacıyla ise ZeroGPT, GPTZero, Copyleaks ve Crossplag araçları kullanılmış ve bu araçların etkinlik ve tutarlılıkları incelenmiştir.
Çalışmanın sonucunda ise, yapay zekâ tarafından yazılan metinleri tespit etme amacıyla kullanılan araçların genel anlamda doğru sonuçlar vermesine rağmen bazı durumlarda yanlış pozitif veya yanlış negatif sonuçlar verdiği tespit edilmiştir. Dolayısıyla günümüz teknolojisiyle bir metne tamamen yapay zekâ tarafından yazılmıştır demenin mümkün olamayacağı sonucuna varılmıştır. Bu çalışma, yapay zekâ metin tespit araçlarının mevcut durumunu ve geliştirilmesi gereken alanları ortaya koymuştur, bu da gelecekteki araştırmalara yol gösterici olabilir.

Abstract:
In this study, firstly, the methods of detecting artificial intelligence-generated texts and the challenges of detecting them are explained. The methods in summary; are statistics approaches, machine learning-based models, hybrid models, human participation models, stylometry, metadata analysis, and online tools. The challenges are; the complexity and imitation ability of large language models, constantly changing and developing technology, data diversity and data access problems, subjective aspects of the language, bias and erroneous results, technical difficulties, model incompatibility, human capabilities and detection prevention (bypass) tools are discussed.
In addition, 5 academic texts were collected and 9 texts were produced by artificial intelligence tools, as the application of the study. Then, in order to determine whether these texts were generated by artificial intelligence, ZeroGPT, GPTZero, Copyleaks, and Crossplag tools were used and the effectiveness and consistency of these tools were examined.
As a result of the study, it was determined that although the tools used to detect artificial intelligence-generated texts generally gave accurate results, in some cases they gave false positive or false negative results. Therefore, it has been concluded that with today's technology, it is not possible to say that a text was generated entirely by artificial intelligence. This study has revealed the current state of artificial intelligence text detection tools and areas that need improvement, which may guide future research.