GPT-3

Generative Pre-trained Transformer 3 ( ) kısaca GPT-3, insanların yazdığı metinlere benzer içerik üretmek için derin öğrenmeyi kullanan özbağlanımlı dil modelidir. GPT-1 ve GPT-2'nin ardılıdır. GPT-n serisindeki üçüncü nesil dil tahmin modeli olan GPT-3, San Francisco merkezli yapay zeka araştırma laboratuvarı OpenAI tarafından geliştirilmiştir. GPT-3'ün tam sürümü, veri işleyecek 175 milyar parametreye sahiptir. Bu rakam GPT-2'nin öğrenme kapasitesinin 2 katıdır. 14 Mayıs 2020'de tanıtılan ve Temmuz 2020 itibarıyla beta aşamasında olan GPT-3, önceden öğretilmiş dil örnekleriyle doğal dil işleme (NLP) sistemini kullanmaktadır. GPT-3'ün piyasaya sürülmesinden önce, en büyük dil modeli Microsoft'un Şubat 2020'de tanıttığı ve GPT-3'ün %10'undan daha az kapasiteye sahip olan (17 milyar parametre) Turing NLG idi.
GPT-3 tarafından üretilen metnin kalitesi o kadar yüksektir ki, bir insan tarafından yazılmadığını anlamak zordur. Bu durumun yaratabileceği avantajlar olabileceği gibi riskler de vardır.

Arka planı
The Economist'e göre, geliştirilmiş algoritmalar, güçlü bilgisayarlar ve sayısallaştırılmış verilerdeki artış, makine öğreniminde bir devrimi tetiklemiştir. Yazılım modelleri, bir "yapıda" binlerce veya milyonlarca örnek kullanarak öğrenmek üzere eğitilmektedir. Doğal dil işlemede (NLP) kullanılan mimari, ilk olarak 2017'de tanıtılan derin öğrenme modeline dayanan Transformer adlı yapay sinir ağıdır. GPT-n modellerinin yapısı, Transformer tabanlı derin öğrenme sistemine dayanmaktadır. Veri işleme, veri madenciliği, veri düzenleme, veriler arası bağlantı kurma, verilerde zıtlık oluşturma, verileri anlama ve sorulara yanıt verme becerisine sahip bir dizi NLP sistemi vardır.

Yapabildikleri
OpenAI'de çalışan 31 mühendis ve araştırmacıdan oluşan grup projeyi 28 Mayıs 2020'de tanıttı. GPT-3'ün kapasitesi, Microsoft'un Turing NLG'sinin on katından fazladır.

GPT-3'e öğrenmesi için verilen veri kümesinin %60'ının kaynağı, 410 milyar veriden oluşan filtrelenmiş Common Crawl sürümüdür. Veri kümesinin %22'si İnternetteki verilerden, %16'sı şimdiye kadar yayımlanmış kitaplardan ve %3'ü Wikipedia'dan gelmektedir. GPT-3, yüz milyarlarca kelimenin yanı sıra CSS, JSX, Python'da kodlama yeteneğine sahiptir. Davetiyede, bu API'nin neredeyse "tüm İngilizce komutları" tamamlayabildiğini yazmaktadır. OpenAI GPT-3 API'nin erken sürümüne erişim hakkı olan bir kullanıcıya göre, GPT-3 "inanılmaz derecede tutarlı metinler" yazma konusunda "ürkütücü derecede iyiydi".

GPT-3, insanlar tarafından yazılan makalelerden ayırt etmekte güçlük çekilen haberler üretebildiğinden", GPT-3'ün hem yararlı hem de zararlı uygulamaların geliştirilmesinde kullanılabileceği düşünülmektedir. Araştırmacılar 28 Mayıs 2020 tarihli makalelerinde GPT-3'ün potansiyel zararlı etkilerini detaylıca açıklamışlardır. Yanlış bilgi üretimi, spam, kimlik avı, yasal ve hükûmet süreçlerinin kötüye kullanımı, sahte akademik makale yazma ve sosyal mühendislik potansiyel zararlı etkilerden bazılarıdır. Yazarlar, bu risklerin azaltılması konusunda araştırmalar yapılması için bu tehlikelere dikkat çekmektedir.

Ayrıca Bakınız
ChatGPT
GPTZero
LaMDA
Wu Dao
BERT (dil modeli)
Üretken Ön İşlemeli Dönüştürücü

Kaynakça