Erişim destekli üretim

Bilgiyle Zenginleştirilmiş Yanıtlama (Retrieval-Augmented Generation - RAG), üretken yapay zeka (Gen AI) modellerinin yeni bilgileri getirmesine ve bu bilgileri yanıtlarında kullanmasına olanak tanıyan bir tekniktir. Bu yöntem, büyük dil modelleriyle (LLM) yapılan etkileşimleri değiştirerek modelin kullanıcı sorgularına önceden belirlenmiş belge kümelerine dayanarak yanıt vermesini sağlar ve böylece kendi eğitim verilerinden gelen bilgilerle birlikte ek bilgiler sunar. Bu yaklaşım, LLM'lerin alanlara özgü veya güncel bilgileri kullanmasına imkân tanır. Kullanım alanları arasında, sohbet robotlarının şirket içi verilere erişmesi veya otoriter kaynaklara dayalı yanıtlar üretmesi yer alır.

RAG, büyük dil modellerini bilgi getirme mekanizmasıyla geliştirir. Geleneksel LLM'ler yalnızca statik eğitim verilerine dayanırken, RAG ilgili metinleri veri tabanları, yüklenmiş belgeler veya web kaynaklarından çeker. azaltmaya yardımcı olur.

Bilgiyi dinamik olarak getirme yeteneği sayesinde RAG, modellerin sık sık yeniden eğitilmesine gerek kalmadan daha doğru yanıtlar sunmasına olanak tanır. IBM'e göre, “RAG, kullanıcıların modeli yeni verilerle sürekli eğitme ve parametrelerini güncelleme ihtiyacını azaltır. Bu da LLM destekli sohbet robotlarının işletme ortamlarında çalıştırılmasının hesaplama ve maliyet açısından daha verimli olmasını sağlar.”

RAG ve LLM Sınırlamaları
Haziran 2024'te Ars Technica, “LLM’ler insan değildir. Eğitim verileri özellikle zamana duyarlı sorgularda hızla eskiyebilir. Ayrıca LLM, bilgisinin belirli kaynaklarını ayırt edemez; tüm veriler bir çorba gibi harmanlanmıştır.” yorumunda bulundu. 2023'te Google'ın Bard adlı LLM'inin tanıtımı sırasında James Webb Uzay Teleskobu hakkında yanlış bilgi vermesi, Alphabet'in piyasa değerinde 100 milyar dolarlık bir düşüşe neden olmuştur. MIT Technology Review'un verdiği bir örnekte, AI modeli “Amerika Birleşik Devletleri’nin bir Müslüman başkanı olmuştur: Barack Hussein Obama” ifadesini üretmiştir. Bu bilgi, Barack Hussein Obama: America’s First Muslim President? adlı bir kitaptan alınmış ancak içerik yanlış yorumlanarak yanlış bir iddiaya dönüşmüştür. Ars Technica'ya göre, “RAG’in güzelliği, yeni bilgiler mevcut olduğunda modeli yeniden eğitmek yerine, yalnızca modelin harici bilgi tabanının güncellenmesinin yeterli olmasıdır.”

Process (Süreç)
Retrieval-Augmented Generation (RAG), büyük dil modellerinin eğitim veri setlerinin ötesinde ek verilere erişmesini ve bunları kullanmasını sağlayan bir bilgi getirme mekanizması içerir. AWS’ye göre, “RAG, LLM’lerin dış veri kaynaklarından bilgi getirerek daha doğru ve bağlamsal olarak ilgili yanıtlar üretmesini sağlar. (İndeksleme )” Bu yaklaşım, hızla eskiyen statik veri setlerine olan bağımlılığı azaltır. Kullanıcı bir sorgu gönderdiğinde, RAG ilgili içeriği bulmak için bir belge getirici kullanır (Retrieval / Getirme ). Ars Technica, “Yeni bilgi geldiğinde modeli eğitmek yerine bilgi tabanı güncellenerek kullanılır (Augmentasyon )” üzerinde çalışabilir. Bu gömmeler daha sonra belge getirme için bir vektör veritabanında saklanır.

Getirme (Retrieval )

Kullanıcı sorgusuna karşılık olarak, bir belge getirici en ilgili belgeleri seçmek için çağrılır. 2023 itibarıyla daha yeni uygulamalar, çoklu alanlarda sorgu genişletme, hafıza kullanımı ve önceki getirmelerden öğrenme gibi özellikler de sunabilir. Bazı modeller, çıktı kalitesini artırmak için yeniden sıralama, bağlam seçimi ve ince ayar gibi ek adımlar da içerir.

Yakın komşu arama (ANN), daha verimli getiriler sağlar.
Geç Etkileşimler (Late Interactions), kelimeleri getiriden sonra karşılaştırarak doğruluğu artırır.
DRAGON gibi veri zenginleştirme yöntemleri, zorlu örneklerle yoğun getiriyi iyileştirir.
Denetimli Getirici Optimizasyonu, getiricinin seçimlerini modelin üretim olasılıklarıyla hizalar.
Yeniden Sıralama Teknikleri, en alakalı belgeleri öne çıkarır.

Dil Modeli

Retro, getirici odaklı yeniden tasarlanmış bir dil modelidir. Küçük boyutlu bir ağ, getiriciyle birlikte kullanıldığında büyük modellere benzer performans gösterebilir.

Retro++, Retro'nun yeniden üretilebilir bir versiyonudur ve bağlamsal RAG içerir.

Parçalama (Chunking)

Verilerin vektörlere bölünme stratejileridir.

Sabit uzunlukta parçalama (örtüşme ile)
Sözdizimsel parçalama (örneğin spaCy, NLTK kullanılarak)
Dosya formatına dayalı parçalama (örneğin kod blokları, HTML elementleri)

Bilgi Grafikler (Knowledge Graphs)

Belgeler yerine bilgi grafikleri kullanılarak daha yapılandırılmış ve anlamlı getiriler yapılabilir. Bu yaklaşıma GraphRAG da denir.

Hibrit Arama

Vektör tabanlı aramalar bazen önemli bilgileri atlayabilir. Bu yüzden klasik metin araması ile birleştirilmiş hibrit bir yöntem tercih edilebilir.

Değerlendirme ve Karşılaştırmalar
RAG sistemleri, getirme doğruluğu ve üretken kaliteyi ölçen kıyaslamalarla değerlendirilir. BEIR, Natural Questions ve Google QA gibi veri setleri yaygındır. Hukuk ve sağlık gibi yüksek riskli alanlar için LegalBench-RAG gibi özel kıyaslamalar kullanılır.

Zorluklar
RAG, LLM'lerdeki halüsinasyon sorununu tamamen çözmez. Ars Technica'ya göre, “LLM, kaynak materyale dayanarak bile halüsinasyon üretebilir.”

RAG, sık yeniden eğitme ihtiyacını azaltır ancak tamamen ortadan kaldırmaz. Modeller, yeterli bilgiye sahip olmadıklarında güvenilir yanıt verip veremeyeceklerini değerlendiremeyebilir.

RAG sistemleri, bağlamı yanlış yorumlayarak doğru kaynaklardan bile hatalı sonuçlar çıkarabilir. Çelişkili bilgilerle karşılaştıklarında, yanlış birleştirme yaparak yanıltıcı içerikler üretebilirler.

Bu sayfa İngilizce Vikipedi'deki "Retrieval-augmented generation" maddesinden çevrilmiştir. [Retrieval-augmented generation]

Kaynakça