PaLM

PaLM (Pathways Language Model), Google AI tarafından geliştirilen 540 milyar parametreli dönüştürücü tabanlı büyük bir dil modelidir. Araştırmacılar ayrıca model ölçeğinin etkilerini test etmek için PaLM'ın daha küçük sürümlerini, 8 ve 62 milyar parametreli modellerini de yaptılar.

PaLM, sağduyulu akıl yürütme, aritmetik akıl yürütme, şaka açıklaması, kod oluşturma ve çeviri dahil olmak üzere çeşitli görevleri yerine getirebilir. Düşünce zinciri yönlendirmesiyle birleştirildiğinde PaLM, kelime problemleri ve mantığa dayalı sorular gibi birden çok adımın akıl yürütmesini gerektiren veri kümelerinde önemli oranda iyi performans elde etti.

Model ilk olarak Nisan 2022'de duyuruldu ve Google'ın PaLM ve diğer bazı teknolojiler için bir API başlattığı Mart 2023'e kadar gizli kaldı. API halka açılmadan önce bekleme listesine katılan sınırlı sayıda geliştirici tarafından kullanılabilecek.

Google ve DeepMind, PaLM 540B'nin Med-PaLM adlı tıbbi veriler üzerinde ince ayarı yapılmış ve tıbbi soru yanıtlama kapasitesinde önceki modellerden daha iyi performans gösteren bir sürüm geliştirdi. Med-PaLM, ABD tıbbi ruhsatlandırma sorularından geçer puan alan ilk programdır ve hem çoktan seçmeli hem de açık uçlu soruları doğru yanıtlamanın yanı sıra muhakeme sağlar ve kendi yanıtlarını değerlendirebilir.

Google ayrıca görüntü dönüştürücü kullanarak robotik manipülasyon için kullanılabilecek son teknoloji bir görüntü dili modeli olan PaLM-E'yi oluşturdu. Model yeniden eğitime veya ince ayara ihtiyaç duymadan robotikteki görevleri rekabetçi bir şekilde gerçekleştirebilir.

Mayıs 2023'te Google, yıllık Google I/O açılış konuşmasında PaLM 2'yi duyurdu. PaLM 2'nin 3,6 trilyon token üzerinde eğitilmiş 340 milyar parametreli bir model olduğu bildirildi.

Eğitim 
PaLM, çeşitli doğal dil görevlerini ve kullanım durumlarını içeren 780 milyar belirteçlik yüksek kaliteli bir külliyat üzerinde önceden eğitilmiştir. Bu veri kümesi, filtrelenmiş web sayfalarını, kitapları, Wikipedia makalelerini, haber makalelerini, GitHub'daki açık kaynak havuzlarından elde edilen kaynak kodlarını ve sosyal medya konuşmalarını içerir. Google'ın LaMDA modelini eğitmek için kullanılan veri kümesini temel alır.

PaLM 540B, bugüne kadar açıklanan en büyük TPU yapılandırması olan bir model ve veri paralelliği kombinasyonu kullanılarak bağlanan, 768 ana bilgisayara bağlı her bölmede 3.072 TPU v4 yongası bulunan iki TPU v4 Bölmesi üzerinde eğitildi. Toplam 6.144 çip kullanarak ve %57,8'lik bir donanım FLOP kullanımı sağlayarak bu ölçekte LLM'ler için elde edilen en yüksek eğitim verimliliği rekorunu kırdı: .

Kaynakça 

Google yazılımları