Böyük dil modeli

Böyük dil modeli () — ümumi məqsədli dil anlayışına və nəslinə nail olmaq qabiliyyəti ilə diqqət çəkən dil modeli. LLM-lər bu bacarıqları hesablama yolu ilə intensiv öz-özünə və yarı nəzarətli təlim prosesi zamanı mətn sənədlərindən statistik əlaqələri öyrənməklə əldə edirlər. LLM-lər transformator arxitekturasını izləyən süni neyron şəbəkələrdir.

Onlar daxil edilmiş mətni götürərək və növbəti işarəni və ya sözü təkrar-təkrar proqnozlaşdırmaqla mətn yaratmaq üçün istifadə edilə bilər. 2020-ci ilə qədər dəqiq tənzimləmə modelin konkret tapşırıqları yerinə yetirmək üçün uyğunlaşdırılmasının yeganə yolu idi. Bununla belə, GPT-3 kimi daha böyük ölçülü modellər oxşar nəticələr əldə etmək üçün tez bir zamanda dizayn edilə bilər. Onların insan dilinin korporasiyasına xas olan sintaksis, semantika və "ontologiya" haqqında, eyni zamanda korpusda mövcud olan qeyri-dəqiqliklər və qərəzlər haqqında biliklər əldə etdikləri güman edilir.

Populyar nümunələrə OpenAI-nin GPT modelləri (məsələn, ChatGPT-də istifadə edilən GPT-3.5 və GPT-4), Google-un PaLM (Bardda istifadə olunur) və Meta-nın LLaMA, həmçinin BLOOM, Ernie 3.0 Titan və Anthropic-in Claude 2-ni göstərmək olar.

 Ehtimallı tokenləşdirmə 
Bayt-cüt kodlaşdırmanın modifikasiyasından istifadə edərək, ilk addımda bütün unikal simvollar (boşluqlar və durğu işarələri daxil olmaqla) n-qramların ilkin dəsti (yəni, uni-qramların ilkin dəsti) kimi qəbul edilir. Ən təkrar bitişik simvol cütü uğurla biqramda birləşdirilir və cütün bütün nümunələri onunla əvəz olunur. Təkrarən birlikdə baş verən (əvvəllər birləşdirilmiş) n-qramların bitişik cütlərinin bütün hadisələri, təyin olunmuş ölçüdə lüğət əldə olunana qədər təkrar-təkrar daha uzun n-qramlara birləşdirilir (GPT-3-də ölçü 50257-dir.). Token lüğəti sıfırdan token lüğətinin ölçüsünə qədər olan tam ədədlərdən ibarətdir. Yeni sözlər həmişə tokenlərin və ilkin təyin edilmiş uni-qramların birləşmələri kimi şərh edilə bilər.

Əsasən ingilis korpusundan çıxarılan tezliklərə əsaslanan token lüğəti orta ingilis sözü üçün mümkün qədər az tokendən istifadə edir. Belə bir ingiliscə optimallaşdırılmış tokenləşdirici tərəfindən kodlanmış başqa dildəki orta bir söz suboptimal tokenlərə bölünür.

tokenizer: texts -> series of numerical "tokens" belə bölünə bilər:
 n-qramlar:  token  izer  :  texts  ->  series  of  numerical  "  t  ok  ens  " rəqəmlər "token" kimi:  30001  7509  25  13399  4613  2168  286   29052  366  83  482  641  1

Ehtimallı tokenləşdirmə də verilənlər bazalarını sıxışdırır, bu da bayt cütünün kodlaşdırma alqoritmini tokenləşdirici kimi istifadə etməyin səbəbidir. LLM-lər ümumiyyətlə daxil edilən mətnin "kələ-kötür" olmayan massiv olmasını tələb etdiyindən, daha qısa mətnlər ən uzununun uzunluğuna uyğun gələnə qədər "doldurulmalıdır". Bir söz üçün orta hesabla nə qədər token tələb olunduğu verilənlər toplusunun dilindən asılıdır.

 İstinadlar 

 Əlavə ədəbiyyat 
 Jurafsky, Dan, Martin, James. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 3rd Edition draft, 2023.







 Open LLMs repository on GitHub.

Kateqoriya:Dərin öyrənmə
Kateqoriya:Böyük dil modelləri
Kateqoriya:Təbii dilin emalı