Mfumo Mkubwa wa Lugha

Mfumo Mkubwa wa Lugha au Mfano Mkubwa wa Lugha (kifupi: MML kutoka kwenye Kiingereza  Large Language Model au LLM kwa ufupi) ni programu ya akili bandia yenye uwezo wa kuelewa na kuunda lugha kwa ajili ya matumizi mbalimbali. Mifumo hiyo inapata uwezo huo kwa kutumia data nyingi mno za lugha husika kujifunza maana ya maneno na mahusiano yaliyopo baina ya maneno. Hujifunza pia kutofautisha maneno kulingana na muktadha wa mazungumzo na hutumia rasilimali kubwa za hesabu wakati wa mafunzo na operesheni zao.

Mifano hiyo ni mitandao ya neva za bandia (haswa Transfoma) na hupata mafunzo kwa kujifunza zenyewe au kwa kusimamiwa. Mifumo hiyo inajiongoza, hufanya kazi kwa kuchukua neno au sentensi (mwongozo) kisha kwa kurudiarudia zinatabiri neno au sentensi ambayo mara nyingi hufuatia mbele ya mwongozo.

Mifumo mikubwa ya lugha inayojulikana ni pamoja na GPT ya OpenAI (kama GPT-3.5 na GPT-4, inayotumika katika ChatGPT), PaLM ya Google (inayotumika katika Bard), na LLaMa ya Meta, pamoja na BLOOM, Ernie 3.0 Titan, na Claude 2 ya Anthropic.

 Utendaji Kazi 
Utendaji kazi wa mifumo mikubwa ya lugha kama ilivyo kwasasa ni fumbo  na bado haijafahamika kivipi inaweza kufanya kazi zinazohusisha lugha. Kimsingi, MMLs ni kama programu tata ya kukamilisha maneno, kwa kuipa maandishi ya awali (Mf: Haba na haba) MMLs hutoa maandishi ambayo kitakwimu yana nafasi kubwa ya kufatia (Mf: Hujaza kibaba)  kulingana na alama ilizojifunza kutoka kwenye data ilizotumia kujifundisha .

MMLs ina idadi kubwa ya vipimo, mfano GPT-3 ina vipimo bilioni 175 huku mifumo ya hivi karibuni kama GPT-4 ikikadiriwa kuwa na vipimo zaidi ya trilioni 1 . Ni ukubwa wa namna hii unaofanya iwe ngumu sana kuelewa kiundani utendaji kazi wa MMLs. Kila kipimo ndani ya MML kina athari yake kwenye tabia na utendaji kazi wa MML nzima, hivyo tabia ya jumla ya MML haiwezi kuelezewa na kanuni zinazotambulika.

Ugumu wa kung'amua utendaji kazi wa ndani wa MML huongezeka kadri idadi ya vipimo vyake inavyoongezeka. MML yenye vipimo angalau zaidi ya bilioni moja huanza kuonyesha "tabia zinazojitokeza"   - tabia zinazoonyeshwa na mfumo mzima kwa ujumla ambazo haziwezi kuonyeshwa na sehemu moja moja ya mfumo. Mfano wa tabia hizo ni kama akili ya kawaida, kutafsiri lugha na  kuandika muhtasari wa kifungu cha habari. Ukubwa na utata wa MMLs inafanya iwe ngumu kuelewa utendaji kazi wake wa ndani hata kwa waundaji wake.

 Vekta Maneno 
Kuelewa maana ya neno na mahusiano yake na maneno mengine, MML inawakilisha kila neno kama nukta kwenye nafasi ya kufikirika yenye vipimo vingi huku maneno yenye maana sawa yakiwa karibu sana kwenye nafasi.

Kwa kuwakilisha maneno kama vekta, MML inaweza kujifunza vingi kuhusu sifa za maneno na mahusiano yake, mfano kujua kua Berlin kwa ujerumani ni sawa Paris kwa ufaransa au mwanaume kwa mwanamke ni sawa na mfalme kwa malkia . Kwasababu lugha ya binadamu imejaa utata, MML inahitaji kuwa na maarifa ya kutosha kuhusu ulimwengu ili iweze kujua maana ya maneno kwa kuzingatia muktadha wa mazungumzo.

 Mafunzo 
Wakati wa mafunzo, MML huonyeshwa idadi kubwa ya maandishi yaliyopo na kujifunza jinsi gani maneno huonekana kwenye maandishi ukilinganisha na maneno mengine. Kisha hutumia kile ilichojifunza kutabiri neno lenye uwezekano mkubwa wa kutokea mbele ya neno jingine na kila neno litakalofatia baada ya hapo. Hii haina tofauti na kile kinachofanywa  na programu za kukamilisha maneno zinazotumika kwenye injini za utafutaji na simu janja .

Kazi kuu ya MML ni kukokotoa uwezekano wa neno kufatia mbele ya sentensi  , hii hufanywa kwa kuondoa neno la mwisho kwenye sentensi na kuifundisha MML kubashiri neno hilo. Kadri MML inavyopitia mifano mingi ndivyo inavyojifunza sheria za lugha, maana na mahusiano yaliyopo kati ya maneno, hapa mmoja anaweza sema kuwa MML inaunda uelewa wake wenyewe kuhusu lugha.

 Mafunzo ya kujiimarisha kupitia maoni ya binadamu (MKKMB) 
Ili mfumo mkubwa wa lugha uweze kuunda maandishi yanayovutia na yenye usahihi, watafiti na waundaji wa MMLs wanatumia mbinu ya kujifunza kwa mashine ya "mafunzo ya kujiimarisha kupitia maoni ya binadamu" . Kupitia maoni ya binadamu, mfumo wa thawabu unaundwa wenye uwezo wa kutabiri maandishi gani yatapendwa na binadamu, kisha mfumo huu wa thawabu unatumika kuifundisha MML kuunda maandishi yanayopendwa na binadamu kwa kuipa thawabu pale inapopatia 

Ni mbinu hii inayowezesha MMLs kukataa maombi ya kuunda maandishi yoyote ya chuki, ubaguzi wa rangi, ubaguzi wa kijinsia, ya kingono na kadhalika. Moja kati ya mifumo mikubwa ya lugha iliyofanikiwa kwa kutumia MKKMB ni GPT-3.5 inayotumika kwenye roboti la mazungumzo la ChatGPT kutoka OpenAI.

 Mapokeo 
Mwaka 2023, jarida la kisayansi la Nature Biomedical Engineering liliandika "Dunia bado haiamini kuwa mtandao rahisi ila mkubwa wa neva bandia unaweza kuunda mazungumzo yanayofaulu Mtihani wa Turing. Ni vigumu kwasasa kutofautisha kati ya maandishi yaliyoandikwa na binadamu na yale yaliyoandikwa na mtandao rahisi wa neva bandia. Kama tukirudi miaka michache tu iliyopita, idadi kubwa ya wataalamu wa kujifunza kwa mashine na wa lugha wasingeweza kuamini kuwa kompyuta ingeweza kuelewa lugha za binadamu" .

Tafiti kutoka Goldman Sachs zilionyesha kuwa ndani ya mwaka 2023 akili bandia zalishaji kadri zinavyozidi kutumika kwenye biashara na jamii kwa ujumla zinaweza ongeza pato la dunia kwa 7% (sawa na dola za kimarekani trilioni 7) na kuchochea tija kwa 15% ndani ya kipindi cha miaka 10  .

Hata hivyo baadhi ya wadau wameonyesha wasiwasi wao juu ya uwezekano wa mifumo mikubwa ya lugha kutumika kama zana za kupotosha habari na matumizi mengine mabaya . Kwa mfano, upatikanaji wa mifumo mikubwa ya lugha inapunguza kiwango cha ujuzi kinachohitajika kutekeleza ugaidi wa kibaiolojia, mtafiti wa usalama wa viumbe Kevin Esvelt alitoa pendekezo kuwa waundaji wa MMLs wasiweke maandishi au taarifa zinazohusiana na kutengeneza au kuboresha vimelea vya magonjwa Could chatbots help devise the next pandemic virus? 

 Orodha 
+JinaTarehe ya toleoMsanidiIdadi ya vipimoIdadi ya manenoGharama ya mafunzo (petaFLOP - siku)LeseniMaelezoBERTOctoba 2018GoogleMilioni 340Maneno bilioni 3.39Apache 2.0XLNetJuni 2019Google~Milioni 340Maneno bilioni 33Mbadala wa BERTGPT-2Februari 2019OpenAIBilioni 1.5Maneno bilioni 10MITMML kwa ajili ya matumizi ya jumla, umeundwa kwa kutumia usanifu wa TransfomaGPT-3Mei 2020OpenAIBilioni 175Maneno bilioni 3003640InamilikiwaToleo lililoboreshwa la GPT-3 lililoitwa GPT-3.5 lilitolewa kwa umma kupitia kiolesura cha wavuti kiitwacho ChatGPT mnamo 2022GPT-NeoMachi 2021EleutherAIBilioni 2.7GiB 825 za manenoMITHii ni ya kwanza kati ya mfululizo wa mibadala ya bure ya GPT-3 iliyotolewa na EleutherAI. GPT-Neo ilifanya vyema zaidi ya GPT-3 ya ukubwa sawa kwenye baadhi ya vigezo, lakini iliachwa nyuma mno na GPT-3 kubwa zaidi yake.GPT-JJuni 2021EleutherAIBilioni 6GiB 825 za maneno200Apache 2.0Mfumo wa lugha aina ya GPT-3Megatron-Turing NLGOcta 2021Microsoft na NvidiaBilioni 530Maneno bilioni 338.6GPT-4Machi 2023OpenAIHaijulikaniHaijulikaniHaijulikaniInamilikiwaInapatikana kwa watumiaji wa ChatGPT Plus na bidhaa nyingine za OpenAILLaMA (Large Language Model Meta AI)Februari 2023Meta PlatformsBilioni 65Trilioni 1.46300Kwa ajili ya tafiti zisizo za kibiasharaWatafiti kutoka chuo kikuu cha Stanford waliunda mfumo uliyoboreshwa kwa kutumia vipimo ya LLaMA walioupa jina la AlpacaBLOOMJulai 2022Kwa ushirikiano mkubwa ulioongozwa na Hugging Face Bilioni 175Maneno bilioni 350 (TB 1.6)Responsible AIKimsingi hii ni GPT-3, lakini imefundishwa lugha nyingi ikiwemo 30% ya kingereza bila kujumuisha lugha za programu.PaLM (Pathways Language Model)Aprili 2022GoogleBilioni 540Bilioni 768 29250InamilikiwaHapa lengo ni kufikia kiwango cha mwisho cha ukubwa wa MMLMinervaJuni 2022GoogleBilioni 540Maneno / ishara bilioni 38.5 kutoka kwenye kurasa za tovuti kupata mahudhui ya hisabati zikiwemo karatasi zilizowasilishwa kwenye tovuti ya  arXivinamilikiwaMML iliyofundishwa kujibu maswali ya hisabati ya kisayansi hatua kwa hatua. Minerva imejengwa juu ya mfumo wa PaLM uliyoboreshwa kwa kutumia data za hisabati na sayansi.LaMDA (Language Models for Dialog Applications)Januari 2022GoogleBilioni 137Maneno trilioni 1.56 na ishara bilioni 1684110InamilikiwaMaalumu kwa ajili ya mazungumzoGPT-NeoXFebruari 2022EleutherAIBilioni 20GiB 825740Apache 2.0Llama 2Julai 2023Meta PlatformsBilioni 70Maneno / ishara trilioni 2Leseni ya Llama 2Mrithi wa LLaMAErnie 3.0 TitanDesemba 2021BaiduBilioni 260TB 4InamilikiwaMML kutoka China. Ernie Bot ya Baidu inatumia mfumo huuClaudeDesemba 2021AnthropicBilioni 52Maneno / ishara bilioni 400betaImeboreshwa kwa ajili ya mazungumzoGLaM (Generalist Language Model)Desemba 2021GoogleTrilioni 1.2Maneno ./ ishara trilioni 1.65600InamilikiwaGopherDesemba 2021DeepmindBilioni 280Maneno / ishara bilioni 3005833InamilikiwaYaLM 100BJuni 2022YandexBilioni 100TB 1.7Apache 2.0MML ya kingereza na kirusi iliyojengwa juu ya mfumo wa Megatron-LMGalacticaNovemba 2022Meta PlatformsBilioni 120Maneno / ishara bilioni 106HaijulikaniCC-BY-NC-4.0Imefundishwa njia na taarifa za kisayansiAlexaTM (Teacher Models)Novemba 2022Amazon (kampuni)Bilioni 20Trilioni 1.3InamilikiwaCerebras-GPTMachi 2023CerebrasBilioni 13270Apache 2.0FalconMachi 2023Technology Innovation InstituteBilioni 40Maneno / ishara trilioni kutoka kwenye tovuti2800Apache 2.0BloombergGPTMachi 2023Bloomberg L.P.Bilioni 50Maneno / ishara 363 kutoka kwenye data za Bloomberg, jumlisha na maneno / ishara bilioni 345 kutoka kwenye vyanzo vingine.InamilikiwaHii ni MML iliyofundishwa kwa kutumia taarifa za kifedha, hivyo inafanya vizuri zaidi kuliko mifumo mingine yote kwenye kazi za kifedha na bila kuachwa nyuma kwenye vigezo vingine vinavyotumika kupima MMLPanGu-ΣMachi 2023HuaweiTrilioni 1.085Maneno / ishara bilioni 329InamilikiwaOpenAssistanMachi 2023LAIONBilioni 17Maneno / ishara trilioni 1.5Apache 2.0Falcon 180BSeptemba 2023Technology Innovation InstituteBilioni 180Maneno / ishara trilioni 3.5Falcon 180B TII licenseMistral 7BSeptemba 2023MistralBilioni 7.3HaijulikaniApache 2.0OpenHermes-7BSeptemba 2023Nous ResearchBilioni 7HaijulikaniHaijulikaniMITOpenHermes-15Septemba 2023Nous ResearchBilioni 13HaijulikaniHaijulikaniMITGrok-1Novemba 2023X.AIHaijulikaniHaijulikaniHaijulikaniInamilikiwaInatumika kwenye roboti la mazungumzo la Grok. Grok-1 ina dirisha la muktadha lenye uwezo wa kupokea maneno 8,192. Grok-1 imeunganishwa na X (zamani Twitter)GeminiDesemba 2023Google DeepmindHaijulikaniHaijulikaniHaijulikaniInamilikiwaHuu ni mfumo wa taarifa nyingi uliogawanyika kwenye aina tatu, Gemini Utra, Gemini Pro na Gemini Nano. Unatumika kwenye roboti la mazungumzo la BardPhi-2Desemba 2023MicrosoftBilioni 2.7Maneno trilioni 1.4HaijulikaniInamilikiwaMfumo uliofunzwa kwa kutumia vitabu vya kiada pekee

 Masoma zaidi 
MMLs za bure

Tanbihi

Jamii:programu za kompyuta