# Tekoäly ja uusimmat suuret kielimallit

Mika Hämäläinen

► To cite this version:

Mika Hämäläinen. Tekoäly ja uusimmat suuret kielimallit. DIGI 2024 – Verkon uusia välineitä ja menetelmiä, 2024, 978-952-328-439-5. hal-04786517

HAL Id: hal-04786517

https://hal.science/hal-04786517v1

Submitted on 21 Nov 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Tekoäly ja uusimmat suuret kielimallit

MIKA HÄMÄLÄINEN

<figure><img src="image_2.png" /></figure>

Kuva: Adobe Stock Photos. Educational License.

Suuret kielimallit veivät tekoälyn kyvykkyyden täysin uudelle tasole. Ennen suuria kielimalleja jokaista ongelmaa varten koulutettiin oma tekoälymalli. Esimerkiksi konekäännös, tekstin tiivistäminen
sekä puheenaiheiden tunnistaminen tekstistä vaativat oman tekoälymallinsa, joka kykeni tekemään ainoastaan kyseistä tehtävää.

Suurten kielimallien älykkyys on emergenttiä.<fnref n="67" /> Malli kykenee oppimaan toiminnallisuuksia, joita sille ei eksplisiittisesti opetettu vain sen takia, että malli koulutetaan valtavalla määrällä dataa ja malli on kooltaan suuri – useita miljardeja parametrejä sisältävä neuroverkko. Emergoituvan älykkyyden taso vaikuttaakin olevan jokseenkin riippuvainen suuren kielimallin koosta.<fnref n="68" /> Mitä suurempi malli, sitä abstraktimman representaation se kykenee oppimaan datasta, ja sitä paremmin se voi yleistää oppimaansa uusiin tehtäviin.

Suuria kielimalleja voidaan käyttää pääpiirteittäin kahta tehtävää varten: niillä voidaan tuottaa tekstiä promptin avulla tai niillä voidaan muuntaa tekstiä vektoreiksi. Vektorit ovat matemaattinen representaatio tekstin merkityksestä, ja niitä voidaan vertailla keskenään matemaattisin keinoin. Esimerkiksi kahden tekstidokumentin samankaltaisuutta voi arvioida laskemalla tekstidokumenttien vektoreiden kosinietäisyys.<fnref n="69" />

<footnote n="67">67 Bubeck, S., Chandrasekaran, V., Eldan, R., Gehrke, J., Horvitz, E., Kamar, E. ... & Zhang, Y. Sparks of artificial general intelligence: Early experiments with gpt-4. arXiv preprint arXiv:2303.12712. 2023.</footnote>

<footnote n="68">68 Ks. Macias, M. Finetuning and Improving Prediction Results of LLMs Using Synthetic Data. Metropolia Ammattikorkeakoulu. 2024.</footnote>

<footnote n="69">69 Hämäläinen, M., Rueter, J. & Alnajjar, K. Analyzing Pokémon and Mario Streamers' Twitch Chat with LLM-based User Embeddings. In Proceedings of the 4th International Conference of Natural Language Processing for Digital Humanities. (In press.)</footnote>
> "Uskon, että tulevaisuus tuo vielä monimodaalisempia avoimia tekoälymalleja, jotka kykenevät ottamaan promptin kuvana, tekstinä, äänenä tai videona ja vastaamaan millä tahansa edellä listatuista modaliteeteistä."

Suuret kielimallit ovat viime aikoina myös kehittyneet monimodaali-seen suuntaan. Kielimallit saattavatkin ottaa syötteksi myös kuvia tekstin lisäksi. Tässä artikkelissa keskityn kuvaamaan uusimpia suuria kielimalleja, kielimallien tulevaisuutta sekä mallien arvioinnin hankaluutta.

## Suurten kielimallien uusimmat suuntaukset

Suomen kielen kannalta merkittävin uutinen vuonna 2024 oli Poro-malli.<fnref n="70" /> Tämä suuri kielimalli on koulutettu pääasiassa suomen- ja englanninkielisellä datalla. Avoimista suurista kielimalleista mikään muu ei ole suunnattu suomen kieltä varten samalla tavalla kuin Poro. Mikäli muut kielimallit osaavat suomea, kyse on enemmänkin sattumasta kuin suunnitelmallisesta päämäärästä sisällyttää suomi osaksi kielimallin repertuaaria.

<footnote n="70">70 Luukkonen, R., Burdge, J., Zosa, E., Talman, A., Komulainen, V., Hatanpää, V., Sarlin, P. & Pyysalo, S. Poro 34B and the Blessing of Multilinguality. In arXiv preprint arXiv:2404.01856. 2024.</footnote>
Microsoftin Phi-3-malli<fnref n="71" /> pyrkii tuomaan suurille kielimalleille tyypillisen kyvykkyyden niin pieneen kokoon, että mallia voidaan ajaa jopa puhelimen suorittimella. Phi-mallit mahdollistavat suurten kielimallien kokeilun kustannustehokkaasti pienellä laskentateholla. Tosin mallien kyvykkyyks on merkittävästi suurempia malleja rajallisempaa.

Monet jo tutuksi tulleet suuret kielimallit, kuten Falcon Mamba<fnref n="72" />, LLaMA 3.1⁷³ ja Mixtral 8x7B<fnref n="74" /> ovat myös päivittyneet vuoden varrella uusiin versioihin. Nämä mallit vaativat jo hiukan enemmän laskentatehoa. Seitsemän miljardin parametrin mallit pyörivät vielä kohtalaisesti kannettavalla tietokoneella, mutta sitä suuremmat alkavat jo vaatia näytönohjainta, jossa on tarpeeksi muistia mallin lataamista varten.

Suurin muutos on ollut avoimien monimodaalisten mallien esiin-marssi. Tällaisia ovat esimerkiksi LLaVA-NeXT-Interleave<fnref n="75" />, Phi 3.5-vision-instruct<fnref n="76" /> ja InternVL2.<fnref n="77" /> Nämä mallit mahdollistavat sen, että

<footnote n="71">71 Abdin, M., Jacobs, S. A., Awan, A. A., Aneja, J., Awadallah, A., Awadalla, H. ... & Zhou, X. Phi-3 technical report: A highly capable language model locally on your phone. arXiv preprint arXiv:2404.14219. 2024.</footnote>

<footnote n="72">72 Falcon Mamba 7B. Hugging Face. Luettu 12.8.2024.</footnote>

<footnote n="73">73 Introducing Llama 3.1: Our most capable models to date. Meta, 23.7.2024. Luettu 12.8.2024.</footnote>

<footnote n="74">74 Cheaper, Better, Faster, Stronger. Mistral, 17.4.2024. Luettu 12.8.2024.</footnote>

<footnote n="75">75 Li, F., Zhang, R., Zhang, H., Zhang, Y., Li, B., Li, W. ... & Li, C. LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models. arXiv preprint arXiv:2407.07895. 2024.</footnote>

<footnote n="76">76 Microsoft Phi-3.5-vision-instruct. Hugging Face, 2024. Luettu 12.8.2024.</footnote>

<footnote n="77">77 Chen, Z., Wang, W., Tian, H., Ye, S., Gao, Z., Cui, E. ... & Qiao, Y. How far are we to gpt-4v? closing the gap to commercial multimodal models with open-source suites. arXiv preprint arXiv:2404.16821. 2024.</footnote>
niitä voi promptata sekä tekstillä että kuvalla. Ne voivat esimerkiksi kertoa, mitä kuvassa näkyy, tai tunnistaa kuvassa olevaa tekstiä.

## Miten kielimalleja arvioidaan?

Koska kehitys on kulkenut yksittäisiä tehtäviä varten koulutetuista tekoälymalleista kohti kaikenlaisia kykyjä omaavia suuria kielimalleja, on tekoälyn arvioinnista tullut hankalaa. Mistä tietää, mikä kielimalli on paras, jos kukaan ei osaa edes sanoa varmasti, mitä kykyjä kielimallille on emergoitunut?

Suuria kielimalleja testataan suorityskykytesteillä (benchmark).

## Suurten kielimallien kehitystarpeet

* Mallin on opittava esimerkistä. Kun tekoälylle kerrotaan jotain, sen on kyettävä arvioimaan, kuinka merkityksellisestä asiasta on kyse.

* Mallin tulee kyetä päivittämään itseään niin, että uusi tärkeä tieto jää muistiin pysyvästi, vaikka se olisi sanottu mallille vain kerran.
Valitettavasti nämä testit eivät kuvaa kielimallien keskinäistä paremmuutta riittävän hyvin. Suuret kielimallit ovat tällä hetkellä hyvin riippuvaisia niille annetusta promptista. Toisin sanoin ilmaistu prompti saattaa antaa paremman tuloksen yhdellä kielimallilla ja huonomman toisella. Näin ollen suurten kielimallien asettaminen paremmuusjärjestykseen pelkkien suorituskykytestien avulla on jokseenkin harhaanjohtavaa.

Pienikin kielimalli voi olla hyvä tiettyä tarkoitusta varten. Tämän takia kannattaa aina kokeilla, mikä kielimalli sopii omaan käyttötarkoituksseen. Koska kyse on koneoppimisesta, kielimalleja voi myös jatkokouluttaa omalla datalla, jolloin niiden toimivuus oman ongelmman ratkaisussa saattaa parantua huomattavasti.

Ylipäätään tekoälymallien arviointi joko automaattisin menetelmin suorituskykytesteillä tai ihmisarvioijien avulla on saanut osakseen paljon kritiikkiä jo ennen suurten kielimallien aikaa.<fnref n="78" /> <fnref n="79" /> Testimeneelmät eivät ole koskaan mitanneet tekoälyn suoriutumista tietystä tehtävästä kovinkaan hyvin. Valitettavasti tähän ei vielä ole selkeää ratkaisua tiedossa, joten parhaan kielimallin löytäminen omiin tarkoituksiin vaatii yrystä ja erehdystä.

<footnote n="78">78 Hämäläinen, M. & Alnajjar, K. The Great Misalignment Problem in Human Evaluation of NLP Methods. In Proceedings of the Workshop on Human Evaluation of NLP Systems (HumEval), 2021, s. 69–74.</footnote>

<footnote n="79">79 Reiter, E. A structured review of the validity of BLEU. Computational Linguistics 44 (3), 2018, s. 393–401</footnote>
## Mitä tulevaisuus tuo tullessaan?

Vielä viime vuonna ennustin suurien kielimallien kehittyvän kohti monimodaalista suuntaa. Näin onkin jo tapahtunut, mutta uskon, että tulevaisuus tuo vielä monimodaalisempia avoimia tekoälymalleja, jotka kykenevät ottamaan promptin kuvana, tekstinä, äänenä tai videona ja vastaamaan millä tahansa edellä listatuista modaliteeteistä.

<figure><img src="image_3.png" /><figcaption>Kuva: Adobe Stock Photos. Educational License.</figcaption></figure>
Suuria kielimalleja vaivaa tällä hetkellä yksi erittäin rajoittava piirre – ne eivät muista mitään. Suuri kielimalli muistaa keskustelua vain niin pitkälle kuin se mahtuu mallin konteksti-ikkunaan. Jos konteksti-ikkuna täyttyy tai mallin kanssa aloitetaan uusi keskustelu, se unohtaa välittömästi edeltävän keskustelun. Ainoa tapa saada suuri kielimalli muistamaan on jatkaa sen kouluttamista uudella datalla. Tämä on hidasta eikä se välittämättä takaa sitä, että malli oppii yksittäisiä sille kerrottuja asioita.

Tulevaisuutta varten tarvitsemme mallin, jonka ei enää tarvitse oppia suuresta määrästä dataa. Sen sijaan mallin on opittava esimerkistä. Kun tekoälylle kerrotaan jotain, sen on kyettävä arvioimaan, kuinka merkityksellisestä asiasta on kyse – toisin sanoen kannattaako tietoa muistaa vai painaa se villaisella. Tämän lisäksi mallin tulee kyetä päivittämään itseään niin, että uusi tärkeä tieto jää muistiin pysyvästi, vaikka se olisi sanottu mallille vain kerran.

Tämä vaatii mallilta autonomiaa, mutta mahdollistaa myös kokeilemalla oppimisen. Jos tekoäly kytketään osaksi robottikehoa, pystyy se tutkimaan maailmaa itsenäisesti ja oppimaan asioita ilman datan asettamia rajoitteita. Tämä kuulostaa vielä tieteisfiktiolta, mutta oikeastaan tämä vaatii vain lisää laskentatehoa, jota ihmiskunta tuntuu tuottavan joka tapauksessa, sekä yhden oivalluksen siitä, miten tekoälymalli kannattaa päivittää valikoiden uuden tiedon pohjalta.
## Käsitteitä

**Kielimalli.** Nykyisin tekoälypohjainen laskennallinen malli, joka voi esimerkiksi tuottaa tai analysoida kieltä.

**Kielimallin kouluttaminen.** Kielimallit koulutetaan tekstimassojen avulla. GPT-mallit koulutetaan yksinkertaisesti vain arvaamaan seuraavaa sanaa (tokenia).

**Suuri kielimalli.** Suuret kielimallit ovat nimensä mukaisesti suuria. Suuresta koosta seuraa mallin kompleksisuus, joka mahdollistaa korkeamman tason älykkyyden emergoitumisen.

**Koneoppiminen.** Tekoälyyn liittyvä alaryhmä, jonka avulla järjestelmä voi itsenäisesti oppia ja kehittää itseään tekemään päätöksiä ja ennusteita sille syötetystä tai sen keräämästä datasta.

**Kosinietäisyys.** Matemaattinen keino määrittää kahden vektorin etäisyys toisistaan vektoriavaruudessa. Kielimallien kohdalla tämä tarkoittaa sitä, että mallin avulla voidaan muuntaa tekstejä vektoreiksi, joita voidaan verrata matemaattisin menetelmin.

Jatkuu...
**Monimodaalisuus.** Esimerkiksi teksti on yksi modaliteetti, kuva toinen ja ääni kolmas. Monimodaalinen järjestelmä kykenee analysoimaan tai tuottamaan useampaa kuin yhtä modaliteettia.

**Neuroverkko.** Koneoppimismenetelmä, jonka perusteena ovat toisiinsa kytketyt neuronit. Neuroverkot perustuvat samaan perusperiaatteeseen kuin ihmisen aivoissa olevat neuronit. Neuroverkkojen ei ole kuitenkaan tarkoitus olla biologisesti tarkka kuvaus aivojen toiminnasta, sillä ne ovat rakenteellisesti täysin erilaisia.

**Promptti.** Kehote, joka syötetään suurelle kielimallille ja jonka avulla kielimalli voi tuottaa vastauksen.