Kielimalli

Tilastollinen kielimalli on sanajonon sanojen todennäköisyysjakauma tai sellainen todennäköisyysfunktio, joka tuottaa jakauman. Jos sanajonossa, esimerkiksi lauseessa, on  sanaa, antaa kielimalli koko sanajonolle todennäköisyyden . Kielimalli voidaan määritellä myös sanan osille, kuten morfeemeille.

Todennäköisyyksien avulla kielimallit osaavat muun muassa ennustaa, miten jonkin lauseen tulisi jatkua, vastata kysymyksiin, tai muodostaa kehotteen avulla pitkiäkin tekstejä kuten keskusteluja, runoja, koodeja tai artikkeleita.

Kielimallin perustana käytetään olemassaolevaa tekstiaineistoa eli korpusta, jonka avulla malli opetetaan. Aineisto voi olla peräisin kirjoista, sanomalehdistä, tv-ohjelmien transskripteistä tai vaikka internetistä. Mitä suurempi opetusaineisto, sitä parempi yleensä mallin ennustuskyky. Suurten opetusmateriaalien vuoksi mallit saattavat joskus oppia niistä myös ei-haluttuja asioita, kuten ennakkoasenteita.

Kielimalleja voidaan käyttää erilaisissa tietokonelingvistiikan sovelluksissa, kuten puheentunnistuksessa, konekääntämisessä, luonnollisen kielen tuottamisessa, kielen jäsentämisessä, tekstintunnistuksessa tai tiedonhaussa.

Kielimallien tyyppejä 
 1-grammi-malli eli unigram-malli: saneen todennäköisyys ei riipu muista saneista
 2-grammi-malli: vain edellinen sane määrittää seuraavan saneen todennäköisyyden
 n-grammi-malli: ottaa huomioon n − 1 edellistä sanetta
 neuroverkkokielimallit
 ehdollistettu kielimalli: ottaa kehotteen lisäksi huomioon kontekstivektorin
 Transformer, jonka kehitti Google vuonna 2017

Joitain kuuluisia kielimalleja 

OpenAI:n GPT (Generative pre-trained transformer)
versiot GPT-2, GPT-3, GPT-3.5, GPT-4, joita on käytetty ChatGPT/InstructGPT -sovelluksissa ja Bing-hakukoneessa.

 Meta Platforms/Facebookin LLaMA 
 vuotanut julkisuuteen ja ajettavissa kotikoneella.

 Google AI: LaMDA (Language Model for Dialogue Applications), PaLM (Pathways Language Model)
 sovelluskohde Google Bard

 DeepMind: Chinchilla

 BERT: Bidirectional Encoder Representations from Transformers (BERT)
Googlen vuonna 2018 julkaisema ensimmäinen transformer-perustainen kielimalli

Suomen kielen kielimalleja 
 FinBERT
 Finnish GPT-3

Lähteet 

Tekniikka
Kieliteknologia