Suur keelemudel

Suur keelemudel (inglise keeles large language model, lühend LLM) on keelemudel, mis on treenitud isejuhendatud masinõppe abil tohutu hulga teksti peal eesmärgiga täita loomuliku keele töötluse, eriti loomuliku keele genereerimise ülesandeid.Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Matthew; Bernstein, Michael S.; Bohg, Jeannette; Bosselut, Antoine; Brunskill, Emma. On the Opportunities and Risks of Foundation Models, 2021.Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda. Language Models are Few-Shot Learners, 2020. Kõige suuremad ja võimekamad suured keelemudelid on treenitud generatiivtransformerid, mis annavad tänapäevastele juturobotitele põhivõimekuse. Suuri keelemudeleid saab peenhäälestada konkreetsete ülesannete jaoks või juhtida promptide abil.Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario. Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H. (toim). Language Models are Few-Shot Learners. – Advances in Neural Information Processing Systems, 2023. 33. Curran Associates, Inc.: 1877–1901. Need mudelid omandavad prognoosimisvõime inimeste keelekorpustes kätkevate süntaksi, semantika ja ontoloogiate suhtes, kuid nad pärivad ka ebatäpsused ja algoritmilise kallutatuse treeningandmetes.Christopher D. Manning. Human Language Understanding & Reasoning. – Daedalus, 2022, 151 (2): 127–138.

Viited

Kategooria:Arvutilingvistika