jerteh/gpt2-orao

gpt2-orao — Najveći generativni model za srpski jezik.

• Generiše novi tekst, ili nastavlja započeti tekstualni unos
• Zasnovan na GPT2-large arhitekturi, 810 miliona parametara
• Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena
• Jednaka podrška unosa i na ćirilici i na latinici!

Upotreba

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='jerteh/gpt2-orao')
>>> set_seed(23)
>>> generator("", max_length=30, num_return_sequences=5)

[{'generated_text': 'Ja, međutim, ne idem na Adu - kaže Miodrag.'},
{'generated_text': 'Domaćinstvo se nalazilo na mestu zvanom Kulina (ranije Kulina Vakuf) i bilo je jedno od najvećih i naj'},
{'generated_text': 'Regionalne razlike se uglavnom odnose na geografski položaj, geografsko-geografski položaj i ekonomsku razvijenost.'},
{'generated_text': 'Od tada do danas Srbija ne stoji na nogama'},
{'generated_text': 'Iz tog razloga, na ovaj način se postiže bolja efikasnost rada, odnosno smanjuje se vreme potrebno za sprovođenje simulacije.'}]

Pored navedenih, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.

U slučaju potrebe za manjim modelom, pogledajte gpt2-vrabac — manji model obučen na istom korpusu.

Modeli su obučavani na Nacionalnoj platformi za veštačku inteligenciju Srbije (sistem koji se bazira na nVidia DGX sistemima).

Autor

Mihailo Škorić

@procesaur

Citiranje

@article{skoric24modeli,
  author    = {Mihailo \vSkori\'c},
  title     = {Novi jezi\vcki modeli za srpski jezik},
  journal   = {Infoteka},
  volume    = {24},
  issue     = {1},
  year      = {2024},
  publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
  url       = {https://arxiv.org/abs/2402.14379}
}