metadata
datasets:
- jerteh/cc100-sr-jerteh
- jerteh/SrpWiki
- jerteh/SrpELTeC
- srwac
- procesaur/STARS
language:
- sr
tags:
- Srpski
- Serbian
- GPT2
- generisanje
license: cc-by-sa-4.0
pipeline_tag: text-generation
widget:
- text: Kada bi čovek znao gde će pasti,
- text: Jednom davno,
- text: Srbija je
- text: Najbolji lek za stres je
gpt2-orao — Najveći generativni model za srpski jezik.
- Generiše novi tekst, ili nastavlja započeti tekstualni unos
- Zasnovan na GPT2-large arhitekturi, 810 miliona parametara
- Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena
- Jednaka podrška unosa i na ćirilici i na latinici!
Upotreba
>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='jerteh/gpt2-orao')
>>> set_seed(23)
>>> generator("", max_length=30, num_return_sequences=5)
[{'generated_text': 'Ja, međutim, ne idem na Adu - kaže Miodrag.'},
{'generated_text': 'Domaćinstvo se nalazilo na mestu zvanom Kulina (ranije Kulina Vakuf) i bilo je jedno od najvećih i naj'},
{'generated_text': 'Regionalne razlike se uglavnom odnose na geografski položaj, geografsko-geografski položaj i ekonomsku razvijenost.'},
{'generated_text': 'Od tada do danas Srbija ne stoji na nogama'},
{'generated_text': 'Iz tog razloga, na ovaj način se postiže bolja efikasnost rada, odnosno smanjuje se vreme potrebno za sprovođenje simulacije.'}]
Pored navedenih, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.
U slučaju potrebe za manjim modelom, pogledajte gpt2-vrabac — manji model obučen na istom korpusu.
Modeli su obučavani na Nacionalnoj platformi za veštačku inteligenciju Srbije (sistem koji se bazira na nVidia DGX sistemima).
Citiranje
@article{skoric24modeli,
author = {Mihailo \vSkori\'c},
title = {Novi jezi\vcki modeli za srpski jezik},
journal = {Infoteka},
volume = {24},
issue = {1},
year = {2024},
publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
url = {https://arxiv.org/abs/2402.14379}
}