gpt2-orao — Najveći generativni model za srpski jezik.
- Generiše novi tekst, ili nastavlja započeti tekstualni unos
- Zasnovan na GPT2-large arhitekturi, 810 miliona parametara
- Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena
- Jednaka podrška unosa i na ćirilici i na latinici!
Upotreba
>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='jerteh/gpt2-orao')
>>> set_seed(23)
>>> generator("", max_length=30, num_return_sequences=5)
[{'generated_text': 'Ja, međutim, ne idem na Adu - kaže Miodrag.'},
{'generated_text': 'Domaćinstvo se nalazilo na mestu zvanom Kulina (ranije Kulina Vakuf) i bilo je jedno od najvećih i naj'},
{'generated_text': 'Regionalne razlike se uglavnom odnose na geografski položaj, geografsko-geografski položaj i ekonomsku razvijenost.'},
{'generated_text': 'Od tada do danas Srbija ne stoji na nogama'},
{'generated_text': 'Iz tog razloga, na ovaj način se postiže bolja efikasnost rada, odnosno smanjuje se vreme potrebno za sprovođenje simulacije.'}]
Pored navedenih, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.
U slučaju potrebe za manjim modelom, pogledajte gpt2-vrabac — manji model obučen na istom korpusu.
Modeli su obučavani na Nacionalnoj platformi za veštačku inteligenciju Srbije (sistem koji se bazira na nVidia DGX sistemima).
Citiranje
@article{skoric24modeli,
author = {Mihailo \vSkori\'c},
title = {Novi jezi\vcki modeli za srpski jezik},
journal = {Infoteka},
volume = {24},
issue = {1},
year = {2024},
publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
url = {https://arxiv.org/abs/2402.14379}
}
- Downloads last month
- 851
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.