metadata

language:
  - hu
tags:
  - text-generation
license: gpl
widget:
  - text: Elmesélek egy történetet a nyelvtechnológiáról.

PULI GPT-3SX

For further details, see our demo site.

Hungarian GPT-NeoX model (6,7 billion parameter)
Trained with EleutherAI's GPT-NeoX github
Dataset: 36,3 billion words

Limitations

max_seq_length = 2048

Citation

If you use this model, please cite the following paper:

@inproceedings {yang-gpt3,
    title = {Jönnek a nagyok! GPT-3, GPT-2 és BERT large nyelvmodellek magyar nyelvre},
    booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
    year = {2023},
    publisher = {Szegedi Tudományegyetem},
    address = {Szeged, Hungary},
    author = {Yang, Zijian Győző},
    pages = {0}
}

Usage

''' from transformers import GPTNeoXForCausalLM, GPTNeoXTokenizerFast

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")

tokenizer = GPTNeoXTokenizerFast.from_pretrained("NYTK/PULI-GPT-3SX")

prompt = "Elmesélek egy történetet a nyelvtechnológiáról."

input_ids = tokenizer(prompt, return_tensors="pt").input_ids

gen_tokens = model.generate( input_ids, do_sample=True, temperature=0.9, max_length=100, )

gen_text = tokenizer.batch_decode(gen_tokens)[0] print(gen_text) '''