fragata commited on
Commit
3adaf05
1 Parent(s): b8dd643

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +37 -0
README.md CHANGED
@@ -1,3 +1,40 @@
1
  ---
 
 
 
 
 
2
  license: gpl
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
+
3
+ language:
4
+ - hu
5
+ tags:
6
+ - text-generation
7
  license: gpl
8
+ widget:
9
+ - text: "Elmesélek egy történetet a nyelvtechnológiáról."
10
+
11
  ---
12
+
13
+ # PULI GPT-3SX
14
+
15
+ For further details, see [our demo site](https://juniper.nytud.hu/demo/puli).
16
+
17
+ - Hungarian GPT-3 like model (GPT-NeoX: 6,7 billion parameter)
18
+ - Trained with EleutherAI's GPT-NeoX [github](https://github.com/EleutherAI/gpt-neox)
19
+ - Dataset: 36,3 billion words
20
+
21
+ ## Limitations
22
+
23
+ - max_seq_length = 2048
24
+
25
+
26
+ ## Citation
27
+ If you use this model, please cite the following paper:
28
+
29
+ ```
30
+ @inproceedings {yang-gpt3,
31
+ title = {Jönnek a nagyok! GPT-3, GPT-2 és BERT large nyelvmodellek magyar nyelvre},
32
+ booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
33
+ year = {2023},
34
+ publisher = {Szegedi Tudományegyetem},
35
+ address = {Szeged, Hungary},
36
+ author = {Yang, Zijian Győző},
37
+ pages = {0}
38
+ }
39
+
40
+ ```