File size: 531 Bytes
5c8868f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

languages:  [
  "af", "am", "ar", "bg", "bn", "de", "el", "en", "es", "et",
  "fa", "fi", "fr", "gu", "hi", "hr", "hu", "id", "is", "it",
  "ja", "kk", "kn", "ko", "ky", "lt", "lv", "mk", "ml", "mr",
  "nl", "or", "pa", "pl", "ps", "pt", "ro", "ru", "rw", "so",
  "sr", "sw", "ta", "te", "tr", "uk", "zh"
]

max_length: 256

pre_labels: [
  "<NULL>",
  "¿",
]

post_labels: [
  "<NULL>",
  "<ACRONYM>",
  ".",
  ",",
  "?",
  "?",
  ",",
  "。",
  "、",
  "・",
  "।",
  "؟",
  "،",
  ";",
  "።",
  "፣",
  "፧",
]