kingabzpro commited on
Commit
470fd4c
2 Parent(s): e829dfa ce19baa

add LM preprocessing

Browse files
Files changed (1) hide show
  1. alphabet.json +1 -1
alphabet.json CHANGED
@@ -1 +1 @@
1
- {"labels": [" ", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "\u00e9", "\u2047", "", "<s>", "</s>"], "is_bpe": false}
 
1
+ {"labels": [" ", "(", "[", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "á", "é", "ł", "ń", "–", "\u00e9", "", "<s>", "</s>"], "is_bpe": false}