starride-teklia commited on
Commit
6fd05b8
1 Parent(s): 9d4c392

Add language model files

Browse files
Files changed (3) hide show
  1. language_model.arpa.gz +3 -0
  2. lexicon.txt +130 -0
  3. tokens.txt +130 -0
language_model.arpa.gz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b025c7b810bf208f4efed66a87cdff5dda9cfd6f1c2a128f69df337ab7ca7db4
3
+ size 19663009
lexicon.txt ADDED
@@ -0,0 +1,130 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <ctc> <ctc>
2
+ ! !
3
+ & &
4
+ # #
5
+ ' '
6
+ ( (
7
+ ) )
8
+ * *
9
+ + +
10
+ , ,
11
+ - -
12
+ . .
13
+ / /
14
+ 0 0
15
+ 1 1
16
+ 2 2
17
+ 3 3
18
+ 4 4
19
+ 5 5
20
+ 6 6
21
+ 7 7
22
+ 8 8
23
+ 9 9
24
+ : :
25
+ ; ;
26
+ = =
27
+ ? ?
28
+ A A
29
+ B B
30
+ C C
31
+ D D
32
+ E E
33
+ F F
34
+ G G
35
+ H H
36
+ I I
37
+ J J
38
+ K K
39
+ L L
40
+ M M
41
+ N N
42
+ O O
43
+ P P
44
+ Q Q
45
+ R R
46
+ S S
47
+ T T
48
+ U U
49
+ V V
50
+ W W
51
+ X X
52
+ Y Y
53
+ Z Z
54
+ [ [
55
+ ] ]
56
+ a a
57
+ b b
58
+ c c
59
+ d d
60
+ e e
61
+ f f
62
+ g g
63
+ h h
64
+ i i
65
+ j j
66
+ k k
67
+ l l
68
+ m m
69
+ n n
70
+ o o
71
+ p p
72
+ q q
73
+ r r
74
+ s s
75
+ t t
76
+ u u
77
+ v v
78
+ w w
79
+ x x
80
+ y y
81
+ z z
82
+ | |
83
+ ~ ~
84
+ ’ ’
85
+ © ©
86
+ § §
87
+ ª ª
88
+ « «
89
+ ¬ ¬
90
+ ¯ ¯
91
+ ° °
92
+ ¶ ¶
93
+ º º
94
+ » »
95
+ ¿ ¿
96
+ À À
97
+ Â Â
98
+ Ã Ã
99
+ Ç Ç
100
+ É É
101
+ Ï Ï
102
+ Ü Ü
103
+ à à
104
+ á á
105
+ â â
106
+ æ æ
107
+ ç ç
108
+ è è
109
+ é é
110
+ ë ë
111
+ ì ì
112
+ í í
113
+ î î
114
+ ï ï
115
+ ñ ñ
116
+ ú ú
117
+ ù ù
118
+ û û
119
+ ÿ ÿ
120
+ ę ę
121
+ ō ō
122
+ œ œ
123
+ ȩ ȩ
124
+ — —
125
+ ‘ ‘
126
+ ’ ’
127
+ … …
128
+ † †
129
+ <unk> <unk>
130
+ <space> <space>
tokens.txt ADDED
@@ -0,0 +1,130 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <ctc>
2
+ !
3
+ &
4
+ #
5
+ '
6
+ (
7
+ )
8
+ *
9
+ +
10
+ ,
11
+ -
12
+ .
13
+ /
14
+ 0
15
+ 1
16
+ 2
17
+ 3
18
+ 4
19
+ 5
20
+ 6
21
+ 7
22
+ 8
23
+ 9
24
+ :
25
+ ;
26
+ =
27
+ ?
28
+ A
29
+ B
30
+ C
31
+ D
32
+ E
33
+ F
34
+ G
35
+ H
36
+ I
37
+ J
38
+ K
39
+ L
40
+ M
41
+ N
42
+ O
43
+ P
44
+ Q
45
+ R
46
+ S
47
+ T
48
+ U
49
+ V
50
+ W
51
+ X
52
+ Y
53
+ Z
54
+ [
55
+ ]
56
+ a
57
+ b
58
+ c
59
+ d
60
+ e
61
+ f
62
+ g
63
+ h
64
+ i
65
+ j
66
+ k
67
+ l
68
+ m
69
+ n
70
+ o
71
+ p
72
+ q
73
+ r
74
+ s
75
+ t
76
+ u
77
+ v
78
+ w
79
+ x
80
+ y
81
+ z
82
+ |
83
+ ~
84
+ ’
85
+ ©
86
+ §
87
+ ª
88
+ «
89
+ ¬
90
+ ¯
91
+ °
92
+
93
+ º
94
+ »
95
+ ¿
96
+ À
97
+ Â
98
+ Ã
99
+ Ç
100
+ É
101
+ Ï
102
+ Ü
103
+ à
104
+ á
105
+ â
106
+ æ
107
+ ç
108
+ è
109
+ é
110
+ ë
111
+ ì
112
+ í
113
+ î
114
+ ï
115
+ ñ
116
+ ú
117
+ ù
118
+ û
119
+ ÿ
120
+ ę
121
+ ō
122
+ œ
123
+ ȩ
124
+
125
+
126
+
127
+
128
+
129
+ <unk>
130
+ <space>