small_conversational_test / tokenizer.json
Narsil's picture
Narsil
HF staff
Adding tokenizer. 94afb37
1
{
2
    "version": "1.0",
3
    "truncation": null,
4
    "padding": null,
5
    "added_tokens": [
6
        {
7
            "id": 256,
8
            "special": true,
9
            "content": "<bos>",
10
            "single_word": false,
11
            "lstrip": false,
12
            "rstrip": false,
13
            "normalized": false
14
        },
15
        {
16
            "id": 257,
17
            "special": true,
18
            "content": "<eos>",
19
            "single_word": false,
20
            "lstrip": false,
21
            "rstrip": false,
22
            "normalized": false
23
        }
24
    ],
25
    "normalizer": null,
26
    "pre_tokenizer": null,
27
    "post_processor": {
28
        "type": "TemplateProcessing",
29
        "single": [
30
            { "SpecialToken": { "id": "<bos>", "type_id": 0 } },
31
            { "Sequence": { "id": "A", "type_id": 0 } },
32
            { "SpecialToken": { "id": "<eos>", "type_id": 0 } }
33
        ],
34
        "pair": [
35
            { "Sequence": { "id": "A", "type_id": 0 } },
36
            { "Sequence": { "id": "B", "type_id": 1 } }
37
        ],
38
        "special_tokens": {
39
            "<bos>": { "id": "<bos>", "ids": [256], "tokens": ["<bos>"] },
40
            "<eos>": { "id": "<eos>", "ids": [257], "tokens": ["<eos>"] }
41
        }
42
    },
43
    "decoder": null,
44
    "model": {
45
        "unk_id": null,
46
        "vocab": [
47
            ["\u0000", 0.0],
48
            ["\u0001", 1.0],
49
            ["\u0002", 2.0],
50
            ["\u0003", 3.0],
51
            ["\u0004", 4.0],
52
            ["\u0005", 5.0],
53
            ["\u0006", 6.0],
54
            ["\u0007", 7.0],
55
            ["\b", 8.0],
56
            ["\t", 9.0],
57
            ["\n", 10.0],
58
            ["\u000b", 11.0],
59
            ["\f", 12.0],
60
            ["\r", 13.0],
61
            ["\u000e", 14.0],
62
            ["\u000f", 15.0],
63
            ["\u0010", 16.0],
64
            ["\u0011", 17.0],
65
            ["\u0012", 18.0],
66
            ["\u0013", 19.0],
67
            ["\u0014", 20.0],
68
            ["\u0015", 21.0],
69
            ["\u0016", 22.0],
70
            ["\u0017", 23.0],
71
            ["\u0018", 24.0],
72
            ["\u0019", 25.0],
73
            ["\u001a", 26.0],
74
            ["\u001b", 27.0],
75
            ["\u001c", 28.0],
76
            ["\u001d", 29.0],
77
            ["\u001e", 30.0],
78
            ["\u001f", 31.0],
79
            [" ", 32.0],
80
            ["!", 33.0],
81
            ["\"", 34.0],
82
            ["#", 35.0],
83
            ["$", 36.0],
84
            ["%", 37.0],
85
            ["&", 38.0],
86
            ["'", 39.0],
87
            ["(", 40.0],
88
            [")", 41.0],
89
            ["*", 42.0],
90
            ["+", 43.0],
91
            [",", 44.0],
92
            ["-", 45.0],
93
            [".", 46.0],
94
            ["/", 47.0],
95
            ["0", 48.0],
96
            ["1", 49.0],
97
            ["2", 50.0],
98
            ["3", 51.0],
99
            ["4", 52.0],
100
            ["5", 53.0],
101
            ["6", 54.0],
102
            ["7", 55.0],
103
            ["8", 56.0],
104
            ["9", 57.0],
105
            [":", 58.0],
106
            [";", 59.0],
107
            ["<", 60.0],
108
            ["=", 61.0],
109
            [">", 62.0],
110
            ["?", 63.0],
111
            ["@", 64.0],
112
            ["A", 65.0],
113
            ["B", 66.0],
114
            ["C", 67.0],
115
            ["D", 68.0],
116
            ["E", 69.0],
117
            ["F", 70.0],
118
            ["G", 71.0],
119
            ["H", 72.0],
120
            ["I", 73.0],
121
            ["J", 74.0],
122
            ["K", 75.0],
123
            ["L", 76.0],
124
            ["M", 77.0],
125
            ["N", 78.0],
126
            ["O", 79.0],
127
            ["P", 80.0],
128
            ["Q", 81.0],
129
            ["R", 82.0],
130
            ["S", 83.0],
131
            ["T", 84.0],
132
            ["U", 85.0],
133
            ["V", 86.0],
134
            ["W", 87.0],
135
            ["X", 88.0],
136
            ["Y", 89.0],
137
            ["Z", 90.0],
138
            ["[", 91.0],
139
            ["\\", 92.0],
140
            ["]", 93.0],
141
            ["^", 94.0],
142
            ["_", 95.0],
143
            ["`", 96.0],
144
            ["a", 97.0],
145
            ["b", 98.0],
146
            ["c", 99.0],
147
            ["d", 100.0],
148
            ["e", 101.0],
149
            ["f", 102.0],
150
            ["g", 103.0],
151
            ["h", 104.0],
152
            ["i", 105.0],
153
            ["j", 106.0],
154
            ["k", 107.0],
155
            ["l", 108.0],
156
            ["m", 109.0],
157
            ["n", 110.0],
158
            ["o", 111.0],
159
            ["p", 112.0],
160
            ["q", 113.0],
161
            ["r", 114.0],
162
            ["s", 115.0],
163
            ["t", 116.0],
164
            ["u", 117.0],
165
            ["v", 118.0],
166
            ["w", 119.0],
167
            ["x", 120.0],
168
            ["y", 121.0],
169
            ["z", 122.0],
170
            ["{", 123.0],
171
            ["|", 124.0],
172
            ["}", 125.0],
173
            ["~", 126.0],
174
            ["", 127.0],
175
            ["€", 128.0],
176
            ["", 129.0],
177
            ["‚", 130.0],
178
            ["ƒ", 131.0],
179
            ["„", 132.0],
180
            ["…", 133.0],
181
            ["†", 134.0],
182
            ["‡", 135.0],
183
            ["ˆ", 136.0],
184
            ["‰", 137.0],
185
            ["Š", 138.0],
186
            ["‹", 139.0],
187
            ["Œ", 140.0],
188
            ["", 141.0],
189
            ["Ž", 142.0],
190
            ["", 143.0],
191
            ["", 144.0],
192
            ["‘", 145.0],
193
            ["’", 146.0],
194
            ["“", 147.0],
195
            ["”", 148.0],
196
            ["•", 149.0],
197
            ["–", 150.0],
198
            ["—", 151.0],
199
            ["˜", 152.0],
200
            ["™", 153.0],
201
            ["š", 154.0],
202
            ["›", 155.0],
203
            ["œ", 156.0],
204
            ["", 157.0],
205
            ["ž", 158.0],
206
            ["Ÿ", 159.0],
207
            [" ", 160.0],
208
            ["¡", 161.0],
209
            ["¢", 162.0],
210
            ["£", 163.0],
211
            ["¤", 164.0],
212
            ["¥", 165.0],
213
            ["¦", 166.0],
214
            ["§", 167.0],
215
            ["¨", 168.0],
216
            ["©", 169.0],
217
            ["ª", 170.0],
218
            ["«", 171.0],
219
            ["¬", 172.0],
220
            ["­", 173.0],
221
            ["®", 174.0],
222
            ["¯", 175.0],
223
            ["°", 176.0],
224
            ["±", 177.0],
225
            ["²", 178.0],
226
            ["³", 179.0],
227
            ["´", 180.0],
228
            ["µ", 181.0],
229
            ["¶", 182.0],
230
            ["·", 183.0],
231
            ["¸", 184.0],
232
            ["¹", 185.0],
233
            ["º", 186.0],
234
            ["»", 187.0],
235
            ["¼", 188.0],
236
            ["½", 189.0],
237
            ["¾", 190.0],
238
            ["¿", 191.0],
239
            ["À", 192.0],
240
            ["Á", 193.0],
241
            ["Â", 194.0],
242
            ["Ã", 195.0],
243
            ["Ä", 196.0],
244
            ["Å", 197.0],
245
            ["Æ", 198.0],
246
            ["Ç", 199.0],
247
            ["È", 200.0],
248
            ["É", 201.0],
249
            ["Ê", 202.0],
250
            ["Ë", 203.0],
251
            ["Ì", 204.0],
252
            ["Í", 205.0],
253
            ["Î", 206.0],
254
            ["Ï", 207.0],
255
            ["Ð", 208.0],
256
            ["Ñ", 209.0],
257
            ["Ò", 210.0],
258
            ["Ó", 211.0],
259
            ["Ô", 212.0],
260
            ["Õ", 213.0],
261
            ["Ö", 214.0],
262
            ["×", 215.0],
263
            ["Ø", 216.0],
264
            ["Ù", 217.0],
265
            ["Ú", 218.0],
266
            ["Û", 219.0],
267
            ["Ü", 220.0],
268
            ["Ý", 221.0],
269
            ["Þ", 222.0],
270
            ["ß", 223.0],
271
            ["à", 224.0],
272
            ["á", 225.0],
273
            ["â", 226.0],
274
            ["ã", 227.0],
275
            ["ä", 228.0],
276
            ["å", 229.0],
277
            ["æ", 230.0],
278
            ["ç", 231.0],
279
            ["è", 232.0],
280
            ["é", 233.0],
281
            ["ê", 234.0],
282
            ["ë", 235.0],
283
            ["ì", 236.0],
284
            ["í", 237.0],
285
            ["î", 238.0],
286
            ["ï", 239.0],
287
            ["ð", 240.0],
288
            ["ñ", 241.0],
289
            ["ò", 242.0],
290
            ["ó", 243.0],
291
            ["ô", 244.0],
292
            ["õ", 245.0],
293
            ["ö", 246.0],
294
            ["÷", 247.0],
295
            ["ø", 248.0],
296
            ["ù", 249.0],
297
            ["ú", 250.0],
298
            ["û", 251.0],
299
            ["ü", 252.0],
300
            ["ý", 253.0],
301
            ["þ", 254.0],
302
            ["ÿ", 255.0]
303
        ]
304
    }
305
}
306