JosephusCheung commited on
Commit
e878e1f
1 Parent(s): 10788a6

Update special_tokens_map.json

Browse files
Files changed (1) hide show
  1. special_tokens_map.json +1 -206
special_tokens_map.json CHANGED
@@ -1,212 +1,7 @@
1
  {
2
  "additional_special_tokens": [
3
  "<|im_start|>",
4
- "<|im_end|>",
5
- "<|extra_0|>",
6
- "<|extra_1|>",
7
- "<|extra_2|>",
8
- "<|extra_3|>",
9
- "<|extra_4|>",
10
- "<|extra_5|>",
11
- "<|extra_6|>",
12
- "<|extra_7|>",
13
- "<|extra_8|>",
14
- "<|extra_9|>",
15
- "<|extra_10|>",
16
- "<|extra_11|>",
17
- "<|extra_12|>",
18
- "<|extra_13|>",
19
- "<|extra_14|>",
20
- "<|extra_15|>",
21
- "<|extra_16|>",
22
- "<|extra_17|>",
23
- "<|extra_18|>",
24
- "<|extra_19|>",
25
- "<|extra_20|>",
26
- "<|extra_21|>",
27
- "<|extra_22|>",
28
- "<|extra_23|>",
29
- "<|extra_24|>",
30
- "<|extra_25|>",
31
- "<|extra_26|>",
32
- "<|extra_27|>",
33
- "<|extra_28|>",
34
- "<|extra_29|>",
35
- "<|extra_30|>",
36
- "<|extra_31|>",
37
- "<|extra_32|>",
38
- "<|extra_33|>",
39
- "<|extra_34|>",
40
- "<|extra_35|>",
41
- "<|extra_36|>",
42
- "<|extra_37|>",
43
- "<|extra_38|>",
44
- "<|extra_39|>",
45
- "<|extra_40|>",
46
- "<|extra_41|>",
47
- "<|extra_42|>",
48
- "<|extra_43|>",
49
- "<|extra_44|>",
50
- "<|extra_45|>",
51
- "<|extra_46|>",
52
- "<|extra_47|>",
53
- "<|extra_48|>",
54
- "<|extra_49|>",
55
- "<|extra_50|>",
56
- "<|extra_51|>",
57
- "<|extra_52|>",
58
- "<|extra_53|>",
59
- "<|extra_54|>",
60
- "<|extra_55|>",
61
- "<|extra_56|>",
62
- "<|extra_57|>",
63
- "<|extra_58|>",
64
- "<|extra_59|>",
65
- "<|extra_60|>",
66
- "<|extra_61|>",
67
- "<|extra_62|>",
68
- "<|extra_63|>",
69
- "<|extra_64|>",
70
- "<|extra_65|>",
71
- "<|extra_66|>",
72
- "<|extra_67|>",
73
- "<|extra_68|>",
74
- "<|extra_69|>",
75
- "<|extra_70|>",
76
- "<|extra_71|>",
77
- "<|extra_72|>",
78
- "<|extra_73|>",
79
- "<|extra_74|>",
80
- "<|extra_75|>",
81
- "<|extra_76|>",
82
- "<|extra_77|>",
83
- "<|extra_78|>",
84
- "<|extra_79|>",
85
- "<|extra_80|>",
86
- "<|extra_81|>",
87
- "<|extra_82|>",
88
- "<|extra_83|>",
89
- "<|extra_84|>",
90
- "<|extra_85|>",
91
- "<|extra_86|>",
92
- "<|extra_87|>",
93
- "<|extra_88|>",
94
- "<|extra_89|>",
95
- "<|extra_90|>",
96
- "<|extra_91|>",
97
- "<|extra_92|>",
98
- "<|extra_93|>",
99
- "<|extra_94|>",
100
- "<|extra_95|>",
101
- "<|extra_96|>",
102
- "<|extra_97|>",
103
- "<|extra_98|>",
104
- "<|extra_99|>",
105
- "<|extra_100|>",
106
- "<|extra_101|>",
107
- "<|extra_102|>",
108
- "<|extra_103|>",
109
- "<|extra_104|>",
110
- "<|extra_105|>",
111
- "<|extra_106|>",
112
- "<|extra_107|>",
113
- "<|extra_108|>",
114
- "<|extra_109|>",
115
- "<|extra_110|>",
116
- "<|extra_111|>",
117
- "<|extra_112|>",
118
- "<|extra_113|>",
119
- "<|extra_114|>",
120
- "<|extra_115|>",
121
- "<|extra_116|>",
122
- "<|extra_117|>",
123
- "<|extra_118|>",
124
- "<|extra_119|>",
125
- "<|extra_120|>",
126
- "<|extra_121|>",
127
- "<|extra_122|>",
128
- "<|extra_123|>",
129
- "<|extra_124|>",
130
- "<|extra_125|>",
131
- "<|extra_126|>",
132
- "<|extra_127|>",
133
- "<|extra_128|>",
134
- "<|extra_129|>",
135
- "<|extra_130|>",
136
- "<|extra_131|>",
137
- "<|extra_132|>",
138
- "<|extra_133|>",
139
- "<|extra_134|>",
140
- "<|extra_135|>",
141
- "<|extra_136|>",
142
- "<|extra_137|>",
143
- "<|extra_138|>",
144
- "<|extra_139|>",
145
- "<|extra_140|>",
146
- "<|extra_141|>",
147
- "<|extra_142|>",
148
- "<|extra_143|>",
149
- "<|extra_144|>",
150
- "<|extra_145|>",
151
- "<|extra_146|>",
152
- "<|extra_147|>",
153
- "<|extra_148|>",
154
- "<|extra_149|>",
155
- "<|extra_150|>",
156
- "<|extra_151|>",
157
- "<|extra_152|>",
158
- "<|extra_153|>",
159
- "<|extra_154|>",
160
- "<|extra_155|>",
161
- "<|extra_156|>",
162
- "<|extra_157|>",
163
- "<|extra_158|>",
164
- "<|extra_159|>",
165
- "<|extra_160|>",
166
- "<|extra_161|>",
167
- "<|extra_162|>",
168
- "<|extra_163|>",
169
- "<|extra_164|>",
170
- "<|extra_165|>",
171
- "<|extra_166|>",
172
- "<|extra_167|>",
173
- "<|extra_168|>",
174
- "<|extra_169|>",
175
- "<|extra_170|>",
176
- "<|extra_171|>",
177
- "<|extra_172|>",
178
- "<|extra_173|>",
179
- "<|extra_174|>",
180
- "<|extra_175|>",
181
- "<|extra_176|>",
182
- "<|extra_177|>",
183
- "<|extra_178|>",
184
- "<|extra_179|>",
185
- "<|extra_180|>",
186
- "<|extra_181|>",
187
- "<|extra_182|>",
188
- "<|extra_183|>",
189
- "<|extra_184|>",
190
- "<|extra_185|>",
191
- "<|extra_186|>",
192
- "<|extra_187|>",
193
- "<|extra_188|>",
194
- "<|extra_189|>",
195
- "<|extra_190|>",
196
- "<|extra_191|>",
197
- "<|extra_192|>",
198
- "<|extra_193|>",
199
- "<|extra_194|>",
200
- "<|extra_195|>",
201
- "<|extra_196|>",
202
- "<|extra_197|>",
203
- "<|extra_198|>",
204
- "<|extra_199|>",
205
- "<|extra_200|>",
206
- "<|extra_201|>",
207
- "<|extra_202|>",
208
- "<|extra_203|>",
209
- "<|extra_204|>"
210
  ],
211
  "bos_token": "<|endoftext|>",
212
  "eos_token": "<|endoftext|>",
 
1
  {
2
  "additional_special_tokens": [
3
  "<|im_start|>",
4
+ "<|im_end|>"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5
  ],
6
  "bos_token": "<|endoftext|>",
7
  "eos_token": "<|endoftext|>",