{ | |
"additional_special_tokens": [ | |
"<|im_start|>", | |
"<|im_end|>", | |
"<|function_list|>", | |
"<|function_output|>", | |
"<|function_call|>", | |
"<|control_6|>", | |
"<|control_7|>", | |
"<|control_8|>", | |
"<|control_9|>", | |
"<|control_10|>", | |
"<|control_11|>", | |
"<|control_12|>", | |
"<|control_13|>", | |
"<|control_14|>", | |
"<|control_15|>", | |
"<|control_16|>", | |
"<|control_17|>", | |
"<|control_18|>", | |
"<|control_19|>", | |
"<|control_20|>", | |
"<|control_21|>", | |
"<|control_22|>", | |
"<|control_23|>", | |
"<|control_24|>", | |
"<|control_25|>", | |
"<|control_26|>", | |
"<|control_27|>", | |
"<|control_28|>", | |
"<|control_29|>", | |
"<|control_30|>", | |
"<|control_31|>", | |
"<|control_32|>", | |
"<|control_33|>", | |
"<|control_34|>", | |
"<|control_35|>", | |
"<|control_36|>", | |
"<|control_37|>", | |
"<|control_38|>", | |
"<|control_39|>", | |
"<|control_40|>", | |
"<|control_41|>", | |
"<|control_42|>", | |
"<|control_43|>", | |
"<|control_44|>", | |
"<|control_45|>", | |
"<|control_46|>", | |
"<|control_47|>", | |
"<|control_48|>", | |
"<|control_49|>", | |
"<|control_50|>", | |
"<|control_51|>", | |
"<|control_52|>", | |
"<|control_53|>", | |
"<|control_54|>", | |
"<|control_55|>", | |
"<|control_56|>", | |
"<|control_57|>", | |
"<|control_58|>", | |
"<|control_59|>", | |
"<|control_60|>", | |
"<|control_61|>", | |
"<|control_62|>", | |
"<|control_63|>", | |
"<|control_64|>", | |
"<|control_65|>", | |
"<|control_66|>", | |
"<|control_67|>", | |
"<|control_68|>", | |
"<|control_69|>", | |
"<|control_70|>", | |
"<|control_71|>", | |
"<|control_72|>", | |
"<|control_73|>", | |
"<|control_74|>", | |
"<|control_75|>", | |
"<|control_76|>", | |
"<|control_77|>", | |
"<|control_78|>", | |
"<|control_79|>", | |
"<|control_80|>", | |
"<|control_81|>", | |
"<|control_82|>", | |
"<|control_83|>", | |
"<|control_84|>", | |
"<|control_85|>", | |
"<|control_86|>", | |
"<|control_87|>", | |
"<|control_88|>", | |
"<|control_89|>", | |
"<|control_90|>", | |
"<|control_91|>", | |
"<|control_92|>", | |
"<|control_93|>", | |
"<|control_94|>", | |
"<|control_95|>", | |
"<|control_96|>", | |
"<|control_97|>", | |
"<|control_98|>", | |
"<|control_99|>", | |
"<|control_100|>", | |
"<|control_101|>", | |
"<|control_102|>", | |
"<|control_103|>", | |
"<|control_104|>", | |
"<|control_105|>", | |
"<|control_106|>", | |
"<|control_107|>", | |
"<|control_108|>", | |
"<|control_109|>", | |
"<|control_110|>", | |
"<|control_111|>", | |
"<|control_112|>", | |
"<|control_113|>", | |
"<|control_114|>", | |
"<|control_115|>", | |
"<|control_116|>", | |
"<|control_117|>", | |
"<|control_118|>", | |
"<|control_119|>", | |
"<|control_120|>", | |
"<|control_121|>", | |
"<|control_122|>", | |
"<|control_123|>", | |
"<|control_124|>", | |
"<|control_125|>", | |
"<|control_126|>", | |
"<|control_127|>", | |
"<|control_128|>" | |
], | |
"bos_token": { | |
"content": "<s>", | |
"lstrip": false, | |
"normalized": false, | |
"rstrip": false, | |
"single_word": false | |
}, | |
"eos_token": { | |
"content": "<|im_end|>", | |
"lstrip": false, | |
"normalized": false, | |
"rstrip": false, | |
"single_word": false | |
}, | |
"pad_token": { | |
"content": "</s>", | |
"lstrip": false, | |
"normalized": false, | |
"rstrip": false, | |
"single_word": false | |
}, | |
"unk_token": { | |
"content": "<unk>", | |
"lstrip": false, | |
"normalized": false, | |
"rstrip": false, | |
"single_word": false | |
} | |
} | |