Hugging Face's logo

LeoLM
/
leo-hessianai-70b-chat

Text Generation
Transformers
PyTorch
English
German
llama
conversational
Inference Endpoints
text-generation-inference
Model card Files Community
6
bjoernp commited on
Commit
528cb77
•
1 Parent(s): 13a3d07

Rename added_tokens.json to _added_tokens.json

Browse files
Files changed (2) hide show
  1. _added_tokens.json +9 -0
  2. added_tokens.json +0 -130
_added_tokens.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "<CLS>": 32000,
3
+ "<EOD>": 32001,
4
+ "<EOD>": 32002,
5
+ "<MASK>": 32003,
6
+ "<PAD>": 32004,
7
+ "<|im_start|>": 32005,
8
+ "<|im_end|>": 32006
9
+ }
added_tokens.json DELETED
@@ -1,130 +0,0 @@
1
- {
2
- "<|im_end|>": 32001,
3
- "<|im_start|>": 32000,
4
- "<|padding_token_0|>": 32002,
5
- "<|padding_token_100|>": 32102,
6
- "<|padding_token_101|>": 32103,
7
- "<|padding_token_102|>": 32104,
8
- "<|padding_token_103|>": 32105,
9
- "<|padding_token_104|>": 32106,
10
- "<|padding_token_105|>": 32107,
11
- "<|padding_token_106|>": 32108,
12
- "<|padding_token_107|>": 32109,
13
- "<|padding_token_108|>": 32110,
14
- "<|padding_token_109|>": 32111,
15
- "<|padding_token_10|>": 32012,
16
- "<|padding_token_110|>": 32112,
17
- "<|padding_token_111|>": 32113,
18
- "<|padding_token_112|>": 32114,
19
- "<|padding_token_113|>": 32115,
20
- "<|padding_token_114|>": 32116,
21
- "<|padding_token_115|>": 32117,
22
- "<|padding_token_116|>": 32118,
23
- "<|padding_token_117|>": 32119,
24
- "<|padding_token_118|>": 32120,
25
- "<|padding_token_119|>": 32121,
26
- "<|padding_token_11|>": 32013,
27
- "<|padding_token_120|>": 32122,
28
- "<|padding_token_121|>": 32123,
29
- "<|padding_token_122|>": 32124,
30
- "<|padding_token_123|>": 32125,
31
- "<|padding_token_124|>": 32126,
32
- "<|padding_token_125|>": 32127,
33
- "<|padding_token_12|>": 32014,
34
- "<|padding_token_13|>": 32015,
35
- "<|padding_token_14|>": 32016,
36
- "<|padding_token_15|>": 32017,
37
- "<|padding_token_16|>": 32018,
38
- "<|padding_token_17|>": 32019,
39
- "<|padding_token_18|>": 32020,
40
- "<|padding_token_19|>": 32021,
41
- "<|padding_token_1|>": 32003,
42
- "<|padding_token_20|>": 32022,
43
- "<|padding_token_21|>": 32023,
44
- "<|padding_token_22|>": 32024,
45
- "<|padding_token_23|>": 32025,
46
- "<|padding_token_24|>": 32026,
47
- "<|padding_token_25|>": 32027,
48
- "<|padding_token_26|>": 32028,
49
- "<|padding_token_27|>": 32029,
50
- "<|padding_token_28|>": 32030,
51
- "<|padding_token_29|>": 32031,
52
- "<|padding_token_2|>": 32004,
53
- "<|padding_token_30|>": 32032,
54
- "<|padding_token_31|>": 32033,
55
- "<|padding_token_32|>": 32034,
56
- "<|padding_token_33|>": 32035,
57
- "<|padding_token_34|>": 32036,
58
- "<|padding_token_35|>": 32037,
59
- "<|padding_token_36|>": 32038,
60
- "<|padding_token_37|>": 32039,
61
- "<|padding_token_38|>": 32040,
62
- "<|padding_token_39|>": 32041,
63
- "<|padding_token_3|>": 32005,
64
- "<|padding_token_40|>": 32042,
65
- "<|padding_token_41|>": 32043,
66
- "<|padding_token_42|>": 32044,
67
- "<|padding_token_43|>": 32045,
68
- "<|padding_token_44|>": 32046,
69
- "<|padding_token_45|>": 32047,
70
- "<|padding_token_46|>": 32048,
71
- "<|padding_token_47|>": 32049,
72
- "<|padding_token_48|>": 32050,
73
- "<|padding_token_49|>": 32051,
74
- "<|padding_token_4|>": 32006,
75
- "<|padding_token_50|>": 32052,
76
- "<|padding_token_51|>": 32053,
77
- "<|padding_token_52|>": 32054,
78
- "<|padding_token_53|>": 32055,
79
- "<|padding_token_54|>": 32056,
80
- "<|padding_token_55|>": 32057,
81
- "<|padding_token_56|>": 32058,
82
- "<|padding_token_57|>": 32059,
83
- "<|padding_token_58|>": 32060,
84
- "<|padding_token_59|>": 32061,
85
- "<|padding_token_5|>": 32007,
86
- "<|padding_token_60|>": 32062,
87
- "<|padding_token_61|>": 32063,
88
- "<|padding_token_62|>": 32064,
89
- "<|padding_token_63|>": 32065,
90
- "<|padding_token_64|>": 32066,
91
- "<|padding_token_65|>": 32067,
92
- "<|padding_token_66|>": 32068,
93
- "<|padding_token_67|>": 32069,
94
- "<|padding_token_68|>": 32070,
95
- "<|padding_token_69|>": 32071,
96
- "<|padding_token_6|>": 32008,
97
- "<|padding_token_70|>": 32072,
98
- "<|padding_token_71|>": 32073,
99
- "<|padding_token_72|>": 32074,
100
- "<|padding_token_73|>": 32075,
101
- "<|padding_token_74|>": 32076,
102
- "<|padding_token_75|>": 32077,
103
- "<|padding_token_76|>": 32078,
104
- "<|padding_token_77|>": 32079,
105
- "<|padding_token_78|>": 32080,
106
- "<|padding_token_79|>": 32081,
107
- "<|padding_token_7|>": 32009,
108
- "<|padding_token_80|>": 32082,
109
- "<|padding_token_81|>": 32083,
110
- "<|padding_token_82|>": 32084,
111
- "<|padding_token_83|>": 32085,
112
- "<|padding_token_84|>": 32086,
113
- "<|padding_token_85|>": 32087,
114
- "<|padding_token_86|>": 32088,
115
- "<|padding_token_87|>": 32089,
116
- "<|padding_token_88|>": 32090,
117
- "<|padding_token_89|>": 32091,
118
- "<|padding_token_8|>": 32010,
119
- "<|padding_token_90|>": 32092,
120
- "<|padding_token_91|>": 32093,
121
- "<|padding_token_92|>": 32094,
122
- "<|padding_token_93|>": 32095,
123
- "<|padding_token_94|>": 32096,
124
- "<|padding_token_95|>": 32097,
125
- "<|padding_token_96|>": 32098,
126
- "<|padding_token_97|>": 32099,
127
- "<|padding_token_98|>": 32100,
128
- "<|padding_token_99|>": 32101,
129
- "<|padding_token_9|>": 32011
130
- }