| { | |
| "additional_special_tokens": [ | |
| "[v2]", | |
| "[CLS2]", | |
| "[v5]", | |
| "[v6]", | |
| "[CLS0]", | |
| "[v1]", | |
| "[v0]", | |
| "[v7]", | |
| "[v4]", | |
| "[v3]", | |
| "[CLS1]", | |
| "[LST]", | |
| "[NEND]", | |
| "[Module]", | |
| "[ClassDef]", | |
| "[str]", | |
| "[Name]", | |
| "[Load]", | |
| "[FunctionDef]", | |
| "[arguments]", | |
| "[arg]", | |
| "[Expr]", | |
| "[Call]", | |
| "[Attribute]", | |
| "[Constant]", | |
| "[NoneType]", | |
| "[int]", | |
| "[keyword]", | |
| "[Return]", | |
| "[Assign]", | |
| "[Store]", | |
| "[bool]", | |
| "[List]", | |
| "[BoolOp]", | |
| "[And]", | |
| "[Compare]", | |
| "[Lt]", | |
| "[For]", | |
| "[Lambda]", | |
| "[Eq]", | |
| "[GtE]", | |
| "[NotEq]", | |
| "[BinOp]", | |
| "[Sub]", | |
| "[Is]", | |
| "[If]", | |
| "[Gt]", | |
| "[LtE]", | |
| "[IsNot]", | |
| "[Subscript]", | |
| "[Index]", | |
| "[UnaryOp]", | |
| "[USub]", | |
| "[AugAssign]", | |
| "[Add]", | |
| "[Or]", | |
| "[ListComp]", | |
| "[comprehension]", | |
| "[Slice]", | |
| "[Break]", | |
| "[ImportFrom]", | |
| "[alias]", | |
| "[In]", | |
| "[Not]", | |
| "[Tuple]" | |
| ], | |
| "bos_token": "<|endoftext|>", | |
| "eos_token": "<|endoftext|>", | |
| "pad_token": "<|endoftext|>", | |
| "unk_token": "<|endoftext|>" | |
| } | |