kobart_summary_v3 / special_tokens_map.json
jx7789's picture
Upload tokenizer
7c4705b
{
"additional_special_tokens": [
"#@μ£Όμ†Œ#",
"#@이λͺ¨ν‹°μ½˜#",
"#@이름#",
"#@URL#",
"#@μ†Œμ†#",
"#@기타#",
"#@μ „λ²ˆ#",
"#@계정#",
"#@url#",
"#@번호#",
"#@금육#",
"#@신원#",
"#@μž₯μ†Œ#",
"#@μ‹œμŠ€ν…œ#사진#",
"#@μ‹œμŠ€ν…œ#λ™μ˜μƒ#",
"#@μ‹œμŠ€ν…œ#기타#",
"#@μ‹œμŠ€ν…œ#검색#",
"#@μ‹œμŠ€ν…œ#지도#",
"#@μ‹œμŠ€ν…œ#μ‚­μ œ#",
"#@μ‹œμŠ€ν…œ#파일#",
"#@μ‹œμŠ€ν…œ#μ†‘κΈˆ#",
"#@μ‹œμŠ€ν…œ#",
"#개인 및 관계#",
"#미용과 건강#",
"#μƒκ±°λž˜(μ‡Όν•‘)#",
"#μ‹œμ‚¬/ꡐ윑#",
"#μ‹μŒλ£Œ#",
"#μ—¬κ°€ μƒν™œ#",
"#일과 직업#",
"#주거와 μƒν™œ#",
"#행사#",
"[sep]"
],
"bos_token": "</s>",
"eos_token": "</s>",
"mask_token": "<mask>",
"pad_token": "<pad>",
"unk_token": "<unk>"
}