{ | |
"additional_special_tokens": [ | |
"#@μ£Όμ#", | |
"#@μ΄λͺ¨ν°μ½#", | |
"#@μ΄λ¦#", | |
"#@URL#", | |
"#@μμ#", | |
"#@κΈ°ν#", | |
"#@μ λ²#", | |
"#@κ³μ #", | |
"#@url#", | |
"#@λ²νΈ#", | |
"#@κΈμ΅#", | |
"#@μ μ#", | |
"#@μ₯μ#", | |
"#@μμ€ν #μ¬μ§#", | |
"#@μμ€ν #λμμ#", | |
"#@μμ€ν #κΈ°ν#", | |
"#@μμ€ν #κ²μ#", | |
"#@μμ€ν #μ§λ#", | |
"#@μμ€ν #μμ #", | |
"#@μμ€ν #νμΌ#", | |
"#@μμ€ν #μ‘κΈ#", | |
"#@μμ€ν #", | |
"#κ°μΈ λ° κ΄κ³#", | |
"#λ―Έμ©κ³Ό 건κ°#", | |
"#μκ±°λ(μΌν)#", | |
"#μμ¬/κ΅μ‘#", | |
"#μμλ£#", | |
"#μ¬κ° μν#", | |
"#μΌκ³Ό μ§μ #", | |
"#μ£Όκ±°μ μν#", | |
"#νμ¬#", | |
"[sep]" | |
], | |
"bos_token": "</s>", | |
"eos_token": "</s>", | |
"mask_token": "<mask>", | |
"pad_token": "<pad>", | |
"unk_token": "<unk>" | |
} | |