tokenizer_config.json

{"bos_token": "[BOS]", "eos_token": "[EOS]", "cls_token": "[BOS]", "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "mask_token": "[MASK]", "additional_special_tokens": ["#@주소#", "#@이모티콘#", "#@이름#", "#@URL#", "#@소속#", "#@기타#", "#@전번#", "#@계정#", "#@url#", "#@번호#", "#@금융#", "#@신원#", "#@장소#", "#@시스템#사진#", "#@시스템#동영상#", "#@시스템#기타#", "#@시스템#검색#", "#@시스템#지도#", "#@시스템#삭제#", "#@시스템#파일#", "#@시스템#송금#", "#@시스템#"], "tokenizer_class": "PreTrainedTokenizerFast"}