Upload tokenizer

special_tokens_map.json

@@ -0,0 +1,41 @@
+{
+  "additional_special_tokens": [
+    "#@주소#",
+    "#@이모티콘#",
+    "#@이름#",
+    "#@URL#",
+    "#@소속#",
+    "#@기타#",
+    "#@전번#",
+    "#@계정#",
+    "#@url#",
+    "#@번호#",
+    "#@금융#",
+    "#@신원#",
+    "#@장소#",
+    "#@시스템#사진#",
+    "#@시스템#동영상#",
+    "#@시스템#기타#",
+    "#@시스템#검색#",
+    "#@시스템#지도#",
+    "#@시스템#삭제#",
+    "#@시스템#파일#",
+    "#@시스템#송금#",
+    "#@시스템#",
+    "#개인 및 관계#",
+    "#미용과 건강#",
+    "#상거래(쇼핑)#",
+    "#시사/교육#",
+    "#식음료#",
+    "#여가 생활#",
+    "#일과 직업#",
+    "#주거와 생활#",
+    "#행사#",
+    "[sep]"
+  ],
+  "bos_token": "</s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>"
+}

tokenizer_config.json

@@ -0,0 +1,6 @@
+{
+  "model_max_length": 1000000000000000019884624838656,
+  "name_or_path": "/content/drive/MyDrive/인공지능/생성요약프로젝트/Model/KoBART/checkpoint2/KoBART_Summary_v3/checkpoint-8752",
+  "special_tokens_map_file": "/root/.cache/huggingface/hub/models--gogamza--kobart-base-v2/snapshots/f9f2ec35d3c32a1ecc7a3281f9626b7ec1913fed/special_tokens_map.json",
+  "tokenizer_class": "PreTrainedTokenizerFast"
+}