Remove duplicate words in dictionary

special_tokens_map.json

@@ -4,5 +4,5 @@
   "pad_token": "[PAD]",
   "cls_token": "[CLS]",
   "mask_token": "[MASK]",
-  "additional_special_tokens": ["[NAME]", "[RELIGION]", "😂", "❤", "🤣", "😭", "👏", "♀", "😍", "🤔", "🦀", "👍", "🏻", "🤷", "🏼", "🙄", "😊", "🔥", "😢", "😅", "💜", "👌", "♂", "☺", "😎", "♥", "💯", "💦", "😁", "😔", "🤢", "💕", "🙏", "😉", "🙌", "🤦", "🙃", "😆", "😘", "🎶", "😤", "😏", "😀", "🤗", "😐", "🏽", "💪", "😡", "🎉", "👀", "✔", "🔪", "😄", "😬", "💖", "😥", "😒", "✌", "💃", "™", "😩", "☹", "💅", "😪", "👑", "😳", "🤪", "😕", "🎂", "😫", "💙", "🤮", "🚫", "😞", "💎", "😱", "😑", "😖", "🏊", "🙈", "🤠", "❣", "🤩", "🙂", "👊", "💛", "💓", "👩", "✨", "😣", "💗", "🤞", "🥀", "🚓", "😰", "👅", "😝", "🍻", "🤕", "😜", "🦈", "😃", "😮", "✊", "💚", "🎵", "💨", "☁", "🌈", "💄", "👸", "💥", "🖤", "🏾", "🍩", "😋", "🤲", "🤤", "🧛", "😇", "❄", "▫", "💁", "😴", ":)", ":(", "XD", "xD", ":D", ":'("]
+  "additional_special_tokens": ["[NAME]", "[RELIGION]", "😂", "❤", "🤣", "😭", "👏", "♀", "😍", "🤔", "🦀", "👍", "🏻", "🤷", "🏼", "🙄", "😊", "🔥", "😢", "😅", "💜", "👌", "♂", "☺", "😎", "💯", "💦", "😁", "😔", "🤢", "💕", "🙏", "😉", "🙌", "🤦", "🙃", "😆", "😘", "🎶", "😤", "😏", "😀", "🤗", "😐", "🏽", "💪", "😡", "🎉", "👀", "✔", "🔪", "😄", "😬", "💖", "😥", "😒", "✌", "💃", "😩", "☹", "💅", "😪", "👑", "😳", "🤪", "😕", "🎂", "😫", "💙", "🤮", "🚫", "😞", "💎", "😱", "😑", "😖", "🏊", "🙈", "🤠", "❣", "🤩", "🙂", "👊", "💛", "💓", "👩", "✨", "😣", "💗", "🤞", "🥀", "🚓", "😰", "👅", "😝", "🍻", "🤕", "😜", "🦈", "😃", "😮", "✊", "💚", "🎵", "💨", "☁", "🌈", "💄", "👸", "💥", "🖤", "🏾", "🍩", "😋", "🤲", "🤤", "🧛", "😇", "❄", "▫", "💁", "😴", ":)", ":(", "XD", "xD", ":D", ":'("]
 }

tokenizer_config.json

@@ -6,5 +6,5 @@
   "pad_token": "[PAD]",
   "cls_token": "[CLS]",
   "mask_token": "[MASK]",
-  "additional_special_tokens": ["[NAME]", "[RELIGION]", "😂", "❤", "🤣", "😭", "👏", "♀", "😍", "🤔", "🦀", "👍", "🏻", "🤷", "🏼", "🙄", "😊", "🔥", "😢", "😅", "💜", "👌", "♂", "☺", "😎", "♥", "💯", "💦", "😁", "😔", "🤢", "💕", "🙏", "😉", "🙌", "🤦", "🙃", "😆", "😘", "🎶", "😤", "😏", "😀", "🤗", "😐", "🏽", "💪", "😡", "🎉", "👀", "✔", "🔪", "😄", "😬", "💖", "😥", "😒", "✌", "💃", "™", "😩", "☹", "💅", "😪", "👑", "😳", "🤪", "😕", "🎂", "😫", "💙", "🤮", "🚫", "😞", "💎", "😱", "😑", "😖", "🏊", "🙈", "🤠", "❣", "🤩", "🙂", "👊", "💛", "💓", "👩", "✨", "😣", "💗", "🤞", "🥀", "🚓", "😰", "👅", "😝", "🍻", "🤕", "😜", "🦈", "😃", "😮", "✊", "💚", "🎵", "💨", "☁", "🌈", "💄", "👸", "💥", "🖤", "🏾", "🍩", "😋", "🤲", "🤤", "🧛", "😇", "❄", "▫", "💁", "😴", ":)", ":(", "XD", "xD", ":D", ":'("]
+  "additional_special_tokens": ["[NAME]", "[RELIGION]", "😂", "❤", "🤣", "😭", "👏", "♀", "😍", "🤔", "🦀", "👍", "🏻", "🤷", "🏼", "🙄", "😊", "🔥", "😢", "😅", "💜", "👌", "♂", "☺", "😎", "💯", "💦", "😁", "😔", "🤢", "💕", "🙏", "😉", "🙌", "🤦", "🙃", "😆", "😘", "🎶", "😤", "😏", "😀", "🤗", "😐", "🏽", "💪", "😡", "🎉", "👀", "✔", "🔪", "😄", "😬", "💖", "😥", "😒", "✌", "💃", "😩", "☹", "💅", "😪", "👑", "😳", "🤪", "😕", "🎂", "😫", "💙", "🤮", "🚫", "😞", "💎", "😱", "😑", "😖", "🏊", "🙈", "🤠", "❣", "🤩", "🙂", "👊", "💛", "💓", "👩", "✨", "😣", "💗", "🤞", "🥀", "🚓", "😰", "👅", "😝", "🍻", "🤕", "😜", "🦈", "😃", "😮", "✊", "💚", "🎵", "💨", "☁", "🌈", "💄", "👸", "💥", "🖤", "🏾", "🍩", "😋", "🤲", "🤤", "🧛", "😇", "❄", "▫", "💁", "😴", ":)", ":(", "XD", "xD", ":D", ":'("]
 }

vocab.txt

@@ -127,7 +127,6 @@
 ♂
 ☺
 😎
-♥
 💯
 💦
 😁
@@ -161,7 +160,6 @@
 😒
 ✌
 💃
-™
 😩
 ☹
 💅
@@ -232,6 +230,8 @@ XD
 xD
 :D
 :'(
+[unused227]
+[unused228]
 [unused229]
 [unused230]
 [unused231]