"""
## Dependency
pip install emoji --upgrade
##
https://github.com/CLUEbenchmark/CLUEPretrainedModels/blob/master/bert_dict.py
1. 更新langconv，新增: 余 吒 著 覆
2.
3. 删除30个阿拉伯字母 (阿拉伯语从右向左书写)
4. ｏｋ等字母
## TODO:
1. ##～ 这样的词典可以删除，对应要修改tokenizer。
2. 是否要加入空格 [SPACE] 这样的特殊符号。
a) 还原问题: 比如 new balance这样的词汇，会被合并。 会吗？ 分词后是 new bal ##ance --> new balance 也能完全还原啊。
b) 语义问题: 同时，在一定意义上也能起到语义隔离的作用，比如 "剑南春 水晶剑 52度 单瓶装高度白酒 750ml 口感浓香型" https://item.jd.com/100006659994.html
[SEP] 也能work
"""
import codecs
import sys
import re
from langconv import *
import emoji
# 1. ℃ 这些符号在clue词典，但是"25℃" 不可分。策略一，加入词典 ##℃，策略二，更换分词器
# oov_clue = ['##°', '##～', '##℃', '##㎡', '##²', '##₂', '##×', '##ｘ', '##＋', '余', '覆', '著']
emoji_regex = emoji.get_emoji_regexp()
human_list = ['▲top', '▲topoct', '▲topmay', '▲topapr', '▲topmar', '▲topjun', '▲topdec', '▲topnov', '▲topaug', '▲topjul',
'▲topjan', '▲topsep', '▲topfeb', '￥799', '￥2899', '～～', '～～～', '##～6', '##～10', '～10', '##～5', '～5',
'##～20', '##～8', '##～17', '##～1', '～4', '##～3', '##～7', '～1', 'ｗedding', '×email', 'ｃｐ', '××', 'ｏｋ', 'ａ',
'ｂ', 'ｃ', 'ｄ', 'ｅ', 'ｆ', 'ｇ', 'ｈ', 'ｉ', 'ｊ', 'ｋ', 'ｌ', 'ｍ', 'ｎ', 'ｏ', 'ｐ', 'ｑ', 'ｒ', 'ｓ', 'ｔ', 'ｕ', 'ｖ',
'ｗ', 'ｘ', 'ｙ', 'ｚ', '##★', '##☆', '↓↓↓', '##●', '##♪', '▌♥', '##｜',
'##ｄ', '##▲', '##ｏ', '★★', '##→', '#ａ', '⋯⋯', '##▼', '##○', '★★★★★', '##∥', '##◆', '##ω', '★★★', '##ｃ',
'##ｓ', '##ｅ', '##ｐ', '##■', '##↑', '##ｋ', '##и', '◆◆', '##ｇ', '##а', '±0', '##◎', '##─', '##ｒ',
'##＞', '##ｔ', '★★★★', '##│', '##ｎ', '##ｌ', '##＝', '##ｙ', '☆☆☆', '##ｉ', '##↓', 'ˋ▽ˊ', '##ｖ', '↓↓',
'##f2016', '##ｑ', '∟∣', '##я', '##←', '##◆◆', '##cm～', '##ｆ', '##ｈ', '##ｊ', '##ｕ', '##ｗ',
'##ｚ']
zhuyin_char = ['ㄅ', 'ㄆ', 'ㆠ', 'ㄇ', 'ㄈ', 'ㄪ', 'ㄉ', 'ㄊ', 'ㄋ', 'ㆹ', 'ㄌ', 'ㄍ', 'ㄎ', 'ㆣ', 'ㄫ', 'ㄏ', 'ㆸ', 'ㄐ', 'ㄑ', 'ㆢ', 'ㄬ',
'ㄒ', 'ㆺ', 'ㄓ', 'ㄔ', 'ㄕ', 'ㄖ', 'ㄗ', 'ㄘ', 'ㆡ', 'ㄙ', 'ㆡ', 'ㆪ', 'ㄨ', 'ㆫ', 'ㆨ', 'ㄩ', 'ㄚ', 'ㆩ', 'ㆦ', 'ㆧ', 'ㄛ',
'ㄜ', 'ㄝ', 'ㆤ', 'ㆥ', 'ㄞ', 'ㆮ', 'ㄟ', 'ㄠ', 'ㆯ', 'ㄡ', 'ㆰ', 'ㆱ', 'ㆬ', 'ㄢ', 'ㄣ', 'ㄯ', 'ㄤ', 'ㆲ', 'ㄥ', 'ㆭ', 'ㄦ',
'ㄭ']
special_token = ['[PAD]', '[UNK]', '[CLS]', '[SEP]', '[MASK]', '<S>', '<T>']
japan_chars = ['ｲ', 'ｸ', 'ｼ', 'ｽ', 'ﾄ', 'ﾉ', 'ﾌ', 'ﾗ', 'ﾙ', 'ﾝ']
korean_chars = ['ᄀ', 'ᄁ', 'ᄂ', 'ᄃ', 'ᄅ', 'ᄆ', 'ᄇ', 'ᄈ', 'ᄉ', 'ᄋ', 'ᄌ', 'ᄎ', 'ᄏ', 'ᄐ', 'ᄑ', 'ᄒ', 'ᅡ', 'ᅢ', 'ᅣ', 'ᅥ', 'ᅦ',
'ᅧ', 'ᅨ', 'ᅩ', 'ᅪ', 'ᅬ', 'ᅭ', 'ᅮ', 'ᅯ', 'ᅲ', 'ᅳ', 'ᅴ', 'ᅵ', 'ᆨ', 'ᆫ', 'ᆯ', 'ᆷ', 'ᆸ', 'ᆺ', 'ᆻ', 'ᆼ', 'ᗜ']
add_puns = ['”', '“', '—', '–', '…', '’', '‘']
# 单个“乾”被转化成了 “干”
add_cn_chars = [char for char in '呡乾绗楦硌袢钕蕞癀皲貉唛笕椴―胗旯鳙鲇鳐鳜鲅鳊鲳鲽鲣枞炝醅馊捯抻绉馐饧莜嘬腘肫鳟镊犽洌蝰铱' \
'髌锃镲锗甑戗裥弎粝霂猄轱苎偲兿铷栢帏黢洇沄誊忸怩蚬籺氚犇锒鸩噘偾髫']
#阿拉伯文 بسن
add_nums = ['10', '11', '12', '13', '14', '15', '16', '17', '18', '19', '20', '21', '22', '23', '24', '25', '26', '27',
'28', '29', '30', '31', '32', '33', '34', '35', '36', '37', '38', '39', '40', '41', '42', '43', '44', '45',
'46', '47', '48', '49', '50', '51', '52', '53', '54', '55', '56', '57', '58', '59', '60', '61', '62', '63',
'64', '65', '66', '67', '68', '69', '70', '71', '72', '73', '74', '75', '76', '77', '78', '79', '80', '81',
'82', '83', '84', '85', '86', '87', '88', '89', '90', '91', '92', '93', '94', '95', '96', '97', '98', '99',
'100', '120', '128', '180', '200', '256', '304', '360', '500', '512', '1000', '1080', '2000', '2014',
'2015', '2016', '2017', '2018', '2019', '2020', '2021', '2022']
cn_punc = '，。；：？！（）～｜' #
def q2b(uchar, skip_cn_punc=False):
# 有时，希望保留全角中文标点，例如cn_punc。
if skip_cn_punc and uchar in cn_punc:
return uchar
inside_code = ord(uchar)
if inside_code == 12288: # 全角空格直接转换
inside_code = 32
elif 65281 <= inside_code <= 65374: # 全角字符（除空格）根据关系转化
inside_code -= 65248
return chr(inside_code)
def str_q2b(ustring, skip_cn_punc=False):
""" 全角转半角 """
return ''.join([q2b(uchar, skip_cn_punc) for uchar in ustring])
with open('vocab.google.txt', 'r', encoding='utf-8') as fin, \
open('vocab.jd.txt.v2', 'w', encoding='utf-8') as fout:
cout_zh = 0
cout_en = 0
cout_jp = 0
cout_em = 0
cout_zh_res = 0
cout_zh_tra = 0
cout_zh_wp = 0
cout_en_del = 0
cout_en_res = 0
cout_num = 0
cout_num_del = 0
cout_num_res = 0
cout_hand_del = 0
cout_total = 0
cout_zhuyin = 0
cout_unused = 0
cout_special = 0
cout_jp = 0
cout_ko = 0
cout_ar = 0
for line in fin:
cout_total += 1
token = line.strip()
if not token:
continue
if token in ['｜']:
print(token)
if token in human_list:
cout_hand_del += 1 # 13
continue
# chinese character
elif re.match(u'[\u4e00-\u9fa5]+', token.replace('##', '')):
cout_zh += 1 # 14642
token_simp = Converter('zh-hans').convert(token)
if token_simp != token:
cout_zh_tra += 1
continue
else:
if re.match(u'##', token):
# print(token)
cout_zh_wp += 1
continue
else:
cout_zh_res += 1
print(token, file=fout)
# korean character
elif re.match(u'[\uac00-\ud7ff]+', token.replace('##', '')):
# print(token)
cout_ko += 1
continue
# japanese character
elif re.match(u'[\u30a0-\u30ff\u3040-\u309f]+', token.replace('##', '')):
# print(token)
cout_jp += 1
continue
# arabic character
elif re.match(u'[\u0600-\u06ff\u0750-\u077f\ufb50-\ufbc1\ufbd3-\ufd3f'
u'\ufd50-\ufd8f\ufd50-\ufd8f\ufe70-\ufefc\uFDF0-\uFDFD]+', token.replace('##', '')):
cout_ar += 1
continue
# english character
elif re.match(u'[a-z]+', token.replace('##', '')):
# print(token)
cout_en += 1
print(token, file=fout)
continue
elif str_q2b(token, skip_cn_punc=True) != token:
print(token, '--', str_q2b(token, skip_cn_punc=True))
continue
# emoji character
elif re.match(emoji_regex, token.replace('##', '')):
# print(token)
cout_em += 1
continue
# multi-number characters
elif re.match(u'(##)?\d', token):
cout_num += 1
if len(token.replace('##', '')) == 1:
# print(token)
cout_num_res += 1
print(token, file=fout)
else:
cout_num_del += 1 # 这个操作应该还好
# print(token)
continue
elif token.replace('##', '') in zhuyin_char:
# print(token, file=fout)
cout_zhuyin += 1
continue
elif token.startswith('[unused'):
print(token, file=fout)
cout_unused += 1
elif token in special_token:
print(token, file=fout)
cout_special += 1
elif token.replace('##', '') in japan_chars:
cout_jp += 1
continue
elif token.replace('##', '') in korean_chars:
cout_ko += 1
continue
else:
# print(token)
print(token, file=fout)
# add tokens
if token == '"':
for token in add_puns:
print(token, file=fout)
if token == '9':
for token in add_nums:
cout_num_res += 1
print(token, file=fout)
if token == '龟':
for token in add_cn_chars:
print(token, file=fout)
print("cout_zh:{}".format(cout_zh)) # 14642
print("cout_zh_tra:{}".format(cout_zh_tra)) # 3264
print("cout_zh_wp:{}".format(cout_zh_wp)) # 5689
print("cout_zh_res:{}".format(cout_zh_res)) # 5689
print("cout_en:{}".format(cout_en)) # 3555
print("cout_en_del:{}".format(cout_en_del)) # 2235
print("cout_en_res:{}".format(cout_en_res)) # 1320
print("cout_num:{}".format(cout_num)) # 1179
print("cout_num_del:{}".format(cout_num_del)) # 1137
print("cout_num_res:{}".format(cout_num_res)) # 140
print("cout_hand_del:{}".format(cout_hand_del)) # 132
print("cout_zhuyin:{}".format(cout_zhuyin)) # 36
print("cout_unused:{}".format(cout_unused)) # 99
print("cout_special:{}".format(cout_special)) # 7
print("cout_jp:{}".format(cout_jp)) # 573
print("cout_ko:{}".format(cout_ko)) # 84
print("cout_ar:{}".format(cout_ar)) #
print("cout_em:{}".format(cout_em)) # 56