fix lru_cache and fix qwen_vocab

character_app.py

@@ -1,5 +1,5 @@
 import gradio as gr
-from character_util import get_character_table
+from character_util import get_character_table, default_columns
 
 all_columns = [
     ("digit", "digit"),
@@ -10,7 +10,7 @@ all_columns = [
     # ("byte", "byte"),
     # ("oov", "oov")
 ]
-default_columns = ["digit", "zh"]
+
 
 # columns = ["lang-zh", "lang-korea", "lang-japanese", "number", "space", "bytes", "oov"]
 

character_util.py

@@ -18,6 +18,7 @@ from utils.lang_util import detect_language, language_ranges
 
 CURRENT_DIR = os.path.dirname(os.path.abspath(__file__))
 
+default_columns = ["digit", "zh"]
 
 def _to_unicode(text):
     return ''.join(r'\u{:04X}'.format(ord(chr)) for chr in text)
@@ -185,13 +186,15 @@ def to_dataframe(stats, columns):
 
 def get_character_table(
         tokenizer_filter: Optional[str] = None,
-        columns: Optional[str] = None,
+        columns: Optional[list] = None,
         return_type: Optional[Literal["dict", "dataframe"]] = "dataframe"
 ) -> Union[pd.DataFrame, dict]:
     """
     """
     logger.info(f"columns: {columns}, tokenizer_filter: {tokenizer_filter}")
     stats = {}
+    if columns is None:
+        columns = default_columns
     if tokenizer_filter is not None:
         tokenizer_names = [tokenizer_config.name_or_path for tokenizer_config in tokenizer_factory.all_tokenizer_configs
                            if tokenizer_filter.lower() in tokenizer_config.name_or_path.lower()]

playground_util.py

@@ -1,5 +1,6 @@
 import gradio as gr
 import json
+import copy
 import pandas as pd
 from vocab import tokenizer_factory
 from character_util import iter_vocab
@@ -15,15 +16,14 @@ Buenos días!
 default_tokenizer_name_1 = "gradientai/Llama-3-8B-Instruct-Gradient-1048k"
 default_tokenizer_name_2 = "openai/gpt-4"
 
-# @lru_cache
-def tokenize(
+
+@lru_cache
+def _tokenize(
         text: str,
         tokenizer_name: str,
         color_num: int = 5,
         add_special_token: bool = False
 ):
-    """
-    """
     logger.info("param=" + json.dumps({"text": text, "tokenizer_type": tokenizer_name}, ensure_ascii=False))
     pos_tokens = []
     tokenizer = tokenizer_factory.get_tokenizer(tokenizer_name)
@@ -76,12 +76,22 @@ def tokenize(
 
     table_df = pd.DataFrame(table)
     logger.info(f"tokenizer_type={tokenizer_name}, Tokens={table[:4]}")
-    # print(table_df)
+    return pos_tokens, len(encoding), table_df
 
-    return gr.update(value=pos_tokens, label=f"Tokens: {len(encoding)}"), table_df
+
+def tokenize(
+        text: str,
+        tokenizer_name: str,
+        color_num: int = 5,
+        add_special_token: bool = False
+):
+    """ tokenize wrapper
+    As gr.Update would be overwritten after passing to frontend, we apply lru_cache in _tokenize.
+    """
+    pos_tokens, num_tokens, table_df = _tokenize(text, tokenizer_name, color_num, add_special_token)
+    return gr.update(value=pos_tokens, label=f"Tokens: {num_tokens}"), table_df
 
 
-@lru_cache
 def tokenize_pair(text, tokenizer_type_1, tokenizer_type_2):
     """
     input_text.change
@@ -105,7 +115,6 @@ def basic_count(tokenizer_name):
 #     return compress_rate
 
 
-
 @lru_cache
 def get_overlap_token_size(tokenizer_name_1, tokenizer_name_2):
     tokenizer1 = tokenizer_factory.get_tokenizer(tokenizer_name_1)

stats/character_stats.json

@@ -1708,5 +1708,62 @@
     "len(ja-kana)": "1,1,1",
     "num(ko)": 1,
     "len(ko)": "1,1,1"
+  },
+  "Qwen/Qwen1.5-1.8B": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 55883,
+    "len(space)": "1,6,128",
+    "num(ar)": 4018,
+    "len(ar)": "1,3,12",
+    "num(zh)": 25557,
+    "len(zh)": "1,2,7",
+    "num(ja)": 27206,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 2089,
+    "len(ja-kana)": "1,3,11",
+    "num(ko)": 3495,
+    "len(ko)": "1,1,5"
+  },
+  "Qwen/Qwen1.5-110B": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 55883,
+    "len(space)": "1,6,128",
+    "num(ar)": 4018,
+    "len(ar)": "1,3,12",
+    "num(zh)": 25557,
+    "len(zh)": "1,2,7",
+    "num(ja)": 27206,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 2089,
+    "len(ja-kana)": "1,3,11",
+    "num(ko)": 3495,
+    "len(ko)": "1,1,5"
+  },
+  "Qwen/Qwen1.5-14B": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 55883,
+    "len(space)": "1,6,128",
+    "num(ar)": 4018,
+    "len(ar)": "1,3,12",
+    "num(zh)": 25557,
+    "len(zh)": "1,2,7",
+    "num(ja)": 27206,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 2089,
+    "len(ja-kana)": "1,3,11",
+    "num(ko)": 3495,
+    "len(ko)": "1,1,5"
   }
 }

stats/compression_rate.json

@@ -9178,5 +9178,329 @@
     "oov_ratio": 0.42238364475348616,
     "_oov_charset": "[\"Ｔ\", \"申\", \"舰\", \"辩\", \"赡\", \"卷\", \"哎\", \"博\", \"谀\", \"岂\", \"力\", \"委\", \"唏\", \"婺\", \"叉\", \"滓\", \"黯\", \"１\", \"液\", \"烘\", \"福\", \"蓝\", \"饭\", \"全\", \"敝\", \"净\", \"漓\", \"似\", \"翘\", \"丫\", \"粽\", \"啃\", \"喻\", \"Ｖ\", \"龇\", \"牲\", \"装\", \"核\", \"惰\", \"报\", \"寨\", \"缸\", \"掏\", \"颈\", \"箍\", \"晰\", \"迎\", \"窗\", \"雏\", \"猎\", \"雌\", \"拨\", \"冷\", \"M\", \"法\", \"呆\", \"汐\", \"袖\", \"砖\", \"菁\", \"整\", \"晕\", \"炒\", \"锤\", \"舐\", \"抑\", \"爆\", \"墙\", \"败\", \"碳\", \"泡\", \"的\", \"惯\", \"鉴\", \"秒\", \"壕\", \"瀛\", \"坡\", \"至\", \"浏\", \"嫉\", \"营\", \"礴\", \"怵\", \"彪\", \"谜\", \"娅\", \"辜\", \"封\", \"排\", \"凹\", \"咀\", \"寺\", \"统\", \"烬\", \"爸\", \"耸\", \"壓\", \"丛\", \"带\", \"砍\", \"撩\", \"尔\", \"情\", \"撞\", \"嗅\", \"匙\", \"时\", \"听\", \"犰\", \"涯\", \"递\", \"幽\", \"惮\", \"哒\", \"迷\", \"殊\", \"慰\", \"俨\", \"茵\", \"窿\", \"柳\", \"坐\", \"鹕\", \"沓\", \"微\", \"差\", \"珀\", \"傲\", \"匀\", \"优\", \"耶\", \"骰\", \"阀\", \"纰\", \"栏\", \"燃\", \"贾\", \"曲\", \"庚\", \"卡\", \"快\", \"经\", \"宾\", \"姻\", \"龟\", \"撸\", \"ό\", \"烊\", \"谱\", \"坂\", \"惧\", \"讨\", \"兴\", \"寸\", \"烛\", \"芮\", \"瘦\", \"叙\", \"虞\", \"槿\", \"瑰\", \"莉\", \"篱\", \"欺\", \"会\", \"顷\", \"傻\", \"猛\", \"籽\", \"看\", \"局\", \"开\", \"插\", \"坏\", \"矛\", \"马\", \"铛\", \"徊\", \"逢\", \"陆\", \"墅\", \"羞\", \"剂\", \"生\", \"把\", \"肉\", \"饶\", \"勺\", \"出\", \"扭\", \"髦\", \"先\", \"澳\", \"与\", \"拍\", \"面\", \"埋\", \"缪\", \"［\", \"醉\", \"托\", \"啡\", \"蹊\", \"罐\", \"蓉\", \"巧\", \"延\", \"嘴\", \"杯\", \"旁\", \"呜\", \"能\", \"摘\", \"樊\", \"寿\", \"笆\", \"颇\", \"侍\", \"盲\", \"熹\", \"话\", \"贝\", \"侠\", \"邹\", \"幢\", \"或\", \"捏\", \"计\", \"借\", \"哮\", \"垢\", \"溜\", \"穿\", \"仓\", \"洋\", \"综\", \"曳\", \"黔\", \"柱\", \"伺\", \"洪\", \"臂\", \"章\", \"淇\", \"辣\", \"挥\", \"手\", \"个\", \"朦\", \"泣\", \"糯\", \"愿\", \"者\", \"赃\", \"涩\", \"典\", \"领\", \"稳\", \"唬\", \"墉\", \"巩\", \"豪\", \"藐\", \"注\", \"因\", \"凯\", \"剥\", \"甘\", \"選\", \"悉\", \"喝\", \"苏\", \"畴\", \"冈\", \"链\", \"贵\", \"俭\", \"秃\", \"剧\", \"孤\", \"等\", \"享\", \"汉\", \"贮\", \"铎\", \"恃\", \"大\", \"帖\", \"已\", \"眩\", \"栖\", \"弃\", \"束\", \"男\", \"丘\", \"璧\", \"页\", \"良\", \"记\", \"茎\", \"河\", \"咙\", \"钦\", \"饥\", \"敬\", \"蹦\", \"喃\", \"镳\", \"乙\", \"女\", \"搜\", \"斋\", \"邑\", \"滚\", \"蚀\", \"邮\", \"史\", \"邯\", \"璎\", \"溅\", \"犹\", \"譬\", \"眨\", \"兽\", \"伍\", \"天\", \"焦\", \"寓\", \"答\", \"线\", \"偻\", \"誉\", \"凰\", \"钓\", \"罪\", \"捧\", \"俄\", \"质\", \"脾\", \"消\", \"更\", \"祷\", \"妹\", \"嚷\", \"铸\", \"ｏ\", \"识\", \"续\", \"糟\", \"雁\", \"娴\", \"罢\", \"祥\", \"毯\", \"碗\", \"弟\", \"品\", \"钝\", \"辕\", \"鞋\", \"猫\", \"单\", \"蠢\", \"髓\", \"爰\", \"隙\", \"浇\", \"夷\", \"唯\", \"欧\", \"虱\", \"厥\", \"烷\", \"还\", \"钧\", \"值\", \"绝\", \"再\", \"毗\", \"帆\", \"相\", \"短\", \"姐\", \"雄\", \"斯\", \"扯\", \"湃\", \"梁\", \"嫂\", \"跃\", \"r\", \"屏\", \"魇\", \"瑥\", \"保\", \"要\", \"秋\", \"州\", \"稣\", \"浙\", \"脚\", \"窥\", \"辽\", \"房\", \"藉\", \"轼\", \"下\", \"地\", \"狗\", \"堡\", \"雍\", \"绕\", \"聚\", \"采\", \"喷\", \"澈\", \"四\", \"艳\", \"富\", \"礁\", \"渴\", \"徽\", \"世\", \"萍\", \"偿\", \"锚\", \"徙\", \"湘\", \"余\", \"愤\", \"耦\", \"彤\", \"炝\", \"座\", \"远\", \"捅\", \"魅\", \"俑\", \"ｉ\", \"篓\", \"价\", \"狡\", \"聋\", \"泵\", \"鸠\", \"熨\", \"污\", \"淹\", \"肋\", \"犷\", \"幸\", \"违\", \"靛\", \"肚\", \"嘟\", \"英\", \"我\", \"戸\", \"伞\", \"５\", \"导\", \"撇\", \"茅\", \"雇\", \"媒\", \"殖\", \"圩\", \"昵\", \"彭\", \"陕\", \"吠\", \"除\", \"韩\", \"是\", \"渊\", \"度\", \"啤\", \"逗\", \"饰\", \"惺\", \"宿\", \"绣\", \"谬\", \"ｄ\", \"瞒\", \"⑨\", \"队\", \"境\", \"祟\", \"彬\", \"筝\", \"霞\", \"凌\", \"邦\", \"爻\", \"术\", \"肆\", \"臃\", \"锈\", \"陵\", \"七\", \"丹\", \"槛\", \"壳\", \"镏\", \"刘\", \"晨\", \"炕\", \"物\", \"闲\", \"幼\", \"媛\", \"急\", \"躲\", \"痕\", \"麦\", \"树\", \"偎\", \"．\", \"屄\", \"卢\", \"去\", \"之\", \"乓\", \"街\", \"古\", \"哦\", \"吱\", \"喉\", \"库\", \"严\", \"撼\", \"巾\", \"于\", \"找\", \"熊\", \"随\", \"门\", \"罩\", \"诙\", \"测\", \"皱\", \"贞\", \"屁\", \"竟\", \"熏\", \"交\", \"减\", \"沂\", \"干\", \"於\", \"啪\", \"瞧\", \"痛\", \"起\", \"腥\", \"旺\", \"蹈\", \"植\", \"蕴\", \"募\", \"仇\", \"数\", \"泱\", \"破\", \"珞\", \"淫\", \"惑\", \"畜\", \"媚\", \"恨\", \"∶\", \"辆\", \"魏\", \"陈\", \"幻\", \"纨\", \"奢\", \"高\", \"渡\", \"石\", \"编\", \"竞\", \"彷\", \"区\", \"搂\", \"邵\", \"版\", \"嘈\", \"小\", \"缥\", \"互\", \"菇\", \"⒀\", \"沮\", \"午\", \"刹\", \"潮\", \"绛\", \"翼\", \"叨\", \"鹰\", \"此\", \"牺\", \"憔\", \"鹌\", \"桃\", \"榻\", \"利\", \"层\", \"躁\", \"迁\", \"啥\", \"睫\", \"芜\", \"劝\", \"梧\", \"芒\", \"萃\", \"遏\", \"梨\", \"馒\", \"粉\", \"关\", \"撐\", \"而\", \"针\", \"＿\", \"身\", \"t\", \"少\", \"音\", \"挺\", \"唠\", \"森\", \"滩\", \"冰\", \"锂\", \"姑\", \"泊\", \"胳\", \"扛\", \"喇\", \"职\", \"俯\", \"乐\", \"回\", \"倍\", \"凿\", \"牌\", \"震\", \"灰\", \"屑\", \"印\", \"麓\", \"打\", \"搡\", \"颓\", \"抄\", \"Ｄ\", \"＂\", \"←\", \"西\", \"威\", \"芳\", \"渐\", \"楚\", \"脖\", \"裴\", \"颁\", \"寞\", \"贯\", \"舟\", \"酌\", \"何\", \"文\", \"龚\", \"莴\", \"\", \"椅\", \"杂\", \"泉\", \"蘸\", \"辈\", \"懊\", \"铝\", \"泼\", \"灶\", \"早\", \"请\", \"嘎\", \"蚌\", \"噱\", \"通\", \"僻\", \"匆\", \"妇\", \"潘\", \"吵\", \"摸\", \"押\", \"馆\", \"勇\", \"淞\", \"圆\", \"合\", \"蒋\", \"昕\", \"３\", \"烫\", \"泪\", \"灼\", \"母\", \"哄\", \"漪\", \"赁\", \"裁\", \"谨\", \"陷\", \"踢\", \"填\", \"云\", \"價\", \"鬣\", \"苒\", \"茱\", \"璃\", \"牠\", \"偏\", \"眼\", \"恿\", \"水\", \"吊\", \"腓\", \"妖\", \"中\", \"刊\", \"耳\", \"留\", \"玮\", \"杖\", \"掩\", \"半\", \"危\", \"平\", \"明\", \"适\", \"述\", \"咖\", \"儒\", \"篷\", \"抬\", \"扔\", \"爬\", \"靶\", \"盈\", \"崛\", \"薯\", \"寻\", \"怠\", \"凭\", \"举\", \"y\", \"沐\", \"•\", \"技\", \"献\", \"挝\", \"月\", \"腑\", \"Ｎ\", \"斗\", \"骄\", \"滋\", \"滇\", \"苇\", \"疑\", \"踩\", \"\", \"八\", \"s\", \"匠\", \"峥\", \"席\", \"虫\", \"毒\", \"浠\", \"搬\", \"渣\", \"解\", \"棠\", \"墨\", \"沿\", \"蜡\", \"柬\", \"“\", \"正\", \"蚓\", \"熬\", \"些\", \"杰\", \"芯\", \"另\", \"长\", \"辐\", \"雷\", \"酸\", \"锒\", \"飞\", \"态\", \"肌\", \"憬\", \"妻\", \"晖\", \"牙\", \"臀\", \"谷\", \"病\", \"亡\", \"陨\", \"囤\", \"嘻\", \"讳\", \"遐\", \"甫\", \"特\", \"悔\", \"桂\", \"存\", \"虏\", \"包\", \"义\", \"穴\", \"巅\", \"醛\", \"按\", \"书\", \"拂\", \"脐\", \"移\", \"遗\", \"车\", \"筛\", \"咚\", \"姥\", \"氰\", \"凉\", \"垒\", \"溉\", \"收\", \"膊\", \"炊\", \"推\", \"蜷\", \"斩\", \"厢\", \"浚\", \"副\", \"界\", \"但\", \"挑\", \"贤\", \"琴\", \"焕\", \"对\", \"脑\", \"蔬\", \"造\", \"伫\", \"症\", \"拐\", \"垠\", \"功\", \"驶\", \"科\", \"奥\", \"－\", \"鲤\", \"疙\", \"竹\", \"钊\", \"购\", \"舞\", \"裘\", \"仿\", \"轶\", \"居\", \"垄\", \"餐\", \"即\", \"壤\", \"该\", \"蜴\", \"個\", \"运\", \"侄\", \"宋\", \"理\", \"行\", \"阶\", \"悄\", \"袭\", \"牒\", \"璀\", \"邀\", \"励\", \"苑\", \"景\", \"绽\", \"侥\", \"锯\", \"8\", \"钱\", \"嫌\", \"葆\", \"袁\", \"刨\", \"ｅ\", \"哈\", \"哭\", \"受\", \"著\", \"妤\", \"郊\", \"光\", \"浸\", \"耩\", \"宣\", \"擅\", \"萌\", \"删\", \"Ｃ\", \"赵\", \"ｔ\", \"疾\", \"茜\", \"Ø\", \"涛\", \"询\", \"砺\", \"蔓\", \"邓\", \"遥\", \"劈\", \"兮\", \"趁\", \"峻\", \"叔\", \"娶\", \"煲\", \"拱\", \"灾\", \"⒃\", \"点\", \"ς\", \"布\", \"播\", \"笨\", \"⑿\", \"亲\", \"霹\", \"塘\", \"碱\", \"玻\", \"扳\", \"惕\", \"瞰\", \"遮\", \"背\", \"抛\", \"疵\", \"赢\", \"揣\", \"字\", \"©\", \"缭\", \"辫\", \"揍\", \"d\", \"超\", \"玫\", \"停\", \"狈\", \"焊\", \"钥\", \"阮\", \"糠\", \"棱\", \"骆\", \"本\", \"煤\", \"掺\", \"稿\", \"召\", \"错\", \"取\", \"淘\", \"熟\", \"荣\", \"敖\", \"零\", \"眉\", \"凶\", \"遵\", \"涣\", \"顿\", \"乏\", \"例\", \"嵌\", \"舒\", \"如\", \"眯\", \"守\", \"伦\", \"吃\", \"芃\", \"橇\", \"枢\", \"套\", \"喂\", \"跷\", \"垛\", \"笼\", \"宜\", \"缝\", \"曼\", \"帽\", \"逐\", \"汤\", \"稽\", \"燕\", \"向\", \"猬\", \"囊\", \"朋\", \"疴\", \"拳\", \"彦\", \"迪\", \"跪\", \"成\", \"融\", \"郭\", \"肇\", \"血\", \"芝\", \"嘱\", \"柄\", \"农\", \"萝\", \"璨\", \"鼾\", \"攻\", \"啬\", \"咬\", \"悠\", \"焉\", \"藕\", \"羔\", \"资\", \"腾\", \"h\", \"玷\", \"显\", \"凳\", \"刺\", \"`\", \"劣\", \"缈\", \"府\", \"译\", \"妓\", \"屌\", \"辄\", \"梵\", \"滔\", \"轿\", \"影\", \"贴\", \"退\", \"铜\", \"颉\", \"露\", \"螂\", \"掳\", \"蜕\", \"呛\", \"拙\", \"赏\", \"虹\", \"揖\", \"庆\", \"锦\", \"邱\", \"附\", \"颖\", \"给\", \"-\", \"裆\", \"k\", \"祝\", \"宏\", \"犀\", \"⑴\", \"红\", \"睿\", \"砥\", \"蓄\", \"濒\", \"晤\", \"卫\", \"黛\", \"呢\", \"肩\", \"糖\", \"意\", \"览\", \"峡\", \"咒\", \"扮\", \"辞\", \"勉\", \"忿\", \"胫\", \"琅\", \"轮\", \"貂\", \"6\", \"笑\", \"毕\", \"���\", \"勘\", \"否\", \"炸\", \"育\", \"趴\", \"证\", \"癜\", \"苟\", \"胧\", \"桅\", \"目\", \"瑧\", \"甚\", \"蚯\", \"娄\", \"牖\", \"却\", \"盗\", \"帷\", \"馨\", \"婚\", \"尾\", \"奂\", \"照\", \"爷\", \"哟\", \"俱\", \"桓\", \"挨\", \"葫\", \"武\", \"驼\", \"贬\", \"具\", \"寄\", \"逍\", \"菜\", \"崩\", \"拯\", \"电\", \"孜\", \"茧\", \"闾\", \"孰\", \"蝉\", \"鲁\", \"犟\", \"班\", \"à\", \"乾\", \"辅\", \"稠\", \"冲\", \"霈\", \"海\", \"毁\", \"苍\", \"舅\", \"琪\", \"屡\", \"啕\", \"耘\", \"途\", \"掌\", \"呸\", \"屎\", \"攸\", \"众\", \"游\", \"太\", \"轻\", \"姨\", \"险\", \"羽\", \"賣\", \"罔\", \"兆\", \"浪\", \"锡\", \"⑧\", \"散\", \"恳\", \"温\", \"茂\", \"屿\", \"陶\", \"矗\", \"慕\", \"℃\", \"宁\", \"馄\", \"软\", \"寂\", \"愉\", \"粒\", \"聪\", \"俚\", \"峭\", \"了\", \"峙\", \"戚\", \"鸟\", \"嚣\", \"憧\", \"邢\", \"图\", \"劲\", \"刻\", \"淋\", \"暴\", \"序\", \"箱\", \"渤\", \"绊\", \"据\", \"畸\", \"鼯\", \"腐\", \"鸦\", \"繁\", \"螃\", \"柜\", \"含\", \"惘\", \"湄\", \"咏\", \"荧\", \"剽\", \"呀\", \"號\", \"ｎ\", \"废\", \"\", \"朵\", \"负\", \"逻\", \"飚\", \"银\", \"讪\", \"篢\", \"佝\", \"垂\", \"戳\", \"鼓\", \"救\", \"炎\", \"穰\", \"〖\", \"际\", \"叹\", \"倾\", \"师\", \"航\", \"虐\", \"刀\", \".\", \"阿\", \"匾\", \"旌\", \"盛\", \"贱\", \"赫\", \"掀\", \"飘\", \"棘\", \"头\", \"挖\", \"攒\", \"项\", \"嫁\", \"侨\", \"甬\", \"潢\", \"韧\", \"协\", \"仔\", \"H\", \"镑\", \"兼\", \"偶\", \"烤\", \"缄\", \"牛\", \"颐\", \"执\", \"拆\", \"铲\", \"顺\", \"两\", \"丽\", \"旆\", \"珍\", \"滴\", \"挂\", \"拷\", \"准\", \"懒\", \"锋\", \"栾\", \"倨\", \"孱\", \"堰\", \"养\", \"凤\", \"怀\", \"戒\", \"聘\", \"伏\", \"润\", \"配\", \"镉\", \"窍\", \"拓\", \"笔\", \"观\", \"翠\", \"渝\", \"训\", \"惋\", \"怕\", \"淼\", \"铄\", \"级\", \"限\", \"体\", \"踱\", \"殉\", \"卦\", \"哥\", \"直\", \"缴\", \"空\", \"轩\", \"周\", \"逸\", \"邂\", \"终\", \"异\", \"漂\", \"鼎\", \"郴\", \"驮\", \"嵘\", \"决\", \"床\", \"腻\", \"蔡\", \"鸡\", \"占\", \"膨\", \"挡\", \"喆\", \"ὐ\", \"确\", \"禧\", \"偷\", \"误\", \"抢\", \"珊\", \"衿\", \"抡\", \"戛\", \"挚\", \"饷\", \"亂\", \"多\", \"票\", \"才\", \"躇\", \"允\", \"临\", \"冬\", \"贺\", \"气\", \"几\", \"纹\", \"壹\", \"嗨\", \"钵\", \"盐\", \"琐\", \"派\", \"完\", \"丈\", \"氏\", \"堤\", \"荻\", \"ù\", \"启\", \"迈\", \"培\", \"想\", \"池\", \"揭\", \"各\", \"魄\", \"让\", \"浓\", \"阔\", \"3\", \"墟\", \"供\", \"催\", \"嫩\", \"拘\", \"付\", \"院\", \"甸\", \"ａ\", \"这\", \"蛙\", \"煎\", \"毫\", \"贫\", \"晃\", \"驾\", \"嘭\", \"锲\", \"炭\", \"逼\", \"粥\", \"扇\", \"鹑\", \"崎\", \"敛\", \"涌\", \"痒\", \"奉\", \"织\", \"撤\", \"裹\", \"型\", \"咳\", \"惜\", \"柔\", \"睬\", \"索\", \"兹\", \"蒿\", \"挈\", \"倩\", \"同\", \"汝\", \"瓣\", \"猪\", \"灑\", \"衅\", \"翰\", \"朗\", \"商\", \"畏\", \"憨\", \"遇\", \"坑\", \"饮\", \"锐\", \"呗\", \"荆\", \"摒\", \"疮\", \"枪\", \"蚂\", \"揽\", \"彩\", \"茸\", \"有\", \"彗\", \"臆\", \"候\", \"橱\", \"总\", \"欣\", \"旧\", \"鄯\", \"钩\", \"亿\", \"歧\", \"颠\", \"巍\", \"勋\", \"\\b\", \"斑\", \"组\", \"架\", \"镶\", \"锢\", \"溢\", \"堂\", \"坛\", \"逃\", \"补\", \"挠\", \"蔚\", \"谛\", \"服\", \"甯\", \"楼\", \"剔\", \"摊\", \"楷\", \"球\", \"黝\", \"蹒\", \"ο\", \"奸\", \"覃\", \"棍\", \"由\", \":\", \"普\", \"聒\", \"侃\", \"瘾\", \"迤\", \"邬\", \"跨\", \"类\", \"伐\", \"茏\", \"榜\", \"涕\", \"绑\", \"裸\", \"知\", \"桶\", \"钉\", \"慷\", \"隧\", \"馏\", \"诣\", \"豌\", \"秉\", \"吸\", \"昭\", \"耽\", \"困\", \"鸥\", \"橡\", \"题\", \"许\", \"剿\", \"轨\", \"倏\", \"慈\", \"深\", \"薰\", \"信\", \"故\", \"谩\", \"屉\", \"括\", \"侈\", \"谑\", \"悼\", \"佼\", \"棚\", \"狐\", \"標\", \"城\", \"缓\", \"浑\", \"制\", \"油\", \"邻\", \"曹\", \"右\", \"玳\", \"为\", \"策\", \"怪\", \"旗\", \"酪\", \"撒\", \"需\", \"…\", \"盆\", \"瞥\", \"孀\", \"甄\", \"隶\", \"B\", \"戾\", \"钰\", \"郡\", \"镇\", \"甜\", \"障\", \"揪\", \"溯\", \"施\", \"路\", \"充\", \"暑\", \"4\", \"检\", \"结\", \"语\", \"毙\", \"阅\", \"截\", \"士\", \"紊\", \"卿\", \"忐\", \"熔\", \"揉\", \"拖\", \"霉\", \"入\", \"胺\", \"藏\", \"阽\", \"波\", \"狞\", \"言\", \"越\", \"机\", \"骚\", \"侦\", \"皑\", \"诩\", \"糊\", \"心\", \"硅\", \"枝\", \"铭\", \"仄\", \"吓\", \"厨\", \"撕\", \"夹\", \"佣\", \"佟\", \"授\", \"友\", \"蒂\", \"矶\", \"挫\", \"苯\", \"沼\", \"夜\", \"横\", \"①\", \"昧\", \"冯\", \"纾\", \"籁\", \"练\", \"瘠\", \"鲨\", \"棂\", \"浩\", \"棒\", \"谍\", \"县\", \"徘\", \"倡\", \"蝗\", \"煽\", \"c\", \"衬\", \"垃\", \"珏\", \"董\", \"楣\", \"张\", \"爹\", \"姚\", \"喔\", \"阵\", \"腭\", \"沏\", \"牟\", \"垮\", \"克\", \"黄\", \"嗤\", \"戮\", \"逑\", \"奚\", \"炼\", \"止\", \"密\", \"牵\", \"诃\", \"朝\", \"2\", \"逞\", \"勖\", \"吝\", \"纬\", \"\\u0007\", \"拢\", \"变\", \"尝\", \"讦\", \"乎\", \"响\", \"喽\", \"隆\", \"康\", \"尼\", \"射\", \"奖\", \"教\", \"叶\", \"發\", \"秆\", \"倒\", \"帘\", \"田\", \"姓\", \"坦\", \"简\", \"蕉\", \"青\", \"灸\", \"怎\", \"健\", \"浊\", \"弊\", \"满\", \"依\", \"晚\", \"铺\", \"来\", \"仙\", \"傥\", \"圭\", \"鸿\", \"廓\", \"六\", \"样\", \"妈\", \"饼\", \"昏\", \"詹\", \"香\", \"樯\", \"荨\", \"柠\", \"潜\", \"枯\", \"渺\", \"符\", \"潭\", \"阴\", \"板\", \"辗\", \"绞\", \"鲎\", \"抵\", \"臊\", \"丁\", \"绘\", \"江\", \"瞠\", \"巡\", \"监\", \"圜\", \"恋\", \"泽\", \"⑩\", \"褒\", \"汀\", \"ç\", \"浞\", \"肛\", \"岁\", \"不\", \"骤\", \"噪\", \"v\", \"鼻\", \"染\", \"仰\", \"极\", \"m\", \"尚\", \"泠\", \"觉\", \"莞\", \"室\", \"暂\", \"酱\", \"政\", \"管\", \"清\", \"查\", \"雨\", \"侯\", \"昆\", \"量\", \"谓\", \"莓\", \"捂\", \"豹\", \"逝\", \"炬\", \"呼\", \"莺\", \"鬓\", \"处\", \"苣\", \"川\", \")\", \"嘣\", \"恙\", \"松\", \"息\", \"外\", \"忍\", \"寐\", \"逆\", \"啜\", \"沉\", \"徨\", \"逊\", \"麽\", \"，\", \"狙\", \"条\", \"迅\", \"睐\", \"讷\", \"讯\", \"恺\", \"骑\", \"霄\", \"焙\", \"豆\", \"隔\", \"敦\", \"凋\", \"嚎\", \"雾\", \"萎\", \"蜒\", \"乍\", \"\", \"啸\", \"剁\", \"砸\", \"愕\", \"争\", \"嘲\", \"怨\", \"咪\", \"亭\", \"虾\", \"压\", \"权\", \"梗\", \"�\", \"唷\", \"掬\", \"翊\", \"悍\", \"烁\", \"势\", \"膏\", \"胸\", \"２\", \"材\", \"遴\", \"忠\", \"蜘\", \"频\", \"碾\", \"⑦\", \"追\", \"苦\", \"济\", \"糕\", \"腺\", \"圈\", \"疲\", \"秘\", \"岭\", \"谧\", \"卍\", \"衍\", \"访\", \"嗲\", \"镀\", \"呃\", \"赠\", \"洼\", \"萧\", \"脸\", \"唐\", \"木\", \"乌\", \"桩\", \"咱\", \"i\", \"婶\", \"共\", \"暖\", \"娟\", \"漫\", \"恒\", \"絮\", \"谴\", \"俘\", \"饨\", \"佬\", \"宛\", \"惩\", \"宇\", \"锁\", \"溘\", \"扪\", \"涉\", \"汕\", \"曾\", \"誓\", \"咨\", \"巢\", \"第\", \"端\", \"改\", \"磕\", \"夸\", \"被\", \"袍\", \"德\", \"啼\", \"犯\", \"缅\", \"缘\", \"淆\", \"津\", \"惬\", \"节\", \"淡\", \"梯\", \"稻\", \"边\", \"晗\", \"亏\", \"么\", \"鹃\", \"扶\", \"砧\", \"莱\", \"省\", \"瞪\", \"廖\", \"倪\", \"黑\", \"囚\", \"幅\", \"辉\", \"捕\", \"岚\", \"激\", \"寒\", \"逅\", \"壮\", \"孝\", \"晶\", \"崽\", \"庞\", \"醋\", \"扁\", \"屯\", \"飙\", \"暹\", \"鲜\", \"圾\", \"漲\", \"哧\", \"忧\", \"渗\", \"则\", \"卧\", \"摩\", \"栈\", \"⑶\", \"驴\", \"诺\", \"酬\", \"事\", \"携\", \"孪\", \"愚\", \"霖\", \"握\", \"华\", \"骸\", \"抠\", \"​\", \"速\", \"句\", \"塞\", \"丢\", \"警\", \"吆\", \"验\", \"颗\", \"滞\", \"漩\", \"忑\", \"擞\", \"溺\", \"巨\", \"膛\", \"锏\", \"桔\", \"热\", \"蚁\", \"剩\", \"规\", \"洁\", \"厝\", \"屈\", \"萄\", \"堵\", \"擂\", \"详\", \"蛇\", \"迹\", \"俗\", \"躬\", \"比\", \"况\", \"瓢\", \"党\", \"煌\", \"◆\", \"燎\", \"徇\", \"琶\", \"ｐ\", \"吐\", \"荫\", \"〞\", \"赎\", \"捆\", \"谚\", \"蜃\", \"绪\", \"获\", \"暄\", \"攀\", \"铃\", \"钜\", \"雯\", \"嘛\", \"罚\", \"斛\", \"闵\", \"妒\", \"棣\", \"好\", \"哪\", \"霓\", \"它\", \"户\", \"茨\", \"往\", \"尽\", \"奘\", \"欠\", \"叠\", \"绿\", \"茁\", \"冒\", \"讲\", \"域\", \"辨\", \"蒙\", \"战\", \"椰\", \"5\", \"秤\", \"狭\", \"遛\", \"灯\", \"联\", \"x\", \"夏\", \"岌\", \"扰\", \"弱\", \"铩\", \"\\u0000\", \"贡\", \"姣\", \"款\", \"着\", \"辛\", \"翁\", \"矩\", \"熄\", \"岔\", \"聿\", \"金\", \"嗯\", \"９\", \"尿\", \"妆\", \"忽\", \"凡\", \"顶\", \"狼\", \"湮\", \"黧\", \"刑\", \"每\", \"孟\", \"触\", \"踞\", \"吗\", \"在\", \"翡\", \"洽\", \"氯\", \"酣\", \"滤\", \"窃\", \"然\", \"弛\", \"近\", \"呐\", \"鳗\", \"谈\", \"李\", \"盹\", \"歹\", \"遍\", \"令\", \"角\", \"弄\", \"校\", \"\", \"达\", \"婷\", \"甩\", \"休\", \"虑\", \"持\", \"械\", \"萤\", \"狂\", \"樱\", \"佳\", \"琛\", \"率\", \"漉\", \"霾\", \"惫\", \"秩\", \"涸\", \"谣\", \"犬\", \"傍\", \"家\", \"②\", \"涤\", \"褚\", \"杏\", \"增\", \"闹\", \"奠\", \"趟\", \"凝\", \"感\", \"埔\", \"形\", \"胎\", \"玛\", \"应\", \"渠\", \"臣\", \"燥\", \"饽\", \"艺\", \"磨\", \"坚\", \"懈\", \"踪\", \"串\", \"使\", \"暇\", \"⒌\", \"鹜\", \"换\", \"趣\", \"律\", \"阁\", \"萦\", \"刷\", \"泻\", \"缚\", \"忱\", \"旨\", \"磊\", \"鸩\", \"帕\", \"添\", \"敏\", \"汶\", \"赚\", \"畅\", \"馈\", \"乞\", \"瑢\", \"迟\", \"岣\", \"亮\", \"蛊\", \"扼\", \"恍\", \"塑\", \"独\", \"岖\", \"尊\", \"橄\", \"阑\", \"嗪\", \"唤\", \"矣\", \"慧\", \"磋\", \"淌\", \"童\", \"眶\", \"免\", \"食\", \"昨\", \"〗\", \"担\", \"系\", \"厚\", \"醇\", \"竺\", \"〃\", \"夕\", \"住\", \"范\", \"皖\", \"十\", \"娛\", \"船\", \"柏\", \"惨\", \"榨\", \"ㄓ\", \"迄\", \"佛\", \"瑕\", \"奏\", \"丙\", \"娑\", \"叫\", \"媳\", \"涂\", \"陡\", \"兢\", \"概\", \"沁\", \"务\", \"驻\", \"娱\", \"缕\", \"赴\", \"振\", \"榴\", \"汗\", \"梦\", \"挣\", \"沧\", \"宗\", \"龄\", \"己\", \"惠\", \"帐\", \"叭\", \"扬\", \"效\", \"慎\", \"熙\", \"穹\", \"侬\", \"蜂\", \"岛\", \"蔽\", \"害\", \"绵\", \"售\", \"蘑\", \"兄\", \"澎\", \"尘\", \"均\", \"别\", \"／\", \"赶\", \"酝\", \"指\", \"噩\", \"讽\", \"诬\", \"仕\", \"佰\", \"集\", \"梅\", \"考\", \"悯\", \"真\", \"员\", \"槃\", \"仁\", \"烯\", \"缜\", \"混\", \"懦\", \"奶\", \"学\", \"次\", \"烹\", \"蟑\", \"定\", \"蜜\", \"蔷\", \"鹏\", \"搁\", \"客\", \"纯\", \"蕤\", \"削\", \"瓦\", \"彙\", \"丝\", \"栅\", \"表\", \"汽\", \"调\", \"朔\", \"围\", \"貌\", \"嚼\", \"飕\", \"瞻\", \"堪\", \"孽\", \"爱\", \"袱\", \"劾\", \"所\", \"火\", \"伟\", \"苛\", \"\\u0006\", \"刁\", \"绳\", \"伯\", \"獗\", \"肮\", \"舀\", \"粹\", \"裔\", \"阂\", \"疤\", \"ě\", \"齐\", \"榆\", \"棋\", \"玲\", \"乘\", \"捞\", \"断\", \"味\", \"弯\", \"诊\", \"裂\", \"乱\", \"固\", \"烃\", \"’\", \"疸\", \"紧\", \"叼\", \"诲\", \"粮\", \"约\", \"伸\", \"左\", \"狮\", \"瓜\", \"尤\", \"辖\", \"蟀\", \"漠\", \"诗\", \"桢\", \"雅\", \"梳\", \"奴\", \"槐\", \"届\", \"碍\", \"闭\", \"拒\", \"怡\", \"鹦\", \"和\", \"反\", \"嗓\", \"權\", \"距\", \"滢\", \"鹅\", \"部\", \"屹\", \"亳\", \"化\", \"惚\", \"磺\", \"词\", \"镍\", \"课\", \"矿\", \"镭\", \"叛\", \"骅\", \"私\", \"狄\", \"τ\", \"俏\", \"箭\", \"茄\", \"送\", \"莹\", \"闯\", \"沪\", \"忪\", \"椭\", \"仪\", \"檬\", \"黢\", \"坷\", \"怔\", \"替\", \"重\", \"瀑\", \"觑\", \"莲\", \"浴\", \"环\", \"弘\", \"叮\", \"描\", \"精\", \"较\", \"瘩\", \"巴\", \"神\", \"蜿\", \"殷\", \"筐\", \"北\", \"④\", \"拧\", \"未\", \"樟\", \"季\", \"鹉\", \"名\", \"彻\", \"企\", \"厅\", \"靓\", \"砌\", \"怂\", \"抱\", \"荒\", \"隐\", \"馅\", \"矫\", \"趋\", \"亵\", \"庭\", \"吁\", \"稀\", \"婊\", \"当\", \"霭\", \"霆\", \"号\", \"绩\", \"丸\", \"牢\", \"禾\", \"冽\", \"租\", \"忡\", \"加\", \"枣\", \"诫\", \"踝\", \"仆\", \"勿\", \"姿\", \"妞\", \"羡\", \"防\", \"袜\", \"舱\", \"援\", \"亚\", \"夥\", \"溃\", \"诚\", \"‘\", \"议\", \"娼\", \"创\", \"羹\", \"哇\", \"哲\", \"永\", \"昌\", \"拎\", \"台\", \"髻\", \"欢\", \"慌\", \"患\", \"锄\", \"郅\", \"沟\", \"说\", \"期\", \"鬼\", \"弧\", \"悲\", \"胖\", \"镐\", \"疏\", \"脏\", \"绍\", \"牧\", \"容\", \"搅\", \"将\", \"善\", \"网\", \"舌\", \";\", \"瞎\", \"念\", \"喧\", \"旬\", \"日\", \"模\", \"臭\", \"声\", \"涮\", \"阜\", \"尴\", \"摞\", \"骏\", \"尬\", \"撅\", \"镕\", \"肝\", \"鲱\", \"待\", \"③\", \"列\", \"î\", \"竭\", \"渎\", \"鳌\", \"咧\", \"泾\", \"屣\", \"淖\", \"玖\", \"饵\", \"扫\", \"贩\", \"产\", \"豫\", \"诵\", \"闷\", \"状\", \"抖\", \"耗\", \"遭\", \"卉\", \"腰\", \"恤\", \"莘\", \"宵\", \"晋\", \"庐\", \"歌\", \"支\", \"谢\", \"炳\", \"晟\", \"厌\", \"认\", \"属\", \"尹\", \"馍\", \"谅\", \"恭\", \"实\", \"郜\", \"犄\", \"遢\", \"踵\", \"锥\", \"拉\", \"粗\", \"噼\", \"易\", \"姬\", \"潇\", \"瑄\", \"您\", \"承\", \"艘\", \"麻\", \"溶\", \"蹿\", \"辰\", \"园\", \"径\", \"郑\", \"捉\", \"闺\", \"井\", \"自\", \"柯\", \"妍\", \"切\", \"衡\", \"嘿\", \"棕\", \"细\", \"杨\", \"盾\", \"⑥\", \"睛\", \"哑\", \"煮\", \"讶\", \"恐\", \"蚊\", \"跻\", \"源\", \"涨\", \"噌\", \"驭\", \"懑\", \"草\", \"罗\", \"怜\", \"绷\", \"壁\", \"旦\", \"唾\", \"狳\", \"孕\", \"煜\", \"徐\", \"喱\", \"蹭\", \"踏\", \"↑\", \"足\", \"躯\", \"鸣\", \"叩\", \"劳\", \"百\", \"忆\", \"敌\", \"啦\", \"姆\", \"毋\", \"瑑\", \"骇\", \"杉\", \"眷\", \"谁\", \"昊\", \"恢\", \"赣\", \"蹲\", \"辱\", \"进\", \"戈\", \"闸\", \"仲\", \"猜\", \"麟\", \"刚\", \"征\", \"　\", \"毅\", \"⒂\", \"诀\", \"基\", \"桥\", \"作\", \"琳\", \"捐\", \"星\", \"沃\", \"社\", \"击\", \"扎\", \"尸\", \"立\", \"拜\", \"蟹\", \"得\", \"甲\", \"芷\", \"躺\", \"厦\", \"诟\", \"药\", \"纷\", \"悖\", \"促\", \"垫\", \"塔\", \"蔑\", \"察\", \"到\", \"纺\", \"诶\", \"窟\", \"卵\", \"东\", \"军\", \"陌\", \"讼\", \"穷\", \"片\", \"耍\", \"戢\", \"泯\", \"铣\", \"晦\", \"弗\", \"契\", \"予\", \"檐\", \"五\", \"颧\", \"位\", \"盏\", \"翔\", \"傅\", \"象\", \"捡\", \"碌\", \"低\", \"劫\", \"贸\", \"纽\", \"洗\", \"涎\", \"方\", \"＆\", \"猾\", \"匿\", \"丧\", \"诡\", \"抉\", \"亩\", \"历\", \"挤\", \"碎\", \"辟\", \"蕃\", \"７\", \"菱\", \"懂\", \"孙\", \"浅\", \"码\", \"歉\", \"肿\", \"茫\", \"诠\", \"灿\", \"戍\", \"冤\", \"羊\", \"漏\", \"株\", \"驳\", \"杆\", \"侣\", \"抒\", \"损\", \"梢\", \"载\", \"耙\", \"赌\", \"逶\", \"］\", \"诱\", \"昂\", \"戴\", \"底\", \"烦\", \"拦\", \"过\", \"勃\", \"椒\", \"秽\", \"裳\", \"诞\", \"原\", \"泄\", \"坝\", \"础\", \"廊\", \"佩\", \"伉\", \"搐\", \"纠\", \"赔\", \"殿\", \"储\", \"顾\", \"鲍\", \"券\", \"４\", \"芽\", \"那\", \"筷\", \"挪\", \"紫\", \"羁\", \"娘\", \"展\", \"倚\", \"剖\", \"千\", \"段\", \"婆\", \"琦\", \"窘\", \"丐\", \"冀\", \"岑\", \"悚\", \"S\", \"胶\", \"嘀\", \"白\", \"肤\", \"性\", \"槽\", \"兰\", \"b\", \"蜥\", \"噢\", \"仍\", \"虽\", \"飓\", \"墒\", \"九\", \"纳\", \"新\", \"桐\", \"酷\", \"擦\", \"陪\", \"屠\", \"奇\", \"珠\", \"掖\", \"砾\", \"晒\", \"始\", \"累\", \"怯\", \"肠\", \"肾\", \"凸\", \"弈\", \"轴\", \"莅\", \"拌\", \"妥\", \"俩\", \"赞\", \"歇\", \"澜\", \"诉\", \"媲\", \"祸\", \"滥\", \"督\", \"疆\", \"墓\", \"残\", \"年\", \"凑\", \"薄\", \"枷\", \"庙\", \"趾\", \"沽\", \"必\", \"沦\", \"惭\", \"归\", \"夺\", \"咆\", \"膝\", \"忙\", \"臻\", \"汰\", \"舍\", \"睽\", \"辙\", \"输\", \"贪\", \"谭\", \"栋\", \"瘀\", \"藤\", \"萨\", \"晴\", \"淑\", \"腊\", \"人\", \"懵\", \"艰\", \"蓬\", \"\", \"颤\", \"婪\", \"冠\", \"坟\", \"皙\", \"匮\", \"靡\", \"泰\", \"函\", \"式\", \"疼\", \"转\", \"颊\", \"韬\", \"汪\", \"疫\", \"戏\", \"米\", \"炉\", \"楂\", \"痊\", \"建\", \"拽\", \"皈\", \"寥\", \"痰\", \"菌\", \"纪\", \"纵\", \"帜\", \"⑸\", \"鹿\", \"参\", \"郸\", \"⒋\", \"恣\", \"且\", \"＋\", \"摔\", \"磁\", \"胁\", \"葩\", \"暧\", \"悟\", \"é\", \"粪\", \"爽\", \"棺\", \"卤\", \"塌\", \"阱\", \"锌\", \"遁\", \"筑\", \"厘\", \"榭\", \"炖\", \"鹤\", \"澡\", \"艋\", \"涝\", \"艇\", \"猡\", \"旳\", \"扒\", \"试\", \"褪\", \"）\", \"雳\", \"王\", \"慨\", \"榄\", \"洒\", \"尖\", \"剪\", \"就\", \"宽\", \"酒\", \"疚\", \"憋\", \"荏\", \"廷\", \"猩\", \"辑\", \"郝\", \"滑\", \"旖\", \"猴\", \"汛\", \"孔\", \"蚪\", \"皂\", \"蓦\", \"赤\", \"８\", \"假\", \"杭\", \"划\", \"掘\", \"吼\", \"奋\", \"⒁\", \"鸭\", \"斜\", \"选\", \"内\", \"朴\", \"挽\", \"拔\", \"抚\", \"降\", \"碰\", \"僵\", \"扣\", \"瑜\", \"蒜\", \"骼\", \"柘\", \"卓\", \"业\", \"活\", \"赛\", \"宙\", \"粱\", \"若\", \"芙\", \"键\", \"菲\", \"舆\", \"沛\", \"格\", \"掐\", \"擤\", \"葵\", \"狠\", \"件\", \"父\", \"绰\", \"置\", \"嘤\", \"浆\", \"读\", \"铮\", \"助\", \"捍\", \"埠\", \"婴\", \"喜\", \"诅\", \"噴\", \"裙\", \"栩\", \"案\", \"择\", \"致\", \"伴\", \"蚤\", \"晾\", \"雪\", \"抓\", \"斥\", \"〝\", \"闻\", \"沫\", \"婉\", \"咦\", \"纤\", \"沈\", \"坊\", \"筹\", \"嘘\", \"鄙\", \"氧\", \"预\", \"吟\", \" \", \"只\", \"益\", \"宪\", \"呦\", \"葛\", \"鸽\", \"、\", \"侧\", \"氮\", \"她\", \"料\", \"饱\", \"雕\", \"K\", \"埃\", \"噬\", \"便\", \"％\", \"冉\", \"咸\", \"死\", \"？\", \"卜\", \"涡\", \"陛\", \"称\", \"剑\", \"瓷\", \"粼\", \"缉\", \"吕\", \"绅\", \"竣\", \"秀\", \"洞\", \"肥\", \"诈\", \"址\", \"销\", \"扩\", \"潦\", \"沥\", \"团\", \"坠\", \"刮\", \"失\", \"湿\", \"谊\", \"夫\", \"谦\", \"离\", \"钻\", \"莫\", \"萼\", \"烂\", \"攥\", \"司\", \"港\", \"佘\", \"恶\", \"革\", \"撰\", \"荡\", \"吩\", \"兑\", \"烈\", \"聊\", \"买\", \"踹\", \"秦\", \"讥\", \"驿\", \"蔼\", \"用\", \"疗\", \"场\", \"研\", \"弥\", \"循\", \"惴\", \"屋\", \"寰\", \"咎\", \"n\", \"疹\", \"放\", \"拾\", \"唉\", \"撬\", \"闫\", \"惶\", \"^\", \"税\", \"睑\", \"竖\", \"擘\", \"„\", \"侵\", \"郁\", \"蝌\", \"泛\", \"口\", \"─\", \"荟\", \"撷\", \"投\", \"惊\", \"勒\", \"钢\", \"腹\", \"０\", \"姊\", \"写\", \"备\", \"芭\", \"別\", \"娇\", \"肓\", \"档\", \"绚\", \"耿\", \"瑶\", \"虎\", \"缆\", \"茉\", \"勾\", \"标\", \"帮\", \"霏\", \"拣\", \"卖\", \"麾\", \"像\", \"覆\", \"搞\", \"仅\", \"从\", \"弹\", \"炫\", \"伪\", \"楠\", \"艾\", \"泸\", \"浮\", \"豁\", \"l\", \"猖\", \"z\", \"眠\", \"乡\", \"宝\", \"脱\", \"旷\", \"嫖\", \"智\", \"肃\", \"订\", \"倦\", \"ｈ\", \"內\", \"财\", \"洲\", \"鳃\", \"薛\", \"主\", \"纱\", \"喘\", \"庸\", \"咋\", \"透\", \"旅\", \"撑\", \"穗\", \"币\", \"绒\", \"嗔\", \"赘\", \"黏\", \"娃\", \"吮\", \"间\", \"葡\", \"斌\", \"积\", \"姗\", \"膀\", \"吞\", \"器\", \"坪\", \"啊\", \"坎\", \"帅\", \"评\", \"恼\", \"贼\", \"偌\", \"埂\", \"胜\", \"祛\", \"膜\", \"强\", \"卸\", \"唇\", \"涟\", \"罄\", \"分\", \"走\", \"妨\", \"螺\", \"咕\", \"铂\", \"示\", \"韦\", \"老\", \"蛔\", \"幕\", \"诸\", \"摧\", \"邃\", \"衣\", \"瑨\", \"跟\", \"陀\", \"肺\", \"邋\", \"铤\", \"邕\", \"野\", \"炅\", \"无\", \"莎\", \"扑\", \"嘉\", \"瞟\", \"构\", \"纲\", \"癫\", \"痫\", \"馋\", \"馕\", \"上\", \"赐\", \"丰\", \"谋\", \"岸\", \"據\", \"袒\", \"谐\", \"乔\", \"驰\", \"匪\", \"其\", \"铨\", \"魔\", \"络\", \"顽\", \"问\", \"难\", \"���\", \"毛\", \"呵\", \"南\", \"肴\", \"矮\", \"蟋\", \"湾\", \"岱\", \"龙\", \"楞\", \"氛\", \"控\", \"旋\", \"万\", \"厮\", \"腿\", \"医\", \"硬\", \"醒\", \"禁\", \"炮\", \"耻\", \"曦\", \"兔\", \"鞠\", \"肯\", \"摹\", \"涵\", \"维\", \"衷\", \"翕\", \"猝\", \"翅\", \"犁\", \"现\", \"治\", \"焰\", \"沾\", \"悬\", \"框\", \"乒\", \"\\u0005\", \"粕\", \"公\", \"氢\", \"伤\", \"胰\", \"继\", \"陋\", \"够\", \"签\", \"林\", \"睹\", \"韫\", \"斐\", \"呕\", \"阻\", \"遑\", \"歪\", \"芬\", \"瞩\", \"赂\", \"谆\", \"歼\", \"厉\", \"披\", \"筋\", \"演\", \"思\", \"拿\", \"审\", \"鹭\", \"（\", \"桑\", \"霍\", \"觅\", \"伙\", \"盘\", \"踌\", \"静\", \"奎\", \"舔\", \"奔\", \"嗦\", \"～\", \"瑞\", \"濮\", \"汁\", \"祖\", \"份\", \"疯\", \"匕\", \"敞\", \"广\", \"ê\", \"亦\", \"呻\", \"旱\", \"璇\", \"习\", \"倜\", \"禽\", \"喀\", \"琉\", \"努\", \"咔\", \"簧\", \"汇\", \"嗡\", \"缺\", \"荐\", \"初\", \"吨\", \"债\", \"兜\", \"竿\", \"跑\", \"惦\", \"皆\", \"嬉\", \"呷\", \"柿\", \"工\", \"圣\", \"阎\", \"漆\", \"都\", \"旎\", \"阐\", \"妙\", \"根\", \"厕\", \"骨\", \"告\", \"贷\", \"拼\", \"群\", \"妮\", \"纂\", \"坤\", \"衰\", \"美\", \"褂\", \"ｓ\", \"见\", \"缮\", \"汩\", \"翻\", \"店\", \"悦\", \"析\", \"什\", \"澄\", \"聆\", \"窄\", \"摄\", \"御\", \"咐\", \"瘤\", \"薪\", \"赖\", \"割\", \"擎\", \"求\", \"娜\", \"坞\", \"碑\", \"某\", \"驱\", \"蛋\", \"步\", \"京\", \"渲\", \"介\", \"淅\", \"欲\", \"钟\", \"桌\", \"乃\", \"民\", \"芦\", \"皇\", \"猥\", \"搀\", \"掉\", \"笋\", \"画\", \"荤\", \"儿\", \"瘫\", \"绥\", \"须\", \"铁\", \"吻\", \"稍\", \"圳\", \"哀\", \"宫\", \"锅\", \"朱\", \"悴\", \"齿\", \"酋\", \"鹈\", \"靴\", \"苹\", \"绸\", \"脉\", \"遂\", \"跚\", \"果\", \"棉\", \"凛\", \"灵\", \"壑\", \"舛\", \"苗\", \"丑\", \"吴\", \"论\", \"算\", \"胡\", \"骂\", \"挟\", \"劑\", \"窖\", \"默\", \"胆\", \"黎\", \"；\", \"抹\", \"胥\", \"饿\", \"盼\", \"罕\", \"⑷\", \"荷\", \"设\", \"溪\", \"抽\", \"措\", \"希\", \"骛\", \"廉\", \"估\", \"榷\", \"族\", \"操\", \"滕\", \"避\", \"署\", \"茶\", \"羚\", \"盯\", \"久\", \"岗\", \"兵\", \"滨\", \"骗\", \"锻\", \"跳\", \"迫\", \"尧\", \"元\", \"魂\", \"哗\", \"色\", \"蓟\", \"复\", \"首\", \"愣\", \"代\", \"引\", \"淄\", \"亟\", \"掰\", \"恕\", \"喊\", \"狰\", \"瞬\", \"擀\", \"簿\", \"坯\", \"憾\", \"他\", \"炙\", \"邪\", \"拭\", \"硕\", \"谔\", \"袋\", \"瑒\", \"非\", \"怒\", \"释\", \"突\", \"痴\", \"璜\", \"岩\", \"缀\", \"恩\", \"馁\", \"闪\", \"篮\", \"摇\", \"啐\", \"蒸\", \"市\", \"账\", \"盎\", \"镜\", \"吧\", \"敲\", \"乖\", \"胱\", \"睁\", \"堆\", \"灌\", \"湖\", \"酥\", \"登\", \"瑟\", \"究\", \"拇\", \"瞄\", \"胃\", \"官\", \"Ａ\", \"韵\", \"俪\", \"瓶\", \"桦\", \"哨\", \"视\", \"录\", \"a\", \"鲸\", \"探\", \"斤\", \"呈\", \"恪\", \"村\", \"壶\", \"佐\", \"纸\", \"崇\", \"仑\", \"灭\", \"也\", \"勤\", \"耐\", \"酿\", \"蝇\", \"杠\", \"▪\", \"忘\", \"映\", \"轰\", \"陇\", \"鑫\", \"尺\", \"发\", \"履\", \"颜\", \"宴\", \"役\", \"办\", \"痹\", \"蕾\", \"淀\", \"并\", \"･\", \"诨\", \"橙\", \"玩\", \"胀\", \"册\", \"里\", \"聂\", \"枕\", \"霸\", \"志\", \"弑\", \"妄\", \"g\", \"迩\", \"绉\", \"窦\", \"国\", \"责\", \"咯\", \"逾\", \"判\", \"梭\", \"葱\", \"慑\", \"盖\", \"绎\", \"今\", \"颌\", \"冻\", \"唱\", \"瀚\", \"任\", \"曝\", \"禅\", \"既\", \"愁\", \"哼\", \"娥\", \"瞅\", \"慢\", \"杀\", \"ｒ\", \"双\", \"升\", \"渔\", \"可\", \"痪\", \"郎\", \"烧\", \"磅\", \"没\", \"抗\", \"魁\", \"愈\", \"亨\", \"春\", \"耕\", \"巷\", \"诧\", \"烙\", \"栽\", \"崖\", \"韪\", \"盒\", \"６\", \"蛛\", \"迦\", \"碴\", \"噶\", \"簇\", \"彼\", \"褐\", \"搭\", \"夯\", \"砂\", \"珉\", \"烟\", \"践\", \"般\", \"动\", \"拟\", \"攫\", \"鼠\", \"惹\", \"命\", \"淤\", \"粟\", \"伊\", \"一\", \"拥\", \"风\", \"招\", \"种\", \"：\", \"衔\", \"鱼\", \"盟\", \"皮\", \"琼\", \"做\", \"靠\", \"流\", \"泳\", \"前\", \"！\", \"衫\", \"粤\", \"最\", \"u\", \"毡\", \"蹩\", \"。\", \"柴\", \"煞\", \"暗\", \"捷\", \"奈\", \"筒\", \"欸\", \"脯\", \"孩\", \"敢\", \"跌\", \"翩\", \"棵\", \"阳\", \"吾\", \"旭\", \"很\", \"汹\", \"子\", \"渍\", \"焯\", \"提\", \"块\", \"帝\", \"洛\", \"专\", \"山\", \"修\", \"枉\", \"氨\", \"们\", \"枚\", \"裕\", \"程\", \"二\", \"耀\", \"抨\", \"厂\", \"素\", \"愧\", \"番\", \"瘙\", \"又\", \"迭\", \"股\", \"沙\", \"蛮\", \"略\", \"返\", \"倘\", \"吭\", \"篝\", \"央\", \"恰\", \"笃\", \"拗\", \"睡\", \"玉\", \"护\", \"及\", \"缩\", \"秸\", \"批\", \"费\", \"岳\", \"宅\", \"额\", \"剐\", \"乳\", \"徒\", \"俊\", \"后\", \"肢\", \"挎\", \"缔\", \"鳞\", \"谎\", \"矍\", \"钞\", \"逛\", \"接\", \"卑\", \"杜\", \"落\", \"抿\", \"⑤\", \"忌\", \"你\", \"俞\", \"肖\", \"峰\", \"以\", \"末\", \"暨\", \"卻\", \"宸\", \"狱\", \"传\", \"望\", \"霜\", \"涅\", \"焚\", \"虚\", \"鄂\", \"道\", \"»\", \"冶\", \"蓁\", \"祢\", \"连\", \"寡\", \"宠\", \"饲\", \"跤\", \"琢\", \"捺\", \"挲\", \"薇\", \"锣\", \"赅\", \"庄\", \"贿\", \"當\", \"碟\", \"掂\", \"匹\", \"站\", \"翱\", \"籍\", \"赋\", \"泥\", \"胞\", \"常\", \"三\", \"篡\", \"缠\", \"癌\", \"安\", \"黩\", \"颂\", \"吹\", \"礼\", \"臧\", \"骁\", \"折\", \"篇\", \"\", \"吉\", \"花\", \"货\", \"掷\", \"窝\", \"窜\", \"仗\", \"搏\", \"土\", \"摆\", \"裤\"]",
     "reversible": false
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2813283,
+    "_n_tokens": 614959,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1814876,
+    "_n_tokens": 503561,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 27,
+    "oov_ratio": 1.5134350996989385e-05,
+    "_oov_charset": "[\"u\", \"̈\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1124813,
+    "_n_tokens": 257983,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1664455,
+    "_n_tokens": 434264,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2054052,
+    "_n_tokens": 643421,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1540504,
+    "_n_tokens": 413637,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 31,
+    "oov_ratio": 2.087584260961501e-05,
+    "_oov_charset": "[\"̂\", \"́\", \"̧\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1774770,
+    "_n_tokens": 377144,
+    "_n_chars": 603065,
+    "_n_oov_chars": 463,
+    "oov_ratio": 0.000767744770464212,
+    "_oov_charset": "[\"へ\", \"コ\", \"て\", \"゙\", \"し\", \"た\", \"か\", \"は\", \"フ\", \"つ\", \"ス\", \"ホ\", \"く\", \"す\", \"ト\", \"ふ\", \"せ\", \"ヒ\", \"シ\", \"と\", \"ハ\", \"゚\", \"ひ\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1524839,
+    "_n_tokens": 457492,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"金\", \"立\", \"理\", \"龍\", \"良\", \"梁\", \"陸\", \"樂\", \"靈\", \"女\", \"識\", \"樂\", \"流\", \"累\", \"不\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-1.8B @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-1.8B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-1.8B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2633047,
+    "_n_tokens": 589211,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-110B @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2813283,
+    "_n_tokens": 614959,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-110B @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1814876,
+    "_n_tokens": 503561,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 27,
+    "oov_ratio": 1.5134350996989385e-05,
+    "_oov_charset": "[\"u\", \"̈\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-110B @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1124813,
+    "_n_tokens": 257983,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-110B @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1664455,
+    "_n_tokens": 434264,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-110B @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2054052,
+    "_n_tokens": 643421,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-110B @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1540504,
+    "_n_tokens": 413637,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 31,
+    "oov_ratio": 2.087584260961501e-05,
+    "_oov_charset": "[\"̂\", \"́\", \"̧\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-110B @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1774770,
+    "_n_tokens": 377144,
+    "_n_chars": 603065,
+    "_n_oov_chars": 463,
+    "oov_ratio": 0.000767744770464212,
+    "_oov_charset": "[\"へ\", \"コ\", \"て\", \"゙\", \"し\", \"た\", \"か\", \"は\", \"フ\", \"つ\", \"ス\", \"ホ\", \"く\", \"す\", \"ト\", \"ふ\", \"せ\", \"ヒ\", \"シ\", \"と\", \"ハ\", \"゚\", \"ひ\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-110B @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1524839,
+    "_n_tokens": 457492,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"金\", \"立\", \"理\", \"龍\", \"良\", \"梁\", \"陸\", \"樂\", \"靈\", \"女\", \"識\", \"樂\", \"流\", \"累\", \"不\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-110B @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-110B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-110B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2633047,
+    "_n_tokens": 589211,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-14B @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2813283,
+    "_n_tokens": 614959,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-14B @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1814876,
+    "_n_tokens": 503561,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 27,
+    "oov_ratio": 1.5134350996989385e-05,
+    "_oov_charset": "[\"u\", \"̈\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-14B @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1124813,
+    "_n_tokens": 257983,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-14B @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1664455,
+    "_n_tokens": 434264,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
+  },
+  "Qwen/Qwen1.5-14B @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2054052,
+    "_n_tokens": 643421,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-14B @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1540504,
+    "_n_tokens": 413637,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 31,
+    "oov_ratio": 2.087584260961501e-05,
+    "_oov_charset": "[\"̂\", \"́\", \"̧\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-14B @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1774770,
+    "_n_tokens": 377144,
+    "_n_chars": 603065,
+    "_n_oov_chars": 463,
+    "oov_ratio": 0.000767744770464212,
+    "_oov_charset": "[\"へ\", \"コ\", \"て\", \"゙\", \"し\", \"た\", \"か\", \"は\", \"フ\", \"つ\", \"ス\", \"ホ\", \"く\", \"す\", \"ト\", \"ふ\", \"せ\", \"ヒ\", \"シ\", \"と\", \"ハ\", \"゚\", \"ひ\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-14B @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1524839,
+    "_n_tokens": 457492,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"金\", \"立\", \"理\", \"龍\", \"良\", \"梁\", \"陸\", \"樂\", \"靈\", \"女\", \"識\", \"樂\", \"流\", \"累\", \"不\"]",
+    "reversible": false
+  },
+  "Qwen/Qwen1.5-14B @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen1.5-14B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen1.5-14B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2633047,
+    "_n_tokens": 589211,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "reversible": true
   }
 }

vocab.py

@@ -230,8 +230,8 @@ _all_tokenizer_config = [
     TokenizerConfig("cyberagent/open-calm-7b", impl=TokenizerImpl.SentencePiece, org="CyberAgent"),  # GPTNeoXTokenizer
     TokenizerConfig("abeja/gpt-neox-japanese-2.7b", impl=TokenizerImpl.SentencePiece, org="ABEJA"),
     TokenizerConfig("Qwen/Qwen1.5-14B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),  # 15万，速度有点慢
-    TokenizerConfig("Qwen/Qwen1.5-110B ", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
-    TokenizerConfig("Qwen/Qwen1.5-1.8B ", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
+    TokenizerConfig("Qwen/Qwen1.5-110B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
+    TokenizerConfig("Qwen/Qwen1.5-1.8B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("HuggingFaceH4/starchat-alpha", impl=TokenizerImpl.SentencePiece, org="-"),
 
     ####### google/sentencepiece tokenizer: