Create README.md

README.md

@@ -0,0 +1,32 @@
+# 使用
+
+这个模型是在uer/bart-chinese-6-960-cluecorpussmall基础上训练的，数据量不是很大，但是修改了默认分词。
+
+使用pkuseg分词，禁用BertTokenizer的do_basic_tokenize分词，不禁用do_basic_tokenize的话会把正常词汇按照逐字分词，禁用后可以导入自己的分词方案。
+
+pip install git+https://github.com/napoler/tkit-AutoTokenizerPosition
+```python
+import pkuseg
+from tkitAutoTokenizerPosition.AutoPos import AutoPos
+seg = pkuseg.pkuseg(model_name='medicine')  # 程序会自动下载所对应的细领域模型
+tokenizer = BertTokenizer.from_pretrained("uer/chinese_roberta_L-2_H-128",do_basic_tokenize=False)
+
+ATP=AutoPos(seg,tokenizer)
+# 清理文本中的问题
+ATP.getTokenize(text)
+
+
+```
+分词结果如下
+```
+['他', '##们', '的', '伤', '##害', ',', '以', '##及', '陷', '##阱', '能', '##力', '的', '组', '##合', ',', '猎', '##人', '对', '##于', '任', '##何', '团', '##队', '都', '是', '最', '##好', '的', '拉', '##怪', '##者', '.'], 'cut': ['他们', '的', '伤害', ',', '以及', '陷阱', '能力', '的', '组合', ',', '猎人', '对于', '任何', '团队', '都', '是', '最好', '的', '拉怪者', '.']
+```
+
+
+
+
+
+https://www.kaggle.com/terrychanorg/buliddataforbert-7803feff2
+
+https://www.kaggle.com/terrychanorg/bart-notebook8wewew6eeb0f8af
+https://www.kaggle.com/terrychanorg/fork-of-bart-notebook8wewew6eeb0f8af/data?scriptVersionId=77962540