Delete README_ZH.md

README_ZH.md

@@ -1,61 +0,0 @@
----
-license: apache-2.0
-datasets:
-- Skywork/SkyPile-150B
-- ticoAg/shibing624-medical-pretrain
-- togethercomputer/RedPajama-Data-V2
-- medalpaca/medical_meadow_wikidoc
-- nlp-guild/medical-data
-language:
-- en
-- zh
-pipeline_tag: text-classification
----
-# fasttext-med-en-zh-identification
-该模型为[EPCD(Easy-Data-Clean-Pipeline)](https://github.com/ytzfhqs/EDCP)项目的中间产物，主要用来区分医疗预训练语料中中文与英文样本。模型框架使用[fastText](https://github.com/facebookresearch/fastText)。
-
-# 数据组成
-
-## 中文通用预训练数据集
- - [Skywork/SkyPile-150B](https://huggingface.co/datasets/Skywork/SkyPile-150B)
-## 中文医疗预训练数据集
- - [ticoAg/shibing624-medical-pretrain](https://huggingface.co/datasets/ticoAg/shibing624-medical-pretrain)
-
- ## 英文通用预训练数据集
-  - [togethercomputer/RedPajama-Data-V2](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-V2)
- ## 英文医疗预训练数据集
-  - [medalpaca/medical_meadow_wikidoc](https://huggingface.co/datasets/medalpaca/medical_meadow_wikidoc)
-  - [nlp-guild/medical-data](https://huggingface.co/datasets/nlp-guild/medical-data)
-
- 上述数据集均为高质量开源数据集，可以节省很多数据清洗的工作，感谢上述开发者对开源数据社区的支持！
-
-# 数据清洗流程
- - 数据集初步整理
-     - 对中文训练数据集，按`\n`分割预训练语料，去除开头和结尾可能存在的空格。
-     - 对英文训练数据集，按`\n`分割预训练语料，将所有字母全部变为小写，去除开头和结尾可能存在的空格。
- - 统计词数量，具体的：
-     - 对中文，使用[jieba](https://github.com/fxsjy/jieba)包进行分词，并利用[jionlp](https://github.com/dongrixinyu/JioNLP)进一步过滤停用词和非中文字符。
-      - 对英文，使用[nltk](https://github.com/nltk/nltk)包进行分词，并利用内置停用词进行过滤。
- - 根据词数量进行样本过滤，具体的（经验数值）：
-      - 对中文：仅保留词数量大于5的样本。
-      - 对英文：仅保留词数量大于5的样本。
- - 切分数据集，训练集比例为0.9，测试集比例为0.1。
-
- # 模型表现
- |Dataset | Accuracy |
-|-------|-------|
-|Train | 0.9994|
-|Test | 0.9998|
-
-## Usage Example
-```python
-import fasttext
-from huggingface_hub import hf_hub_download
-
-def to_low(text):
-    return text.strip().lower()
-
-model_path = hf_hub_download(repo_id="ytzfhqs/fasttext-med-en-zh-identification", filename="model.bin")
-model = fasttext.load_model('fasttext.bin')
-model.predict(to_low('Hello, world!'))
-```