Update README.md

2023/06/25 update readme; upload LoRA checkpoint

README.md

@@ -3,97 +3,72 @@ license: apache-2.0
 ---
 
 
+# ShenNong-TCM-LLM
+Repo for ShenNong-TCM-LLM (“神农”大模型，首个中医药大模型)
+
+
 <p align="center">
     <br>
-    <img src="./pics/ChatMed.png" width="355"/>
+    <img src="https://github.com/michael-wzhu/ShenNong-TCM-LLM/blob/main/pics/ShenNong-TCM_banner.png" width="355"/>
     <br>
 </p>
 
 
 以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。
 
-为推动LLM在中文医疗领域的发展和落地，提升LLM的医疗知识与回答医学咨询的能力，我们现推出**ChatMed**系列中文医疗大规模语言模型:
-
-- 🚀 [ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult) : 基于[中文医疗在线问诊数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)的50w+在线问诊+ChatGPT回复作为训练集。模型主干为[LlaMA-7b](https://github.com/facebookresearch/llama),融合了[Chinese-LlaMA-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca)的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部代码都进行了公开。我们也将部署一个在线Gradio demo, 敬请关注。
-- ⏳ [ChatMed-TCM](https://huggingface.co/michaelwzhu/ChatMed-TCM) : 大模型赋能中医药传承。这一模型的训练数据为[中医药指令数据集ChatMed_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_TCM_Dataset)。以我们开源的[中医药知识图谱](https://github.com/ywjawmw/TCM_KG)为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到2.6w+的围绕中医药的指令数据。ChatMed-TCM模型也是以LlaMA为底座，采用LoRA微调得到。
+为推动LLM在中医药领域的发展和落地，提升LLM的在中医药方面的知识与回答医学咨询的能力，同时推动大模型赋能中医药传承，我们现推出**ShenNong**中医药大规模语言模型:
 
+- 🚀 [ShenNong-TCM](https://github.com/michael-wzhu/ShenNong-TCM-LLM) :
+    - 这一模型的训练数据为[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)。
+    - ChatMed_TCM_Dataset以我们开源的[中医药知识图谱](https://github.com/ywjawmw/TCM_KG)为基础；
+    - 采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到11w+的围绕中医药的指令数据；
+    - ShenNong-TCM模型也是以LlaMA为底座，采用LoRA (rank=16)微调得到。微调代码与[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)相同
 
-----
+同时，欢迎大家关注我们的其他医疗大模型开源项目
+- 🚀 [ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult) : 基于[中文医疗在线问诊数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)的50w+在线问诊+ChatGPT回复作为训练集。模型主干为[LlaMA-7b](https://github.com/facebookresearch/llama),融合了[Chinese-LlaMA-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca)的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部代码都进行了公开；
+- 🚀 [ChatMed-MT](https://huggingface.co/michaelwzhu/ChatMed-MT) : ChatMed-Consult的多轮对话版本，对已有的开源中文问诊数据集进行LLM自动改造，使得医生回复文本更加具有共情性，也更贴心与详细，由此训练的LLM在患者/用户体验上会更好。
+- 🚀 [PromptCBLUE中文医疗大模型评测基准](https://github.com/michael-wzhu/PromptCBLUE): 将[CBLUE](https://tianchi.aliyun.com/dataset/95414)基准进行改造为提示学习模式，形成对大模型的中文医疗知识与医疗文本处理能力的评测基准。PromptCBLUE旨在采用一个生成式大模型即可完成医疗NLP相关的各种不同任务，如病历结构化，问诊，病例文书撰写等。
 
-[Text2DT](https://github.com/michael-wzhu/Text2DT_Baseline) | [中文医疗大模型评测基准PromptCBLUE](https://github.com/michael-wzhu/PromptCBLUE) | [中文医疗在线问诊数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset) | [中医药指令数据集ChatMed_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset) | [中医药知识图谱](https://github.com/ywjawmw/TCM_KG)
 
 
 ## 更新
 
-2023/5/05 开源[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)模型;
-
-
-## ChatMed-Consult模型介绍
-
-### 模型介绍
-
-- 训练数据：[中文医疗在线问诊数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)的50w+在线问诊+ChatGPT回复作为训练集。我们发现，在线爬取的问诊数据，虽然可以反映真实世界的用户/患者的问诊需求，但是一般网上的回答良莠不齐���所以我们调用ChatGPT (`gpt-3.5-turbo`)得到问诊的回复。 (⏳ todo: 实现一个评估模型，给人工回复进行评分。调用大模型的token毕竟烧钱)
-- 模型基座：目前我们开源了基于LlaMA-7b的[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)模型。后续我们将会尝试不同的模型底座，比如LlaMA-13b，MOSS等。
-- 代码：模型训练所需要的全部代码见[ChatMed-Consult 训练代码](https://github.com/michael-wzhu/ChatMed/blob/main/src/chatmed_llama_peft)。训练中我们借助DeepSpeed(ZeRO stage 3)实现分布式训练。
-- 模型权重下载：由于我们目前采用模型是基于Llama-7b进行参数高效微调，所以我们只上传了参数高效微调模块的权重，见[ChatMed-Consult模型权重](https://huggingface.co/michaelwzhu/ChatMed-Consult)。
-
-### 快速上手
-
-在使用[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)之前，大家需要准备好LlaMA-7b底座模型，详细操作见[LlaMA-7b模型准备](https://github.com/michael-wzhu/ChatMed/blob/main/src/chatmed_llama_peft/LlaMA-7b%E6%A8%A1%E5%9E%8B%E5%87%86%E5%A4%87.md)。
-
-LlaMA-7b底座模型准备好后，下载[ChatMed-Consult的LoRA权重](https://huggingface.co/michaelwzhu/ChatMed-Consult)，在3090显卡(或者更强的显卡) 运行以下命令，启动一个简单的基于flask的web service:
-
-```bash
-python src/web_services/web_service_simple.py
-```
+2023/6/25 🚀 开源[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)的v0.2版本，数据量达到11w+; 同时上传ShenNong-TCM模型checkpoint至[model](https://huggingface.co/michaelwzhu/ShenNong-TCM-LLM). 
 
-然后运行 
-```bash
-python src/web_services/web_service_test.py
-```
+2023/6/21 🚀 开源[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)的v0.1版本，v0.2版本即将更新;
 
-上面的脚本主要是运行了test_examples.json文件中提供了测试用例。在使用自己的测试用例时，请注意保持格式一致。
 
-### 训练
-
-首先，大家需要准备好LlaMA-7b底座模型，保存于`resources/chinese-llama-alpaca-plus-lora-7b`路径。数据集采用[中文医疗在线医疗咨询数据集ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)。我们采用deepspeed实现分布式训练：
-
-```bash
-./src/chatmed_llama_peft/run_train.sh
-```
-
-训练脚本中使用的是4张显卡，大家根据自己的服务器情况调整超参数。
 
 
+## 快速上手
 
+如果同学们想要采用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)进行大模型微调，可以参考[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)的代码和训练脚本；
 
 ## 效果对比
 
-我们对比了经过权重转化与合并的[中文LlaMA-7b](https://github.com/michael-wzhu/ChatMed/blob/main/src/chatmed_llama_peft/LlaMA-7b%E6%A8%A1%E5%9E%8B%E5%87%86%E5%A4%87.md)，以及经过了[ChatMed_Consult_Dataset](https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset) 和LoRA微调的[ChatMed-Consult](https://huggingface.co/michaelwzhu/ChatMed-Consult)模型。下面是五个典型例子的对比。更多测试样例见[More test examples](https://github.com/michael-wzhu/ChatMed/blob/main/src/web_services/test_examples/ChatMed-Consult_test.json)
+通过使用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)对中文LlaMA-7b模型进行LoRA微调，可使得该模型在回复中医药相关问题方面获得明显的提升。这里我们展示了5个典型中医药问题下不同模型的回复。更多测试样例见[More test examples](https://github.com/michael-wzhu/ChatMed/blob/main/src/web_services/test_examples/ChatMed-Consult_test.json)
 
 
-| 问诊问题 | 中文LlaMA-7b | ChatMed-Consult |
-|------|------------|-----------------|
-| 天气温度越来越高，对于有宝宝的家庭来说，室内空调开到几度合适，以前我都是开二十七，那医生说开错了。    | "A. 二十七摄氏度；B. 三十二八摄氏度；C.三十六二十四摄氏度；D.四十一九摄氏度；E. 四十一九摄氏度。"          | "在夏天的时候，为了保持良好的健康和舒适的环境，建议您将房间内的空气调节器调至26-28摄氏度左右即可。如果您想让婴儿更加舒服地睡觉，可以把室温降低1-2个台阶（比如从27升至22），这样可以让孩子更容易入睡并提高睡眠质量。同时，也要注意定期清洁空调过滤网以及避免过度使用空调等措施以保证室内通风良好、干燥清新。"              |
-| 这两天关节痛，昨天贴了膏药好一点。昨晚吹了一下风扇，今天早上起床都起不了，走不了路。    | "可能是风湿性关节炎引起的疼痛和僵硬症状。建议您去医院做进一步检查以确定诊断并制定治疗��案。"          | 您的症状可能是风湿性疾病引起的疼痛和僵硬感。建议您尽快就医并接受专业的诊断治疗。在等待看医生的过程中，可以尝试以下措施缓解痛苦：保持休息、避免过度活动或剧烈运动；使用热敷或者冷敷来减轻肿胀和疼痛；按摩局部肌肉以促进血液循环等。同时请注意保暖，穿暖和的衣服，以免加重病情。"            |
-| 癫痫病25年了，这些年病情一直都比较稳定，发作次数也很少，现在开始频繁发作了该怎么办？有没有什么针对的办法可以解决啊？    | 建议您及时就医并进行检查。如果确诊为癫痫持续状态（EPS）或阵发性间歇期发作等需要药物治疗的情况，可以考虑使用抗惊厥药、镇静催眠剂和神经营养素类药物来控制症状；同时注意饮食卫生及生活习惯的调整也是很重要的。          | "如果您的癫痫症状越来越多、更频繁或更加严重，建议您尽快就医。以下是一些可能有助于缓解您的情况的方法和注意事项:\n\n1.保持规律的生活方式，包括充足睡眠时间、饮食健康等；\n2.避免过度疲劳或者精神紧张的情况发生；\n3.定期进行体检和其他必要的检查以确保身体健康状况良好；\n4.遵从医生开具的药物治疗方案并按时服药；\n5.在紧急情况下及时拨打急救电话寻求帮助。\n\n请注意，以上方法只是一般性的指导原则，具体治疗方法需要根据个人实际情况而定，最好咨询专业医师的意见。"               |
-| 上牙床外凸，牙齿还是较整齐的，微笑时会露出很大的牙床，已经21岁了，带牙套会有用吗，需要带多久，多少钱啊。    | "建议您去口腔医院进行检查和治疗，因为这属于比较严重的问题之一。"          | "如果您想矫正您的下颌骨和牙齿问题，可以考虑戴牙套来达到这个目的。但是需要注意的是，佩戴牙套的时间长短取决于问题的严重程度以及个人的情况。一般来说，如果情况比较轻微或不影响日常生活的话，可能只需要几个月就可以看到明显的效果；但如果情况较为复杂或者影响到生活质量，可能会更长时间才能完成治疗过程。此外，价格也会因地区、医院等因素而有所不同，建议您咨询当地口腔医生进行详细了解并制定个性化方案。"               |
-| 医生您好，我想给爷爷奶奶在美国买保健品/药，奶奶有长期冠心病，爷爷有缺血性心脏病，以前还做过白内障手术，请问有哪些药适合买?我看到的有鱼油，欧米茄（omega）3-6-9,还有烟酸，叶黄素，亚麻油.    | 建议购买含有硝酸甘油、维生素E和钙片等成分的产品。          | "很抱歉听到您的家人健康问题。对于老年人来说，选择合适的药物非常重要。以下是一些可能有用的产品和建议供参考:\n\n1. Omega-3脂肪酸补充剂 - 这些产品通常含有丰富的Omega-3脂肪酸和其他营养成分，可以帮助降低血液中的胆固醇水平并预防心血管疾病。但是请注意，如果您正在服用其他抗凝或降脂药物，最好先咨询专业医师的意见是否需要调整剂量或者停止使用这些药品。\n\n2. Smart Heart Plus – 这是一种针对心脏问题的复合物，包括多种天然植物提取物、维生素B群等物质，能够改善血液循环、增强心肌功能以及保护血管壁等等。不过需要注意的是，这种产品的效果因人而异，所以在购买前一定要仔细阅读说明书并且遵循医嘱进行用药。\n\n3. CoQ10 - 这种辅酶是一种重要的能量代谢产物，它可以在细胞中提供电子流来支持ATP合成过程。CoQ10缺乏可能会导致疲劳感、肌肉疼痛等问题。因此，如果老人的身体状况允许，可以考虑添加适量的CoQ10以提高身体机能。"               |
+| 问诊问题 | 中文LlaMA-7b | ShenNong-TCM                                                                                                                                                                                                                                                                                                                               |
+|------|------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| 腹痛怎么办啊？    |      建议您尽快就医，并根据医生的指导进行治疗。      | 如果您感到腹部疼痛，以下是一些可能有用的建议:\n1. 首先休息一下。躺下或坐下来可以减轻症状并帮助身体恢复力量。\n2. 如果您有任何药物过敏史或者正在服用其他药品，请务必咨询医生的意见后再使用这���药膏、止疼剂等缓解痛苦的方法。\n3. 在饮食方面，避免食用辛辣食物和油腻食品，尽量选择清淡易消化的食物来减少肠胃负担。同时多喝水以保持水分平衡。\n4. 如果你的情况比较严重并且持续时间较长，最好去医院就诊寻求专业治疗。                                                                                                                        |
+| 大便时带血，怎么办？    |     出现这种情况可能是由于肠道内出血或炎症引起的。建议及时就医检查确诊并进行治疗。       | 如果您的大便中出现了血液，可能是由于以下原因之一引起的：\n\n1.痔疮或肛裂 - 这种情况通常会导致排尿和排泄物的疼痛、瘙痒和其他不适症状。出血量可能会有所不同，从轻微到严重不等。\n2.肠炎或其他肠道疾病- 这些病症可能导致腹泻或者便秘以及其他胃肠道问题。出血量也可能因病情而异。\n3.直肠息肉 - 这是一种在直肠内形成的良性肿瘤状结构，可以引起不同程度的腹痛和出血。\n4.结肠癌 - 这种癌症是常见的消化系统恶性肿瘤类型之一，常常会引起严重的腹部痛苦并伴有贫血等问题。\n5.脱垂子宫颈糜烂 - 如果您正在怀孕并且出现这种情况，这很可能是由于宫颈糜烂所致。这种病变需要及时治疗以避免感染和流产的风险。\n\n建议立即就医寻求医生帮助进行诊断和治疗。  |
+| 可以给我介绍一些治疗太阳经风寒证的中药吗？    |    针灸、推拿等中医疗法，以及草药汤剂都可以用来缓解这种症状。        | 当出现太阳经风寒证时，可以考虑以下几种常用的中药进行治疗。这些药物具有温阳散寒、祛湿止痛的作用，能够缓解症状并促进身体康复。\n\n1. 当归（Angelica sinensis）-有活血化瘀和补气养血作用；\n2. 白芷 (Bai Zi) - 清热解毒，宣通鼻窍；\n3. 金银花(Honeysuckle, Jin Xin Hua)-清热解毒，凉血消肿；\n4. 陈皮 (Chen Pi) - 理气健脾，行滞化痰；\n5. 桂枝 (Gui Zhi) - 发汗解表，调和营卫。\n\n需要注意的是，在使用任何一种中药之前应该咨询医生或中医师的意见以确保安全有效性。                                                 |
+| 我感觉浑身乏力，且出现壮热症状。请推荐中医诊断和治疗方法。   |      建议您到医院进行检查以确定病因并制定相应的治疗方案；同时可以采用中药调理身体、增强免疫力等方法缓解病情。     |   根据您的描述，您可能患有感冒或流感等疾病引起的身体不适。建议及时就医并进行中西医疗诊以确定确切的病因及治疗方案。以下是一些常用的中药方剂供参考：\n\n1. 金银花清瘟胶囊：具有解毒、抗病毒的作用，适用于风寒感冒或者流行性感冒等病症。\n\n2. 三黄石膏颗粒：可清热解毒、祛湿止痛，常用于暑湿伤阳所致的身体酸软无力。\n\n3. 五味子饮片：有温肺散寒、益气固表之功效，可用于体虚畏冷、易感恶风的情况。\n\n4. 当归生姜羊肉汤：有益血活络、温暖脾胃作用，适合因寒冷导致的身体疲倦以及食欲不振的人群食用。\n\n需要注意的是，以上药物仅作为辅助治疗措施，具体用药应在医生指导下使用。同时，保持充足休息、饮食清淡、多喝水也是缓解病情的重要方法之一。    |   
+| 我牙齿疼痛，同时伴有口臭，有什么方法缓解？    |      建议您及时到口腔医院就诊。牙周炎、龋齿等疾病可能导致牙齿痛和口臭等问题出现     | 您可以尝试以下几种方式来减轻牙痛和减少口腔异味：\n\n1.漱口盐水。将一茶匙食醋加入一杯温水中，搅拌均匀后用来漱口即可。这有助于杀死细菌并减轻口气。\n\n2.使用含氟的洗发剂或去屑产品。这些产品的成分含有一定量的氟化物，可帮助清洁牙齿表面，防止龋齿形成。\n\n3.刷牙时用软毛刷轻轻按摩牙齿边缘以去除食物残渣。\n\n4.定期去看牙医进行检查和治疗。如果出现严重的蛀洞或其他问题，及时修复可能会避免更严重后果。\n\n5.注意饮食健康，少吃甜食、碳酸饮料等易导致蛀牙的食物。                                                                                           |
 
-我们可以看到：
-- 在线问诊，由于用户输入错字或者语音转文字带来噪音，问诊问题可能不会很规整。在这种情况下，中文LlaMA-7b模型可能会产生没有意义的回答。而ChatMed-Consult可以有效的从干扰中理解用户问题，做出相应的回答；
-- ChatMed-Consult的回答会更加具有人性关怀一些，而中文LlaMA-7b模型的回复可能会比较生硬；
-- ChatMed-Consult相较于中文LlaMA-7b模型的回答会更加丰富，具有更多可行的建议。
-- 大模型作为医生的辅助，其可以多列举可能性和建议，但是不能太过���断的下结论。中文LlaMA-7b模型面对问诊问题会比较容易下直接下结论，似乎是有一些过度自信。ChatMed-Consult一般会说"以下是一些可能..."，相对更加谨慎。
 
+我们可以看到：
+- ShenNong-TCM的回答会更加具有人性关怀一些，而中文LlaMA-7b模型的回复可能会比较生硬；
+- ShenNong-TCM相较于中文LlaMA-7b模型的回答会更加丰富，具有更多可行的建议，特别是可以有效根据症状推荐方剂/中草药。
 
 
 ## 免责声明
 
 - 本项目相关资源仅供学术研究之用，严禁用于商业用途。
-- ChatMed-Consult作为基于语言模型的智能助手，其不能代替医生进行医学诊断和给出医学建议。如有需要，请咨询专业医生或前往医院就诊。
-- ChatMed系列模型正在快速迭代中，模型权重会定期进行更新。
-- ChatMed系列模型基于开源数据，其训练数据的质和量都是有限的，其掌握的医学知识肯定是存在各种各样的缺陷。我们将会不断进行改进和更新。
+- ShenNong-TCM作为基于语言模型的智能助手，其不能代替中医/西医进行医学诊断和给出医学建议。如有需要，请咨询专业医生或前往医院就诊。
+- ShenNong-TCM系列模型正在快速迭代中，模型权重会定期进行更新。
+- ShenNong-TCM系列模型基于开源数据，其训练数据的质和量都是有限的，其掌握的中医知识肯定是存在各种各样的缺陷。我们将会不断进行改进和更新。
 
 
 ## 致谢
@@ -103,8 +78,9 @@ python src/web_services/web_service_test.py
 - [LlaMA](https://github.com/facebookresearch/llama)
 - [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca)
 - [Chinese-LlaMA-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca)
+- [ChatMed](https://github.com/michael-wzhu/ChatMed)
 
-Logo中的小学霸羊驼是由[midjourney](http://midjourney.com)自动生成。
+Logo中的"神农"形象是由[midjourney](http://midjourney.com)自动生成。
 
 
 ## Citation