Package: lmft
LMFT: Language Model Fine-TuningLanguage Model Fine-Tuning, for ChatGLM, BELLE, LLaMA fine-tuning.lmft实现了ChatGLM-6B的模型FineTune。GuideFeatureEvaluationDemoInstallUsageContactReferenceFeatureChatGLMTHUDM/chatglm-6b模型的Finetune训练THUDM/ChatGLM-6B放出的默认模型，模型以 FP16 精度加载，模型运行需要 13GB 显存，训练需要 22GB 显存(batch_size=2)。Evaluation纠错能力比较对话能力比较DemoHuggingFace Demo:https://huggingface.co/spaces/shibing624/lmftrun example:examples/gradio_demo.pyto see the demo:pythonexamples/gradio_demo.pyInstallpipinstall-Ulmftorpipinstall-rrequirements.txt

gitclonehttps://github.com/shibing624/lmft.gitcdlmft
pipinstall--no-deps.UsageUse LoRA modelrelease lora model:中文拼写纠错（CSC）模型shibing624/chatglm-6b-csc-zh-lorafromlmftimportChatGlmModelmodel=ChatGlmModel("chatglm","THUDM/chatglm-6b",lora_name="shibing624/chatglm-6b-csc-zh-lora")r=model.predict(["对下面中文拼写纠错：\n少先队员因该为老人让坐。\n答："])print(r)# ['少先队员应该为老人让座。\n错误字：因，坐']训练ChatGLM-6B模型支持自定义数据集，数据集格式参考examples/data/test.tsv。example:examples/training_chatglm_demo.pyimportsyssys.path.append('..')fromlmftimportChatGlmModeldeffinetune_demo():m=ChatGlmModel('chatglm',"THUDM/chatglm-6b",args={'use_lora':True})m.train_model(train_data='shibing624/alpaca-zh')r=m.predict(['给出三个保持健康的秘诀。','描述原子的结构。'])print(r)response,history=m.chat("你好",history=[])print(response)response,history=m.chat("晚上睡不着应该怎么办",history=history)print(response)deforigin_chat_demo():m=ChatGlmModel('chatglm',"THUDM/chatglm-6b",args={'use_lora':False})response,history=m.chat("你好",history=[])print(response)response,history=m.chat("晚上睡不着应该怎么办",history=history)print(response)if__name__=='__main__':origin_chat_demo()finetune_demo()output:问:你好
答:你好

[Round 1]
问:晚上睡不着应该怎么办
答: 想要在晚上入睡,但并不容易,可以参考下述技巧:
1. 睡前放松:尝试进行一些放松的活动,如冥想、深呼吸或瑜伽,帮助放松身心,减轻压力和焦虑。
2. 创造一个舒适的睡眠环境:保持房间安静、黑暗和凉爽,使用舒适的床垫和枕头,确保床铺干净整洁。
3. 规律的睡眠时间表:保持规律的睡眠时间表,尽可能在同一时间上床,并创造一个固定的起床时间。
4. 避免刺激性食物和饮料:避免在睡前饮用含咖啡因的饮料,如咖啡、茶和可乐,以及吃辛辣、油腻或难以消化的食物。
5. 避免过度使用电子设备:避免在睡前使用电子设备,如手机、电视和电脑。这些设备会发出蓝光,干扰睡眠。
如果尝试了这些技巧仍然无法入睡,建议咨询医生或睡眠专家,获取更专业的建议和帮助。Dataset50万条中文ChatGPT指令数据集：BelleGroup/train_0.5M_CN100万条中文ChatGPT指令数据集：BelleGroup/train_1M_CN5万条英文ChatGPT指令数据集：50k English Stanford Alpaca dataset2万条中文ChatGPT指令数据集：shibing624/alpaca-zh69万条中文指令数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco_belle_merge_v1.0FAQ问：为啥没有int4量化模型的Finetune训练？答：THUDM放出了2个int4量化模型，分别是THUDM/chatglm-6b-int4和THUDM/chatglm-6b-int4-qe模型，是基于THUDM/ChatGLM-6B的int4并对Embedding量化后的模型，模型运行仅需要 4.3GB 显存。训练方法参考官方给出的P-tuning方法，INT4 量化模型的训练最低只需 6.7G 显存。ContactIssue(建议)：邮件我：xuming:xuming624@qq.com微信我：加我微信号：xuming624, 备注：姓名-公司-NLP进NLP交流群。Citation如果你在研究中使用了lmft，请按如下格式引用：APA:Xu, M. lmft: Lanauge Model Fine-Tuning toolkit (Version 1.1.2) [Computer software]. https://github.com/shibing624/lmftBibTeX:@misc{lmft,
  author ={Xu, Ming},
  title ={lmft: Language Model Fine-Tuning toolkit},
  year ={2023},
  publisher ={GitHub},
  journal ={GitHub repository},
  howpublished ={\url{https://github.com/shibing624/lmft}},}Licenselmft授权协议为The Apache License 2.0，可免费用做商业用途。请在产品说明中附加lmft的链接和授权协议。ChatGLM-6B的模型权重仅限学术研究用，具体见MODEL_LICENSELLAMA的模型权重仅限学术研究用，具体见LICENSEContribute项目代码还很粗糙，如果大家对代码有所改进，欢迎提交回本项目，在提交之前，注意以下两点：在tests添加相应的单元测试使用python -m pytest -v来运行所有单元测试，确保所有单测都是通过的之后即可提交PR。ReferenceLianjiaTech/BELLEtatsu-lab/stanford_alpacahuggingface/peft