Update README.md

README.md

@@ -1,10 +1,57 @@
----
 license: apache-2.0
----
 ChatGLM-6B 是开源中英双语对话模型 本次训练基于ChatGLM-6B 的第一代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，本次训练使用了30万条fitness数据，40万条gpt4数据，以及30万条人类反馈数据的微调。
 训练后在健康咨询，文档总结 上强于glm2，fp16运行时速度上比原模型提升20%.可以代替原有官方模型，大家可以fp16、int4、int8使用。
 协议
 本仓库的代码依照 Apache-2.0 协议开源，ChatGLM2-6B 模型的权重的使用则需要遵循 Model License。
 授权方式，与原项目一致，未经过chatglm原开发方允许，不得用于商业用途。
 在原项目上的训练由智能AI用户[帛凡]于2023年基于ChatGLM独立训练的人工智能助手（严禁售卖或者商业项目，任何通过此项目产生的知识仅用于参考，作者不承担任何责任）。
----
+16G及以上显存用下载压缩包即lora文件使用，可支持ChatGLM原生模型和LoRA微调后的模型
+Usage (HuggingFace Transformers)
+Without textgen, you can use the model like this:
+First, you pass your input through the transformer model, then you get the generated sentence.
+Install package:
+pip install transformers  peft
+
+import sys
+from peft import PeftModel
+from transformers import AutoModel, AutoTokenizer
+sys.path.append('..')
+model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
+model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora")
+model = model.half().cuda()  # fp16
+tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
+sents = ['新冠肺炎怎么预防。\n答：']
+for s in sents:
+    response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
+    print(response)
+
+output:
+
+模型文件组成：
+chatglm_fitness_lora
+    ├── adapter_config.json
+    └── adapter_model.bin
+
+--------------------------------------------------------------------------------
+16G及以下显存用户下载整个模型，可支持支持fp16、int8、int4
+Usage (HuggingFace Transformers)
+Without textgen, you can use the model like this:
+First, you pass your input through the transformer model, then you get the generated sentence.
+Install package:
+pip install transformers  peft
+
+import sys
+from transformers import AutoModel, AutoTokenizer
+sys.path.append('..')
+model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
+#model = model.half().quantize(4).cuda()  # int4
+#model = model.half().quantize(8).cuda()  # int8
+#model = model.half().cuda()  # fp16
+tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
+sents = ['新冠肺炎怎么预防。\n答：']
+for s in sents:
+    response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
+    print(response)
+
+output:
+