Update README.md

README.md

@@ -15,7 +15,7 @@ pipeline_tag: text-generation
 ### LongBench的passage_retrieval_zh的评测结果
 | 模型                                          | 得分 (acc) |
 |---------------------------------------------|----------|
-| **Qwen-14b-chat-yarn-32k**                     |**0.94**|
+| **Qwen-14b-chat-yarn-32k**                   |**0.94**|
 | chatglm3-32k                                | 0.725    |
 | Qwen-14b-chat                               | 0.525    |
 | LongAlpaca-7b-32k-chinese-v2                | 0.12     |
@@ -24,16 +24,24 @@ pipeline_tag: text-generation
 
 
 # Usage
-* 将Qwen模型的NTK插值方法替换为Yarn，同时适当缩小位置插值的缩放因子，实现了模型在更长文本长度（大于16k）下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
+
 
 * 目前仅提供  modeling_qwen.py  代码，用此py文件替换原Qwen模型的modeling_qwen.py即可，其它使用方法不变。模型权重与原Qwen模型相同。
 * 未来可能会发布微调的权重。
 * 使用此模型时会自动设置  config.use_logn_attn=False、config.use_dynamic_ntk=True。
 ```python
-config=AutoConfig.from_pretrained("Qwen/Qwen-14B-Chat", trust_remote_code=True,use_dynamic_ntk=True,use_logn_attn=False,torch_dtype=torch.bfloat16)
-model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-14B-Chat", device_map="auto", trust_remote_code=True,config=config)
-  ```
+from transformers import AutoModelForCausalLM, AutoTokenizer,AutoConfig
+
+tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True,use_fast=False)
+model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True,load_in_4bit=True).eval()
 
+input_text="你好。"
+response, history = model.chat(tokenizer, input_text, history=None)
+print(response)
+```
+
+## 模型结构修改
+* 将Qwen模型的NTK插值方法替换为Yarn，同时适当缩小位置插值的缩放因子，实现了模型在更长文本长度（大于16k）下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
 
 
 # 问答例子
@@ -45,6 +53,7 @@ model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-14B-Chat", device_map="a
 
   问题：什么是生物固碳？参考文档：
   文档-[1]：标题：生物可吸收支架
+
   内容：支架材料经常被用于外科手术中，例如提供支撑的血管支架、肠道支架，另外还包括作为营养物质载体并提供一定的尺寸结构的人工骨支架、人工器官支架等。早期的支架材料通常采用金属或其他一些非可降解材料，通常需要二次手术取出，同时伴随着一些负面效果；而生物可吸收支架是用可溶解在人体内的材料制成，放入体内后，可被人体吸收 。本词条由“科普中国”科学百科词条编写与应用工作项目 审核 。 可降解血管支架材料：血管支架是外科手术放入人体血管或其它管内，以扩充血管，防止或减少阻塞的器件。传统的支架用金属制造，但用金属支架容易出现一些缺点；如可能形成血栓，阻碍血运重建，不利多层CT造影等。为克服这些缺点，故研究生物可吸收支架。目前，该类材料应用较多的为胶原或明胶蛋白包埋的或表面处理的可降解材料的无纺网，例如：聚乳酸、聚羟基酸和多肽等的无纺布或无纺网等。值得一提的是，由于内皮细胞在抗血栓形成、抑制血小板聚集、分泌血管活性因子等方面的重要作用，于是将新鲜获取或体外培养的内皮细胞直接种植于人工血管的内表面，成为首选的努力方向。加拿大阿尔伯塔马产科夫斯基（Mazankowski Alberta）心脏研究所第一个利用人体可吸收的血管支架，成功处理冠状动脉疾病 [2] 。 可降解神经组织支架：神经修复的组织工程支架材料一类是取自于自体的神经、骨骼肌、血管、膜管的天然活性材料，另一类是非生物活性材料，例如脱钙骨管、尼龙纤维管、硅胶管、聚氨酯等。 角膜组织工程支架：要求透明，吸水，有一定的机械强度，屈光性好等特点，同时，要求可降解。以前常用的材料为HAMA、PMMA，近年来，多采用胶原和聚醇酸等材料。 其他可降解生物支架材料 [3] ： 天然可降解高分子材料。天然生物可降解高分子材料是指由动植物组织中提取的高分子可降解材料。如胶原（collagen），其本身就是天然骨的组织成分。壳聚糖（chitosan），是甲壳素的衍生物。还有明胶（gelatin）、琼脂、葡聚糖、透明质酸。这类材料的特点是降解产物易被机体吸收，但强度和加工性能较差，降解速度无法调节。 天然可降解无机材料。例如珊瑚是天然动物的骨骼，其中99%是磷酸钙。再如，珊瑚羟基磷灰石（CHA）。它们都具有天然珊瑚的多孔结构，有较好的孔隙率。能和靶细胞很好的黏附，而不影响增殖、分化、成骨，是很好的骨组织工程材料。 合��可降解高分子材料。常用的可降解合成高分子材料有聚乳酸[poly（lactic acid）,PLA],聚乙醇酸[poly(glycolic acid),PGA],聚己内酯(polycaprolactam, PCL)，聚醚，聚碳酸酯等。这类材料的降解产物可在体内代谢排除，对机体无害，可塑性较好。其中PLA和PGA在组织工程中应用最广泛。 合成可降解无机材料。常用的主要有磷酸钙水泥(calcium phosphate cement,CPC)，羟基磷灰石(hydroxyapatite,HA),磷酸三钙( tricalcium phosphate, TCP),生物活性陶瓷如生物活性玻璃陶瓷( biological activity ceramic glass,BCG),细胞外基质陶瓷类材料等。 复合材料：通过结合不同材料的特点，结合相互的优势来实现某些特定的功能。如:聚乳酸－羟基磷灰石。
   文档-[2]：标题：生物史观与社会
   内容：常燕生写的一杯关于生物史的书籍。责任者 常燕生著 其他责任者 出版者 大陆书局[发行者] 出版地点 上海 出版时间 民国22[1933] 载体形态 122页 丛编项 主题词 生物学哲学-历史唯物主义 中图分类号 B03 附注说明 摘要 本书篇目有：历史科学上的几种观点，何谓生物史观，民族意识的构成与发展，国民性，民族与自然环境，生物史观与政治，生物史观与经济，生物史观与宗教 [1]