s3nh commited on
Commit
4356cc4
·
1 Parent(s): 8f6a545

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +75 -0
README.md ADDED
@@ -0,0 +1,75 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: openrail
3
+ language:
4
+ - en
5
+ pipeline_tag: text-generation
6
+ library_name: transformers
7
+ ---
8
+
9
+
10
+ ## Original model card
11
+
12
+ Buy me a coffee if you like this project ;)
13
+ <a href="https://www.buymeacoffee.com/s3nh"><img src="https://www.buymeacoffee.com/assets/img/guidelines/download-assets-sm-1.svg" alt=""></a>
14
+
15
+ #### Description
16
+
17
+ GGML Format model files for [This project](https://huggingface.co/FlagAlpha/Llama2-Chinese-13b-Chat).
18
+
19
+
20
+ ### inference
21
+
22
+
23
+ ```python
24
+
25
+ import ctransformers
26
+
27
+ from ctransformers import AutoModelForCausalLM
28
+
29
+ model = AutoModelForCausalLM.from_pretrained(output_dir, ggml_file,
30
+ gpu_layers=32, model_type="llama")
31
+
32
+ manual_input: str = "Tell me about your last dream, please."
33
+
34
+
35
+ llm(manual_input,
36
+ max_new_tokens=256,
37
+ temperature=0.9,
38
+ top_p= 0.7)
39
+
40
+ ```
41
+
42
+
43
+
44
+ # Original model card
45
+ # Llama2中文社区
46
+
47
+ ---
48
+ ## Llama2中文微调参数
49
+ 由于Llama2本身的中文对齐较弱,我们采用中文指令集,对meta-llama/Llama-2-13b-chat-hf进行LoRA微调,使其具备较强的中文对话能力。
50
+
51
+ 🎯 **该版本为LoRA中文微调参数FlagAlpha/Llama2-Chinese-13b-Chat-LoRA和meta-llama/Llama-2-13b-chat-hf参数结合后的版本,可直接使用**
52
+
53
+ ---
54
+
55
+
56
+ ## 🚀 社区地址:
57
+
58
+ Github:[**Llama2-Chinese**](https://github.com/FlagAlpha/Llama2-Chinese)
59
+
60
+ 在线体验链接:[**llama.family**](https://llama.family/)
61
+
62
+ ## 🔥 社区介绍
63
+ 欢迎来到Llama2中文社区!
64
+
65
+ 我们是一个专注于Llama2模型在中文方面的优化和上层建设的高级技术社区。
66
+
67
+ **基于大规模中文数据,从预训练开始对Llama2模型进行中文能力的持续迭代升级**。
68
+
69
+ 我们热忱欢迎对大模型LLM充满热情的开发者和研究者加入我们的行列。
70
+
71
+ ## 🐼 社区资源
72
+ - Llama2在线体验链接[**llama.family**](https://llama.family/),同时包含Meta原版和中文微调版本!
73
+ - Llama2 Chat模型的[中文问答能力评测](https://github.com/FlagAlpha/Llama2-Chinese/tree/main#-%E6%A8%A1%E5%9E%8B%E8%AF%84%E6%B5%8B)!
74
+ - [社区飞书知识库](https://chinesellama.feishu.cn/wiki/space/7257824476874768388?ccm_open_type=lark_wiki_spaceLink),欢迎大家一起共建!
75
+