Qi Wang
commited on
Commit
•
3d59e29
1
Parent(s):
87e5187
Update README.md
Browse files
README.md
CHANGED
@@ -76,6 +76,29 @@ make run
|
|
76 |
|
77 |
可以看到93M的模型参数量虽然少,但是仍然具有一定的逻辑能力,故事可以保持基本的自洽。
|
78 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
79 |
## 小模型的意义
|
80 |
|
81 |
小模型的能力虽然有限,但是它在一下几个方面是具有非凡意义的
|
|
|
76 |
|
77 |
可以看到93M的模型参数量虽然少,但是仍然具有一定的逻辑能力,故事可以保持基本的自洽。
|
78 |
|
79 |
+
模型已经转换为huggingface的LlamaPretrainedModel格式,调用方法如下:
|
80 |
+
|
81 |
+
```python
|
82 |
+
torch.set_default_device("cuda")
|
83 |
+
config = AutoConfig.from_pretrained(model_path)
|
84 |
+
print(f"config: {config}")
|
85 |
+
tokenizer = AutoTokenizer.from_pretrained(model_path)
|
86 |
+
model = AutoModelForCausalLM.from_pretrained(model_path, config=config)
|
87 |
+
model.to("cuda")
|
88 |
+
inputs = tokenizer("从前", return_tensors="pt", add_special_tokens=True)
|
89 |
+
outputs = model.generate(**inputs, max_length=768)
|
90 |
+
text = tokenizer.batch_decode(outputs)[0]
|
91 |
+
print(text)
|
92 |
+
```
|
93 |
+
|
94 |
+
输出
|
95 |
+
|
96 |
+
```text
|
97 |
+
<s> 从前,有一个小女孩,名叫莉莉。她喜欢在外面玩耍并探索周围的世界。有一天,她在公园里玩耍时,看到一只蝴蝶,就去追它。她跑呀跑,直到迷路。莉莉开始哭泣,一位好心的女士走过来问她:“小宝贝,你为什么哭?”莉莉回答说:“我迷路了,找不到回家的路了。”那位女士说:“别担心,我会帮你找到回家的路的。”他们一起走着,莉莉开始感到害怕。突然,那位女士停了下来,说道:“别担心,我会帮你找到回家的路的。”他们走呀走,终于找到了莉莉的家。莉莉很高兴,向那位女士表示感谢。那位女士微笑着说:“我很高兴能帮上忙。记住,当你迷路时,寻求帮助总是好的。”莉莉点点头,紧紧地拥抱着妈妈。
|
98 |
+
```
|
99 |
+
|
100 |
+
##
|
101 |
+
|
102 |
## 小模型的意义
|
103 |
|
104 |
小模型的能力虽然有限,但是它在一下几个方面是具有非凡意义的
|