Qi Wang commited on
Commit
3d59e29
1 Parent(s): 87e5187

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +23 -0
README.md CHANGED
@@ -76,6 +76,29 @@ make run
76
 
77
  可以看到93M的模型参数量虽然少,但是仍然具有一定的逻辑能力,故事可以保持基本的自洽。
78
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
79
  ## 小模型的意义
80
 
81
  小模型的能力虽然有限,但是它在一下几个方面是具有非凡意义的
 
76
 
77
  可以看到93M的模型参数量虽然少,但是仍然具有一定的逻辑能力,故事可以保持基本的自洽。
78
 
79
+ 模型已经转换为huggingface的LlamaPretrainedModel格式,调用方法如下:
80
+
81
+ ```python
82
+ torch.set_default_device("cuda")
83
+ config = AutoConfig.from_pretrained(model_path)
84
+ print(f"config: {config}")
85
+ tokenizer = AutoTokenizer.from_pretrained(model_path)
86
+ model = AutoModelForCausalLM.from_pretrained(model_path, config=config)
87
+ model.to("cuda")
88
+ inputs = tokenizer("从前", return_tensors="pt", add_special_tokens=True)
89
+ outputs = model.generate(**inputs, max_length=768)
90
+ text = tokenizer.batch_decode(outputs)[0]
91
+ print(text)
92
+ ```
93
+
94
+ 输出
95
+
96
+ ```text
97
+ <s> 从前,有一个小女孩,名叫莉莉。她喜欢在外面玩耍并探索周围的世界。有一天,她在公园里玩耍时,看到一只蝴蝶,就去追它。她跑呀跑,直到迷路。莉莉开始哭泣,一位好心的女士走过来问她:“小宝贝,你为什么哭?”莉莉回答说:“我迷路了,找不到回家的路了。”那位女士说:“别担心,我会帮你找到回家的路的。”他们一起走着,莉莉开始感到害怕。突然,那位女士停了下来,说道:“别担心,我会帮你找到回家的路的。”他们走呀走,终于找到了莉莉的家。莉莉很高兴,向那位女士表示感谢。那位女士微笑着说:“我很高兴能帮上忙。记住,当你迷路时,寻求帮助总是好的。”莉莉点点头,紧紧地拥抱着妈妈。
98
+ ```
99
+
100
+ ##
101
+
102
  ## 小模型的意义
103
 
104
  小模型的能力虽然有限,但是它在一下几个方面是具有非凡意义的