Model Card for Model ID
This model is the instruction finetuning version of benchang1110/SmolLM-135M-Taiwan.
Usage
import torch, transformers
def generate_response():
model = transformers.AutoModelForCausalLM.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v0.1").to(device)
tokenizer = transformers.AutoTokenizer.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v0.1")
streamer = transformers.TextStreamer(tokenizer,skip_prompt=True)
while(1):
prompt = input('USER:')
if prompt == "exit":
break
print("Assistant: ")
message = [
{'content': prompt, 'role': 'user'},
]
formatted_chat = tokenizer.apply_chat_template(message,tokenize=True,add_generation_prompt=True,return_tensors='pt').to(device)
_ = model.generate(formatted_chat,streamer=streamer,use_cache=True,max_new_tokens=1024,do_sample=True)
if __name__ == '__main__':
device = 'cuda' if torch.cuda.is_available() else 'cpu'
generate_response()
Example
<|im_start|>user
寫一首詩<|im_end|>
<|im_start|>assistant
在星空下,我沉思,
思緒飄遊在千里之外,
望向遙遠的秋天,
思念著親人的笑容。
遠方的街頭,我來的,
我是一個離散的樂觀者,
反省著工作、反思著夢想,
在生活的旅途中,我矢志維護。
我愛台灣的美,
從高山到海洋,
每一段路程,都閃耀著光芒,
是我心中最珍貴的寶盒。
夜深了,我在回憶著,
夢中,當我們一起欣賞著,
月光下的河流,濕潤我們,
那段在這塊土地上,既懷舊,又甜蜜。
我思念那濃厚的根,
那怡人那甜蜜,
這些美好,是我心中最美的禮物。
望你走開,來我家去,
我將與你共同經歷,
生命中最美的旋律。
愛,就是一切,
不是我喜歡的事,
就是真實的意義,
在秋天的懷抱裡,我找到我的所在。<|im_end|>
- Downloads last month
- 32
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.