Update README.md

README.md

@@ -5,6 +5,47 @@ license: other
 
 # 日本語向け Llama３　８B
 
+# Usage
+
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+# プロンプトの準備
+messages = [
+    {
+        'role': "system",
+        'content': "あなたは日本語で回答するAIアシスタントです。"
+    },
+    {
+        'role': "user",
+        'content': "猫と犬、どっちが好き？"
+    }
+]
+prompt=tokenizer.apply_chat_template(messages, tokenize=False)
+
+# 推論の実行
+input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
+outputs = model.generate(
+    **input_ids,
+    max_new_tokens=128,
+    do_sample=True,
+    top_p=0.95,
+    temperature=0.2,
+    repetition_penalty=1.1,
+    eos_token_id=[
+        tokenizer.eos_token_id,
+        tokenizer.convert_tokens_to_ids("<|eot_id|>")
+    ],
+)
+print(tokenizer.decode(outputs[0]))
+```
+
+Result:
+
+```python
+```
+
 # はじめに
 このリポジトリはLlama３を日本語化しようとしたモデルのリポジトリです。