Create README.md

README.md

@@ -0,0 +1,78 @@
+---
+license: apache-2.0
+language:
+- ja
+base_model: DataPilot/ArrowPro-7B-KillerWhale
+pipeline_tag: text-generation
+---
+
+# QuantFactory/ArrowPro-7B-KillerWhale-GGUF
+This is quantized version of [DataPilot/ArrowPro-7B-KillerWhale](https://huggingface.co/DataPilot/ArrowPro-7B-KillerWhale) created using llama.cpp
+
+## Model Description
+
+ArrowPro-7B-KillerWhaleはMistral系のNTQAI/chatntq-ja-7b-v1.0をベースにAItuber、AIアシスタントの魂となるようにChat性能、および高いプロンプトインジェクション耐性を重視して作られました。
+
+
+
+## How to use
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+tokenizer = AutoTokenizer.from_pretrained("DataPilot/ArrowPro-7B-KillerWhale")
+model = AutoModelForCausalLM.from_pretrained(
+  "DataPilot/ArrowPro-7B-KillerWhale",
+  torch_dtype="auto",
+)
+model.eval()
+
+if torch.cuda.is_available():
+    model = model.to("cuda")
+
+def build_prompt(user_query):
+    sys_msg = "あなたは日本語を話す優秀なアシスタントです。回答には必ず日本語で答えてください。"
+    template = """[INST] <<SYS>>
+{}
+<</SYS>>
+
+{}[/INST]"""
+    return template.format(sys_msg,user_query)
+
+# Infer with prompt without any additional input
+user_inputs = {
+    "user_query": "まどマギで一番かわいいキャラはだれ？",
+}
+prompt = build_prompt(**user_inputs)
+
+input_ids = tokenizer.encode(
+    prompt, 
+    add_special_tokens=True, 
+    return_tensors="pt"
+)
+
+tokens = model.generate(
+    input_ids.to(device=model.device),
+    max_new_tokens=500,
+    temperature=1,
+    top_p=0.95,
+    do_sample=True,
+)
+
+out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
+print(out)
+```
+## ベンチマーク方法
+
+LLaMa3が不安定のため、今回のスコアはGemini環境で新モデルのベンチマーク3回分の平均点からクジラのベンチマーク3回分の平均点を割って出した倍率をクジラのスコアである3.8にかけて出したものとなります。
+
+
+## 謝辞
+
+助言を与えてくださったすべての皆様に感謝します。
+また、元モデルの開発者の皆様にも感謝を申し上げます。
+このモデルを作成するために計算資源を貸してくれた[witness](https://x.com/i_witnessed_it)氏と[Meta Data Lab](https://x.com/Metadatalab)に感謝を申し上げます
+
+## お願い
+
+このモデルを利用する際は他人に迷惑をかけないように最大限留意してください。