---
library_name: transformers
license: gemma
datasets:
- DeL-TaiseiOzaki/Tengentoppa-sft-v1.0
- Aratako/Magpie-Tanuki-8B-annotated-96k
language:
- ja
base_model:
- google/gemma-2-27b
pipeline_tag: text-generation
---
このモデルはコンペティションのために開発されたモデルです。
# 推論方法
まず、llama-cpp-pythonをインストールしてください。
その後推論用ライブラリをセットアップします。
```sh
git clone https://github.com/weak-kajuma/inference-for-llm-class.git
cd inference-for-llm-class
pip install datasets
```
次に、モデルをダウンロードします。
```sh
# GPUによって量子化サイズや次のセクションの`--ngl`を選んでください。
wget https://huggingface.co/kajuma/gemma-2-27b-instruct/resolve/main/Gemma-2-27B-Instruct_Q6_K.gguf
```
推論プログラムを実行します。
```sh
python answer_llama_cpp.py --model Gemma-2-27B-Instruct_Q6_K.gguf --ngl 46 --data_file data.jsonl
```
ただし`data.jsonl`のフォーマットは以下の通りです。
```jsonl
{"task_id": 0, "input": "質問"}
```
推論後`output.jsonl`が作成されます。