metadata

library_name: transformers
license: gemma
datasets:
  - DeL-TaiseiOzaki/Tengentoppa-sft-v1.0
  - Aratako/Magpie-Tanuki-8B-annotated-96k
language:
  - ja
base_model:
  - google/gemma-2-27b
pipeline_tag: text-generation

このモデルはコンペティションのために開発されたモデルです。

推論方法

まず、llama-cpp-pythonをインストールしてください。その後推論用ライブラリをセットアップします。

git clone https://github.com/weak-kajuma/inference-for-llm-class.git
cd inference-for-llm-class
pip install datasets

次に、モデルをダウンロードします。

# GPUによって量子化サイズや次のセクションの`--ngl`を選んでください。
wget https://huggingface.co/kajuma/gemma-2-27b-instruct/resolve/main/Gemma-2-27B-Instruct_Q6_K.gguf

推論プログラムを実行します。

python answer_llama_cpp.py --model Gemma-2-27B-Instruct_Q6_K.gguf --ngl 46 --data_file data.jsonl

ただしdata.jsonlのフォーマットは以下の通りです。

{"task_id": 0, "input": "質問"}

推論後output.jsonlが作成されます。