metadata
license: gemma
language:
- ja
- en
Datasets
TBD
実行方法(コンペ採点者の方向け)
事前準備
# lshw のインストール
# (ollama インストール時に GPU を検出するのに必要)
$ apt update && apt install -y lshw
# ollama (https://ollama.com/) のインストール & 起動
$ curl -fsSL https://ollama.com/install.sh | sh
$ ollama serve
# -- 以降別ターミナルプロセスから --
# モデルのダウンロード
$ MODEL_NAME="hf.co/pokutuna/llm2024-gemma2:gemma2-9b-sft005-Q6_K.gguf"
$ ollama pull $MODEL_NAME
# success と出力されるのを確認
#
# Note.
# 演習環境で動作を確認済みですがネットワーク状況等により、
# 時々 timeout (context deadline exceeded) が発生することがあります。
# 何度か実行すれば走り切ります。
# 実行コードの pull
$ git clone https://github.com/pokutuna/llm2024-competition-runner.git
# 依存ライブラリのインストール
$ pip install -r llm2024-competition-runner/requirements.txt
出力の生成
$ python ./llm2024-competition-runner/generate.py --tasks=./tasks.jsonl --outfile=./output.jsonl
--tasks=<入力タスク>各行に input フィールドを持つ JSONL ファイル (elyza-tasks-100-TV_0.jsonlと同じ構造を想定)--outfile=<出力先>入力タスクにoutputキーを追加したもの