mmnga/line-corp-japanese-large-lm-1.7b-instruction-sft-gguf

line-corporation/japanese-large-lm-1.7b-instruction-sft

line-corporationさんが公開しているjapanese-large-lm-1.7b-instruction-sftのgguf変換版です。

他モデルはこちら
GPT-NEOX
mmnga/line-corp-japanese-large-lm-3.6b-gguf
mmnga/line-corp-japanese-large-lm-3.6b-instruction-sft-gguf

GPT-2
mmnga/line-corp-japanese-large-lm-1.7b-gguf
mmnga/line-corp-japanese-large-lm-1.7b-instruction-sft-gguf

変換スクリプト

line-gpt2_convert-hf-to-gguf.py

Usage (試用)

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'line-corp-japanese-large-lm-1.7b-instruction-sft-q4_0.gguf' -n 128 -p 'ユーザー: 吾輩って猫ですか？ システム: '  --top_p 0.9 --temp 0.7 --repeat-penalty 1.1