mmnga/line-corp-japanese-large-lm-1.7b-gguf

line-corporation/japanese-large-lm-1.7b

line-corporationさんが公開しているjapanese-large-lm-1.7bのgguf変換版です。

他モデルはこちら
GPT-NEOX
mmnga/line-corp-japanese-large-lm-3.6b-gguf
mmnga/line-corp-japanese-large-lm-3.6b-instruction-sft-gguf

GPT-2
mmnga/line-corp-japanese-large-lm-1.7b-gguf
mmnga/line-corp-japanese-large-lm-1.7b-instruction-sft-gguf

変換スクリプト

line-gpt2_convert-hf-to-gguf.py

Usage

git clone --branch mmnga-dev-merge https://github.com/mmnga/llama.cpp.git
cd llama.cpp
make -j
./main -m 'line-corp-japanese-large-lm-1.7b-q4_0.gguf' -n 128 -p '犬「吾輩は猫である。」猫「'  --top_p 0.9 --temp 0.7 --repeat-penalty 1.1