Fugaku-LLM-13B-instruct-gguf
Fugaku-LLMさんが公開しているFugaku-LLM-13B-instructのggufフォーマット変換版です。
imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。
License
ご使用の前に必ず利用規約をご確認ください。
ご使用の際には利用規約に同意したものとされます。
Please be sure to check the terms of use before use. By using this service, you agree to the Terms of Use.
convert
変換用スクリプトはこちら
Usage
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'Fugaku-LLM-13B-instruct-Q4_0.gguf' -n 128 -p '以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n\n### 指示:\nスーパーコンピュータ「富岳」の名前の由来を教えてください。\n\n### 応答:\n'
- Downloads last month
- 9,846