README.md

metadata

license: other
license_name: fugaku-llm-tou
license_link: https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B-instruct/blob/main/LICENSE
language:
  - en
  - ja
datasets:
  - TFMC/imatrix-dataset-for-japanese-llm

Fugaku-LLM-13B-instruct-gguf

Fugaku-LLMさんが公開しているFugaku-LLM-13B-instructのggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

License

ご使用の前に必ず利用規約をご確認ください。
ご使用の際には利用規約に同意したものとされます。

Please be sure to check the terms of use before use. By using this service, you agree to the Terms of Use.

convert

変換用スクリプトはこちら

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'Fugaku-LLM-13B-instruct-Q4_0.gguf' -n 128 -p '以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n\n### 指示:\nスーパーコンピュータ「富岳」の名前の由来を教えてください。\n\n### 応答:\n'