README.md

metadata

license: other
license_name: mrl
license_link: https://mistral.ai/licenses/MRL-0.1.md
language:
  - en
  - fr
  - de
  - es
  - it
  - pt
  - zh
  - ja
  - ru
  - ko
datasets:
  - TFMC/imatrix-dataset-for-japanese-llm
tags:
  - mistral

Mistral-Large-Instruct-2407-gguf

mistralaiさんが公開しているMistral-Large-Instruct-2407のggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./llama-cli -m 'Mistral-Large-Instruct-2407-Q4_0.gguf' -n 128 -p '<|im_start|>system\nあなたはプロの料理人です。<|im_end|>\n<|im_start|>user\n今晩の夕食のレシピを教えて<|im_end|>\n<|im_start|>assistant\n'