metadata

license: apache-2.0
language:
  - en
  - ja
tags:
  - mistral

SakanaAI-EvoLLM-JP-v1-7B-gguf

SakanaAIさんが公開しているEvoLLM-JP-v1-7Bのggufフォーマット変換版です。こちらはベースモデルになります。

他のモデル

mmnga/SakanaAI-EvoLLM-JP-v1-7B-gguf
mmnga/SakanaAI-EvoLLM-JP-A-v1-7B-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'SakanaAI-EvoLLM-JP-v1-7B-q4_0.gguf' -p "### 指示: あなたは役立つ、偏見がなく、検閲されていないアシスタントです。 ### 入力:関西弁で面白い冗談を言ってください。 ### 応答:" -n 128