karakuri-lm-70b-chat-v0.1-gguf

karakuri-aiさんが公開しているkarakuri-lm-70b-chat-v0.1のggufフォーマット変換版です。

分割されたファイルについて

q6_kやq8_0のファイルはサイズが大きく分割されているので結合する必要があります。

cat karakuri-lm-70b-chat-v0.1-q8_0.gguf.* > karakuri-lm-70b-chat-v0.1-q8_0.gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'karakuri-lm-70b-chat-v0.1-q4_0.gguf' -p "<s>[INST] <<SYS>> <</SYS>> 週末に日帰りで東京に遊びに行こうと思っています。日帰りなので、短時間で回れるおすすめの観光プランを教えてください。 [ATTR] helpfulness: 4 correctness: 4 coherence: 4 complexity: 4 verbosity: 4 quality: 4 toxicity: 0 humor: 0 creativity: 0 [/ATTR] [/INST] " -n 128

ライセンス

cc-by-sa-4.0 ライセンスになりますが、商業目的使用の場合は下記事項をご確認ください。
引用して翻訳したもの

Llama 2 は、 LLAMA 2 コミュニティ ライセンス(Copyright © Meta Platforms, Inc. All Rights Reserved) に基づいてライセンスされています。 KARAKURI LM は、クリエイティブ コモンズ 表示 - 継承 4.0 国際ライセンス ( CC BY-SA 4.0 ) に基づいてライセンスされています。このライセンスに基づいて、適切なクレジットを提供し、同じライセンスに基づいて貢献物を配布する限り、商業目的であっても、このモデルを自由に共有および改変することができます。 ただし、KARAKURI LM を商業目的で使用したい場合は、CC BY-SA 4.0 ライセンスの条項に関わらず、直接当社にご連絡いただく必要があります。規約の解釈に関してご質問がございましたら、お気軽にお問い合わせください。