team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-4k-GGUF

Tanuki-8B-dpo-v1.0-GGUF

概要

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8B-dpo-v1.0-4kのGGUF量子化モデルです。
imatrixの計算にはWikitext-JAを用いています。

注意

このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があり、性能低下が発生している恐れがあります。
そのため、他の形式の量子化モデルの利用を推奨いたします。

• AWQ 4bit量子化
• GPTQ 4bit量子化
• GPTQ 8bit量子化

モデルに関する詳細については元モデルをご確認ください。