README.md

metadata

base_model: weblab-GENIAC/Tanuki-8B-dpo-v1.0
language:
  - ja
  - en
license: apache-2.0
tags:
  - japanese

Tanuki-8B-dpo-v1.0-GGUF

概要

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8B-dpo-v1.0のGGUF量子化モデルです。
imatrixの計算にはWikitext-JAを用いています。

注意

このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があり、性能低下が発生している恐れがあります。
そのため、他の形式の量子化モデルの利用を推奨いたします。

• AWQ 4bit量子化
• GPTQ 4bit量子化
• GPTQ 8bit量子化

モデルに関する詳細については元モデルをご確認ください。

この成果は、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の助成事業「ポスト５Ｇ情報通信システム基盤強化研究開発事業」（JPNP20017）の結果得られたものです。