Tanuki-8x8B-dpo-v1.0-AWQ

概要

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のAWQ 4bit量子化モデルです。
キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした512件を利用しています。

情報提供

この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQをこちらで公開しています。

また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。
これを以下のようにソースからビルドし推論に利用してください。

git clone https://github.com/team-hatakeyama-phase2/vllm.git
cd vllm
LD_LIBRARY_PATH="" MAX_JOBS=16 pip install -e .

モデルに関する詳細については元モデルをご確認ください。

Downloads last month
264
Safetensors
Model size
6.75B params
Tensor type
I32
·
FP16
·
Inference Examples
Inference API (serverless) does not yet support model repos that contain custom code.

Model tree for team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ

Quantized
(4)
this model

Dataset used to train team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ