llm-jp-4.1-33b-thinking EXL3 Quantized

LLM-jp / 国立情報学研究所が公開する llm-jp/llm-jp-4.1-33b-thinking を、ExLlamaV3のEXL3形式へ量子化した非公式の派生モデルです。LLM-jpおよび国立情報学研究所による公式配布物ではありません。元モデルの利用条件と注意事項については、元モデルのModel Cardを確認してください。

Status

3.5 / 4.0 / 5.0 / 6.0 bpw、すべてLM head H6のvariantを公開しています。
全variantで変換、ファイル構造、Windows CUDA環境での生成、TabbyAPI経由の基本生成を確認しました。
MT-Bench、qbenchなどの追加ベンチマーク評価は実施していません。動作確認の結果をモデル品質の包括的な評価として解釈しないでください。

Variants

1つのHugging Face repository内で、variantごとのbranchを使って配布しています。ダウンロード時は下表のrevisionを指定してください。

Variant / revision	Decoder bpw	LM head	配布ファイル合計
3.5bpw_H6	3.5	6 bit	15.32 GiB
4.0bpw_H6	4.0	6 bit	17.14 GiB
5.0bpw_H6	5.0	6 bit	20.77 GiB
6.0bpw_H6	6.0	6 bit	24.41 GiB

サイズは各variantの配布ディレクトリ全体の合計です。重みファイルだけのサイズや、推論時のVRAM使用量を表す値ではありません。必要なVRAMはcontext length、KV cache、batch size、runtime設定によって変わります。

Download

例として4.0bpw H6をダウンロードする場合:

hf download shunmoridev/llm-jp-41-33b-thinking-exl3 `
  --revision 4.0bpw_H6 `
  --local-dir .\models\llm-jp-4.1-33b-thinking-exl3-4.0bpw_H6

利用可能なrevisionは 3.5bpw_H6、4.0bpw_H6、5.0bpw_H6、6.0bpw_H6 です。

Usage with TabbyAPI

EXL3形式はExLlamaV3向けです。llama.cpp、Ollama、標準Transformersなどの一般的な形式としては読み込めません。OpenAI互換APIとして使う場合はTabbyAPIを利用できます。

Windows CLI quick start（4.0bpw_H6）

以下はWindows CUDA環境にTabbyAPIをインストール済みで、元モデルのUnigram tokenizerに対応したExLlamaV3を使う前提です。アクセス権のあるHugging Faceアカウントで hf auth login を済ませてください。

TabbyAPIのディレクトリへ移動し、4.0bpw H6を models 以下へダウンロードします。

Set-Location C:\path\to\tabbyAPI
hf download shunmoridev/llm-jp-41-33b-thinking-exl3 `
  --revision 4.0bpw_H6 `
  --local-dir .\models\llm-jp-4.1-33b-thinking-exl3-4.0bpw_H6

TabbyAPIのディレクトリ直下に config.yml を作り、次の設定を保存します。VRAMに合わせてcontextとcacheの値を調整してください。

network:
  host: 127.0.0.1
  port: 5000
  disable_auth: true
  api_servers: [OAI]

model:
  model_dir: .\models
  model_name: llm-jp-4.1-33b-thinking-exl3-4.0bpw_H6
  backend: exllamav3
  max_seq_len: 4096
  cache_size: 4096
  cache_mode: 4,4
  max_batch_size: 1
  chunk_size: 512
  output_chunking: true
  harmony: true

TabbyAPIのディレクトリでサーバーを起動します。

python main.py --config .\config.yml

サーバーを起動したまま別のPowerShellを開き、CLIから生成リクエストを送ります。

curl.exe http://127.0.0.1:5000/v1/chat/completions `
  -H "Content-Type: application/json" `
  --data-raw '{"model":"llm-jp-4.1-33b-thinking-exl3-4.0bpw_H6","messages":[{"role":"user","content":"What is the capital of Japan?"}],"reasoning_effort":"low","max_tokens":256,"stream":false}'

disable_auth: true はlocalhost内だけで使う場合の簡易設定です。外部ネットワークへ公開する場合は認証を有効にしてください。

Run notes

このモデルはthinking modelです。元モデルに同梱されているtokenizer、custom tokenizer Python、chat templateを保持しています。別のtokenizerやchat templateへ置き換えずに利用してください。モデルはHarmony形式のメッセージを使用します。

この配布物の動作確認は、Windows 11 / NVIDIA GeForce RTX 5090 32GB / CUDA 12.8 / PyTorch 2.9.0+cu128 / Python 3.12.10 / ExLlamaV3 1.4.2で行いました。生成の基本動作は4096 contextで確認しました。TabbyAPI経由でも基本的な生成を確認しています。

検証に使用したExLlamaV3には、元モデルのUnigram tokenizerとの互換性を補う修正を適用しています。未修正のExLlamaV3環境での動作は確認していません。

Model details

Source model: llm-jp/llm-jp-4.1-33b-thinking
Source revision used for quantization: de581ee4353568c480d47129948d1be99f02f4ff
Architecture: dense Transformer, 64 layers, hidden size 5,120
Parameters: 33.22B
Original context length: 65,536 tokens
Original dtype: BF16
License: Apache-2.0 (terms follow the source model)

Quantization settings

Format: EXL3 (ExLlamaV3 1.4.2)
Decoder: 3.5 / 4.0 / 5.0 / 6.0 bpw
LM head: 6 bit for every variant
Codebook: mul1
Calibration: 250 rows × 2,048 columns
Output scales: always
HQ mode: disabled
Safetensors shard target: 8,192 MiB

Risks and limitations

This is an unofficial quantized derivative. Quantization can change the source model's outputs; identical behavior is not guaranteed. The basic runtime checks listed above do not establish benchmark performance or suitability for a particular use case. Refer to the source model card for the original model's intended use, risks, and limitations.

Acknowledgements

Original model: LLM-jp / National Institute of Informatics
Quantization and runtime: ExLlamaV3
API runtime validation: TabbyAPI

Downloads last month: -; Downloads are not tracked for this model. How to track

Model tree for shunmoridev/llm-jp-41-33b-thinking-exl3

Base model

llm-jp/llm-jp-4.1-33b-thinking

Quantized

(7)

this model