Qwen2.5-7B-Instruct-MLX-4bit

This model is an MLX 4-bit quantized conversion of Qwen/Qwen2.5-7B-Instruct, produced with mlx-lm.

Base model

• Base: Qwen/Qwen2.5-7B-Instruct
• License: Apache-2.0
• Context length: 131,072 tokens (with YaRN)
• Generation length: 8,192 tokens
• Quantization: 4-bit (group size 64, mixed 4.5 bpw)

Use with MLX-LM

pip install -U mlx-lm

mlx_lm.generate \
  --model noricha/Qwen2.5-7B-Instruct-MLX-4bit \
  --system-prompt "あなたは日本語で簡潔に答えるアシスタントです。" \
  --prompt "MLXモデルとは何ですか？" \
  --max-tokens 200 --temp 0.7 --top-p 0.9

Use with LM Studio

LM Studio 0.3.4 以降の MLX Engine で読み込み可能です。アプリ内検索または CLI:

lms get noricha/Qwen2.5-7B-Instruct-MLX-4bit

Local benchmark (Apple M3 Ultra)

項目	値
モデルサイズ	4.0 GB (safetensors)
Generation	~133 tok/s
Prompt eval	~273 tok/s
Peak memory	4.43 GB

同シリーズ 0.5B / 1.5B と比較して、日本語の一般知識・翻訳・コード生成の質が明確に向上（実用チャットレベル）。 用途・制限は元モデルの Qwen2.5-7B-Instruct を参照してください。