qwen3.5-4b-agentic-coder-v4-4bit-mlx

English | 日本語

Model Summary

This is a 4-bit quantized MLX conversion of mahiatlinux/qwen3.5-4b-agentic-coder-v4, a coding-focused fine-tune of Qwen3.5-4B tuned for agentic/coding assistant workloads.

This is an unofficial, community-produced conversion for running the model efficiently on Apple Silicon (M-series) Macs using the MLX framework. All credit for the fine-tune goes to its original author (mahiatlinux) -- thank you for releasing this model.

Usage

CLI

pip install -U mlx-lm
mlx_lm.generate --model masahiroid/qwen3.5-4b-agentic-coder-v4-4bit-mlx --prompt "Write a Python function that checks if a string is a palindrome." --max-tokens 512

Python API

from mlx_lm import load, generate

model, tokenizer = load("masahiroid/qwen3.5-4b-agentic-coder-v4-4bit-mlx")

prompt = "Write a Python function that checks if a string is a palindrome."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)

response = generate(model, tokenizer, prompt=text, max_tokens=512, verbose=True)
print(response)

Specs

Item	Value
Base model	mahiatlinux/qwen3.5-4b-agentic-coder-v4 (Qwen3.5-4B fine-tune)
Quantization	4-bit, group size 64
Framework	MLX
Model size	~2.4 GB
Target hardware	8GB-class GPU, or Apple Silicon with 16GB+ unified memory

Intended use

This is a small (4B) model intended for lightweight local coding assistance -- autocomplete, simple function/snippet generation, boilerplate code -- rather than complex multi-file reasoning or architectural design work. For heavier tasks, a larger local model or a commercial service (e.g. GitHub Copilot) will generally give better results.

Notes

• This conversion was produced with mlx_lm.convert --q-bits 4 --q-group-size 64.
• This is a community conversion, not an official release from the original fine-tune author.

Security

Audited against its upstream with model-audit-lite: weight format, chat template, bundled code, and a machine-readable lineage (ML-BOM). Details, checksums and how to reproduce: SECURITY.md.

---

モデルの概要

本モデルは、Qwen3.5-4Bをコーディング・エージェント用途向けにファインチューンした mahiatlinux/qwen3.5-4b-agentic-coder-v4 を、Apple Silicon環境（MLXフレームワーク）向けに4-bit量子化した非公式のコミュニティ変換版です。 ファインチューンの制作者（mahiatlinux氏）に感謝いたします。

実行方法

CLI

pip install -U mlx-lm
mlx_lm.generate --model masahiroid/qwen3.5-4b-agentic-coder-v4-4bit-mlx --prompt "Write a Python function that checks if a string is a palindrome." --max-tokens 512

Python API

from mlx_lm import load, generate

model, tokenizer = load("masahiroid/qwen3.5-4b-agentic-coder-v4-4bit-mlx")

prompt = "Write a Python function that checks if a string is a palindrome."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)

response = generate(model, tokenizer, prompt=text, max_tokens=512, verbose=True)
print(response)

スペック仕様

Item	Value
ベースモデル	mahiatlinux/qwen3.5-4b-agentic-coder-v4（Qwen3.5-4Bのファインチューン）
量子化設定	4-bit, group size 64
フレームワーク	MLX
モデルサイズ	約2.4 GB
想定環境	8GB級GPU、またはApple Silicon 16GB以上のユニファイドメモリ

想定用途

このモデルは4Bという比較的小さいサイズのため、軽量なローカルコーディング支援 （自動補完・簡単な関数/スニペット生成・定型コードの記述）を想定した用途に向いています。 複数ファイルをまたいだ設計判断や複雑なロジックの実装には、より大きなローカルモデルや 商用サービス（GitHub Copilotなど）の利用を推奨します。

備考

• 本変換は mlx_lm.convert --q-bits 4 --q-group-size 64 を用いて作成された非公式のコミュニティ版です。ファインチューンの作者による公式リリースではありません。

セキュリティー

model-audit-lite で変換元と突き合わせて監査済みです（重みの形式、chat template、同梱コード、機械可読な系譜＝ML-BOM）。詳細・チェックサム・再現方法は SECURITY.md をご覧ください。