tokimoa/Fara1.5-27B-MLX-4bit

Fara1.5-27B (MLX 4bit, verified)

Microsoft Research AI Frontiersの Fara1.5-27B（スクリーンショットのみでWebブラウザを操作するcomputer use agent。Qwen3.5-27BベースSFT・MIT）を、公式BF16重みからMLX 4bit（group size 64、実効5.46bpw）に量子化したものです。座標グラウンディングを含む検証済みで公開しています。

Apple Silicon上でローカル完結のブラウザ操作エージェントを構築できます（27B・重み17GB・ピーク約25GB）。

⚠️ 使い方の要点: 正規システムプロンプトが必須

Fara1.5は訓練時の専用システムプロンプト（identity＋critical points＋<tools>ブロックにJSONスキーマを内蔵）で最良動作するよう作られています。当方の検証では:

• チャットテンプレートの tools= 引数でスキーマを渡す方式 → ツールコールのXML構文が崩れ、座標グラウンディングも劣化
• 正規形式（システムプロンプト内に <tools>{...computer_use schema...}</tools> を記載、microsoft/fara の _prompts.py 準拠） → 整形式JSONツールコール・正確な座標

座標系は smart_resize 後の画像解像度です（例: 1440×900 → 1440×896。patch 16×merge 2=32の倍数へ丸め）。スクリーンショットは1440×900を推奨（上流準拠）。

変換品質の検証（tokimoa）

座標既知のモックUIスクリーンショット（1440×900）で検証:

• 検索タスク → {"action": "left_click", "coordinate": [500, 363]}: クリック座標が対象の検索入力ボックス（420–1020, 320–380）内に正しく着地
• フォーム送信タスク（メール未入力） → critical points設計どおり不足情報を認識し、整形式のツールコールで対処（安全挙動の確認）
• 同一入力の反復で出力完全一致（決定論的）
• mlx-vlm 0.6.7 で動作確認（qwen3_5経路。なおQwen2.5-VL系とは異なり0.6.4+ regressionの影響を受けません）

実測速度（M4 Max 36GB）

• 生成: 19.5 tok/s / プロンプト処理: 134.8 tok/s（フルシステムプロンプト＋1440×900画像）
• ピークメモリ: 24.7GB（重み17GB）

安全に関する注意（上流の推奨に従ってください）

Fara1.5はブラウザを実際に操作するエージェントです。上流はサンドボックス（Docker）・ドメイン許可リスト・監視・即時停止を備えた MagenticLite 内での実行を推奨しています。ホストに機微情報がある環境で無制限のブラウザアクセスを与えないでください。個人情報入力・支払い・送信等の不可逆操作前に停止するcritical points設計は本変換でも動作を確認していますが、完全性は保証されません。

変換情報

• 変換元: microsoft/Fara1.5-27B（公式BF16）
• 変換: mlx-vlm 0.6.7 convert -q --q-bits 4
• 変換者: tokimoa

ライセンス

MIT（元モデルに準拠）