eightman999/open-jev-coreml

Open Jev Core ML / ANE — research weights

Apple Silicon向けOpen Jev / JevLiteのチェックポイントとCore MLパッケージ。研究用の参考実装で、汎用Jev代替としての性能は確認できていません。

コード・実験記録: eightman999/open-jev-coreml。独自のPyTorch state_dictとメタデータ形式で、Transformersのfrom_pretrainedやHubのInference APIへ直接渡す形式ではありません。

ファイル

• jevlite.pt: 元のMPS学習チェックポイント。歴史的flat入力形式（slots=none）。
• coreml/: fp16 ML Program。入力長256／512／1024、minimum macOS26。
• coreml-fp32/: fp32比較用パッケージ。ANE用途には使いません。
• experimental/diag_flat.pt, diag_lead.pt: 6 epoch診断再学習。汎用精度改善は未達。
• experimental/posprior*.pt: 位置バイアス調査専用。一般用途向けではありません。
• experimental/jevlite-smoke.pt: 初期smokeチェックポイント。評価済み本モデルとは別です。
• MODEL_ASSETS.json: 全モデルファイルのSHA-256・サイズ・入力形式。

Core MLパッケージは元のjevlite.pt由来で、diag_lead等の重みではありません。チェックポイントとモデルバイナリは原本のままです。小さいCore ML manifestにslots=noneとHub内のパスを明示しました。元の古いcheckpointはslotsフィールドがなく、最新コードのlead既定値と異なるので、この設定を保ってください。

ダウンロード・実行

git clone https://github.com/eightman999/open-jev-coreml.git
cd open-jev-coreml
python3.12 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt huggingface_hub
hf download eightman999/open-jev-coreml jevlite.pt --local-dir .
hf download eightman999/open-jev-coreml --include 'coreml/**' --local-dir artifacts
python 05_serve.py --backend coreml --compute-units cpu_and_ne --demo

モデルパッケージはartifacts/coremlに配置され、manifestがflat入力形式を選びます。PyTorch側で同じ元checkpointを使うときはDecisionEngine(backend="torch", ckpt="jevlite.pt", slots="none")を指定してください。診断checkpointはそれぞれ固有のslotsメタデータを保持しています。

推論にはModernBERTのtokenizerとconfigが別途必要です。コードが初回に基底モデルを取得する場合があります。Core ML推論はworker子プロセス隔離を既定にしています。

過去評価（2026-09-21〜22）

M2 Max 32GB、macOS26.6.2での過去実測。今回の公開時の再実験ではありません。

• typed-decisions 400件／2,000判定: Torch accuracy 0.6430、Core ML 0.6445、判定一致率0.9965。
• cpu_and_ne median latency: 13.2 / 37.1 / 111.1 ms（256 / 512 / 1024）。長い入力ではMPSが速い結果。
• 演算ごとのANE配置・消費電力は未測定。
• novllm corpus cleaningで歴史的Jevとの一致率0.15〜0.24%。正解率ではありません。
• JudgeBench accuracy（保留を誤答扱い）0.112、保留率0.761。
• 入力形式修正・診断再学習で位置選択は変わりましたが、汎用判定の精度改善は未達。

詳細と集計JSONはGitHub側を参照してください。データセット、ケース別予測、API生ログはどちらにも配布していません。

学習由来とライセンス

• コード: Apache-2.0、上流intikhab49/open-jev-typed-decision-engine。
• 基底モデル: answerdotai/ModernBERT-base、Apache-2.0。
• jevlite／diag／smokeの学習データ: LocalLLaMA/typed-decisions、モデルカード上Apache-2.0（2026-10-06確認）。データ本体は配布しません。
• pospriorは公開コードで生成されるsynthetic診断fixtureに基づくチェックポイント。JudgeBench／非公開novllmコーパスは評価専用で、このモデルの学習データではありません。

これはTypeSafe AIのJev重みを含むモデルではなく、Open Jevの再現実装を学習・変換したものです。