Misakachain/Qwen3.6-35B-A3B-PALW-runtime

MISAKA PALW Runtime for Qwen3.6-35B-A3B (Claude-4.7, abliterated)

What this is — please read first. This repository is a proof-of-compute runtime that runs an unmodified, upstream Qwen3.6-35B-A3B mixture-of-experts model as a local worker and commits a signed ComputeReceiptV1 of the execution. The specific worker is huihui_ai/Qwen3.6-abliterated:35b-Claude-4.7 (the abliterated Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus release). Earlier revisions of this runtime targeted dense Qwen3-8B; that dense profile has since been removed and Qwen3.6-35B-A3B is now the sole supported model.

• It is not a newly trained or fine-tuned language model. The runtime is a wrapper around the upstream model, not a distinct model.
• It does not contain or distribute model weights — the GGUF is fetched from the Ollama registry at a pinned blob digest and base metadata from the pinned Hugging Face revision (see config/runtime-pins.sh).
• The model is abliterated (its refusal behavior has been reduced upstream). This runtime makes no claim about the model's safety properties; it only attests that a pinned computation ran.
• It is not production-ready. Several protocol requirements (R13/R21/R23/R24/R26/R27/R32/R35) are still In progress and production Receipt issuance is intentionally fail-closed (see docs/requirements.md).
• A single self-attested Receipt is not a trustless or zero-knowledge proof of physical GPU execution; the design makes no TEE/ZK claims (see docs/security-model.md).

Licensed under Apache-2.0 — see LICENSE and NOTICE. Third-party attribution (Qwen3.6-35B-A3B, llama.cpp) is in NOTICE.

Qwen3.6-35B-A3B（MoE）をローカル計算ワーカーとして実行し、実行内容を ComputeReceiptV1 としてコミットするランタイムです。モデルの学習や fine-tuning は行わず、PALW のロジックはすべてランタイム側に置きます。この モデルは linear-attention（state-space / gated-delta-net）層と mixture-of-experts 層を組み合わせたハイブリッド構成のため、MoE/SSM 演算を忠実な canonical operationへ写像し (ExpertRoute/ExpertGemm/SsmConv/GatedDeltaNet 等)、CU は graph 非依存の semantic ルールセット v3 で commit し、各 GEMM を実 Metal kernel dispatch へ束縛します (compute-gate track M1-M5、全て実機検証済み)。

このリポジトリは次の三層を分離します。

1. runtime-palw/: Receipt、commitment、CU、schedule、検証、永続状態、 replica/audit/bond policy
2. vendor/llama.cpp/: commit を固定した Qwen 推論ランタイムと read-only graph observer
3. runtime-palw/cuda/: 実験的な CUDA V1/V2 trace transport（production 非発行）

固定する上流 artifact

Artifact	Upstream	Revision / variant
Base metadata	huihui-ai/Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated	ac18882735d037f6074a7630eb68d85db8234c25
Local model artifact	Ollama huihui_ai/Qwen3.6-abliterated:35b-Claude-4.7	blob 1dc494614bee…a671b, Q4_K_M
Runtime	ggml-org/llama.cpp	12127defda4f41b7679cb2477a4b0d65ee6a0c8f（PALW patch 適用）

Q4_K_M は Qwen 公式配布 artifact をそのまま使用します。量子化は runtime_class_id と manifest に含め、別の精度・量子化とは照合しません。

Quickstart — 自分のハードウェアで Qwen3.6 を測定する

誰でも自分の Apple Silicon Mac で pin された Qwen3.6-35B-A3B を実行し、署名済み Receipt を 発行して別 process で検証できます。現状サポートは Metal arm64(Apple Silicon)です。手順の正本は docs/runbook.md。前提: Apple Silicon Mac、約 24GB の unified memory 推奨、 約 30GB の空き、git/CMake/uv/rustup。

# 1. clean checkout から一括導入(llama.cpp @ pinned commit + PALW patch を build、
#    Ollama registry blob から Qwen3.6 GGUF(約24GB)+ base metadata を取得・照合)
./scripts/install.sh
./scripts/verify-install.sh          # 固定 artifact hash / commit / Metal offload を独立検証

# 2. audit key(exact 32 raw bytes)を output の外に一度だけ作成
AUDIT_KEY="$HOME/.config/misaka-palw/audit-keys/local-audit.key"
install -d -m 700 "$(dirname "$AUDIT_KEY")"; test ! -e "$AUDIT_KEY"
(umask 077 && openssl rand 32 > "$AUDIT_KEY"); chmod 600 "$AUDIT_KEY"

# 3. Receipt 発行(prompt は stdin。ここでは例として capital-of-France を 2 token 生成)
OUT="receipts/manual-$(date +%Y%m%d-%H%M%S)"
printf '%s' 'The capital of France is' | runtime-palw/target/release/palw-metal-receipt \
  --prompt-stdin --audit-key-file "$AUDIT_KEY" --output-dir "$OUT" --n-predict 2

# 4. 別 process で検証(status=local_restored / trust_scope=embedded_local_snapshot なら成功)
ID=$(basename "$OUT"/*.palw .palw)
runtime-palw/target/release/palw-verify-bundle \
  --receipt "$OUT/$ID.palw" --bundle "$OUT/$ID.palw.bundle" \
  --public-json "$OUT/$ID.json" --audit-key-file "$AUDIT_KEY" \
  --state-db "$OUT/palw-state.sqlite3"

発行される公開 metadata(<id>.json)には CU ルールセット v3 の canonical_compute_units、 semantic_schedule、実捕捉 expert_route、trace_evidence=metal_kernel(各 GEMM を実 Metal kernel dispatch へ束縛)、および mint(常に eligible=false、失格理由を自己申告)が含まれます。 job ID/nonce/salt/signing key は実行ごとに OS CSPRNG で生成されるため Receipt ID は証跡例と一致しません。 参照 receipt は receipts/final-v7/。この Receipt は mint-grade ではなく、 mainnet 報酬には外部インフラが別途必要です(下記「セキュリティ上の境界」)。

現在の状態

Rust core、Metal graph observer、署名済み Self Local Receipt、schema v4 SQLite replay/state registry、adversarial test suite は実装・実行済みです。対象モデルを dense Qwen3-8B から hybrid Qwen3.6-35B-A3B（huihui_ai/Qwen3.6-abliterated:35b-Claude-4.7）へ 移行し、Apple M1 Max（Metal、41/41 layer GPU offload）で実機ロード・推論・Receipt 発行・別 process 検証まで確認しています。

hybrid モデルは linear-attention（SSM / gated-delta-net）層と mixture-of-experts 層を 持つため、次を追加しました。

• pinned llama.cpp への qwen35moe loader/graph 互換修正（vendor/llama.cpp/src/models/qwen35moe.cpp、 PALW observer patch に同梱）。3-section mrope、ssm_dt naming、per-layer KV-head、 bundled vision/MTP tensor、per-layer attention reshape を扱う。
• Rust adapter の hybrid profile（AdapterProfile::HybridQwen36A3B）: dense 演算は正確な canonical operation へ忠実に写像する(MUL_MAT_ID→ExpertGemm、ARGSORT→ExpertRoute、 SSM_CONV→SsmConv、GATED_DELTA_NET→GatedDeltaNet、L2_NORM→L2Norm、SUM_ROWS→Reduction、 CONCAT/CONT/CPY→TensorCopy、UNARY/SCALE/DIV/CLAMP→Elementwise)。VIEW/RESHAPE/PERMUTE/ TRANSPOSE は layout-only、未列挙 op は fail-closed。**Generic 演算は廃止(M3)。**
• CU ルールセットは v3 semantic(ComputeUnitRules::v3): 観測 schedule は commitment-only とし、 canonical CU は pinned model 構造 + token 数から算出した graph 非依存の semantic 値を署名 commit。 dense Receipt は v1 のまま identity 不変。

Receipt 実装の詳細(observer JSONL v2、adapter 写像、CU 語彙、schedule、manifest、builder/verifier、 bundle、永続化、CLI 契約、実測値)は docs/receipt-implementation-qwen36.md を正本とします。

この Receipt は mint-grade ではありません。 assess_mint_eligibility(runtime-palw/src/mint.rs) が全 receipt を eligible=false, weight=0 と判定し、公開 JSON の mint ブロックに自己申告します。 用途はローカル自己整合 receipt / testnet 計測 / Self-Local 非報酬に限られます。compute-gate track (M1-M5、全て実機検証済み)で semantic CU v3 の canonical commitment・Generic 廃止・canonical semantic schedule 再生成・実 MoE routing 捕捉・各 GEMM の実 Metal kernel dispatch 束縛 (trace_evidence=metal_kernel、graph-fallback から昇格) を実装しました。ただし Metal の kernel-level trace は launch-geometry 束縛であり、CUDA V3 相当の intra-kernel accumulator proof ではないため mint 不適格のまま(honest labeling)。残る失格理由は「Metal kernel-launch-bound sketch, not an intra-kernel accumulator proof」/ 非 network-anchored / 非 bonded の 3 件。是正計画は docs/receipt-review-remediation.md を参照してください。

Apple M1 Max（macOS Metal）で hybrid モデルから生成した schema-v4 E2E artifact は receipts/final-v7/8e2dd34b7609d6d7aeec17bff485eb1ae4db31f66dd899a3c3a3e671656053f9.palw、 公開測定値は receipts/final-v7/8e2dd34b7609d6d7aeec17bff485eb1ae4db31f66dd899a3c3a3e671656053f9.json にあります。Receipt ID は 8e2dd34b…6053f9、verification bundle ID は f5b8a296…dcf9db、 CU ルールセットは v3 semantic（43a5feef…7870ce）、evidence_level=gemm_traced、 **trace_evidence=metal_kernel**。prompt 5 token + 2 生成 token の実行で observed schedule 13,770 件(commitment-only)・GEMM sketch 2,466 件(各々実 Metal kernel dispatch へ束縛)・ **canonical compute units 41,692(v3 semantic)**、semantic_schedule(80 expert-route ops)、 実捕捉した expert_route(240 record) を committ し、別 process の palw-verify-bundle が status=local_restored / trust_scope=embedded_local_snapshot で再検証しました。

dense Qwen3-8B の schema-v4 E2E artifact（Receipt ID eb51b08c…78131、bundle 359f1bed…096e9、receipts/final-v6/）と schema-v3 artifact（receipts/final-v5/）は、 移行前の検証証跡として履歴保持します。hybrid モデルの Receipt は実行ごとに OS CSPRNG で identity を生成するため ID は再現しません（docs/runbook.md の手順で生成・検証）。

現行 release CLI が発行する単位は、署名済み .palw、認証付き暗号化 .palw.bundle、検証対象の公開 JSON、schema v4 の SQLite state、最後に作成する misaka.palw.receipt-set.v2 completion marker の一式です。秘密 opening、署名済み request/assignment、検証用 registry snapshot は公開 JSON ではなく暗号化 bundle に封入します。 公開 metadata は strict misaka.palw.public-receipt.v2 で、unknown field を拒否し、保持する artifact/observer field を authenticated bundle と照合します。palw-verify-bundle がこの一式を 別 process で復元・再検証します。上記 final-v5 のDBは旧schema v3であり、当時の検証証跡として 保持します。schema v4 sourceはsilent migrationを行わず、旧DBをcurrent stateとしてopenしません。

repository-scope の設計・実装・evidence baseline はこの版で固定しますが、これは Production Network readiness の完了を意味しません。R13/R21/R23/R24/R26/R27/R35 の未達gateは内部統合と外部境界を docs/requirements.md で分離し、R32 は In progress です。以下の CUDA producer evidence は移行前 dense Qwen3-8B を対象とした legacy V2 CUDA track の測定記録で、現行 35B の main path（Metal、41/41 offload）とは別系統として保持します。Windows WSL2の Ubuntu 24.04、RTX 4060 Ti（sm_89）、CUDA Toolkit 13.3.1 / nvcc 13.3.73で、当時の固定 Qwen3-8B GGUFの37/37 layer CUDA offloadとbatch 1 graph observerの6/6同一diagnostic streamを確認しました。さらにstandaloneの producer-internal FP32 accumulator採取primitiveはsm_89 standalone device gate 7/7と20/20同一diagnostic fingerprintを通過しています。vendored llama.cppのQ4_K/Q6_K MMVQ full-K pre-epilogue hookも traced llama contextと同じCUDA backendへattachし、FA-off 1-token diagnostic E2Eで253 launch（Q4_K 216 / Q6_K 37）を取得します。さらにFA-off eager attentionのQK GEMM 36、softmax 36、PV GEMM 36を同じ request-local V3 producerへ統合し、合計361 recordを3回連続で完全取得して同一fingerprintとなること、 5 work classそれぞれの先頭拒否がfail closedになることを確認しました。

CUDAはadditive 184-byte V2 codec、strict Rust full-stream/dispatch/runtime binder、authority署名と runtime/job/schedule/integrationへbindする将来のReceipt V2 evidence candidateに加え、FA-off attentionの canonical 3-sublaunch groupingを持つ452-byte V3 schema/binderを実装しています。 ComputeReceiptV1にはこのprovenanceをcommitするfieldがないため、builderとverifierはCUDA KernelSketchをともにfail closedで拒否します。現行deterministic profileのFA-off eager attentionには V3 schema/binderに加え、実QK-score/softmax/value-aggregation work直後の同一stream collectorと typed graph associationをsourceへ統合しました。実機361-launch gate、exact mangled entry point、 runtime CUDA attributes、DSO/fatbin/cubin/section hashを結ぶrelease manifest、361-launchを厳密にbindする Receipt/RuntimeManifest/Request/Assignment V2、暗号化Bundle V2、原子的SQLite V2は実装・検証済みです。 ただしlive C++ smokeはdiagnostic callbackであり、authority提供のcanonical physical-layout IDから production署名Receiptを発行する経路ではありません。このため PALW_CUDA_TRACE_PRODUCTION_CAPABLE=0、PALW_CUDA_PRODUCER_VENDOR_RUNTIME_INTEGRATED=0、 PALW_CUDA_PRODUCER_RECEIPT_MAPPING_AVAILABLE=0、PALW_CUDA_PRODUCER_PRODUCTION_CAPABLE=0 のままproduction CUDA Receipt発行は拒否されます。 要件別の状態は同requirements matrixを正本とします。

Rust crate の宣言 MSRV は 1.85 です。protocol が要求する ML-DSA-87 stack（ml-dsa 0.1.1 → signature 3 / hybrid-array 0.4 / module-lattice / rand_core 0.10 / getrandom 0.4）が edition-2024 manifest を配布しており、Cargo 1.85 未満はそれを parse すらできません。以前宣言して いた 1.81 は --features ml-dsa のどのビルドでも充足不能でした（cargo +1.81.0 check は constant_time_eq 0.4.2 の manifest parse で即座に失敗します）。あわせて zeroize 1.8.1 / base64ct 1.7.3 を exact pin しています。MSRV、host sanitizer、手動 experimental NVIDIA gate は .github/workflows/palw-ci.yml にも定義しています。NVIDIA job は production approval や R32 completion を意味しません。

開発・検証コマンド

依存ツールとモデル取得用 Python 環境:

uv sync --frozen

固定 artifact、4つの llama.cpp target、Metal device を再検証:

./scripts/verify-install.sh

Rust 1.85 MSRV core gate と release CLI:

rustup toolchain install 1.85.0 --profile minimal --component rustfmt,clippy
cargo +1.85.0 fmt --manifest-path runtime-palw/Cargo.toml --all -- --check
cargo +1.85.0 clippy --manifest-path runtime-palw/Cargo.toml --locked --all-targets -- -D warnings
cargo +1.85.0 test --manifest-path runtime-palw/Cargo.toml --locked --all-targets
cargo +1.85.0 build --release --locked --manifest-path runtime-palw/Cargo.toml \
  --bin palw-metal-receipt --bin palw-verify-bundle

現行 MSRV test result は 224 passed、2 ignored（226 discovered）です。ignored 2件は pinned Qwen model と Metal observer を必要とする実モデル test で、release build と汚染した親環境を使った 手動 gate では 2/2 passed です。

実モデル Receipt の生成、SQLite 検査、CUDA host/device gate は docs/runbook.md に記載します。実測証跡は docs/evidence/metal-smoke-schema-v4-2026-07-15.md と docs/evidence/cuda-wsl-sm89-2026-07-15.md と docs/evidence/cuda-v3-mmvq-hook-sm89-2026-07-15.md と docs/evidence/cuda-v3-full-hook-sm89-2026-07-16.md を参照してください。旧 schema-v3 の証跡は docs/evidence/metal-smoke-2026-07-15.md に履歴として残します。

セキュリティ上の境界

Receipt は prompt、prompt token IDs、generated token IDs、出力 bytes、opening、private key、 owner salt を公開しません。Receipt CLI は --prompt-stdin、--audit-key-file、--output-dir をすべて必須とし、prompt は UTF-8・非空・最大 1 MiB に限定します。argv で prompt を受ける 互換入口はありません。Qwen adapter も prompt を tokenizer/native observer の argv に置かず 専用 stdin pipe で渡し、通常の Receipt 実行では decoded output bytes を IPC JSONL から省略します。

audit key は output directory の外に置く exact 32-byte raw key で、同一 owner、single-link の regular file、mode 0400 または 0600 を要求します。output directory は owner-only 0700、 bundle と DB は 0600、公開 .palw / JSON / marker は 0644 です。v2 marker は receipt ID、 bundle ID、公開 JSON の SHA-256 を結ぶ crash-completion signal ですが、秘密鍵付き MAC や network authority の署名ではありません。marker 単独を真正性や maturity の根拠にせず、必ず bundle verifier と trust policy を通します。

一方、単独ノードが発行する Receipt はそれだけでゼロ知識の計算証明になるものでは ありません。PALW の不正耐性は runtime/model digest、署名、k=2 replica、future audit、 canary、bond/slashing を組み合わせて成立します。Metal の graph fallback は CUDA kernel trace ではありません。詳細は docs/security-model.md を参照してください。

ローカル CLI が実行ごとに生成する scheduler/worker signing key、network ID、job ID は、この ローカル証跡を相互に bind するための値です。production network の登録済み scheduler、worker credential、beacon service、auditor、payment/escrow authority を表すものではありません。 replication/future auditに加え、scheduler-signed durable canary、authority-signed bond funding/appeal/ decision、assignment lock/release/slash/health、authority-confirmed External settlementのschema-v4 coreは 統合されています。maturityは必要なassignment bondをrelease/linkし、WorkTicketV2はmaturity basisと External weight grantをbindします。External settlementはterminal confirmation、両bond release、maturity、 ticketをlocal SQLite transactionでatomicにしますが、実payment railの資金移動そのものとのdistributed atomicityは主張しません。これらを運用するproduction authority/governance/payment serviceはrepositoryの 完了範囲外です。

Work Ticket の maturity は caller が raw flag で登録できません。field/constructor が非公開の MatureEvidence を Self Local audit の Mature state、Self Replicated の typed k=2 pair、または authority-confirmed External settlement だけが生成し、SQLite はその証拠、maturity_basis_id、 mature_epoch、必要なbond release linkを検査してから一回だけWorkTicketV2へ消費します。