PowerMachine/khtst-rust

KHTST_RUST — Next-Concept Modeling em Rust/PyO3

Refatoração completa do projeto KHTST (PowerMachine/khtst-multimodal-ptbr) para Rust via PyO3, integrando o paradigma NCM (Next-Concept Modeling) com todas as provas matemáticas da coleção memoria-ncm-khtst, e dois aprimoramentos novos: ADBA (atenção adaptativa no processamento paralelo) e Ponte Duplex (comunicação bidirecional simultânea entre modelos).

O que é

• Tokenizador de conceitos (Estágio A): VQ-VAE residual multiscale com codebooks Stiefel/RCO e quantização GSQ (Gumbel-Softmax com gradiente exato) — contração geométrica (1−1/K) por nível (Teo A.1/D.4), nested dropout (prefixos anytime, Teo A.2).
• Gerador next-concept (Estágio B): fatoração p(c) = Π_ℓ p(c_ℓ|c_{<ℓ}) com predição paralela intra-nível — MLE exato sem ELBO (Teo B.1), NFE = L (7 ≪ 256; Teo B.2), corrupção de condicionamento como DRO (Teo C.3), MTP ⊂ NCM (Teo D.6), PCGrad (Teo D.7).
• Tronco híbrido 5:1: 5 camadas ADBA + 1 slot Mamba-3 SSD (scan diagonal com adjunto exato) — máscara block-causal com 0 vazamentos (Teo D.1, V4).
• Ponte Duplex: A↔B com canais limitados, rodadas com timeout — sem deadlock estrutural (Teo P.1), direções simultâneas medidas (P.2).
• Telemetria completa: séries JSONL, escore de aprendizado, ajuste automático auditado de LR/clip/ε/λ/τ, diagnóstico de erros comuns de refatoração (Levenshtein/taxonomia).

Instalação

pip install khtst_rust-*.whl   # wheel abi3 (Python ≥ 3.10, manylinux)
# ou do fonte: maturin build --release && pip install target/wheels/*.whl

Uso rápido

import khtst_rust as K

cfg = K.Config("configs/base_rust.json")          # valida + orçamento de cache
bpe = K.Bpe.treinar(textos, 16384)                # BPE byte-level próprio

# Fase A: tokenizador (nested dropout + GSQ/RCO Stiefel)
K.treinar_fase_a(cfg, sequencias, caminho_telemetria="tel_a.jsonl",
                 caminho_checkpoint="tokenizador.json", teto_seg=430)

# Fase B: gerador (MLE exato + κ + MTP + JEPA + PCGrad)
K.treinar_fase_b(cfg, sequencias, "tokenizador.json",
                 caminho_telemetria="tel_b.jsonl",
                 caminho_checkpoint="gerador.json", teto_seg=330)

# Geração paralela: NFE = L; parada anytime em qualquer prefixo
g = K.gerar_amostras(cfg, "tokenizador.json", "gerador.json", n_amostras=2)
assert g["nfe"] == 7  # = L

# Ponte duplex entre modelos
p = K.PonteDupla(capacidade=64, timeout_ms=2000)
est = p.demo_professor_aluno(rodadas=200, dim=24)

Estrutura

src/            19 módulos Rust (ver docs/memorias/r-02-arquitetura.md)
configs/        base_rust.json (espelho do base.json v23 + seção ncm)
scripts/        39_coletar_dados.py · 40_treinar.py · 41_teste.py · 42_publicar.py
docs/memorias/  r-01..r-07 (diagnóstico, arquitetura, rastreabilidade provas→código,
                prova ADBA, prova ponte duplex, telemetria, resultados)
resultados/     checkpoints, telemetria JSONL, suíte V, resumo de treino

Verificações

• 15/15 testes cargo (adjuntos validados contra diferenças finitas e implementação nativa)
• Suíte V: 7/7 bloqueadoras verdes (V0,V1,V4,V9,V10,V13,V14) + evidenciais
• Treino real (Wikipédia PT-BR, streaming controlado): fase A perda 9,89→8,11, δ_ort ≤ 9,9e-7 durante o treino, codebook 52/64 sem colapso; fase B CE 4,19→3,98; geração NFE=7, anytime k=3

Provas e teoria

Toda a fundamentação matemática (20 teoremas + 10 corolários da integração NCM×KHTST; Teos R.1–R.3 da ADBA; Teos P.1–P.3 da ponte duplex) está em docs/memorias/ com rastreabilidade teorema→código→verificação (r-03).

Convenções herdadas do projeto

Teoremas numerados com ∎ · nascimento neutro (opt-in) · leitura honesta (wall-clock como medido, ganhos não declaráveis por ΔCE curto) · tetos de arquivo/RAM · RNG dedicado para pareamento A/B · token HF apenas em variável de ambiente, apagado após uso.

Licença

Apache-2.0