tapiocaTakeshi/Qubit-7B-ja-training

Qubit 7B 日本語学習（作業用・非公開）

元モデル: tapiocaTakeshi/Qubit の 7b/（NeuroQuantum / QBNN、7,046,668,352 パラメータ）。アーキテクチャは変更していません（FSDPの制約により学習中のみ lambda_base を shape [1] で保持し、保存時にスカラーへ戻します）。

保存先

• コード: このリポジトリ code/（prep_data.py, train_qubit7b.py）
• データ・トークナイザー・チェックポイント: 非公開バケット hf://buckets/tapiocaTakeshi/qubit-7b-ckpt
  • data/ 前処理済みSFTデータ（train/eval分離）、pretrain_val.jsonl（FineWeb2 test split）、qubit7b_ja_spm32k.model（新規32k SentencePiece）、prep_stats.json
  • run_v1/pretrain/, run_v1/sft/ それぞれ step_XXXXXXX/（再開用: FSDPシャード+Optimizer+Scheduler+データ位置）、best/・final/（bf16 safetensors + config + tokenizer + modeling）、metrics.jsonl
• 元の tapiocaTakeshi/Qubit は変更していません。

学習設定（run_v1, a100x4）

• Stage 1: FineWeb2-edu-ja（default, ストリーミング, 重複・短文・非日本語・反復の除去）CLM 1,600 step × 131,072 tok ≈ 2.1億トークン, lr 3e-4 cosine
• Stage 2: SFT（assistant部分のみloss）shisa-v2 + dolly-ja / wizardlm8x22b-ja（コード・論理・数学）/ alpaca_jp_math（Python実行で検証済み）2,030 step ≈ 2.7億トークン, lr 1e-4
• 会話形式: <s><|user|>\n…<|end|>\n<|assistant|>\n…<|end|></s>

読み込み例

import json, torch, sys
from safetensors.torch import load_file
sys.path.insert(0, "final")
from modeling_qubit_7b import NeuroQuantum, NeuroQuantumConfig
cfg = json.load(open("final/config.json"))
keys = NeuroQuantumConfig.__init__.__code__.co_varnames
m = NeuroQuantum(NeuroQuantumConfig(**{k: v for k, v in cfg.items() if k in keys}))
m.load_state_dict({k: v.float() for k, v in load_file("final/model.safetensors").items()}, strict=False)

再開は同じGPU数（4）で --resume を付けて実行します。