AIhomeJP/home1.1-base

home1.1 (Recursive-15M)

AIhomeJP/home1.1 は、1つのTransformerブロックを12回再帰させることで、15.4Mという極小パラメーター数ながら高い計算効率を目指した実験的モデルです。

クイックスタート

このモデルはカスタムアーキテクチャを使用しているため、trust_remote_code=True が必須です。また、現在の実装では attention_mask を forward で受け取らないため、推論時にはこれを除去する必要があります。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "AIhomeJP/home1.1-base"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)

# 互換性のための注入
model.config.num_hidden_layers = 1
model.to("cuda" if torch.cuda.is_available() else "cpu")

prompt = "<|user|>hello！<|end|><|assistant|>"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 重要: attention_maskを除去し、use_cache=Falseを指定
if "attention_mask" in inputs: del inputs["attention_mask"]

outputs = model.generate(**inputs, max_new_tokens=100, use_cache=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

技術仕様

• 再帰構造: 1ブロック × 12層再帰
• パラメーター数: 約15.4M (Factorized Embedding採用)
• 学習カリキュラム: FineWeb(English)で開始し、EMA Lossが閾値(3.2)を下回った段階で多言語(FineWeb2)を混合。

ライセンス

本モデルは [Apache 2.0] ライセンスの下で公開されます。利用データセット（FineWeb, FineWeb2, Aya, HelpSteer3）の利用規約に従ってください。