yubikirigenman/y-ai-v3

Y-AI v3

日本語対話AI モデル（351Mパラメータ、GPT-2ベースアーキテクチャ）

モデル概要

パラメータ	値
パラメータ数	351M
埋め込み次元	1,280
レイヤー数	16
アテンションヘッド	20
コンテキスト長	768 トークン
語彙サイズ	28,000

トレーニング

• Phase 1: Wikipedia事前学習（60,000ステップ）
• Phase 2: 対話ファインチューニング（10,000ステップ）
• 最終Loss: ~1.73

使用方法

インストール

pip install torch tokenizers huggingface-hub

推論コード

import torch
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
import torch.nn as nn

# モデルとトークナイザーをダウンロード
model_path = hf_hub_download(repo_id="yubikirigenman/y-ai-v3", filename="pytorch_model.bin")
tokenizer_path = hf_hub_download(repo_id="yubikirigenman/y-ai-v3", filename="tokenizer.json")
modeling_path = hf_hub_download(repo_id="yubikirigenman/y-ai-v3", filename="modeling_yai.py")

# モデルクラスをインポート
import importlib.util
spec = importlib.util.spec_from_file_location("modeling_yai", modeling_path)
modeling_yai = importlib.util.module_from_spec(spec)
spec.loader.exec_module(modeling_yai)

# デバイス設定
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# モデルをロード
model = modeling_yai.TransformerV3(
    vocab_size=28000,
    n_embd=1280,
    n_layer=16,
    n_head=20,
    block_size=768,
    dropout=0.0
).to(device)

state = torch.load(model_path, map_location=device)
model.load_state_dict(state)
model.eval()

# トークナイザーをロード
tokenizer = Tokenizer.from_file(tokenizer_path)

# 推論
prompt = "こんにちは"
response = modeling_yai.generate(model, tokenizer, prompt, device)
print(response)

ライセンス

MIT License

作者

yubikirigenman