WariHima/hourai2.5-90m-base-ja

蓬莱2.5 90m base ja (v1)

説明

以下の目標に沿って設計されたモデルです。

• 総パラメータ数90mパラメータ
• 次元数1024
• 日本語のみの語彙でかつ、マルチリンガルモデルのような巨大な語彙を持たない
• チャット形式への対応
  チャット形式はqwen3の物を採用しています。

基本的な語彙、サイズはhourai2 90m baseを継承しています。
100m以下のslmを使用した小タスクモデル、特にgpt2などの物のチャット形式に対応したslmへの交換および、
1b以下のチャットボット専用slmの置換を目的に作成されました。

---

architecture:

• qwen3next

tokenizer from ku-nlp/gpt2-small-japanese-char

tarined by:

• rtx3060 * 2h
  training code in ./training_codes

dataset:

• OmniAICreator/Japanese-Wikipedia-202506
  use 60k rows 1 epoch