Instructions to use hmwri/mlab-LLM-300M-Base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use hmwri/mlab-LLM-300M-Base with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="hmwri/mlab-LLM-300M-Base")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("hmwri/mlab-LLM-300M-Base")
model = AutoModelForCausalLM.from_pretrained("hmwri/mlab-LLM-300M-Base", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use hmwri/mlab-LLM-300M-Base with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "hmwri/mlab-LLM-300M-Base"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "hmwri/mlab-LLM-300M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/hmwri/mlab-LLM-300M-Base

SGLang

How to use hmwri/mlab-LLM-300M-Base with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "hmwri/mlab-LLM-300M-Base" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "hmwri/mlab-LLM-300M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "hmwri/mlab-LLM-300M-Base" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "hmwri/mlab-LLM-300M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use hmwri/mlab-LLM-300M-Base with Docker Model Runner:
```
docker model run hf.co/hmwri/mlab-LLM-300M-Base
```

mlab-LLM 300M Base

日本語コーパスからscratchで事前学習した、299,157,376パラメータのDenseモデルです。通常のTransformersで読み込める、量子化していないBF16の全モデル重みを配布します。既存のLlama重みを追加学習したものではなく、Llama互換構造をランダム初期化して学習しました。

Model Overview

項目	内容
公開者	hmwri
モデル種別	日本語・自己回帰言語モデル、Dense、Base
学習段階	事前学習のみ。Instruction tuningなし
主な用途	文章補完、追加学習の初期重み
パラメータ / 精度	299M / BF16、非量子化
入力形式	プレーンテキスト。chat templateなし
コンテキスト	入出力合計4,096 tokens
配布形式	Transformers / safetensors、独自コード不要
ライセンス	未指定。下記License参照

Architecture · Training · Evaluation · Quickstart · Limitations · License

Intended Use

次token予測によって日本語の表現を学ぶためのBaseモデルです。文章補完や追加学習の出発点として使用してください。 Instruction SFT・対象領域SFT・MoE化はいずれもこの配布重みには施していません。質問への回答やsystem指示への追従を学習したチャットモデルではなく、chat templateも付属しません。

Architecture

項目	設定
実装	Transformers `LlamaForCausalLM`、decoder-only
パラメータ数	299,157,376
層数 / hidden幅	28 / 896
Attention	causal GQA、query 14 heads / KV 7 heads、head幅64
FFN	SwiGLU、intermediate幅2,688、各層1個
正規化	pre-RMSNorm、epsilon `1e-5`
位置表現	RoPE、theta `10000`、scalingなし
語彙数	32,768
Embedding	入力embeddingと出力LM headを共有
系列長	4,096 tokens
重み	BF16、safetensors、約598 MB

token IDs -> embedding
  -> 28 x [RMSNorm -> causal GQA -> residual add
           RMSNorm -> SwiGLU FFN -> residual add]
  -> final RMSNorm -> shared LM head -> next-token logits

Tokenizerは独自に学習したSentencePiece Unigramで、nmt_nfkc正規化とbyte fallbackを使用しています。付属のtokenizerを使用してください。

Training

データ: FineWeb2 Edu Japaneseのsample_10BT。
準備済みデータ: train 10,641,569,176 tokens、validation 6,155,393 tokens。
学習: 162,378 optimizer steps、65,536 tokens/step、計10,641,604,608処理tokens。データ量と処理token数は、固定長block化とbatch単位の学習のため完全には一致しません。
系列長4,096、microbatch 4、gradient accumulation 4。
BF16、SDPA、gradient checkpointing、AdamW。
学習率 3e-4、warmup 1,624 steps、最終学習率 3e-5。 Warmup後はcosine decay。
Weight decay 0.1、gradient clipping 1.0、seed 20260816。
学習記録の環境: NVIDIA GeForce RTX 4090、PyTorch 2.12.1+cu130。
配布元: 事前学習最終checkpoint、step 162378。

最終checkpointを配布しており、特定ベンチマークで最良と選定したモデルではありません。このカードでは標準ベンチマークの成績や事実正答率を報告していません。

Evaluation

対象	指標	値	範囲
学習中のstep 162200	Validation cross-entropy	3.281701	保留した同コーパスから抽出した固定seedのbatch
公開したstep 162378	標準ベンチマーク	未評価	正答率を報告できる測定は行っていない

Validationは系列長4,096・batch size 4・16 batchesで計算したbatch lossの平均です。 Validation全体を網羅する評価ではなく、公開checkpointそのもののlossでもありません。この数値を他モデルのベンチマーク成績や、別tokenizerで計算したlossと直接比較しないでください。配布前の読み込み・短い生成テストは動作確認であり、性能評価とは区別しています。

Quickstart

学習時のTransformersは5.15.0です。以下はCUDAとBF16対応GPUを前提とした利用例です。入力と生成の合計を4,096 tokens以内に収めてください。対応するPyTorchをインストールした環境で、次の依存関係を使用します。

pip install "transformers==5.15.0" huggingface_hub safetensors

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "hmwri/mlab-LLM-300M-Base"
revision = "6fbc814070667b7ed1ca87b1655cc233b80f69a0"
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = AutoModelForCausalLM.from_pretrained(
    repo, revision=revision, dtype=torch.bfloat16, attn_implementation="sdpa",
).to("cuda").eval()
inputs = tokenizer("人工知能とは、", return_tensors="pt").to(model.device)
with torch.inference_mode():
    output = model.generate(
        **inputs, max_new_tokens=96, do_sample=False, use_cache=True,
        pad_token_id=tokenizer.pad_token_id,
    )
print(tokenizer.decode(output[0], skip_special_tokens=True))

これは利用コードであり、出力の正確性を保証する例ではありません。実行時のメモリには重みに加えてKV cacheや中間テンソルなどが必要です。

Model Family

BaseのONNX版: ブラウザ・WebGPU向けの量子化形式。
MoE SFTモデル: DenseでのInstruction・対象領域SFTを経て、FFNを4 experts / top-2へ拡張し追加学習した別モデル。

Limitations

反復、不自然な文章、事実と異なる内容、不適切な内容を生成する可能性があります。
指示追従、安全性、事実性、重要な判断に利用できる品質は保証しません。
Web検索や情報更新の機能はありません。
学習データ由来の偏りや、原文の一部の再現が起きる可能性があります。体系的な安全性・暗記・個人情報漏えいの評価は行っていません。

Release and Reproducibility

重み・設定・tokenizerだけを配布し、optimizer・学習状態・元コーパスは含めません。
推論用に設定のuse_cacheをtrueへ変更しました。モデル重みは最終checkpointから変更していません。
推論コードは公開revisionに固定しています。重みのSHA-256は93c2cfcde430cae509e3c9482d08bb1a027649f777018c99e9601bcd8dc7fc1fです。
本リポジトリだけでは、元データの準備から学習までを完全には再現できません。

License

モデルの利用ライセンスは未指定です。公開されていることだけをもって、無制限の再利用や商用利用を許諾するものではありません。
元データには独自の利用条件があります。包括的な権利確認を済ませたという主張はしていません。

Contact

動作不良の報告はCommunityへお願いします。再現時のrevision、ライブラリのバージョン、生成設定を添え、機密情報や個人情報は投稿しないでください。

Downloads last month: 168

Safetensors

Model size

0.3B params

Tensor type

BF16

hmwri
/

mlab-LLM-300M-Base