Hugging Face's logo

weblab-LLM-M
/
AscleLM-1-10B

Text Generation
Transformers
Safetensors
Japanese
English
ascle_lm
medical
japanese
nedo
mamba
conversational
custom_code
Model card Files
xet
 Community

AscleLM-1-10B へのアクセス申請 / Request access to AscleLM-1-10B

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

AscleLM-1-10B は、研究目的限定で配布される、日本語医療分野に特化した研究用の大規模言語モデルです。
本モデルの重みは別添の利用規約（LICENSE / Terms of Use。日本語版を正本とします）のもとで提供されます。
アクセスを申請する前に以下の各項目をよくお読みいただき、すべてに同意いただける場合のみ申請してください。

AscleLM-1-10B is a Japanese medical-specialized research LLM distributed under its own Terms of Use
(research-use only; the Japanese text is the authoritative version). Please read all of the items below
carefully and request access only if you agree to all of them.

同意事項 / Terms you must agree to

  1. 研究目的限定での利用 / Research-use only
    本モデルを研究目的のみで利用し、商用サービスの提供には利用しません。
    I will use this model for research purposes only, and will not use it to provide commercial services.

  2. 実臨床では使用しない / No direct clinical use
    実際の臨床現場における疾患の診断、治療方針の決定、健康への助言など、医療行為に直接利用しません。
    利用は医療専門家による適切な判断の補助となる情報提供にとどめます。また、患者等の個人情報や特定個人の
    診断対象となりうる情報を入力しません。
    I will not use the model directly for medical acts (diagnosis, treatment decisions, health advice) in real
    clinical settings, will limit use to assisting medical professionals' judgment, and will not input patients'
    personal information or information identifying specific individuals.

  3. 安全性・有効性が未検証であることの理解 / Acknowledgment that safety and efficacy are unverified
    本モデルは実臨床における安全性・有効性の検証が十分に行われていないことを理解しています。
    I understand that the safety and efficacy of this model have not been sufficiently verified in clinical practice.

  4. 無保証・免責の了承 / No warranty; limitation of liability
    本プログラムは現状有姿（as is）で提供され、開発者が正確性・完全性・最新性・品質等についていかなる保証も
    行わず、本モデルの利用または利用不能により生じた一切の損害について責任を負わないことに同意します。
    I agree that the Program is provided "as is," the developers provide no warranty, and are not liable for any
    damages arising from use or inability to use this model.

  5. 薬機法等の遵守 / Compliance with the Pharmaceuticals and Medical Devices Act (PMD Act)
    本モデルを用いて医療用途の製品を開発する場合、当該製品が医療機器プログラムとして薬機法の規制対象となりうる
    ことを理解し、必要に応じて PMDA に相談します。
    If I develop a product for medical use, I understand it may be regulated as medical device software under the PMD Act,
    and I will consult the PMDA as needed.

  6. base 段階の制限の理解 / Understanding of base-stage limitations
    本モデルが base（事前学習）段階であり、文末（EOD/EOS）トークン出力の不安定さや繰り返し出力等の既知の制限が
    あることを理解しています。
    I understand this is a base (pre-trained) model with known limitations such as unstable end-of-sequence (EOD/EOS)
    token output and repetition.

  7. 利用規約・ライセンスと帰属の遵守 / Terms of Use, license and attribution compliance
    本モデル（重み）の利用規約（LICENSE / Terms of Use）を遵守します。また、同梱されるトークナイザ（Qwen3 由来）
    およびモデルコード（NVIDIA Nemotron-H / Hugging Face Transformers の Mamba-2 実装由来）が Apache License 2.0 で
    あることを理解し、再配布・改変時には各由来元（Qwen Team / NVIDIA Corporation / HuggingFace Inc.）の著作権表示・
    ライセンス条項・NOTICE を保持します。
    I will comply with the Terms of Use for the weights, and will retain the copyright notices, license terms, and
    NOTICE of the bundled tokenizer (from Qwen3) and model code (from NVIDIA Nemotron-H / the Hugging Face Transformers
    Mamba-2 implementation; Qwen Team / NVIDIA Corporation / HuggingFace Inc.), all under Apache License 2.0, when
    redistributing or modifying those components.

  8. 再配布の禁止 / No redistribution
    本モデルおよびその改変物を再配布せず、本プログラムを用いた商用サービスの提供、再利用モデルの生成、
    学習データの再現・復元・推定を行いません。
    I will not redistribute the model or its modifications, and will not provide commercial services, generate reuse
    models, or attempt to reproduce/restore/infer the training data using it.

  9. 正確な情報の提供・法令遵守 / Accurate information and legal compliance
    本申請にあたり正確な情報を提供し、適用される法令および研究倫理指針を遵守して利用します。
    I will provide accurate information in this request and comply with all applicable laws and research ethics guidelines.

Log in or Sign Up to review the conditions and access this model content.

AscleLM-1-10B

AscleLM-1-10B

本プログラムは、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）「AIの安全性確保に関する研究開発・検証等の推進事業 / 日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」において開発された医療特化型大規模言語モデルです。

本モデルは、既存モデルへの追加学習（ファインチューニング）ではなく、事前学習・事後学習をゼロから独自に実施した、日本語医療分野に特化したフルスクラッチ学習モデルです。 なお、トークナイザは Qwen3、モデルコードは NVIDIA Nemotron-H（Hugging Face Transformers の Mamba-2 実装に由来）をベースとしています（詳細は「ライセンス」を参照）。

本モデルを実際の臨床現場における疾患の診断や臨床意思決定支援として直接利用することは推奨されません。 詳細は「利用にあたっての注意事項」をご確認ください。

モデルの概要

AscleLM-1 は、既存モデルへの追加学習（ファインチューニング）ではなく、事前学習から事後学習までをゼロから独自に実施した、日本語医療分野に特化したフルスクラッチ学習モデルです。トークナイザには Qwen3 のものを採用し、アーキテクチャは NVIDIA Nemotron-H を参考にした Mamba-2 Hybrid 構成（Mamba-2 状態空間モデル層と注意機構（Attention）層の組み合わせ）を、Hugging Face Transformers の Mamba-2 実装由来のモデルコードを改変して実装しています。これにより、長文の医療文書を効率的に処理します。

項目 内容
モデル名 AscleLM-1-10B
パラメータ数 10B（Dense）
アーキテクチャ Mamba-2 Hybrid（NVIDIA Nemotron-H / HF Transformers Mamba-2 をベースに改変）
トークナイザ Qwen3 ベース
学習方式 フルスクラッチ（事前学習・事後学習をゼロから実施）
言語 日本語・英語
開発者 東京大学大学院工学系研究科 松尾・岩澤研究室
事業名 NEDO「AIの安全性確保に関する研究開発・検証等の推進事業 / 日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」
本モデルライセンス 構成要素ごとに異なります（ライセンスを参照）

開発状況と既知の制限事項

本モデル（AscleLM-1-10B）は、現時点では base（事前学習）段階のモデルです。そのため、以下のような既知の制限事項があります。

  • 文末（EOD / EOS）トークンの出力が安定せず、同じ内容を繰り返し出力する（repetition） などの問題が見られることがあります。
  • これらは事前学習段階特有の挙動であり、今後の事後学習（SFT（教師ありファインチューニング）および強化学習（RL））により改善する予定です。

ご利用の際は、上記の挙動が生じうる点にご留意ください。

利用にあたっての注意事項

本モデルのご利用にあたっては、以下の点にご留意ください。

  • 本プログラムは、実臨床における安全性・有効性の検証が十分に行われていません。
  • 開発者は、本プログラムに関し、その正確性、完全性、最新性、および品質など、いかなる保証も行わず、利用者が本プログラムを利用したこと、利用できなかったことにより生じた一切の損害について責任を負いません。
  • 医療行為（診断、治療方針の決定、健康への助言など）に直接適用することは推奨されません。あくまで医療専門家による適切な判断の補助となる情報提供ツールとしての利用にとどめることを推奨します。
  • 本モデルを活用して具体的な医療用途の製品を開発される場合、その製品が医療機器プログラムとして薬機法の規制対象となる可能性があることにご留意ください。
  • 本モデルの利用には、別添の利用規約（LICENSE）（日本語正本：LICENSE_ja）への同意が必要です。再配布・商用利用は許諾していません。

モデルの特徴と性能

日本語医療分野の複数ベンチマークで評価を実施しました。AscleLM-1-10B はフルスクラッチかつ 10B という比較的小規模な構成ながら、安全性ベンチマーク（Do-Not-Answer / AnswerCarefully）で高いスコアを示します。

学習データ

事前学習では、Nemotron-CC v1（約6.3Tトークン）に、オープンソースの日本語・英語・中国語コーパスやコード・数学・推論データを組み合わせ、合計約8.5Tトークンを使用しました。さらに、独自に収集した医学論文・医学書籍・診療ガイドライン・試験問題などを由来とする合成データを用いて医療分野への特化を図り、フルスクラッチでの事前学習および事後学習を実施しています。

事前学習に利用した主なオープンソースコーパスは以下のとおりです。各データセットのライセンス条件に従ってご利用ください。

コーパス 配布元 ライセンス
Nemotron-CC v1.0 Common Crawl（arXiv:2412.02595） Common Crawl Terms of Use
peS2o allenai/peS2o Apache-2.0
StackExchange EleutherAI/stackexchange-dataset Stack Exchange / CC BY-SA
proof-pile-2 EleutherAI/proof-pile-2 各構成ソースのライセンスに従う
Swallow Code v2 tokyotech-llm/swallow-code-v2 Apache-2.0
MathCode-Pile MathGenie/MathCode-Pile Apache-2.0
MegaMath LLM360/MegaMath ODC-By 1.0
The-Stack-v2 bigcode/the-stack-v2-train-smol-ids Various（元ソースのライセンスに従う）
Japanese FineWeb-Edu hotchpotch/fineweb-2-edu-japanese ODC-By 1.0
Chinese FineWeb-Edu opencsg/chinese-fineweb-edu Apache-2.0
wiki_zn llm-jp-corpus-v4 CC BY-SA 3.0
OpenThoughts3-1.2M open-thoughts/OpenThoughts3-1.2M Apache-2.0
LLM-jp-warp-v4 llm-jp-corpus-v4 CC BY 4.0

基礎医療性能（AscleLM-1-10B）

医学知識（igaku_qa）、専門医試験（specialist_exam_test）、安全性（do-not-answer / answer-carefully）の各指標です。

ベンチマーク AscleLM-1-10B
igaku_qa 0.6035
specialist_exam_test 0.4145
do-not-answer 0.9095
answer-carefully 0.7500

基礎医療性能

English version: img/BasicMedicalPerformance_EN.png

推奨動作環境

ハードウェア

  • GPUメモリ: 約24GB（BF16精度）。RTX 3090 24GBで推論が必要
  • ※ transformersの動作確認はNVIDIA RTX 5090（32GB）× 1枚で実施しています。

Python

  • python>=3.12（transformersを使用する場合）

ライブラリ

  • torch>=2.12.0
  • transformers>=4.46.3
  • causal_conv1d==1.6.1
  • mamba_ssm==2.3.1
  • flash_attn==2.8.3

環境構築

注意: ハードウェアやソフトウェアのバージョンによって動作しない場合があります。動作保証はありません。

動作確認済み構成

項目 バージョン
GPU NVIDIA RTX 5090 32GB
PyTorch 2.12.0.dev20260401+cu129
CUDA 12.9
Python 3.12.8

セットアップ手順

# ---------- Python build dependencies ----------
pip install --no-cache-dir \
        packaging "setuptools>=78" setuptools-scm setuptools-rust \
        wheel cmake ninja scikit-build-core scikit-build \
        pybind11 cython meson meson-python flit-core hatchling hatch-vcs \
        pathspec pluggy trove-classifiers editables \
        build pyproject-hooks installer maturin pdm-backend pdm-pep517 \
        poetry-core enscons whey sip puccinialin
 
# ---------- PyTorch nightly (CUDA 12.9, with sm_120 support) ----------
pip install --no-cache-dir \
        "torch>=2.12.0" torchvision \
        --index-url https://download.pytorch.org/whl/nightly/cu129
 
# ---------- flash-attn 2.8.3 (build from source, ~20 min) ----------
# Note: If flash-attn 2.8.3 does not support sm_120, upgrade to the latest version.
pip install --no-cache-dir flash-attn==2.8.3 --no-build-isolation
 
# ---------- mamba-ssm 2.3.1 + causal-conv1d (build from source) ----------
pip install --no-cache-dir "setuptools>=78"
 
pip install --no-cache-dir --no-binary :all: --no-build-isolation \
        "mamba-ssm[causal-conv1d]==2.3.1"
 
# ---------- Transformers and related packages ----------
pip install --no-cache-dir \
        "transformers>=4.46.3" \
        accelerate datasets sentencepiece protobuf
 
# ---------- Verification ----------
python -c "\
import torch; print('torch:', torch.__version__, 'cuda:', torch.version.cuda); \
import mamba_ssm; print('mamba_ssm:', mamba_ssm.__version__)"

ダウンロード

hf_transfer を使用することで高速なダウンロードが可能です。

pip install hf_transfer
HF_HUB_ENABLE_HF_TRANSFER=1 hf download weblab-LLM-M/AscleLM-1-10B \
    --local-dir ./AscleLM-1-10B

注意: hf コマンドは huggingface_hub パッケージに含まれています。未インストールの場合は pip install huggingface_hub を実行してください。

transformersを使った推論

注意: 本モデルは Mamba-2 Hybrid アーキテクチャを採用しているため、対応バージョンの transformers と trust_remote_code=True が必要です。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "./AscleLM-1-10B"  # ダウンロード先のローカルパスを指定

tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
model.eval()

if tokenizer.pad_token_id is None:
    tokenizer.pad_token = tokenizer.eos_token

prompt = """あなたは医療の専門知識を持つアシスタントです。

ユーザー:
脳梗塞の急性期治療において、rt-PA静注療法の適応基準について説明してください。

アシスタント:
"""

model_inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=True,
).to(model.device)

with torch.inference_mode():
    output_ids = model.generate(
        **model_inputs,
        max_new_tokens=512,
        do_sample=False,
        temperature=None,
        top_p=None,
        repetition_penalty=1.05,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.pad_token_id,
    )

new_tokens = output_ids[0][model_inputs.input_ids.shape[-1]:]
response = tokenizer.decode(new_tokens, skip_special_tokens=True)

print(response)

ライセンス

本リポジトリは複数の構成要素から成り、構成要素ごとにライセンスが異なります。

構成要素 ライセンス 由来・備考
トークナイザ Apache License 2.0 Qwen3 のトークナイザに基づきます。Copyright (c) Alibaba Cloud / Qwen Team.
モデルコード（modeling code） Apache License 2.0 NVIDIA Nemotron-H の実装を改変して使用。Copyright (c) NVIDIA Corporation および HuggingFace Inc.（本ファイルは Hugging Face Transformers の Mamba-2 実装（modeling_mamba2.py）に由来）。改変箇所には変更を加えた旨を明示しています（Apache-2.0 第4条(b)）。
モデル重み（weights） 独自の利用規約（Terms of Use / 日本語正本） 研究目的限定での配布です。再配布および商用利用は許諾していません。
  • Apache License 2.0 のコンポーネント（トークナイザ・モデルコード）については、各由来元（Qwen Team / NVIDIA Corporation / HuggingFace Inc.）の著作権表示・ライセンス条項・NOTICE を保持し、改変ファイルには変更を加えた旨の表示を残しています（Apache-2.0 第4条(b)〜(d)）。Apache License 2.0 の全文は LICENSE.apache-2.0.txt に、帰属表示は NOTICE に同梱しています。
  • モデル重みは、別添の利用規約（LICENSE.txt / 日本語正本 LICENSE_ja.txt）に基づき、研究目的限定で配布します。再配布・商用利用・実臨床での利用は許諾していません。日本語版を正本とし、英語版は参考訳です。詳細は「利用にあたっての注意事項」および利用規約をご確認ください。

謝辞

本研究は、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）「AIの安全性確保に関する研究開発・検証等の推進事業 / 日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」の支援を受けて実施されました。

メンテナンス情報

  • リリース日: 2026年6月
  • バージョン: 1.0.0

お問い合わせ

contact-medllm@weblab.t.u-tokyo.ac.jp へご連絡ください

How to cite 

@article{Yu2026asclelm,
  title   = {AscleLM-1: A From-Scratch Japanese Medical-Specialized Language Model with a Mamba-2 Hybrid Architecture},
  author  = {Zhenxuan Yu},
  journal = {arXiv preprint arXiv:0000.00000},
  year    = {2026},
  note    = {Placeholder; paper forthcoming}
}
Downloads last month
2
Safetensors
Model size
10B params
Tensor type
F32
·
Inference Providers NEW
Text Generation
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Paper for weblab-LLM-M/AscleLM-1-10B