README.md

metadata

language: ja
tags:
  - t5
  - text2text-generation
  - seq2seq
license: apache-2.0
datasets:
  - mc4
  - wiki40b

t5-base-japanese-web (with Byte-fallback)

Description

megagonlabs/t5-base-japanese-web is a T5 (Text-to-Text Transfer Transformer) model pre-trained on Japanese web texts.

Corpus

• Japanese in mC4/3.0.1
• Japanese in wiki40b/1.3.0

Tokeniser

SentencePiece trained on Japanese Wikipedia

• Vocabulary size: 32,000
• Byte-fallback: Enabled

Parameters

• T5 model: models/t5.1.1.base.gin
• Training steps: 1,000,000

Documents

• pretrain of T5 with TPU

Links

• Repositories
  • T5
  • mT5
• Related models
  • 日本語T5事前学習済みモデル (sonoisa/t5-base-japanese)
  • 日本語T5事前学習済みモデル (sonoisa/t5-base-japanese-mC4-Wikipedia)
• Articles
  • 第7回 T5 によるテキスト生成の検証 (2020年2月26日)
  • 第8回 続・T5 によるテキスト生成の検証 (2020年4月23日)
  • 第14回 Hugging Face Transformers で T5 を使ってみる (2021年4月22日)

License

Apache License 2.0