File size: 2,474 Bytes
5fd05f2 9f0afec f9faa84 9f0afec f9faa84 97a67a5 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 |
---
language: ja
tags:
- ja
- japanese
- gpt2
- text-generation
- lm
- nlp
license: mit
datasets:
- wikipedia
- cc100
---
# 日本語 gpt2 蒸留モデル
このモデルは[rinna/japanese-gpt2-meduim](https://huggingface.co/rinna/japanese-gpt2-medium)を教師として蒸留したものです。
蒸留には、HuggigFace Transformersの[コード](https://github.com/huggingface/transformers/tree/main/examples/research_projects/distillation)をベースとし、[りんなの訓練コード](https://github.com/rinnakk/japanese-pretrained-models)と組み合わせてデータ扱うよう改造したものを使っています。
訓練用コード: https://github.com/knok/japanese-pretrained-models
## 学習に関して
学習に当たり、Google Startup Programにて提供されたクレジットを用いました。
a2-highgpu-4インスタンス(A100 x 4)を使って4か月程度、何度かのresumeを挟んで訓練させました。
## 精度について
Wikipediaをコーパスとし、perplexity 40 程度となります。
rinna/japanese-gpt2-meduim を直接使った場合、27 程度なので、そこまで及びません。
何度か複数のパラメータで訓練の再開を試みたものの、かえって損失が上昇してしまう状態となってしまったので、現状のものを公開しています。
## トークナイザについて
トークナイザは rinna/japanese-gpt2-meduim を使ってください。
# Japanese GPT-2 model
This model is a dillated model from [rinna/japanese-gpt2-medium](https://huggingface.co/rinna/japanese-gpt2-medium).
To train, I combined HuggingFace Transformers [code](https://github.com/huggingface/transformers/tree/main/examples/research_projects/distillation) and [rinna gpt2 train code](https://github.com/rinnakk/japanese-pretrained-models).
The code is available at: https://github.com/knok/japanese-pretrained-models
## training environment
To train, I used GCP credit offered by Google Startup Progam.
Using a2-highgpu-4 instance (A100 x4), it takes about 4 months with some stopping and resume training.
## perplexity
The model gets about 40 perplexity with Wikipedia corpus.
The teacher model rinna/japanese-gpt2-meduim gets about 27 perplexity, so the student model is worse.
## tokenizer
The repository don't have tokenizer, so you shoud use rinna/japanese-gpt2-medium.
# LICENSE
MIT (same as rinna/japanese-gpt2-medium)
|