|
--- |
|
license: apache-2.0 |
|
language: |
|
- ja |
|
--- |
|
|
|
## モデル概要 |
|
AWSのtrn1インスタンスを用いて開発した大喜利言語モデルです。 |
|
事前学習後に大喜利データでFine-tuningしています。 |
|
|
|
* Architecture: GPT2 |
|
* Vocab size: 44880 |
|
* Model size: 6B params |
|
* License: [Apache License 2.0](https://www.apache.org/licenses/LICENSE-2.0) |
|
* Library: [aws-neuron-reference-for-megatron-lm](https://github.com/aws-neuron/aws-neuron-reference-for-megatron-lm) |
|
|
|
## 学習データ |
|
以下のコーパスを使用して、事前学習を行いました。その際のトークン数は477億トークンでした。 |
|
* [C4](https://huggingface.co/datasets/mc4)の日本語データ |
|
* [CC-100](https://huggingface.co/datasets/cc100)の日本語データ |
|
* [OSCAR](https://huggingface.co/datasets/oscar)の日本語データ |
|
* [Wikipedia](https://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4%E3%83%B3%E3%83%9A%E3%83%BC%E3%82%B8)の日本語ダンプデータ |
|
* 自社データ |
|
|
|
Fine-tuningは、693万件の大喜利データを用いて行いました。 |
|
|
|
## 使用方法 |
|
```python |
|
import torch |
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
|
|
model_name = "watashiha/watashiha-gpt-6b" |
|
tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False) |
|
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16) |
|
|
|
if torch.cuda.is_available(): |
|
model = model.to("cuda") |
|
|
|
text = "お題:ホラー映画の「○○○から逃げろ！」<SEP>回答:" |
|
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device) |
|
|
|
output_ids = model.generate( |
|
token_ids, |
|
do_sample=True, |
|
max_new_tokens=32, |
|
top_p=0.9, |
|
top_k=50, |
|
pad_token_id=tokenizer.pad_token_id, |
|
eos_token_id=tokenizer.eos_token_id, |
|
) |
|
output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True) |
|
print(output) |
|
"""お題:ホラー映画の「○○○から逃げろ！」<SEP>回答:怖いもの知らずの大学生""" |
|
``` |
|
|
|
## 性能比較 |
|
以下は各モデルを同様の条件でFine-tuningし、出力させたボケをケータイ大喜利レジェンドに4段階で評価してもらった結果です。 |
|
|
|
圏外:お題を日本語として理解できていない |
|
1本:お題を理解はできているがボケとして成立していない（面白みがない） |
|
2本:ボケとして成立している（面白みがある） |
|
3本:面白い（一定以上の面白さがある） |
|
|
|
| | 圏外 | 1本 | 2本 | 3本 | |
|
|--------------|------|-----|-----|-----| |
|
| watashiha-gpt-6b | 77 | 204 | 175 | 44 | |
|
|[rinna/japanese-gpt-neox-3.6b](https://huggingface.co/rinna/japanese-gpt-neox-3.6b) | 88 | 194 | 185 | 30 | |
|
| [stabilityai/japanese-stablelm-base-alpha-7b](https://huggingface.co/stabilityai/japanese-stablelm-base-alpha-7b) | 96 | 164 | 196 | 43 | |
|
| [elyza/ELYZA-japanese-Llama-2-7b-fast](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b-fast) | 75 | 197 | 198 | 25 | |
|
|
|
## 開発者 |
|
- 内田 達弥 (UCHIDA, Tatsuya) |
|
- 小橋 洋平 (KOBASHI, Yohei) |
|
- 黒木 修弥 (KUROKI, Shuya) |
|
- 久保田 光 (KUBOTA, Hikaru) |
|
- 竹之内 大輔 (TAKENOUCHI, Daisuke) |
|
|
