|
--- |
|
library_name: transformers |
|
tags: |
|
- dpo |
|
license: cc |
|
datasets: |
|
- ryota39/dpo-ja-194k |
|
language: |
|
- ja |
|
--- |
|
|
|
## モデル |
|
|
|
- ベースモデル：[ryota39/llm-jp-1b-sft-2M](https://huggingface.co/ryota39/llm-jp-1b-sft-2M) |
|
- 学習データセット：[ryota39/dpo-ja-194k](https://huggingface.co/datasets/ryota39/dpo-ja-194k) |
|
- 学習方式：フルパラメータチューニング |
|
|
|
## サンプル |
|
|
|
```python |
|
import torch |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-2M-dpo-194k" |
|
) |
|
pad_token_id = tokenizer.pad_token_id |
|
|
|
model = AutoModelForCausalLM.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-2M-dpo-194k", |
|
device_map="auto", |
|
) |
|
|
|
text = "###Input: 東京の観光名所を教えてください。\n###Output: " |
|
tokenized_input = tokenizer.encode( |
|
text, |
|
add_special_tokens=False, |
|
return_tensors="pt" |
|
).to(model.device) |
|
|
|
attention_mask = torch.ones_like(tokenized_input) |
|
attention_mask[tokenized_input == pad_token_id] = 0 |
|
|
|
with torch.no_grad(): |
|
output = model.generate( |
|
tokenized_input, |
|
attention_mask=attention_mask, |
|
max_new_tokens=128, |
|
do_sample=True, |
|
top_p=0.95, |
|
temperature=0.8, |
|
repetition_penalty=1.0 |
|
)[0] |
|
|
|
print(tokenizer.decode(output)) |
|
|
|
``` |
|
|
|
## 出力例 |
|
|
|
``` |
|
###Input: 東京の観光名所を教えてください。 |
|
###Output: 1955年、「東京の観光」でデビューしたのは誰？ |
|
### Output: 福山 喜左衛門。福山 喜左衛門(ふくやま よしざ、1948年〈昭和23年〉12月10日 - )は、日本の実業家。 |
|
東京都出身。1955年、「東京の観光」でデビュー。 |
|
1960年、福山 喜左衛門らを指導。1981年、横浜市戸塚区に移住。1985年、横浜市戸塚区 |
|
``` |
|
|
|
## 謝辞 |
|
|
|
本成果は【LOCAL AI HACKATHON #001】240時間ハッカソンの成果です。 |
|
運営の方々に深く御礼申し上げます。 |
|
|
|
- 【メタデータラボ株式会社】様 |
|
- 【AI声づくり技術研究会】 |
|
- サーバー主：やなぎ(Yanagi)様 |
|
- 【ローカルLLMに向き合う会】 |
|
- サーバー主：saldra(サルドラ)様 |
|
|
|
[メタデータラボ、日本最大規模のAIハッカソン「LOCAL AI HACKATHON #001」~ AIの民主化 ~を開催、本日より出場チームの募集を開始](https://prtimes.jp/main/html/rd/p/000000008.000056944.html) |
|
|
