Commit
•
862c835
1
Parent(s):
ae41a95
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,48 @@
|
|
1 |
---
|
2 |
-
license:
|
|
|
|
|
|
|
3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
+
license: apache-2.0
|
3 |
+
language:
|
4 |
+
- zh
|
5 |
+
library_name: transformers
|
6 |
---
|
7 |
+
|
8 |
+
|
9 |
+
|
10 |
+
# infer code
|
11 |
+
|
12 |
+
```python
|
13 |
+
|
14 |
+
from transformers import GPT2Tokenizer, GPT2LMHeadModel, AutoTokenizer
|
15 |
+
|
16 |
+
model_name_or_path = "yuanzhoulvpi/gpt2_chinese"#"checkpoint-36000"
|
17 |
+
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
|
18 |
+
|
19 |
+
# add the EOS token as PAD token to avoid warnings
|
20 |
+
model = GPT2LMHeadModel.from_pretrained(model_name_or_path, pad_token_id=tokenizer.eos_token_id)
|
21 |
+
```
|
22 |
+
|
23 |
+
|
24 |
+
```python
|
25 |
+
txt = """\
|
26 |
+
你是谁
|
27 |
+
"""
|
28 |
+
# encode context the generation is conditioned on
|
29 |
+
input_ids = tokenizer.encode(txt, return_tensors='pt')
|
30 |
+
# set no_repeat_ngram_size to 2
|
31 |
+
beam_output = model.generate(
|
32 |
+
input_ids,
|
33 |
+
max_length=200,
|
34 |
+
num_beams=5,
|
35 |
+
no_repeat_ngram_size=2,
|
36 |
+
early_stopping=True
|
37 |
+
)
|
38 |
+
|
39 |
+
print("Output:\n" + 100 * '-')
|
40 |
+
print(tokenizer.decode(beam_output[0], skip_special_tokens=True))
|
41 |
+
|
42 |
+
```
|
43 |
+
|
44 |
+
```bash
|
45 |
+
Output:
|
46 |
+
----------------------------------------------------------------------------------------------------
|
47 |
+
你 是 谁?, 简 单 的 描 述 是, 答 案 是 你 好 , 我 叫 , 是 一 名 美 籍 华 裔 女 演 员 , 出 生 于 美 国 加 利 福 尼 亚 州 的 一 个 犹 太 人 家 庭 。 她 的 父 母 都 是 工 程 师 , 母 亲 是 医 生 , 父 亲 则 是 律 师 。 是 加 州 大 学 伯 克 利 分 校 的 教 授 , 也 是 的 创 始 人 之 一 , 曾 在 《 纽 约 时 报 》 上 发 表 过 一 篇 文 章 , 引 起 了 广 泛 的 关 注 。 文 中 写 道 : 我 从 小 就 喜 欢 音 乐 , 并 且 在 学 校 里 学 到 了 很 多 乐 理 知 识 , 但 是 我 并 不 知 道 自 己 到 底 想 要 什 么 , 因 为 我 觉 得 这 个 世 界 上 没 有 任 何 东 西 可 以 比 得 上 它 。
|
48 |
+
```
|