바뀐 모델에 맞춰 README 수정
Browse files
README.md
CHANGED
@@ -11,17 +11,14 @@ license: cc-by-nc-sa-4.0
|
|
11 |
|
12 |
## 사용예시
|
13 |
```
|
14 |
-
|
15 |
-
model = AutoModelForCausalLM.from_pretrained("heegyu/kodialogpt-v1")
|
16 |
-
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
|
17 |
generation_args = dict(
|
18 |
-
|
19 |
-
repetition_penalty=2.0,
|
20 |
no_repeat_ngram_size=4,
|
21 |
eos_token_id=375, # \n
|
22 |
-
max_new_tokens=
|
23 |
do_sample=True,
|
24 |
-
|
25 |
early_stopping=True
|
26 |
)
|
27 |
generator(
|
@@ -32,11 +29,10 @@ generator(
|
|
32 |
)
|
33 |
```
|
34 |
결과
|
35 |
-
- eos_token_id를 '\n'으로 해줘서 짤려야하는데 generation된거 보니 안짤리네요... 이유가 뭘지 ㅠ
|
36 |
```
|
37 |
-
[[{'generated_text': '0 : **는 게임 좋아하니\n1 :
|
38 |
-
[{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 :
|
39 |
-
[{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 :
|
40 |
```
|
41 |
|
42 |
학습에 사용한 하이퍼파라미터
|
|
|
11 |
|
12 |
## 사용예시
|
13 |
```
|
14 |
+
generator = pipeline("text-generation", model="heegyu/kodialogpt-v1")
|
|
|
|
|
15 |
generation_args = dict(
|
16 |
+
repetition_penalty=1.3,
|
|
|
17 |
no_repeat_ngram_size=4,
|
18 |
eos_token_id=375, # \n
|
19 |
+
max_new_tokens=32,
|
20 |
do_sample=True,
|
21 |
+
top_p=0.7,
|
22 |
early_stopping=True
|
23 |
)
|
24 |
generator(
|
|
|
29 |
)
|
30 |
```
|
31 |
결과
|
|
|
32 |
```
|
33 |
+
[[{'generated_text': '0 : **는 게임 좋아하니\n1 : 엉... 게임은 맨날 하는데 내일도 하겠지...? ᄏᄏ'}],
|
34 |
+
[{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 : 와 대박이네... 그게 가능하다니.. 얼마나 무섭고 놀라울까..'}],
|
35 |
+
[{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : ᄏᄏ뭐가? 누가?'}]]
|
36 |
```
|
37 |
|
38 |
학습에 사용한 하이퍼파라미터
|