heegyu commited on
Commit
9ad5dfa
1 Parent(s): 2f73cea

바뀐 모델에 맞춰 README 수정

Browse files
Files changed (1) hide show
  1. README.md +7 -11
README.md CHANGED
@@ -11,17 +11,14 @@ license: cc-by-nc-sa-4.0
11
 
12
  ## 사용예시
13
  ```
14
- tokenizer = AutoTokenizer.from_pretrained("heegyu/kodialogpt-v1")
15
- model = AutoModelForCausalLM.from_pretrained("heegyu/kodialogpt-v1")
16
- generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
17
  generation_args = dict(
18
- num_beams=4,
19
- repetition_penalty=2.0,
20
  no_repeat_ngram_size=4,
21
  eos_token_id=375, # \n
22
- max_new_tokens=64,
23
  do_sample=True,
24
- top_k=50,
25
  early_stopping=True
26
  )
27
  generator(
@@ -32,11 +29,10 @@ generator(
32
  )
33
  ```
34
  결과
35
- - eos_token_id를 '\n'으로 해줘서 짤려야하는데 generation된거 보니 안짤리네요... 이유가 뭘지 ㅠ
36
  ```
37
- [[{'generated_text': '0 : **는 게임 좋아하니\n1 : 나는 좋아해\n'}],
38
- [{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 : 그게 무슨 일이야 진짜... 어떡해...\n0 : 그러니까 말이야 \n1 : 근데 뭐 그런 사건까지 일어난 거야?\n0 : 아니 그냥 지나가다가 발견했다고 하더라 키키\n'}],
39
- [{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : 잘못한 거야?\n0 : 아니~ 그냥 내가 착각하고 있었나봐\n'}]]
40
  ```
41
 
42
  학습에 사용한 하이퍼파라미터
 
11
 
12
  ## 사용예시
13
  ```
14
+ generator = pipeline("text-generation", model="heegyu/kodialogpt-v1")
 
 
15
  generation_args = dict(
16
+ repetition_penalty=1.3,
 
17
  no_repeat_ngram_size=4,
18
  eos_token_id=375, # \n
19
+ max_new_tokens=32,
20
  do_sample=True,
21
+ top_p=0.7,
22
  early_stopping=True
23
  )
24
  generator(
 
29
  )
30
  ```
31
  결과
 
32
  ```
33
+ [[{'generated_text': '0 : **는 게임 좋아하니\n1 : 엉... 게임은 맨날 하는데 내일도 하겠지...? ᄏᄏ'}],
34
+ [{'generated_text': '0 : 어제 강남에서 살인사건 났대 ㅜㅜ 너무 무서워\n1 : 헐 왜? 무슨 일 있었어?\n0 : 사진보니까 막 피흘리는 사람있고 경찰들이 떠서 제압하고 난리도 아니었다던데??\n1 : 대박이네... 그게 가능하다니.. 얼마나 무섭고 놀라울까..'}],
35
+ [{'generated_text': '0 : 자기야 어제는 나한테 왜 그랬어?\n1 : 뭔 일 있었어?\n0 : 어떻게 나한테 말도 없이 그럴 수 있어? 나 진짜 실망했어\n1 : ᄏᄏ뭐가? 누가?'}]]
36
  ```
37
 
38
  학습에 사용한 하이퍼파라미터