noahkim commited on
Commit
6801730
1 Parent(s): 530fa5f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -12,7 +12,7 @@ inference: false
12
  <<20220917 Commit>>
13
 
14
  개인 스터디용으로 긴 문장(뉴스 등)의 요약 모델 특화된 모델을 만들기 위해 BERT기반의 KoBigBird 모델을 Encoder Decoder로 변환한 모델입니다.
15
- 기존의 monologg님의 KoBigBird는 BERT기반으로 뛰어난 성능을 자랑하지만 생성 요약 부분에 있어서는 Decoder가 없기 때문에 추가적으로 Decoder를 붙였습니다.
16
 
17
  만들었던 초기 모델은 KoBigBird의 Encoder를 Decoder로 활용하여 만드었습니다만, 자잘한 오류로 인하여 monologg님의 KoBigBird-bert-base의 Encoder 부분과 ainize님의 KoBART-news의 Decoder를 이어서 만들었습니다. config 수정 등 hyper-parameter
18
  finetuned 데이터셋으로 daekeun-ml님이 제공해주신 naver-news-summarization-ko 데이터셋을 활용했습니다.
 
12
  <<20220917 Commit>>
13
 
14
  개인 스터디용으로 긴 문장(뉴스 등)의 요약 모델 특화된 모델을 만들기 위해 BERT기반의 KoBigBird 모델을 Encoder Decoder로 변환한 모델입니다.
15
+ 기존의 monologg님의 KoBigBird는 BERT기반으로 뛰어난 성능을 자랑하지만 생성 요약 부분에 있어서는 Decoder가 없기 때문에 추가적으로 Decoder를 추가했습니다.
16
 
17
  만들었던 초기 모델은 KoBigBird의 Encoder를 Decoder로 활용하여 만드었습니다만, 자잘한 오류로 인하여 monologg님의 KoBigBird-bert-base의 Encoder 부분과 ainize님의 KoBART-news의 Decoder를 이어서 만들었습니다. config 수정 등 hyper-parameter
18
  finetuned 데이터셋으로 daekeun-ml님이 제공해주신 naver-news-summarization-ko 데이터셋을 활용했습니다.