README.md

metadata

language: ko
tags:
  - summarization
  - bigbird
  - EncoderDecoderModel

• This model is a kobigbird-bert-base finetuned on the naver-news-summarization-ko

<<20220916 Commit>>

긴 문장의 요약 모델 특화된 모델을 만들기 위해 KoBigBird 모델을 Encoder Decoder 형태로 변환한 모델입니다. monologg님이 만들어 놓으신 KoBigBird 모델은 bert 기반으로 만들어져 있기 때문에 Q&A 등 자연어 처리 Task에 좋은 성능을 보입니다. 저는 요약(Summarization) Task를 위해서 Encoder-Decoder 형태의 모양으로 바꿨습니다. 추후 지속적인 업데이트로 별도의 불편함 없이 사용할 수 있도록 바꾸겠습니다.

# Python Code
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("noahkim/kobigbird-finetuned-Encoder-Decoder")
model = AutoModelForSeq2SeqLM.from_pretrained("noahkim/kobigbird-finetuned-Encoder-Decoder")