---
language: ko
tags:
- summarization
- bigbird
- EncoderDecoderModel

---
- This model is a [kobigbird-bert-base](https://huggingface.co/monologg/kobigbird-bert-base) finetuned on the [naver-news-summarization-ko](https://huggingface.co/datasets/daekeun-ml/naver-news-summarization-ko)

<<20220916  Commit>>

긴 문장의 요약 모델 특화된 모델을 만들기 위해 KoBigBird 모델을 Encoder Decoder 형태로 변환한 모델입니다.
monologg님이 만들어 놓으신 KoBigBird 모델은 bert 기반으로 만들어져 있기 때문에 Q&A 등 자연어 처리 Task에 좋은 성능을 보입니다.
저는 요약(Summarization) Task를 위해서 Encoder-Decoder 형태의 모양으로 바꿨습니다.
추후 지속적인 업데이트로 별도의 불편함 없이 사용할 수 있도록 바꾸겠습니다.

<pre><code>
# Python Code
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("noahkim/kobigbird-finetuned-Encoder-Decoder")
model = AutoModelForSeq2SeqLM.from_pretrained("noahkim/kobigbird-finetuned-Encoder-Decoder")
</pre></code>