Update README.md

README.md

@@ -1,67 +1,31 @@
 ---
+language: ko
 tags:
-- generated_from_trainer
-metrics:
-- rouge
-model-index:
-- name: kobigbird-finetuned-Encoder-Decoder
-  results: []
----
-
-<!-- This model card has been generated automatically according to the information the Trainer had access to. You
-should probably proofread and complete it, then remove this comment. -->
-
-# kobigbird-finetuned-Encoder-Decoder
-
-This model was trained from scratch on an unknown dataset.
-It achieves the following results on the evaluation set:
-- Loss: 4.4011
-- Rouge1: 12.1436
-- Rouge2: 2.2747
-- Rougel: 11.7428
-- Rougelsum: 11.7408
-- Gen Len: 20.0
-
-## Model description
-
-More information needed
+- summarization
+- bigbird
+- bart
 
-## Intended uses & limitations
-
-More information needed
-
-## Training and evaluation data
-
-More information needed
-
-## Training procedure
+---
+- This model is a [monologg/kobigbird-bert-base](https://huggingface.co/monologg/kobigbird-bert-base), [ainize/kobart-news](https://huggingface.co/ainize/kobart-news) finetuned on the [daekeun-ml/naver-news-summarization-ko](https://huggingface.co/datasets/daekeun-ml/naver-news-summarization-ko)
 
-### Training hyperparameters
+<<20220917  Commit>>
 
-The following hyperparameters were used during training:
-- learning_rate: 2e-05
-- train_batch_size: 1
-- eval_batch_size: 1
-- seed: 42
-- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
-- lr_scheduler_type: linear
-- num_epochs: 5
-- mixed_precision_training: Native AMP
+개인 스터디용으로 긴 문장(뉴스 등)의 요약 모델 특화된 모델을 만들기 위해 BERT기반의 KoBigBird 모델을 Encoder Decoder로 변환한 모델입니다.
+기존의 monologg님의 KoBigBird는 BERT기반으로 뛰어난 성능을 자랑하지만 생성 요약 부분에 있어서는 Decoder가 없기 때문에 추가적으로 Decoder를 붙였습니다.
 
-### Training results
+만들었던 초기 모델은 KoBigBird의 Encoder를 Decoder로 활용하여 만드었습니다만, 자잘한 오류로 인하여 monologg님의 KoBigBird-bert-base의 Encoder 부분과 ainize님의 KoBART-news의 Decoder를 이어서 만들었습니다.
+finetuned 데이터셋으로 daekeun-ml님이 제공해주신 naver-news-summarization-ko 데이터셋을 활용했습니다.
 
-| Training Loss | Epoch | Step   | Validation Loss | Rouge1  | Rouge2 | Rougel  | Rougelsum | Gen Len |
-|:-------------:|:-----:|:------:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:|
-| 5.8126        | 1.0   | 22194  | 5.7258          | 8.857   | 0.2266 | 8.6768  | 8.703     | 20.0    |
-| 5.1675        | 2.0   | 44388  | 5.0540          | 7.0446  | 0.5937 | 6.8255  | 6.8637    | 20.0    |
-| 4.5552        | 3.0   | 66582  | 4.6871          | 10.3238 | 1.1363 | 9.9598  | 9.9394    | 20.0    |
-| 4.3369        | 4.0   | 88776  | 4.4789          | 11.0189 | 1.6226 | 10.7301 | 10.6951   | 20.0    |
-| 4.0251        | 5.0   | 110970 | 4.4011          | 12.1436 | 2.2747 | 11.7428 | 11.7408   | 20.0    |
+이후 AI허브에서 제공하는 요약 데이터셋으로 추가 학습 진행 예정입니다.
 
+지속적으로 발전시켜 더욱 사용하기 편하게 만들겠습니다. 
+감사합니다.
 
-### Framework versions
+<pre><code>
+# Python Code
+from transformers import AutoTokenizer
+from transformers import AutoModelForSeq2SeqLM
 
-- Transformers 4.22.0
-- Pytorch 1.12.1+cu113
-- Datasets 2.4.0
-- Tokenizers 0.12.1
+tokenizer = AutoTokenizer.from_pretrained("noahkim/KoBigBird-EncoderDecoderModel")
+model = AutoModelForSeq2SeqLM.from_pretrained("noahkim/KoBigBird-EncoderDecoderModel")
+</pre></code>