update model card README.md

README.md

@@ -1,46 +1,59 @@
 ---
-language: ko
 tags:
-- summarization
-- bigbird
-- bart
-inference: false
-
+- generated_from_trainer
+model-index:
+- name: KoBigBird-KoBart-News-Summarization
+  results: []
 ---
-- This model is a [monologg/kobigbird-bert-base](https://huggingface.co/monologg/kobigbird-bert-base), [ainize/kobart-news](https://huggingface.co/ainize/kobart-news) finetuned on the [daekeun-ml/naver-news-summarization-ko](https://huggingface.co/datasets/daekeun-ml/naver-news-summarization-ko)
 
-<<20220917  Commit>>
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# KoBigBird-KoBart-News-Summarization
+
+This model is a fine-tuned version of [noahkim/KoBigBird-KoBart-News-Summarization](https://huggingface.co/noahkim/KoBigBird-KoBart-News-Summarization) on an unknown dataset.
+It achieves the following results on the evaluation set:
+- Loss: 4.1236
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
 
-개인 스터디용으로 긴 문장(뉴스 등)의 요약 모델 특화된 모델을 만들기 위해 BERT기반의 KoBigBird 모델을 Encoder Decoder로 변환한 모델입니다.
-기존의 monologg님의 KoBigBird는 BERT기반으로 뛰어난 성능을 자랑하지만 생성 요약 부분에 있어서는 Decoder가 없기 때문에 추가적으로 Decoder를 추가했습니다.
+More information needed
 
-만들었던 초기 모델은 KoBigBird의 Encoder를 Decoder로 활용하여 만드었습니다만, 자잘한 오류로 인하여 monologg님의 KoBigBird-bert-base의 Encoder 부분과 ainize님의 KoBART-news의 Decoder를 이어서 만들었습니다. config 수정 등 hyper-parameter 
-finetuned 데이터셋으로 daekeun-ml님이 제공해주신 naver-news-summarization-ko 데이터셋을 활용했습니다.
+## Training procedure
 
-이후 AI허브에서 제공하는 요약 데이터셋으로 추가 학습 진행 예정입니다.
+### Training hyperparameters
 
-성능도 많이 안좋고 이상하지만, 자연어 처리에 대해서 관심도 있고 제대로 활용하고 싶어 스스로 만들어보고 있습니다.
-지속적으로 발전시켜 좋은 성능의 모델을 구현하겠습니다.
-감사합니다.
+The following hyperparameters were used during training:
+- learning_rate: 2e-05
+- train_batch_size: 16
+- eval_batch_size: 16
+- seed: 42
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- num_epochs: 4
+- mixed_precision_training: Native AMP
 
-<pre><code>
-# Python Code
-from transformers import AutoTokenizer
-from transformers import AutoModelForSeq2SeqLM
+### Training results
 
-tokenizer = AutoTokenizer.from_pretrained("noahkim/KoBigBird-KoBart-News-Summarization")
-model = AutoModelForSeq2SeqLM.from_pretrained("noahkim/KoBigBird-KoBart-News-Summarization")
-</pre></code>
+| Training Loss | Epoch | Step | Validation Loss |
+|:-------------:|:-----:|:----:|:---------------:|
+| 4.0748        | 1.0   | 1388 | 4.3067          |
+| 3.8457        | 2.0   | 2776 | 4.2039          |
+| 3.7459        | 3.0   | 4164 | 4.1433          |
+| 3.6773        | 4.0   | 5552 | 4.1236          |
 
 
+### Framework versions
 
-@software{jangwon_park_2021_5654154,
-  author       = {Jangwon Park and Donggyu Kim},
-  title        = {KoBigBird: Pretrained BigBird Model for Korean},
-  month        = nov,
-  year         = 2021,
-  publisher    = {Zenodo},
-  version      = {1.0.0},
-  doi          = {10.5281/zenodo.5654154},
-  url          = {https://doi.org/10.5281/zenodo.5654154}
-}
+- Transformers 4.24.0
+- Pytorch 1.12.1+cu113
+- Datasets 2.6.1
+- Tokenizers 0.13.2