Update README.md

README.md

@@ -1,3 +1,14 @@
+---
+license: apache-2.0
+datasets:
+- klue/klue
+language:
+- ko
+metrics:
+- f1
+- accuracy
+- pearsonr
+---
 # RoBERTa-base Korean
 
 ## 모델 설명
@@ -9,8 +20,8 @@
 - **아키텍처**: RobertaForMaskedLM
 - **모델 크기**: 256 hidden size, 8 hidden layers, 8 attention heads
 - **max_position_embeddings**: 514
-- **intermediate_size**: 2048
-- **vocab_size**: 1428
+- **intermediate_size**: 2,048
+- **vocab_size**: 1,428
 
 ## 학습 데이터
 사용된 데이터셋은 다음과 같습니다:
@@ -18,12 +29,12 @@
 - **AIHUB**: SNS, 유튜브 댓글, 도서 문장
 - **기타**: 나무위키, 한국어 위키피디아
 
- 총 합산된 데이터는 약 11GB 입니다.
+ 총 합산된 데이터는 **약 11GB** 입니다. **(4B tokens)**
 
 ## 학습 상세
 - **BATCH_SIZE**: 112 (GPU당)
 - **ACCUMULATE**: 36
-- **Total_BATCH_SIZE**: 8064
+- **Total_BATCH_SIZE**: 8,064
 - **MAX_STEPS**: 12,500
 - **TRAIN_STEPS * BATCH_SIZE**: **100M**
 - **WARMUP_STEPS**: 2,400
@@ -33,12 +44,24 @@
 
 
 ![Evaluation Loss Graph](https://cdn-uploads.huggingface.co/production/uploads/64a0fd6fd3149e05bc5260dd/-64jKdcJAavwgUREwaywe.png)
-
 ![Evaluation Accuracy Graph](https://cdn-uploads.huggingface.co/production/uploads/64a0fd6fd3149e05bc5260dd/LPq5M6S8LTwkFSCepD33S.png)
 
 ## 사용 방법
 ### tokenizer의 경우 wordpiece가 아닌 syllable 단위이기에 AutoTokenizer가 아니라 SyllableTokenizer를 사용해야 합니다. 
 ### (레포에서 제공하고 있는 syllabletokenizer.py를 가져와서 사용해야 합니다.)
+
+## 성능 평가
+- **KLUE benchmark test를 통해서 성능을 평가했습니다.**
+- klue-roberta-base에 비해서 매우 작은 크기라 성능이 낮기는 하지만 hidden size 512인 모델은 크기 대비 좋은 성능을 보였습니다.
+
+![image/png](https://cdn-uploads.huggingface.co/production/uploads/64a0fd6fd3149e05bc5260dd/I8e60cf9w-IQCHDgKiooq.png)
+![image/png](https://cdn-uploads.huggingface.co/production/uploads/64a0fd6fd3149e05bc5260dd/hkc5ko9Vo-pkKmtouN7xc.png)
+
+
+## 사용 방법
+### tokenizer의 경우 wordpiece가 아닌 syllable 단위이기에 AutoTokenizer가 아니라 SyllableTokenizer를 사용해야 합니다. 
+### (레포에서 제공하고 있는 syllabletokenizer.py를 가져와서 사용해야 합니다.)
+
 ```python
 from transformers import AutoModel, AutoTokenizer
 from syllabletokenizer import SyllableTokenizer
@@ -50,3 +73,17 @@ tokenizer = SyllableTokenizer(vocab_file='vocab.json',**tokenizer_kwargs)
 # 텍스트를 토큰으로 변환하고 예측 수행
 inputs = tokenizer("여기에 한국어 텍스트 입력", return_tensors="pt")
 outputs = model(**inputs)
+```
+
+## Citation
+**klue**
+```
+@misc{park2021klue,
+      title={KLUE: Korean Language Understanding Evaluation}, 
+      author={Sungjoon Park and Jihyung Moon and Sungdong Kim and Won Ik Cho and Jiyoon Han and Jangwon Park and Chisung Song and Junseong Kim and Yongsook Song and Taehwan Oh and Joohong Lee and Juhyun Oh and Sungwon Lyu and Younghoon Jeong and Inkwon Lee and Sangwoo Seo and Dongjun Lee and Hyunwoo Kim and Myeonghwa Lee and Seongbo Jang and Seungwon Do and Sunkyoung Kim and Kyungtae Lim and Jongwon Lee and Kyumin Park and Jamin Shin and Seonghyun Kim and Lucy Park and Alice Oh and Jungwoo Ha and Kyunghyun Cho},
+      year={2021},
+      eprint={2105.09680},
+      archivePrefix={arXiv},
+      primaryClass={cs.CL}
+}
+```