Update README.md
Browse files
README.md
CHANGED
|
@@ -14,6 +14,7 @@ widget:
|
|
| 14 |
- distilbert-base-multilingual-cased 모델에 [moco-corpus-kowiki2022 말뭉치](https://huggingface.co/datasets/bongsoo/moco-corpus-kowiki2022)(kowiki202206 + MOCOMSYS 추출 3.2M 문장)로 vocab 추가하여 학습 시킨 모델
|
| 15 |
- **vocab: 159,552개 (기존 bert 모델 vocab(119,548개)에 40,004개 (한글단어30,000개+영문10,000개+수동 4개)vocab 추가**
|
| 16 |
- mdistilbertV2.1 보다 약 **7,000개** 단어가 더 많고, 한글단어는 **mecab를 이용하여 추출**함.
|
|
|
|
| 17 |
|
| 18 |
## Usage (HuggingFace Transformers)
|
| 19 |
|
|
|
|
| 14 |
- distilbert-base-multilingual-cased 모델에 [moco-corpus-kowiki2022 말뭉치](https://huggingface.co/datasets/bongsoo/moco-corpus-kowiki2022)(kowiki202206 + MOCOMSYS 추출 3.2M 문장)로 vocab 추가하여 학습 시킨 모델
|
| 15 |
- **vocab: 159,552개 (기존 bert 모델 vocab(119,548개)에 40,004개 (한글단어30,000개+영문10,000개+수동 4개)vocab 추가**
|
| 16 |
- mdistilbertV2.1 보다 약 **7,000개** 단어가 더 많고, 한글단어는 **mecab를 이용하여 추출**함.
|
| 17 |
+
- **epoch은 12**번 학습함(mdistilbertV2.1은 8번)
|
| 18 |
|
| 19 |
## Usage (HuggingFace Transformers)
|
| 20 |
|