Update README.md
Browse files
README.md
CHANGED
|
@@ -33,7 +33,7 @@ Good at solving NLU tasks, adopting Whole Word Masking, Chinese DeBERTa-v2 with
|
|
| 33 |
|
| 34 |
## 模型信息 Model Information
|
| 35 |
|
| 36 |
-
参考论文：[
|
| 37 |
|
| 38 |
为了得到一个中文版的DeBERTa-v2（97M），我们用悟道语料库(180G版本)进行预训练。我们在MLM中使用了全词掩码(wwm)的方式。具体地，我们在预训练阶段中使用了[封神框架](https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen)大概花费了24张A100约7天。
|
| 39 |
|
|
|
|
| 33 |
|
| 34 |
## 模型信息 Model Information
|
| 35 |
|
| 36 |
+
参考论文：[DeBERTa: Decoding-enhanced BERT with Disentangled Attention](https://readpaper.com/paper/3033187248)
|
| 37 |
|
| 38 |
为了得到一个中文版的DeBERTa-v2（97M），我们用悟道语料库(180G版本)进行预训练。我们在MLM中使用了全词掩码(wwm)的方式。具体地，我们在预训练阶段中使用了[封神框架](https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen)大概花费了24张A100约7天。
|
| 39 |
|