Commit
ยท
05e56c2
1
Parent(s):
799cff9
Update README.md
Browse files
README.md
CHANGED
@@ -25,6 +25,8 @@ license: mit
|
|
25 |
---
|
26 |
# mDeBERTa-v3-base-kor-further
|
27 |
---
|
|
|
|
|
28 |
|
29 |
## What is DeBERTa?
|
30 |
- [DeBERTa](https://arxiv.org/abs/2006.03654)๋ `Disentangled Attention` + `Enhanced Mask Decoder` ๋ฅผ ์ ์ฉํ์ฌ ๋จ์ด์ positional information์ ํจ๊ณผ์ ์ผ๋ก ํ์ตํฉ๋๋ค. ์ด์ ๊ฐ์ ์์ด๋์ด๋ฅผ ํตํด, ๊ธฐ์กด์ BERT, RoBERTa์์ ์ฌ์ฉํ๋ absolute position embedding๊ณผ๋ ๋ฌ๋ฆฌ DeBERTa๋ ๋จ์ด์ ์๋์ ์ธ ์์น ์ ๋ณด๋ฅผ ํ์ต ๊ฐ๋ฅํ ๋ฒกํฐ๋ก ํํํ์ฌ ๋ชจ๋ธ์ ํ์ตํ๊ฒ ๋ฉ๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก, BERT, RoBERTA ์ ๋น๊ตํ์ ๋ ๋ ์ค์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
|
@@ -74,6 +76,9 @@ license: mit
|
|
74 |
| mdeberta-base | 534M | 90.01 | 87.43 | 85.55 | 80.41 | **82.65** | 94.06 | 65.48 / 89.74 | 62.91 |
|
75 |
| mdeberta-base-kor-further (Ours) | 534M | **90.52** | **87.87** | **85.85** | **80.65** | 81.90 | **94.98** | **66.07 / 90.35** | **68.16** |
|
76 |
|
|
|
|
|
|
|
77 |
## Citation
|
78 |
```
|
79 |
@misc{he2021debertav3,
|
|
|
25 |
---
|
26 |
# mDeBERTa-v3-base-kor-further
|
27 |
---
|
28 |
+
์ ๋ชจ๋ธ์ KPMG Lighthouse Korea์์ ํ๊ตญ์ด๋ฅผ ๋์์ผ๋ก ์ถ๊ฐ ํ์ตํ์ฌ ์ ๊ณตํฉ๋๋ค.
|
29 |
+
KPMG Lighthouse Korea์์๋, Financial area์ ๋ค์ํ ๋ฌธ์ ๋ค์ ํด๊ฒฐ ํ๊ธฐ ์ํด Edge Technology์ NLP/Vision AI๋ฅผ ๋ชจ๋ธ๋ง ํ๊ณ ์์ต๋๋ค.
|
30 |
|
31 |
## What is DeBERTa?
|
32 |
- [DeBERTa](https://arxiv.org/abs/2006.03654)๋ `Disentangled Attention` + `Enhanced Mask Decoder` ๋ฅผ ์ ์ฉํ์ฌ ๋จ์ด์ positional information์ ํจ๊ณผ์ ์ผ๋ก ํ์ตํฉ๋๋ค. ์ด์ ๊ฐ์ ์์ด๋์ด๋ฅผ ํตํด, ๊ธฐ์กด์ BERT, RoBERTa์์ ์ฌ์ฉํ๋ absolute position embedding๊ณผ๋ ๋ฌ๋ฆฌ DeBERTa๋ ๋จ์ด์ ์๋์ ์ธ ์์น ์ ๋ณด๋ฅผ ํ์ต ๊ฐ๋ฅํ ๋ฒกํฐ๋ก ํํํ์ฌ ๋ชจ๋ธ์ ํ์ตํ๊ฒ ๋ฉ๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก, BERT, RoBERTA ์ ๋น๊ตํ์ ๋ ๋ ์ค์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
|
|
|
76 |
| mdeberta-base | 534M | 90.01 | 87.43 | 85.55 | 80.41 | **82.65** | 94.06 | 65.48 / 89.74 | 62.91 |
|
77 |
| mdeberta-base-kor-further (Ours) | 534M | **90.52** | **87.87** | **85.85** | **80.65** | 81.90 | **94.98** | **66.07 / 90.35** | **68.16** |
|
78 |
|
79 |
+
##KPMG Lighthouse Korea
|
80 |
+
Financial area์ ๋ค์ํ ๋ฌธ์ ๋ค์ ํด๊ฒฐ ํ๊ธฐ ์ํด Edge Technology์ NLP/Vision AI๋ฅผ ๋ชจ๋ธ๋ง ํฉ๋๋ค.
|
81 |
+
|
82 |
## Citation
|
83 |
```
|
84 |
@misc{he2021debertav3,
|