KPMGhyesukim
commited on
Commit
โข
e88f09b
1
Parent(s):
90d865e
Update README.md
Browse files
README.md
CHANGED
@@ -21,6 +21,7 @@ tags:
|
|
21 |
- deberta
|
22 |
- deberta-v3
|
23 |
- mdeberta
|
|
|
24 |
license: mit
|
25 |
---
|
26 |
|
@@ -28,7 +29,6 @@ license: mit
|
|
28 |
|
29 |
> ๐ก ์๋ ํ๋ก์ ํธ๋ย KPMG Lighthouse Korea์์ ์งํํ์์ต๋๋ค.
|
30 |
> KPMG Lighthouse Korea์์๋, Financial area์ ๋ค์ํ ๋ฌธ์ ๋ค์ ํด๊ฒฐํ๊ธฐ ์ํด Edge Technology์ NLP/Vision AI๋ฅผ ๋ชจ๋ธ๋งํ๊ณ ์์ต๋๋ค.
|
31 |
-
|
32 |
|
33 |
## What is DeBERTa?
|
34 |
- [DeBERTa](https://arxiv.org/abs/2006.03654)๋ `Disentangled Attention` + `Enhanced Mask Decoder` ๋ฅผ ์ ์ฉํ์ฌ ๋จ์ด์ positional information์ ํจ๊ณผ์ ์ผ๋ก ํ์ตํฉ๋๋ค. ์ด์ ๊ฐ์ ์์ด๋์ด๋ฅผ ํตํด, ๊ธฐ์กด์ BERT, RoBERTa์์ ์ฌ์ฉํ๋ absolute position embedding๊ณผ๋ ๋ฌ๋ฆฌ DeBERTa๋ ๋จ์ด์ ์๋์ ์ธ ์์น ์ ๋ณด๋ฅผ ํ์ต ๊ฐ๋ฅํ ๋ฒกํฐ๋ก ํํํ์ฌ ๋ชจ๋ธ์ ํ์ตํ๊ฒ ๋ฉ๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก, BERT, RoBERTA ์ ๋น๊ตํ์ ๋ ๋ ์ค์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
|
@@ -102,6 +102,7 @@ url={https://openreview.net/forum?id=XPZIaotutsD}
|
|
102 |
```
|
103 |
|
104 |
## Reference
|
|
|
105 |
- [DeBERTa](https://github.com/microsoft/DeBERTa)
|
106 |
- [Huggingface Transformers](https://github.com/huggingface/transformers)
|
107 |
- [๋ชจ๋์ ๋ง๋ญ์น](https://corpus.korean.go.kr/)
|
|
|
21 |
- deberta
|
22 |
- deberta-v3
|
23 |
- mdeberta
|
24 |
+
- korean
|
25 |
license: mit
|
26 |
---
|
27 |
|
|
|
29 |
|
30 |
> ๐ก ์๋ ํ๋ก์ ํธ๋ย KPMG Lighthouse Korea์์ ์งํํ์์ต๋๋ค.
|
31 |
> KPMG Lighthouse Korea์์๋, Financial area์ ๋ค์ํ ๋ฌธ์ ๋ค์ ํด๊ฒฐํ๊ธฐ ์ํด Edge Technology์ NLP/Vision AI๋ฅผ ๋ชจ๋ธ๋งํ๊ณ ์์ต๋๋ค.
|
|
|
32 |
|
33 |
## What is DeBERTa?
|
34 |
- [DeBERTa](https://arxiv.org/abs/2006.03654)๋ `Disentangled Attention` + `Enhanced Mask Decoder` ๋ฅผ ์ ์ฉํ์ฌ ๋จ์ด์ positional information์ ํจ๊ณผ์ ์ผ๋ก ํ์ตํฉ๋๋ค. ์ด์ ๊ฐ์ ์์ด๋์ด๋ฅผ ํตํด, ๊ธฐ์กด์ BERT, RoBERTa์์ ์ฌ์ฉํ๋ absolute position embedding๊ณผ๋ ๋ฌ๋ฆฌ DeBERTa๋ ๋จ์ด์ ์๋์ ์ธ ์์น ์ ๋ณด๋ฅผ ํ์ต ๊ฐ๋ฅํ ๋ฒกํฐ๋ก ํํํ์ฌ ๋ชจ๋ธ์ ํ์ตํ๊ฒ ๋ฉ๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก, BERT, RoBERTA ์ ๋น๊ตํ์ ๋ ๋ ์ค์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
|
|
|
102 |
```
|
103 |
|
104 |
## Reference
|
105 |
+
- [mDeBERTa-v3-base-kor-further](git:https://github.com/kpmg-kr/mDeBERTa-v3-base-kor-further)
|
106 |
- [DeBERTa](https://github.com/microsoft/DeBERTa)
|
107 |
- [Huggingface Transformers](https://github.com/huggingface/transformers)
|
108 |
- [๋ชจ๋์ ๋ง๋ญ์น](https://corpus.korean.go.kr/)
|