File size: 2,844 Bytes
20605d1
 
 
 
 
 
 
 
 
9396518
c2d2f73
6da299f
ebb7574
6da299f
 
9396518
6da299f
20605d1
a2fb668
 
20605d1
 
 
 
 
 
 
 
6da299f
 
 
20605d1
6da299f
 
 
 
20605d1
6da299f
 
 
 
 
20605d1
 
 
 
 
6da299f
 
20605d1
 
 
 
 
6da299f
 
 
 
 
 
20605d1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
---
language:
- ko
tags:
- biology
---
# Model Card for Model ID


์ด ๋ชจ๋ธ์€ KM-BERT์˜ ๋ชจ๋ธ์„ ๋‹ค์šด ๋ฐ›์•„, ์ž„์˜๋กœ ํ—ˆ๊น…ํŽ˜์ด์Šค ๋ชจ๋ธ์˜ ํ˜•ํƒœ๋กœ ์‚ฌ์šฉํ•˜๊ธฐ ์ข‹๊ฒŒ ๋ณ€ํ™˜ํ•œ ๋ชจ๋ธ ์ž…๋‹ˆ๋‹ค.
<br>

๋ชจ๋ธ์€ ๊ทธ๋Œ€๋กœ์ด๊ณ , ํ† ํฌ๋‚˜์ด์ €๋Š” ๋…ผ๋ฌธ์— ๋‚˜์™€ ์žˆ๋Š”๋Œ€๋กœ, snunlp/KR-BERT-char16424 ๊ฒƒ์„ ๊ฐ€์ ธ์™”์Šต๋‹ˆ๋‹ค
<br>

KM-BERT๋ฅผ ์‚ฌ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ๊ฒŒ ๊ณต์œ ํ•ด์ฃผ์‹  ์ €์ž๋ถ„๊ป˜ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
<br>

๋ฌธ์ œ ๋ฐœ์ƒ ์‹œ ์ˆ˜์ •ํ•˜๊ฑฐ๋‚˜, ๋˜๋Š” ์ €์ž๋‹˜์˜ ์š”์ฒญ์‹œ ํ—ˆ๋ธŒ์—์„œ ๋‚ด๋ฆด ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.
<br>

## Model Details


bing ํ™œ์šฉ ์š”์•ฝ:

์ด ๋ฌธ์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‚ด์šฉ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค:

ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ BERT ๋ชจ๋ธ. <br>
์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ํ•œ๊ตญ์–ด ํ…์ŠคํŠธ๋ฅผ ๋ถ„์„ํ•˜๊ธฐ ์œ„ํ•ด KR-BERT ๋ชจ๋ธ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋กœ ์‚ฌ์ „ ํ›ˆ๋ จํ•œ KM-BERT๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. <br>
์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๊ต๊ณผ์„œ, ๊ฑด๊ฐ• ์ •๋ณด ๋‰ด์Šค, ์˜๋ฃŒ ์—ฐ๊ตฌ ๋…ผ๋ฌธ ๋“ฑ ์„ธ ๊ฐ€์ง€ ์œ ํ˜•์˜ ๋ฌธ์„œ๋กœ ๊ตฌ์„ฑ๋œ ์•ฝ 1์–ต 1์ฒœ 6๋ฐฑ๋งŒ ๋‹จ์–ด์˜ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. <br>

๋‚ด๋ถ€ ํ‰๊ฐ€์™€ ์™ธ๋ถ€ ํ‰๊ฐ€. <br>
์ด ๋ชจ๋ธ์€ MLM๊ณผ NSP๋ผ๋Š” ๋‘ ๊ฐ€์ง€ ๋น„์ง€๋„ ์‚ฌ์ „ ํ›ˆ๋ จ ๊ณผ์ œ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ , ์ƒˆ๋กœ์šด ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค์™€ MedSTS ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ์–ธ์–ด ์ดํ•ด ๋Šฅ๋ ฅ์„ ๋‚ด๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. <br>
๋˜ํ•œ, ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์˜๋ฏธ๋ก ์  ํ…์ŠคํŠธ ์œ ์‚ฌ๋„(MedSTS) ๋ฐ์ดํ„ฐ์…‹๊ณผ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๊ฐœ์ฒด ์ธ์‹(NER) ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ํ•˜๋ฅ˜ ๊ณผ์ œ์— ๋Œ€ํ•œ ์„ฑ๋Šฅ์„ ์™ธ๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. <br>
๊ฒฐ๊ณผ์ ์œผ๋กœ, KM-BERT๋Š” ๊ธฐ์กด์˜ ์–ธ์–ด ๋ชจ๋ธ๋“ค๋ณด๋‹ค ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. <br>

์–ธ์–ด๋ณ„ ๋ฐ ๋ถ„์•ผ๋ณ„ ๊ด€์ . <br>
M-BERT๋Š” ๋‹ค์–‘ํ•œ ์–ธ์–ด์— ๋Œ€ํ•œ NLP ๊ณผ์ œ์— ๋†’์€ ์ „์ด์„ฑ์„ ๋ณด์ด์ง€๋งŒ, ์–ธ์–ด๋ณ„ BERT ๋ชจ๋ธ๋“ค์ด M-BERT๋ณด๋‹ค ๋” ๋‚˜์€ ์„ฑ๋Šฅ์„ ๋ณด์ธ๋‹ค๋Š” ๊ฒƒ์ด ์ฆ๋ช…๋˜์—ˆ์Šต๋‹ˆ๋‹ค. <br>
1. ํ•œ๊ตญ์–ด๋Š” ์˜์–ด์™€ ๊ฐ™์€ ์ธ๋„์œ ๋Ÿฝ์–ด์™€๋Š” ๋‹ค๋ฅธ ๋‹จ์–ด ์ˆœ์„œ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๊ธฐ ๋•Œ๋ฌธ์—, ํ•œ๊ตญ์–ด์— ํŠนํ™”๋œ BERT ๋ชจ๋ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. <br>
2. ๋˜ํ•œ, SciBERT๋‚˜ LEGAL-BERT์™€ ๊ฐ™์€ ๋ถ„์•ผ๋ณ„ BERT ์ž„๋ฒ ๋”ฉ์ด BERT๋ณด๋‹ค ์ „๋ฌธ ์šฉ์–ด์™€ ์šฉ๋ฒ•์— ๋Œ€ํ•œ ์ดํ•ด๋ ฅ์„ ํ–ฅ์ƒ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์ด ๋ฐํ˜€์กŒ์Šต๋‹ˆ๋‹ค. <br>
3. ์ด๋Ÿฌํ•œ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋“ค์€ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๋ถ„์•ผ์— ์ ํ•ฉํ•œ BERT ๋ชจ๋ธ ๊ฐœ๋ฐœ์˜ ํ•„์š”์„ฑ๊ณผ ํšจ๊ณผ์„ฑ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. <br>


### Model Sources [optional]


- **Repository:** https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT <br>
- **Paper:** https://www.nature.com/articles/s41598-022-17806-8 <br>


## Citation [optional]


@article{KMBERT, <br>
    title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing}, <br>
    author={TBD}, <br>
    year={TBD}, <br>
    journal={TBD}, <br>
    volume={TBD} <br>
  }