madatnlp commited on
Commit
6da299f
โ€ข
1 Parent(s): c2d2f73

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +24 -23
README.md CHANGED
@@ -9,11 +9,12 @@ tags:
9
 
10
  ์ด ๋ชจ๋ธ์€ KM-BERT์˜ ๋ชจ๋ธ์„ ๋‹ค์šด ๋ฐ›์•„, ์ž„์˜๋กœ ํ—ˆ๊น…ํŽ˜์ด์Šค ๋ชจ๋ธ์˜ ํ˜•ํƒœ๋กœ ์‚ฌ์šฉํ•˜๊ธฐ ์ข‹๊ฒŒ ๋ณ€ํ™˜ํ•œ ๋ชจ๋ธ ์ž…๋‹ˆ๋‹ค.
11
  <br>
12
- <br>
13
- <br>
14
- <br>
15
  ๋ชจ๋ธ์€ ๊ทธ๋Œ€๋กœ์ด๋‚˜, ํ† ํฌ๋‚˜์ด์ €๋ฅผ ํ—ˆ๊น…ํŽ˜์ด์Šค์— ๋งž๊ฒŒ ์กฐ์ •ํ•˜๋Š” ๊ณผ์ •์—์„œ ์˜ค๋ฅ˜๊ฐ€ ์žˆ์„ ์ˆ˜๋„ ์žˆ์Œ์„ ์•Œ๋ฆฝ๋‹ˆ๋‹ค.
 
 
16
  KM-BERT๋ฅผ ์‚ฌ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ๊ฒŒ ๊ณต์œ ํ•ด์ฃผ์‹  ์ €์ž๋ถ„๊ป˜ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
 
17
 
18
 
19
  ## Model Details
@@ -23,36 +24,36 @@ bing ํ™œ์šฉ ์š”์•ฝ:
23
 
24
  ์ด ๋ฌธ์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‚ด์šฉ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค:
25
 
26
- ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ BERT ๋ชจ๋ธ.
27
- ์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ํ•œ๊ตญ์–ด ํ…์ŠคํŠธ๋ฅผ ๋ถ„์„ํ•˜๊ธฐ ์œ„ํ•ด KR-BERT ๋ชจ๋ธ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋กœ ์‚ฌ์ „ ํ›ˆ๋ จํ•œ KM-BERT๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค.
28
- ์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๊ต๊ณผ์„œ, ๊ฑด๊ฐ• ์ •๋ณด ๋‰ด์Šค, ์˜๋ฃŒ ์—ฐ๊ตฌ ๋…ผ๋ฌธ ๋“ฑ ์„ธ ๊ฐ€์ง€ ์œ ํ˜•์˜ ๋ฌธ์„œ๋กœ ๊ตฌ์„ฑ๋œ ์•ฝ 1์–ต 1์ฒœ 6๋ฐฑ๋งŒ ๋‹จ์–ด์˜ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค.
29
 
30
- ๋‚ด๋ถ€ ํ‰๊ฐ€์™€ ์™ธ๋ถ€ ํ‰๊ฐ€.
31
- ์ด ๋ชจ๋ธ์€ MLM๊ณผ NSP๋ผ๋Š” ๋‘ ๊ฐ€์ง€ ๋น„์ง€๋„ ์‚ฌ์ „ ํ›ˆ๋ จ ๊ณผ์ œ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ , ์ƒˆ๋กœ์šด ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค์™€ MedSTS ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ์–ธ์–ด ์ดํ•ด ๋Šฅ๋ ฅ์„ ๋‚ด๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
32
- ๋˜ํ•œ, ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์˜๋ฏธ๋ก ์  ํ…์ŠคํŠธ ์œ ์‚ฌ๋„(MedSTS) ๋ฐ์ดํ„ฐ์…‹๊ณผ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๊ฐœ์ฒด ์ธ์‹(NER) ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ํ•˜๋ฅ˜ ๊ณผ์ œ์— ๋Œ€ํ•œ ์„ฑ๋Šฅ์„ ์™ธ๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
33
- ๊ฒฐ๊ณผ์ ์œผ๋กœ, KM-BERT๋Š” ๊ธฐ์กด์˜ ์–ธ์–ด ๋ชจ๋ธ๋“ค๋ณด๋‹ค ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค.
34
 
35
- ์–ธ์–ด๋ณ„ ๋ฐ ๋ถ„์•ผ๋ณ„ ๊ด€์ .
36
- M-BERT๋Š” ๋‹ค์–‘ํ•œ ์–ธ์–ด์— ๋Œ€ํ•œ NLP ๊ณผ์ œ์— ๋†’์€ ์ „์ด์„ฑ์„ ๋ณด์ด์ง€๋งŒ, ์–ธ์–ด๋ณ„ BERT ๋ชจ๋ธ๋“ค์ด M-BERT๋ณด๋‹ค ๋” ๋‚˜์€ ์„ฑ๋Šฅ์„ ๋ณด์ธ๋‹ค๋Š” ๊ฒƒ์ด ์ฆ๋ช…๋˜์—ˆ์Šต๋‹ˆ๋‹ค
37
- 1. ํ•œ๊ตญ์–ด๋Š” ์˜์–ด์™€ ๊ฐ™์€ ์ธ๋„์œ ๋Ÿฝ์–ด์™€๋Š” ๋‹ค๋ฅธ ๋‹จ์–ด ์ˆœ์„œ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๊ธฐ ๋•Œ๋ฌธ์—, ํ•œ๊ตญ์–ด์— ํŠนํ™”๋œ BERT ๋ชจ๋ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
38
- 2. ๋˜ํ•œ, SciBERT๋‚˜ LEGAL-BERT์™€ ๊ฐ™์€ ๋ถ„์•ผ๋ณ„ BERT ์ž„๋ฒ ๋”ฉ์ด BERT๋ณด๋‹ค ์ „๋ฌธ ์šฉ์–ด์™€ ์šฉ๋ฒ•์— ๋Œ€ํ•œ ์ดํ•ด๋ ฅ์„ ํ–ฅ์ƒ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์ด ๋ฐํ˜€์กŒ์Šต๋‹ˆ๋‹ค.
39
- 3. ์ด๋Ÿฌํ•œ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋“ค์€ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๋ถ„์•ผ์— ์ ํ•ฉํ•œ BERT ๋ชจ๋ธ ๊ฐœ๋ฐœ์˜ ํ•„์š”์„ฑ๊ณผ ํšจ๊ณผ์„ฑ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
40
 
41
 
42
  ### Model Sources [optional]
43
 
44
 
45
- - **Repository:** https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT
46
- - **Paper:** https://www.nature.com/articles/s41598-022-17806-8
47
 
48
 
49
  ## Citation [optional]
50
 
51
 
52
- @article{KMBERT,
53
- title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing},
54
- author={TBD},
55
- year={TBD},
56
- journal={TBD},
57
- volume={TBD}
58
  }
 
9
 
10
  ์ด ๋ชจ๋ธ์€ KM-BERT์˜ ๋ชจ๋ธ์„ ๋‹ค์šด ๋ฐ›์•„, ์ž„์˜๋กœ ํ—ˆ๊น…ํŽ˜์ด์Šค ๋ชจ๋ธ์˜ ํ˜•ํƒœ๋กœ ์‚ฌ์šฉํ•˜๊ธฐ ์ข‹๊ฒŒ ๋ณ€ํ™˜ํ•œ ๋ชจ๋ธ ์ž…๋‹ˆ๋‹ค.
11
  <br>
12
+
 
 
13
  ๋ชจ๋ธ์€ ๊ทธ๋Œ€๋กœ์ด๋‚˜, ํ† ํฌ๋‚˜์ด์ €๋ฅผ ํ—ˆ๊น…ํŽ˜์ด์Šค์— ๋งž๊ฒŒ ์กฐ์ •ํ•˜๋Š” ๊ณผ์ •์—์„œ ์˜ค๋ฅ˜๊ฐ€ ์žˆ์„ ์ˆ˜๋„ ์žˆ์Œ์„ ์•Œ๋ฆฝ๋‹ˆ๋‹ค.
14
+ <br>
15
+
16
  KM-BERT๋ฅผ ์‚ฌ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ๊ฒŒ ๊ณต์œ ํ•ด์ฃผ์‹  ์ €์ž๋ถ„๊ป˜ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
17
+ <br>
18
 
19
 
20
  ## Model Details
 
24
 
25
  ์ด ๋ฌธ์„œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‚ด์šฉ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค:
26
 
27
+ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ BERT ๋ชจ๋ธ. <br>
28
+ ์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ํ•œ๊ตญ์–ด ํ…์ŠคํŠธ๋ฅผ ๋ถ„์„ํ•˜๊ธฐ ์œ„ํ•ด KR-BERT ๋ชจ๋ธ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋กœ ์‚ฌ์ „ ํ›ˆ๋ จํ•œ KM-BERT๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. <br>
29
+ ์ด ๋ชจ๋ธ์€ ์˜๋ฃŒ ๊ต๊ณผ์„œ, ๊ฑด๊ฐ• ์ •๋ณด ๋‰ด์Šค, ์˜๋ฃŒ ์—ฐ๊ตฌ ๋…ผ๋ฌธ ๋“ฑ ์„ธ ๊ฐ€์ง€ ์œ ํ˜•์˜ ๋ฌธ์„œ๋กœ ๊ตฌ์„ฑ๋œ ์•ฝ 1์–ต 1์ฒœ 6๋ฐฑ๋งŒ ๋‹จ์–ด์˜ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. <br>
30
 
31
+ ๋‚ด๋ถ€ ํ‰๊ฐ€์™€ ์™ธ๋ถ€ ํ‰๊ฐ€. <br>
32
+ ์ด ๋ชจ๋ธ์€ MLM๊ณผ NSP๋ผ๋Š” ๋‘ ๊ฐ€์ง€ ๋น„์ง€๋„ ์‚ฌ์ „ ํ›ˆ๋ จ ๊ณผ์ œ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ , ์ƒˆ๋กœ์šด ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์ฝ”ํผ์Šค์™€ MedSTS ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ์–ธ์–ด ์ดํ•ด ๋Šฅ๋ ฅ์„ ๋‚ด๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. <br>
33
+ ๋˜ํ•œ, ํ•œ๊ตญ์–ด ์˜๋ฃŒ ์˜๋ฏธ๋ก ์  ํ…์ŠคํŠธ ์œ ์‚ฌ๋„(MedSTS) ๋ฐ์ดํ„ฐ์…‹๊ณผ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๊ฐœ์ฒด ์ธ์‹(NER) ๋ฐ์ดํ„ฐ์…‹์„ ์ด์šฉํ•˜์—ฌ ํ•˜๋ฅ˜ ๊ณผ์ œ์— ๋Œ€ํ•œ ์„ฑ๋Šฅ์„ ์™ธ๋ถ€ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. <br>
34
+ ๊ฒฐ๊ณผ์ ์œผ๋กœ, KM-BERT๋Š” ๊ธฐ์กด์˜ ์–ธ์–ด ๋ชจ๋ธ๋“ค๋ณด๋‹ค ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. <br>
35
 
36
+ ์–ธ์–ด๋ณ„ ๋ฐ ๋ถ„์•ผ๋ณ„ ๊ด€์ . <br>
37
+ M-BERT๋Š” ๋‹ค์–‘ํ•œ ์–ธ์–ด์— ๋Œ€ํ•œ NLP ๊ณผ์ œ์— ๋†’์€ ์ „์ด์„ฑ์„ ๋ณด์ด์ง€๋งŒ, ์–ธ์–ด๋ณ„ BERT ๋ชจ๋ธ๋“ค์ด M-BERT๋ณด๋‹ค ๋” ๋‚˜์€ ์„ฑ๋Šฅ์„ ๋ณด์ธ๋‹ค๋Š” ๊ฒƒ์ด ์ฆ๋ช…๋˜์—ˆ์Šต๋‹ˆ๋‹ค. <br>
38
+ 1. ํ•œ๊ตญ์–ด๋Š” ์˜์–ด์™€ ๊ฐ™์€ ์ธ๋„์œ ๋Ÿฝ์–ด์™€๋Š” ๋‹ค๋ฅธ ๋‹จ์–ด ์ˆœ์„œ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๊ธฐ ๋•Œ๋ฌธ์—, ํ•œ๊ตญ์–ด์— ํŠนํ™”๋œ BERT ๋ชจ๋ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. <br>
39
+ 2. ๋˜ํ•œ, SciBERT๋‚˜ LEGAL-BERT์™€ ๊ฐ™์€ ๋ถ„์•ผ๋ณ„ BERT ์ž„๋ฒ ๋”ฉ์ด BERT๋ณด๋‹ค ์ „๋ฌธ ์šฉ์–ด์™€ ์šฉ๋ฒ•์— ๋Œ€ํ•œ ์ดํ•ด๋ ฅ์„ ํ–ฅ์ƒ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์ด ๋ฐํ˜€์กŒ์Šต๋‹ˆ๋‹ค. <br>
40
+ 3. ์ด๋Ÿฌํ•œ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋“ค์€ ํ•œ๊ตญ์–ด ์˜๋ฃŒ ๋ถ„์•ผ์— ์ ํ•ฉํ•œ BERT ๋ชจ๋ธ ๊ฐœ๋ฐœ์˜ ํ•„์š”์„ฑ๊ณผ ํšจ๊ณผ์„ฑ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. <br>
41
 
42
 
43
  ### Model Sources [optional]
44
 
45
 
46
+ - **Repository:** https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT <br>
47
+ - **Paper:** https://www.nature.com/articles/s41598-022-17806-8 <br>
48
 
49
 
50
  ## Citation [optional]
51
 
52
 
53
+ @article{KMBERT, <br>
54
+ title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing}, <br>
55
+ author={TBD}, <br>
56
+ year={TBD}, <br>
57
+ journal={TBD}, <br>
58
+ volume={TBD} <br>
59
  }