manxiaoman0
commited on
Commit
•
97e5cb7
1
Parent(s):
41943bf
Update README.md
Browse files
README.md
CHANGED
@@ -1,46 +1,46 @@
|
|
1 |
---
|
2 |
-
|
3 |
-
|
4 |
-
-
|
5 |
-
|
6 |
|
7 |
---
|
8 |
|
9 |
-
|
10 |
|
11 |
-
|
12 |
|
13 |
-
|
14 |
|
15 |
-
|
16 |
-
|
17 |
|
18 |
-
|
19 |
|
20 |
-
|
21 |
-
|
22 |
|
23 |
-
|
24 |
-
|
25 |
|
26 |
-
|
27 |
-
|
28 |
-
|
29 |
|
30 |
-
|
31 |
|
32 |
-
|
33 |
```
|
34 |
-
|
35 |
-
|
36 |
-
|
37 |
```
|
38 |
|
39 |
-
|
40 |
|
41 |
-
|
42 |
|
43 |
-
|
44 |
|
45 |
-
|
46 |
|
|
|
1 |
---
|
2 |
+
语言: 恩
|
3 |
+
标签:
|
4 |
+
- 填充掩模
|
5 |
+
许可证: 麻省理工学院
|
6 |
|
7 |
---
|
8 |
|
9 |
+
#生物+临床BERT模型
|
10 |
|
11 |
+
这[公开可用的临床BERT嵌入](https://arxiv.org/abs/1904.03323)论文包含四个独特的临床BERT模型:初具规模(`外壳式`) 或生物工程师(`生物BERT基础版1.0+PubMed 200K+270K`),并接受过所有模拟笔记或仅进行出院总结的培训。
|
12 |
|
13 |
+
这张模型卡描述了生物+临床BERT模型,它是从[生物伯特](https://arxiv.org/abs/1901.08746)并对所有模拟笔记进行了培训。
|
14 |
|
15 |
+
##训练前数据
|
16 |
+
这`生物_临床BE RT`模型训练的所有音符[模拟三](https://www.nature.com/articles/sdata201635),一个包含来自马萨诸塞州波士顿贝斯以色列医院ICU患者的电子健康记录的数据库。有关MIMIC的更多详细信息,请参见[在这里](https://mimic.physionet.org/). 中的所有注释`注意事项`表包括(880M字)
|
17 |
|
18 |
+
##模型预训练
|
19 |
|
20 |
+
###注意预处理
|
21 |
+
模拟器中的每个记录首先使用基于规则的部分分割器拆分成部分(例如,出院总结记录分为“当前疾病史“、“家族史”、“简要住院过程”等部分)。然后每一部分被分成句子使用SciSpacy(`核心科学医学博士`标记器)。
|
22 |
|
23 |
+
###培训前程序
|
24 |
+
该模型的训练使用的代码从[谷歌的BERT存储库](https://github.com/google-research/bert)在12 GB的图形处理器上运行。用比奥贝特初始模型参数(`生物BERT基础版1.0+PubMed 200K+270K`).
|
25 |
|
26 |
+
###训练前超参数
|
27 |
+
我们使用了一个批大小为32,最大序列长度为128,学习率为5.105的预训练我们的模型。所有笔记训练的模型被训练了150,000步。使用不同掩码复制输入数据的DUP因子被设置为5。使用了所有其他默认参数(具体而言,屏蔽语言模型概率=0.15
|
28 |
+
和每个序列最大预测值=20)。
|
29 |
|
30 |
+
##如何使用模型
|
31 |
|
32 |
+
通过变压器库加载模型:
|
33 |
```
|
34 |
+
从变压器导入自动标记器、自动建模
|
35 |
+
自动令牌化器。"埃米尔·森策尔生物_临床应用")
|
36 |
+
模型=AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
|
37 |
```
|
38 |
|
39 |
+
##更多信息
|
40 |
|
41 |
+
参考原文,[公开可用的临床BERT嵌入](https://arxiv.org/abs/1904.03323)NAACL临床NLP研讨会2019有关NLI和NER任务的其他详细信息和性能。
|
42 |
|
43 |
+
##问题吗?
|
44 |
|
45 |
+
发布一个关于Github的问题[临床放射治疗回收](https://github.com/EmilyAlsentzer/clinicalBERT)或电子邮件emilya@mit.edu有任何问题。
|
46 |
|