DHEIVER commited on
Commit
c1007ef
1 Parent(s): b9a7513

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -15
README.md CHANGED
@@ -6,33 +6,32 @@ tags:
6
 
7
  <!-- Provide a quick summary of what the model is/does. -->
8
 
9
- This model card describes the ClinicalBERT model, which was trained on a large multicenter dataset with a large corpus of 1.2B words of diverse diseases we constructed.
10
- We then utilized a large-scale corpus of EHRs from over 3 million patient records to fine tune the base language model.
11
 
12
- ## Pretraining Data
13
 
14
- The ClinicalBERT model was trained on a large multicenter dataset with a large corpus of 1.2B words of diverse diseases we constructed.
15
- <!-- For more details, see here. -->
16
 
17
- ## Model Pretraining
18
 
19
- ### Pretraining Procedures
20
- The ClinicalBERT was initialized from BERT. Then the training followed the principle of masked language model, in which given a piece of text, we randomly replace some tokens by MASKs,
21
- special tokens for masking, and then require the model to predict the original tokens via contextual text.
22
 
23
- ### Pretraining Hyperparameters
24
 
25
- We used a batch size of 32, a maximum sequence length of 256, and a learning rate of 5e-5 for pre-training our models.
26
 
27
- ## How to use the model
28
 
29
- Load the model via the transformers library:
30
  ```python
31
  from transformers import AutoTokenizer, AutoModel
32
  tokenizer = AutoTokenizer.from_pretrained("medicalai/ClinicalBERT")
33
  model = AutoModel.from_pretrained("medicalai/ClinicalBERT")
34
  ```
35
 
36
- ## Citation
37
 
38
- Please cite this article: Wang, G., Liu, X., Ying, Z. et al. Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial. Nat Med (2023). https://doi.org/10.1038/s41591-023-02552-9
 
6
 
7
  <!-- Provide a quick summary of what the model is/does. -->
8
 
9
+ Este cartão descreve o modelo ClinicalBERT, que foi treinado em um grande conjunto de dados multicêntrico com um corpus grande de 1,2 bilhão de palavras de diversas doenças que construímos. Em seguida, utilizamos um corpus em grande escala de prontuários eletrônicos de mais de 3 milhões de registros de pacientes para ajustar finamente o modelo de linguagem base.
 
10
 
11
+ ## Dados de Pré-Treinamento
12
 
13
+ O modelo ClinicalBERT foi treinado em um grande conjunto de dados multicêntrico com um corpus grande de 1,2 bilhão de palavras de diversas doenças que construímos.
14
+ <!-- Para mais detalhes, consulte aqui. -->
15
 
16
+ ## Pré-Treinamento do Modelo
17
 
18
+ ### Procedimentos de Pré-Treinamento
19
+ O ClinicalBERT foi inicializado a partir do BERT. Em seguida, o treinamento seguiu o princípio do modelo de linguagem mascarada, no qual, dada uma peça de texto, substituímos aleatoriamente alguns tokens por MASKs,
20
+ tokens especiais para mascaramento, e depois exigimos que o modelo preveja os tokens originais por meio de texto contextual.
21
 
22
+ ### Hiperparâmetros de Pré-Treinamento
23
 
24
+ Utilizamos um tamanho de lote de 32, um comprimento máximo de sequência de 256 e uma taxa de aprendizado de 5e-5 para o pré-treinamento de nossos modelos.
25
 
26
+ ## Como usar o modelo
27
 
28
+ Carregue o modelo via biblioteca transformers:
29
  ```python
30
  from transformers import AutoTokenizer, AutoModel
31
  tokenizer = AutoTokenizer.from_pretrained("medicalai/ClinicalBERT")
32
  model = AutoModel.from_pretrained("medicalai/ClinicalBERT")
33
  ```
34
 
35
+ ## Citação
36
 
37
+ Por favor, cite este artigo: Wang, G., Liu, X., Ying, Z. et al. Controle glicêmico otimizado do diabetes tipo 2 com aprendizado por reforço: um ensaio de prova de conceito. Nat Med (2023). https://doi.org/10.1038/s41591-023-02552-9