checkpoint-474/README.md

---
base_model: google-bert/bert-base-multilingual-cased
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:1890
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: 32세 여자가 목을 매다가 가족에게 발견되어 병원에 왔다. 임신 16주였으며 1개월 전부터 식사를 하지 않고 누워만
    지냈다고 한다. 기분이 우울하고 아무것도 하기가 싫다고 한다. 아이를 잘 키울 자신도 없고 살고 싶지 않으니 죽게 내버려 두라고 한다. 치료는?
  sentences:
  - 전기경련요법
  - 항응고제
  - 괜찮다고 안심시킴
- source_sentence: 59세 여자가 질분비물이 있고 외음부가 건조하고 따가워 병원에 왔다. 보습제를 사용하여도 증상이 지속되었다. 40세에
    자궁근종으로 자궁절제술을 받았고 왼쪽 다리의 깊은정맥혈전증으로 약물을 복용 중이다. 안면홍조와 불면증이 50대 초반에 있었다가 현재는 없고
    성교통이 있다. 골반검사에서 외음부 위축이 관찰되었고 질분비물의 젖은펴바른표본검사에서는 이상이 없다. 처치는?
  sentences:
  - 시상하부기능이상
  - 경질 에스트로겐
  - 면허 취소일부터 3년 경과
- source_sentence: '15세 여자가 5일 전부터 열이 나고 오한이 든다며 병원에 왔다. 음식을 삼킬 때 목이 아프다고 한다. 혈압 100/60
    mmHg, 맥박 75회/분, 호흡 18회/분, 체온 38.0℃이다. 목의 양쪽 여러 군데에서 1 cm 이하 크기의 림프절이 만져진다. 림프절은
    압통이 있으나 주위 조직에 고정되어 있지 않다. 몸에서 발진은 보이지 않는다. 혈액검사 결과는 다음과 같다. 다음 검사는?백혈구 13,780/mm^3
    (중성구 25%, 림프구 64%) 혈색소 13.3 g/dL, 혈소판 209,000/mm^3 혈액요소질소 7 mg/dL,  크레아티닌 0.5
    mg/dL, 아스파르테이트아미노전달효소 266 U/L 알라닌아미노전달효소 298 U/L  총빌리루빈 0.7 mg/dL, 알칼리인산분해효소 146
    U/L (참고치, 33～96) C-반응단백질 13 mg/L (참고치, <10) '
  sentences:
  - 혈청 바이러스캡시드항원(VCA) IgM 항체
  - 측정 바이어스
  - 날트렉손
- source_sentence: 임신나이 27주, 출생체중 750 g으로 태어난 신생아가 생후 5일째 갑자기 청색증이 발생하였다. 출생 직후 폐표면활성제를
    투여받았고, 이후 기계환기치료 중이다. 심박 170회/분, 호흡 80회/분, 경피산소포화도는 오른손과 왼발에서 모두 60% 이다. 앞가슴이
    팽창되고, 오른쪽 가슴 청진에서 호흡음이 잘 들리지 않는다. 검사는?
  sentences:
  - 요청에 응함
  - 비전형적 양상 동반 주요우울장애
  - 가슴 X선사진
- source_sentence: '58세 남자가 7시간 전부터 윗배가 아파서 병원에 왔다. 평소에 알코올간경화로 치료를 받고 있으며 소화궤양에 의한
    천공으로 수술을 받을 예정이다. 혈압 130/90 mmHg, 맥박 95회/분, 호흡 22회/분, 체온 37.5℃이다. 배 전체가 딱딱하고 배에
    압통과 반동압통이 있다. 혈액검사 결과는 다음과 같다. 수술 전 투여해야 할 제제는?혈색소 10.3 g/dL, 백혈구 22,000/mm^3,
    혈소판 120,000/mm^3 프로트롬빈시간 20초(참고치, 12.7～15.4) 활성화부분트롬보플라스틴시간 30초(참고치, 26.3～39.4)
    총단백질 6.5 g/dL, 알부민 3.0 g/dL,총빌리루빈 3.5 mg/dL, '
  sentences:
  - “전파 가능성이 이렇게 높은데도 다른 사람에게 전파를 매개하는 행위를 하면 형사처벌을 받을 수도 있습니다.”
  - 신선동결혈장
  - 면허자격 정지
---

# SentenceTransformer based on google-bert/bert-base-multilingual-cased

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [google-bert/bert-base-multilingual-cased](https://huggingface.co/google-bert/bert-base-multilingual-cased). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [google-bert/bert-base-multilingual-cased](https://huggingface.co/google-bert/bert-base-multilingual-cased) <!-- at revision 3f076fdb1ab68d5b2880cb87a0886f315b8146f8 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '58세 남자가 7시간 전부터 윗배가 아파서 병원에 왔다. 평소에 알코올간경화로 치료를 받고 있으며 소화궤양에 의한 천공으로 수술을 받을 예정이다. 혈압 130/90 mmHg, 맥박 95회/분, 호흡 22회/분, 체온 37.5℃이다. 배 전체가 딱딱하고 배에 압통과 반동압통이 있다. 혈액검사 결과는 다음과 같다. 수술 전 투여해야 할 제제는?혈색소 10.3 g/dL, 백혈구 22,000/mm^3, 혈소판 120,000/mm^3 프로트롬빈시간 20초(참고치, 12.7～15.4) 활성화부분트롬보플라스틴시간 30초(참고치, 26.3～39.4) 총단백질 6.5 g/dL, 알부민 3.0 g/dL,총빌리루빈 3.5 mg/dL, ',
    '신선동결혈장',
    '면허자격 정지',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### Unnamed Dataset


* Size: 1,890 training samples
* Columns: <code>query</code> and <code>answer</code>
* Approximate statistics based on the first 1000 samples:
  |         | query                                                                                | answer                                                                           |
  |:--------|:-------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------|
  | type    | string                                                                               | string                                                                           |
  | details | <ul><li>min: 11 tokens</li><li>mean: 112.75 tokens</li><li>max: 316 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 8.62 tokens</li><li>max: 33 tokens</li></ul> |
* Samples:
  | query                                                                                                                                                                                                                                                                                                                                                                                                   | answer                                 |
  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------|
  | <code>항문압 측정 검사에서 항문 압력이 증가하는 경우는?</code>                                                                                                                                                                                                                                                                                                                                                               | <code>항문열창(anal fissure)</code>        |
  | <code>복부대동맥(abdominal aorta) 에서 처음 분지(first branch) 되는 동맥은?</code>                                                                                                                                                                                                                                                                                                                                      | <code>돌잘록창자동맥(ileocolic artery)</code> |
  | <code>58세 남자가 대량 장절제 후 짧은창자증후군(short bowel syndrome) 으로 4개월 간 완전비경구<br>영양요법을 받고 있는 중이다. 채혈 후 피가 잘 멎지 않았다. 혈액검사 결과는 다음과 같다.<br>결핍이 의심되는 것은?<br>혈색소 13.5 g/dL, 백혈구 4,500/mm^3, 혈소판 220,000/mm^3 <br>알부민 3.7 g/dL, 총 빌리루빈 1.0 mg/dL,  알칼리 인산분해효소(ALP) 90 U/L,<br>아스파르테이트 아미노전달효소(AST) 22 U/L, 알라닌 아미노전달효소(ALT) 16 U/L,<br>프로트롬빈시간 30.5초 (참고치, 12.7~15.4),<br>활성화부분트롬보플라스틴시간 34.5초 (참고치, 26.3~39.4) </code> | <code>트롬빈</code>                       |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Evaluation Dataset

#### Unnamed Dataset


* Size: 164 evaluation samples
* Columns: <code>query</code> and <code>answer</code>
* Approximate statistics based on the first 1000 samples:
  |         | query                                                                                | answer                                                                           |
  |:--------|:-------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------|
  | type    | string                                                                               | string                                                                           |
  | details | <ul><li>min: 18 tokens</li><li>mean: 153.24 tokens</li><li>max: 369 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 9.71 tokens</li><li>max: 40 tokens</li></ul> |
* Samples:
  | query                                                                                                      | answer                |
  |:-----------------------------------------------------------------------------------------------------------|:----------------------|
  | <code>광역시 소재 대학병원에 소속된 내과 전문의 A가 콜레라 환자를 진단했다. A가 할 조치는?</code>                                            | <code>병원장에게 보고</code> |
  | <code>A는 제1급 감염병으로 진단을 받았다. B는 마스크를 착용하지 않은 채 A와 밀접하게 접촉했다. B는 증상이 없다. 역학조사관은 이 단계에서 B를 무엇으로 분류하는가?</code> | <code>감염병 의심자</code>  |
  | <code>검역소 내 격리병동에 격리되어 있던 콜레라 환자 A의 감염력이 없어진 것이 확인되었다. A에 대한 조치는?</code>                                   | <code>격리 해제</code>    |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: epoch
- `per_device_eval_batch_size`: 16
- `learning_rate`: 3e-05
- `warmup_ratio`: 0.1
- `fp16`: True
- `load_best_model_at_end`: True
- `ddp_find_unused_parameters`: False

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 8
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 3e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 3
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: False
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch  | Step | Training Loss | loss   |
|:------:|:----:|:-------------:|:------:|
| 0.1055 | 25   | 2.4397        | -      |
| 0.2110 | 50   | 1.986         | -      |
| 0.3165 | 75   | 1.881         | -      |
| 0.4219 | 100  | 1.8105        | -      |
| 0.5274 | 125  | 1.7378        | -      |
| 0.6329 | 150  | 1.5942        | -      |
| 0.7384 | 175  | 1.4586        | -      |
| 0.8439 | 200  | 1.3904        | -      |
| 0.9494 | 225  | 1.4707        | -      |
| 1.0    | 237  | -             | 1.3109 |
| 1.0549 | 250  | 1.234         | -      |
| 1.1603 | 275  | 1.1867        | -      |
| 1.2658 | 300  | 1.0103        | -      |
| 1.3713 | 325  | 1.088         | -      |
| 1.4768 | 350  | 1.1066        | -      |
| 1.5823 | 375  | 1.049         | -      |
| 1.6878 | 400  | 1.0639        | -      |
| 1.7932 | 425  | 1.1133        | -      |
| 1.8987 | 450  | 0.9188        | -      |
| 2.0    | 474  | -             | 1.0434 |


### Framework Versions
- Python: 3.10.14
- Sentence Transformers: 3.0.1
- Transformers: 4.42.2
- PyTorch: 2.3.0
- Accelerate: 0.31.0
- Datasets: 2.19.1
- Tokenizers: 0.19.1

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->