checkpoint-474/README.md

metadata

base_model: google-bert/bert-base-multilingual-cased
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:1890
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: >-
      32세 여자가 목을 매다가 가족에게 발견되어 병원에 왔다. 임신 16주였으며 1개월 전부터 식사를 하지 않고 누워만 지냈다고 한다.
      기분이 우울하고 아무것도 하기가 싫다고 한다. 아이를 잘 키울 자신도 없고 살고 싶지 않으니 죽게 내버려 두라고 한다. 치료는?
    sentences:
      - 전기경련요법
      - 항응고제
      - 괜찮다고 안심시킴
  - source_sentence: >-
      59세 여자가 질분비물이 있고 외음부가 건조하고 따가워 병원에 왔다. 보습제를 사용하여도 증상이 지속되었다. 40세에 자궁근종으로
      자궁절제술을 받았고 왼쪽 다리의 깊은정맥혈전증으로 약물을 복용 중이다. 안면홍조와 불면증이 50대 초반에 있었다가 현재는 없고
      성교통이 있다. 골반검사에서 외음부 위축이 관찰되었고 질분비물의 젖은펴바른표본검사에서는 이상이 없다. 처치는?
    sentences:
      - 시상하부기능이상
      - 경질 에스트로겐
      - 면허 취소일부터 3년 경과
  - source_sentence: >-
      15세 여자가 5일 전부터 열이 나고 오한이 든다며 병원에 왔다. 음식을 삼킬 때 목이 아프다고 한다. 혈압 100/60 mmHg,
      맥박 75회/분, 호흡 18회/분, 체온 38.0℃이다. 목의 양쪽 여러 군데에서 1 cm 이하 크기의 림프절이 만져진다. 림프절은
      압통이 있으나 주위 조직에 고정되어 있지 않다. 몸에서 발진은 보이지 않는다. 혈액검사 결과는 다음과 같다. 다음 검사는?백혈구
      13,780/mm^3 (중성구 25%, 림프구 64%) 혈색소 13.3 g/dL, 혈소판 209,000/mm^3 혈액요소질소 7
      mg/dL,  크레아티닌 0.5 mg/dL, 아스파르테이트아미노전달효소 266 U/L 알라닌아미노전달효소 298 U/L  총빌리루빈
      0.7 mg/dL, 알칼리인산분해효소 146 U/L (참고치, 33～96) C-반응단백질 13 mg/L (참고치, <10) 
    sentences:
      - 혈청 바이러스캡시드항원(VCA) IgM 항체
      - 측정 바이어스
      - 날트렉손
  - source_sentence: >-
      임신나이 27주, 출생체중 750 g으로 태어난 신생아가 생후 5일째 갑자기 청색증이 발생하였다. 출생 직후 폐표면활성제를
      투여받았고, 이후 기계환기치료 중이다. 심박 170회/분, 호흡 80회/분, 경피산소포화도는 오른손과 왼발에서 모두 60% 이다.
      앞가슴이 팽창되고, 오른쪽 가슴 청진에서 호흡음이 잘 들리지 않는다. 검사는?
    sentences:
      - 요청에 응함
      - 비전형적 양상 동반 주요우울장애
      - 가슴 X선사진
  - source_sentence: >-
      58세 남자가 7시간 전부터 윗배가 아파서 병원에 왔다. 평소에 알코올간경화로 치료를 받고 있으며 소화궤양에 의한 천공으로 수술을
      받을 예정이다. 혈압 130/90 mmHg, 맥박 95회/분, 호흡 22회/분, 체온 37.5℃이다. 배 전체가 딱딱하고 배에 압통과
      반동압통이 있다. 혈액검사 결과는 다음과 같다. 수술 전 투여해야 할 제제는?혈색소 10.3 g/dL, 백혈구 22,000/mm^3,
      혈소판 120,000/mm^3 프로트롬빈시간 20초(참고치, 12.7～15.4) 활성화부분트롬보플라스틴시간 30초(참고치,
      26.3～39.4) 총단백질 6.5 g/dL, 알부민 3.0 g/dL,총빌리루빈 3.5 mg/dL, 
    sentences:
      - “전파 가능성이 이렇게 높은데도 다른 사람에게 전파를 매개하는 행위를 하면 형사처벌을 받을 수도 있습니다.”
      - 신선동결혈장
      - 면허자격 정지

SentenceTransformer based on google-bert/bert-base-multilingual-cased

This is a sentence-transformers model finetuned from google-bert/bert-base-multilingual-cased. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google-bert/bert-base-multilingual-cased
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '58세 남자가 7시간 전부터 윗배가 아파서 병원에 왔다. 평소에 알코올간경화로 치료를 받고 있으며 소화궤양에 의한 천공으로 수술을 받을 예정이다. 혈압 130/90 mmHg, 맥박 95회/분, 호흡 22회/분, 체온 37.5℃이다. 배 전체가 딱딱하고 배에 압통과 반동압통이 있다. 혈액검사 결과는 다음과 같다. 수술 전 투여해야 할 제제는?혈색소 10.3 g/dL, 백혈구 22,000/mm^3, 혈소판 120,000/mm^3 프로트롬빈시간 20초(참고치, 12.7～15.4) 활성화부분트롬보플라스틴시간 30초(참고치, 26.3～39.4) 총단백질 6.5 g/dL, 알부민 3.0 g/dL,총빌리루빈 3.5 mg/dL, ',
    '신선동결혈장',
    '면허자격 정지',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,890 training samples
• Columns: query and answer
• Approximate statistics based on the first 1000 samples:

  	query	answer
  type	string	string
  details	min: 11 tokens mean: 112.75 tokens max: 316 tokens	min: 3 tokens mean: 8.62 tokens max: 33 tokens

• Samples:

  query	answer
  항문압 측정 검사에서 항문 압력이 증가하는 경우는?	항문열창(anal fissure)
  복부대동맥(abdominal aorta) 에서 처음 분지(first branch) 되는 동맥은?	돌잘록창자동맥(ileocolic artery)
  58세 남자가 대량 장절제 후 짧은창자증후군(short bowel syndrome) 으로 4개월 간 완전비경구 영양요법을 받고 있는 중이다. 채혈 후 피가 잘 멎지 않았다. 혈액검사 결과는 다음과 같다. 결핍이 의심되는 것은? 혈색소 13.5 g/dL, 백혈구 4,500/mm^3, 혈소판 220,000/mm^3 알부민 3.7 g/dL, 총 빌리루빈 1.0 mg/dL, 알칼리 인산분해효소(ALP) 90 U/L, 아스파르테이트 아미노전달효소(AST) 22 U/L, 알라닌 아미노전달효소(ALT) 16 U/L, 프로트롬빈시간 30.5초 (참고치, 12.715.4), 활성화부분트롬보플라스틴시간 34.5초 (참고치, 26.339.4)	트롬빈

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 164 evaluation samples
• Columns: query and answer
• Approximate statistics based on the first 1000 samples:

  	query	answer
  type	string	string
  details	min: 18 tokens mean: 153.24 tokens max: 369 tokens	min: 3 tokens mean: 9.71 tokens max: 40 tokens

• Samples:

  query	answer
  광역시 소재 대학병원에 소속된 내과 전문의 A가 콜레라 환자를 진단했다. A가 할 조치는?	병원장에게 보고
  A는 제1급 감염병으로 진단을 받았다. B는 마스크를 착용하지 않은 채 A와 밀접하게 접촉했다. B는 증상이 없다. 역학조사관은 이 단계에서 B를 무엇으로 분류하는가?	감염병 의심자
  검역소 내 격리병동에 격리되어 있던 콜레라 환자 A의 감염력이 없어진 것이 확인되었다. A에 대한 조치는?	격리 해제

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_eval_batch_size: 16
• learning_rate: 3e-05
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• ddp_find_unused_parameters: False

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss
0.1055	25	2.4397	-
0.2110	50	1.986	-
0.3165	75	1.881	-
0.4219	100	1.8105	-
0.5274	125	1.7378	-
0.6329	150	1.5942	-
0.7384	175	1.4586	-
0.8439	200	1.3904	-
0.9494	225	1.4707	-
1.0	237	-	1.3109
1.0549	250	1.234	-
1.1603	275	1.1867	-
1.2658	300	1.0103	-
1.3713	325	1.088	-
1.4768	350	1.1066	-
1.5823	375	1.049	-
1.6878	400	1.0639	-
1.7932	425	1.1133	-
1.8987	450	0.9188	-
2.0	474	-	1.0434

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.0.1
• Transformers: 4.42.2
• PyTorch: 2.3.0
• Accelerate: 0.31.0
• Datasets: 2.19.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}