Hugging Face's logo

ghddls7799
/
medical-bgem3-dense-ko

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
dense
Generated from Trainer
dataset_size:11005
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Hill-Sachs 병변은 어깨 탈구와 관련된 병변으로, 병변의 크기와 위치에 따라 "on-track" 또는 "off-track"으로 분류된다. 다음 중 "off-track" 병변에 대해 옳게 설명한 것은? 1) 관절 운동 중 Glenoid와 충돌하지 않는다. 2) 관절경적 Bankart 수복술만으로 충분히 치료할 수 있다. 3) 관절 운동 중 병변이 Glenoid와 접촉하여 탈구 재발 위험이 크다. 4) 모든 Hill-Sachs 병변은 "off-track"으로 분류된다. 5) "off-track" 병변은 병변의 크기와 위치에 따라 결정된다.',
    '3) 관절 운동 중 병변이 Glenoid와 접촉하여 탈구 재발 위험이 크다.',
    '혈관조영 CT촬영은 컴퓨터 단층촬영(CT)을 이용하여 혈관의 구조와 상태를 상세히 확인하는 검사입니다. 이 검사는 조영제를 주입하여 혈관 내부를 선명하게 시각화함으로써 혈관의 협착, 폐색, 동맥류, 혈전 등의 이상을 진단하는 데 사용됩니다. 주로 심혈관계 질환, 뇌혈관 질환, 말초혈관 질환 등을 평가하거나 수술 전후의 상태를 확인하는 데 활용됩니다. 검사 과정에서 조영제를 정맥으로 주입하며, 조영제에 대한 알레르기 반응이 있는 경우 사전에 의료진에게 반드시 알려야 합니다. 검사 후에는 충분한 수분 섭취를 통해 조영제가 신속히 배출되도록 하는 것이 중요합니다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.6307, -0.0244],
#         [ 0.6307,  1.0000,  0.0355],
#         [-0.0244,  0.0355,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

  • Size: 11,005 training samples
  • Columns: anchor, positive, negative_1, negative_2, and negative_3
  • Approximate statistics based on the first 100 samples:
    anchor positive negative_1 negative_2 negative_3
    type string string string string string
    modality text text text text text
    details
    • min: 24 tokens
    • mean: 105.57 tokens
    • max: 238 tokens
    • min: 4 tokens
    • mean: 26.47 tokens
    • max: 246 tokens
    • min: 29 tokens
    • mean: 251.96 tokens
    • max: 512 tokens
    • min: 35 tokens
    • mean: 262.1 tokens
    • max: 512 tokens
    • min: 35 tokens
    • mean: 257.13 tokens
    • max: 512 tokens
  • Samples:
    anchor positive negative_1 negative_2 negative_3
    1960년대에 유럽에서 우울증 치료제로 도입된 약물로, 삼환계 항우울제에 속하며 이미프라민의 대사체로 작용하는 약물은 무엇인가? 데시프라민 1. 백내장의 비수술적 치료로는 안경 처방이 시력 개선에 효과적일 수 있습니다. 2. 눈부심을 줄이기 위해 유색 안경이나 모자를 사용하는 것이 도움이 될 수 있습니다. 3. 백내장의 원인과 증상에 대한 교육은 환자에게 유익할 수 있습니다. 4. 금연, 체질량지수 조절, 자외선 차단 등의 생활습관 개선은 백내장의 진행을 늦추는 데 기여할 수 있습니다. 5. 약물적 치료로는 항산화 성분이 포함된 점안액이나 요오드화 칼륨 성분의 점안액을 사용할 수 있습니다. 백내장은 전 세계적으로 예방 가능한 실명의 주요 원인 중 하나로, 단일 질환으로는 가장 큰 비중을 차지합니다. 1995년에 경남 창녕 지역에서 실시된 백내장 유병률 조사에 따르면, 직업별로 농부에서 다른 직업군에 비해 핵백내장의 발생률이 유의미하게 높게 나타났습니다. 성별로는 남성의 유병률이 32.3%였던 반면, 여성의 유병률은 67.7%로, 남성에 비해 여성이 2배 이상 높은 유병률을 보였습니다. 연령에 따른 유병률은 60세를 기점으로 급격히 증가하는 양상을 보였으며, 60대에서는 33.3%와 50.3%, 70대에서는 84.4%와 87.1%의 유병률을 기록했습니다. 1. 갑상선 초음파 검사는 갑상선 결절의 존재 여부를 진단하는 데 사용됩니다. 2. 초음파를 통해 갑상선 결절의 암 위험도를 평가할 수 있습니다. 3. 초음파 검사는 갑상선 결절에 대해 조직검사(생검)가 필요한지 여부를 판단하는 데 도움을 줍니다. 4. 갑상선암 또는 암이 의심되는 결절의 경우, 수술 전에 암이 주변 조직으로 얼마나 퍼졌는지 범위를 평가할 수 있습니다. 5. 초음파 검사는 경부 림프절의 전이 여부를 진단하고, 림프절에 대해 생검이 필요한지 결정하는 데 사용됩니다. 경부 림프절의 전이 여부를 정확히 진단하는 것은 수술 범위를 결정하는 데 매우 중요합니다. 따라서 모든 갑상선 결절 환자에서 초음파 검사를 시행할 때, 갑상선 주변 림프절뿐만 아니라 외측 경부 림프절까지 반드시 평가해야 합니다. 경부 림프절은 초음파 검사 결과에 따라 전이 의심 림프절, 미결절 림프절, 양성으로 추정되는 림프절로 분류할 수 있습니다. 그러나 초음파 검사를 통해 2mm 이하의 미세 전이 림프절을 진단하는 것은 불가능합니다. 따라서 초음파 검사의 주요 목적은 수술 결정에 중요한 거대 전이 림프절을 발견하는 데 있습니다.
    치질 수술 후 회복을 돕는 방법으로 적절한 것은 무엇인가? 1) 냉찜질 2) 온수 좌욕 3) 식이섬유 제한 4) 침상 안정 5) 과도한 운동 2) 온수 좌욕 1. 양성 갑상선 결절의 고주파 절제술은 2007년 12월 1일에 신의료기술로 등재되었습니다. 2. 이 시술은 증상이 있는 양성 갑상선 결절을 대상으로 시행하도록 제안되었습니다. 3. 고주파 절제술은 심폐 기능 저하로 인해 전신마취가 어려운 경우나, 수술로 인해 조직 변형 및 섬유화가 발생하여 유착이 심한 경우에도 시행할 수 있습니다. 4. 재발암의 크기에 대해서는 제한을 두지 않고 시술이 가능합니다. 5. 결절 내 고형 성분이 50% 이상인 경우에는 에탄올 주입술보다 고주파 절제술이 더 권장됩니다. 6. 고주파 절제술의 대상은 생검에서 2회 이상 양성으로 진단된 갑상선 결절로 권고됩니다. 7. 고주파 절제술의 합병증 및 부작용으로는 통증, 목소리 변형, 출혈, 일시적인 갑상선중독증, 영구적인 갑상선 기능 이상, 감염 및 농양 형성, 종양 파열, 피부 화상, 오심, 구토, 혈관 미주신경 반사 등이 다양하게 나타날 수 있습니다. 갑상선 미세유두암의 치료는 과거에는 대부분 수술적 방법이 적용되었습니다. 그러나 최근에는 미세유두암의 예후와 위험도를 종합적으로 평가하여, 모든 환자에게 수술을 시행하기보다는 선별적으로 수술을 결정하는 것이 원칙으로 자리 잡고 있습니다. 특히, 국내외 주요 학회에서는 저위험군에 속하는 미세갑상선암 환자들에게 수술적 치료 대신 적극적 감시(active surveillance)를 우선적으로 권고하고 있습니다. 치밀유방을 가진 서양 여성에서 유방암 검진을 위한 가이드라인에 따르면, 무작위 임상시험 결과 선별 유방촬영술은 유방암으로 인한 사망률을 감소시키는 것으로 나타났습니다. 이 검사의 평균 민감도는 약 75%로 보고되었으나, 치밀유방을 가진 경우 민감도는 약 50%로 매우 낮아지는 것으로 확인되었습니다. 또한, BRCA 유전자 변이가 있는 환자는 대개 나이가 젊고 치밀유방을 가질 가능성이 높습니다. 이러한 환자들에서는 유방초음파 검사와 자기공명영상(MRI) 검사가 유용한 진단 도구로 고려될 수 있습니다.
    마취 중 수혈이 필요한 경우, 사전에 반드시 확인해야 할 것은? 1) 환자의 수혈 동의 여부 2) 환자의 체중 3) 환자의 체온 4) 수술 종류 5) 환자의 혈압 1) 환자의 수혈 동의 여부 혈관성 부종은 모세혈관의 투과성이 증가하여 발생하는 부종으로, 주요 원인으로는 원발성 또는 전이성 뇌종양, 뇌경색의 후기 단계, 그리고 뇌외상이 포함됩니다. 이 유형의 부종은 스테로이드나 만니톨(Mannitol) 치료에 효과를 보입니다. 세포독성 부종은 세포의 부종으로 인해 발생하며, 주로 뇌경색의 초기 단계나 수분중독증과 같은 상태에서 나타날 수 있습니다. 이 경우 스테로이드는 효과가 없으나, 만니톨은 치료 효과를 보일 수 있습니다. 간질성 부종은 뇌척수액의 흡수 장애로 인해 발생하며, 폐쇄성 또는 교통성 수두증과 관련이 있습니다. 이 부종은 스테로이드에 효과가 없으며, 만니톨에 대한 효과는 명확히 밝혀지지 않았습니다. Uncal 탈출(하행성 천막뇌탈출)은 대뇌의 Uncus 부분이 천막(tentorium)을 통해 하방으로 이동하는 상태로, 이로 인해 같은 쪽의 동공이 확장되고, 같은 쪽의 반신마비 증상이 나타날 수 있습니다. 그러나 반대쪽 천막 가장자리(tentorial edge)에 의해 반대쪽 대뇌각이 눌리면서 Kernohan’s notch 효과로 인해 반대쪽에 신경학적 증상이 나타날 수도 있습니다. 중심성 탈출(Central herniation)은 대뇌의 중심부가 아래로 이동하는 상태를 말합니다. 대뇌겸상 탈출(Cingulate herniation)은 대뇌겸상(falx cerebri)을 따라 대뇌의 일부가 이동하는 상태입니다. 두개골 탈출(Transcalvarial herniation)은 두개골의 결손 부위를 통해 뇌 조직이 외부로 돌출되는 상태입니다. 상행성 천막뇌탈출(Upward transtentorial herniation)은 소뇌의 일부가 천막을 통해 위쪽으로 이동하는 상태입니다. 편도체 탈출(Tonsillar herniation)은 소뇌 편도체(cerebellar tonsil)가 대공(foramen magnum)을 통해 하방으로 이동하여 연수(medulla oblongata)를 압박하는 상태를 말합니다. 발기부전의 유병률에 대한 연구 결과는 다음과 같습니다. 1. 한국을 포함한 5개 아시아 국가에서 20세에서 75세 사이의 남성 10,000명 이상을 대상으로 진행된 역학 연구인 "Asian Men’s Attitudes to Life Events and Sexuality"에 따르면, 발기부전에 대한 자가 보고율은 64%로 나타났습니다. 2. 국내에서 40세에서 79세 사이의 남성 1,570명을 대상으로 한 역학 조사에서는 발기부전에 대한 자가 보고율이 13.4%로 보고되었습니다. 3. 또한, 국내에서 3,501명을 대상으로 시행된 설문지 기반 조사에서는 발기부전의 유병률이 36.6%로 나타났습니다. 뇌종양의 발생 빈도를 살펴보면, 가장 흔한 유형은 교종(glioma)으로 전체 뇌종양의 약 4045%를 차지합니다. 그다음으로는 수막종(meningioma)이 약 1520%를 차지하며, 전이성 종양(metastatic tumor)은 약 5%의 빈도를 보입니다. 뇌하수체 선종(pituitary adenoma)은 약 10~15%, 청신경종(acoustic neuroma)은 약 10%, 선천성 종양(congenital tumor)은 약 5%, 혈관성 종양(vascular tumor)은 약 4%의 빈도를 나타냅니다. 뇌종양의 발생 부위는 연령에 따라 차이가 있습니다. 소아의 경우, 약 60%의 뇌종양이 천막하부(infratentorial), 즉 후두와(posterior fossa)에 위치합니다. 이 부위에서 흔히 발생하는 종양으로는 소뇌성 성상세포종(cerebellar astrocytoma), 수모세포종(medulloblastoma), 뇌간 교종(stem glioma), 그리고 뇌실막세포종(ependymoma)이 있습니다. 반면, 성인의 경우 약 80%의 뇌종양이 천막상부(supratentorial)에 위치합니다. 이 부위에서 가장 흔히 발생하는 종양은 다형성 교모세포종(glioblastoma multiforme)입니다.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 50.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 2
  • num_train_epochs: 2.0
  • learning_rate: 1e-05
  • warmup_steps: 0.1
  • optim: adamw_torch
  • weight_decay: 0.01
  • gradient_accumulation_steps: 4
  • fp16: True
  • tf32: False
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: {'use_reentrant': False}
  • torch_empty_cache_steps: 50
  • data_seed: 42
  • dataloader_num_workers: 2
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 2
  • num_train_epochs: 2.0
  • max_steps: -1
  • learning_rate: 1e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.1
  • optim: adamw_torch
  • optim_args: None
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 4
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: False
  • fp16: True
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: False
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: {'use_reentrant': False}
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: 50
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 8
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: 42
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 2
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • dataloader_multiprocessing_context: None
  • dataloader_in_order: True
  • remove_unused_columns: True
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • local_rank: -1
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}
  • warmup_ratio: None

Training Logs

Click to expand
Epoch Step Training Loss
0.0007 1 0.1769
0.0073 10 1.1867
0.0145 20 1.1349
0.0218 30 1.0138
0.0291 40 0.5846
0.0363 50 0.3824
0.0436 60 0.1299
0.0509 70 0.2130
0.0582 80 0.1187
0.0654 90 0.3355
0.0727 100 0.0543
0.0800 110 0.0417
0.0872 120 0.0650
0.0945 130 0.0050
0.1018 140 0.0203
0.1090 150 0.0058
0.1163 160 0.0096
0.1236 170 0.0272
0.1308 180 0.0014
0.1381 190 0.0004
0.1454 200 0.0007
0.1526 210 0.0263
0.1599 220 0.0148
0.1672 230 0.0001
0.1745 240 0.0024
0.1817 250 0.0102
0.1890 260 0.0013
0.1963 270 0.0009
0.2035 280 0.0001
0.2108 290 0.0100
0.2181 300 0.0044
0.2253 310 0.0327
0.2326 320 0.0001
0.2399 330 0.0007
0.2471 340 0.0130
0.2544 350 0.0006
0.2617 360 0.0001
0.2689 370 0.0011
0.2762 380 0.0000
0.2835 390 0.0006
0.2908 400 0.0035
0.2980 410 0.0018
0.3053 420 0.0082
0.3126 430 0.0016
0.3198 440 0.0007
0.3271 450 0.0022
0.3344 460 0.0011
0.3416 470 0.0014
0.3489 480 0.0002
0.3562 490 0.0006
0.3634 500 0.0179
0.3707 510 0.0800
0.3780 520 0.0040
0.3852 530 0.0270
0.3925 540 0.0097
0.3998 550 0.0000
0.4071 560 0.0039
0.4143 570 0.0001
0.4216 580 0.0001
0.4289 590 0.0001
0.4361 600 0.0187
0.4434 610 0.0085
0.4507 620 0.0001
0.4579 630 0.1100
0.4652 640 0.0018
0.4725 650 0.0003
0.4797 660 0.0008
0.4870 670 0.0001
0.4943 680 0.0001
0.5015 690 0.0104
0.5088 700 0.0001
0.5161 710 0.0023
0.5234 720 0.0001
0.5306 730 0.0001
0.5379 740 0.0000
0.5452 750 0.0002
0.5524 760 0.0000
0.5597 770 0.0000
0.5670 780 0.0001
0.5742 790 0.0006
0.5815 800 0.0000
0.5888 810 0.0151
0.5960 820 0.0000
0.6033 830 0.0001
0.6106 840 0.0002
0.6178 850 0.0001
0.6251 860 0.0008
0.6324 870 0.0000
0.6397 880 0.0021
0.6469 890 0.0428
0.6542 900 0.0000
0.6615 910 0.0001
0.6687 920 0.0002
0.6760 930 0.0124
0.6833 940 0.0128
0.6905 950 0.0006
0.6978 960 0.0001
0.7051 970 0.0387
0.7123 980 0.0030
0.7196 990 0.0001
0.7269 1000 0.0002
0.7341 1010 0.0006
0.7414 1020 0.0008
0.7487 1030 0.0001
0.7560 1040 0.0014
0.7632 1050 0.0001
0.7705 1060 0.0003
0.7778 1070 0.0509
0.7850 1080 0.0031
0.7923 1090 0.0144
0.7996 1100 0.0202
0.8068 1110 0.0001
0.8141 1120 0.0003
0.8214 1130 0.0014
0.8286 1140 0.1300
0.8359 1150 0.0008
0.8432 1160 0.0001
0.8504 1170 0.0001
0.8577 1180 0.0002
0.8650 1190 0.0001
0.8723 1200 0.0131
0.8795 1210 0.0022
0.8868 1220 0.0003
0.8941 1230 0.0000
0.9013 1240 0.0000
0.9086 1250 0.0000
0.9159 1260 0.0000
0.9231 1270 0.0004
0.9304 1280 0.0004
0.9377 1290 0.0002
0.9449 1300 0.0224
0.9522 1310 0.0006
0.9595 1320 0.0010
0.9667 1330 0.0001
0.9740 1340 0.0012
0.9813 1350 0.0032
0.9886 1360 0.0102
0.9958 1370 0.0025
1.0029 1380 0.0000
1.0102 1390 0.0000
1.0174 1400 0.0001
1.0247 1410 0.0004
1.0320 1420 0.0000
1.0393 1430 0.0000
1.0465 1440 0.0000
1.0538 1450 0.0009
1.0611 1460 0.0000
1.0683 1470 0.0005
1.0756 1480 0.0031
1.0829 1490 0.0000
1.0901 1500 0.0396
1.0974 1510 0.0000
1.1047 1520 0.0003
1.1119 1530 0.0000
1.1192 1540 0.0000
1.1265 1550 0.0002
1.1337 1560 0.0044
1.1410 1570 0.0000
1.1483 1580 0.0001
1.1556 1590 0.0012
1.1628 1600 0.0000
1.1701 1610 0.0008
1.1774 1620 0.0002
1.1846 1630 0.0000
1.1919 1640 0.0000
1.1992 1650 0.0000
1.2064 1660 0.0072
1.2137 1670 0.0002
1.2210 1680 0.0001
1.2282 1690 0.0000
1.2355 1700 0.0004
1.2428 1710 0.0005
1.2500 1720 0.0013
1.2573 1730 0.0750
1.2646 1740 0.0001
1.2719 1750 0.0000
1.2791 1760 0.0203
1.2864 1770 0.0002
1.2937 1780 0.0002
1.3009 1790 0.0001
1.3082 1800 0.0099
1.3155 1810 0.0004
1.3227 1820 0.1305
1.3300 1830 0.0002
1.3373 1840 0.0003
1.3445 1850 0.0076
1.3518 1860 0.0002
1.3591 1870 0.0017
1.3663 1880 0.0001
1.3736 1890 0.0014
1.3809 1900 0.0002
1.3882 1910 0.0007
1.3954 1920 0.0000
1.4027 1930 0.0000
1.4100 1940 0.0001
1.4172 1950 0.0000
1.4245 1960 0.0001
1.4318 1970 0.0000
1.4390 1980 0.0001
1.4463 1990 0.0000
1.4536 2000 0.0001
1.4608 2010 0.0001
1.4681 2020 0.0000
1.4754 2030 0.0000
1.4826 2040 0.0038
1.4899 2050 0.0000
1.4972 2060 0.0000
1.5045 2070 0.0000
1.5117 2080 0.0001
1.5190 2090 0.0001
1.5263 2100 0.0206
1.5335 2110 0.0319
1.5408 2120 0.0057
1.5481 2130 0.0132
1.5553 2140 0.0008
1.5626 2150 0.0000
1.5699 2160 0.0003
1.5771 2170 0.0001
1.5844 2180 0.0000
1.5917 2190 0.0009
1.5989 2200 0.0000
1.6062 2210 0.0000
1.6135 2220 0.0005
1.6208 2230 0.0609
1.6280 2240 0.0574
1.6353 2250 0.0522
1.6426 2260 0.0000
1.6498 2270 0.0002
1.6571 2280 0.0167
1.6644 2290 0.0022
1.6716 2300 0.0266
1.6789 2310 0.0001
1.6862 2320 0.0000
1.6934 2330 0.0000
1.7007 2340 0.0008
1.7080 2350 0.0000
1.7152 2360 0.0000
1.7225 2370 0.0001
1.7298 2380 0.0027
1.7371 2390 0.0000
1.7443 2400 0.0128
1.7516 2410 0.0000
1.7589 2420 0.0000
1.7661 2430 0.0000
1.7734 2440 0.0213
1.7807 2450 0.0001
1.7879 2460 0.0000
1.7952 2470 0.0025
1.8025 2480 0.0003
1.8097 2490 0.0000
1.8170 2500 0.0000
1.8243 2510 0.0635
1.8315 2520 0.0000
1.8388 2530 0.0000
1.8461 2540 0.0000
1.8534 2550 0.0000
1.8606 2560 0.0001
1.8679 2570 0.0005
1.8752 2580 0.0001
1.8824 2590 0.0001
1.8897 2600 0.0000
1.8970 2610 0.2160
1.9042 2620 0.0000
1.9115 2630 0.0001
1.9188 2640 0.0004
1.9260 2650 0.0001
1.9333 2660 0.0000
1.9406 2670 0.0000
1.9478 2680 0.0025
1.9551 2690 0.0003
1.9624 2700 0.0000
1.9697 2710 0.0001
1.9769 2720 0.0537
1.9842 2730 0.0000
1.9915 2740 0.0000
1.9987 2750 0.0000

Training Time

  • Training: 2.1 hours

Framework Versions

  • Python: 3.12.7
  • Sentence Transformers: 5.7.0
  • Transformers: 5.15.0
  • PyTorch: 2.13.0+cu126
  • Accelerate: 1.14.0
  • Datasets: 5.0.1
  • Tokenizers: 0.22.2

Additional Resources

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}
Downloads last month
20
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for ghddls7799/medical-bgem3-dense-ko

Base model

BAAI/bge-m3
Finetuned
(559)
this model

Papers for ghddls7799/medical-bgem3-dense-ko