SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Cán_bộ đầu_mối của Cổng thông_tin điện_tử Bộ Kế_hoạch và Đầu_tư có trách_nhiệm như thế_nào ?',
    'Trách_nhiệm của cán_bộ đầu_mối của MPI Portal 1  . Giữ mối liên_lạc thường_xuyên với đơn_vị đầu_mối về MPI Portal 2  . Tổ_chức thu_thập , biên_tập , cập_nhật và cung_cấp thông_tin về các hoạt_động nghiệp_vụ thuộc phạm_vi chức_năng , nhiệm_vụ của đơn_vị ; trình Thủ_trưởng đơn_vị phê_duyệt nội_dung thông_tin trước khi gửi cho MPI Portal .  3  . Tổng_hợp , báo_cáo Thủ_trưởng đơn_vị kịp_thời các yêu_cầu , ý_kiến của bạn_đọc ; phối_hợp với các cán_bộ , chuyên_viên của đơn_vị được giao thực_hiện trả_lời ý_kiến bạn_đọc và đơn_vị đầu_mối về MPI Portal trong việc tổ_chức thực_hiện trả_lời ý_kiến bạn_đọc',
    '1  . Cán_bộ , công_chức , viên_chức trong các cơ_quan thanh_tra nhà_nước phải làm những việc sau đây : a ) Nêu cao ý_thức trách_nhiệm phòng , chống tham_nhũng và thực_hành tiết_kiệm , chống lãng_phí trong hoạt_động thanh_tra . Thực_hiện đúng nguyên_tắc , nội_dung , thẩm_quyền , trình_tự , thủ_tục thanh_tra được quy_định trong Luật Thanh_tra , Luật_Phòng , chống tham_nhũng và các văn_bản pháp_luật khác có liên_quan ; b ) Có thái_độ thận_trọng , khách_quan , toàn_diện khi xem_xét , đánh_giá sự_việc ; lắng_nghe , tôn_trọng các ý_kiến_giải_trình hợp_lý của đối_tượng_thanh_tra , hướng_dẫn cho đối_tượng_thanh_tra hiểu và thực_hiện đúng quy_định pháp_luật ; c ) Báo_cáo với Người ra quyết_định thanh_tra hoặc Trưởng_đoàn thanh_tra khi cán_bộ , công_chức , viên_chức thanh_tra có mối quan_hệ với đối_tượng_thanh_tra có_thể ảnh_hưởng không đúng_đắn đến việc thực_hiện nhiệm_vụ , công_vụ ; báo_cáo kịp_thời với Trưởng_đoàn thanh_tra khi phát_hiện xung_đột lợi_ích trong quá_trình thực_hiện nhiệm_vụ thanh_tra ; d ) Tránh các quan_hệ xã_hội có_thể dẫn đến việc phải nhân_nhượng trong hoạt_động thanh_tra ; đ ) Kịp_thời cung_cấp thông_tin , báo_cáo với Người ra quyết_định thanh_tra hoặc Trưởng_đoàn thanh_tra khi phát_hiện các hành_vi tham_nhũng , tiêu_cực .  2  . Cán_bộ , công_chức , viên_chức trong các cơ_quan thanh_tra nhà_nước không được làm những việc sau đây : a ) Lợi_dụng danh_nghĩa cán_bộ , công_chức , viên_chức thanh_tra để thực_hiện_hành_vi trái pháp_luật ; lạm_quyền , nhũng_nhiễu , gây khó_khăn , phiền_hà cho đối_tượng_thanh_tra ; sử_dụng phương_tiện , tài_sản của đối_tượng_thanh_tra vì lợi_ích cá_nhân ; b ) Tư_vấn , môi_giới cho các tổ_chức , cá_nhân ở trong nước và nước_ngoài về các công_việc có liên_quan đến những công_việc thuộc thẩm_quyền giải_quyết của mình và các công_việc khác mà việc tư_vấn , môi_giới đó có khả_năng gây phương_hại đến lợi_ích quốc_gia , đến cơ_quan , đơn_vị ; c ) Nhận quà tặng của đối_tượng_thanh_tra dưới mọi hình_thức ; trường_hợp không từ_chối được phải báo_cáo Người ra quyết_định thanh_tra hoặc Trưởng_đoàn thanh_tra để quản_lý , xử_lý quà tặng theo quy_định của pháp_luật ; d ) Kết_luận , kiến_nghị , quyết_định xử_lý trái pháp_luật ; báo_cáo sai sự_thật ; bao_che cho người có hành_vi vi_phạm_pháp_luật ; truy_ép , gợi_ý cho đối_tượng_thanh_tra trả_lời , trình_bày sự_việc theo ý_muốn chủ_quan của mình ; đ ) Cản_trở , can_thiệp trái pháp_luật vào hoạt_động thanh_tra , hoạt_động giám_sát Đoàn thanh_tra ; tiết_lộ thông_tin , tài_liệu về nội_dung thanh_tra khi Kết_luận thanh_tra chưa được công_khai và chưa được lãnh_đạo giao theo quy_định của pháp_luật ; e ) Trả_thù , đe_dọa , trù_dập người tố_cáo các hành_vi vi_phạm của mình .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 110,094 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 6 tokens
mean: 17.3 tokens
max: 36 tokens

min: 15 tokens
mean: 172.63 tokens
max: 256 tokens

	anchor	positive
type	string	string
details	min: 6 tokens mean: 17.3 tokens max: 36 tokens	min: 15 tokens mean: 172.63 tokens max: 256 tokens

Samples:

anchor	positive
`Tiêu_chuẩn của Kiểm_soát viên chính thị_trường là gì ?`	Điều 6 . Kiểm_soát viên chính thị_trường ... 3 . Tiêu_chuẩn về năng_lực chuyên_môn , nghiệp_vụ : a ) Nắm vững đường_lối , chủ_trương của Đảng và pháp_luật của Nhà_nước ; hệ_thống chính_trị , hệ_thống tổ_chức các cơ_quan nhà_nước , chế_độ công_vụ công_chức và các kiến_thức , kỹ_năng chuyên_môn , nghiệp_vụ liên_quan đến chức_năng , nhiệm_vụ , quyền_hạn của lực_lượng Quản_lý thị_trường ; b ) Nắm vững tình_hình , xu_thế phát_triển của thị_trường hàng_hóa , công_tác phòng , chống buôn_lậu , gian_lận thương_mại , hàng giả và chiến_lược phát_triển của lực_lượng Quản_lý thị_trường ; c ) Có khả_năng tham_gia xây_dựng các văn_bản quy_phạm_pháp_luật , chiến_lược , kế_hoạch , chương_trình , dự_án , đề_án về tổ_chức , hoạt_động của lực_lượng Quản_lý thị_trường và hướng_dẫn , kiểm_tra , đánh_giá việc thực_hiện chế_độ , chính_sách , các quy_định về chức_năng , nhiệm_vụ , quyền_hạn của lực_lượng Quản_lý thị_trường ; d ) Có khả_năng chỉ_đạo , hướng_dẫn và thực_hiện hoạt_động kiểm_tra , thanh_tra ch...
`Công_ty chế biển sản_phẩm rong nho tách nước thì phải kê_khai , tính nộp thuế GTGT theo mức bao_nhiêu ?`	Điều 10 . Thuế_suất 5 % ... 5 . Sản_phẩm trồng_trọt , chăn_nuôi , thủy_sản , hải_sản chưa qua chế_biến hoặc chỉ qua sơ_chế , bảo_quản ( hình_thức sơ_chế , bảo_quản theo hướng_dẫn tại khoản 1 Điều 4 Thông_tư này ) ở khâu kinh_doanh thương_mại , trừ các trường_hợp hướng_dẫn tại khoản 5 Điều 5 Thông_tư này . Sản_phẩm trồng_trọt chưa qua chế_biến hướng_dẫn tại khoản này bao_gồm cả thóc , gạo , ngô , khoai , sắn , lúa mỳ . "
`Người lao_động có 2 quyển sổ BHXH thì có được quyền rút BHXH 1 lần luôn không ?`	Điều 27 . Cấp lại , đổi , điều_chỉnh nội_dung trên sổ BHXH , thẻ BHYT 1 . Cấp lại sổ BHXH do mất , hỏng , gộp sổ BHXH 1 . 1 . Thành_phần hồ_sơ : a ) Cấp lại sổ BHXH do mất , hỏng : Tờ khai tham_gia , điều_chỉnh thông_tin BHXH , BHYT ( Mẫu TK 1 - TS ) . b ) Gộp sổ BHXH : - Tờ khai tham_gia , điều_chỉnh thông_tin BHXH , BHYT ( Mẫu TK 1 - TS ) . - Các sổ BHXH đề_nghị gộp ( nếu có ) . 1 . 2 . Số_lượng hồ_sơ : 01 bộ . 2 . Cấp lại sổ BHXH do thay_đổi họ , tên , chữ đệm ; ngày , tháng , năm sinh ; giới_tính , dân_tộc ; quốc_tịch ; điều_chỉnh nội_dung đã ghi trên sổ BHXH 2 . 1 . Thành_phần hồ sơa ) Người tham_gia - Tờ khai tham_gia , điều_chỉnh thông_tin BHXH , BHYT ( Mẫu TK 1 - TS ) . - Hồ_sơ kèm theo ( Mục 3 , 4 Phụ_lục 01 ) . b ) Đơn_vị : Bảng kê thông_tin ( Mẫu D 01 - TS ) . 2 . 2 . Số_lượng hồ_sơ : 01 bộ .

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

Size: 12,233 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 5 tokens
mean: 17.34 tokens
max: 43 tokens

min: 18 tokens
mean: 172.57 tokens
max: 256 tokens

	anchor	positive
type	string	string
details	min: 5 tokens mean: 17.34 tokens max: 43 tokens	min: 18 tokens mean: 172.57 tokens max: 256 tokens

Samples:

anchor	positive
`Phòng Thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan thuộc Cục Điều_tra chống buôn_lậu thực_hiện chức_năng gì ?`	`CHỨC_NĂNG , NHIỆM_VỤ , QUYỀN HẠNII . Phòng Thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan ( gọi tắt là Phòng 2 ) Phòng Thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan có chức_năng tham_mưu , giúp Cục_trưởng Cục Điều_tra chống buôn_lậu trong công_tác thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan trong phạm_vi , nhiệm_vụ , quyền_hạn được giao ... .`
`Hồ_sơ thăm_viếng mộ liệt_sĩ gồm những thành_phần_nào ?`	2 . Phòng Lao_động - Thương_binh và Xã_hội tại địa_phương nơi quản_lý hồ_sơ gốc của liệt_sĩ có trách_nhiệm kiểm_tra và cấp giấy giới_thiệu thăm_viếng mộ liệt_sĩ theo Mẫu_số 42 Phụ_lục I Nghị_định này trong thời_gian 03 ngày làm_việc kể từ ngày nhận đủ giấy_tờ . 3 . Ủy_ban nhân_dân cấp xã nơi quản_lý mộ hoặc thuộc địa_phương nơi liệt_sĩ hy_sinh trong thời_gian 01 ngày làm_việc có trách_nhiệm xác_nhận vào giấy giới_thiệu thăm_viếng mộ liệt_sĩ . 4 . Người đi thăm_viếng mộ liệt_sĩ gửi giấy giới_thiệu thăm_viếng mộ liệt_sĩ đã được xác_nhận đến Phòng Lao_động - Thương_binh và Xã_hội tại địa_phương nơi quản_lý hồ_sơ gốc của liệt_sĩ để nhận hỗ_trợ . 5 . Phòng Lao_động - Thương_binh và Xã_hội tại địa_phương nơi quản_lý hồ_sơ gốc của liệt_sĩ thực_hiện chi hỗ_trợ thăm_viếng mộ liệt_sĩ trong thời_gian 02 ngày làm_việc kể từ ngày tiếp_nhận giấy giới_thiệu có xác_nhận của Ủy_ban nhân_dân cấp xã nơi thăm_viếng mộ hoặc thuộc địa_phương nơi liệt_sĩ hy_sinh .
`Khi thực_hiện nhiệm_vụ nếu phát_sinh vấn_đề có liên_quan đến quyền_hạn của đơn_vị khác thuộc Bộ Tư_pháp thì Cục Kế_hoạch Tài_chính có trách_nhiệm gì ?`	Trách_nhiệm và mối quan_hệ công tácTrách nhiệm và mối quan_hệ công_tác giữa Vụ với Lãnh_đạo Bộ , các cơ_quan , đơn_vị có liên_quan thuộc các Bộ , ngành , các đơn_vị thuộc Bộ , các Sở Tư_pháp , Cục Thi_hành án dân_sự các tỉnh , thành_phố trực_thuộc Trung_ương và các tập_thể , cá_nhân có liên_quan khác được thực_hiện theo quy_định của pháp_luật , theo Quy_chế làm_việc của Bộ và các quy_định cụ_thể sau : 1 . Vụ chịu sự lãnh_đạo , chỉ_đạo trực_tiếp của Bộ_trưởng hoặc Thứ_trưởng được Bộ_trưởng phân_công phụ_trách ; có trách_nhiệm báo_cáo , kiến_nghị kịp_thời những vấn_đề thuộc thẩm_quyền giải_quyết của Lãnh_đạo Bộ , kết_quả_thực_hiện nhiệm_vụ công_tác , chương_trình , kế_hoạch thuộc phạm_vi , chức_năng của Vụ . 2 . Là đầu_mối giúp Lãnh_đạo Bộ thực_hiện quan_hệ công_tác với Bộ , ngành , địa_phương và các cơ_quan , tổ_chức khác có liên_quan trong lĩnh_vực thuộc phạm_vi chức_năng của Vụ . 3 . Trong quá_trình triển_khai thực_hiện nhiệm_vụ , quyền_hạn quy_định tại Điều 2 của Quyết_định n...

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
learning_rate: 2e-05
weight_decay: 0.01
num_train_epochs: 7
warmup_ratio: 0.1
warmup_steps: 50
fp16: True
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 7
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 50
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0291	100	0.202	-
0.0581	200	0.1929	-
0.0872	300	0.1751	0.1430
0.1162	400	0.1245	-
0.1453	500	0.1347	-
0.1744	600	0.105	0.0984
0.2034	700	0.0873	-
0.2325	800	0.0916	-
0.2616	900	0.0882	0.0822
0.2906	1000	0.079	-
0.3197	1100	0.071	-
0.3487	1200	0.0817	0.0739
0.3778	1300	0.063	-
0.4069	1400	0.0726	-
0.4359	1500	0.0767	0.0681
0.4650	1600	0.0753	-
0.4940	1700	0.0647	-
0.5231	1800	0.0538	0.0631
0.5522	1900	0.057	-
0.5812	2000	0.0592	-
0.6103	2100	0.06	0.0588
0.6393	2200	0.0626	-
0.6684	2300	0.0562	-
0.6975	2400	0.0589	0.0555
0.7265	2500	0.0515	-
0.7556	2600	0.0581	-
0.7847	2700	0.0498	0.0535
0.8137	2800	0.0503	-
0.8428	2900	0.047	-
0.8718	3000	0.0454	0.0521
0.9009	3100	0.0497	-
0.9300	3200	0.0524	-
0.9590	3300	0.0423	0.0492
0.9881	3400	0.0468	-
1.0171	3500	0.0578	-
1.0462	3600	0.0428	0.0474
1.0753	3700	0.0458	-
1.1043	3800	0.0377	-
1.1334	3900	0.0432	0.0453
1.1625	4000	0.0402	-
1.1915	4100	0.0403	-
1.2206	4200	0.0401	0.0442
1.2496	4300	0.0441	-
1.2787	4400	0.0373	-
1.3078	4500	0.043	0.0428
1.3368	4600	0.0432	-
1.3659	4700	0.0386	-
1.3949	4800	0.0352	0.0414
1.4240	4900	0.0389	-
1.4531	5000	0.04	-
1.4821	5100	0.0394	0.0428
1.5112	5200	0.0342	-
1.5402	5300	0.0462	-
1.5693	5400	0.0412	0.0406
1.5984	5500	0.0352	-
1.6274	5600	0.0363	-
1.6565	5700	0.0416	0.0392
1.6856	5800	0.0287	-
1.7146	5900	0.0325	-
1.7437	6000	0.0331	0.0375
1.7727	6100	0.0361	-
1.8018	6200	0.0468	-
1.8309	6300	0.0343	0.0371
1.8599	6400	0.0401	-
1.8890	6500	0.0425	-
1.9180	6600	0.0342	0.0382
1.9471	6700	0.0411	-
1.9762	6800	0.0393	-
2.0052	6900	0.0379	0.0376
2.0343	7000	0.0226	-
2.0634	7100	0.0251	-
2.0924	7200	0.0232	0.0363
2.1215	7300	0.0311	-
2.1505	7400	0.025	-
2.1796	7500	0.0245	0.0364
2.2087	7600	0.0291	-
2.2377	7700	0.03	-
2.2668	7800	0.0277	0.0354
2.2958	7900	0.0242	-
2.3249	8000	0.03	-
2.3540	8100	0.0301	0.0356
2.3830	8200	0.0288	-
2.4121	8300	0.0197	-
2.4412	8400	0.0351	0.0360
2.4702	8500	0.0215	-
2.4993	8600	0.0359	-
2.5283	8700	0.0257	0.0371
2.5574	8800	0.025	-
2.5865	8900	0.0337	-
2.6155	9000	0.0236	0.0350
2.6446	9100	0.0245	-
2.6736	9200	0.0293	-
2.7027	9300	0.0291	0.0363
2.7318	9400	0.0294	-
2.7608	9500	0.0273	-
2.7899	9600	0.0358	0.0375
2.8189	9700	0.0251	-
2.8480	9800	0.0352	-
2.8771	9900	0.0289	0.0367
2.9061	10000	0.0306	-
2.9352	10100	0.0249	-
2.9643	10200	0.0257	0.0362
2.9933	10300	0.0332	-
3.0224	10400	0.0208	-
3.0514	10500	0.0231	0.0359
3.0805	10600	0.0216	-
3.1096	10700	0.0193	-
3.1386	10800	0.0175	0.0367
3.1677	10900	0.0219	-
3.1967	11000	0.0188	-
3.2258	11100	0.0188	0.0343
3.2549	11200	0.0265	-
3.2839	11300	0.0218	-
3.3130	11400	0.0208	0.0350
3.3421	11500	0.0184	-
3.3711	11600	0.0232	-
3.4002	11700	0.0193	0.0355
3.4292	11800	0.0147	-
3.4583	11900	0.0209	-
3.4874	12000	0.028	0.0344
3.5164	12100	0.0203	-
3.5455	12200	0.0186	-
3.5745	12300	0.0233	0.0343
3.6036	12400	0.0231	-
3.6327	12500	0.022	-
3.6617	12600	0.0232	0.0345
3.6908	12700	0.0249	-
3.7198	12800	0.0241	-
3.7489	12900	0.025	0.0337
3.7780	13000	0.0182	-
3.8070	13100	0.0197	-
3.8361	13200	0.0187	0.0315
3.8652	13300	0.0168	-
3.8942	13400	0.0244	-
3.9233	13500	0.0179	0.0317
3.9523	13600	0.019	-
3.9814	13700	0.0196	-
4.0105	13800	0.0162	0.0332
4.0395	13900	0.0141	-
4.0686	14000	0.0172	-
4.0976	14100	0.0173	0.0321
4.1267	14200	0.0126	-
4.1558	14300	0.0113	-
4.1848	14400	0.017	0.0316
4.2139	14500	0.0132	-
4.2430	14600	0.0137	-
4.2720	14700	0.0153	0.0316
4.3011	14800	0.0141	-
4.3301	14900	0.0117	-
4.3592	15000	0.0169	0.0333
4.3883	15100	0.0169	-
4.4173	15200	0.0134	-
4.4464	15300	0.0178	0.0310
4.4754	15400	0.0155	-
4.5045	15500	0.0178	-
4.5336	15600	0.0098	0.0308
4.5626	15700	0.0118	-
4.5917	15800	0.0122	-
4.6207	15900	0.0138	0.0307
4.6498	16000	0.0125	-
4.6789	16100	0.0135	-
4.7079	16200	0.0155	0.0299
4.7370	16300	0.0129	-
4.7661	16400	0.0131	-
4.7951	16500	0.0114	0.0297
4.8242	16600	0.0131	-
4.8532	16700	0.0131	-
4.8823	16800	0.0144	0.0286
4.9114	16900	0.0116	-
4.9404	17000	0.0141	-
4.9695	17100	0.019	0.0294
4.9985	17200	0.0141	-
5.0276	17300	0.0136	-
5.0567	17400	0.0123	0.0275
5.0857	17500	0.0124	-
5.1148	17600	0.0088	-
5.1439	17700	0.0079	0.0283
5.1729	17800	0.0097	-
5.2020	17900	0.0085	-
5.2310	18000	0.0159	0.0297
5.2601	18100	0.0092	-
5.2892	18200	0.0168	-
5.3182	18300	0.01	0.0290
5.3473	18400	0.0086	-
5.3763	18500	0.0083	-
5.4054	18600	0.0127	0.0283
5.4345	18700	0.0107	-
5.4635	18800	0.0121	-
5.4926	18900	0.0098	0.0279
5.5217	19000	0.014	-
5.5507	19100	0.0114	-
5.5798	19200	0.012	0.0271
5.6088	19300	0.0105	-
5.6379	19400	0.0142	-
5.6670	19500	0.0096	0.0266
5.6960	19600	0.0113	-
5.7251	19700	0.0119	-
5.7541	19800	0.0142	0.0275
5.7832	19900	0.0097	-
5.8123	20000	0.008	-
5.8413	20100	0.0103	0.0272
5.8704	20200	0.0115	-
5.8994	20300	0.0107	-
5.9285	20400	0.0089	0.0277
5.9576	20500	0.0114	-
5.9866	20600	0.0097	-
6.0157	20700	0.0098	0.0271
6.0448	20800	0.012	-
6.0738	20900	0.0096	-
6.1029	21000	0.0081	0.0274
6.1319	21100	0.007	-
6.1610	21200	0.0086	-
6.1901	21300	0.0077	0.0276
6.2191	21400	0.0096	-
6.2482	21500	0.0071	-
6.2772	21600	0.0084	0.0274
6.3063	21700	0.0105	-
6.3354	21800	0.0089	-
6.3644	21900	0.0112	0.0276
6.3935	22000	0.0095	-
6.4226	22100	0.0081	-
6.4516	22200	0.0085	0.0271
6.4807	22300	0.0113	-
6.5097	22400	0.0088	-
6.5388	22500	0.0094	0.0267
6.5679	22600	0.0073	-
6.5969	22700	0.0075	-
6.6260	22800	0.0078	0.0266
6.6550	22900	0.0108	-
6.6841	23000	0.0125	-
6.7132	23100	0.0099	0.0263
6.7422	23200	0.0087	-
6.7713	23300	0.0078	-
6.8003	23400	0.0113	0.0263
6.8294	23500	0.0097	-
6.8585	23600	0.0066	-
6.8875	23700	0.0053	0.0262
6.9166	23800	0.0095	-
6.9457	23900	0.0067	-
6.9747	24000	0.01	0.0262

Framework Versions

Python: 3.11.10
Sentence Transformers: 3.4.1
Transformers: 4.48.3
PyTorch: 2.5.1+cu124
Accelerate: 1.3.0
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

truong1301
/

BKAI_FINETUNE_LEGAL2024

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

Evaluation Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

CachedMultipleNegativesRankingLoss

Model tree for truong1301/BKAI_FINETUNE_LEGAL2024