vitdangyeu/pbert_embedding

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Quy mô chăn nuôi được xác định theo nguyên tắc nào?',
    'Điều 8. Nội dung hồ sơ đồ án quy hoạch chung xây dựng xã 1. Thành phần bản vẽ:\na) Sơ đồ vị trí, mối liên hệ vùng: Xác định vị trí, ranh giới lập quy hoạch (toàn bộ ranh giới hành chính của xã); thể hiện các mối quan hệ giữa xã và vùng trong huyện có liên quan về kinh tế - xã hội; Điều kiện địa hình, địa vật, các vùng có ảnh hưởng lớn đến kiến trúc cảnh quan của xã; hạ tầng kỹ thuật đầu mối và các vấn đề khác tác động đến phát triển xã. Thể hiện theo tỷ lệ thích hợp.\nb) Bản đồ hiện trạng tổng hợp, đánh giá đất xây dựng: Sử dụng đất, kiến trúc cảnh quan, hệ thống hạ tầng xã hội (giáo dục, y tế, văn hóa, thương mại, cây xanh, nhà ở, ...); hiện trạng giao thông, cấp điện và chiếu sáng, cấp nước, cao độ nền và thoát nước mưa, thoát nước bẩn; thu gom chất thải rắn, nghĩa trang, môi trường. Xác định khu vực thuận lợi, ít thuận lợi, không thuận lợi cho phát triển của xã. Thể hiện theo tỷ lệ 1/5000 hoặc 1/10.000.\nc) Sơ đồ định hướng phát triển không gian toàn xã. Thể hiện theo tỷ lệ 1/5000 hoặc 1/10.000.\nd) Bản đồ quy hoạch sử dụng đất. Thể hiện theo tỷ lệ 1/5000 hoặc 1/10.000.\ne) Bản đồ quy hoạch hệ thống hạ tầng kỹ thuật và môi trường; hạ tầng phục vụ sản xuất. Thể hiện theo tỷ lệ 1/5000 hoặc 1/10.000.\n2. Thuyết minh:\na) Nêu lý do sự cần thiết lập quy hoạch; nêu đầy đủ căn cứ lập quy hoạch; xác định quan điểm và mục tiêu quy hoạch.\nb) Phân tích và đánh giá hiện trạng tổng hợp:\n- Điều kiện tự nhiên như: đặc điểm địa lý, địa hình, địa mạo, khí hậu, thủy văn, thổ nhưỡng, tài nguyên nước, rừng, biển. Các ảnh hưởng của thiên tai, biến đổi khí hậu, môi trường và các hệ sinh thái;\n- Dân số (số hộ dân, cơ cấu dân số, cơ cấu lao động, đặc điểm phát triển), đặc điểm về văn hóa, dân tộc và phân bố dân cư;\n- Phát triển kinh tế trong các lĩnh vực nông nghiệp và phi nông nghiệp; đánh giá thế mạnh, tiềm năng và các hạn chế trong phát triển kinh tế;\n- Hiện trạng sử dụng và biến động từng loại đất (lưu ý các vấn đề về sử dụng và khai thác đất nông nghiệp; những vấn đề tồn tại trong việc sử dụng đất đai);\n- Hiện trạng về nhà ở, công trình công cộng, hạ tầng kỹ thuật, hạ tầng phục vụ sản xuất, môi trường, các công trình di tích, danh lam, thắng cảnh du lịch;\n- Việc thực hiện các quy hoạch có liên quan, các dự án đã và đang triển khai trên địa bàn xã.\nc) Xác định tiềm năng, động lực và dự báo phát triển xã:\n- Dự báo quy mô dân số, lao động, số hộ cho giai đoạn quy hoạch 10 năm và phân kỳ quy hoạch 5 năm;\n- Dự báo loại hình, động lực phát triển kinh tế chủ đạo như: kinh tế thuần nông, nông lâm kết hợp; chăn nuôi; tiểu thủ công nghiệp; dịch vụ; quy mô sản xuất, sản phẩm chủ đạo, khả năng thị trường, định hướng giải quyết đầu ra;\n- Xác định tiềm năng đất đai phục vụ cho việc chuyển đổi cơ cấu sử dụng đất (nông nghiệp sang phi nông nghiệp hoặc đất đô thị) phục vụ dân cư, công trình hạ tầng và sản xuất;\n- Xác định quy mô đất xây dựng cho từng loại công trình công cộng, dịch vụ cấp xã, thôn, bản; quy mô và chỉ tiêu đất ở cho từng loại hộ gia đình như: hộ sản xuất nông nghiệp; hộ sản xuất tiểu thủ công nghiệp; hộ thương mại, dịch vụ trong toàn xã;\nd) Định hướng quy hoạch không gian tổng thể xã:\n- Định hướng tổ chức hệ thống trung tâm xã, khu dân cư mới và cải tạo thôn, bản. Xác định quy mô dân số, tính chất, nhu cầu đất ở cho từng khu dân cư mới và thôn, bản;\n- Định hướng tổ chức hệ thống công trình công cộng, dịch vụ. Xác định vị trí, quy mô, định hướng kiến trúc cho các công trình công cộng, dịch vụ cấp xã, thôn, bản;\n- Định hướng tổ chức không gian quy hoạch kiến trúc khu dân cư mới và các thôn, bản cũ. Xác định các chỉ tiêu quy hoạch, định hướng kiến trúc cho từng loại hình ở phù hợp với đặc điểm của địa phương;\n- Định hướng tổ chức các khu vực sản xuất tiểu thủ công nghiệp tập trung, làng nghề, khu vực sản xuất và phục vụ sản xuất nông nghiệp;\n- Định hướng tổ chức các khu chức năng đặc thù khác trên địa bàn xã.\ne) Quy hoạch sử dụng đất:\n- Quy hoạch các loại đất trên địa bàn xã cập nhật phù hợp với quy hoạch sử dụng đất cấp huyện;\n- Xác định diện tích đất cho nhu cầu phát triển theo các giai đoạn 5 năm, 10 năm và các thông số kỹ thuật chính cho từng loại đất, cụ thể: đất nông nghiệp, đất xây dựng và các loại đất khác;\n- Tổng hợp quy hoạch sử dụng đất theo Phụ lục số 01 ban hành kèm theo Thông tư này.\nf) Quy hoạch hạ tầng kỹ thuật:\n- Định hướng quy hoạch xây dựng hệ thống công trình hạ tầng kỹ thuật, các công trình đầu mối hạ tầng kỹ thuật trong phạm vi xã. Xác định khung hạ tầng phục vụ sản xuất như: đường nội đồng, kênh mương thủy lợi;\n- Xác định vị trí, quy mô cho các công trình hạ tầng kỹ thuật gồm: đường trục xã, đường liên thôn, đường trục thôn, cao độ nền, cấp điện, cấp thoát nước, xử lý chất thải và nghĩa trang.\ng) Đánh giá môi trường chiến lược.\nNội dung đánh giá môi trường chiến lược thực hiện theo quy định tại Luật Bảo vệ môi trường, Nghị định số 18/2015/NĐ-CP ngày 14/02/ 2015 của Chính phủ quy định về quy hoạch bảo vệ môi trường, đánh giá môi trường chiến lược, đánh giá tác động môi trường và kế hoạch bảo vệ môi và các văn bản khác có liên quan.\nh) Dự kiến các chương trình, dự án ưu tiên đầu tư.\n- Xác định các chương trình, dự án ưu tiên đầu tư trên địa bàn xã và kế hoạch thực hiện theo từng giai đoạn;\n- Dự kiến sơ bộ nhu cầu vốn và các nguồn lực thực hiện.\nk) Kết luận và kiến nghị.\n3. Các phụ lục tính toán kèm theo thuyết minh (các giải trình, giải thích, luận cứ bổ sung cho thuyết minh, các số liệu tính toán) và các văn bản pháp lý liên quan. Đĩa CD lưu trữ toàn bộ nội dung thuyết minh và bản vẽ.\n4. Dự thảo Quyết định phê duyệt đồ án quy hoạch bao gồm các nội dung quy định tại Điều 10 Thông tư này; Dự thảo Quy định quản lý xây dựng theo quy hoạch gồm các nội dung quy định tại Phụ lục số 02 ban hành kèm theo Thông tư này.',
    'Điều 9. Kỹ thuật trình bày văn bản Kỹ thuật trình bày văn bản bao gồm: Khổ giấy, kiểu trình bày, định lề trang, phông chữ, cỡ chữ, kiểu chữ, vị trí trình bày các thành phần thể thức, số trang văn bản. Kỹ thuật trình bày văn bản hành chính được thực hiện theo quy định tại Phụ lục I Nghị định này. Viết hoa trong văn bản hành chính được thực hiện theo quy định tại Phụ lục II Nghị định này. Chữ viết tắt tên loại văn bản hành chính được thực hiện theo quy định tại Phụ lục III Nghị định này.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.969
cosine_accuracy_threshold	0.6945
cosine_f1	0.6598
cosine_f1_threshold	0.6617
cosine_precision	0.6667
cosine_recall	0.6531
cosine_ap	0.6683
cosine_mcc	0.6425

Training Details

Training Dataset

Unnamed Dataset

• Size: 50,857 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 7 tokens mean: 23.66 tokens max: 46 tokens	min: 31 tokens mean: 235.28 tokens max: 256 tokens	min: 0.0 mean: 0.05 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  Hoạt động karaoke quá giờ được phép bị phạt bao nhiêu?	Điều 7. Vi phạm quy định về sử dụng hóa chất trong sản xuất, chế biến thực phẩm 1. Phạt tiền từ 10.000.000 đồng đến 20.000.000 đồng đối với hành vi sử dụng hóa chất được phép sử dụng trong hoạt động sản xuất, chế biến thực phẩm nhưng quá thời hạn sử dụng hoặc không có thời hạn sử dụng. 2. Phạt tiền từ 20.000.000 đồng đến 40.000.000 đồng đối với hành vi sử dụng hóa chất không có trong danh mục được phép sử dụng, hóa chất không rõ nguồn gốc để sản xuất, chế biến thực phẩm. 3. Phạt tiền từ 70.000.000 đồng đến 100.000.000 đồng đối với hành vi sử dụng hóa chất bị cấm sử dụng trong sản xuất, chế biến thực phẩm để sản xuất, chế biến thực phẩm. 4. Phạt tiền bằng 3,5 lần tổng giá trị thực phẩm vi phạm đối với hành vi quy định tại Khoản 3 Điều này nếu mức tiền phạt cao nhất của khung tiền phạt quy định tại Khoản 3 Điều này thấp hơn 3,5 lần tổng giá trị thực phẩm vi phạm tại thời điểm vi phạm. 5. Hình thức xử phạt bổ sung: a) Đình chỉ hoạt động sản xuất, chế biến thực phẩm từ 02 tháng đến 04 thán...	0.0
  Việc thanh toán tiền thi hành án của Thừa phát lại được quy định thế nào?	Điều 59. Thanh toán tiền thi hành án 1. Việc thanh toán tiền thi hành án của Thừa phát lại được thực hiện theo quy định của pháp luật thi hành án dân sự. 2. Cơ quan thi hành án dân sự và Văn phòng Thừa phát lại phải phối hợp thanh toán tiền thi hành án trong trường hợp người phải thi hành án phải thi hành nhiều nghĩa vụ đang do cơ quan thi hành án dân sự và Văn phòng Thừa phát lại cùng tổ chức thi hành.	1.0
  Xử lý trường hợp mã số REX bị thu hồi không đúng quy định như thế nào?	Điều 9. Trách nhiệm của các đơn vị trực thuộc Bộ Công Thương 1. Trách nhiệm của Cục Xuất nhập khẩu a) Xây dựng, trình cấp có thẩm quyền ban hành hoặc ban hành theo thẩm quyền văn bản triển khai chứng nhận xuất xứ hàng hóa theo GSP. b) Trình Bộ Công Thương ban hành văn bản ủy quyền hoặc giao cho các cơ quan, tổ chức thực hiện việc tiếp nhận đăng ký mã số REX. c) Là đầu mối liên hệ với cơ quan, tổ chức thuộc Ủy ban châu Âu, Na Uy, Thụy Sỹ và Thổ Nhĩ Kỳ triển khai chứng nhận xuất xứ hàng hóa theo GSP. d) Chủ trì, phối hợp với cơ quan, tổ chức, cá nhân liên quan kiểm tra việc thực hiện chứng nhận xuất xứ hàng hóa theo GSP. 2. Trách nhiệm của Cục Thương mại điện tử và Kinh tế số a) Phối hợp với tổ chức tiếp nhận đăng ký mã số REX triển khai hệ thống thu thập dữ liệu điện tử về chứng nhận xuất xứ hàng hóa theo GSP nhằm phục vụ công tác quản lý của Bộ Công Thương. b) Phối hợp với cơ quan, đơn vị liên quan xử lý vấn đề kỹ thuật phát sinh trong quá trình thực hiện.	0.0

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 4
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	cosine_ap
0.0786	500	0.0145	-
0.1573	1000	0.0067	0.1534
0.2359	1500	0.0058	-
0.3146	2000	0.0056	0.3572
0.3932	2500	0.0054	-
0.4718	3000	0.0049	0.4810
0.5505	3500	0.0052	-
0.6291	4000	0.0051	0.5532
0.7078	4500	0.0052	-
0.7864	5000	0.0057	0.4726
0.8651	5500	0.005	-
0.9437	6000	0.0052	0.5374
1.0	6358	-	0.5951
1.0223	6500	0.0046	-
1.1010	7000	0.004	0.5385
1.1796	7500	0.0039	-
1.2583	8000	0.0038	0.5346
1.3369	8500	0.0034	-
1.4155	9000	0.0038	0.6683

Framework Versions

• Python: 3.9.21
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.4.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}