tanbinh2210/vietnamese-bi-encoder-on-vbpl-with-neg

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/vietnamese-bi-encoder-on-vbpl-with-neg")
# Run inference
sentences = [
    'Biên_bản tạm giữ tài_liệu , đồ_vật được lập như_thế_nào và có những nội_dung gì ?',
    'thư_tín , điện_tín , bưu_kiện , bưu_phẩm bị thu_giữ biết . Nếu việc thông_báo cản_trở điều_tra thì sau khi cản_trở đó không còn nữa , cơ_quan ra_lệnh thu_giữ phải thông_báo ngay . Điều 198 . Tạm giữ tài_liệu , đồ_vật khi khám_xét 1 . Khi khám_xét , Điều_tra_viên được tạm giữ đồ_vật là vật_chứng và tài_liệu có liên_quan trực_tiếp đến vụ án . Đối_với đồ_vật thuộc loại cấm tàng_trữ , lưu_hành thì phải thu_giữ và chuyển ngay cho cơ_quan quản_lý có thẩm_quyền . Trường_hợp cần_thiết phải niêm_phong thì tiến_hành trước mặt chủ_sở_hữu đồ_vật , người_quản_lý đồ_vật , người chứng_kiến , đại_diện gia_đình , đại_diện chính_quyền xã , phường , thị_trấn nơi khám_xét . 2 . Việc tạm giữ tài_liệu , đồ_vật khi tiến_hành khám_xét được lập biên_bản theo quy_định tại Điều 133 của Bộ_luật này . Biên_bản tạm giữ được lập thành bốn bản , trong đó một bản giao cho người chủ tài_liệu , đồ_vật hoặc người_quản_lý tài_liệu , đồ_vật , một bản đưa vào hồ_sơ vụ án , một bản giao cho Viện_kiểm_sát cùng cấp và một bản giao cho cơ_quan quản_lý tài_liệu , đồ_vật bị tạm giữ .',
    'tài_liệu điện_tử về tạm giữ , tạm giam . Chương II QUY_ĐỊNH CỤ_THỂ Điều 5 . Hồ_sơ quản_lý tạm giữ , tạm giam 1 . Hồ_sơ giấy , gồm các loại tài_liệu quy_định tại Khoản 1 , Khoản 2 Điều 17 Luật Thi_hành tạm giữ , tạm giam . 2 . Hồ_sơ điện_tử là tập_hợp thông_tin chứa các thông_tin cơ_bản liên_quan đến người bị tạm giữ , người bị tạm giam quy_định tại Khoản 1 , Khoản 2 Điều 17 Luật Thi_hành tạm giữ , tạm giam . Điều 6 . Tổ_chức , cá_nhân lập , quản_lý , lưu_trữ hồ_sơ quản_lý tạm giữ , tạm giam 1 . Cơ_quan lập , quản_lý , lưu_trữ hồ_sơ quản_lý tạm giữ , tạm giam a ) Cơ_quan Quản_lý thi_hành án hình_sự Bộ Quốc_phòng ; b ) Cơ_quan Thi_hành án hình_sự cấp quân_khu ; c ) Bộ_Chỉ_huy Bộ_đội biên_phòng cấp tỉnh có Đồn biên_phòng được tổ_chức buồng tạm giữ ; d ) Trại tạm giam thuộc Bộ Quốc_phòng , quân_khu , quân_đoàn ; đ ) Cơ_quan Điều_tra hình_sự khu_vực có nhà tạm giữ ; e ) Đồn biên_phòng có buồng tạm giữ ; 2 . Cá_nhân lập , quản_lý , lưu_trữ hồ_sơ quản_lý tạm giữ , tạm giam a ) Nhân_viên lưu_trữ ; b ) Trợ_lý giam_giữ kiêm hồ_sơ ;',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 194,225 training samples
• Columns: query, pos, and neg
• Approximate statistics based on the first 1000 samples:

  	query	pos	neg
  type	string	string	string
  details	min: 9 tokens mean: 19.54 tokens max: 51 tokens	min: 88 tokens mean: 179.38 tokens max: 256 tokens	min: 67 tokens mean: 180.11 tokens max: 256 tokens

• Samples:

  query	pos	neg
  Phân_biệt đối_xử trong việc_làm và nghề_nghiệp có bị nghiêm_cấm không ?	lao_động , người sử_dụng lao_động theo quy_định của pháp_luật . 3 . Cá_nhân có trách_nhiệm chủ_động tìm_kiếm việc_làm và tham_gia tạo việc_làm . Điều 9 . Những hành_vi bị nghiêm_cấm 1 . Phân_biệt đối_xử trong việc_làm và nghề_nghiệp . 2 . Xâm_phạm thân_thể , danh_dự , nhân_phẩm , tài_sản , quyền , lợi_ích hợp_pháp của người lao_động , người sử_dụng lao_động . 3 . Tuyển_dụng , sử_dụng người lao_động vào làm_việc trái quy_định của pháp_luật . 4 . Dụ_dỗ , hứa_hẹn và quảng_cáo gian_dối để lừa_gạt người lao_động hoặc lợi_dụng dịch_vụ việc_làm , thông_tin thị_trường lao_động để thực_hiện những hành_vi trái pháp_luật . 5 . Gian_lận , giả_mạo hồ_sơ trong việc thực_hiện chính_sách về việc_làm . 6 . Cản_trở , gây khó_khăn hoặc làm thiệt_hại đến quyền và lợi_ích hợp_pháp của người lao_động , người sử_dụng lao_động . Chương II CHÍNH_SÁCH HỖ_TRỢ TẠO VIỆC_LÀM Mục 1 CHÍNH_SÁCH TÍN_DỤNG ƯU_ĐÃI TẠO VIỆC_LÀM Điều 10 . Tín_dụng ưu_đãi tạo việc_làm Nhà_nước thực_hiện chính_sách tín_dụng ưu_đãi để hỗ_trợ tạo việc_làm , duy_trì và mở_rộng việc_làm từ Quỹ quốc_gia về việc_làm và các nguồn tín_dụng khác .	làm_việc ở nước_ngoài theo quy_định của Luật này . 2 . Người sử_dụng lao_động ở nước_ngoài là doanh_nghiệp , tổ_chức , cá_nhân trực_tiếp thuê_mướn , sử_dụng người lao_động Việt_Nam làm_việc cho mình ở nước_ngoài theo hợp_đồng lao_động . 3 . Bên nước_ngoài tiếp_nhận lao_động là người sử_dụng lao_động ở nước_ngoài , tổ_chức dịch_vụ việc_làm ở nước_ngoài . 4 . Phân_biệt đối_xử là hành_vi phân_biệt , loại_trừ hoặc ưu_tiên dựa trên chủng_tộc , màu_da , nguồn_gốc quốc_gia hoặc nguồn_gốc xã_hội , dân_tộc , giới_tính , độ tuổi , tình_trạng thai_sản , tình_trạng hôn_nhân , tôn_giáo , tín_ngưỡng , chính_kiến , khuyết_tật , trách_nhiệm gia_đình hoặc trên cơ_sở tình_trạng nhiễm HIV hoặc vì lý_do thành_lập , gia_nhập và hoạt_động công_đoàn , tổ_chức của người lao_động tại doanh_nghiệp có tác_động làm ảnh_hưởng đến bình_đẳng về cơ_hội việc_làm hoặc nghề_nghiệp . Việc phân_biệt , loại_trừ hoặc ưu_tiên xuất_phát từ yêu_cầu đặc_thù của công_việc và các hành_vi duy_trì , bảo_vệ việc_làm cho người lao_động dễ bị tổn_thương thì không bị xem là phân_biệt đối_xử .
  Công_ty tôi bị phong_tỏa tài_khoản vì liên_quan đến hành_vi phạm_tội , nhưng tài_khoản đó cũng có tiền_của cá_nhân tôi , tôi có bị ảnh_hưởng không ?	nhượng , đánh_tráo , cất_giấu , hủy_hoại tài_sản bị kê_biên thì người này phải chịu trách_nhiệm theo quy_định của pháp_luật . 3 . Khi kê_biên tài_sản của pháp_nhân phải có_mặt những người sau : a ) Người đại_diện theo pháp_luật của pháp_nhân ; b ) Đại_diện chính_quyền xã , phường , thị_trấn nơi pháp_nhân có tài_sản bị kê_biên ; c ) Người chứng_kiến . 4 . Thẩm_quyền , trình_tự , thủ_tục kê_biên tài_sản được thực_hiện theo quy_định tại Điều 128 của Bộ_luật này . Điều 438 . Phong_tỏa tài_khoản 1 . Phong_tỏa tài_khoản áp_dụng đối_với pháp_nhân bị khởi_tố , điều_tra , truy_tố , xét_xử về tội mà Bộ_luật_hình_sự quy_định hình_phạt tiền hoặc để bảo_đảm bồi_thường thiệt_hại và có căn_cứ xác_định pháp_nhân đó có tài_khoản tại tổ_chức tín_dụng hoặc Kho_bạc Nhà_nước . 2 . Phong_tỏa tài_khoản cũng được áp_dụng đối_với tài_khoản của cá_nhân , tổ_chức khác nếu có căn_cứ xác_định số tiền trong tài_khoản đó liên_quan đến hành_vi phạm_tội của pháp_nhân . 3 . Chỉ phong_tỏa số tiền trong tài_khoản tương_ứng với mức có_thể phạt tiền hoặc bồi_thường thiệt_hại .	phán chủ tọa phiên tòa có quyền ra_lệnh phong_tỏa tài_khoản . Lệnh phong_tỏa tài_khoản của những người được quy_định tại điểm a_khoản 1 Điều 113 của Bộ_luật này phải được thông_báo ngay cho Viện_kiểm_sát cùng cấp trước khi thi_hành . 3 . Chỉ phong_tỏa số tiền trong tài_khoản tương_ứng với mức có_thể bị phạt tiền , bị tịch_thu tài_sản hoặc bồi_thường thiệt_hại . Người được giao thực_hiện lệnh phong_tỏa , quản_lý tài_khoản bị phong_tỏa mà giải_tỏa việc phong_tỏa tài_khoản thì phải chịu trách_nhiệm hình_sự theo quy_định của Bộ_luật_hình_sự .
  Cơ_quan đại_diện ngoại_giao , cơ_quan lãnh_sự và tổ_chức quốc_tế có vai_trò gì trong việc giải_quyết kinh_phí đưa người chấp_hành án phạt trục_xuất về nước ?	Nam đối_với người chấp_hành án , Tòa_án phải gửi quyết_định đó cho cơ_quan thi_hành án hình_sự Công_an cấp tỉnh nơi Tòa_án đã ra quyết_định thi_hành án có trụ_sở , Viện_kiểm_sát cùng cấp . Điều 124 . Chi_phí trục_xuất Người chấp_hành án phạt trục_xuất phải chịu chi_phí vé máy_bay , ô_tô , tàu hỏa , tàu_biển để rời khỏi lãnh_thổ Việt_Nam ; trường_hợp người chấp_hành án phạt trục_xuất không có khả_năng tự chịu chi_phí thì cơ_quan thi_hành án hình_sự Công_an cấp tỉnh phối_hợp với cơ_quan quản_lý xuất_nhập_cảnh yêu_cầu cơ_quan đại_diện ngoại_giao , cơ_quan lãnh_sự của nước mà người đó mang quốc_tịch hoặc cơ_quan đại_diện của tổ_chức quốc_tế mà người đó làm_việc , cơ_quan , tổ_chức đã bảo_lãnh người đó vào Việt_Nam giải_quyết kinh_phí đưa người chấp_hành án phạt trục_xuất về nước ; trường_hợp đã yêu_cầu mà cơ_quan , tổ_chức đó vẫn chưa giải_quyết được kinh_phí nhưng vì lý_do an_ninh quốc_gia cần phải trục_xuất ngay thì Thủ_trưởng cơ_quan thi_hành án hình_sự Công_an cấp tỉnh báo_cáo cơ_quan quản_lý thi_hành án hình_sự thuộc Bộ Công_an quyết_định việc sử_dụng ngân_sách nhà_nước chi_trả vé máy_bay , ô_tô , tàu hỏa , tàu_biển cho người chấp_hành án phạt trục_xuất .	nhiệm của Bộ Ngoại_giao 1 . Giải_quyết các thủ_tục đối_ngoại liên_quan đến việc thi_hành quyết_định trục_xuất và các thủ_tục có liên_quan khác đối_với trường_hợp người bị tạm giữ , áp_giải theo thủ_tục hành_chính là người nước_ngoài . 2 . Trao_đổi , cung_cấp thông_tin liên_quan cho các cơ_quan có thẩm_quyền nước_ngoài , cơ_quan đại_diện ngoại_giao và lãnh_sự của nước mà người mang hộ_chiếu hoặc giấy_tờ thay_thế hộ_chiếu bị áp_dụng biện_pháp tạm giữ , áp_giải theo thủ_tục hành_chính và áp_dụng hình_thức xử_phạt trục_xuất . 3 . Chỉ_đạo các Sở Ngoại_vụ phối_hợp với các cơ_quan_chức_năng , cơ_quan đại_diện ngoại_giao hoặc cơ_quan đại_diện lãnh_sự của nước mà người mang hộ_chiếu hoặc giấy_tờ thay_thế hộ_chiếu bị tạm giữ hành_chính , bị trục_xuất ( trong trường_hợp bị chết ) để giải_quyết . Điều 36 . Trách_nhiệm của Bộ Tài_chính Bảo_đảm kinh_phí cho việc áp_dụng biện_pháp tạm giữ , áp_giải người theo thủ_tục hành_chính và áp_dụng hình_thức xử_phạt trục_xuất theo kế_hoạch được giao trong dự_toán ngân_sách hàng năm của Bộ Công_an . Điều 37 . Trách_nhiệm của Bộ Y_tế

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 194,225 evaluation samples
• Columns: query, pos, and neg
• Approximate statistics based on the first 1000 samples:

  	query	pos	neg
  type	string	string	string
  details	min: 9 tokens mean: 19.75 tokens max: 49 tokens	min: 72 tokens mean: 181.41 tokens max: 256 tokens	min: 65 tokens mean: 178.38 tokens max: 256 tokens

• Samples:

  query	pos	neg
  Thẩm_phán chủ tọa phiên tòa có những nhiệm_vụ và quyền_hạn gì trong vụ án hình_sự ?	vụ án hình_sự có những nhiệm_vụ , quyền_hạn : a ) Nghiên_cứu hồ_sơ vụ án trước khi mở phiên tòa ; b ) Tiến_hành xét_xử vụ án ; c ) Tiến_hành hoạt_động tố_tụng và biểu_quyết những vấn_đề thuộc thẩm_quyền của Hội_đồng xét_xử ; d ) Tiến_hành hoạt_động tố_tụng khác thuộc thẩm_quyền của Tòa_án theo sự phân_công của Chánh_án Tòa_án . 2 . Thẩm_phán chủ tọa phiên tòa có những nhiệm_vụ , quyền_hạn quy_định tại khoản 1 Điều này và những nhiệm_vụ , quyền_hạn : a ) Quyết_định áp_dụng , thay_đổi , hủy bỏ biện_pháp ngăn_chặn , biện_pháp cưỡng_chế , trừ biện_pháp tạm giam ; b ) Quyết_định trả hồ_sơ để điều_tra bổ_sung ; c ) Quyết_định đưa vụ án ra xét_xử ; quyết_định đình_chỉ hoặc tạm đình_chỉ vụ án ; d ) Điều_hành việc xét_xử vụ án , tranh_tụng tại phiên tòa ; đ ) Quyết_định trưng_cầu giám_định , giám_định bổ_sung hoặc giám_định lại , thực_nghiệm điều_tra ; thay_đổi hoặc yêu_cầu thay_đổi người giám_định ; yêu_cầu định_giá tài_sản , yêu_cầu thay_đổi người định_giá tài_sản ;	cá_nhân cung_cấp tài_liệu , chứng_cứ hoặc xác_minh , thu_thập tài_liệu , chứng_cứ theo quy_định của Luật này ; 11 . Chủ_tọa hoặc tham_gia Hội_đồng xét_xử vụ án hành_chính ; biểu_quyết những vấn_đề thuộc thẩm_quyền của Hội_đồng xét_xử ; 12 . Xem_xét về tính hợp_pháp của văn_bản hành_chính , hành_vi hành_chính có liên_quan đến quyết_định hành_chính , hành_vi hành_chính bị kiện và đề_nghị Chánh_án Tòa_án kiến_nghị với cơ_quan , cá_nhân có thẩm_quyền xem_xét văn_bản hành_chính , hành_vi hành_chính đó theo quy_định của pháp_luật ; 13 . Phát_hiện và đề_nghị Chánh_án Tòa_án kiến_nghị với cơ_quan có thẩm_quyền xem_xét , sửa_đổi , bổ_sung hoặc bãi_bỏ văn_bản quy_phạm_pháp_luật có dấu_hiệu trái với Hiến_pháp , luật , văn_bản quy_phạm_pháp_luật của cơ_quan nhà_nước cấp trên theo quy_định của Luật này ; 14 . Xử_lý hành_vi cản_trở hoạt_động tố_tụng_hành_chính theo quy_định của pháp_luật ; 15 . Thực_hiện nhiệm_vụ , quyền_hạn khác theo quy_định của Luật này . Điều 39 . Nhiệm_vụ , quyền_hạn của Hội_thẩm_nhân_dân Khi được Chánh_án Tòa_án phân_công , Hội_thẩm_nhân_dân có những nhiệm_vụ , quyền_hạn sau đây :
  Khi phê_duyệt quy_hoạch_đô_thị , quy_hoạch xây_dựng nông_thôn , quy_hoạch xây_dựng khu công_nghiệp , khu nghiên_cứu đào_tạo , cơ_quan nhà_nước có thẩm_quyền có trách_nhiệm xác_định rõ diện_tích đất để xây_dựng nhà ở xã_hội như_thế_nào ?	duyệt quy_hoạch_đô_thị , quy_hoạch xây_dựng nông_thôn , quy_hoạch xây_dựng khu công_nghiệp , khu nghiên_cứu đào_tạo , Ủy_ban_nhân_dân có thẩm_quyền phê_duyệt quy_hoạch có trách_nhiệm xác_định rõ diện_tích đất để xây_dựng nhà ở xã_hội . 2 . Diện_tích đất và các thông_tin về khu_vực , địa_điểm dành để phát_triển nhà ở xã_hội phải được công_bố công_khai trên Cổng thông_tin điện_tử của Ủy_ban_nhân_dân cấp tỉnh và cơ_quan quản_lý nhà ở cấp tỉnh . 3 . Đất để phát_triển nhà ở xã_hội bao_gồm : a ) Đất được Nhà_nước giao để xây_dựng nhà ở cho thuê , cho thuê mua , bán ; b ) Đất được Nhà_nước cho thuê để xây_dựng nhà ở cho thuê ; c ) Diện_tích đất ở trong dự_án đầu_tư xây_dựng nhà ở thương_mại mà chủ đầu_tư phải dành để xây_dựng nhà ở xã_hội theo quy_định tại khoản 2 Điều 16 của Luật này ; d ) Đất ở hợp_pháp của tổ_chức , hộ gia_đình , cá_nhân dùng để xây_dựng nhà ở xã_hội . Điều 57 . Chủ đầu_tư dự_án xây_dựng nhà ở xã_hội	được phê_duyệt , quỹ đất 20 % dành để xây_dựng nhà ở xã_hội trong các dự_án phát_triển nhà ở thương_mại , khu đô_thị mới nhưng chưa sử_dụng để giao cho các chủ đầu_tư có nhu_cầu đầu_tư xây_dựng nhà ở xã_hội ; đ ) Xây_dựng , trình Ủy_ban_nhân_dân cấp tỉnh phê_duyệt kế_hoạch phát_triển quỹ nhà ở công_vụ do tỉnh quản_lý ( bao_gồm nhu_cầu đất_đai và vốn đầu_tư xây_dựng ) theo quy_định về tiêu_chuẩn diện_tích nhà ở công_vụ do Thủ_tướng Chính_phủ ban_hành ; e ) Xây_dựng , ban_hành khung_giá cho thuê nhà ở công_vụ ; khung_giá cho thuê , thuê mua và giá bán nhà ở thuộc sở_hữu nhà_nước phù_hợp với điều_kiện thực_tế của tỉnh ; tổ_chức thực_hiện các nhiệm_vụ về tiếp_nhận quỹ nhà ở tự_quản của Trung_ương và của tỉnh để thống_nhất quản_lý , thực_hiện bán nhà ở thuộc sở_hữu nhà_nước cho người đang thuê theo quy_định của pháp_luật ; g ) Tham_gia định_giá các loại nhà trên địa_bàn theo khung_giá , nguyên_tắc và phương_pháp định_giá các loại nhà của Nhà_nước ;
  Ủy ban_nhân_dân các cấp có trách_nhiệm gì trong quản_lý_nhà_nước về an_toàn , vệ_sinh lao_động ?	sinh lao_động 1 . Chính_phủ thống_nhất quản_lý_nhà_nước về an_toàn , vệ_sinh lao_động . 2 . Bộ Lao_động - Thương_binh_và Xã_hội chịu trách_nhiệm trước Chính_phủ thống_nhất thực_hiện quản_lý_nhà_nước về an_toàn , vệ_sinh lao_động . 3 . Các bộ , cơ_quan ngang bộ trong phạm_vi nhiệm_vụ , quyền_hạn của mình có trách_nhiệm thực_hiện quản_lý_nhà_nước về an_toàn , vệ_sinh lao_động . 4 . Ủy ban_nhân_dân các cấp trong phạm_vi nhiệm_vụ , quyền_hạn của mình thực_hiện quản_lý_nhà_nước về an_toàn , vệ_sinh lao_động . Điều 84 . Trách_nhiệm quản_lý_nhà_nước về an_toàn , vệ_sinh lao_động của Bộ_trưởng Bộ Lao_động - Thương_binh_và Xã_hội 1 . Chủ_trì xây_dựng , trình cơ_quan nhà_nước có thẩm_quyền ban_hành hoặc ban_hành theo thẩm_quyền và tổ_chức thực_hiện pháp_luật , chính_sách , kế_hoạch về an_toàn , vệ_sinh lao_động , chương_trình quốc_gia về an_toàn , vệ_sinh lao_động ; lập hồ_sơ quốc_gia về an_toàn , vệ_sinh lao_động .	chữa_cháy và cứu nạn , cứu_hộ tại các cụm công_nghiệp . Điều 32 . Quyền_hạn , trách_nhiệm của Ủy_ban_nhân_dân cấp tỉnh Ủy_ban_nhân_dân cấp tỉnh là cơ_quan quản_lý_nhà_nước về cụm công_nghiệp trên địa_bàn có quyền_hạn , trách_nhiệm : 1 . Chỉ_đạo xây_dựng , thực_hiện phương_án phát_triển cụm công_nghiệp trên địa_bàn ; quyết_định thành_lập , mở_rộng , điều_chỉnh hoặc bãi_bỏ quyết_định thành_lập , mở_rộng cụm công_nghiệp ; quy_định hoặc trình cơ_quan có thẩm_quyền quy_định việc hỗ_trợ đầu_tư từ ngân_sách địa_phương để xây_dựng hạ_tầng kỹ_thuật trong và ngoài các cụm công_nghiệp trên địa_bàn ; tổ_chức thực_thi các chính_sách , pháp_luật , kế_hoạch hoạt_động phát_triển cụm công_nghiệp trên địa_bàn . 2 . Ban_hành Quy_chế quản_lý cụm công_nghiệp , giải_quyết các thủ_tục triển_khai dự_án đầu_tư xây_dựng hạ_tầng kỹ_thuật và dự_án sản_xuất kinh_doanh trong cụm công_nghiệp theo cơ_chế một cửa , một cửa liên_thông .

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 12
• per_device_eval_batch_size: 12
• learning_rate: 1e-05
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 12
• per_device_eval_batch_size: 12
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0386	500	0.5727
0.0772	1000	0.4231
0.1158	1500	0.3581
0.1545	2000	0.2753
0.1931	2500	0.2553
0.2317	3000	0.2217
0.2703	3500	0.2054
0.3089	4000	0.1945
0.3475	4500	0.1796
0.3861	5000	0.1786
0.4247	5500	0.1579
0.4634	6000	0.1628
0.5020	6500	0.144
0.5406	7000	0.1412
0.5792	7500	0.1339
0.6178	8000	0.138
0.6564	8500	0.1254
0.6950	9000	0.1193
0.7336	9500	0.1175
0.7723	10000	0.1094
0.8109	10500	0.1025
0.8495	11000	0.1148
0.8881	11500	0.1064
0.9267	12000	0.0969
0.9653	12500	0.1002
1.0039	13000	0.1016
1.0426	13500	0.0944
1.0812	14000	0.0918
1.1198	14500	0.0894
1.1584	15000	0.0814
1.1970	15500	0.0787
1.2356	16000	0.0779
1.2742	16500	0.063
1.3128	17000	0.0631
1.3515	17500	0.0567
1.3901	18000	0.0579
1.4287	18500	0.0488
1.4673	19000	0.0475
1.5059	19500	0.0468
1.5445	20000	0.0457
1.5831	20500	0.0426
1.6217	21000	0.0488
1.6604	21500	0.0455
1.6990	22000	0.0364
1.7376	22500	0.0444
1.7762	23000	0.0419
1.8148	23500	0.0374
1.8534	24000	0.0424
1.8920	24500	0.0378
1.9307	25000	0.0359
1.9693	25500	0.0393
2.0079	26000	0.0405
2.0465	26500	0.0331
2.0851	27000	0.0355
2.1237	27500	0.0342
2.1623	28000	0.0389
2.2009	28500	0.035
2.2396	29000	0.0338
2.2782	29500	0.0268
2.3168	30000	0.0294
2.3554	30500	0.0279
2.3940	31000	0.0266
2.4326	31500	0.0238
2.4712	32000	0.0204
2.5098	32500	0.0227
2.5485	33000	0.0219
2.5871	33500	0.0196
2.6257	34000	0.0238
2.6643	34500	0.0218
2.7029	35000	0.0176
2.7415	35500	0.022
2.7801	36000	0.0208
2.8188	36500	0.0183
2.8574	37000	0.0217
2.8960	37500	0.0175
2.9346	38000	0.0195
2.9732	38500	0.0178
3.0118	39000	0.0228
3.0504	39500	0.0155
3.0890	40000	0.024
3.1277	40500	0.0169
3.1663	41000	0.0225
3.2049	41500	0.0189
3.2435	42000	0.0166
3.2821	42500	0.0149
3.3207	43000	0.0165
3.3593	43500	0.0179
3.3979	44000	0.0138
3.4366	44500	0.0137
3.4752	45000	0.0128
3.5138	45500	0.0136
3.5524	46000	0.012
3.5910	46500	0.0117
3.6296	47000	0.0136
3.6682	47500	0.0146
3.7068	48000	0.0117
3.7455	48500	0.0131
3.7841	49000	0.0127
3.8227	49500	0.0124
3.8613	50000	0.0123
3.8999	50500	0.0122
3.9385	51000	0.0111
3.9771	51500	0.0118

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.1.1
• Transformers: 4.44.0
• PyTorch: 2.4.0
• Accelerate: 0.33.0
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}