tanbinh2210/mlm_finetuned_phobert

SentenceTransformer based on tanbinh2210/mlm_trained_phobert

This is a sentence-transformers model finetuned from tanbinh2210/mlm_trained_phobert on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tanbinh2210/mlm_trained_phobert
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/mlm_finetuned_phobert")
# Run inference
sentences = [
    'trung_tâm lưu_ký chứng_khoán việt_nam thực_hiện những chức_năng gì ?',
    'mục_tiêu và chức_năng hoạt_động ... 2 . chức_năng của trung_tâm lưu_ký chứng_khoán : a ) cung_cấp dịch_vụ đăng_ký , lưu_ký , bù_trừ và thanh_toán chứng_khoán cho các chứng_khoán niêm_yết , đăng_ký giao_dịch , chứng_khoán phái_sinh trên sở giao_dịch chứng_khoán và chứng_khoán của công_ty đại_chúng khác ; các dịch_vụ liên_quan đến hỗ_trợ giao_dịch chứng_khoán phù_hợp với quy_định của pháp_luật . b ) thực_hiện cấp_mã chứng_khoán bao_gồm mã_chứng_khoán đăng_ký tại trung_tâm lưu_ký chứng_khoán và cấp mã_định danh_chứng_khoán cho các loại chứng_khoán phát_hành tại việt_nam . c ) tổ_chức thực_hiện quyền của người sở_hữu_chứng_khoán cho các tổ_chức phát_hành là các công_ty đại_chúng , các tổ_chức có chứng_khoán niêm_yết / đăng_ký giao_dịch trên sở giao_dịch chứng_khoán . d ) cung_cấp dịch_vụ đại_lý thanh_toán cổ_tức và lãi trái_phiếu cho các tổ_chức phát_hành đ ) cung_cấp dịch_vụ đại_lý chuyển_nhượng và thực_hiện chuyển quyền_sở_hữu đối_với chứng_khoán đăng_ký tại trung_tâm lưu_ký chứng_khoán theo quy_định pháp_luật . e ) cung_cấp các dịch_vụ đăng_ký , lưu_ký và đại_lý chuyển_nhượng cho các loại chứng_khoán khác theo thỏa_thuận với các tổ_chức phát_hành . g ) xây_dựng và vận_hành các cơ_chế quản_trị rủi_ro gồm thực_hiện chức_năng đối_tác bù_trừ trung_tâm ( ccp ) , quản_lý quỹ hỗ_trợ thanh_toán , quỹ bù_trừ , hệ_thống vay và cho vay chứng_khoán theo quy_định của pháp_luật chứng_khoán . h ) cung_cấp các dịch_vụ quản_lý tài_sản , các dịch_vụ cho quỹ đầu_tư và các dịch_vụ khác theo yêu_cầu của khách_hàng trong phạm_vi chức_năng , nhiệm_vụ của trung_tâm lưu_ký chứng_khoán và phù_hợp với quy_định pháp_luật hiện_hành . i ) giám_sát hoạt_động của các thành_viên của trung_tâm lưu_ký chứng_khoán nhằm đảm_bảo sự tuân_thủ các quy_chế hoạt_động nghiệp_vụ của trung_tâm lưu_ký chứng_khoán nhằm bảo_vệ tài_sản của người sở_hữu_chứng_khoán . k ) quản_lý tỷ_lệ sở_hữu của người đầu_tư nước_ngoài theo quy_định của pháp_luật chứng_khoán . l ) hỗ_trợ phát_triển thị_trường_chứng_khoán thông_qua việc cung_cấp các dịch_vụ cơ_sở_hạ_tầng , kỹ_thuật , thông_tin , đào_tạo , tuyên_truyền và phổ_biến kiến_thức .',
    '1 . đăng_ký , lưu_ký : a ) trái_phiếu chính_phủ được đăng_ký , lưu_ký tập_trung tại trung_tâm lưu_ký chứng_khoán việt_nam theo đề_nghị của kho_bạc nhà_nước . b ) căn_cứ vào thông_báo kết_quả phát_hành của kho_bạc nhà_nước , trung_tâm lưu_ký chứng_khoán việt_nam thực_hiện đăng_ký trái_phiếu chính_phủ . c ) căn_cứ vào văn_bản xác_nhận hoàn_tất thanh_toán tiền mua trái_phiếu của kho_bạc nhà_nước , trung_tâm lưu_ký chứng_khoán việt_nam thực_hiện lưu_ký trái_phiếu theo quy_định của pháp_luật chứng_khoán . 2 . niêm_yết trái_phiếu : a ) trái_phiếu chính_phủ được đăng_ký , lưu_ký tập_trung tại trung_tâm lưu_ký chứng_khoán việt_nam và niêm_yết , giao_dịch tại sở giao_dịch chứng_khoán ngoại_trừ trái_phiếu ngoại_tệ . b ) căn_cứ vào văn_bản thông_báo về việc đăng_ký trái_phiếu của trung_tâm lưu_ký chứng_khoán việt_nam và văn_bản đề_nghị của kho_bạc nhà_nước , sở giao_dịch chứng_khoán thực_hiện niêm_yết trái_phiếu chính_phủ theo quy_định của pháp_luật chứng_khoán .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 357,024 training samples
• Columns: query, pos, and neg
• Approximate statistics based on the first 1000 samples:

  	query	pos	neg
  type	string	string	string
  details	min: 6 tokens mean: 17.13 tokens max: 37 tokens	min: 22 tokens mean: 147.4 tokens max: 256 tokens	min: 20 tokens mean: 195.8 tokens max: 256 tokens

• Samples:

  query	pos	neg
  chánh thanh_tra bộ quốc_phòng có quyền lập biên_bản vi_phạm hành_chính với doanh_nghiệp công_nghiệp vi_phạm trên không ?	" điều 43 . thẩm_quyền lập biên_bản vi_phạm hành_chính trong lĩnh_vực quốc_phòng 1 . những người có thẩm_quyền xử_phạt quy_định tại điều 37 , điều 38 , điều 39 , điều 40 , điều 41 , điều 42 của nghị_định này . 2 . sỹ_quan , quân_nhân chuyên_nghiệp quân_đội nhân_dân việt_nam ; sỹ_quan công_an nhân_dân đang thi_hành công_vụ , nhiệm_vụ . 3 . công_chức đang thi_hành công_vụ , nhiệm_vụ . "	2 . thẩm_quyền xử_phạt vi_phạm hành_chính của thanh_tra : a ) thanh_tra_viên , người được giao thực_hiện nhiệm_vụ thanh_tra chuyên_ngành về hóa_chất đang thi_hành công_vụ xử_phạt đối_với các hành_vi vi_phạm hành_chính quy_định tại khoản 1 và 2 điều 21 và điều 36 nghị_định này ; b ) chánh thanh_tra sở công_thương , trưởng_đoàn thanh_tra chuyên_ngành sở công_thương xử_phạt đối_với các hành_vi vi_phạm hành_chính quy_định tại điều 5 , 6 , 7 , 8 , 9 , 10 ; khoản 1 , điểm a , b , c , d khoản 2 , khoản 3 , 4 , 5 , 6 và 7 điều 11 ; điều 12 , 13 , 14 , 15 , 16 , 17 , 18 ; khoản 1 và điểm a , b khoản 2 điều 19 ; điều 20 , 21 , 22 , 23 , 24 , 25 , 26 , 27 , 28 , 29 , 30 , 31 ; khoản 1 và điểm a , b khoản 2 điều 32 ; điều 33 ; khoản 1 , 2 , 3 điều 34 ; điều 35 , 36 , 49 , 50 ; khoản 1 , 2 và 3 điều 51 ; khoản 1 , 2 và 3 điều 52 ; khoản 1 , 2 , 3 , 4 điều 53 ; khoản 1 , 2 , 3 , 4 , 5 điều 54 ; khoản 1 , 2 , 3 và 4 điều 55 ; khoản 1 , 2 , 3 , 4 điều 56 và điều 57 nghị_định này ; c ) chánh thanh_tra ...
  thời_hạn giải_quyết thủ_tục đăng_ký khai_sinh có yếu_tố nước_ngoài cấp huyện trong bao_lâu ?	thời_hạn giải_quyết : ngay trong ngày tiếp_nhận yêu_cầu , trường_hợp nhận hồ_sơ sau 15 giờ mà không giải_quyết được ngay thì trả kết_quả trong ngày làm_việc tiếp_theo .	2 . đối_với các khoản lệ_phí a ) lệ_phí đăng_ký cư_trú là khoản thu đối_với người đăng_ký cư_trú với cơ_quan đăng_ký , quản_lý cư_trú theo quy_định của pháp_luật về cư_trú . - lệ_phí đăng_ký cư_trú đối_với việc đăng_ký và quản_lý cư_trú gồm : đăng_ký thường_trú , đăng_ký tạm_trú cả hộ hoặc một người nhưng không cấp sổ hộ_khẩu , sổ tạm_trú ; cấp mới , cấp lại , cấp đổi sổ hộ_khẩu ; sổ tạm_trú cho hộ gia_đình , cho cá_nhân ; điều_chỉnh những thay_đổi trong sổ hộ_khẩu , sổ tạm_trú ; gia_hạn tạm_trú . - căn_cứ điều_kiện thực_tế của địa_phương để quy_định_mức thu lệ_phí phù_hợp , đảm_bảo nguyên_tắc sau : mức thu lệ_phí đối_với việc đăng_ký cư_trú tại các quận của thành_phố trực_thuộc trung_ương , hoặc phường nội_thành của thành_phố cao hơn mức thu đối_với các khu_vực khác . b ) lệ_phí cấp chứng_minh nhân_dân là khoản thu đối_với người được cơ_quan công_an cấp chứng_minh nhân_dân . - lệ_phí cấp chứng_minh nhân_dân đối_với việc cấp chứng_minh nhân_dân ( không bao_gồm tiền ảnh của người được c...
  nguyên_tắc nâng bậc lương trước hạn trong tòa_án nhân_dân như_thế_nào ?	" điều 2 . nguyên_tắc thực_hiện 1 . thực_hiện thống_nhất chế_độ nâng bậc lương trước thời_hạn do lập thành_tích xuất_sắc trong thực_hiện nhiệm_vụ đối_với công_chức , viên_chức và người lao_động trong tòa_án nhân_dân . 2 . thực_hiện công_khai , dân_chủ , khách_quan và đúng quy_định . 3 . thực_hiện mỗi năm 1 lần vào quý_i và kết_thúc trước ngày 31 tháng 3 hằng năm . 4 . không thực_hiện hai lần liên_tiếp nâng bậc lương trước thời_hạn do lập thành_tích xuất_sắc trong thực_hiện nhiệm_vụ trong cùng_ngạch hoặc chức_danh . 5 . khi đã có quyết_định nâng bậc lương trước thời_hạn thì tất_cả các thành_tích đã đạt được trước đó đều không được dùng để tính thành_tích cho các lần xét nâng bậc lương trước thời_hạn tiếp_theo . "	điều 9 . quy_trình xét nâng bậc lương trước thời_hạn các đơn_vị tiến_hành xét nâng bậc lương trước thời_hạn trong quý_i của năm sau liền kề với năm xét nâng bậc lương trước thời_hạn , theo quy_trình như sau : ... 2 . quy_trình xét : a . đối_với cơ_quan bộ và cơ_quan tổng_cục và tương_đương : bước 1 . hội_đồng xét nâng bậc lương trước thời_hạn của từng vụ , cục ( gồm đại_diện lãnh_đạo đơn_vị làm chủ_tịch hội_đồng và bao_gồm các thành_viên đại_diện cấp ủy , công_đoàn , nữ_công và đoàn thanh_niên ) họp xét danh_sách nâng bậc lương trước thời_hạn của đơn_vị mình ( danh_sách đề_nghị nâng bậc lương trước thời_hạn xếp theo thứ_tự ưu_tiên ) . căn_cứ kết_quả của hội_đồng này , thủ_trưởng đơn_vị ký công_văn đề_nghị hội_đồng nâng bậc lương trước thời_hạn của cơ_quan bộ hoặc của cơ_quan tổng_cục ( qua vụ tổ_chức cán_bộ ) trước ngày 20/01 để tổng_hợp xét . quá thời_hạn trên , đơn_vị nào không có đề_nghị thì coi như không có nhu_cầu xét nâng bậc lương trước thời_hạn . bước 2 . hội_đồng xét nâng bậc ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 357,024 evaluation samples
• Columns: query, pos, and neg
• Approximate statistics based on the first 1000 samples:

  	query	pos	neg
  type	string	string	string
  details	min: 6 tokens mean: 17.18 tokens max: 38 tokens	min: 18 tokens mean: 146.04 tokens max: 256 tokens	min: 22 tokens mean: 200.39 tokens max: 256 tokens

• Samples:

  query	pos	neg
  trường_hợp nam , nữ chung sống với nhau như vợ_chồng không đăng_ký_kết_hôn cha_mẹ và con có quyền và nghĩa_vụ ra sao ?	" điều 15 . quyền , nghĩa_vụ của cha_mẹ và con trong trường_hợp nam , nữ chung sống với nhau như vợ_chồng mà không đăng_ký_kết hôn_quyền , nghĩa_vụ giữa nam , nữ chung sống với nhau như vợ_chồng và con được giải_quyết theo quy_định của luật này về quyền , nghĩa_vụ của cha_mẹ và con . "	điều 16 . đăng_ký nhận cha , mẹ , con , bổ_sung hộ_tịch trong một_số trường_hợp đặc_biệt 1 . trường_hợp nam , nữ chung sống với nhau như vợ_chồng , không đăng_ký kết_hôn , sinh con , người con sống cùng_với người cha , khi người cha làm thủ_tục nhận con mà không liên_hệ được với người mẹ thì không cần có ý_kiến của người mẹ trong tờ khai đăng_ký nhận cha , mẹ , con . nếu có giấy chứng_sinh và giấy_tờ tùy_thân của người mẹ thì phần khai về người mẹ được ghi theo giấy chứng_sinh và giấy_tờ tùy_thân của người mẹ . nếu không có giấy chứng_sinh và giấy_tờ tùy_thân của người mẹ thì ghi theo thông_tin do người cha cung_cấp ; người cha chịu trách_nhiệm về thông_tin do mình cung_cấp . 2 . trường_hợp con do người vợ_sinh ra trước thời_điểm đăng_ký kết_hôn , đã được đăng_ký khai_sinh nhưng không có thông_tin về người cha , nay vợ_chồng có văn_bản thừa_nhận là con chung thì không phải làm thủ_tục nhận cha , con mà làm thủ_tục bổ_sung hộ_tịch để ghi bổ_sung thông_tin về người cha trong sổ đăng_ký k...
  đảng_bộ cơ_sở mở cuộc họp sinh_hoạt định_kỳ bao_nhiêu lần trong năm ?	20 . ( khoản 6 , điều 22 ; khoản 3 , điều 24 ) : sinh_hoạt định_kỳ của đảng_bộ cơ_sở , chi_bộ 20.1 . đảng_bộ cơ_sở họp thường_lệ mỗi năm hai lần vào dịp đánh_giá công_tác 6 tháng đầu năm và tổng_kết công_tác cuối năm , họp bất_thường khi cần . ...	" 20 . ( khoản 6 , điều 22 ; khoản 3 , điều 24 ) : sinh_hoạt định_kỳ của đảng_bộ cơ_sở , chi_bộ 20.1 . đảng_bộ cơ_sở họp thường_lệ mỗi năm hai lần vào dịp đánh_giá công_tác 6 tháng đầu năm và tổng_kết công_tác cuối năm , họp bất_thường khi cần . 20.2 . nội_dung sinh_hoạt đảng_bộ : báo_cáo kết_quả hoạt_động của đảng_bộ , của đảng_ủy trong thời_gian qua , xác_định nhiệm_vụ trọng_tâm trong thời_gian tới ; phổ_biến các chủ_trương , chính_sách của đảng , pháp_luật của nhà_nước , thời_sự trong nước và thế_giới phù_hợp với yêu_cầu nhiệm_vụ , đặc_điểm của đảng_bộ ; thông_báo kết_quả kiểm_tra , giám_sát , kỷ_luật đảng của đảng_ủy đối_với các chi_bộ , đảng_viên ; giải_đáp ý_kiến phê_bình , chất_vấn của đảng_viên và chi_bộ . 20.3 . đối_với đảng_bộ cơ_sở có đông đảng_viên , hoạt_động phân_tán , địa_bàn rộng , đơn_vị lực_lượng_vũ_trang làm nhiệm_vụ sẵn_sàng chiến_đấu , cấp ủy cơ_sở căn_cứ vào tình_hình cụ_thể để tổ_chức sinh_hoạt theo cụm , phân_công cấp ủy_viên phụ_trách , bảo_đảm nội_dung sinh_ho...
  cấp mới số lưu_hành áp_dụng đối_với trang_thiết_bị y_tế c , d trong các trường_hợp nào ?	điều 29 . các hình_thức đăng_ký lưu_hành 1 . cấp mới số lưu_hành áp_dụng đối_với trang_thiết_bị y_tế trong các trường_hợp sau đây : a ) trang_thiết_bị y_tế lần đầu đề_nghị cấp số lưu_hành . b ) trang_thiết_bị y_tế đã được cấp số lưu_hành nhưng có một trong các thay_đổi sau : - chủ_sở_hữu_trang_thiết_bị y_tế ; loại trang_thiết_bị y_tế ; chủng_loại , mục_đích sử_dụng , chỉ_định sử_dụng ; tiêu_chuẩn chất_lượng ; bổ_sung cơ_sở sản_xuất , mã sản_phẩm ; nguyên_liệu sản_xuất ảnh_hưởng đến chức_năng đối_với trang_thiết_bị y_tế chẩn_đoán in vitro và trang_thiết_bị y_tế dùng một lần ; nồng_độ , hàm_lượng , thành_phần của nguyên_liệu là dược_chất kết_hợp trong một trang_thiết_bị y_tế với vai_trò hỗ_trợ mục_đích điều_trị ; - không thuộc các trường_hợp quy_định tại khoản 7 điều 32 nghị_định này .	39 . điều 68 được sửa_đổi như sau : a ) khoản 5 được sửa_đổi như sau : “ a ) giấy_phép nhập_khẩu trang_thiết_bị y_tế thuộc loại b , c , d đã được cấp trong năm 2018 hết hạn hiệu_lực vào ngày 31 tháng 12 năm 2018 và các giấy_phép nhập_khẩu được cấp trong năm 2019 có giá_trị đến hết ngày 31 tháng 12 năm 2019 , trừ trường_hợp quy_định tại khoản 1 điều 42 và điểm d khoản này ; đối_với các giấy_phép nhập_khẩu sinh_phẩm chẩn_đoán in vitro đã được cấp trong năm 2018 , 2019 : có giá_trị đến hết ngày 31 tháng 12 năm 2019 và không hạn_chế về số_lượng nhập_khẩu . cơ_quan hải_quan không thực_hiện việc kiểm_soát số_lượng nhập_khẩu đối_với trường_hợp này ; tổ_chức , cá_nhân kinh_doanh trang_thiết_bị y_tế chịu trách_nhiệm bảo_đảm các giấy_tờ quy_định tại điểm i khoản 2 điều 66 nghị_định này luôn có hiệu_lực trong thời_gian giấy_phép nhập_khẩu còn giá_trị . trường_hợp không tiếp_tục thực_hiện việc duy_trì hiệu_lực của các giấy_tờ trên , tổ_chức , cá_nhân kinh_doanh trang_thiết_bị y_tế phải có trách_nh...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 56
• per_device_eval_batch_size: 56
• learning_rate: 1e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 56
• per_device_eval_batch_size: 56
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0196	100	2.2155
0.0392	200	1.1803
0.0588	300	0.7453
0.0784	400	0.5518
0.0980	500	0.4517
0.1176	600	0.4174
0.1372	700	0.373
0.1568	800	0.3575
0.1764	900	0.3411
0.1960	1000	0.3497
0.2156	1100	0.2986
0.2352	1200	0.2878
0.2549	1300	0.274
0.2745	1400	0.2801
0.2941	1500	0.2599
0.3137	1600	0.2623
0.3333	1700	0.2484
0.3529	1800	0.2571
0.3725	1900	0.2306
0.3921	2000	0.2277
0.4117	2100	0.2244
0.4313	2200	0.2162
0.4509	2300	0.2099
0.4705	2400	0.1958
0.4901	2500	0.216
0.5097	2600	0.1999
0.5293	2700	0.2073
0.5489	2800	0.1964
0.5685	2900	0.1998
0.5881	3000	0.2024
0.6077	3100	0.1953
0.6273	3200	0.1968
0.6469	3300	0.2049
0.6665	3400	0.1853
0.6861	3500	0.1894
0.7057	3600	0.1917
0.7253	3700	0.1966
0.7450	3800	0.1733
0.7646	3900	0.1738
0.7842	4000	0.1795
0.8038	4100	0.1716
0.8234	4200	0.1683
0.8430	4300	0.1855
0.8626	4400	0.1855
0.8822	4500	0.1585
0.9018	4600	0.1763
0.9214	4700	0.163
0.9410	4800	0.1796
0.9606	4900	0.1705
0.9802	5000	0.1748
0.9998	5100	0.1592
1.0194	5200	0.1715
1.0390	5300	0.1649
1.0586	5400	0.1748
1.0782	5500	0.1582
1.0978	5600	0.1505
1.1174	5700	0.1634
1.1370	5800	0.1518
1.1566	5900	0.1538
1.1762	6000	0.1504
1.1958	6100	0.156
1.2154	6200	0.1416
1.2351	6300	0.1397
1.2547	6400	0.1353
1.2743	6500	0.1339
1.2939	6600	0.1277
1.3135	6700	0.1357
1.3331	6800	0.1277
1.3527	6900	0.1388
1.3723	7000	0.1228
1.3919	7100	0.1172
1.4115	7200	0.1203
1.4311	7300	0.1106
1.4507	7400	0.1097
1.4703	7500	0.1116
1.4899	7600	0.1195
1.5095	7700	0.1078
1.5291	7800	0.112
1.5487	7900	0.1123
1.5683	8000	0.1144
1.5879	8100	0.1164
1.6075	8200	0.1186
1.6271	8300	0.1135
1.6467	8400	0.1202
1.6663	8500	0.1062
1.6859	8600	0.1107
1.7055	8700	0.1184
1.7252	8800	0.1165
1.7448	8900	0.106
1.7644	9000	0.0998
1.7840	9100	0.1118
1.8036	9200	0.106
1.8232	9300	0.1038
1.8428	9400	0.1149
1.8624	9500	0.1202
1.8820	9600	0.1011
1.9016	9700	0.1105
1.9212	9800	0.1055
1.9408	9900	0.1154
1.9604	10000	0.1097
1.9800	10100	0.1082
1.9996	10200	0.1026
2.0192	10300	0.1145
2.0388	10400	0.113
2.0584	10500	0.1125
2.0780	10600	0.1037
2.0976	10700	0.0975
2.1172	10800	0.1046
2.1368	10900	0.1022
2.1564	11000	0.1004
2.1760	11100	0.1002
2.1956	11200	0.1091
2.2153	11300	0.0969
2.2349	11400	0.0926
2.2545	11500	0.0949
2.2741	11600	0.0893
2.2937	11700	0.0853
2.3133	11800	0.091
2.3329	11900	0.0882
2.3525	12000	0.0982
2.3721	12100	0.0851
2.3917	12200	0.0839
2.4113	12300	0.0839
2.4309	12400	0.0813
2.4505	12500	0.0811
2.4701	12600	0.0793
2.4897	12700	0.0858
2.5093	12800	0.0816
2.5289	12900	0.0816
2.5485	13000	0.0827
2.5681	13100	0.0855
2.5877	13200	0.0829
2.6073	13300	0.0909
2.6269	13400	0.0836
2.6465	13500	0.0873
2.6661	13600	0.0801
2.6857	13700	0.0826
2.7054	13800	0.0891
2.7250	13900	0.0888
2.7446	14000	0.0781
2.7642	14100	0.0761
2.7838	14200	0.0857
2.8034	14300	0.0805
2.8230	14400	0.078
2.8426	14500	0.0872
2.8622	14600	0.0933
2.8818	14700	0.0754
2.9014	14800	0.0846
2.9210	14900	0.0847
2.9406	15000	0.0879
2.9602	15100	0.0845
2.9798	15200	0.0845
2.9994	15300	0.0772

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.3.1
• Transformers: 4.45.1
• PyTorch: 2.4.0
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}