SentenceTransformer based on anhtuansh/mordernBERT-multilingual-legal-1e

This is a sentence-transformers model finetuned from anhtuansh/mordernBERT-multilingual-legal-1e. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: anhtuansh/mordernBERT-multilingual-legal-1e
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/ModernBERT-multilingual-legal-2e")
# Run inference
sentences = [
    'người tiếp_nhận hồ_sơ có trách_nhiệm gì trong quá_trình chứng_thực hợp_đồng , giao_dịch ?',
    'điều 20 . chứng_thực hợp_đồng , giao_dịch tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông \n 1 . trường_hợp người yêu_cầu chứng_thực hợp_đồng , giao_dịch nộp hồ_sơ trực_tiếp tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông , thì các bên phải ký trước mặt người tiếp_nhận hồ_sơ . trường_hợp người giao_kết_hợp_đồng , giao_dịch là đại_diện của tổ_chức tín_dụng , doanh_nghiệp đã đăng_ký chữ_ký mẫu tại cơ_quan thực_hiện chứng_thực , thì người đó có_thể ký trước vào hợp_đồng , giao_dịch . người tiếp_nhận hồ_sơ có trách_nhiệm đối_chiếu chữ_ký trong hợp_đồng , giao_dịch với chữ_ký mẫu . nếu thấy chữ_ký trong hợp_đồng , giao_dịch khác chữ_ký mẫu , thì yêu_cầu người đó ký trước mặt người tiếp_nhận hồ_sơ . người tiếp_nhận hồ_sơ phải chịu trách_nhiệm về việc các bên đã ký trước mặt mình . \n 2 . người tiếp_nhận hồ_sơ có trách_nhiệm kiểm_tra giấy_tờ , hồ_sơ .',
    'điều 8 . trị_giá tính thuế , thời_điểm tính thuế \n 1 . trị_giá tính thuế_xuất_khẩu , thuế_nhập_khẩu là trị_giá hải_quan theo quy_định của luật hải_quan . \n 2 . thời_điểm tính thuế_xuất_khẩu , thuế_nhập_khẩu là thời_điểm đăng_ký tờ khai hải_quan . đối_với hàng_hóa xuất_khẩu , nhập_khẩu thuộc đối_tượng không chịu thuế , miễn thuế_xuất_khẩu , thuế_nhập_khẩu hoặc áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan nhưng được thay_đổi về đối_tượng không chịu thuế , miễn thuế , áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan theo quy_định của pháp_luật thì thời_điểm tính thuế là thời_điểm đăng_ký tờ khai hải_quan mới . thời_điểm đăng_ký tờ khai hải_quan thực_hiện theo quy_định của pháp_luật về hải_quan .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Dataset: public_administrative
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9991

Training Details

Training Dataset

Unnamed Dataset

Size: 63,130 training samples
Columns: query, positive, and negative

Approximate statistics based on the first 1000 samples:

	query	positive	negative
type	string	string	string
details	min: 35 tokens mean: 85.74 tokens max: 225 tokens	min: 289 tokens mean: 584.64 tokens max: 923 tokens	min: 299 tokens mean: 581.07 tokens max: 929 tokens

Samples:

query	positive	negative
`bộ tài_chính quy_định thế_nào về chi_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ?`	c ) chi công_tác_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ( nếu có ) thực_hiện theo quy_định tại thông_tư số 102 / 2012 / tt - btc ngày 21 / 6 / 2012 của bộ tài_chính quy_định_chế_độ công_tác_phí cho cán_bộ , công_chức nhà_nước đi công_tác ngắn_hạn ở nước_ngoài do ngân_sách nhà_nước bảo_đảm kinh_phí ; d ) chi tập_huấn nghiệp_vụ cho văn_phòng con_nuôi nước_ngoài tại việt_nam được thực_hiện theo quy_định tại thông_tư số 139 / 2010 / tt - btc ngày 21 / 9 / 2010 của bộ tài_chính quy_định việc lập dự_toán , quản_lý và sử_dụng kinh_phí từ ngân_sách nhà_nước dành cho công_tác đào_tạo , bồi_dưỡng cán_bộ , công_chức ;	điều 15 . nhiệm_vụ , quyền_hạn của bộ tài_chính 1 . là cơ_quan đầu_mối giúp chính_phủ thống_nhất quản_lý nhà_nước về tài_sản công . 2 . chủ_trì xây_dựng , trình cơ_quan , người có thẩm_quyền ban_hành_văn_bản quy_phạm_pháp_luật về : a ) chế_độ quản_lý , sử_dụng tài_sản công tại cơ_quan , tổ_chức , đơn_vị ; việc phân_cấp thẩm_quyền quyết_định trong quản_lý , sử_dụng tài_sản công ; b ) tiêu_chuẩn , định mức sử_dụng trụ_sở làm_việc , xe ô_tô , tài_sản công của cơ_quan đại_diện ngoại_giao , cơ_quan đại_diện lãnh_sự , cơ_quan đại_diện tại tổ_chức quốc_tế theo quy_định của pháp_luật về cơ_quan đại_diện của việt_nam ở nước_ngoài và cơ_quan , tổ_chức , đơn_vị khác của việt_nam ở nước_ngoài ( sau đây gọi là cơ_quan việt_nam ở nước_ngoài ) , máy_móc , thiết_bị và các tài_sản công được sử_dụng phổ_biến tại cơ_quan , tổ_chức , đơn_vị , trừ nhà ở công_vụ và tài_sản đặc_biệt tại đơn_vị lực_lượng vũ_trang nhân_dân ;
`khi thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm những chi_phí nào ?`	a ) giá đất được trừ để tính thuế giá_trị gia_tăng được quy_định cụ_thể như sau : - trường_hợp được nhà_nước giao đất để đầu_tư cơ_sở hạ_tầng xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm tiền_sử_dụng đất phải nộp ngân_sách nhà_nước ( không kể tiền_sử_dụng đất được miễn , giảm ) và chi_phí bồi_thường , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp đấu_giá quyền sử_dụng đất thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất trúng đấu_giá ; - trường_hợp thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng là tiền thuê đất phải nộp ngân_sách nhà_nước ( không bao_gồm tiền thuê đất được miễn , giảm ) và chi_phí đền_bù , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp cơ_sở kinh_doanh nhận chuyển_nhượng quyền sử_dụng đất của các tổ_chức , cá_nhân thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất tại thời_điểm nhận chuyển_nhượng quyền sử_dụng đất bao_gồm c...	5 . phối_hợp với cơ_quan bảo_hiểm xã_hội trả sổ bảo_hiểm xã_hội cho người lao_động , xác_nhận thời_gian đóng bảo_hiểm xã_hội khi người lao_động chấm_dứt hợp_đồng lao_động , hợp_đồng làm_việc hoặc thôi_việc theo quy_định của pháp_luật . 6 . cung_cấp chính_xác , đầy_đủ , kịp_thời thông_tin , tài_liệu liên_quan đến việc đóng , hưởng bảo_hiểm xã_hội theo yêu_cầu của cơ_quan quản_lý nhà_nước có thẩm_quyền , cơ_quan bảo_hiểm xã_hội . 7 . định_kỳ 06 tháng , niêm_yết công_khai_thông_tin về việc đóng bảo_hiểm xã_hội cho người lao_động ; cung_cấp thông_tin về việc đóng bảo_hiểm xã_hội của người lao_động khi người lao_động hoặc tổ_chức công_đoàn yêu_cầu . 8 . hằng năm , niêm_yết công_khai_thông_tin đóng bảo_hiểm xã_hội của người lao_động do cơ_quan bảo_hiểm xã_hội cung_cấp theo quy_định tại khoản 7 điều 23 của luật này . điều 22 . quyền của cơ_quan bảo_hiểm xã_hội 1 . tổ_chức quản_lý nhân_sự , tài_chính và tài_sản theo quy_định của pháp_luật . 2 . từ_chối yêu_cầu trả bảo_hiểm xã_hội ,...
`nếu tôi vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế sẽ xử_lý như thế_nào ?`	trường_hợp tại biên_bản kiểm_tra trước hoàn thuế xác_định người nộp thuế vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế_ban_hành quyết_định xử_lý vi_phạm_pháp_luật về thuế và bù_trừ số tiền thuế được hoàn của người nộp thuế tại quyết_định hoàn thuế_kiêm bù_trừ thu ngân_sách nhà_nước theo mẫu_số 02 / qđ - ht ban_hành kèm theo phụ_lục i thông_tư này . d ) đối_với hồ_sơ hoàn nộp thừa của người nộp thuế có khoản nộp thừa tại tỉnh nơi được hưởng khoản thu_phân_bổ , cơ_quan thuế quản_lý trực_tiếp chủ_trì tổng_hợp nghĩa_vụ thuế , số thuế đã nộp ngân_sách nhà_nước tại trụ_sở chính và các tỉnh nơi được hưởng khoản thu_phân_bổ .	điều 59 . quản_lý nhà_nước về kinh_doanh casino 1 . chính_phủ thống_nhất quản_lý nhà_nước về kinh_doanh casino và ban_hành chính_sách điều_chỉnh hoạt_động_kinh_doanh casino theo thẩm_quyền . 2 . thủ_tướng chính_phủ a ) phê_duyệt chủ_trương , chính_sách , ban_hành các văn_bản quy_phạm_pháp_luật và biện_pháp cần_thiết theo thẩm_quyền để quản_lý hoạt_động_kinh_doanh casino theo quy_định tại nghị_định này và quy_định của pháp_luật có liên_quan ; b ) chấp_thuận số_lượng máy trò_chơi , bàn trò_chơi và điều_chỉnh số_lượng máy trò_chơi , bàn trò_chơi tối_đa đối_với dự_án khu dịch_vụ , du_lịch và vui_chơi giải_trí tổng_hợp có casino theo quy_định tại điều 7 và điều 8 nghị_định này ; c ) quyết_định các nội_dung khác có liên_quan đến hoạt_động_kinh_doanh casino theo thẩm_quyền quy_định tại nghị_định này và quy_định của pháp_luật . 3 . bộ tài_chính chịu trách_nhiệm trước chính_phủ thực_hiện quản_lý nhà_nước về kinh_doanh casino , bao_gồm : a ) nghiên_cứu , xây_dựng trình cấp có thẩm_...

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

Size: 7,015 evaluation samples
Columns: query, positive, and negative

Approximate statistics based on the first 1000 samples:

	query	positive	negative
type	string	string	string
details	min: 37 tokens mean: 85.51 tokens max: 173 tokens	min: 297 tokens mean: 587.0 tokens max: 931 tokens	min: 276 tokens mean: 585.64 tokens max: 906 tokens

Samples:

query	positive	negative
`cục y_tế dự_phòng có vai_trò gì trong việc xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người ?`	điều 13 . trách_nhiệm của cục y_tế dự_phòng - bộ y_tế 1 . đầu_mối của bộ y_tế phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn triển_khai các hoạt_động phối_hợp phòng , chống bệnh lây_truyền từ động_vật sang người . 2 . chỉ_đạo toàn_bộ các hoạt_động về phối_hợp giữa ngành y_tế và nông_nghiệp trong phòng , chống bệnh lây_truyền từ động_vật sang người đối_với các đơn_vị trong ngành y_tế . 3 . phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn xây_dựng , đề_xuất sửa_đổi các hướng_dẫn giám_sát bệnh lây_truyền từ động_vật sang người ; xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người . 4 . định_kỳ 6 tháng_một lần , tổ_chức họp giao_ban với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn và các đơn_vị liên_quan để đánh_giá hoạt_động phối_hợp trong giám_sát phòng , chống bệnh lây_truyền từ động_vật sang người .	khoản 1 . chi thường_xuyên : a ) chi thanh_toán cá_nhân : tiền_lương , tiền công , phụ_cấp lương , các khoản đóng_góp theo lương ( bảo_hiểm xã_hội , bảo_hiểm y_tế , bảo_hiểm_thất_nghiệp ( nếu có ) , kinh_phí công_đoàn ) ; tiền khen_thưởng thành_tích theo danh_hiệu thi_đua và các khoản thanh_toán khác cho cá_nhân ; b ) chi quản_lý hành_chính : chi thanh_toán dịch_vụ công_cộng ; vật_tư văn_phòng ; thông_tin tuyên_truyền , liên_lạc ; hội_nghị ; chi công_tác_phí ; chi thuê_mướn ; sửa_chữa , bảo_trì , bảo_dưỡng thường_xuyên tài_sản cố_định và các khoản chi hành_chính khác ; c ) chi hoạt_động nghiệp_vụ : mua_sắm vật_tư , hàng_hóa dùng cho chuyên_môn , nghiệp_vụ ; thiết_bị an_toàn kho_quỹ , thiết_bị kiểm_đếm ; ấn chỉ các loại ; trang_phục , bảo_hộ lao_động ; các khoản nghiệp_vụ kiểm_đếm , đảo kho , điều_chuyển , bảo_vệ an_toàn kho , tiền , vàng_bạc , đá_quý , ngoại_tệ và các chứng_chỉ có_giá ; bảo_quản , lưu_trữ tài_liệu , chứng_từ ; các khoản nghiệp_vụ khác ; d ) chi_phối_hợp tổ_chức...
`theo quy_định , tay_vịn phải được lắp_đặt như thế_nào ở khu_vực cạnh cửa ra vào trên xe_khách thành_phố để người khuyết_tật tiếp_cận ?`	trong bất_kỳ khu_vực nào không phải lối đi dọc mà hành_khách có_thể đứng : 2.3.4.1.3 . từ khu_vực cạnh cửa ra vào liền kề ngay cửa ra vào ưu_tiên đến ít_nhất một ghế ưu_tiên , tay_vịn có độ cao từ 800 mm đến 900 mm so với sàn xe ; hoặc ở khu_vực không phù_hợp với những yêu_cầu đó , tay_vịn không cần phải bố_trí liên_tục , nhưng khoảng trống giữa các tay_vịn không được lớn hơn 1050 mm , và phải có một tay_vịn thẳng_đứng bố_trí tại ít_nhất một phía của khoảng trống giữa các tay_vịn nói trên với chiều dài nằm trong khoảng từ độ cao 1200 mm đến độ cao không nhỏ hơn 1500 mm so với sàn xe . 2.3.4.1.4 . tay_vịn được bố_trí ở cả hai bên của khu_vực phía trong cửa vào hoặc cửa ra : 2.3.4.2 .	điều 15 . 1 . hội_đồng quản_trị thực_hiện chức_năng quản_lý hoạt_động của tổng_công_ty , chịu trách_nhiệm về sự phát_triển của tổng_công_ty theo nhiệm_vụ nhà_nước giao . 2 . hội_đồng quản_trị có các quyền_hạn và nhiệm_vụ sau : a ) nhận vốn ( kể_cả nợ ) , đất_đai , tài_nguyên và các nguồn_lực khác do nhà_nước giao cho tổng_công_ty . b ) xem_xét , phê_duyệt phương_án do tổng_giám_đốc đề_nghị về việc phân giao vốn và các nguồn_lực khác cho các đơn_vị thành_viên và phương_án điều_hoà_vốn và các nguồn_lực khác giữa các đơn_vị thành_viên ; kiểm_tra , giám_sát việc thực_hiện các phương_án đó ; c ) kiểm_tra , giám_sát mọi hoạt_động trong tổng_công_ty ; trong đó có việc sử_dụng , bảo_toàn , phát_triển vốn và các nguồn_lực được giao ; việc thực_hiện các nghị_định và quyết_định của hội_đồng quản_trị , các quy_định của luật_pháp ; việc thực_hiện nghĩa_vụ đối_với nhà_nước .
`ngày 01 tháng 01 năm 2018 có ý_nghĩa gì đối_với nghị_định về trình_tự , thủ_tục , mức tiền pháp_nhân thương_mại phải nộp để bảo_đảm thi_hành án ?`	chương iv. điều_khoản thi_hành điều 10 . hiệu_lực thi_hành . nghị_định này có hiệu_lực thi_hành từ ngày 01 tháng 01 năm 2018 . điều 11 . trách_nhiệm thi_hành . các bộ_trưởng , thủ_trưởng cơ_quan ngang bộ , thủ_trưởng cơ_quan thuộc chính_phủ , chủ_tịch ủy_ban nhân_dân các tỉnh , thành_phố trực_thuộc trung_ương và các đối_tượng áp_dụng của nghị_định chịu trách_nhiệm thi_hành nghị_định này . / nơi nhận : - ban bí_thư trung_ương đảng ; - thủ_tướng , các phó_thủ_tướng chính_phủ ; - các bộ , cơ_quan ngang bộ , cơ_quan thuộc chính_phủ ; - hđnd , ubnd các tỉnh , thành_phố trực_thuộc trung_ương ; - văn_phòng trung_ương và các ban của đảng ; - văn_phòng tổng_bí_thư ; - văn_phòng chủ_tịch nước ; - hội_đồng dân_tộc và các ủy_ban của quốc_hội ; - văn_phòng quốc_hội ; - tòa_án nhân_dân tối_cao ; - viện kiểm_sát_nhân_dân tối_cao ; - kiểm_toán nhà_nước ; - ủy_ban giám_sát tài_chính quốc_gia ; - ngân_hàng chính_sách xã_hội ; - ngân_hàng phát_triển việt_nam ;	viên_chức đăng_ký dự_thi thăng_hạng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp. viên_chức đăng_ký dự_xét thăng_hạng thuộc đối_tượng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp được xác_nhận đáp_ứng tiêu_chuẩn về ngoại_ngữ , tin_học khi đăng_ký dự_xét thăng_hạng . trường_hợp không thuộc đối_tượng miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp thì trong hồ_sơ dự xét phải có minh chứng đáp_ứng yêu_cầu về tiêu_chuẩn ngoại_ngữ , tin_học của chức_danh nghề_nghiệp đăng_ký dự_xét thăng_hạng .

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 2
per_device_eval_batch_size: 2
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.05
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	public_administrative_cosine_accuracy
0	0	-	0.9993
0.0032	100	0.0001	-
0.0063	200	0.0001	-
0.0095	300	0.0003	-
0.0127	400	0.0002	-
0.0158	500	0.0001	-
0.0190	600	0.0002	-
0.0222	700	0.0003	-
0.0253	800	0.0003	-
0.0285	900	0.0001	-
0.0317	1000	0.0001	-
0.0348	1100	0.0001	-
0.0380	1200	0.0001	-
0.0412	1300	0.0001	-
0.0444	1400	0.0001	-
0.0475	1500	0.0001	-
0.0507	1600	0.0001	-
0.0539	1700	0.0001	-
0.0570	1800	0.0001	-
0.0602	1900	0.0004	-
0.0634	2000	0.0003	-
0.0665	2100	0.0003	-
0.0697	2200	0.0002	-
0.0729	2300	0.0004	-
0.0760	2400	0.0023	-
0.0792	2500	0.0019	-
0.0824	2600	0.0004	-
0.0855	2700	0.001	-
0.0887	2800	0.0006	-
0.0919	2900	0.0015	-
0.0950	3000	0.001	-
0.0982	3100	0.0005	-
0.1014	3200	0.0005	-
0.1045	3300	0.0003	-
0.1077	3400	0.0006	-
0.1109	3500	0.0002	-
0.1141	3600	0.0007	-
0.1172	3700	0.0004	-
0.1204	3800	0.0004	-
0.1236	3900	0.0004	-
0.1267	4000	0.0003	-
0.1299	4100	0.0007	-
0.1331	4200	0.0006	-
0.1362	4300	0.0005	-
0.1394	4400	0.0008	-
0.1426	4500	0.0004	-
0.1457	4600	0.0006	-
0.1489	4700	0.0003	-
0.1521	4800	0.0002	-
0.1552	4900	0.0003	-
0.1584	5000	0.0005	-
0.1616	5100	0.0002	-
0.1647	5200	0.0003	-
0.1679	5300	0.0003	-
0.1711	5400	0.0002	-
0.1742	5500	0.0003	-
0.1774	5600	0.0005	-
0.1806	5700	0.0009	-
0.1837	5800	0.0003	-
0.1869	5900	0.0004	-
0.1901	6000	0.0003	-
0.1933	6100	0.0011	-
0.1964	6200	0.0002	-
0.1996	6300	0.0003	-
0.2028	6400	0.001	-
0.2059	6500	0.0006	-
0.2091	6600	0.0005	-
0.2123	6700	0.0004	-
0.2154	6800	0.0003	-
0.2186	6900	0.0004	-
0.2218	7000	0.0002	-
0.2249	7100	0.0001	-
0.2281	7200	0.0002	-
0.2313	7300	0.0003	-
0.2344	7400	0.0009	-
0.2376	7500	0.0003	-
0.2408	7600	0.0003	-
0.2439	7700	0.0004	-
0.2471	7800	0.0007	-
0.2503	7900	0.0018	-
0.2534	8000	0.0014	-
0.2566	8100	0.0002	-
0.2598	8200	0.0007	-
0.2629	8300	0.0004	-
0.2661	8400	0.0003	-
0.2693	8500	0.0003	-
0.2725	8600	0.0003	-
0.2756	8700	0.0009	-
0.2788	8800	0.0015	-
0.2820	8900	0.0003	-
0.2851	9000	0.0003	-
0.2883	9100	0.0009	-
0.2915	9200	0.0003	-
0.2946	9300	0.0003	-
0.2978	9400	0.0006	-
0.3010	9500	0.0003	-
0.3041	9600	0.0008	-
0.3073	9700	0.0004	-
0.3105	9800	0.0005	-
0.3136	9900	0.0003	-
0.3168	10000	0.0004	-
0.3200	10100	0.0004	-
0.3231	10200	0.0002	-
0.3263	10300	0.0004	-
0.3295	10400	0.0005	-
0.3326	10500	0.0003	-
0.3358	10600	0.0006	-
0.3390	10700	0.0006	-
0.3422	10800	0.0002	-
0.3453	10900	0.0003	-
0.3485	11000	0.0005	-
0.3517	11100	0.0003	-
0.3548	11200	0.0003	-
0.3580	11300	0.0003	-
0.3612	11400	0.0002	-
0.3643	11500	0.0004	-
0.3675	11600	0.0006	-
0.3707	11700	0.0008	-
0.3738	11800	0.0008	-
0.3770	11900	0.0007	-
0.3802	12000	0.0002	-
0.3833	12100	0.0004	-
0.3865	12200	0.0002	-
0.3897	12300	0.0003	-
0.3928	12400	0.0003	-
0.3960	12500	0.0004	-
0.3992	12600	0.0002	-
0.4023	12700	0.0002	-
0.4055	12800	0.0003	-
0.4087	12900	0.0003	-
0.4118	13000	0.0001	-
0.4150	13100	0.0002	-
0.4182	13200	0.0013	-
0.4214	13300	0.0001	-
0.4245	13400	0.0002	-
0.4277	13500	0.0005	-
0.4309	13600	0.0004	-
0.4340	13700	0.0002	-
0.4372	13800	0.0004	-
0.4404	13900	0.0003	-
0.4435	14000	0.0004	-
0.4467	14100	0.0002	-
0.4499	14200	0.0002	-
0.4530	14300	0.0007	-
0.4562	14400	0.0004	-
0.4594	14500	0.0003	-
0.4625	14600	0.0005	-
0.4657	14700	0.0004	-
0.4689	14800	0.0005	-
0.4720	14900	0.0002	-
0.4752	15000	0.0003	-
0.4784	15100	0.0009	-
0.4815	15200	0.0003	-
0.4847	15300	0.0003	-
0.4879	15400	0.0002	-
0.4911	15500	0.0003	-
0.4942	15600	0.0004	-
0.4974	15700	0.0002	-
0.5006	15800	0.0003	-
0.5037	15900	0.0006	-
0.5069	16000	0.0002	-
0.5101	16100	0.0036	-
0.5132	16200	0.0002	-
0.5164	16300	0.0002	-
0.5196	16400	0.0001	-
0.5227	16500	0.0002	-
0.5259	16600	0.0003	-
0.5291	16700	0.0002	-
0.5322	16800	0.0002	-
0.5354	16900	0.0003	-
0.5386	17000	0.0002	-
0.5417	17100	0.0002	-
0.5449	17200	0.0003	-
0.5481	17300	0.0003	-
0.5512	17400	0.0001	-
0.5544	17500	0.0003	-
0.5576	17600	0.0003	-
0.5607	17700	0.0003	-
0.5639	17800	0.0002	-
0.5671	17900	0.0003	-
0.5703	18000	0.0002	-
0.5734	18100	0.0001	-
0.5766	18200	0.0002	-
0.5798	18300	0.0002	-
0.5829	18400	0.0002	-
0.5861	18500	0.0002	-
0.5893	18600	0.0001	-
0.5924	18700	0.0002	-
0.5956	18800	0.0003	-
0.5988	18900	0.0002	-
0.6019	19000	0.0002	-
0.6051	19100	0.0001	-
0.6083	19200	0.0002	-
0.6114	19300	0.0001	-
0.6146	19400	0.0005	-
0.6178	19500	0.0002	-
0.6209	19600	0.0001	-
0.6241	19700	0.0002	-
0.6273	19800	0.0002	-
0.6304	19900	0.0001	-
0.6336	20000	0.0001	-
0.6368	20100	0.0004	-
0.6399	20200	0.0002	-
0.6431	20300	0.0003	-
0.6463	20400	0.0003	-
0.6495	20500	0.0002	-
0.6526	20600	0.0003	-
0.6558	20700	0.0002	-
0.6590	20800	0.0004	-
0.6621	20900	0.0001	-
0.6653	21000	0.0001	-
0.6685	21100	0.0001	-
0.6716	21200	0.0002	-
0.6748	21300	0.0002	-
0.6780	21400	0.0001	-
0.6811	21500	0.0001	-
0.6843	21600	0.0003	-
0.6875	21700	0.0002	-
0.6906	21800	0.0002	-
0.6938	21900	0.0002	-
0.6970	22000	0.0003	-
0.7001	22100	0.0005	-
0.7033	22200	0.0002	-
0.7065	22300	0.0002	-
0.7096	22400	0.0004	-
0.7128	22500	0.0004	-
0.7160	22600	0.0001	-
0.7192	22700	0.0003	-
0.7223	22800	0.0002	-
0.7255	22900	0.0001	-
0.7287	23000	0.0003	-
0.7318	23100	0.0003	-
0.7350	23200	0.0002	-
0.7382	23300	0.0002	-
0.7413	23400	0.0002	-
0.7445	23500	0.0003	-
0.7477	23600	0.0001	-
0.7508	23700	0.0003	-
0.7540	23800	0.0002	-
0.7572	23900	0.0003	-
0.7603	24000	0.0003	-
0.7635	24100	0.0002	-
0.7667	24200	0.0002	-
0.7698	24300	0.0002	-
0.7730	24400	0.0002	-
0.7762	24500	0.0002	-
0.7793	24600	0.0002	-
0.7825	24700	0.0003	-
0.7857	24800	0.0002	-
0.7888	24900	0.0002	-
0.7920	25000	0.0004	-
0.7952	25100	0.0005	-
0.7984	25200	0.0002	-
0.8015	25300	0.0002	-
0.8047	25400	0.0001	-
0.8079	25500	0.0003	-
0.8110	25600	0.0003	-
0.8142	25700	0.0002	-
0.8174	25800	0.0002	-
0.8205	25900	0.0002	-
0.8237	26000	0.0002	-
0.8269	26100	0.0003	-
0.8300	26200	0.0004	-
0.8332	26300	0.0002	-
0.8364	26400	0.0002	-
0.8395	26500	0.0004	-
0.8427	26600	0.0004	-
0.8459	26700	0.0002	-
0.8490	26800	0.0002	-
0.8522	26900	0.0003	-
0.8554	27000	0.0002	-
0.8585	27100	0.0003	-
0.8617	27200	0.0004	-
0.8649	27300	0.0009	-
0.8681	27400	0.0005	-
0.8712	27500	0.0009	-
0.8744	27600	0.0006	-
0.8776	27700	0.0005	-
0.8807	27800	0.0002	-
0.8839	27900	0.0002	-
0.8871	28000	0.0005	-
0.8902	28100	0.0004	-
0.8934	28200	0.0005	-
0.8966	28300	0.0002	-
0.8997	28400	0.0004	-
0.9029	28500	0.0002	-
0.9061	28600	0.0001	-
0.9092	28700	0.0004	-
0.9124	28800	0.0009	-
0.9156	28900	0.0002	-
0.9187	29000	0.0002	-
0.9219	29100	0.0008	-
0.9251	29200	0.0002	-
0.9282	29300	0.0002	-
0.9314	29400	0.0006	-
0.9346	29500	0.0003	-
0.9377	29600	0.001	-
0.9409	29700	0.0007	-
0.9441	29800	0.0004	-
0.9473	29900	0.0002	-
0.9504	30000	0.0001	-
0.9536	30100	0.0002	-
0.9568	30200	0.0001	-
0.9599	30300	0.0002	-
0.9631	30400	0.0004	-
0.9663	30500	0.0006	-
0.9694	30600	0.0003	-
0.9726	30700	0.0004	-
0.9758	30800	0.0002	-
0.9789	30900	0.0005	-
0.9821	31000	0.0006	-
0.9853	31100	0.0006	-
0.9884	31200	0.0006	-
0.9916	31300	0.0003	-
0.9948	31400	0.0078	-
0.9979	31500	0.0004	-
1.0	31565	-	0.9991

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.3.1
Transformers: 4.49.0.dev0
PyTorch: 2.5.1+cu121
Accelerate: 1.2.1
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

anhtuansh
/

ModernBERT-multilingual-legal-2e

SentenceTransformer based on anhtuansh/mordernBERT-multilingual-legal-1e

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

Training Details

Training Dataset

Unnamed Dataset

Evaluation Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss

Model tree for anhtuansh/ModernBERT-multilingual-legal-2e

Evaluation results