NoneWorks/ModernBert_LegalMx

SentenceTransformer based on wilfredomartel/ModernBERT-base-es-legal-v2

This is a sentence-transformers model finetuned from wilfredomartel/ModernBERT-base-es-legal-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: wilfredomartel/ModernBERT-base-es-legal-v2
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '¿Qué es la posesión?',
    'Artículo 215.- El dominio y posesión de los bienes comunes reside en ambos cónyuges, mientras subsista la sociedad; pero las acciones en contra de ésta o sobre los bienes sociales serán dirigidas contra el administrador. Las reclamaciones relativas a obligaciones que son carga de la sociedad legal procederán contra el administrador. Constituido el patrimonio familiar conforme a las reglas de este Código, los cónyuges no pueden ejercer actos de dominio sobre los bienes afectos a éste, y las reclamaciones relativas a obligaciones de la sociedad no pueden cumplirse con los bienes que forman parte del patrimonio familiar.',
    'Artículo 210.- Son propios de cada cónyuge: I.- Los bienes de que era dueño al tiempo de celebrarse el matrimonio y los que adquiera por prescripción durante la sociedad, así como los que durante la misma adquiera por don de la fortuna, por donación de cualquier especie o por herencia o legado constituido a favor de uno de ellos; (REFORMADA, P.O. 28 DE JUNIO DE 2021) II.- Los bienes adquiridos durante la sociedad por compra o permuta de los bienes raíces que pertenezcan a cada uno de ellos antes de celebrarse el matrimonio; III.- Los adquiridos por consolidación de la propiedad y el usufructo, cuando se hace en beneficio de uno solo de ellos. (REFORMADO, P.O. 23 DE SEPTIEMBRE DE 2024)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 707 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 707 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 10 tokens mean: 15.74 tokens max: 22 tokens	min: 19 tokens mean: 258.94 tokens max: 615 tokens	min: 18 tokens mean: 229.68 tokens max: 559 tokens

• Samples:

  anchor	positive	negative
  ¿Cuáles son los requisitos para contraer matrimonio?	Artículo 37.- Los registros que se realicen se referirán exclusivamente a los actos concernientes al estado civil de las personas y harán constar el principio y extensión de su vida jurídica, acreditarán las relaciones de parentesco, matrimonio y las que deriven de actos judiciales y administrativos relativos al estado civil. Tales registros se asentarán en las formas especiales elaboradas y autorizadas previamente para cada caso que se denominarán "Formas del Registro Civil", y en la base de datos del registro informático, según el sistema adoptado y autorizado por el Reglamento interno correspondiente. La infracción a esta disposición producirá la nulidad de los registos (sic). Deberán contener la clave única de registro de población o en su defecto, su transcripción. Los formatos, una vez utilizados, se encuadernarán en volúmenes hasta de doscientas fojas, correspondientes al año a que se refieran. (REFORMADO, P.O. 23 DE SEPTIEMBRE DE 2013)	Artículo 290.- El Juez está obligado a suplir la deficiencia de las partes en el convenio propuesto. Las limitaciones formales de la prueba que rigen en la materia civil, no deben aplicarse en los casos de divorcio respecto del o los convenios propuestos. (REFORMADO, P.O. 22 DE JUNIO DE 2015)
  ¿Cuáles son los requisitos para contraer matrimonio?	Artículo 38.- Los registros se podrán asentar en forma física o electrónica, mediante los sistemas informáticos autorizados, en formatos por triplicado que serán: de nacimiento, de reconocimiento de hijos, de adopción, de tutela, de matrimonio, de divorcio, de defunción, de inscripción de las sentencias ejecutorias que declaren ausencia o presunción de muerte o la pérdida o limitación de la capacidad para administrar bienes. Los registros realizados en forma electrónica deberán ser autorizados con la firma electrónica certificada del funcionario. La firma electrónica de los funcionarios deberá ser certificada por la autoridad certificadora, dependiente de la Secretaría de Gobierno del Ejecutivo Estatal, en la forma y tiempo en que lo señale la Ley sobre el Uso de Medios Electrónicos para el Estado de Aguascalientes. (REFORMADO, P.O. 6 DE MARZO DE 2000)	Artículo 106.- La sentencia ejecutoria que decrete un divorcio será enviada mediante copia certificada por el Juez al Oficial del Registro Civil que corresponda para que se realice el registro respectivo. (REFORMADO, P.O. 6 DE MARZO DE 2000)
  ¿Cuáles son los requisitos para contraer matrimonio?	Artículo 44.- Cuando los interesados no puedan concurrir personalmente a las oficinas de Registro Civil, podrán hacerse representar por un mandatario especial para el acto, cuyo nombramiento conste por lo menos en carta poder otorgado ante dos testigos. En caso de matrimonio o de reconocimiento de hijos las firmas del instrumento deberán ratificarse ante Notario Público. (REFORMADO, P.O. 6 DE MARZO DE 2000)	Artículo 106.- La sentencia ejecutoria que decrete un divorcio será enviada mediante copia certificada por el Juez al Oficial del Registro Civil que corresponda para que se realice el registro respectivo. (REFORMADO, P.O. 6 DE MARZO DE 2000)

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• dataloader_num_workers: 2
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
1.1111	50	2.4891
2.2222	100	1.0429

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.53.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.4.1
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}