davidjaesch/gerdalir-e5-de

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("davidjaesch/gerdalir-e5-de")
# Run inference
sentences = [
    'query: Für die Anordnung infektionsschutzrechtlicher Maßnahmen ist es nach [REF] erforderlich, aber auch ausreichend, dass eine übertragbare Krankheit aufgetreten ist, deren Weiterverbreitung verhindert werden soll. Das ist vorliegend der Fall, da in allen Bundesländern der Bundesrepublik Deutschland, auch in Nordrhein-Westfalen und insbesondere in C0. , eine Vielzahl von Infektionsfällen mit dem neuen Coronavirus SARS-CoV-0 bestätigt wurde.',
    'passage: Die Kostenentscheidung beruht auf [REF] . Die Streitwertfestsetzung folgt aus [REF] . Dabei orientiert sich die Kammer an den mindestens zu erwartenden wirtschaftlichen Belastungen durch die mittelbare Testpflicht. Von einer sonst im einstweiligen Rechtsschutz übliche Reduzierung des Streitwerts wird wegen der im Ergebnis angestrebten Vorwegnahme der Hauptsache abgesehen.',
    'passage: Die Streitwertfestsetzung folgt aus §§ 0 Abs. 0 Nr. 0, 0 Abs. 0 Satz 0 i. V. m. Satz 0 Nr. 0 GKG. Der Streitwert beträgt danach die Hälfte der Summe der für ein Kalenderjahr zu zahlenden Bezüge mit Ausnahme nicht ruhegehaltfähiger Zulagen. Dieser im „klassischen Beförderungsrechtsstreit“ also in der Fallkonstellation, in denen der betreffende Antragsteller die Verleihung eines höheren Statusamtes begehrt zugrunde zu legende Streitwert ist auch maßgeblich, wenn ein Beamter im Auswahlverfahren um einen höherwertigen bzw. Beförderungsdienstposten unterliegt und davon auszugehen ist, dass nach der Übertragung dieses höherwertigen Dienstpostens und im Anschluss an die Bewährungsfeststellung bei Vorliegen der haushaltsrechtlichen Voraussetzungen die Beförderung des ausgewählten Bewerbers ansteht, das heißt eine erneute Auswahlentscheidung anhand des Leistungsgrundsatzes nicht mehr vorgenommen wird . Um einen solchen Fall handelt es sich hier, weil ausweislich des Ausschreibungstextes nach dem Vorliegen der haushaltsrechtlichen Voraussetzungen eine Beförderung in ein Amt der Besoldungsgruppe A 0 erfolgen soll.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 114,844 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 40 tokens mean: 218.48 tokens max: 512 tokens	min: 33 tokens mean: 153.12 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  query: Nach [REF] ist eine Erlaubnis zu widerrufen, wenn nachträglich bekannt wird, dass die Voraussetzung nach § 0 Nummer 0 nicht erfüllt ist. Gemäß [REF] setzt die Erlaubnis zum Führen der Berufsbezeichnung voraus, dass die antragstellende Person sich nicht eines Verhaltens schuldig gemacht hat, aus dem sich die Unzuverlässigkeit zur Ausübung des Berufes ergibt. Der gerichtlich voll überprüfbare unbestimmte Rechtsbegriff der Zuverlässigkeit bezeichnet ein Instrument sicherheits und ordnungsrechtlicher Gefahrenabwehr. Der Ausschluss unzuverlässiger Erlaubnisbewerber bzw. inhaber hat demgemäß präventiven Charakter und dient der Abwehr von Gefahren für das Gemeinwohl. Unzuverlässigkeit i. S. d. der Bestimmungen ist dabei in Anlehnung an entsprechende Begrifflichkeiten in anderen, auch heilberufsrechtlichen Bestimmungen anzunehmen, wenn bei prognostischer Betrachtung auf Grund einer Würdigung der gesamten Persönlichkeit, des Gesamtverhaltens und der Lebensumstände des Betreffenden unter ...	passage: Für das Beschwerdeverfahren besteht Vertretungszwang; dies gilt auch für die Einlegung der Beschwerde und für die Begründung. Danach muss sich jeder Beteiligte durch einen Rechtsanwalt oder einen Rechtslehrer an einer deutschen Hochschule im Sinne des Hochschulrahmengesetzes mit Befähigung zum Richteramt als Bevollmächtigten vertreten lassen. Juristische Personen des öffentlichen Rechts und Behörden können sich auch durch Beamte oder Angestellte mit Befähigung zum Richteramt sowie Diplomjuristen im höheren Dienst, Gebietskörperschaften auch durch Beamte oder Angestellte mit Befähigung zum Richteramt der zuständigen Aufsichtsbehörde oder des jeweiligen kommunalen Spitzenverbandes des Landes, dem sie als Mitglied zugehören, vertreten lassen.
  query: Erforderlich ist mithin eine Prognoseentscheidung unter Berücksichtigung aller Umstände des Einzelfalls dahingehend, ob der Betreffende willens und in der Lage sein wird, künftig seine beruflichen Pflichten zuverlässig zu erfüllen.	passage: Das ist hier nicht der Fall. Das Amtsgericht hat in dem Strafurteil zwar auch eine Gefahrenprognose angestellt, soweit es den Umfang des Berufsverbots auf weibliche Patienten unter 0 Jahren beschränkt hat. Es hat diese Prognose aber entsprechend dem Charakter des Berufsverbots nach [REF] als tatbezogene Maßregel der Besserung und Sicherung allein darauf gestützt, dass nach den Umständen der konkreten Tat nur eine Gefährdung dieses Personenkreises zu besorgen sei. Die berufsrechtliche Entscheidung knüpft demgegenüber daran an, dass unter tatübergreifenden Aspekten die Zuverlässigkeit zur weiteren Ausübung des Berufs entfällt, wenn der Betreffende auch nur für einen Teil seiner Patienten eine Gefahr bedeutet. Die Gefahrenprognose der Widerrufsentscheidung wird zudem, anders als das vom Strafgericht im [DATE] ausgesprochene beschränkte Berufsverbot, nicht allein von dem Umstand getragen, dass der Kläger ein Kind sexuell missbraucht hat, sondern von einer umfassenden Würdigung sei...
  query: [REF] ist in Reaktion auf das Urteil des Schleswig-Holsteinischen Landesverfassungsgerichts neu gefasst worden, vor dem Hintergrund, dass sich die Ämter in Folge zunehmender Übertragung von Selbstverwaltungsaufgaben durch die Gemeinden zu Gemeindeverbänden entwickelten . Mit dem neu eingeführten [REF] darf das Amt höchstens Träger von fünf der in Satz 0 enumerativ aufgeführten Selbstverwaltungsaufgaben werden.	passage: Entschließt sich der Gesetzgeber zur Einführung einer Volkswahl auf Amtsebene, ist zu beachten, dass es sich um eine selbstständige Wahl handeln muss. Nach Art. 0 Abs. 0 Satz 0 LV handelt das Volk durch seine „gewählten Vertretungen“ im Lande, in den Gemeinden und Gemeindeverbänden. Das bedeutet, dass jede der aufgeführten beziehungsweise unter den Sammelbegriff des Gemeindeverbandes fallenden Körperschaften über eine selbstständige, vom Volk gewählte Vertretung verfügen muss, so wie der Kreistag getrennt von den Gemeindevertretungen der kreisangehörigen Gemeinden gewählt wird. Eine nicht bloß zeitliche, sondern auch inhaltliche Kopplung der Wahl an die Wahlen der Mitglieder der Gemeindevertretungen oder der Bürgermeisterinnen beziehungsweise Bürgermeister der amtsangehörigen Gemeinden wie sie de facto bei der wieder abgeschafften Amtsversammlung vorgesehen war , wäre mithin unzulässig. Etwas anderes folgt auch nicht daraus, dass die Ämter keine Gebietskörperschaften sind und ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• max_steps: 2600
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: 2600
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.0697	500	0.7661
0.1393	1000	0.6278
0.2090	1500	0.5215
0.2786	2000	0.4873
0.3483	2500	0.4414

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}