konzierge/distilbert-base-german-cased-annotation

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("konzierge/distilbert-base-german-cased-annotation")
# Run inference
sentences = [
    'Der Mieter verpflichtet sich, die Ummeldung der Stromversorgung unverzüglich (am Tag der Wohnungsübergabe) durchzuführen. Die Ummeldung bei der Wien Energie GmbH betreffend den Bezug von Warm-, und Kaltwasser sowie Heizung erfolgt durch die Hausverwaltung.',
    'In diesem Text geht es um Strom',
    'In diesem Text geht es um Bürgschaft',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Dataset: binary_distilbert-base-german-cased_root_mnrl_area_bl__CAP__law_wo_abgb__manifesto__internet____TOS__headings
• Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.9519
cosine_accuracy_threshold	0.3619
cosine_f1	0.7597
cosine_f1_threshold	0.2901
cosine_precision	0.7136
cosine_recall	0.8122
cosine_ap	0.8289
dot_accuracy	0.953
dot_accuracy_threshold	110.1487
dot_f1	0.7487
dot_f1_threshold	92.1565
dot_precision	0.6986
dot_recall	0.8066
dot_ap	0.8191
manhattan_accuracy	0.9519
manhattan_accuracy_threshold	455.416
manhattan_f1	0.7514
manhattan_f1_threshold	455.416
manhattan_precision	0.7514
manhattan_recall	0.7514
manhattan_ap	0.8249
euclidean_accuracy	0.9525
euclidean_accuracy_threshold	20.1853
euclidean_f1	0.7542
euclidean_f1_threshold	21.9267
euclidean_precision	0.6639
euclidean_recall	0.8729
euclidean_ap	0.831
max_accuracy	0.953
max_accuracy_threshold	455.416
max_f1	0.7597
max_f1_threshold	455.416
max_precision	0.7514
max_recall	0.8729
max_ap	0.831

Training Details

Training Dataset

Unnamed Dataset

• Size: 185,249 training samples
• Columns: text, target_class, and label
• Approximate statistics based on the first 1000 samples:

  	text	target_class	label
  type	string	string	int
  details	min: 15 tokens mean: 67.67 tokens max: 184 tokens	min: 9 tokens mean: 10.82 tokens max: 21 tokens	False: ~92.00% True: ~8.00%

• Samples:

  text	target_class	label
  Der Mieter ist verpflichtet, dem Vermieter unverzüglich mitzuteilen, falls sich seine Kontaktdaten ändern. Diese Informationspflicht umfasst insbesondere die Aktualisierung der Adresse und der Telefonnummer, um die ordnungsgemäße Weitergabe wichtiger Informationen über die Beendigung des Mietverhältnisses sicherzustellen. Bei Rückstellung der Mieträumlichkeiten hat der Mieter auch sämtliche ihm übermittelten Informationen in Bezug auf die Rückgabe der Mietsache zu beachten.	In diesem Text geht es um Kfz-Abstellplatz	False
  Im Falle von Arbeiten (aber auch bei Reinigung) in der Garage ist der Mieter verpflichtet, für die rechtzeitige Entfernung des Fahrzeuges zu sorgen. Widrigenfalls ist der Vermieter berechtigt, unter Ausschluss jeglicher Haftung für die Beschädigungen, die Entfernung des Fahrzeuges zu Lasten des Mieters vornehmen zu lassen und es an einem Ort seiner Wahl, jedoch auf Kosten und Gefahr des Mieters, abzustellen.	In diesem Text geht es um Unwirksamkeit	False
  Der Mieter verpflichtet sich, die Mieträume bei Übergabe auf sichtbare Mängel zu überprüfen und dem Vermieter unverzüglich schriftlich über etwaige Mängel zu informieren. Die Dokumentation von Mängeln ist sowohl durch Fotos als auch durch eine detaillierte schriftliche Auflistung sicherzustellen. Der Vermieter ist verpflichtet, Mängel, die während der Mietdauer auftreten, in angemessener Frist zu beheben, sofern diese nicht durch den Mieter verursacht wurden.	In diesem Text geht es um Nebenkosten	False

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,872 evaluation samples
• Columns: text, target_class, and label
• Approximate statistics based on the first 1000 samples:

  	text	target_class	label
  type	string	string	int
  details	min: 14 tokens mean: 67.17 tokens max: 267 tokens	min: 9 tokens mean: 10.79 tokens max: 19 tokens	False: ~90.40% True: ~9.60%

• Samples:

  text	target_class	label
  Gesetzliche Kündigungsgründe bleiben von der gegenständlichen Vereinbarung sowohl auf Mieterseite, als auch auf Seiten von [XXX] unberührt.	In diesem Text geht es um Gaskombitherme	False
  Die Ansprüche der Kaufenden Partei, die auf einer Unrichtigkeit, der von der Verkaufenden Partei gegebenen Gewährleistung, beruhen, verjähren spätestens am [Datum]. Für die Rechtzeitigkeit der Geltendmachung von Ansprüchen aus der Verletzung von Zusicherungen ist die gerichtliche Geltendmachung bis zum Ende der obigen Frist (einlangend beim zuständigen Gericht erster Instanz) und die schriftliche Mitteilung des Vorliegens eines Gewährleistungsfalles an die Verkaufende Partei binnen […] Wochen ab Kenntnis maßgeblich.	In diesem Text geht es um Haftungsausschluss	False
  Der Vermieter und/oder ein von diesem Beauftragter kann das Mietobjekt nach vorheriger Ankündigung – jedoch nicht zur Unzeit – zum Zweck der Besichtigung betreten; bei Gefahr in Verzug entfällt die Voranmeldepflicht. Die letzten drei Monate vor Ablauf der vereinbarten Vertragsdauer sowie im Falle der Kündigung während der Kündigungsfrist ist der Vermieter berechtigt, das gegenständliche Mietobjekt mit Interessenten zu üblichen Zeiten zur Besichtigung zu betreten.	In diesem Text geht es um Investitionsersatzanspruch	False

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 32
• learning_rate: 3e-05
• weight_decay: 0.01
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 130
• data_seed: 130
• fp16: True
• group_by_length: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 32
• eval_accumulation_steps: None
• learning_rate: 3e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 130
• data_seed: 130
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: True
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss	binary_distilbert-base-german-cased_root_mnrl_area_bl__CAP__law_wo_abgb__manifesto__internet____TOS__headings_max_ap
0.0138	5	0.1189	-	-
0.0276	10	0.0972	-	-
0.0415	15	0.0811	-	-
0.0553	20	0.0727	-	-
0.0691	25	0.0698	-	-
0.0829	30	0.0628	-	-
0.0967	35	0.0593	-	-
0.1105	40	0.0566	-	-
0.1244	45	0.0561	-	-
0.1382	50	0.0536	-	-
0.1520	55	0.0531	-	-
0.1658	60	0.0577	-	-
0.1796	65	0.0511	-	-
0.1935	70	0.0509	-	-
0.2073	75	0.0488	-	-
0.2211	80	0.0503	-	-
0.2349	85	0.0485	-	-
0.2487	90	0.0505	-	-
0.2625	95	0.0513	-	-
0.2764	100	0.0516	-	-
0.2902	105	0.0465	-	-
0.3040	110	0.0496	-	-
0.3178	115	0.0461	-	-
0.3316	120	0.0479	-	-
0.3455	125	0.0493	-	-
0.3593	130	0.0454	-	-
0.3731	135	0.0479	-	-
0.3869	140	0.0495	-	-
0.4007	145	0.0466	-	-
0.4145	150	0.049	0.0457	-
0.4284	155	0.0452	-	-
0.4422	160	0.0411	-	-
0.4560	165	0.0483	-	-
0.4698	170	0.0461	-	-
0.4836	175	0.0451	-	-
0.4975	180	0.046	-	-
0.5113	185	0.0382	-	-
0.5251	190	0.0411	-	-
0.5389	195	0.0472	-	-
0.5527	200	0.049	-	-
0.5665	205	0.0441	-	-
0.5804	210	0.0427	-	-
0.5942	215	0.0456	-	-
0.6080	220	0.042	-	-
0.6218	225	0.0437	-	-
0.6356	230	0.0441	-	-
0.6495	235	0.0417	-	-
0.6633	240	0.0404	-	-
0.6771	245	0.0407	-	-
0.6909	250	0.0453	-	-
0.7047	255	0.0398	-	-
0.7185	260	0.0431	-	-
0.7324	265	0.0412	-	-
0.7462	270	0.0414	-	-
0.7600	275	0.0411	-	-
0.7738	280	0.0419	-	-
0.7876	285	0.0396	-	-
0.8015	290	0.0421	-	-
0.8153	295	0.04	-	-
0.8291	300	0.0435	0.0418	-
0.8429	305	0.0385	-	-
0.8567	310	0.0424	-	-
0.8705	315	0.0413	-	-
0.8844	320	0.0423	-	-
0.8982	325	0.0451	-	-
0.9120	330	0.0387	-	-
0.9258	335	0.0435	-	-
0.9396	340	0.039	-	-
0.9535	345	0.0431	-	-
0.9673	350	0.0416	-	-
0.9811	355	0.0407	-	-
0.9949	360	0.0443	-	-
0.9977	361	-	-	0.8310

Framework Versions

• Python: 3.11.4
• Sentence Transformers: 3.0.1
• Transformers: 4.40.1
• PyTorch: 2.1.0+cu121
• Accelerate: 0.33.0
• Datasets: 2.15.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}