|
---
|
|
datasets: []
|
|
language: []
|
|
library_name: sentence-transformers
|
|
metrics:
|
|
- cosine_accuracy
|
|
- cosine_accuracy_threshold
|
|
- cosine_f1
|
|
- cosine_f1_threshold
|
|
- cosine_precision
|
|
- cosine_recall
|
|
- cosine_ap
|
|
- dot_accuracy
|
|
- dot_accuracy_threshold
|
|
- dot_f1
|
|
- dot_f1_threshold
|
|
- dot_precision
|
|
- dot_recall
|
|
- dot_ap
|
|
- manhattan_accuracy
|
|
- manhattan_accuracy_threshold
|
|
- manhattan_f1
|
|
- manhattan_f1_threshold
|
|
- manhattan_precision
|
|
- manhattan_recall
|
|
- manhattan_ap
|
|
- euclidean_accuracy
|
|
- euclidean_accuracy_threshold
|
|
- euclidean_f1
|
|
- euclidean_f1_threshold
|
|
- euclidean_precision
|
|
- euclidean_recall
|
|
- euclidean_ap
|
|
- max_accuracy
|
|
- max_accuracy_threshold
|
|
- max_f1
|
|
- max_f1_threshold
|
|
- max_precision
|
|
- max_recall
|
|
- max_ap
|
|
pipeline_tag: sentence-similarity
|
|
tags:
|
|
- sentence-transformers
|
|
- sentence-similarity
|
|
- feature-extraction
|
|
- generated_from_trainer
|
|
- dataset_size:185249
|
|
- loss:CosineSimilarityLoss
|
|
widget:
|
|
- source_sentence: Die Vermietung erfolgt zu Wohnzwecken. Jede Änderung des Verwendungszweckes
|
|
ist ausdrücklich ausgeschlossen.
|
|
sentences:
|
|
- In diesem Text geht es um Diebstahl
|
|
- In diesem Text geht es um Beschränkung
|
|
- In diesem Text geht es um Schlüsselpersonal
|
|
- source_sentence: Hingewiesen wird, dass für dieses Haus ein Versicherungsvertrag
|
|
über Sturmschäden sowie über Feuer-, Haftpflicht-, Leitungswasserschaden und Glasbruch
|
|
abgeschlossen wurde und tritt der Mieter den bestehenden Vereinbarungen bei. Der
|
|
Mieter erklärt und stimmt zu, auf Bestanddauer die anteiligen Prämienkosten im
|
|
Wege der Betriebskostenverrechnung zu bezahlen und stimmt auch einer Erneuerung
|
|
oder Änderung des Versicherungsvertrages zu.
|
|
sentences:
|
|
- In diesem Text geht es um Feuerschaden
|
|
- In diesem Text geht es um Kostentragung
|
|
- In diesem Text geht es um Vorkaufsrecht
|
|
- source_sentence: Vermietet wird die Wohnung Nr im Hause. Der Mietgegenstand besteht
|
|
aus zwei Zimmern, Küche mit Duschnische, Vorraum und Klosett. Mitvermietet werden
|
|
die in dem heute gemeinsam verfassten Inventar angeführten Einrichtungsgegenstände.
|
|
sentences:
|
|
- In diesem Text geht es um Gemeinschaftsanlagen
|
|
- In diesem Text geht es um Beschreibung
|
|
- In diesem Text geht es um Schriftformgebot
|
|
- source_sentence: Die Gesellschafter verpflichten sich für einen Zeitraum von [zwei]
|
|
Jahren nach Ausscheiden als Gesellschafter, keine Mitarbeiter der Gesellschaft
|
|
anzustellen, als freie Mitarbeiter zu beschäftigen oder sonst wie als Berater
|
|
beizuziehen und keine Kunden aus dem bestehenden Kundenstamm der Gesellschaft
|
|
und keine potentiellen Kunden für sich oder Dritte zu akquirieren und jede auf
|
|
die Akquisition oder den Abschluss von Geschäften mit Kunden und potentiellen
|
|
Kunden gerichteten Handlungen zu unterlassen. Potenzielle Kunden sind Personen,
|
|
bei denen die Gesellschaft in einem Zeitraum von [sechs] Monaten vor dem Ausscheiden
|
|
des Gesellschafters [zu einer Angebotslegung eingeladen wurde bzw ein Angebot
|
|
gelegt hat].
|
|
sentences:
|
|
- In diesem Text geht es um Budget
|
|
- In diesem Text geht es um Gesellschafter
|
|
- In diesem Text geht es um Option
|
|
- source_sentence: Der Mieter verpflichtet sich, die Ummeldung der Stromversorgung
|
|
unverzüglich (am Tag der Wohnungsübergabe) durchzuführen. Die Ummeldung bei der
|
|
Wien Energie GmbH betreffend den Bezug von Warm-, und Kaltwasser sowie Heizung
|
|
erfolgt durch die Hausverwaltung.
|
|
sentences:
|
|
- In diesem Text geht es um Barübergabe
|
|
- In diesem Text geht es um Bürgschaft
|
|
- In diesem Text geht es um Strom
|
|
model-index:
|
|
- name: SentenceTransformer
|
|
results:
|
|
- task:
|
|
type: binary-classification
|
|
name: Binary Classification
|
|
dataset:
|
|
name: binary distilbert base german cased root mnrl area bl CAP law wo abgb manifesto internet TOS headings
|
|
type: binary_distilbert-base-german-cased_root_mnrl_area_bl__CAP__law_wo_abgb__manifesto__internet____TOS__headings
|
|
metrics:
|
|
- type: cosine_accuracy
|
|
value: 0.9519230769230769
|
|
name: Cosine Accuracy
|
|
- type: cosine_accuracy_threshold
|
|
value: 0.36188435554504395
|
|
name: Cosine Accuracy Threshold
|
|
- type: cosine_f1
|
|
value: 0.7596899224806202
|
|
name: Cosine F1
|
|
- type: cosine_f1_threshold
|
|
value: 0.2901448905467987
|
|
name: Cosine F1 Threshold
|
|
- type: cosine_precision
|
|
value: 0.7135922330097088
|
|
name: Cosine Precision
|
|
- type: cosine_recall
|
|
value: 0.8121546961325967
|
|
name: Cosine Recall
|
|
- type: cosine_ap
|
|
value: 0.8289192578866025
|
|
name: Cosine Ap
|
|
- type: dot_accuracy
|
|
value: 0.9529914529914529
|
|
name: Dot Accuracy
|
|
- type: dot_accuracy_threshold
|
|
value: 110.14871215820312
|
|
name: Dot Accuracy Threshold
|
|
- type: dot_f1
|
|
value: 0.7487179487179487
|
|
name: Dot F1
|
|
- type: dot_f1_threshold
|
|
value: 92.15650177001953
|
|
name: Dot F1 Threshold
|
|
- type: dot_precision
|
|
value: 0.6985645933014354
|
|
name: Dot Precision
|
|
- type: dot_recall
|
|
value: 0.8066298342541437
|
|
name: Dot Recall
|
|
- type: dot_ap
|
|
value: 0.8191183342084556
|
|
name: Dot Ap
|
|
- type: manhattan_accuracy
|
|
value: 0.9519230769230769
|
|
name: Manhattan Accuracy
|
|
- type: manhattan_accuracy_threshold
|
|
value: 455.416015625
|
|
name: Manhattan Accuracy Threshold
|
|
- type: manhattan_f1
|
|
value: 0.7513812154696132
|
|
name: Manhattan F1
|
|
- type: manhattan_f1_threshold
|
|
value: 455.416015625
|
|
name: Manhattan F1 Threshold
|
|
- type: manhattan_precision
|
|
value: 0.7513812154696132
|
|
name: Manhattan Precision
|
|
- type: manhattan_recall
|
|
value: 0.7513812154696132
|
|
name: Manhattan Recall
|
|
- type: manhattan_ap
|
|
value: 0.8248591353088989
|
|
name: Manhattan Ap
|
|
- type: euclidean_accuracy
|
|
value: 0.9524572649572649
|
|
name: Euclidean Accuracy
|
|
- type: euclidean_accuracy_threshold
|
|
value: 20.185283660888672
|
|
name: Euclidean Accuracy Threshold
|
|
- type: euclidean_f1
|
|
value: 0.7541766109785202
|
|
name: Euclidean F1
|
|
- type: euclidean_f1_threshold
|
|
value: 21.926673889160156
|
|
name: Euclidean F1 Threshold
|
|
- type: euclidean_precision
|
|
value: 0.6638655462184874
|
|
name: Euclidean Precision
|
|
- type: euclidean_recall
|
|
value: 0.8729281767955801
|
|
name: Euclidean Recall
|
|
- type: euclidean_ap
|
|
value: 0.8309654116658671
|
|
name: Euclidean Ap
|
|
- type: max_accuracy
|
|
value: 0.9529914529914529
|
|
name: Max Accuracy
|
|
- type: max_accuracy_threshold
|
|
value: 455.416015625
|
|
name: Max Accuracy Threshold
|
|
- type: max_f1
|
|
value: 0.7596899224806202
|
|
name: Max F1
|
|
- type: max_f1_threshold
|
|
value: 455.416015625
|
|
name: Max F1 Threshold
|
|
- type: max_precision
|
|
value: 0.7513812154696132
|
|
name: Max Precision
|
|
- type: max_recall
|
|
value: 0.8729281767955801
|
|
name: Max Recall
|
|
- type: max_ap
|
|
value: 0.8309654116658671
|
|
name: Max Ap
|
|
---
|
|
|
|
# SentenceTransformer
|
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
|
|
|
|
## Model Details
|
|
|
|
### Model Description
|
|
- **Model Type:** Sentence Transformer
|
|
<!-- - **Base model:** [Unknown](https://huggingface.co/unknown) -->
|
|
- **Maximum Sequence Length:** 512 tokens
|
|
- **Output Dimensionality:** 768 tokens
|
|
- **Similarity Function:** Cosine Similarity
|
|
<!-- - **Training Dataset:** Unknown -->
|
|
<!-- - **Language:** Unknown -->
|
|
<!-- - **License:** Unknown -->
|
|
|
|
### Model Sources
|
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
|
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
|
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
|
|
|
|
### Full Model Architecture
|
|
|
|
```
|
|
SentenceTransformer(
|
|
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: DistilBertModel
|
|
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
|
|
)
|
|
```
|
|
|
|
## Usage
|
|
|
|
### Direct Usage (Sentence Transformers)
|
|
|
|
First install the Sentence Transformers library:
|
|
|
|
```bash
|
|
pip install -U sentence-transformers
|
|
```
|
|
|
|
Then you can load this model and run inference.
|
|
```python
|
|
from sentence_transformers import SentenceTransformer
|
|
|
|
# Download from the 🤗 Hub
|
|
model = SentenceTransformer("konzierge/distilbert-base-german-cased-annotation")
|
|
# Run inference
|
|
sentences = [
|
|
'Der Mieter verpflichtet sich, die Ummeldung der Stromversorgung unverzüglich (am Tag der Wohnungsübergabe) durchzuführen. Die Ummeldung bei der Wien Energie GmbH betreffend den Bezug von Warm-, und Kaltwasser sowie Heizung erfolgt durch die Hausverwaltung.',
|
|
'In diesem Text geht es um Strom',
|
|
'In diesem Text geht es um Bürgschaft',
|
|
]
|
|
embeddings = model.encode(sentences)
|
|
print(embeddings.shape)
|
|
# [3, 768]
|
|
|
|
# Get the similarity scores for the embeddings
|
|
similarities = model.similarity(embeddings, embeddings)
|
|
print(similarities.shape)
|
|
# [3, 3]
|
|
```
|
|
|
|
<!--
|
|
### Direct Usage (Transformers)
|
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary>
|
|
|
|
</details>
|
|
-->
|
|
|
|
<!--
|
|
### Downstream Usage (Sentence Transformers)
|
|
|
|
You can finetune this model on your own dataset.
|
|
|
|
<details><summary>Click to expand</summary>
|
|
|
|
</details>
|
|
-->
|
|
|
|
<!--
|
|
### Out-of-Scope Use
|
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
|
|
-->
|
|
|
|
## Evaluation
|
|
|
|
### Metrics
|
|
|
|
#### Binary Classification
|
|
* Dataset: `binary_distilbert-base-german-cased_root_mnrl_area_bl__CAP__law_wo_abgb__manifesto__internet____TOS__headings`
|
|
* Evaluated with [<code>BinaryClassificationEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.BinaryClassificationEvaluator)
|
|
|
|
| Metric | Value |
|
|
|:-----------------------------|:----------|
|
|
| cosine_accuracy | 0.9519 |
|
|
| cosine_accuracy_threshold | 0.3619 |
|
|
| cosine_f1 | 0.7597 |
|
|
| cosine_f1_threshold | 0.2901 |
|
|
| cosine_precision | 0.7136 |
|
|
| cosine_recall | 0.8122 |
|
|
| cosine_ap | 0.8289 |
|
|
| dot_accuracy | 0.953 |
|
|
| dot_accuracy_threshold | 110.1487 |
|
|
| dot_f1 | 0.7487 |
|
|
| dot_f1_threshold | 92.1565 |
|
|
| dot_precision | 0.6986 |
|
|
| dot_recall | 0.8066 |
|
|
| dot_ap | 0.8191 |
|
|
| manhattan_accuracy | 0.9519 |
|
|
| manhattan_accuracy_threshold | 455.416 |
|
|
| manhattan_f1 | 0.7514 |
|
|
| manhattan_f1_threshold | 455.416 |
|
|
| manhattan_precision | 0.7514 |
|
|
| manhattan_recall | 0.7514 |
|
|
| manhattan_ap | 0.8249 |
|
|
| euclidean_accuracy | 0.9525 |
|
|
| euclidean_accuracy_threshold | 20.1853 |
|
|
| euclidean_f1 | 0.7542 |
|
|
| euclidean_f1_threshold | 21.9267 |
|
|
| euclidean_precision | 0.6639 |
|
|
| euclidean_recall | 0.8729 |
|
|
| euclidean_ap | 0.831 |
|
|
| max_accuracy | 0.953 |
|
|
| max_accuracy_threshold | 455.416 |
|
|
| max_f1 | 0.7597 |
|
|
| max_f1_threshold | 455.416 |
|
|
| max_precision | 0.7514 |
|
|
| max_recall | 0.8729 |
|
|
| **max_ap** | **0.831** |
|
|
|
|
<!--
|
|
## Bias, Risks and Limitations
|
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
|
|
-->
|
|
|
|
<!--
|
|
### Recommendations
|
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
|
|
-->
|
|
|
|
## Training Details
|
|
|
|
### Training Dataset
|
|
|
|
#### Unnamed Dataset
|
|
|
|
|
|
* Size: 185,249 training samples
|
|
* Columns: <code>text</code>, <code>target_class</code>, and <code>label</code>
|
|
* Approximate statistics based on the first 1000 samples:
|
|
| | text | target_class | label |
|
|
|:--------|:------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:------------------------------------------------------|
|
|
| type | string | string | int |
|
|
| details | <ul><li>min: 15 tokens</li><li>mean: 67.67 tokens</li><li>max: 184 tokens</li></ul> | <ul><li>min: 9 tokens</li><li>mean: 10.82 tokens</li><li>max: 21 tokens</li></ul> | <ul><li>False: ~92.00%</li><li>True: ~8.00%</li></ul> |
|
|
* Samples:
|
|
| text | target_class | label |
|
|
|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------|:-------------------|
|
|
| <code>Der Mieter ist verpflichtet, dem Vermieter unverzüglich mitzuteilen, falls sich seine Kontaktdaten ändern. Diese Informationspflicht umfasst insbesondere die Aktualisierung der Adresse und der Telefonnummer, um die ordnungsgemäße Weitergabe wichtiger Informationen über die Beendigung des Mietverhältnisses sicherzustellen. Bei Rückstellung der Mieträumlichkeiten hat der Mieter auch sämtliche ihm übermittelten Informationen in Bezug auf die Rückgabe der Mietsache zu beachten.</code> | <code>In diesem Text geht es um Kfz-Abstellplatz</code> | <code>False</code> |
|
|
| <code>Im Falle von Arbeiten (aber auch bei Reinigung) in der Garage ist der Mieter verpflichtet, für die rechtzeitige Entfernung des Fahrzeuges zu sorgen. Widrigenfalls ist der Vermieter berechtigt, unter Ausschluss jeglicher Haftung für die Beschädigungen, die Entfernung des Fahrzeuges zu Lasten des Mieters vornehmen zu lassen und es an einem Ort seiner Wahl, jedoch auf Kosten und Gefahr des Mieters, abzustellen.</code> | <code>In diesem Text geht es um Unwirksamkeit</code> | <code>False</code> |
|
|
| <code>Der Mieter verpflichtet sich, die Mieträume bei Übergabe auf sichtbare Mängel zu überprüfen und dem Vermieter unverzüglich schriftlich über etwaige Mängel zu informieren. Die Dokumentation von Mängeln ist sowohl durch Fotos als auch durch eine detaillierte schriftliche Auflistung sicherzustellen. Der Vermieter ist verpflichtet, Mängel, die während der Mietdauer auftreten, in angemessener Frist zu beheben, sofern diese nicht durch den Mieter verursacht wurden.</code> | <code>In diesem Text geht es um Nebenkosten</code> | <code>False</code> |
|
|
* Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
|
|
```json
|
|
{
|
|
"loss_fct": "torch.nn.modules.loss.MSELoss"
|
|
}
|
|
```
|
|
|
|
### Evaluation Dataset
|
|
|
|
#### Unnamed Dataset
|
|
|
|
|
|
* Size: 1,872 evaluation samples
|
|
* Columns: <code>text</code>, <code>target_class</code>, and <code>label</code>
|
|
* Approximate statistics based on the first 1000 samples:
|
|
| | text | target_class | label |
|
|
|:--------|:------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:------------------------------------------------------|
|
|
| type | string | string | int |
|
|
| details | <ul><li>min: 14 tokens</li><li>mean: 67.17 tokens</li><li>max: 267 tokens</li></ul> | <ul><li>min: 9 tokens</li><li>mean: 10.79 tokens</li><li>max: 19 tokens</li></ul> | <ul><li>False: ~90.40%</li><li>True: ~9.60%</li></ul> |
|
|
* Samples:
|
|
| text | target_class | label |
|
|
|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------|:-------------------|
|
|
| <code>Gesetzliche Kündigungsgründe bleiben von der gegenständlichen Vereinbarung sowohl auf Mieterseite, als auch auf Seiten von [XXX] unberührt.</code> | <code>In diesem Text geht es um Gaskombitherme</code> | <code>False</code> |
|
|
| <code>Die Ansprüche der Kaufenden Partei, die auf einer Unrichtigkeit, der von der Verkaufenden Partei gegebenen Gewährleistung, beruhen, verjähren spätestens am [Datum]. Für die Rechtzeitigkeit der Geltendmachung von Ansprüchen aus der Verletzung von Zusicherungen ist die gerichtliche Geltendmachung bis zum Ende der obigen Frist (einlangend beim zuständigen Gericht erster Instanz) und die schriftliche Mitteilung des Vorliegens eines Gewährleistungsfalles an die Verkaufende Partei binnen […] Wochen ab Kenntnis maßgeblich.</code> | <code>In diesem Text geht es um Haftungsausschluss</code> | <code>False</code> |
|
|
| <code>Der Vermieter und/oder ein von diesem Beauftragter kann das Mietobjekt nach vorheriger Ankündigung – jedoch nicht zur Unzeit – zum Zweck der Besichtigung betreten; bei Gefahr in Verzug entfällt die Voranmeldepflicht. Die letzten drei Monate vor Ablauf der vereinbarten Vertragsdauer sowie im Falle der Kündigung während der Kündigungsfrist ist der Vermieter berechtigt, das gegenständliche Mietobjekt mit Interessenten zu üblichen Zeiten zur Besichtigung zu betreten.</code> | <code>In diesem Text geht es um Investitionsersatzanspruch</code> | <code>False</code> |
|
|
* Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
|
|
```json
|
|
{
|
|
"loss_fct": "torch.nn.modules.loss.MSELoss"
|
|
}
|
|
```
|
|
|
|
### Training Hyperparameters
|
|
#### Non-Default Hyperparameters
|
|
|
|
- `per_device_train_batch_size`: 16
|
|
- `per_device_eval_batch_size`: 16
|
|
- `gradient_accumulation_steps`: 32
|
|
- `learning_rate`: 3e-05
|
|
- `weight_decay`: 0.01
|
|
- `num_train_epochs`: 1
|
|
- `warmup_ratio`: 0.1
|
|
- `seed`: 130
|
|
- `data_seed`: 130
|
|
- `fp16`: True
|
|
- `group_by_length`: True
|
|
- `batch_sampler`: no_duplicates
|
|
|
|
#### All Hyperparameters
|
|
<details><summary>Click to expand</summary>
|
|
|
|
- `overwrite_output_dir`: False
|
|
- `do_predict`: False
|
|
- `prediction_loss_only`: True
|
|
- `per_device_train_batch_size`: 16
|
|
- `per_device_eval_batch_size`: 16
|
|
- `per_gpu_train_batch_size`: None
|
|
- `per_gpu_eval_batch_size`: None
|
|
- `gradient_accumulation_steps`: 32
|
|
- `eval_accumulation_steps`: None
|
|
- `learning_rate`: 3e-05
|
|
- `weight_decay`: 0.01
|
|
- `adam_beta1`: 0.9
|
|
- `adam_beta2`: 0.999
|
|
- `adam_epsilon`: 1e-08
|
|
- `max_grad_norm`: 1.0
|
|
- `num_train_epochs`: 1
|
|
- `max_steps`: -1
|
|
- `lr_scheduler_type`: linear
|
|
- `lr_scheduler_kwargs`: {}
|
|
- `warmup_ratio`: 0.1
|
|
- `warmup_steps`: 0
|
|
- `log_level`: passive
|
|
- `log_level_replica`: warning
|
|
- `log_on_each_node`: True
|
|
- `logging_nan_inf_filter`: True
|
|
- `save_safetensors`: True
|
|
- `save_on_each_node`: False
|
|
- `save_only_model`: False
|
|
- `no_cuda`: False
|
|
- `use_cpu`: False
|
|
- `use_mps_device`: False
|
|
- `seed`: 130
|
|
- `data_seed`: 130
|
|
- `jit_mode_eval`: False
|
|
- `use_ipex`: False
|
|
- `bf16`: False
|
|
- `fp16`: True
|
|
- `fp16_opt_level`: O1
|
|
- `half_precision_backend`: auto
|
|
- `bf16_full_eval`: False
|
|
- `fp16_full_eval`: False
|
|
- `tf32`: None
|
|
- `local_rank`: 0
|
|
- `ddp_backend`: None
|
|
- `tpu_num_cores`: None
|
|
- `tpu_metrics_debug`: False
|
|
- `debug`: []
|
|
- `dataloader_drop_last`: False
|
|
- `dataloader_num_workers`: 0
|
|
- `dataloader_prefetch_factor`: None
|
|
- `past_index`: -1
|
|
- `disable_tqdm`: False
|
|
- `remove_unused_columns`: True
|
|
- `label_names`: None
|
|
- `load_best_model_at_end`: False
|
|
- `ignore_data_skip`: False
|
|
- `fsdp`: []
|
|
- `fsdp_min_num_params`: 0
|
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
|
|
- `fsdp_transformer_layer_cls_to_wrap`: None
|
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'gradient_accumulation_kwargs': None}
|
|
- `deepspeed`: None
|
|
- `label_smoothing_factor`: 0.0
|
|
- `optim`: adamw_torch
|
|
- `optim_args`: None
|
|
- `adafactor`: False
|
|
- `group_by_length`: True
|
|
- `length_column_name`: length
|
|
- `ddp_find_unused_parameters`: None
|
|
- `ddp_bucket_cap_mb`: None
|
|
- `ddp_broadcast_buffers`: False
|
|
- `dataloader_pin_memory`: True
|
|
- `dataloader_persistent_workers`: False
|
|
- `skip_memory_metrics`: True
|
|
- `use_legacy_prediction_loop`: False
|
|
- `push_to_hub`: False
|
|
- `resume_from_checkpoint`: None
|
|
- `hub_model_id`: None
|
|
- `hub_strategy`: every_save
|
|
- `hub_private_repo`: False
|
|
- `hub_always_push`: False
|
|
- `gradient_checkpointing`: False
|
|
- `gradient_checkpointing_kwargs`: None
|
|
- `include_inputs_for_metrics`: False
|
|
- `eval_do_concat_batches`: True
|
|
- `fp16_backend`: auto
|
|
- `push_to_hub_model_id`: None
|
|
- `push_to_hub_organization`: None
|
|
- `mp_parameters`:
|
|
- `auto_find_batch_size`: False
|
|
- `full_determinism`: False
|
|
- `torchdynamo`: None
|
|
- `ray_scope`: last
|
|
- `ddp_timeout`: 1800
|
|
- `torch_compile`: False
|
|
- `torch_compile_backend`: None
|
|
- `torch_compile_mode`: None
|
|
- `dispatch_batches`: None
|
|
- `split_batches`: None
|
|
- `include_tokens_per_second`: False
|
|
- `include_num_input_tokens_seen`: False
|
|
- `neftune_noise_alpha`: None
|
|
- `optim_target_modules`: None
|
|
- `batch_sampler`: no_duplicates
|
|
- `multi_dataset_batch_sampler`: proportional
|
|
|
|
</details>
|
|
|
|
### Training Logs
|
|
| Epoch | Step | Training Loss | loss | binary_distilbert-base-german-cased_root_mnrl_area_bl__CAP__law_wo_abgb__manifesto__internet____TOS__headings_max_ap |
|
|
|:------:|:----:|:-------------:|:------:|:--------------------------------------------------------------------------------------------------------------------:|
|
|
| 0.0138 | 5 | 0.1189 | - | - |
|
|
| 0.0276 | 10 | 0.0972 | - | - |
|
|
| 0.0415 | 15 | 0.0811 | - | - |
|
|
| 0.0553 | 20 | 0.0727 | - | - |
|
|
| 0.0691 | 25 | 0.0698 | - | - |
|
|
| 0.0829 | 30 | 0.0628 | - | - |
|
|
| 0.0967 | 35 | 0.0593 | - | - |
|
|
| 0.1105 | 40 | 0.0566 | - | - |
|
|
| 0.1244 | 45 | 0.0561 | - | - |
|
|
| 0.1382 | 50 | 0.0536 | - | - |
|
|
| 0.1520 | 55 | 0.0531 | - | - |
|
|
| 0.1658 | 60 | 0.0577 | - | - |
|
|
| 0.1796 | 65 | 0.0511 | - | - |
|
|
| 0.1935 | 70 | 0.0509 | - | - |
|
|
| 0.2073 | 75 | 0.0488 | - | - |
|
|
| 0.2211 | 80 | 0.0503 | - | - |
|
|
| 0.2349 | 85 | 0.0485 | - | - |
|
|
| 0.2487 | 90 | 0.0505 | - | - |
|
|
| 0.2625 | 95 | 0.0513 | - | - |
|
|
| 0.2764 | 100 | 0.0516 | - | - |
|
|
| 0.2902 | 105 | 0.0465 | - | - |
|
|
| 0.3040 | 110 | 0.0496 | - | - |
|
|
| 0.3178 | 115 | 0.0461 | - | - |
|
|
| 0.3316 | 120 | 0.0479 | - | - |
|
|
| 0.3455 | 125 | 0.0493 | - | - |
|
|
| 0.3593 | 130 | 0.0454 | - | - |
|
|
| 0.3731 | 135 | 0.0479 | - | - |
|
|
| 0.3869 | 140 | 0.0495 | - | - |
|
|
| 0.4007 | 145 | 0.0466 | - | - |
|
|
| 0.4145 | 150 | 0.049 | 0.0457 | - |
|
|
| 0.4284 | 155 | 0.0452 | - | - |
|
|
| 0.4422 | 160 | 0.0411 | - | - |
|
|
| 0.4560 | 165 | 0.0483 | - | - |
|
|
| 0.4698 | 170 | 0.0461 | - | - |
|
|
| 0.4836 | 175 | 0.0451 | - | - |
|
|
| 0.4975 | 180 | 0.046 | - | - |
|
|
| 0.5113 | 185 | 0.0382 | - | - |
|
|
| 0.5251 | 190 | 0.0411 | - | - |
|
|
| 0.5389 | 195 | 0.0472 | - | - |
|
|
| 0.5527 | 200 | 0.049 | - | - |
|
|
| 0.5665 | 205 | 0.0441 | - | - |
|
|
| 0.5804 | 210 | 0.0427 | - | - |
|
|
| 0.5942 | 215 | 0.0456 | - | - |
|
|
| 0.6080 | 220 | 0.042 | - | - |
|
|
| 0.6218 | 225 | 0.0437 | - | - |
|
|
| 0.6356 | 230 | 0.0441 | - | - |
|
|
| 0.6495 | 235 | 0.0417 | - | - |
|
|
| 0.6633 | 240 | 0.0404 | - | - |
|
|
| 0.6771 | 245 | 0.0407 | - | - |
|
|
| 0.6909 | 250 | 0.0453 | - | - |
|
|
| 0.7047 | 255 | 0.0398 | - | - |
|
|
| 0.7185 | 260 | 0.0431 | - | - |
|
|
| 0.7324 | 265 | 0.0412 | - | - |
|
|
| 0.7462 | 270 | 0.0414 | - | - |
|
|
| 0.7600 | 275 | 0.0411 | - | - |
|
|
| 0.7738 | 280 | 0.0419 | - | - |
|
|
| 0.7876 | 285 | 0.0396 | - | - |
|
|
| 0.8015 | 290 | 0.0421 | - | - |
|
|
| 0.8153 | 295 | 0.04 | - | - |
|
|
| 0.8291 | 300 | 0.0435 | 0.0418 | - |
|
|
| 0.8429 | 305 | 0.0385 | - | - |
|
|
| 0.8567 | 310 | 0.0424 | - | - |
|
|
| 0.8705 | 315 | 0.0413 | - | - |
|
|
| 0.8844 | 320 | 0.0423 | - | - |
|
|
| 0.8982 | 325 | 0.0451 | - | - |
|
|
| 0.9120 | 330 | 0.0387 | - | - |
|
|
| 0.9258 | 335 | 0.0435 | - | - |
|
|
| 0.9396 | 340 | 0.039 | - | - |
|
|
| 0.9535 | 345 | 0.0431 | - | - |
|
|
| 0.9673 | 350 | 0.0416 | - | - |
|
|
| 0.9811 | 355 | 0.0407 | - | - |
|
|
| 0.9949 | 360 | 0.0443 | - | - |
|
|
| 0.9977 | 361 | - | - | 0.8310 |
|
|
|
|
|
|
### Framework Versions
|
|
- Python: 3.11.4
|
|
- Sentence Transformers: 3.0.1
|
|
- Transformers: 4.40.1
|
|
- PyTorch: 2.1.0+cu121
|
|
- Accelerate: 0.33.0
|
|
- Datasets: 2.15.0
|
|
- Tokenizers: 0.19.1
|
|
|
|
## Citation
|
|
|
|
### BibTeX
|
|
|
|
#### Sentence Transformers
|
|
```bibtex
|
|
@inproceedings{reimers-2019-sentence-bert,
|
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
|
|
author = "Reimers, Nils and Gurevych, Iryna",
|
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
|
|
month = "11",
|
|
year = "2019",
|
|
publisher = "Association for Computational Linguistics",
|
|
url = "https://arxiv.org/abs/1908.10084",
|
|
}
|
|
```
|
|
|
|
<!--
|
|
## Glossary
|
|
|
|
*Clearly define terms in order to be accessible across audiences.*
|
|
-->
|
|
|
|
<!--
|
|
## Model Card Authors
|
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
|
|
-->
|
|
|
|
<!--
|
|
## Model Card Contact
|
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
|
|
--> |
