nosysa/vawyembed

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Erklären Sie, wie der Eigenmietwert für ein unentgeltlich eingeräumtes Wohnrecht berechnet wird und wer die Steuerpflicht dafür trägt.',
    '642.1\n2 Für ein unentgeltlich eingeräumtes Wohnrecht hat der Wohnrechtberech -\ntigte  den  Eigenmietwert  zu  besteuern.  Für  ein  entgeltlich  eingeräumtes \nWohnrecht hat der Eigentümer den Ertrag zu besteuern. Das unbewegliche  \nVermögen wird beim Eigentümer besteuert.\n3 Der Eigenmietwert einer unentgeltlich eingeräumten Nutzniessung oder ei -\nnes Wohnrechtes wird gemäss Artikel 17 Absatz 2 berechnet.\nArt.  7 2.2. Erbengemeinschaften und Personengesellschaften\n1 Einkommen und Vermögen von Erbengemeinschaften werden den einzel -\nnen Erben, Einkommen und Vermögen von Kollektiv-, Kommandit- und ein -\nfachen Gesellschaften den einzelnen Teilhabern anteilmässig zugerechnet.\n2 Gleicherweise werden die Verlustanteile und die Passivenüberschüsse be -\nrücksichtigt. Artikel 5 Absatz 2 bleibt vorbehalten.\nArt.  8 2.3. Ausländische Handelsgesellschaften und andere Perso-\nnengesamtheiten ohne juristische Persönlichkeit\n1 Ausländische Handelsgesellschaften und andere ausländische Personen -\ngesamtheiten ohne juristische Persönlichkeit, die kraft wirtschaftlicher Zu -\ngehö-rigkeit steuerpflichtig sind, entrichten ihre Steuern nach den für die ju -\nristischen Personen geltenden Bestimmungen.\nArt.  9 2.4. Steuernachfolge und Schenkung\n1 Stirbt der Steuerpflichtige, so treten seine Erben und Erbinnen in seine/ihre  \nRechte und Pflichten ein. Sie haften solidarisch für die vom Erblasser oder  \nErblasserin geschuldeten Steuern bis zur Höhe ihrer Erbteile, mit Einschluss  \nder Vorempfänge. *\n2 Der überlebende Ehegatte oder Ehegattin haftet mit seinem/ihrem Erbteil  \nund dem Betrag, den er oder sie aufgrund ehelichen Güterrechts vom Vor -\nschlag oder Gesamtgut über den gesetzlichen Anteil nach schweizerischem  \nRecht hinaus erhält. *\n3 Bei Schenkung haftet der Beschenkte bis zum Wert der Schenkung für die  \nvom Schenker geschuldeten Steuern, wenn dieser nicht mehr in der Lage  \nist, sie selber zu zahlen.\n6',
    '642.1\nArt.  158 3. Nachsteuern\n3.1. Voraussetzungen\n1 Ergibt sich aufgrund von Tatsachen oder Beweismitteln, die der Steuerbe -\nhörde nicht bekannt waren, dass eine Veranlagung zu Unrecht unterblieben  \noder eine rechtskräftige Veranlagung unvollständig ist, oder ist eine unter -\nbliebene oder unvollständige Veranlagung auf ein Verbrechen oder ein Ver -\ngehen gegen die Steuerbehörde zurückzuführen, so wird die nicht erhobene  \nSteuer samt Zins als Nachsteuer eingefordert. *\n2 Hat der Steuerpflichtige Einkommen, Vermögen, Reingewinn oder Eigen -\nkapital in seiner Steuererklärung vollständig und genau angegeben und ha -\nben die Steuerbehörden die Bewertung anerkannt, so kann keine Nachsteu -\ner wegen ungenügender Bewertung erhoben werden.\n3 Bei Selbstanzeige im Sinne der Artikel 203 ff. wird die Nachsteuer ohne  \nZinsen eingefordert. *\nArt.  159 3.2. Verwirkung\n1 Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach  \nAblauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben  \noder eine rechtskräftige Veranlagung unvollständig ist. *\n2 Die Eröffnung der Strafverfolgung wegen Steuerhinterziehung oder Steuer -\nvergehens gilt zugleich als Einleitung des Nachsteuerverfahrens.\n3 Das Recht, die Nachsteuer festzusetzen, erlischt 15  Jahre nach Ablauf der \nSteuerperiode, auf die sie sich bezieht. *\n4 Die  Einleitung  eines  Nachsteuerverfahrens  wird  dem  Steuerpflichtigen \nschriftlich mitgeteilt. *\n4a Wenn bei Einleitung eines Nachsteuerverfahrens ein Strafverfahren we -\ngen Steuerhinterziehung weder eingeleitet wird, noch hängig ist, noch von  \nvornherein ausgeschlossen werden kann, wird die steuerpflichtige Person  \nauf die Möglichkeit der späteren Einleitung eines solchen Strafverfahrens  \naufmerksam gemacht. *\n5 Das Verfahren, das beim Tod des Steuerpflichtigen noch nicht eingeleitet  \noder noch nicht abgeschlossen ist, kann gegenüber den Erben eingeleitet  \noder fortgesetzt werden. *\n6 Im Übrigen sind die Vorschriften über die Verfahrensgrundsätze, das Ver -\nanlagungs- und das Beschwerdeverfahren sinngemäss anwendbar. *\n92',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.3689
cosine_accuracy@3	0.5123
cosine_accuracy@5	0.5861
cosine_accuracy@10	0.6721
cosine_precision@1	0.3689
cosine_precision@3	0.1708
cosine_precision@5	0.1172
cosine_precision@10	0.0672
cosine_recall@1	0.3689
cosine_recall@3	0.5123
cosine_recall@5	0.5861
cosine_recall@10	0.6721
cosine_ndcg@10	0.5087
cosine_mrr@10	0.4577
cosine_map@100	0.4699

Training Details

Training Dataset

Unnamed Dataset

• Size: 540 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 540 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 19 tokens mean: 35.64 tokens max: 117 tokens	min: 105 tokens mean: 252.71 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1
  Welche Arten von Steuern erhebt der Kanton Wallis gemäß dem Steuergesetz vom 10.03.1976, und welche Steuerarten sind speziell für natürliche und juristische Personen vorgesehen?	642.1 Steuergesetz (StG) vom 10.03.1976 (Stand 01.01.2025) Der Grosse Rat des Kantons Wallis eingesehen die Artikel 23 und 24 der Kantonsverfassung; auf Antrag des Staatsrates, verordnet: 1 Kantonssteuern Art. 1 Gegenstand 1 Der Kanton erhebt nach diesem Gesetze: a) * eine Einkommens-, Grundstückgewinn- und Vermögenssteuer von den natürlichen Personen; b) eine Gewinn-, Kapital- und Grundstücksteuer von den juristischen Per - sonen sowie gegebenenfalls eine Mindeststeuer von diesen Steuer - pflichtigen; c) eine Quellensteuer von den natürlichen und juristischen Personen; d) eine Erbschafts- und Schenkungssteuer. e) * … 2 Bei interkantonalen und internationalen Beziehungen bleiben die Bestim - mungen des Bundesrechtes und der Staatsverträge vorbehalten. * Änderungstabellen am Schluss des Erlasses 1
  Inwiefern sind die Bestimmungen des Bundesrechts und der Staatsverträge bei interkantonalen und internationalen Beziehungen im Kontext des Steuergesetzes relevant?	642.1 Steuergesetz (StG) vom 10.03.1976 (Stand 01.01.2025) Der Grosse Rat des Kantons Wallis eingesehen die Artikel 23 und 24 der Kantonsverfassung; auf Antrag des Staatsrates, verordnet: 1 Kantonssteuern Art. 1 Gegenstand 1 Der Kanton erhebt nach diesem Gesetze: a) * eine Einkommens-, Grundstückgewinn- und Vermögenssteuer von den natürlichen Personen; b) eine Gewinn-, Kapital- und Grundstücksteuer von den juristischen Per - sonen sowie gegebenenfalls eine Mindeststeuer von diesen Steuer - pflichtigen; c) eine Quellensteuer von den natürlichen und juristischen Personen; d) eine Erbschafts- und Schenkungssteuer. e) * … 2 Bei interkantonalen und internationalen Beziehungen bleiben die Bestim - mungen des Bundesrechtes und der Staatsverträge vorbehalten. * Änderungstabellen am Schluss des Erlasses 1
  Unter welchen Bedingungen wird eine natürliche Person als steuerpflichtig im Kanton Wallis angesehen, und welche Kriterien müssen erfüllt sein, um einen steuerrechtlichen Wohnsitz oder Aufenthalt zu begründen?	642.1 1.1 Die Steuern der natürlichen Personen 1.1.1 Steuerpflicht Art. 2 1. Steuerliche Zugehörigkeit 1.1. Persönliche Zugehörigkeit 1 Natürliche Personen sind aufgrund persönlicher Zugehörigkeit steuerpflich - tig, wenn sie ihren steuerrechtlichen Wohnsitz oder ihren Aufenthalt im Kanton Wallis haben. * 2 Einen steuerrechtlichen Wohnsitz im Kanton hat eine Person, wenn sie sich hier mit der Absicht dauernden Verbleibens aufhält oder wenn ihr das Bundesrecht hier einen besonderen gesetzlichen Wohnsitz zuweist. 3 Einen steuerrechtlichen Aufenthalt im Kanton hat eine Person, wenn sie hier ungeachtet vorübergehender Unterbrechung: * a) während mindestens 30 Tagen verweilt und eine Erwerbstätigkeit aus - übt; b) während mindestens 90 Tagen verweilt und keine Erwerbstätigkeit ausübt. 4 Keinen steuerrechtlichen Wohnsitz oder Aufenthalt begründet eine Person, die ihren Wohnsitz in einem anderen Kanton oder im Ausland hat und sich im Kanton lediglich zum Besuch ei...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• num_train_epochs: 100
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	cosine_ndcg@10
0.9259	50	-	0.2469
1.0	54	-	0.2482
1.8519	100	-	0.2910
2.0	108	-	0.3052
2.7778	150	-	0.3974
3.0	162	-	0.4210
3.7037	200	-	0.4429
4.0	216	-	0.4545
4.6296	250	-	0.4665
5.0	270	-	0.4667
5.5556	300	-	0.4777
6.0	324	-	0.4882
6.4815	350	-	0.4841
7.0	378	-	0.4907
7.4074	400	-	0.4874
8.0	432	-	0.4815
8.3333	450	-	0.4790
9.0	486	-	0.4742
9.2593	500	0.6806	0.4876
10.0	540	-	0.4876
10.1852	550	-	0.4867
11.0	594	-	0.4944
11.1111	600	-	0.5065
12.0	648	-	0.4940
12.0370	650	-	0.4932
12.9630	700	-	0.4898
13.0	702	-	0.4899
13.8889	750	-	0.4947
14.0	756	-	0.4990
14.8148	800	-	0.4901
15.0	810	-	0.4893
15.7407	850	-	0.5064
16.0	864	-	0.5087

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 4.1.0
• Transformers: 4.52.2
• PyTorch: 2.6.0+cu124
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}