Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,1211 @@
+---
+language:
+- en
+license: apache-2.0
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:933246
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: answerdotai/ModernBERT-base
+widget:
+- source_sentence: Was sind einige bemerkenswerte Ereignisse im Leben von Andrea Sawatzki,
+    die in diesem Textausschnitt erwähnt werden?
+  sentences:
+  - Die "White Galloways" sind ebenfalls hornlose schottische Rinder, die zur ganzjährigen
+    Freilandhaltung geeignet sind und zu den extensiven, robusten Fleischrinderrassen
+    gehören. Der Hauptanteil ihres Fells ist nahezu weiß, es gibt aber meist schwarze,
+    mitunter auch blonde oder rot-braune Pigmentierung an Ohren, Maul, Füßen und um
+    die Augen.
+  - 2003 stand Sawatzki für eine erotische Fotoserie in der April-Ausgabe des "Playboy"
+    vor der Kamera. 2007 war sie Patin des Deutschen Kinderpreises. 2011 tanzte sie
+    in der 4. Staffel der RTL-Tanzshow "Let’s Dance" mit dem italienischen Profitänzer
+    Stefano Terrazzino und belegte den achten Platz.
+  - Die Elektroejakulation ist eine in der Human- und Veterinärmedizin sowie in der
+    Tierzucht eingesetzte Methode zur Spermiengewinnung, wenn die Gewinnung auf natürlichem
+    Wege aufgrund von besonderen Umständen oder Erkrankungen nicht möglich ist, und
+    unterscheidet sich in der Art der Durchführung sowie in der Wirkungsweise erheblich
+    von der erotischen Elektrostimulation.
+- source_sentence: Er belegte den fünften Platz im Gesamtweltcup der Skispringer und
+    gewann bei der nordischen Ski-WM 1999 in Ramsau Silber im Einzelwettbewerb und
+    Gold beim Mannschaftsspringen von der Großschanze.
+  sentences:
+  - In der Saison 1998/99 belegte er im Gesamtweltcup der Skispringer den fünften
+    Platz. Bei der nordischen Ski-WM 1999 in Ramsau gewann er im Einzelwettbewerb
+    von der Großschanze Silber hinter Martin Schmitt sowie beim Mannschaftsspringen
+    von der Großschanze Gold.
+  - Die georgische Verfassung vom 24. August 1995 garantiert die Pressefreiheit und
+    verbietet Zensur. Sie verbietet zugleich, die Medien oder ihre Verbreitung zu
+    monopolisieren. Das am 17. Juni 2004 novellierte Pressegesetz erschwert es Klägern,
+    Journalisten wegen ihrer Berichterstattung zu belangen. Zuvor waren Redakteure
+    wegen angeblicher Ehrverletzung zu hohen Schadensersatzbeträgen verurteilt worden.
+  - 'Um unerwünschten Zugriff zu erschweren, werden Schrauben mit außergewöhnlichen
+    Antrieben am Kopf verwendet:'
+- source_sentence: Warum durfte Galileo Galilei im Dezember 1633 nach fünf Monaten
+    in seine Villa "Gioiella" in Arcetri zurückkehren, blieb jedoch weiterhin unter
+    Hausarrest und durfte keine Lehrtätigkeit ausüben?
+  sentences:
+  - Mit dem Linken-Abgeordneten Lutz Heilmann saß zudem erstmals ein hauptamtlicher
+    Mitarbeiter des Ministeriums für Staatssicherheit im Bundestag. 2009 wurde in
+    Brandenburg erst nach der Landtagswahl durch Medienberichte die MfS-Tätigkeit
+    von drei Landtagsabgeordneten der Linken bekannt. Die Zahl der ehemaligen MfS-Mitarbeiter
+    in der Fraktion erhöhte sich damit auf sieben, die MfS-Tätigkeit von vier weiteren
+    Linke-Abgeordneten war bereits vor der Wahl bekannt. Dies führte zu Diskussionen
+    über die Fortführung der rot-roten Landesregierung.
+  - Der Grund für die verringerte Höchstgeschwindigkeit von in Doppeltraktion verkehrenden
+    Zügen, welche mit beiden Triebköpfen aneinander gekuppelt werden, liegt in der
+    Vermeidung von mechanischen Überlastungen der Oberleitung. Um die Oberleitungen
+    zu schonen, muss ein Mindestabstand von 200 Metern zwischen aktiven Stromabnehmern
+    eingehalten werden. Außerdem soll ein durch starkes Aufschaukeln der Oberleitung
+    erzeugter Kontaktabriss mit Lichtbogenbildung verhindert werden.
+  - Nach fünf Monaten, im Dezember 1633, durfte er in seine Villa "Gioiella" in Arcetri
+    zurückkehren, blieb jedoch unter Hausarrest, verbunden mit dem Verbot jeglicher
+    Lehrtätigkeit. Als er wegen eines schmerzhaften Leistenbruchs um Erlaubnis bat,
+    Ärzte in Florenz aufsuchen zu dürfen, wurde sein Gesuch abgelehnt mit der Warnung,
+    weitere solche Anfragen würden zu Aufhebung des Hausarrestes und Einkerkerung
+    führen.
+- source_sentence: Lina Przyballa stammt aus Polen und unterstützt Biberkopf in seinem
+    neuen Geschäft, indem sie ihm hilft Zeitungen zu verkaufen.
+  sentences:
+  - Die Seitenstrangangina (Angina lateralis) ist eine akute Form der Rachenentzündung
+    durch bakterielle Infektion, welche jene Lymphbahnen im Rachenraum befällt, die
+    von der oberen hinteren Rachenwand abwärts verlaufen. Häufige Begleiterscheinungen
+    der Seitenstrangangina sind Ohrenschmerzen (wegen der Nähe zur Eustachischen Röhre),
+    Schluckbeschwerden und Kopfschmerzen. Die Seitenstrangangina tritt vor allem bei
+    tonsillektomierten Patienten auf.
+  - Zu Beginn des Kapitels wird aus vielen kleinen Teilen ein Bild Berlins gezeichnet.
+    Biberkopf treibt sich auf dem Rosenthaler Platz herum („Der Rosenthaler Platz
+    unterhält sich“). In einer Versammlung werden ihm von einem aufgebrachten Redner
+    Papiere angedreht, die ihn als ambulanten Gewerbetreibender für Textilwaren ausweisen.
+    Er beginnt mit dem Verkauf von Schlipshaltern. Später entscheidet er sich für
+    den Verkauf von Zeitungen (zuerst Zeitschriften für sexuelle Aufklärung), worin
+    er auch durch seine neue Freundin, die Polin Lina Przyballa, unterstützt wird.
+    In einer Kneipe trifft er auf einen betrunkenen Invaliden und beginnt dessen Einstellung
+    zu teilen. Biberkopf, der eigentlich nichts gegen Juden hat und lediglich für
+    Ordnung ist, beginnt völkische Zeitungen zu vertreiben. Als er eines Mittags in
+    seine Stammkneipe eintreten will, wird er von einigen Linken beobachtet. Im Lokal
+    ziehen sie seine Hakenkreuz-Armbinde hervor und machen sich über Franz lustig.
+    Der ehemalige Häftling, offenbar von der gescheiterten Novemberrevolution in den
+    Jahren 1918/1919 enttäuscht und jetzt anscheinend zum feindlichen Lager übergewechselt,
+    erinnert die aufgebrachten Gäste vergeblich an den Stellungskrieg bei Arras. Am
+    Abend sitzt Biberkopf wieder in seiner Kneipe und wird diesmal von einigen Linken
+    angegriffen. Wegen der drohenden Schlägerei fordert der Wirt Henschke Biberkopf
+    zum Verlassen seines Lokals auf. Biberkopf tobt und brüllt seine Gegner nieder.
+    Er geht mit Lina weg, die auf eine richtige Verlobung hofft.
+  - Am 25. August 1933 trat das Ha’avara-Abkommen („Transfer“) zwischen der Jewish
+    Agency, der Zionistischen Vereinigung für Deutschland und dem deutschen Reichsministerium
+    für Wirtschaft in Kraft, um die Emigration deutscher Juden nach Palästina zu erleichtern
+    und zugleich den deutschen Export zu fördern. Bis zum Jahresende emigrierten etwa
+    37.000 der 525.000 in Deutschland lebenden Juden, die meisten (ca. 73 %) zogen
+    zunächst in die europäischen Nachbarstaaten, 19 % nach Palästina, 8 % entschieden
+    sich für ein Land in Übersee. In den Folgejahren bis 1937 blieb die jährliche
+    Zahl der Auswanderer weit unter dem Wert im Jahr der Machtergreifung (1934 waren
+    es 23.000, 1935 21.000, 1936 25.000 und 1937 23.000). Die zionistischen Vereine
+    wuchsen bis 1934 auf 43.000 Mitglieder.
+- source_sentence: Das Rebhuhn erreicht normalerweise gegen Ende des ersten Lebensjahres
+    die Geschlechtsreife und hat in der Regel zu diesem Zeitpunkt auch die erste Verpaarung.
+  sentences:
+  - 'Traditionell ist Schmallenberg seit dem 19. Jahrhundert Zentrum der Sauerländer
+    Textilindustrie (größtes Unternehmen: Falke-Gruppe). Da die Entwicklung der Textilindustrie
+    jedoch rückläufig ist, dominieren mittelständische Unternehmen. Diese sind vor
+    allem in Industrie und Handwerk angesiedelt. Zu den bedeutenden Schmallenberger
+    Unternehmen gehören die Firmen Audiotec Fischer GmbH (Car-Hifi: Brax / Helix),
+    die Burgbad AG (Badmöbelhersteller mit Sitz in Bad Fredeburg) und Transfluid Maschinenbau
+    GmbH (Weltmarktführer bei Rohrbearbeitungsmaschinen der gesteuerten Roll-Umformtechnik
+    (inkrementell)) sowie die Firma Feldhaus (Bau- und Bergbauunternehmen). Auf Grund
+    der waldreichen Lage kommt der Holzwirtschaft eine wichtige Bedeutung zu. In Bad
+    Fredeburg existiert etwa ein Holzgewerbepark, der kleinen und mittleren Unternehmen
+    Gewerbefläche bietet. Einen großen Anteil am Dienstleistungssektor haben aufgrund
+    der landschaftlich reizvollen Lage und der Wintersportmöglichkeiten Gastronomie
+    und Fremdenverkehr.'
+  - Am 10. März 2022 wurde durch Recherchen des Politikmagazins Kontraste und der
+    Zeitung Die Zeit bekannt, dass Deripaska von den ebenfalls erlassenen EU-Sanktionen
+    wieder ausgenommen und von der Liste gestrichen wurde. Die Hintergründe dieser
+    Entscheidung waren unklar.
+  - Das Rebhuhn erreicht die Geschlechtsreife gegen Ende des ersten Lebensjahres.
+    Zu diesem Zeitpunkt erfolgt in der Regel auch die erste Verpaarung. Das Rebhuhn
+    führt eine monogame Brutehe. Diese beschränkt sich in der Regel auf eine Jahresbrut,
+    bei frühem Gelegeverlust ist jedoch ein Nachgelege möglich. Die Legezeit liegt
+    in den meisten Verbreitungsgebieten zwischen Mitte/Ende April und Anfang/Mitte
+    Mai.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# BGE base Financial Matryoshka
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [answerdotai/ModernBERT-base](https://huggingface.co/answerdotai/ModernBERT-base) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [answerdotai/ModernBERT-base](https://huggingface.co/answerdotai/ModernBERT-base) <!-- at revision 8949b909ec900327062f0ebf497f51aef5e6f0c8 -->
+- **Maximum Sequence Length:** 8192 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("avemio-digital/ModernBERT_base_pairs_embedding")
+# Run inference
+sentences = [
+    'Das Rebhuhn erreicht normalerweise gegen Ende des ersten Lebensjahres die Geschlechtsreife und hat in der Regel zu diesem Zeitpunkt auch die erste Verpaarung.',
+    'Das Rebhuhn erreicht die Geschlechtsreife gegen Ende des ersten Lebensjahres. Zu diesem Zeitpunkt erfolgt in der Regel auch die erste Verpaarung. Das Rebhuhn führt eine monogame Brutehe. Diese beschränkt sich in der Regel auf eine Jahresbrut, bei frühem Gelegeverlust ist jedoch ein Nachgelege möglich. Die Legezeit liegt in den meisten Verbreitungsgebieten zwischen Mitte/Ende April und Anfang/Mitte Mai.',
+    'Traditionell ist Schmallenberg seit dem 19. Jahrhundert Zentrum der Sauerländer Textilindustrie (größtes Unternehmen: Falke-Gruppe). Da die Entwicklung der Textilindustrie jedoch rückläufig ist, dominieren mittelständische Unternehmen. Diese sind vor allem in Industrie und Handwerk angesiedelt. Zu den bedeutenden Schmallenberger Unternehmen gehören die Firmen Audiotec Fischer GmbH (Car-Hifi: Brax / Helix), die Burgbad AG (Badmöbelhersteller mit Sitz in Bad Fredeburg) und Transfluid Maschinenbau GmbH (Weltmarktführer bei Rohrbearbeitungsmaschinen der gesteuerten Roll-Umformtechnik (inkrementell)) sowie die Firma Feldhaus (Bau- und Bergbauunternehmen). Auf Grund der waldreichen Lage kommt der Holzwirtschaft eine wichtige Bedeutung zu. In Bad Fredeburg existiert etwa ein Holzgewerbepark, der kleinen und mittleren Unternehmen Gewerbefläche bietet. Einen großen Anteil am Dienstleistungssektor haben aufgrund der landschaftlich reizvollen Lage und der Wintersportmöglichkeiten Gastronomie und Fremdenverkehr.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 933,246 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                              | positive                                                                            |
+  |:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                              |
+  | details | <ul><li>min: 29 tokens</li><li>mean: 54.99 tokens</li><li>max: 131 tokens</li></ul> | <ul><li>min: 33 tokens</li><li>mean: 183.9 tokens</li><li>max: 766 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                       | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Häufig festgestellte Besonderheiten bei Babys mit Trisomie 21 sind vorgeburtlich ein bis drei Merkmale, die mittels Ultraschall- oder Blutuntersuchungen erkannt werden können.</code> | <code>Im Zuge der sich stetig entwickelnden Möglichkeiten vorgeburtlicher Untersuchungen (Pränataldiagnostik) sind mit der Zeit einige Besonderheiten dokumentiert worden, die vergleichsweise häufig bei Babys mit Trisomie 21 festgestellt werden und mitunter mittels Ultraschall- oder Blutuntersuchungen zu erkennen sind. Bei keinem Baby mit Down-Syndrom treten alle diese Besonderheiten auf; bei den meisten Babys finden sich vorgeburtlich nur ca. ein bis drei Merkmale, und bei manchen finden sich keine, die ausgeprägt genug wären, als Hinweiszeichen eingestuft zu werden. Manche der Besonderheiten sind darüber hinaus vorgeburtlich vergleichsweise schwer zu erkennen bzw. in ihrer Bedeutung zu bewerten.</code> |
+  | <code>Wer sind einige herausragende Spitzenspieler im englischsprachigen Scrabble, die in den letzten Jahren eine prägende Rolle gespielt haben?</code>                                      | <code>Weitere Spitzenspieler, die in den letzten Jahren das englischsprachige Scrabble geprägt haben, sind Pakorn Nemitrmansuk (Weltmeister 2009, Vizeweltmeister 2011), Komol (Weltmeisterschaftsfinalist 2013) sowie Craig Beevers aus England (Sieger der inoffiziellen Weltmeisterschaften 2014).</code>                                                                                                                                                                                                                                                                                                                                                                                                                             |
+  | <code>DMC ist eine Sorte von Marine Distillate Fuel Oil, bei der das Zumischen von Rückstandsöl erlaubt ist.</code>                                                                          | <code>Schweröl ist in verschiedenen Qualitäten erhältlich. So regelt MARPOL 73/78 Annex VI den Ausstoß von Schwefel-Verbrennungsprodukten in bestimmten Seegebieten, weshalb sogar – von der Norm abweichende – schwefelreduzierte Qualitäten hergestellt werden. Entsprechend der Norm für Marine-Kraftstoffe in der aktuellen Fassung von 2005 wird zwischen „Marine Distillate Fuel Oil“ (DMX, DMA/MGO = Marine Gasoil, DMB/MDO = Marine Diesel Oil, DMC) und „Marine Residual Fuel Oil“ (siehe Tabelle) unterschieden, wobei es sich bei den „Residual Fuels“ um Schweröle im engeren Sinne handelt. Eine Sonderstellung stellt die Sorte DMC dar: Hier erlauben die Spezifikationen das Zumischen von Rückstandsöl.</code>          |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768
+      ],
+      "matryoshka_weights": [
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 1
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `tf32`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 8
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: True
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step | Training Loss |
+|:------:|:----:|:-------------:|
+| 0.0014 | 10   | 28.6172       |
+| 0.0027 | 20   | 28.332        |
+| 0.0041 | 30   | 27.473        |
+| 0.0055 | 40   | 26.1415       |
+| 0.0069 | 50   | 23.9641       |
+| 0.0082 | 60   | 20.6191       |
+| 0.0096 | 70   | 16.1172       |
+| 0.0110 | 80   | 12.5431       |
+| 0.0123 | 90   | 9.249         |
+| 0.0137 | 100  | 7.6371        |
+| 0.0151 | 110  | 5.7917        |
+| 0.0165 | 120  | 4.4105        |
+| 0.0178 | 130  | 4.4039        |
+| 0.0192 | 140  | 3.6235        |
+| 0.0206 | 150  | 3.2179        |
+| 0.0219 | 160  | 2.7913        |
+| 0.0233 | 170  | 2.5342        |
+| 0.0247 | 180  | 2.1533        |
+| 0.0261 | 190  | 1.995         |
+| 0.0274 | 200  | 1.6953        |
+| 0.0288 | 210  | 1.6049        |
+| 0.0302 | 220  | 1.493         |
+| 0.0315 | 230  | 1.5513        |
+| 0.0329 | 240  | 1.2957        |
+| 0.0343 | 250  | 1.0484        |
+| 0.0357 | 260  | 1.1896        |
+| 0.0370 | 270  | 1.0246        |
+| 0.0384 | 280  | 1.1058        |
+| 0.0398 | 290  | 0.8532        |
+| 0.0411 | 300  | 1.0489        |
+| 0.0425 | 310  | 0.9015        |
+| 0.0439 | 320  | 0.7919        |
+| 0.0453 | 330  | 0.819         |
+| 0.0466 | 340  | 0.7241        |
+| 0.0480 | 350  | 0.5492        |
+| 0.0494 | 360  | 0.7083        |
+| 0.0507 | 370  | 0.6678        |
+| 0.0521 | 380  | 0.7194        |
+| 0.0535 | 390  | 0.675         |
+| 0.0549 | 400  | 0.7268        |
+| 0.0562 | 410  | 0.565         |
+| 0.0576 | 420  | 0.5987        |
+| 0.0590 | 430  | 0.6854        |
+| 0.0603 | 440  | 0.4752        |
+| 0.0617 | 450  | 0.5567        |
+| 0.0631 | 460  | 0.5327        |
+| 0.0645 | 470  | 0.5543        |
+| 0.0658 | 480  | 0.6658        |
+| 0.0672 | 490  | 0.2744        |
+| 0.0686 | 500  | 0.5259        |
+| 0.0699 | 510  | 0.3637        |
+| 0.0713 | 520  | 0.5176        |
+| 0.0727 | 530  | 0.5165        |
+| 0.0741 | 540  | 0.4119        |
+| 0.0754 | 550  | 0.339         |
+| 0.0768 | 560  | 0.395         |
+| 0.0782 | 570  | 0.3159        |
+| 0.0796 | 580  | 0.3716        |
+| 0.0809 | 590  | 0.2447        |
+| 0.0823 | 600  | 0.2547        |
+| 0.0837 | 610  | 0.4384        |
+| 0.0850 | 620  | 0.454         |
+| 0.0864 | 630  | 0.4057        |
+| 0.0878 | 640  | 0.5004        |
+| 0.0892 | 650  | 0.357         |
+| 0.0905 | 660  | 0.3942        |
+| 0.0919 | 670  | 0.3632        |
+| 0.0933 | 680  | 0.3011        |
+| 0.0946 | 690  | 0.3115        |
+| 0.0960 | 700  | 0.2438        |
+| 0.0974 | 710  | 0.2611        |
+| 0.0988 | 720  | 0.3467        |
+| 0.1001 | 730  | 0.348         |
+| 0.1015 | 740  | 0.296         |
+| 0.1029 | 750  | 0.276         |
+| 0.1042 | 760  | 0.2709        |
+| 0.1056 | 770  | 0.2756        |
+| 0.1070 | 780  | 0.2728        |
+| 0.1084 | 790  | 0.2234        |
+| 0.1097 | 800  | 0.4266        |
+| 0.1111 | 810  | 0.3324        |
+| 0.1125 | 820  | 0.2346        |
+| 0.1138 | 830  | 0.271         |
+| 0.1152 | 840  | 0.201         |
+| 0.1166 | 850  | 0.1921        |
+| 0.1180 | 860  | 0.2042        |
+| 0.1193 | 870  | 0.1907        |
+| 0.1207 | 880  | 0.1248        |
+| 0.1221 | 890  | 0.2835        |
+| 0.1234 | 900  | 0.3189        |
+| 0.1248 | 910  | 0.2218        |
+| 0.1262 | 920  | 0.1911        |
+| 0.1276 | 930  | 0.2351        |
+| 0.1289 | 940  | 0.1395        |
+| 0.1303 | 950  | 0.308         |
+| 0.1317 | 960  | 0.2879        |
+| 0.1330 | 970  | 0.1979        |
+| 0.1344 | 980  | 0.1912        |
+| 0.1358 | 990  | 0.204         |
+| 0.1372 | 1000 | 0.2426        |
+| 0.1385 | 1010 | 0.1963        |
+| 0.1399 | 1020 | 0.1617        |
+| 0.1413 | 1030 | 0.2054        |
+| 0.1426 | 1040 | 0.1462        |
+| 0.1440 | 1050 | 0.2215        |
+| 0.1454 | 1060 | 0.1975        |
+| 0.1468 | 1070 | 0.275         |
+| 0.1481 | 1080 | 0.1647        |
+| 0.1495 | 1090 | 0.0933        |
+| 0.1509 | 1100 | 0.1575        |
+| 0.1522 | 1110 | 0.1903        |
+| 0.1536 | 1120 | 0.1834        |
+| 0.1550 | 1130 | 0.0865        |
+| 0.1564 | 1140 | 0.1348        |
+| 0.1577 | 1150 | 0.2203        |
+| 0.1591 | 1160 | 0.1545        |
+| 0.1605 | 1170 | 0.1512        |
+| 0.1618 | 1180 | 0.2597        |
+| 0.1632 | 1190 | 0.1015        |
+| 0.1646 | 1200 | 0.1339        |
+| 0.1660 | 1210 | 0.1925        |
+| 0.1673 | 1220 | 0.1521        |
+| 0.1687 | 1230 | 0.2436        |
+| 0.1701 | 1240 | 0.1407        |
+| 0.1714 | 1250 | 0.1839        |
+| 0.1728 | 1260 | 0.1393        |
+| 0.1742 | 1270 | 0.2673        |
+| 0.1756 | 1280 | 0.1537        |
+| 0.1769 | 1290 | 0.1208        |
+| 0.1783 | 1300 | 0.1518        |
+| 0.1797 | 1310 | 0.209         |
+| 0.1810 | 1320 | 0.219         |
+| 0.1824 | 1330 | 0.1047        |
+| 0.1838 | 1340 | 0.1655        |
+| 0.1852 | 1350 | 0.1296        |
+| 0.1865 | 1360 | 0.15          |
+| 0.1879 | 1370 | 0.1376        |
+| 0.1893 | 1380 | 0.1529        |
+| 0.1906 | 1390 | 0.1382        |
+| 0.1920 | 1400 | 0.1012        |
+| 0.1934 | 1410 | 0.2086        |
+| 0.1948 | 1420 | 0.134         |
+| 0.1961 | 1430 | 0.0845        |
+| 0.1975 | 1440 | 0.0712        |
+| 0.1989 | 1450 | 0.1158        |
+| 0.2002 | 1460 | 0.1419        |
+| 0.2016 | 1470 | 0.0943        |
+| 0.2030 | 1480 | 0.157         |
+| 0.2044 | 1490 | 0.2123        |
+| 0.2057 | 1500 | 0.0999        |
+| 0.2071 | 1510 | 0.0949        |
+| 0.2085 | 1520 | 0.1389        |
+| 0.2098 | 1530 | 0.0914        |
+| 0.2112 | 1540 | 0.0973        |
+| 0.2126 | 1550 | 0.1101        |
+| 0.2140 | 1560 | 0.0882        |
+| 0.2153 | 1570 | 0.1571        |
+| 0.2167 | 1580 | 0.1137        |
+| 0.2181 | 1590 | 0.1232        |
+| 0.2194 | 1600 | 0.1152        |
+| 0.2208 | 1610 | 0.1743        |
+| 0.2222 | 1620 | 0.1063        |
+| 0.2236 | 1630 | 0.1271        |
+| 0.2249 | 1640 | 0.0903        |
+| 0.2263 | 1650 | 0.1425        |
+| 0.2277 | 1660 | 0.0922        |
+| 0.2290 | 1670 | 0.142         |
+| 0.2304 | 1680 | 0.0991        |
+| 0.2318 | 1690 | 0.1518        |
+| 0.2332 | 1700 | 0.0825        |
+| 0.2345 | 1710 | 0.079         |
+| 0.2359 | 1720 | 0.1486        |
+| 0.2373 | 1730 | 0.1063        |
+| 0.2387 | 1740 | 0.1264        |
+| 0.2400 | 1750 | 0.0743        |
+| 0.2414 | 1760 | 0.1113        |
+| 0.2428 | 1770 | 0.0722        |
+| 0.2441 | 1780 | 0.0635        |
+| 0.2455 | 1790 | 0.0502        |
+| 0.2469 | 1800 | 0.0487        |
+| 0.2483 | 1810 | 0.1659        |
+| 0.2496 | 1820 | 0.2265        |
+| 0.2510 | 1830 | 0.1222        |
+| 0.2524 | 1840 | 0.1219        |
+| 0.2537 | 1850 | 0.0567        |
+| 0.2551 | 1860 | 0.1375        |
+| 0.2565 | 1870 | 0.1253        |
+| 0.2579 | 1880 | 0.0603        |
+| 0.2592 | 1890 | 0.1453        |
+| 0.2606 | 1900 | 0.0907        |
+| 0.2620 | 1910 | 0.0607        |
+| 0.2633 | 1920 | 0.1449        |
+| 0.2647 | 1930 | 0.0774        |
+| 0.2661 | 1940 | 0.1089        |
+| 0.2675 | 1950 | 0.0378        |
+| 0.2688 | 1960 | 0.089         |
+| 0.2702 | 1970 | 0.0931        |
+| 0.2716 | 1980 | 0.0705        |
+| 0.2729 | 1990 | 0.0405        |
+| 0.2743 | 2000 | 0.1108        |
+| 0.2757 | 2010 | 0.0623        |
+| 0.2771 | 2020 | 0.0619        |
+| 0.2784 | 2030 | 0.0453        |
+| 0.2798 | 2040 | 0.0391        |
+| 0.2812 | 2050 | 0.0597        |
+| 0.2825 | 2060 | 0.0659        |
+| 0.2839 | 2070 | 0.0904        |
+| 0.2853 | 2080 | 0.0972        |
+| 0.2867 | 2090 | 0.0594        |
+| 0.2880 | 2100 | 0.0707        |
+| 0.2894 | 2110 | 0.0821        |
+| 0.2908 | 2120 | 0.0441        |
+| 0.2921 | 2130 | 0.083         |
+| 0.2935 | 2140 | 0.1237        |
+| 0.2949 | 2150 | 0.0478        |
+| 0.2963 | 2160 | 0.0709        |
+| 0.2976 | 2170 | 0.0521        |
+| 0.2990 | 2180 | 0.0863        |
+| 0.3004 | 2190 | 0.0473        |
+| 0.3017 | 2200 | 0.0875        |
+| 0.3031 | 2210 | 0.1146        |
+| 0.3045 | 2220 | 0.0474        |
+| 0.3059 | 2230 | 0.0745        |
+| 0.3072 | 2240 | 0.0406        |
+| 0.3086 | 2250 | 0.0534        |
+| 0.3100 | 2260 | 0.0368        |
+| 0.3113 | 2270 | 0.0749        |
+| 0.3127 | 2280 | 0.0807        |
+| 0.3141 | 2290 | 0.0969        |
+| 0.3155 | 2300 | 0.114         |
+| 0.3168 | 2310 | 0.1219        |
+| 0.3182 | 2320 | 0.0892        |
+| 0.3196 | 2330 | 0.1291        |
+| 0.3209 | 2340 | 0.1145        |
+| 0.3223 | 2350 | 0.0761        |
+| 0.3237 | 2360 | 0.1284        |
+| 0.3251 | 2370 | 0.0712        |
+| 0.3264 | 2380 | 0.1442        |
+| 0.3278 | 2390 | 0.0778        |
+| 0.3292 | 2400 | 0.1032        |
+| 0.3305 | 2410 | 0.0642        |
+| 0.3319 | 2420 | 0.0746        |
+| 0.3333 | 2430 | 0.131         |
+| 0.3347 | 2440 | 0.0461        |
+| 0.3360 | 2450 | 0.0407        |
+| 0.3374 | 2460 | 0.1121        |
+| 0.3388 | 2470 | 0.0712        |
+| 0.3401 | 2480 | 0.2035        |
+| 0.3415 | 2490 | 0.0687        |
+| 0.3429 | 2500 | 0.0528        |
+| 0.3443 | 2510 | 0.06          |
+| 0.3456 | 2520 | 0.0892        |
+| 0.3470 | 2530 | 0.074         |
+| 0.3484 | 2540 | 0.1052        |
+| 0.3497 | 2550 | 0.0612        |
+| 0.3511 | 2560 | 0.045         |
+| 0.3525 | 2570 | 0.0907        |
+| 0.3539 | 2580 | 0.1082        |
+| 0.3552 | 2590 | 0.1077        |
+| 0.3566 | 2600 | 0.0512        |
+| 0.3580 | 2610 | 0.1034        |
+| 0.3593 | 2620 | 0.0324        |
+| 0.3607 | 2630 | 0.0621        |
+| 0.3621 | 2640 | 0.1106        |
+| 0.3635 | 2650 | 0.0769        |
+| 0.3648 | 2660 | 0.123         |
+| 0.3662 | 2670 | 0.1007        |
+| 0.3676 | 2680 | 0.1268        |
+| 0.3689 | 2690 | 0.0614        |
+| 0.3703 | 2700 | 0.0487        |
+| 0.3717 | 2710 | 0.033         |
+| 0.3731 | 2720 | 0.0895        |
+| 0.3744 | 2730 | 0.0633        |
+| 0.3758 | 2740 | 0.0377        |
+| 0.3772 | 2750 | 0.0573        |
+| 0.3785 | 2760 | 0.0814        |
+| 0.3799 | 2770 | 0.028         |
+| 0.3813 | 2780 | 0.0936        |
+| 0.3827 | 2790 | 0.023         |
+| 0.3840 | 2800 | 0.0424        |
+| 0.3854 | 2810 | 0.023         |
+| 0.3868 | 2820 | 0.0559        |
+| 0.3881 | 2830 | 0.0746        |
+| 0.3895 | 2840 | 0.0838        |
+| 0.3909 | 2850 | 0.1613        |
+| 0.3923 | 2860 | 0.075         |
+| 0.3936 | 2870 | 0.0768        |
+| 0.3950 | 2880 | 0.0408        |
+| 0.3964 | 2890 | 0.081         |
+| 0.3978 | 2900 | 0.0752        |
+| 0.3991 | 2910 | 0.0363        |
+| 0.4005 | 2920 | 0.037         |
+| 0.4019 | 2930 | 0.07          |
+| 0.4032 | 2940 | 0.0632        |
+| 0.4046 | 2950 | 0.0388        |
+| 0.4060 | 2960 | 0.0486        |
+| 0.4074 | 2970 | 0.1143        |
+| 0.4087 | 2980 | 0.0479        |
+| 0.4101 | 2990 | 0.043         |
+| 0.4115 | 3000 | 0.0662        |
+| 0.4128 | 3010 | 0.0854        |
+| 0.4142 | 3020 | 0.0521        |
+| 0.4156 | 3030 | 0.0463        |
+| 0.4170 | 3040 | 0.0412        |
+| 0.4183 | 3050 | 0.0298        |
+| 0.4197 | 3060 | 0.0756        |
+| 0.4211 | 3070 | 0.0659        |
+| 0.4224 | 3080 | 0.1408        |
+| 0.4238 | 3090 | 0.0861        |
+| 0.4252 | 3100 | 0.062         |
+| 0.4266 | 3110 | 0.0424        |
+| 0.4279 | 3120 | 0.0372        |
+| 0.4293 | 3130 | 0.0887        |
+| 0.4307 | 3140 | 0.1115        |
+| 0.4320 | 3150 | 0.0384        |
+| 0.4334 | 3160 | 0.0946        |
+| 0.4348 | 3170 | 0.0373        |
+| 0.4362 | 3180 | 0.0311        |
+| 0.4375 | 3190 | 0.0641        |
+| 0.4389 | 3200 | 0.0957        |
+| 0.4403 | 3210 | 0.0925        |
+| 0.4416 | 3220 | 0.0469        |
+| 0.4430 | 3230 | 0.0329        |
+| 0.4444 | 3240 | 0.0318        |
+| 0.4458 | 3250 | 0.0298        |
+| 0.4471 | 3260 | 0.0637        |
+| 0.4485 | 3270 | 0.0889        |
+| 0.4499 | 3280 | 0.1015        |
+| 0.4512 | 3290 | 0.0574        |
+| 0.4526 | 3300 | 0.0204        |
+| 0.4540 | 3310 | 0.0471        |
+| 0.4554 | 3320 | 0.021         |
+| 0.4567 | 3330 | 0.0397        |
+| 0.4581 | 3340 | 0.1484        |
+| 0.4595 | 3350 | 0.018         |
+| 0.4608 | 3360 | 0.1063        |
+| 0.4622 | 3370 | 0.0253        |
+| 0.4636 | 3380 | 0.0479        |
+| 0.4650 | 3390 | 0.0449        |
+| 0.4663 | 3400 | 0.0382        |
+| 0.4677 | 3410 | 0.0714        |
+| 0.4691 | 3420 | 0.0333        |
+| 0.4704 | 3430 | 0.0508        |
+| 0.4718 | 3440 | 0.0497        |
+| 0.4732 | 3450 | 0.0304        |
+| 0.4746 | 3460 | 0.0479        |
+| 0.4759 | 3470 | 0.0567        |
+| 0.4773 | 3480 | 0.0264        |
+| 0.4787 | 3490 | 0.0552        |
+| 0.4800 | 3500 | 0.0334        |
+| 0.4814 | 3510 | 0.0316        |
+| 0.4828 | 3520 | 0.0334        |
+| 0.4842 | 3530 | 0.0535        |
+| 0.4855 | 3540 | 0.0968        |
+| 0.4869 | 3550 | 0.0678        |
+| 0.4883 | 3560 | 0.0768        |
+| 0.4896 | 3570 | 0.0538        |
+| 0.4910 | 3580 | 0.0439        |
+| 0.4924 | 3590 | 0.0388        |
+| 0.4938 | 3600 | 0.0978        |
+| 0.4951 | 3610 | 0.0342        |
+| 0.4965 | 3620 | 0.0539        |
+| 0.4979 | 3630 | 0.0712        |
+| 0.4992 | 3640 | 0.0395        |
+| 0.5006 | 3650 | 0.0549        |
+| 0.5020 | 3660 | 0.125         |
+| 0.5034 | 3670 | 0.0558        |
+| 0.5047 | 3680 | 0.0607        |
+| 0.5061 | 3690 | 0.0667        |
+| 0.5075 | 3700 | 0.0556        |
+| 0.5088 | 3710 | 0.0409        |
+| 0.5102 | 3720 | 0.0178        |
+| 0.5116 | 3730 | 0.0377        |
+| 0.5130 | 3740 | 0.0847        |
+| 0.5143 | 3750 | 0.0428        |
+| 0.5157 | 3760 | 0.0795        |
+| 0.5171 | 3770 | 0.0631        |
+| 0.5184 | 3780 | 0.0212        |
+| 0.5198 | 3790 | 0.0259        |
+| 0.5212 | 3800 | 0.076         |
+| 0.5226 | 3810 | 0.02          |
+| 0.5239 | 3820 | 0.0928        |
+| 0.5253 | 3830 | 0.0233        |
+| 0.5267 | 3840 | 0.0447        |
+| 0.5280 | 3850 | 0.0338        |
+| 0.5294 | 3860 | 0.0331        |
+| 0.5308 | 3870 | 0.1292        |
+| 0.5322 | 3880 | 0.0163        |
+| 0.5335 | 3890 | 0.0375        |
+| 0.5349 | 3900 | 0.029         |
+| 0.5363 | 3910 | 0.0356        |
+| 0.5376 | 3920 | 0.0804        |
+| 0.5390 | 3930 | 0.0546        |
+| 0.5404 | 3940 | 0.0506        |
+| 0.5418 | 3950 | 0.0177        |
+| 0.5431 | 3960 | 0.0388        |
+| 0.5445 | 3970 | 0.0206        |
+| 0.5459 | 3980 | 0.0237        |
+| 0.5473 | 3990 | 0.0701        |
+| 0.5486 | 4000 | 0.0269        |
+| 0.5500 | 4010 | 0.0741        |
+| 0.5514 | 4020 | 0.0381        |
+| 0.5527 | 4030 | 0.0257        |
+| 0.5541 | 4040 | 0.0354        |
+| 0.5555 | 4050 | 0.0579        |
+| 0.5569 | 4060 | 0.0134        |
+| 0.5582 | 4070 | 0.0297        |
+| 0.5596 | 4080 | 0.0462        |
+| 0.5610 | 4090 | 0.0497        |
+| 0.5623 | 4100 | 0.0564        |
+| 0.5637 | 4110 | 0.0224        |
+| 0.5651 | 4120 | 0.0451        |
+| 0.5665 | 4130 | 0.0168        |
+| 0.5678 | 4140 | 0.0238        |
+| 0.5692 | 4150 | 0.0209        |
+| 0.5706 | 4160 | 0.0471        |
+| 0.5719 | 4170 | 0.0438        |
+| 0.5733 | 4180 | 0.0286        |
+| 0.5747 | 4190 | 0.0548        |
+| 0.5761 | 4200 | 0.0367        |
+| 0.5774 | 4210 | 0.0165        |
+| 0.5788 | 4220 | 0.0492        |
+| 0.5802 | 4230 | 0.0327        |
+| 0.5815 | 4240 | 0.0682        |
+| 0.5829 | 4250 | 0.0448        |
+| 0.5843 | 4260 | 0.0736        |
+| 0.5857 | 4270 | 0.0398        |
+| 0.5870 | 4280 | 0.0294        |
+| 0.5884 | 4290 | 0.0553        |
+| 0.5898 | 4300 | 0.0832        |
+| 0.5911 | 4310 | 0.0414        |
+| 0.5925 | 4320 | 0.0261        |
+| 0.5939 | 4330 | 0.0295        |
+| 0.5953 | 4340 | 0.0187        |
+| 0.5966 | 4350 | 0.0325        |
+| 0.5980 | 4360 | 0.0619        |
+| 0.5994 | 4370 | 0.0362        |
+| 0.6007 | 4380 | 0.0159        |
+| 0.6021 | 4390 | 0.0453        |
+| 0.6035 | 4400 | 0.0343        |
+| 0.6049 | 4410 | 0.0322        |
+| 0.6062 | 4420 | 0.0501        |
+| 0.6076 | 4430 | 0.0351        |
+| 0.6090 | 4440 | 0.0257        |
+| 0.6103 | 4450 | 0.036         |
+| 0.6117 | 4460 | 0.0557        |
+| 0.6131 | 4470 | 0.0722        |
+| 0.6145 | 4480 | 0.0624        |
+| 0.6158 | 4490 | 0.0124        |
+| 0.6172 | 4500 | 0.0676        |
+| 0.6186 | 4510 | 0.0166        |
+| 0.6199 | 4520 | 0.0294        |
+| 0.6213 | 4530 | 0.0595        |
+| 0.6227 | 4540 | 0.0143        |
+| 0.6241 | 4550 | 0.022         |
+| 0.6254 | 4560 | 0.0394        |
+| 0.6268 | 4570 | 0.0242        |
+| 0.6282 | 4580 | 0.0312        |
+| 0.6295 | 4590 | 0.0219        |
+| 0.6309 | 4600 | 0.0742        |
+| 0.6323 | 4610 | 0.0282        |
+| 0.6337 | 4620 | 0.0656        |
+| 0.6350 | 4630 | 0.044         |
+| 0.6364 | 4640 | 0.0295        |
+| 0.6378 | 4650 | 0.0285        |
+| 0.6391 | 4660 | 0.0328        |
+| 0.6405 | 4670 | 0.0311        |
+| 0.6419 | 4680 | 0.0446        |
+| 0.6433 | 4690 | 0.0232        |
+| 0.6446 | 4700 | 0.0334        |
+| 0.6460 | 4710 | 0.0342        |
+| 0.6474 | 4720 | 0.0672        |
+| 0.6487 | 4730 | 0.0705        |
+| 0.6501 | 4740 | 0.0349        |
+| 0.6515 | 4750 | 0.044         |
+| 0.6529 | 4760 | 0.0438        |
+| 0.6542 | 4770 | 0.1152        |
+| 0.6556 | 4780 | 0.0195        |
+| 0.6570 | 4790 | 0.03          |
+| 0.6583 | 4800 | 0.0357        |
+| 0.6597 | 4810 | 0.0163        |
+| 0.6611 | 4820 | 0.0416        |
+| 0.6625 | 4830 | 0.0177        |
+| 0.6638 | 4840 | 0.0139        |
+| 0.6652 | 4850 | 0.0789        |
+| 0.6666 | 4860 | 0.0247        |
+| 0.6679 | 4870 | 0.0533        |
+| 0.6693 | 4880 | 0.0205        |
+| 0.6707 | 4890 | 0.1045        |
+| 0.6721 | 4900 | 0.0395        |
+| 0.6734 | 4910 | 0.0189        |
+| 0.6748 | 4920 | 0.0287        |
+| 0.6762 | 4930 | 0.0372        |
+| 0.6775 | 4940 | 0.0197        |
+| 0.6789 | 4950 | 0.0171        |
+| 0.6803 | 4960 | 0.0239        |
+| 0.6817 | 4970 | 0.0406        |
+| 0.6830 | 4980 | 0.0152        |
+| 0.6844 | 4990 | 0.0392        |
+| 0.6858 | 5000 | 0.0333        |
+| 0.6871 | 5010 | 0.0297        |
+| 0.6885 | 5020 | 0.0525        |
+| 0.6899 | 5030 | 0.0736        |
+| 0.6913 | 5040 | 0.0536        |
+| 0.6926 | 5050 | 0.0261        |
+| 0.6940 | 5060 | 0.0597        |
+| 0.6954 | 5070 | 0.0738        |
+| 0.6967 | 5080 | 0.0277        |
+| 0.6981 | 5090 | 0.0741        |
+| 0.6995 | 5100 | 0.044         |
+| 0.7009 | 5110 | 0.0221        |
+| 0.7022 | 5120 | 0.0102        |
+| 0.7036 | 5130 | 0.0312        |
+| 0.7050 | 5140 | 0.0237        |
+| 0.7064 | 5150 | 0.0156        |
+| 0.7077 | 5160 | 0.0297        |
+| 0.7091 | 5170 | 0.0213        |
+| 0.7105 | 5180 | 0.0187        |
+| 0.7118 | 5190 | 0.0328        |
+| 0.7132 | 5200 | 0.0192        |
+| 0.7146 | 5210 | 0.024         |
+| 0.7160 | 5220 | 0.0723        |
+| 0.7173 | 5230 | 0.0469        |
+| 0.7187 | 5240 | 0.0188        |
+| 0.7201 | 5250 | 0.0411        |
+| 0.7214 | 5260 | 0.0345        |
+| 0.7228 | 5270 | 0.0156        |
+| 0.7242 | 5280 | 0.032         |
+| 0.7256 | 5290 | 0.0298        |
+| 0.7269 | 5300 | 0.0372        |
+| 0.7283 | 5310 | 0.0217        |
+| 0.7297 | 5320 | 0.0327        |
+| 0.7310 | 5330 | 0.0218        |
+| 0.7324 | 5340 | 0.0381        |
+| 0.7338 | 5350 | 0.022         |
+| 0.7352 | 5360 | 0.0432        |
+| 0.7365 | 5370 | 0.0122        |
+| 0.7379 | 5380 | 0.0249        |
+| 0.7393 | 5390 | 0.0248        |
+| 0.7406 | 5400 | 0.0933        |
+| 0.7420 | 5410 | 0.0269        |
+| 0.7434 | 5420 | 0.0204        |
+| 0.7448 | 5430 | 0.0184        |
+| 0.7461 | 5440 | 0.0667        |
+| 0.7475 | 5450 | 0.0286        |
+| 0.7489 | 5460 | 0.0119        |
+| 0.7502 | 5470 | 0.0232        |
+| 0.7516 | 5480 | 0.0259        |
+| 0.7530 | 5490 | 0.026         |
+| 0.7544 | 5500 | 0.0466        |
+| 0.7557 | 5510 | 0.0809        |
+| 0.7571 | 5520 | 0.0224        |
+| 0.7585 | 5530 | 0.1008        |
+| 0.7598 | 5540 | 0.0247        |
+| 0.7612 | 5550 | 0.0212        |
+| 0.7626 | 5560 | 0.0294        |
+| 0.7640 | 5570 | 0.0307        |
+| 0.7653 | 5580 | 0.0198        |
+| 0.7667 | 5590 | 0.022         |
+| 0.7681 | 5600 | 0.0105        |
+| 0.7694 | 5610 | 0.0471        |
+| 0.7708 | 5620 | 0.0207        |
+| 0.7722 | 5630 | 0.0315        |
+| 0.7736 | 5640 | 0.0169        |
+| 0.7749 | 5650 | 0.0281        |
+| 0.7763 | 5660 | 0.0183        |
+| 0.7777 | 5670 | 0.0353        |
+| 0.7790 | 5680 | 0.0198        |
+| 0.7804 | 5690 | 0.0076        |
+| 0.7818 | 5700 | 0.0359        |
+| 0.7832 | 5710 | 0.0327        |
+| 0.7845 | 5720 | 0.0187        |
+| 0.7859 | 5730 | 0.0233        |
+| 0.7873 | 5740 | 0.0424        |
+| 0.7886 | 5750 | 0.0202        |
+| 0.7900 | 5760 | 0.0266        |
+| 0.7914 | 5770 | 0.0257        |
+| 0.7928 | 5780 | 0.042         |
+| 0.7941 | 5790 | 0.0304        |
+| 0.7955 | 5800 | 0.0357        |
+| 0.7969 | 5810 | 0.0318        |
+| 0.7982 | 5820 | 0.0146        |
+| 0.7996 | 5830 | 0.0145        |
+| 0.8010 | 5840 | 0.0241        |
+| 0.8024 | 5850 | 0.0301        |
+| 0.8037 | 5860 | 0.018         |
+| 0.8051 | 5870 | 0.0312        |
+| 0.8065 | 5880 | 0.0202        |
+| 0.8078 | 5890 | 0.0516        |
+| 0.8092 | 5900 | 0.0445        |
+| 0.8106 | 5910 | 0.0146        |
+| 0.8120 | 5920 | 0.0744        |
+| 0.8133 | 5930 | 0.0186        |
+| 0.8147 | 5940 | 0.0322        |
+| 0.8161 | 5950 | 0.0536        |
+| 0.8174 | 5960 | 0.0305        |
+| 0.8188 | 5970 | 0.025         |
+| 0.8202 | 5980 | 0.0665        |
+| 0.8216 | 5990 | 0.0162        |
+| 0.8229 | 6000 | 0.0124        |
+| 0.8243 | 6010 | 0.0527        |
+| 0.8257 | 6020 | 0.0116        |
+| 0.8270 | 6030 | 0.029         |
+| 0.8284 | 6040 | 0.0178        |
+| 0.8298 | 6050 | 0.015         |
+| 0.8312 | 6060 | 0.0234        |
+| 0.8325 | 6070 | 0.0342        |
+| 0.8339 | 6080 | 0.0202        |
+| 0.8353 | 6090 | 0.0313        |
+| 0.8366 | 6100 | 0.0474        |
+| 0.8380 | 6110 | 0.0342        |
+| 0.8394 | 6120 | 0.0114        |
+| 0.8408 | 6130 | 0.0227        |
+| 0.8421 | 6140 | 0.0163        |
+| 0.8435 | 6150 | 0.0207        |
+| 0.8449 | 6160 | 0.0296        |
+| 0.8462 | 6170 | 0.0175        |
+| 0.8476 | 6180 | 0.0685        |
+| 0.8490 | 6190 | 0.0481        |
+| 0.8504 | 6200 | 0.0253        |
+| 0.8517 | 6210 | 0.1079        |
+| 0.8531 | 6220 | 0.0195        |
+| 0.8545 | 6230 | 0.0322        |
+| 0.8558 | 6240 | 0.0219        |
+| 0.8572 | 6250 | 0.0153        |
+| 0.8586 | 6260 | 0.0247        |
+| 0.8600 | 6270 | 0.0117        |
+| 0.8613 | 6280 | 0.0162        |
+| 0.8627 | 6290 | 0.052         |
+| 0.8641 | 6300 | 0.038         |
+| 0.8655 | 6310 | 0.0922        |
+| 0.8668 | 6320 | 0.0169        |
+| 0.8682 | 6330 | 0.0305        |
+| 0.8696 | 6340 | 0.0104        |
+| 0.8709 | 6350 | 0.0396        |
+| 0.8723 | 6360 | 0.0162        |
+| 0.8737 | 6370 | 0.0143        |
+| 0.8751 | 6380 | 0.0204        |
+| 0.8764 | 6390 | 0.0295        |
+| 0.8778 | 6400 | 0.0474        |
+| 0.8792 | 6410 | 0.0561        |
+| 0.8805 | 6420 | 0.016         |
+| 0.8819 | 6430 | 0.0447        |
+| 0.8833 | 6440 | 0.0154        |
+| 0.8847 | 6450 | 0.0216        |
+| 0.8860 | 6460 | 0.0647        |
+| 0.8874 | 6470 | 0.0218        |
+| 0.8888 | 6480 | 0.0141        |
+| 0.8901 | 6490 | 0.0693        |
+| 0.8915 | 6500 | 0.0146        |
+| 0.8929 | 6510 | 0.0194        |
+| 0.8943 | 6520 | 0.0106        |
+| 0.8956 | 6530 | 0.0715        |
+| 0.8970 | 6540 | 0.0309        |
+| 0.8984 | 6550 | 0.0692        |
+| 0.8997 | 6560 | 0.0111        |
+| 0.9011 | 6570 | 0.0187        |
+| 0.9025 | 6580 | 0.0646        |
+| 0.9039 | 6590 | 0.0774        |
+| 0.9052 | 6600 | 0.0329        |
+| 0.9066 | 6610 | 0.0293        |
+| 0.9080 | 6620 | 0.0162        |
+| 0.9093 | 6630 | 0.0373        |
+| 0.9107 | 6640 | 0.0585        |
+| 0.9121 | 6650 | 0.0771        |
+| 0.9135 | 6660 | 0.1385        |
+| 0.9148 | 6670 | 0.0418        |
+| 0.9162 | 6680 | 0.0171        |
+| 0.9176 | 6690 | 0.0265        |
+| 0.9189 | 6700 | 0.0203        |
+| 0.9203 | 6710 | 0.0493        |
+| 0.9217 | 6720 | 0.0255        |
+| 0.9231 | 6730 | 0.0248        |
+| 0.9244 | 6740 | 0.0204        |
+| 0.9258 | 6750 | 0.0194        |
+| 0.9272 | 6760 | 0.012         |
+| 0.9285 | 6770 | 0.0161        |
+| 0.9299 | 6780 | 0.0231        |
+| 0.9313 | 6790 | 0.0667        |
+| 0.9327 | 6800 | 0.0163        |
+| 0.9340 | 6810 | 0.0168        |
+| 0.9354 | 6820 | 0.0179        |
+| 0.9368 | 6830 | 0.0453        |
+| 0.9381 | 6840 | 0.045         |
+| 0.9395 | 6850 | 0.0346        |
+| 0.9409 | 6860 | 0.0253        |
+| 0.9423 | 6870 | 0.0122        |
+| 0.9436 | 6880 | 0.0367        |
+| 0.9450 | 6890 | 0.0563        |
+| 0.9464 | 6900 | 0.0208        |
+| 0.9477 | 6910 | 0.0323        |
+| 0.9491 | 6920 | 0.0195        |
+| 0.9505 | 6930 | 0.0382        |
+| 0.9519 | 6940 | 0.0198        |
+| 0.9532 | 6950 | 0.0158        |
+| 0.9546 | 6960 | 0.0203        |
+| 0.9560 | 6970 | 0.0154        |
+| 0.9573 | 6980 | 0.0359        |
+| 0.9587 | 6990 | 0.0128        |
+| 0.9601 | 7000 | 0.0283        |
+| 0.9615 | 7010 | 0.0174        |
+| 0.9628 | 7020 | 0.057         |
+| 0.9642 | 7030 | 0.0994        |
+| 0.9656 | 7040 | 0.0225        |
+| 0.9669 | 7050 | 0.0336        |
+| 0.9683 | 7060 | 0.0197        |
+| 0.9697 | 7070 | 0.0399        |
+| 0.9711 | 7080 | 0.0341        |
+| 0.9724 | 7090 | 0.0821        |
+| 0.9738 | 7100 | 0.022         |
+| 0.9752 | 7110 | 0.0283        |
+| 0.9765 | 7120 | 0.0414        |
+| 0.9779 | 7130 | 0.0596        |
+| 0.9793 | 7140 | 0.0133        |
+| 0.9807 | 7150 | 0.0436        |
+| 0.9820 | 7160 | 0.0231        |
+| 0.9834 | 7170 | 0.0115        |
+| 0.9848 | 7180 | 0.029         |
+| 0.9861 | 7190 | 0.0697        |
+| 0.9875 | 7200 | 0.0257        |
+| 0.9889 | 7210 | 0.0141        |
+| 0.9903 | 7220 | 0.0105        |
+| 0.9916 | 7230 | 0.0105        |
+| 0.9930 | 7240 | 0.0175        |
+| 0.9944 | 7250 | 0.0303        |
+| 0.9957 | 7260 | 0.0273        |
+| 0.9971 | 7270 | 0.017         |
+| 0.9985 | 7280 | 0.0125        |
+| 0.9999 | 7290 | 0.0092        |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.3.1
+- Transformers: 4.48.1
+- PyTorch: 2.5.1+cu124
+- Accelerate: 1.2.1
+- Datasets: 2.19.1
+- Tokenizers: 0.21.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,47 @@
+{
+  "_name_or_path": "/content/ModernBERT-base-financial-matryoshka/checkpoint-7291",
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 50281,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 50281,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "embedding_dropout": 0.0,
+  "eos_token_id": 50282,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 10000.0,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 50283,
+  "position_embedding_type": "absolute",
+  "reference_compile": true,
+  "repad_logits_with_grad": false,
+  "sep_token_id": 50282,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.48.1",
+  "vocab_size": 50368
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.3.1",
+    "transformers": "4.48.1",
+    "pytorch": "2.5.1+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4f0eb1cc5d9c6eaf912b00586da917796f43acf8cbc2cf50efe054ec3c622a02
+size 596070136

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 8192,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,952 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "|||IP_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "1": {
+      "content": "<|padding|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50254": {
+      "content": "                        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50255": {
+      "content": "                       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50256": {
+      "content": "                      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50257": {
+      "content": "                     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50258": {
+      "content": "                    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50259": {
+      "content": "                   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50260": {
+      "content": "                  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50261": {
+      "content": "                 ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50262": {
+      "content": "                ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50263": {
+      "content": "               ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50264": {
+      "content": "              ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50265": {
+      "content": "             ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50266": {
+      "content": "            ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50267": {
+      "content": "           ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50268": {
+      "content": "          ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50269": {
+      "content": "         ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50270": {
+      "content": "        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50271": {
+      "content": "       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50272": {
+      "content": "      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50273": {
+      "content": "     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50274": {
+      "content": "    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50275": {
+      "content": "   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50276": {
+      "content": "  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50277": {
+      "content": "|||EMAIL_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50278": {
+      "content": "|||PHONE_NUMBER|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50279": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50280": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50281": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50282": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50283": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50284": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50285": {
+      "content": "[unused0]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50286": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50287": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50288": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50289": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50290": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50291": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50292": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50293": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50294": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50295": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50296": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50297": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50298": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50299": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50300": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50301": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50302": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50303": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50304": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50305": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50306": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50307": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50308": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50309": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50310": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50311": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50312": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50313": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50314": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50315": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50316": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50317": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50318": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50319": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50320": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50321": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50322": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50323": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50324": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50325": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50326": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50327": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50328": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50329": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50330": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50331": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50332": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50333": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50334": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50335": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50336": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50337": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50338": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50339": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50340": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50341": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50342": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50343": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50344": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50345": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50346": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50347": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50348": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50349": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50350": {
+      "content": "[unused65]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50351": {
+      "content": "[unused66]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50352": {
+      "content": "[unused67]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50353": {
+      "content": "[unused68]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50354": {
+      "content": "[unused69]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50355": {
+      "content": "[unused70]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50356": {
+      "content": "[unused71]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50357": {
+      "content": "[unused72]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50358": {
+      "content": "[unused73]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50359": {
+      "content": "[unused74]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50360": {
+      "content": "[unused75]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50361": {
+      "content": "[unused76]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50362": {
+      "content": "[unused77]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50363": {
+      "content": "[unused78]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50364": {
+      "content": "[unused79]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50365": {
+      "content": "[unused80]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50366": {
+      "content": "[unused81]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50367": {
+      "content": "[unused82]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "max_length": 8192,
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 8192,
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "[SEP]",
+  "stride": 0,
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "[UNK]"
+}