--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:631587 - loss:MultipleNegativesRankingLoss base_model: nomic-ai/nomic-embed-text-v1.5 widget: - source_sentence: thành phố bất động sản đắt nhất sentences: - 'Đồng hồ: 18.066 đô la. Paris, kinh đô thời trang của thế giới và thủ đô thực tế của đất nước Pháp hiện được công nhận là một trong những thành phố đắt đỏ nhất để mua bất động sản, khi thị trường bất động sản tiếp tục phát triển mạnh với nền kinh tế Pháp ổn định.' - 'PHẦN A. Đọc phần sau và ghi chú vào giấy của bạn: Tổng hợp protein là quá trình cơ thể sử dụng để tạo ra protein. Bước đầu tiên của quá trình tổng hợp protein được gọi là Phiên mã. Nó xảy ra trong nhân. Trong quá trình phiên mã, mRNA phiên mã (bản sao) DNA. DNA là ࢠ€Š“được giải nénࢠ€Â và sợi mRNA sao chép một sợi DNA. Một khi nó làm được điều này, mRNA sẽ rời khỏi nhân và đi vào tế bào chất. mRNA sau đó sẽ tự gắn vào ribosome.' - 'Michaela Kennedy Cuomo, con gái út của Andrew Cuomo, phải nhập viện một thời gian ngắn sau khi bất tỉnh: báo cáo. Theo các báo cáo, Michaela Kennedy Cuomo (bên phải, trong ảnh với cha Thống đốc Cuomo), 17 tuổi, đã phải nhập viện một thời gian ngắn sau khi được tìm thấy trong tình trạng bất tỉnh trong ngôi nhà ở Westchester mà cô ở cùng mẹ, Kerry Kennedy, theo báo cáo. (Hình ảnh Spencer Platt / Getty)' - source_sentence: 'search_query: núi đọ ở tỉnh nào' sentences: - 'search_document: Việc phát hiện một số di tích mà tiêu biểu là Núi Đọ vào cuối năm 1960, đã xuất lộ những công cụ đá thô sơ đầu tiên của con người. Các nhà Khảo cổ học Việt Nam cùng với Giáo sư Boriskovski đã nghiên cứu và chứng minh rằng ở Núi Đọ từng tồn tại một nền văn hóa sơ kỳ thời đại đá cũ. Di tích Núi Đọ thuộc địa phận hai xã Thiệu Tân và Thiệu Khánh, huyện Đông Sơn, Thanh Hóa. Núi Đọ là một quả núi thấp, sườn núi dốc thoai thoải từ 20 độ đến 25 độ, cao 158 m so với mặt nước biển, nằm ngay bên bờ hữu ngạn sông Chu; chỗ hợp lưu của hai dòng sông Mã và sông Chu cách Thành phố Thanh Hóa 7 km về phía bắc - tây bắc.' - White Lightning là một tàu lượn siêu tốc bằng gỗ tại Fun Spot America ở Orlando, Florida. Chuyến xe được thiết kế riêng do Great Coasters International sản xuất. Chuyến đi là tàu lượn bằng gỗ đầu tiên của Orlando. - 'search_document: Virus Zika có thể lây truyền qua muỗi hoặc qua đường tình dục. Hầu hết mọi người có thể phục hồi hoàn toàn và các triệu chứng virus zika tự hết trong khoảng một tuần. Đa số các trường hợp không có triệu chứng nhiễm virus Zika. Tuy nhiên, nếu có thì các biểu hiện virus zika thông thường gồm: Sốt, phát ban, đau khớp, đau đầu, kết mạc mắt đỏ, đau cơ, cảm giác đau ở lưng. Bệnh virus Zika đặc biệt nguy hiểm nếu đi từ mẹ sang con. Bà bầu bị nhiễm virus Zika khi mang thai có thể khiến thai nhi mắc chứng đầu nhỏ. Khi lớn hơn, bé có thể bị suy giảm thị giác, thính giác, tăng trưởng kém và thậm chí co giật.' - source_sentence: 'search_query: giáo của người đông sơn có hình gì' sentences: - 'search_document: Chủ nhân của Văn hóa Đông Sơn đã chế tạo nhiều loại vũ khí từ đồng dùng để đánh xa, gồm có lao, đầu mũi tên. Để bắn tên tất phải có cung, nỏ bằng gỗ hoặc tre. Việc phát hiện bộ lẫy nỏ có hộp, có rãnh đặt mũi tên, có nấc để giữ dây nỏ, có lẫy cong đùng để bóp cò, không còn nguyên vẹn ở làng Vạc, cho thấy việc dùng cung nỏ của người Đông Sơn rất lợi hại khi săn bắn, chiến tranh là điều có thể tin được. Giáo hình búp da, hình lá mía. Lao cũng giống như giáo nhưng kích cỡ nhỏ hơn. Vũ khí đánh gần có dao găm. Dao găm có nhiều kiểu phân biệt dựa vào phần cán và đốc chắn. Nhiều chiếc dao găm được đúc rất công phu. Chuôi dao đúc hình tượng người nam hoặc nữ, y phục hoa văn trang sức đẹp đẽ, sống động. Phần cán dao găm có những chiếc được chạm trổ rất độc đáo với hình tượng động vật như rắn ngậm chân hổ, hổ ngậm chân voi, hay rắn ngậm chân voi...' - LIÊN KẾT / TRANG WEB THÊM VÀO DANH SÁCH CÔNG VIỆC. danh từ. Skinny jeans là loại quần denim bó sát với da thường được làm bằng vải co giãn. Một ví dụ về quần jean bó là những chiếc quần jean bó sát từ eo đến mắt cá chân. - 'Xét nghiệm máu FSH kiểm tra mức độ hormone kích thích nang trứng trong máu. Mức độ FHS có thể xác định xem các cơ quan sinh dục ở cả nam và nữ có hoạt động bình thường hay không. Mức độ FHS cũng có thể được kiểm tra để phát hiện các vấn đề với tuyến yên. Số lượng: * Chỉ số nguyên. Hormone kích thích nang trứng, hoặc FSH, được sản xuất bởi tuyến yên để kích thích sản xuất và phát triển trứng ở nữ và tinh trùng ở nam. FSH cũng kích thích sản xuất các hormone khác, bao gồm testosterone và estrogen.' - source_sentence: 'search_query: phương pháp lóc ối bác sĩ sẽ làm gì' sentences: - 'Sáu bước đơn giản để trồng hoa nhài: 1 Hoa nhài phát triển mạnh trong môi trường ban ngày nóng ẩm. 2 Chọn nơi trồng hoa nhài của bạn. 3 Chuẩn bị đất để trồng bằng cách làm việc với một lượng lớn vật liệu hữu cơ, chẳng hạn như rêu than bùn hoặc phân trộn. Bón phân đa dụng mỗi tháng một lần từ tháng 3 đến tháng 11.' - 'search_document: Khi thai phụ đã quá ngày dự sinh, các phương pháp sau đây có thể được bác sĩ cân nhắc lựa chọn để gây khởi phát chuyển dạ: Lóc ối: Với biện pháp này, bác sĩ sẽ đeo găng và dùng ngón tay để tách màng ối ra khỏi thành tử cung. Phá vỡ túi nước ối: Bác sĩ sẽ tạo một lỗ nhỏ trên túi nước ối để làm vỡ ối, qua đó kích thích sự chuyển dạ. Oxytocin: Là một loại thuốc giúp tạo ra các cơn co thắt chuyển dạ, được tiêm theo đường tĩnh mạch vào cánh tay của thai phụ. Liều lượng có thể được tăng dần theo thời gian nhưng phải theo dõi cẩn thận. Các chất tương tự Prostaglandin: Đây là những loại thuốc được đặt trong âm đạo để làm chín muồi cổ tử cung. Làm giãn nở cổ tử cung: Bác sĩ có thể đặt ống thông có gắn một quả bong bóng rất nhỏ vào cuối cổ tử cung của thai phụ. Sau đó, nước sẽ được bơm vào quả bóng. Khi bóng đã được bơm căng, nó sẽ gây ra tác động áp lực, giúp cổ tử cung mở ra và quá trình chuyển dạ sẽ bắt đầu.' - Ý nghĩa hoa Alstroemeria Astroemeria cứng cáp là một bông hoa tuyệt đẹp kết hợp nhiều màu sắc khác nhau thành một vẻ đẹp gắn kết. Loài hoa tươi sáng này tượng trưng cho tình bạn, vẻ đẹp bền lâu của sự cam kết và chăm sóc. - source_sentence: bạn đeo nhẫn thuần khiết ở ngón tay nào sentences: - 'search_document: Đến năm 995, quan hệ giữa Đại Cồ Việt và Tống xảy ra một vụ việc là dân nước ta vùng giáp biên xâm phạm vào đất Tống cướp lương thực ở trấn Như Hồng. Sự kiện này được báo lên triều đình nhà Tống. Nhưng khi nghe tin, vua Tống không muốn làm to chuyện nên đã làm ngơ, để giữ yên quan hệ từng gây dựng giữa hai bên từ trước. Nhà Tống không những không lấy cớ ra tay trừng phạt lại còn trao trả lại cho Đại cồ Việt hơn 100 phạm nhân trốn sang đất Tổng. Và cũng tỏ thiện chí của mình, Đại Cố Việt trao cho nhà Tống 27 tên giặc biển bị bắt. Khi sứ Tống là Lý Nhược Chuyết mang chiếu thư và đai ngọc của vua Tống ban tặng cho Lê Đại Hành, tỏ ý ngạo mạn về việc dân vùng biên nước ta xâm phạm đất Tống, nhà vua nói với Nhược Chuyết: Việc cướp trấn Như Hồng là do giặc biển ở cõi ngoài, Hoàng đế có biết đó không phải là quân của Giao Châu không. Giả sử Giao Châu có làm phản thì đầu tiên đánh vào Phiên Ngung, thứ đánh vào Mân Việt, há chi dừng ở trấn Như Hồng mà thôi. Với những lời lẽ mềm mỏng và cứng rắn như vậy, người đứng đầu nhà Tiền Lê đã giành được những thắng lợi quan trọng trên mặt trận ngoại giao. Đến năm 997, vua nhà Tống còn gia phong cho Lê Đại Hành làm Nam Bình vương. Từ đó, quan hệ hữu hảo giữa nhà Tiền Lê và nhà Tống diễn ra khá tốt đẹp. Điều đó được minh chứng vào cuối năm 1004 đầu năm 1005, những năm đầu thế kỳ 11, khi Hành Quân vương Minh Đề được cử đi sứ sang đất Tống, gặp lúc trong nước loạn lạc không về được, phải đóng ở lại Quảng Châu cho đến năm 1006, vua Tống đã sai An phủ sứ Thiệu Việp cấp thuyền và người đưa Hành Quân vương Minh Đề về nước.' - Hầu hết các cô gái và chàng trai đeo chiếc nhẫn thuần khiết của họ trên ngón áp út của họ. Một số cô gái thích đeo nó trên ngón áp út của bàn tay trái, và thay thế nó bằng chiếc nhẫn cưới của họ. Nhẫn tinh khiết không dành riêng cho ngón tay đeo nhẫn; bạn có thể mặc nó bất cứ nơi nào thoải mái nhất cho bạn. Một số thậm chí đeo nhẫn của họ trên một chuỗi như một chiếc vòng cổ. Một. - 'search_document: Gương mặt thân quen mùa 1 được phát sóng trên kênh VTV3 từ ngày 5 tháng 1 năm 2013 đến 23 tháng 3 năm 2013 với các thí sinh gồm Khởi My, Đại Nghĩa, Thúy Uyên, Kyo York, Phương Thanh và Chí Thiện. Bộ ba giám khảo chính là nhạc sĩ Đức Huy, ca sĩ Mỹ Linh và NSƯT Hoài Linh. Người dẫn chương trình mùa này là nghệ sĩ Thanh Bạch. Sau 10 tuần thi, kết quả chung cuộc giải nhất thuộc về thí sinh Khởi My.' pipeline_tag: sentence-similarity library_name: sentence-transformers --- # SentenceTransformer based on nomic-ai/nomic-embed-text-v1.5 This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [nomic-ai/nomic-embed-text-v1.5](https://huggingface.co/nomic-ai/nomic-embed-text-v1.5). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [nomic-ai/nomic-embed-text-v1.5](https://huggingface.co/nomic-ai/nomic-embed-text-v1.5) - **Maximum Sequence Length:** 8192 tokens - **Output Dimensionality:** 768 dimensions - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("tintnguyen/nomic-embed-text-v1.5-ttt") # Run inference sentences = [ 'bạn đeo nhẫn thuần khiết ở ngón tay nào', 'Hầu hết các cô gái và chàng trai đeo chiếc nhẫn thuần khiết của họ trên ngón áp út của họ. Một số cô gái thích đeo nó trên ngón áp út của bàn tay trái, và thay thế nó bằng chiếc nhẫn cưới của họ. Nhẫn tinh khiết không dành riêng cho ngón tay đeo nhẫn; bạn có thể mặc nó bất cứ nơi nào thoải mái nhất cho bạn. Một số thậm chí đeo nhẫn của họ trên một chuỗi như một chiếc vòng cổ. Một.', 'search_document: Gương mặt thân quen mùa 1 được phát sóng trên kênh VTV3 từ ngày 5 tháng 1 năm 2013 đến 23 tháng 3 năm 2013 với các thí sinh gồm Khởi My, Đại Nghĩa, Thúy Uyên, Kyo York, Phương Thanh và Chí Thiện. Bộ ba giám khảo chính là nhạc sĩ Đức Huy, ca sĩ Mỹ Linh và NSƯT Hoài Linh. Người dẫn chương trình mùa này là nghệ sĩ Thanh Bạch. Sau 10 tuần thi, kết quả chung cuộc giải nhất thuộc về thí sinh Khởi My.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 768] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 631,587 training samples * Columns: anchor and positive * Approximate statistics based on the first 1000 samples: | | anchor | positive | |:--------|:----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | anchor | positive | |:---------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | bạn có thể lấy hộ chiếu ở dmv không | Nộp đơn xin Hộ chiếu Hoa Kỳ tại Văn phòng DMV. Xuất bản 27/09/2001 01:53 PM | Cập nhật 24/08/2011 11:05 AM. Bạn có thể nộp đơn xin Hộ chiếu Hoa Kỳ tại một số văn phòng xe cơ giới do các nhân viên quận điều hành. Bạn có thể nộp đơn xin Hộ chiếu Hoa Kỳ tại một số Bưu điện Hoa Kỳ. NYSDMV không cấp hộ chiếu và không thể cung cấp cho bạn thông tin về cách xin hộ chiếu. Liên hệ với Bưu điện Hoa Kỳ hoặc văn phòng thư ký quận được liệt kê trong các trang màu xanh trong danh bạ điện thoại của bạn. NYSDMV không cấp hộ chiếu và không thể cung cấp cho bạn thông tin về cách nộp đơn xin hộ chiếu. Liên hệ với Bưu điện Hoa Kỳ hoặc văn phòng lục sự quận được liệt kê trong các trang màu xanh lam của danh bạ điện thoại của bạn. | | tổng số người mỹ thiệt mạng trong tất cả các cuộc chiến tranh | 1 Con số chính thức của người Mỹ thiệt mạng trong Chiến tranh Cách mạng (4.435) chỉ bằng khoảng 2/3 con số mà các nhà sử học đưa ra. Tổng số người Mỹ thiệt mạng trong Nội chiến được đưa ra là 140.414 - cao hơn khoảng 30.000 so với hầu hết các nhà sử học ước tính. Tôi nghi ngờ (nhưng không biết chắc chắn) rằng sự gia tăng có thể đến từ việc DoD tính số người chết trong tù binh là chiến đấu hơn là bệnh tật. | | lý thuyết vụ nổ lớn được quay ở đâu | Thuyết Vụ nổ lớn được ghi hình tại Warner Bros. Studios ở Burbank, California. Bạn phải từ mười tám tuổi trở lên để tham gia buổi ghi hình Thuyết Vụ nổ lớn. Số lượng vé có hạn và nhu cầu rất cao. Vé được bán miễn phí trên TVTickets.com. Phần thứ 10 của Big Bang Theory hiện đang được sản xuất. | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim" } ``` ### Evaluation Dataset #### Unnamed Dataset * Size: 300 evaluation samples * Columns: anchor and positive * Approximate statistics based on the first 300 samples: | | anchor | positive | |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | anchor | positive | |:--------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | lúa mạch đen được dùng làm gì và ăn ở pháp | Tiêu dùng và sử dụng của con người. Như đã nói trước đó, hầu hết lúa mạch đen được trồng ở châu Âu là để làm bánh mì. Canada có một số lượng hạn chế hạt lúa mạch đen được sử dụng để chưng cất và sử dụng thực phẩm, và ở Mỹ khoảng một nửa lúa mạch đen làm ngũ cốc được sử dụng cho những mục đích này (7, 8). Hạt lúa mạch đen được sử dụng để làm bột mì, thức ăn gia súc, hoặc bia. Nó cũng có thể được ăn toàn bộ, dưới dạng quả mọng lúa mạch đen luộc, hoặc bằng cách cuộn lại, tương tự như yến mạch cán (10). | | kỳ hạm của hải quân chúng tôi là gì | USS Hiến pháp là kỳ hạm truyền thống của Hải quân Hoa Kỳ. Và nó vẫn đang được thực hiện và được điều khiển bởi một thủy thủ đoàn Hải quân Hoa Kỳ. USS Constellation CVN-64 được Tổng thống Ronald Reagan đặt cho biệt danh là Chiến hạm của Hoa Kỳ. Nó hiện đã ngừng hoạt động và được thay thế trong hạm đội bằng tàu sân bay USS Ronald Reagan CVN-76. | | cửa sổ kính lớn nhất | Cửa sổ kính màu lớn nhất thế giới. Cửa sổ kính màu lớn nhất thế giới thực sự nằm trong lăng mộ tại Nghĩa trang Phục sinh ở Công lý. Nó chứa 2.448 tấm và rộng 22.381 feet vuông. Cũng cần lưu ý thêm, nó chỉ cách nhà máy cải tạo nước Stickney, cơ sở xử lý nước thải lớn nhất (vào tháng 7 và cả tháng 8, là cơ sở xử lý nước thải bốc mùi nhất trên thế giới, vài dặm ngắn) chỉ vài dặm ngắn. | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim" } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `learning_rate`: 2e-05 - `warmup_ratio`: 0.1 - `fp16`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 3 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: False - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs
Click to expand | Epoch | Step | Training Loss | Validation Loss | |:------:|:-----:|:-------------:|:---------------:| | 0.0025 | 100 | 1.25 | - | | 0.0051 | 200 | 0.9823 | - | | 0.0076 | 300 | 0.7369 | - | | 0.0101 | 400 | 0.566 | - | | 0.0127 | 500 | 0.4505 | - | | 0.0152 | 600 | 0.3865 | - | | 0.0177 | 700 | 0.3417 | - | | 0.0203 | 800 | 0.3466 | - | | 0.0228 | 900 | 0.3358 | - | | 0.0253 | 1000 | 0.3027 | 0.2965 | | 0.0279 | 1100 | 0.2977 | - | | 0.0304 | 1200 | 0.2552 | - | | 0.0329 | 1300 | 0.2731 | - | | 0.0355 | 1400 | 0.2838 | - | | 0.0380 | 1500 | 0.2545 | - | | 0.0405 | 1600 | 0.2418 | - | | 0.0431 | 1700 | 0.2241 | - | | 0.0456 | 1800 | 0.2003 | - | | 0.0481 | 1900 | 0.2276 | - | | 0.0507 | 2000 | 0.2213 | 0.2236 | | 0.0532 | 2100 | 0.2053 | - | | 0.0557 | 2200 | 0.1872 | - | | 0.0583 | 2300 | 0.2132 | - | | 0.0608 | 2400 | 0.1783 | - | | 0.0633 | 2500 | 0.1825 | - | | 0.0659 | 2600 | 0.1746 | - | | 0.0684 | 2700 | 0.1709 | - | | 0.0709 | 2800 | 0.1636 | - | | 0.0735 | 2900 | 0.1674 | - | | 0.0760 | 3000 | 0.1737 | 0.1739 | | 0.0785 | 3100 | 0.1868 | - | | 0.0811 | 3200 | 0.1232 | - | | 0.0836 | 3300 | 0.1636 | - | | 0.0861 | 3400 | 0.1607 | - | | 0.0887 | 3500 | 0.1362 | - | | 0.0912 | 3600 | 0.1354 | - | | 0.0937 | 3700 | 0.1593 | - | | 0.0963 | 3800 | 0.1683 | - | | 0.0988 | 3900 | 0.1265 | - | | 0.1013 | 4000 | 0.1524 | 0.1586 | | 0.1039 | 4100 | 0.1252 | - | | 0.1064 | 4200 | 0.1506 | - | | 0.1089 | 4300 | 0.1271 | - | | 0.1115 | 4400 | 0.1411 | - | | 0.1140 | 4500 | 0.14 | - | | 0.1165 | 4600 | 0.1241 | - | | 0.1191 | 4700 | 0.1398 | - | | 0.1216 | 4800 | 0.1218 | - | | 0.1241 | 4900 | 0.096 | - | | 0.1267 | 5000 | 0.1254 | 0.1339 | | 0.1292 | 5100 | 0.1181 | - | | 0.1317 | 5200 | 0.1221 | - | | 0.1343 | 5300 | 0.1302 | - | | 0.1368 | 5400 | 0.1193 | - | | 0.1393 | 5500 | 0.1376 | - | | 0.1419 | 5600 | 0.1294 | - | | 0.1444 | 5700 | 0.1275 | - | | 0.1469 | 5800 | 0.1218 | - | | 0.1495 | 5900 | 0.1167 | - | | 0.1520 | 6000 | 0.1128 | 0.1202 | | 0.1545 | 6100 | 0.1179 | - | | 0.1571 | 6200 | 0.1262 | - | | 0.1596 | 6300 | 0.1143 | - | | 0.1621 | 6400 | 0.0894 | - | | 0.1647 | 6500 | 0.113 | - | | 0.1672 | 6600 | 0.099 | - | | 0.1697 | 6700 | 0.1129 | - | | 0.1723 | 6800 | 0.1075 | - | | 0.1748 | 6900 | 0.1157 | - | | 0.1773 | 7000 | 0.1338 | 0.1208 | | 0.1799 | 7100 | 0.1033 | - | | 0.1824 | 7200 | 0.129 | - | | 0.1849 | 7300 | 0.0881 | - | | 0.1875 | 7400 | 0.1025 | - | | 0.1900 | 7500 | 0.0973 | - | | 0.1925 | 7600 | 0.0971 | - | | 0.1951 | 7700 | 0.1128 | - | | 0.1976 | 7800 | 0.1014 | - | | 0.2001 | 7900 | 0.1131 | - | | 0.2027 | 8000 | 0.1376 | 0.1188 | | 0.2052 | 8100 | 0.117 | - | | 0.2077 | 8200 | 0.0948 | - | | 0.2103 | 8300 | 0.1074 | - | | 0.2128 | 8400 | 0.0999 | - | | 0.2153 | 8500 | 0.0938 | - | | 0.2179 | 8600 | 0.1033 | - | | 0.2204 | 8700 | 0.0832 | - | | 0.2229 | 8800 | 0.0938 | - | | 0.2255 | 8900 | 0.0961 | - | | 0.2280 | 9000 | 0.1016 | 0.1128 | | 0.2305 | 9100 | 0.0937 | - | | 0.2331 | 9200 | 0.1142 | - | | 0.2356 | 9300 | 0.0921 | - | | 0.2381 | 9400 | 0.0937 | - | | 0.2407 | 9500 | 0.1168 | - | | 0.2432 | 9600 | 0.0965 | - | | 0.2457 | 9700 | 0.0789 | - | | 0.2483 | 9800 | 0.0931 | - | | 0.2508 | 9900 | 0.0936 | - | | 0.2533 | 10000 | 0.1013 | 0.1014 | | 0.2559 | 10100 | 0.1056 | - | | 0.2584 | 10200 | 0.0958 | - | | 0.2609 | 10300 | 0.0861 | - | | 0.2635 | 10400 | 0.0737 | - | | 0.2660 | 10500 | 0.0849 | - | | 0.2685 | 10600 | 0.0948 | - | | 0.2711 | 10700 | 0.0894 | - | | 0.2736 | 10800 | 0.0783 | - | | 0.2761 | 10900 | 0.0895 | - | | 0.2787 | 11000 | 0.0682 | 0.0825 | | 0.2812 | 11100 | 0.076 | - | | 0.2837 | 11200 | 0.0804 | - | | 0.2863 | 11300 | 0.0897 | - | | 0.2888 | 11400 | 0.0912 | - | | 0.2913 | 11500 | 0.1014 | - | | 0.2939 | 11600 | 0.089 | - | | 0.2964 | 11700 | 0.072 | - | | 0.2989 | 11800 | 0.079 | - | | 0.3015 | 11900 | 0.0803 | - | | 0.3040 | 12000 | 0.0837 | 0.0827 | | 0.3065 | 12100 | 0.0984 | - | | 0.3091 | 12200 | 0.09 | - | | 0.3116 | 12300 | 0.0925 | - | | 0.3141 | 12400 | 0.0893 | - | | 0.3167 | 12500 | 0.0893 | - | | 0.3192 | 12600 | 0.0754 | - | | 0.3217 | 12700 | 0.0917 | - | | 0.3243 | 12800 | 0.0812 | - | | 0.3268 | 12900 | 0.0715 | - | | 0.3293 | 13000 | 0.0903 | 0.0998 | | 0.3319 | 13100 | 0.0688 | - | | 0.3344 | 13200 | 0.076 | - | | 0.3369 | 13300 | 0.0949 | - | | 0.3395 | 13400 | 0.0787 | - | | 0.3420 | 13500 | 0.055 | - | | 0.3445 | 13600 | 0.0668 | - | | 0.3471 | 13700 | 0.0675 | - | | 0.3496 | 13800 | 0.0931 | - | | 0.3521 | 13900 | 0.0821 | - | | 0.3547 | 14000 | 0.087 | 0.1000 | | 0.3572 | 14100 | 0.0886 | - | | 0.3597 | 14200 | 0.0925 | - | | 0.3623 | 14300 | 0.0885 | - | | 0.3648 | 14400 | 0.0667 | - | | 0.3673 | 14500 | 0.066 | - | | 0.3699 | 14600 | 0.0861 | - | | 0.3724 | 14700 | 0.0774 | - | | 0.3749 | 14800 | 0.0625 | - | | 0.3775 | 14900 | 0.0822 | - | | 0.3800 | 15000 | 0.0714 | 0.0559 | | 0.3825 | 15100 | 0.0809 | - | | 0.3851 | 15200 | 0.069 | - | | 0.3876 | 15300 | 0.0675 | - | | 0.3901 | 15400 | 0.0786 | - | | 0.3927 | 15500 | 0.0838 | - | | 0.3952 | 15600 | 0.0669 | - | | 0.3977 | 15700 | 0.0741 | - | | 0.4003 | 15800 | 0.0619 | - | | 0.4028 | 15900 | 0.0897 | - | | 0.4053 | 16000 | 0.0742 | 0.0624 | | 0.4079 | 16100 | 0.0531 | - | | 0.4104 | 16200 | 0.0584 | - | | 0.4129 | 16300 | 0.0571 | - | | 0.4155 | 16400 | 0.0795 | - | | 0.4180 | 16500 | 0.0736 | - | | 0.4205 | 16600 | 0.0744 | - | | 0.4231 | 16700 | 0.0698 | - | | 0.4256 | 16800 | 0.0783 | - | | 0.4281 | 16900 | 0.0706 | - | | 0.4307 | 17000 | 0.0695 | 0.0611 | | 0.4332 | 17100 | 0.0681 | - | | 0.4357 | 17200 | 0.0622 | - | | 0.4383 | 17300 | 0.0785 | - | | 0.4408 | 17400 | 0.0535 | - | | 0.4433 | 17500 | 0.0868 | - | | 0.4459 | 17600 | 0.0642 | - | | 0.4484 | 17700 | 0.0646 | - | | 0.4509 | 17800 | 0.0735 | - | | 0.4535 | 17900 | 0.0783 | - | | 0.4560 | 18000 | 0.0639 | 0.0834 | | 0.4585 | 18100 | 0.0578 | - | | 0.4611 | 18200 | 0.0837 | - | | 0.4636 | 18300 | 0.0744 | - | | 0.4661 | 18400 | 0.061 | - | | 0.4687 | 18500 | 0.0727 | - | | 0.4712 | 18600 | 0.0566 | - | | 0.4737 | 18700 | 0.0643 | - | | 0.4763 | 18800 | 0.0874 | - | | 0.4788 | 18900 | 0.057 | - | | 0.4813 | 19000 | 0.0609 | 0.0639 | | 0.4839 | 19100 | 0.0532 | - | | 0.4864 | 19200 | 0.0667 | - | | 0.4889 | 19300 | 0.048 | - | | 0.4915 | 19400 | 0.0611 | - | | 0.4940 | 19500 | 0.062 | - | | 0.4965 | 19600 | 0.0763 | - | | 0.4991 | 19700 | 0.0753 | - | | 0.5016 | 19800 | 0.0668 | - | | 0.5041 | 19900 | 0.0646 | - | | 0.5066 | 20000 | 0.0667 | 0.0508 | | 0.5092 | 20100 | 0.0642 | - | | 0.5117 | 20200 | 0.0586 | - | | 0.5142 | 20300 | 0.048 | - | | 0.5168 | 20400 | 0.0737 | - | | 0.5193 | 20500 | 0.0544 | - | | 0.5218 | 20600 | 0.0656 | - | | 0.5244 | 20700 | 0.0559 | - | | 0.5269 | 20800 | 0.0506 | - | | 0.5294 | 20900 | 0.0602 | - | | 0.5320 | 21000 | 0.0538 | 0.0502 | | 0.5345 | 21100 | 0.0569 | - | | 0.5370 | 21200 | 0.0586 | - | | 0.5396 | 21300 | 0.0515 | - | | 0.5421 | 21400 | 0.0512 | - | | 0.5446 | 21500 | 0.0595 | - | | 0.5472 | 21600 | 0.0615 | - | | 0.5497 | 21700 | 0.0549 | - | | 0.5522 | 21800 | 0.0597 | - | | 0.5548 | 21900 | 0.055 | - | | 0.5573 | 22000 | 0.0617 | 0.0437 | | 0.5598 | 22100 | 0.0491 | - | | 0.5624 | 22200 | 0.0628 | - | | 0.5649 | 22300 | 0.0442 | - | | 0.5674 | 22400 | 0.065 | - | | 0.5700 | 22500 | 0.0577 | - | | 0.5725 | 22600 | 0.0673 | - | | 0.5750 | 22700 | 0.0467 | - | | 0.5776 | 22800 | 0.071 | - | | 0.5801 | 22900 | 0.0458 | - | | 0.5826 | 23000 | 0.0478 | 0.0393 | | 0.5852 | 23100 | 0.0496 | - | | 0.5877 | 23200 | 0.0445 | - | | 0.5902 | 23300 | 0.0498 | - | | 0.5928 | 23400 | 0.0397 | - | | 0.5953 | 23500 | 0.0529 | - | | 0.5978 | 23600 | 0.0502 | - | | 0.6004 | 23700 | 0.0667 | - | | 0.6029 | 23800 | 0.0608 | - | | 0.6054 | 23900 | 0.0505 | - | | 0.6080 | 24000 | 0.0473 | 0.0455 | | 0.6105 | 24100 | 0.0539 | - | | 0.6130 | 24200 | 0.0516 | - | | 0.6156 | 24300 | 0.0343 | - | | 0.6181 | 24400 | 0.0409 | - | | 0.6206 | 24500 | 0.0397 | - | | 0.6232 | 24600 | 0.0529 | - | | 0.6257 | 24700 | 0.0608 | - | | 0.6282 | 24800 | 0.054 | - | | 0.6308 | 24900 | 0.0432 | - | | 0.6333 | 25000 | 0.056 | 0.0470 | | 0.6358 | 25100 | 0.0526 | - | | 0.6384 | 25200 | 0.0278 | - | | 0.6409 | 25300 | 0.064 | - | | 0.6434 | 25400 | 0.0465 | - | | 0.6460 | 25500 | 0.0522 | - | | 0.6485 | 25600 | 0.0547 | - | | 0.6510 | 25700 | 0.0442 | - | | 0.6536 | 25800 | 0.0388 | - | | 0.6561 | 25900 | 0.0433 | - | | 0.6586 | 26000 | 0.0466 | 0.0448 | | 0.6612 | 26100 | 0.0411 | - | | 0.6637 | 26200 | 0.0473 | - | | 0.6662 | 26300 | 0.0524 | - | | 0.6688 | 26400 | 0.0502 | - | | 0.6713 | 26500 | 0.0499 | - | | 0.6738 | 26600 | 0.0405 | - | | 0.6764 | 26700 | 0.0369 | - | | 0.6789 | 26800 | 0.0403 | - | | 0.6814 | 26900 | 0.0456 | - | | 0.6840 | 27000 | 0.0347 | 0.0369 | | 0.6865 | 27100 | 0.0507 | - | | 0.6890 | 27200 | 0.041 | - | | 0.6916 | 27300 | 0.0572 | - | | 0.6941 | 27400 | 0.048 | - | | 0.6966 | 27500 | 0.0498 | - | | 0.6992 | 27600 | 0.0501 | - | | 0.7017 | 27700 | 0.0349 | - | | 0.7042 | 27800 | 0.0433 | - | | 0.7068 | 27900 | 0.0456 | - | | 0.7093 | 28000 | 0.049 | 0.0382 | | 0.7118 | 28100 | 0.0554 | - | | 0.7144 | 28200 | 0.0589 | - | | 0.7169 | 28300 | 0.0477 | - | | 0.7194 | 28400 | 0.0459 | - | | 0.7220 | 28500 | 0.0385 | - | | 0.7245 | 28600 | 0.0358 | - | | 0.7270 | 28700 | 0.0374 | - | | 0.7296 | 28800 | 0.0477 | - | | 0.7321 | 28900 | 0.0564 | - | | 0.7346 | 29000 | 0.0378 | 0.0421 | | 0.7372 | 29100 | 0.0352 | - | | 0.7397 | 29200 | 0.0439 | - | | 0.7422 | 29300 | 0.0447 | - | | 0.7448 | 29400 | 0.034 | - | | 0.7473 | 29500 | 0.0354 | - | | 0.7498 | 29600 | 0.0517 | - | | 0.7524 | 29700 | 0.0364 | - | | 0.7549 | 29800 | 0.0424 | - | | 0.7574 | 29900 | 0.0431 | - | | 0.7600 | 30000 | 0.0347 | 0.0479 | | 0.7625 | 30100 | 0.0432 | - | | 0.7650 | 30200 | 0.0512 | - | | 0.7676 | 30300 | 0.0436 | - | | 0.7701 | 30400 | 0.0453 | - | | 0.7726 | 30500 | 0.0432 | - | | 0.7752 | 30600 | 0.0519 | - | | 0.7777 | 30700 | 0.044 | - | | 0.7802 | 30800 | 0.0506 | - | | 0.7828 | 30900 | 0.0337 | - | | 0.7853 | 31000 | 0.0347 | 0.0478 | | 0.7878 | 31100 | 0.0449 | - | | 0.7904 | 31200 | 0.0524 | - | | 0.7929 | 31300 | 0.0409 | - | | 0.7954 | 31400 | 0.0397 | - | | 0.7980 | 31500 | 0.0429 | - | | 0.8005 | 31600 | 0.0487 | - | | 0.8030 | 31700 | 0.038 | - | | 0.8056 | 31800 | 0.0336 | - | | 0.8081 | 31900 | 0.0515 | - | | 0.8106 | 32000 | 0.0437 | 0.0320 | | 0.8132 | 32100 | 0.0283 | - | | 0.8157 | 32200 | 0.0398 | - | | 0.8182 | 32300 | 0.0387 | - | | 0.8208 | 32400 | 0.0452 | - | | 0.8233 | 32500 | 0.0348 | - | | 0.8258 | 32600 | 0.0422 | - | | 0.8284 | 32700 | 0.0386 | - | | 0.8309 | 32800 | 0.0345 | - | | 0.8334 | 32900 | 0.0443 | - | | 0.8360 | 33000 | 0.0312 | 0.0241 | | 0.8385 | 33100 | 0.0449 | - | | 0.8410 | 33200 | 0.0347 | - | | 0.8436 | 33300 | 0.0411 | - | | 0.8461 | 33400 | 0.0488 | - | | 0.8486 | 33500 | 0.0592 | - | | 0.8512 | 33600 | 0.0435 | - | | 0.8537 | 33700 | 0.0391 | - | | 0.8562 | 33800 | 0.033 | - | | 0.8588 | 33900 | 0.0387 | - | | 0.8613 | 34000 | 0.0361 | 0.0304 | | 0.8638 | 34100 | 0.0351 | - | | 0.8664 | 34200 | 0.035 | - | | 0.8689 | 34300 | 0.0348 | - | | 0.8714 | 34400 | 0.0375 | - | | 0.8740 | 34500 | 0.0404 | - | | 0.8765 | 34600 | 0.0305 | - | | 0.8790 | 34700 | 0.0319 | - | | 0.8816 | 34800 | 0.039 | - | | 0.8841 | 34900 | 0.0388 | - | | 0.8866 | 35000 | 0.0433 | 0.0244 | | 0.8892 | 35100 | 0.0358 | - | | 0.8917 | 35200 | 0.0525 | - | | 0.8942 | 35300 | 0.0408 | - | | 0.8968 | 35400 | 0.0373 | - | | 0.8993 | 35500 | 0.0278 | - | | 0.9018 | 35600 | 0.031 | - | | 0.9044 | 35700 | 0.0402 | - | | 0.9069 | 35800 | 0.0388 | - | | 0.9094 | 35900 | 0.0431 | - | | 0.9120 | 36000 | 0.0334 | 0.0255 | | 0.9145 | 36100 | 0.0301 | - | | 0.9170 | 36200 | 0.0396 | - | | 0.9196 | 36300 | 0.0468 | - | | 0.9221 | 36400 | 0.0513 | - | | 0.9246 | 36500 | 0.0256 | - | | 0.9272 | 36600 | 0.0219 | - | | 0.9297 | 36700 | 0.0329 | - | | 0.9322 | 36800 | 0.0451 | - | | 0.9348 | 36900 | 0.0272 | - | | 0.9373 | 37000 | 0.038 | 0.0210 | | 0.9398 | 37100 | 0.0332 | - | | 0.9424 | 37200 | 0.033 | - | | 0.9449 | 37300 | 0.0355 | - | | 0.9474 | 37400 | 0.0457 | - | | 0.9500 | 37500 | 0.0289 | - | | 0.9525 | 37600 | 0.0292 | - | | 0.9550 | 37700 | 0.0413 | - | | 0.9576 | 37800 | 0.03 | - | | 0.9601 | 37900 | 0.031 | - | | 0.9626 | 38000 | 0.0374 | 0.0176 | | 0.9652 | 38100 | 0.0413 | - | | 0.9677 | 38200 | 0.0378 | - | | 0.9702 | 38300 | 0.0323 | - | | 0.9728 | 38400 | 0.0307 | - | | 0.9753 | 38500 | 0.0291 | - | | 0.9778 | 38600 | 0.0284 | - | | 0.9804 | 38700 | 0.0384 | - | | 0.9829 | 38800 | 0.0273 | - | | 0.9854 | 38900 | 0.0287 | - | | 0.9880 | 39000 | 0.0315 | 0.0133 | | 0.9905 | 39100 | 0.0392 | - | | 0.9930 | 39200 | 0.0365 | - | | 0.9956 | 39300 | 0.0405 | - | | 0.9981 | 39400 | 0.0374 | - | | 1.0006 | 39500 | 0.0302 | - | | 1.0032 | 39600 | 0.0397 | - | | 1.0057 | 39700 | 0.0308 | - | | 1.0082 | 39800 | 0.0263 | - | | 1.0108 | 39900 | 0.0334 | - | | 1.0133 | 40000 | 0.0335 | 0.0171 | | 1.0158 | 40100 | 0.0258 | - | | 1.0184 | 40200 | 0.0288 | - | | 1.0209 | 40300 | 0.0403 | - | | 1.0234 | 40400 | 0.0395 | - | | 1.0260 | 40500 | 0.0347 | - | | 1.0285 | 40600 | 0.033 | - | | 1.0310 | 40700 | 0.0364 | - | | 1.0336 | 40800 | 0.0392 | - | | 1.0361 | 40900 | 0.0336 | - | | 1.0386 | 41000 | 0.033 | 0.0252 | | 1.0412 | 41100 | 0.0234 | - | | 1.0437 | 41200 | 0.035 | - | | 1.0462 | 41300 | 0.0323 | - | | 1.0488 | 41400 | 0.031 | - | | 1.0513 | 41500 | 0.0265 | - | | 1.0538 | 41600 | 0.032 | - | | 1.0564 | 41700 | 0.0409 | - | | 1.0589 | 41800 | 0.031 | - | | 1.0614 | 41900 | 0.0339 | - | | 1.0640 | 42000 | 0.0312 | 0.0267 | | 1.0665 | 42100 | 0.0331 | - | | 1.0690 | 42200 | 0.0398 | - | | 1.0716 | 42300 | 0.0229 | - | | 1.0741 | 42400 | 0.0428 | - | | 1.0766 | 42500 | 0.0343 | - | | 1.0792 | 42600 | 0.0215 | - | | 1.0817 | 42700 | 0.0213 | - | | 1.0842 | 42800 | 0.0264 | - | | 1.0868 | 42900 | 0.0277 | - | | 1.0893 | 43000 | 0.0301 | 0.0243 | | 1.0918 | 43100 | 0.0291 | - | | 1.0944 | 43200 | 0.0225 | - | | 1.0969 | 43300 | 0.0375 | - | | 1.0994 | 43400 | 0.0273 | - | | 1.1020 | 43500 | 0.0312 | - | | 1.1045 | 43600 | 0.026 | - | | 1.1070 | 43700 | 0.0308 | - | | 1.1096 | 43800 | 0.0212 | - | | 1.1121 | 43900 | 0.0352 | - | | 1.1146 | 44000 | 0.0274 | 0.0243 | | 1.1172 | 44100 | 0.0255 | - | | 1.1197 | 44200 | 0.0261 | - | | 1.1222 | 44300 | 0.0338 | - | | 1.1248 | 44400 | 0.0152 | - | | 1.1273 | 44500 | 0.028 | - | | 1.1298 | 44600 | 0.0252 | - | | 1.1324 | 44700 | 0.0284 | - | | 1.1349 | 44800 | 0.0253 | - | | 1.1374 | 44900 | 0.0287 | - | | 1.1400 | 45000 | 0.039 | 0.0347 | | 1.1425 | 45100 | 0.0245 | - | | 1.1450 | 45200 | 0.0243 | - | | 1.1476 | 45300 | 0.0266 | - | | 1.1501 | 45400 | 0.0253 | - | | 1.1526 | 45500 | 0.0247 | - | | 1.1552 | 45600 | 0.0295 | - | | 1.1577 | 45700 | 0.0291 | - | | 1.1602 | 45800 | 0.0329 | - | | 1.1628 | 45900 | 0.0201 | - | | 1.1653 | 46000 | 0.0174 | 0.0295 | | 1.1678 | 46100 | 0.0272 | - | | 1.1704 | 46200 | 0.0216 | - | | 1.1729 | 46300 | 0.0224 | - | | 1.1754 | 46400 | 0.0219 | - | | 1.1780 | 46500 | 0.0338 | - | | 1.1805 | 46600 | 0.027 | - | | 1.1830 | 46700 | 0.0218 | - | | 1.1856 | 46800 | 0.0186 | - | | 1.1881 | 46900 | 0.0176 | - | | 1.1906 | 47000 | 0.0172 | 0.0242 | | 1.1932 | 47100 | 0.016 | - | | 1.1957 | 47200 | 0.02 | - | | 1.1982 | 47300 | 0.0243 | - | | 1.2008 | 47400 | 0.0228 | - | | 1.2033 | 47500 | 0.0256 | - | | 1.2058 | 47600 | 0.0247 | - | | 1.2084 | 47700 | 0.0206 | - | | 1.2109 | 47800 | 0.0248 | - | | 1.2134 | 47900 | 0.019 | - | | 1.2160 | 48000 | 0.0175 | 0.0254 | | 1.2185 | 48100 | 0.02 | - | | 1.2210 | 48200 | 0.0113 | - | | 1.2236 | 48300 | 0.0189 | - | | 1.2261 | 48400 | 0.0245 | - | | 1.2286 | 48500 | 0.0256 | - | | 1.2312 | 48600 | 0.0157 | - | | 1.2337 | 48700 | 0.0208 | - | | 1.2362 | 48800 | 0.0225 | - | | 1.2388 | 48900 | 0.0203 | - | | 1.2413 | 49000 | 0.0204 | 0.0152 | | 1.2438 | 49100 | 0.0134 | - | | 1.2464 | 49200 | 0.0096 | - | | 1.2489 | 49300 | 0.0212 | - | | 1.2514 | 49400 | 0.0173 | - | | 1.2540 | 49500 | 0.0161 | - | | 1.2565 | 49600 | 0.0249 | - | | 1.2590 | 49700 | 0.013 | - | | 1.2616 | 49800 | 0.0128 | - | | 1.2641 | 49900 | 0.0141 | - | | 1.2666 | 50000 | 0.0153 | 0.0139 | | 1.2692 | 50100 | 0.016 | - | | 1.2717 | 50200 | 0.0146 | - | | 1.2742 | 50300 | 0.0137 | - | | 1.2768 | 50400 | 0.0108 | - | | 1.2793 | 50500 | 0.0102 | - | | 1.2818 | 50600 | 0.0105 | - | | 1.2844 | 50700 | 0.0118 | - | | 1.2869 | 50800 | 0.0166 | - | | 1.2894 | 50900 | 0.018 | - | | 1.2920 | 51000 | 0.0109 | 0.0162 | | 1.2945 | 51100 | 0.0103 | - | | 1.2970 | 51200 | 0.0093 | - | | 1.2996 | 51300 | 0.0168 | - | | 1.3021 | 51400 | 0.0136 | - | | 1.3046 | 51500 | 0.0138 | - | | 1.3072 | 51600 | 0.0159 | - | | 1.3097 | 51700 | 0.013 | - | | 1.3122 | 51800 | 0.0207 | - | | 1.3148 | 51900 | 0.0159 | - | | 1.3173 | 52000 | 0.0125 | 0.0128 | | 1.3198 | 52100 | 0.0113 | - | | 1.3224 | 52200 | 0.0156 | - | | 1.3249 | 52300 | 0.013 | - | | 1.3274 | 52400 | 0.0061 | - | | 1.3300 | 52500 | 0.0104 | - | | 1.3325 | 52600 | 0.0094 | - | | 1.3350 | 52700 | 0.0149 | - | | 1.3376 | 52800 | 0.0144 | - | | 1.3401 | 52900 | 0.0122 | - | | 1.3426 | 53000 | 0.0055 | 0.0181 | | 1.3452 | 53100 | 0.008 | - | | 1.3477 | 53200 | 0.0111 | - | | 1.3502 | 53300 | 0.014 | - | | 1.3528 | 53400 | 0.0164 | - | | 1.3553 | 53500 | 0.019 | - | | 1.3578 | 53600 | 0.0183 | - | | 1.3604 | 53700 | 0.0113 | - | | 1.3629 | 53800 | 0.013 | - | | 1.3654 | 53900 | 0.0091 | - | | 1.3680 | 54000 | 0.0091 | 0.0171 | | 1.3705 | 54100 | 0.0101 | - | | 1.3730 | 54200 | 0.0098 | - | | 1.3756 | 54300 | 0.0107 | - | | 1.3781 | 54400 | 0.0142 | - | | 1.3806 | 54500 | 0.0136 | - | | 1.3832 | 54600 | 0.0138 | - | | 1.3857 | 54700 | 0.0124 | - | | 1.3882 | 54800 | 0.0138 | - | | 1.3908 | 54900 | 0.0153 | - | | 1.3933 | 55000 | 0.0118 | 0.0185 | | 1.3958 | 55100 | 0.0133 | - | | 1.3984 | 55200 | 0.0109 | - | | 1.4009 | 55300 | 0.0103 | - | | 1.4034 | 55400 | 0.012 | - | | 1.4060 | 55500 | 0.0089 | - | | 1.4085 | 55600 | 0.011 | - | | 1.4110 | 55700 | 0.0077 | - | | 1.4136 | 55800 | 0.0141 | - | | 1.4161 | 55900 | 0.0074 | - | | 1.4186 | 56000 | 0.0134 | 0.0230 | | 1.4212 | 56100 | 0.0092 | - | | 1.4237 | 56200 | 0.011 | - | | 1.4262 | 56300 | 0.0118 | - | | 1.4288 | 56400 | 0.0103 | - | | 1.4313 | 56500 | 0.0139 | - | | 1.4338 | 56600 | 0.0126 | - | | 1.4364 | 56700 | 0.0101 | - | | 1.4389 | 56800 | 0.0143 | - | | 1.4414 | 56900 | 0.0171 | - | | 1.4440 | 57000 | 0.0108 | 0.0180 | | 1.4465 | 57100 | 0.0113 | - | | 1.4490 | 57200 | 0.0097 | - | | 1.4516 | 57300 | 0.0105 | - | | 1.4541 | 57400 | 0.0114 | - | | 1.4566 | 57500 | 0.0081 | - | | 1.4592 | 57600 | 0.0166 | - | | 1.4617 | 57700 | 0.0119 | - | | 1.4642 | 57800 | 0.0082 | - | | 1.4668 | 57900 | 0.0138 | - | | 1.4693 | 58000 | 0.0099 | 0.0225 | | 1.4718 | 58100 | 0.0098 | - | | 1.4744 | 58200 | 0.0088 | - | | 1.4769 | 58300 | 0.0164 | - | | 1.4794 | 58400 | 0.0083 | - | | 1.4820 | 58500 | 0.0088 | - | | 1.4845 | 58600 | 0.0066 | - | | 1.4870 | 58700 | 0.0093 | - | | 1.4896 | 58800 | 0.0067 | - | | 1.4921 | 58900 | 0.0111 | - | | 1.4946 | 59000 | 0.0103 | 0.0285 | | 1.4972 | 59100 | 0.0084 | - | | 1.4997 | 59200 | 0.0111 | - | | 1.5022 | 59300 | 0.0055 | - | | 1.5047 | 59400 | 0.0133 | - | | 1.5073 | 59500 | 0.0076 | - | | 1.5098 | 59600 | 0.0103 | - | | 1.5123 | 59700 | 0.01 | - | | 1.5149 | 59800 | 0.015 | - | | 1.5174 | 59900 | 0.0093 | - | | 1.5199 | 60000 | 0.01 | 0.0194 | | 1.5225 | 60100 | 0.0062 | - | | 1.5250 | 60200 | 0.0129 | - | | 1.5275 | 60300 | 0.0076 | - | | 1.5301 | 60400 | 0.0075 | - | | 1.5326 | 60500 | 0.0063 | - | | 1.5351 | 60600 | 0.009 | - | | 1.5377 | 60700 | 0.0055 | - | | 1.5402 | 60800 | 0.0061 | - | | 1.5427 | 60900 | 0.0068 | - | | 1.5453 | 61000 | 0.0081 | 0.0178 | | 1.5478 | 61100 | 0.008 | - | | 1.5503 | 61200 | 0.0077 | - | | 1.5529 | 61300 | 0.0077 | - | | 1.5554 | 61400 | 0.0088 | - | | 1.5579 | 61500 | 0.0058 | - | | 1.5605 | 61600 | 0.0109 | - | | 1.5630 | 61700 | 0.0091 | - | | 1.5655 | 61800 | 0.0065 | - | | 1.5681 | 61900 | 0.0128 | - | | 1.5706 | 62000 | 0.0114 | 0.0140 | | 1.5731 | 62100 | 0.0113 | - | | 1.5757 | 62200 | 0.0058 | - | | 1.5782 | 62300 | 0.0082 | - | | 1.5807 | 62400 | 0.0054 | - | | 1.5833 | 62500 | 0.0086 | - | | 1.5858 | 62600 | 0.0048 | - | | 1.5883 | 62700 | 0.0073 | - | | 1.5909 | 62800 | 0.0104 | - | | 1.5934 | 62900 | 0.0052 | - | | 1.5959 | 63000 | 0.0093 | 0.0188 | | 1.5985 | 63100 | 0.0086 | - | | 1.6010 | 63200 | 0.008 | - | | 1.6035 | 63300 | 0.0078 | - | | 1.6061 | 63400 | 0.0044 | - | | 1.6086 | 63500 | 0.0075 | - | | 1.6111 | 63600 | 0.0103 | - | | 1.6137 | 63700 | 0.0107 | - | | 1.6162 | 63800 | 0.0043 | - | | 1.6187 | 63900 | 0.006 | - | | 1.6213 | 64000 | 0.0086 | 0.0187 | | 1.6238 | 64100 | 0.007 | - | | 1.6263 | 64200 | 0.0107 | - | | 1.6289 | 64300 | 0.0055 | - | | 1.6314 | 64400 | 0.004 | - | | 1.6339 | 64500 | 0.0074 | - | | 1.6365 | 64600 | 0.0057 | - | | 1.6390 | 64700 | 0.0076 | - | | 1.6415 | 64800 | 0.0082 | - | | 1.6441 | 64900 | 0.0038 | - | | 1.6466 | 65000 | 0.006 | 0.0210 | | 1.6491 | 65100 | 0.0058 | - | | 1.6517 | 65200 | 0.005 | - | | 1.6542 | 65300 | 0.0043 | - | | 1.6567 | 65400 | 0.0054 | - | | 1.6593 | 65500 | 0.0059 | - | | 1.6618 | 65600 | 0.0073 | - | | 1.6643 | 65700 | 0.0102 | - | | 1.6669 | 65800 | 0.0061 | - | | 1.6694 | 65900 | 0.0057 | - | | 1.6719 | 66000 | 0.0069 | 0.0150 | | 1.6745 | 66100 | 0.004 | - | | 1.6770 | 66200 | 0.0047 | - | | 1.6795 | 66300 | 0.0043 | - | | 1.6821 | 66400 | 0.003 | - | | 1.6846 | 66500 | 0.0052 | - | | 1.6871 | 66600 | 0.0068 | - | | 1.6897 | 66700 | 0.0041 | - | | 1.6922 | 66800 | 0.0108 | - | | 1.6947 | 66900 | 0.0058 | - | | 1.6973 | 67000 | 0.0097 | 0.0131 | | 1.6998 | 67100 | 0.0075 | - | | 1.7023 | 67200 | 0.0055 | - | | 1.7049 | 67300 | 0.0044 | - | | 1.7074 | 67400 | 0.0065 | - | | 1.7099 | 67500 | 0.0051 | - | | 1.7125 | 67600 | 0.0089 | - | | 1.7150 | 67700 | 0.0078 | - | | 1.7175 | 67800 | 0.0053 | - | | 1.7201 | 67900 | 0.0053 | - | | 1.7226 | 68000 | 0.0077 | 0.0176 | | 1.7251 | 68100 | 0.0033 | - | | 1.7277 | 68200 | 0.0041 | - | | 1.7302 | 68300 | 0.0061 | - | | 1.7327 | 68400 | 0.0086 | - | | 1.7353 | 68500 | 0.0073 | - | | 1.7378 | 68600 | 0.0056 | - | | 1.7403 | 68700 | 0.0074 | - | | 1.7429 | 68800 | 0.0028 | - | | 1.7454 | 68900 | 0.0056 | - | | 1.7479 | 69000 | 0.0048 | 0.0148 | | 1.7505 | 69100 | 0.0053 | - | | 1.7530 | 69200 | 0.0057 | - | | 1.7555 | 69300 | 0.0036 | - | | 1.7581 | 69400 | 0.0053 | - | | 1.7606 | 69500 | 0.0049 | - | | 1.7631 | 69600 | 0.0051 | - | | 1.7657 | 69700 | 0.0056 | - | | 1.7682 | 69800 | 0.0042 | - | | 1.7707 | 69900 | 0.0051 | - | | 1.7733 | 70000 | 0.0036 | 0.0215 | | 1.7758 | 70100 | 0.0089 | - | | 1.7783 | 70200 | 0.0072 | - | | 1.7809 | 70300 | 0.0042 | - | | 1.7834 | 70400 | 0.004 | - | | 1.7859 | 70500 | 0.0077 | - | | 1.7885 | 70600 | 0.0074 | - | | 1.7910 | 70700 | 0.0081 | - | | 1.7935 | 70800 | 0.0044 | - | | 1.7961 | 70900 | 0.0042 | - | | 1.7986 | 71000 | 0.0055 | 0.0155 | | 1.8011 | 71100 | 0.0066 | - | | 1.8037 | 71200 | 0.006 | - | | 1.8062 | 71300 | 0.0049 | - | | 1.8087 | 71400 | 0.0061 | - | | 1.8113 | 71500 | 0.006 | - | | 1.8138 | 71600 | 0.0044 | - | | 1.8163 | 71700 | 0.0031 | - | | 1.8189 | 71800 | 0.0051 | - | | 1.8214 | 71900 | 0.0068 | - | | 1.8239 | 72000 | 0.0042 | 0.0185 | | 1.8265 | 72100 | 0.0049 | - | | 1.8290 | 72200 | 0.0076 | - | | 1.8315 | 72300 | 0.0056 | - | | 1.8341 | 72400 | 0.006 | - | | 1.8366 | 72500 | 0.0042 | - | | 1.8391 | 72600 | 0.0069 | - | | 1.8417 | 72700 | 0.0058 | - | | 1.8442 | 72800 | 0.0085 | - | | 1.8467 | 72900 | 0.0109 | - | | 1.8493 | 73000 | 0.0076 | 0.0204 | | 1.8518 | 73100 | 0.0035 | - | | 1.8543 | 73200 | 0.003 | - | | 1.8569 | 73300 | 0.0052 | - | | 1.8594 | 73400 | 0.0067 | - | | 1.8619 | 73500 | 0.0035 | - | | 1.8645 | 73600 | 0.0022 | - | | 1.8670 | 73700 | 0.0056 | - | | 1.8695 | 73800 | 0.0037 | - | | 1.8721 | 73900 | 0.0044 | - | | 1.8746 | 74000 | 0.0078 | 0.0160 | | 1.8771 | 74100 | 0.0026 | - | | 1.8797 | 74200 | 0.0056 | - | | 1.8822 | 74300 | 0.0035 | - | | 1.8847 | 74400 | 0.0058 | - | | 1.8873 | 74500 | 0.0046 | - | | 1.8898 | 74600 | 0.007 | - | | 1.8923 | 74700 | 0.0054 | - | | 1.8949 | 74800 | 0.0076 | - | | 1.8974 | 74900 | 0.0045 | - | | 1.8999 | 75000 | 0.0061 | 0.0150 | | 1.9025 | 75100 | 0.005 | - | | 1.9050 | 75200 | 0.0045 | - | | 1.9075 | 75300 | 0.003 | - | | 1.9101 | 75400 | 0.0054 | - | | 1.9126 | 75500 | 0.0034 | - | | 1.9151 | 75600 | 0.0029 | - | | 1.9177 | 75700 | 0.0048 | - | | 1.9202 | 75800 | 0.007 | - | | 1.9227 | 75900 | 0.0069 | - | | 1.9253 | 76000 | 0.0023 | 0.0118 | | 1.9278 | 76100 | 0.0025 | - | | 1.9303 | 76200 | 0.005 | - | | 1.9329 | 76300 | 0.0064 | - | | 1.9354 | 76400 | 0.0021 | - | | 1.9379 | 76500 | 0.0048 | - | | 1.9405 | 76600 | 0.0032 | - | | 1.9430 | 76700 | 0.0034 | - | | 1.9455 | 76800 | 0.0074 | - | | 1.9481 | 76900 | 0.0075 | - | | 1.9506 | 77000 | 0.0051 | 0.0174 | | 1.9531 | 77100 | 0.0041 | - | | 1.9557 | 77200 | 0.0036 | - | | 1.9582 | 77300 | 0.004 | - | | 1.9607 | 77400 | 0.0054 | - | | 1.9633 | 77500 | 0.0034 | - | | 1.9658 | 77600 | 0.0042 | - | | 1.9683 | 77700 | 0.0051 | - | | 1.9709 | 77800 | 0.003 | - | | 1.9734 | 77900 | 0.0044 | - | | 1.9759 | 78000 | 0.0035 | 0.0152 | | 1.9785 | 78100 | 0.0029 | - | | 1.9810 | 78200 | 0.0032 | - | | 1.9835 | 78300 | 0.0023 | - | | 1.9861 | 78400 | 0.0032 | - | | 1.9886 | 78500 | 0.0044 | - | | 1.9911 | 78600 | 0.0066 | - | | 1.9937 | 78700 | 0.0054 | - | | 1.9962 | 78800 | 0.0083 | - | | 1.9987 | 78900 | 0.0038 | - | | 2.0013 | 79000 | 0.0045 | 0.0118 | | 2.0038 | 79100 | 0.0034 | - | | 2.0063 | 79200 | 0.0031 | - | | 2.0089 | 79300 | 0.0039 | - | | 2.0114 | 79400 | 0.0025 | - | | 2.0139 | 79500 | 0.0054 | - | | 2.0165 | 79600 | 0.0023 | - | | 2.0190 | 79700 | 0.0034 | - | | 2.0215 | 79800 | 0.007 | - | | 2.0241 | 79900 | 0.0025 | - | | 2.0266 | 80000 | 0.005 | 0.0136 | | 2.0291 | 80100 | 0.0027 | - | | 2.0317 | 80200 | 0.0032 | - | | 2.0342 | 80300 | 0.0045 | - | | 2.0367 | 80400 | 0.0038 | - | | 2.0393 | 80500 | 0.0026 | - | | 2.0418 | 80600 | 0.0038 | - | | 2.0443 | 80700 | 0.0032 | - | | 2.0469 | 80800 | 0.004 | - | | 2.0494 | 80900 | 0.0028 | - | | 2.0519 | 81000 | 0.0039 | 0.0120 | | 2.0545 | 81100 | 0.0056 | - | | 2.0570 | 81200 | 0.0045 | - | | 2.0595 | 81300 | 0.0027 | - | | 2.0621 | 81400 | 0.0024 | - | | 2.0646 | 81500 | 0.0053 | - | | 2.0671 | 81600 | 0.0034 | - | | 2.0697 | 81700 | 0.0044 | - | | 2.0722 | 81800 | 0.0048 | - | | 2.0747 | 81900 | 0.0062 | - | | 2.0773 | 82000 | 0.004 | 0.0149 | | 2.0798 | 82100 | 0.0021 | - | | 2.0823 | 82200 | 0.0036 | - | | 2.0849 | 82300 | 0.0024 | - | | 2.0874 | 82400 | 0.0041 | - | | 2.0899 | 82500 | 0.0023 | - | | 2.0925 | 82600 | 0.0021 | - | | 2.0950 | 82700 | 0.0035 | - | | 2.0975 | 82800 | 0.0046 | - | | 2.1001 | 82900 | 0.0028 | - | | 2.1026 | 83000 | 0.0027 | 0.0108 |
### Framework Versions - Python: 3.11.10 - Sentence Transformers: 3.3.1 - Transformers: 4.46.3 - PyTorch: 2.5.1+cu124 - Accelerate: 1.1.1 - Datasets: 3.1.0 - Tokenizers: 0.20.3 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MultipleNegativesRankingLoss ```bibtex @misc{henderson2017efficient, title={Efficient Natural Language Response Suggestion for Smart Reply}, author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, year={2017}, eprint={1705.00652}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```