|
|
--- |
|
|
tags: |
|
|
- sentence-transformers |
|
|
- sentence-similarity |
|
|
- feature-extraction |
|
|
- generated_from_trainer |
|
|
- loss:ContrastiveLoss |
|
|
base_model: ai-forever/ruBert-base |
|
|
widget: |
|
|
- source_sentence: 'Шатов вдруг прокричал кратким и отчаянным криком; но ему кричать |
|
|
не дали: Петр Степанович аккуратно и твердо наставил ему револьвер прямо в лоб, |
|
|
крепко в упор и – спустил курок. Выстрел, кажется, был не очень громок, по крайней |
|
|
мере в Скворешниках ничего не слыхали. Слышал, разумеется, Шигалев, вряд ли успевший |
|
|
отойти шагов триста, – слышал и крик и выстрел, но, по его собственному потом |
|
|
свидетельству, не повернулся и даже не остановился. Смерть произошла почти мгновенно. |
|
|
Полную распорядительность – не думаю, чтоб и хладнокровие, – сохранил в себе один |
|
|
только Петр Степанович. Присев на корточки, он поспешно, но твердою рукой обыскал |
|
|
в карманах убитого. Денег не оказалось (портмоне остался под подушкой у Марьи |
|
|
Игнатьевны). Нашлись две-три бумажки, пустые: одна конторская записка, заглавие |
|
|
какой-то книги и один старый заграничный трактирный счет, бог знает почему уцелевший |
|
|
два года в его кармане. Бумажки Петр Степанович переложил в свой карман и, заметив |
|
|
вдруг, что все столпились, смотрят на труп и ничего не делают, начал злостно и |
|
|
невежливо браниться и понукать. Толкаченко и Эркель, опомнившись, побежали и мигом |
|
|
принесли из грота еще с утра запасенные ими там два камня, каждый фунтов по двадцати |
|
|
весу, уже приготовленные, то есть крепко и прочно обвязанные веревками.' |
|
|
sentences: |
|
|
- Черт таким же порядком отправился вслед за нею. Но так как это животное проворнее |
|
|
всякого франта в чулках, то не мудрено, что он наехал при самом входе в трубу |
|
|
на шею своей любовницы, и оба очутились в просторной печке между горшками. Путешественница |
|
|
отодвинула потихоньку заслонку, поглядеть, не назвал ли сын ее Вакула в хату гостей, |
|
|
но, увидевши, что никого не было, выключая только мешки, которые лежали посреди |
|
|
хаты, вылезла из печки, скинула теплый кожух, оправилась, и никто бы не мог узнать, |
|
|
что она за минуту назад ездила на метле. Мать кузнеца Вакулы имела от роду не |
|
|
больше сорока лет. Она была ни хороша, ни дурна собою. Трудно и быть хорошею в |
|
|
такие годы. Однако ж она так умела причаровать к себе самых степенных козаков |
|
|
(которым, не мешает, между прочим, заметить, мало было нужды до красоты), что |
|
|
к ней хаживал и голова, и дьяк Осип Никифорович (конечно, если дьячихи не было |
|
|
дома), и козак Корний Чуб, и козак Касьян Свербыгуз. И, к чести ее сказать, она |
|
|
умела искусно обходиться с ними. Ни одному из них и в ум не приходило, что у него |
|
|
есть соперник. |
|
|
- Поднимаясь в свою квартиру, он заметил, что Настасья, оторвавшись от самовара, |
|
|
пристально следит за ним и провожает его глазами. «Уж нет ли кого у меня?» – подумал |
|
|
он. Ему с отвращением померещился Порфирий. Но, дойдя до своей комнаты и отворив |
|
|
ее, он увидел Дунечку. Она сидела одна-одинешенька, в глубоком раздумье и, кажется, |
|
|
давно уже ждала его. Он остановился на пороге. Она привстала с дивана в испуге |
|
|
и выпрямилась пред ним. Ее взгляд, неподвижно устремленный на него, изображал |
|
|
ужас и неутолимую скорбь. |
|
|
- Девушки между тем, дружно взявшись за руки, полетели, как вихорь, с санками по |
|
|
скрыпучему снегу. Множество, шаля, садились на санки; другие взбирались на самого |
|
|
голову. Голова решился сносить все. Наконец приехали, отворили настежь двери в |
|
|
сенях и хате и с хохотом втащили мешок. — Посмотрим, что-то лежит тут, — закричали |
|
|
все, бросившись развязывать. Тут икотка, которая не переставала мучить голову |
|
|
во все время сидения его в мешке, так усилилась, что он начал икать и кашлять |
|
|
во все горло. — Ах, тут сидит кто-то! |
|
|
- source_sentence: И вот, Я подниму руку Мою на них, и они сделаются добычею рабов |
|
|
своих, и тогда узнаете, что Господь Саваоф послал Меня. Ликуй и веселись, дщерь |
|
|
Сиона! Ибо вот, Я приду и поселюсь посреди тебя, говорит Господь. И прибегнут |
|
|
к Господу многие народы в тот день, и будут Моим народом; и Я поселюсь посреди |
|
|
тебя, и узнаешь, что Господь Саваоф послал Меня к тебе. Тогда Господь возьмет |
|
|
во владениеИуду, Свой удел на святой земле, и снова изберет Иерусалим. Да молчит |
|
|
всякая плоть пред лицем Господа! Ибо Он поднимается от святаго жилища Своего. |
|
|
sentences: |
|
|
- 'Однако, она умела держать себя с таким тактом и достоинством, что никто не мог |
|
|
похвастать ни малейшей близостью с ней. Даже острые провинциальные языки не могли |
|
|
уязвить ее никакой сплетней. Я изнывал от своей любви. Больше всего меня мучила |
|
|
невозможность открыто в ней признаться. Я готов был на все на свете, чтобы только |
|
|
упасть на колени пред Еленой Григорьевной и сказать ей громко: "я вас люблю". |
|
|
Молодость немного похожа на опьянение. Ради того, чтобы полчаса побыть наедине |
|
|
с той, кого я любил, я решился на средство отчаянное. Зима была в тот год снежная. |
|
|
На святках, что ни день, то начинала крутиться метель. Я выбрал вечер, когда вьюга |
|
|
была особенно злая, приказал оседлать коня и выехал в поле. Не знаю, как я не |
|
|
погиб тогда. Везде в двух шагах словно стояла серая стена. На дороге снег был |
|
|
чуть не по колено. Двадцать раз я сбивался с пути. Двадцать раз моя лошадь отказывалась |
|
|
идти дальше. Со мной была фляжка коньяку, и только потому я не замерз. Десять |
|
|
верст я ехал чуть ли не три часа. Прямо каким-то чудом я добрался до усадьбы С. |
|
|
Было уже поздно и я едва достучался. Сторож, узнав меня, ахнул. Я был весь в снегу, |
|
|
заледеневший, словно ряженый. Конечно, у меня была готова история, чтобы объяснить |
|
|
свое появление.' |
|
|
- Несчастная любовь, долги, женитьба, творчество, конфликт с государством. Плюс, |
|
|
как говорил Достоевский, — оттенок высшего значения. Я думал, что в этих занятиях |
|
|
растворятся мои невзгоды. Так уже бывало раньше, в пору литературного становления. |
|
|
Вроде бы это называется — сублимация. Когда пытаешься возложить на литературу |
|
|
ответственность за свои грехи. Сочинил человек «Короля Лира» и может после этого |
|
|
год не вытаскивать шпагу... Вскоре отослал жене семьдесят рублей. Купил себе рубашку |
|
|
— поступок для меня беспрецедентный. Доходили слухи о каких-то публикациях на |
|
|
Западе. Я старался об этом не думать. Ведь мне безразлично, что делается на том |
|
|
свете. Прямо так и скажу, если вызовут... Кроме того, я отправил несколько долговых |
|
|
писем. |
|
|
- 'В одиннадцатом году, в первый день первого месяца, было ко мне слово Господне: |
|
|
сын человеческий! за то, что Тир говорит о Иерусалиме: „а! а! он сокрушен – врата |
|
|
народов; он обращается ко мне; наполнюсь; он опустошен", – за то, так говорит |
|
|
Господь Бог: вот, Я – на тебя, Тир, и подниму на тебя многие народы, как море |
|
|
поднимает волны свои. И разобьют стены Тира и разрушат башни его; и вымету из |
|
|
него прах его и сделаю его голою скалою. Местом для расстилания сетей будет он |
|
|
среди моря; ибо Я сказал это, говорит Господь Бог: и будет он на расхищение народам. |
|
|
А дочери его, которые на земле, убиты будут мечом,и узнают, что Я Господь. Ибо |
|
|
так говорит Господь Бог: вот, Я приведу против Тира от севераНавуходоносора, царя |
|
|
Вавилонского, царя царей, с конями и с колесницами, и со всадниками, и с войском, |
|
|
и с многочисленным народом.' |
|
|
- source_sentence: По лицу его дочки заметно было, что ей не слишком приятно тереться |
|
|
около возов с мукою и пшеницею. Ей бы хотелось туда, где под полотняными ятками |
|
|
нарядно развешаны красные ленты, серьги, оловянные, медные кресты и дукаты. |
|
|
sentences: |
|
|
- Надоело ходить в рваных чулках. Надоело радоваться говяжьим сарделькам... Что |
|
|
тебя удерживает? Эрмитаж, Нева, березы? — Березы меня совершенно не волнуют. — |
|
|
Так что же? — Язык. На чужом языке мы теряем восемьдесят процентов своей личности. |
|
|
Мы утрачиваем способность шутить, иронизировать. Одно это меня в ужас приводит. |
|
|
— А мне вот не до шуток. Подумай о Маше. Представь себе, что ее ожидает. — Ты |
|
|
все ужасно преувеличиваешь. Миллионы людей живут, работают и абсолютно счастливы. |
|
|
- Она сидела в широком кресле, в ночном капоте, перед своим столом, задумавшись, |
|
|
вспоминая. Она не слыхала, как я вошел. Несколько минут я стоял в полутьме, не |
|
|
смея сделать ни шага вперед. Вдруг, почувствовав мое присутствие или заслышав |
|
|
какой-нибудь шум, Елена Григорьевна обернулась. Она увидела меня и задрожала. |
|
|
Моя проделка удалась лучше, чем я мог ожидать. Она приняла меня за своего покойного |
|
|
мужа. Со слабым криком, привстав с кресла, она протянула ко мне руки. |
|
|
- В молодости своей он был капитан и крикун, употреблялся и по штатским делам, мастер |
|
|
был хорошо высечь, был и расторопен, и щеголь, и глуп; но в старости своей он |
|
|
слил в себе все эти резкие особенности в какую-то тусклую неопределенность. Он |
|
|
был уже вдов, был уже в отставке, уже не щеголял, не хвастал, не задирался, любил |
|
|
только пить чай и болтать за ним всякий вздор; ходил по комнате, поправлял сальный |
|
|
огарок; аккуратно по истечении каждого месяца наведывался к своим жильцам за деньгами; |
|
|
выходил на улицу с ключом в руке, для того чтобы посмотреть на крышу своего дома; |
|
|
выгонял несколько раз дворника из его конуры, куда он запрятывался спать; одним |
|
|
словом, человек в отставке, которому после всей забубенной жизни и тряски на перекладных |
|
|
остаются одни пошлые привычки. -- Извольте сами глядеть, Варух Кузьмич, -- сказал |
|
|
хозяин, обращаясь к квартальному и расставив руки, -- вот не платит за квартиру, |
|
|
не платит. -- Что ж, если нет денег? |
|
|
- source_sentence: Дай бог, чтобы их стало еще меньше... Тебе не платят — вот что |
|
|
скверно. Деньги — это свобода, пространство, капризы... Имея деньги, так легко |
|
|
переносить нищету... Учись зарабатывать их, не лицемеря. Иди работать грузчиком, |
|
|
пиши ночами. Мандельштам говорил, люди сохранят все, что им нужно. Вот и пиши... |
|
|
У тебя есть к этому способности — могло и не быть. |
|
|
sentences: |
|
|
- 'Все миски, из которых диканьские козаки хлебали борщ, были размалеваны кузнецом. |
|
|
Кузнец был богобоязливый человек и писал часто образа святых: и теперь еще можно |
|
|
найти в Т... церкви его евангелиста Луку.' |
|
|
- 'В коридоре было уже почти совсем темно: «Что, если он вдруг теперь выйдет из |
|
|
того угла и остановит меня у лестницы?» – мелькнуло ему, когда он подходил к знакомому |
|
|
месту. Но никто не вышел.' |
|
|
- Тотчас же из-за отдаленного пакгауза выбежали двое. Один — в распахнутом драповом |
|
|
пальто. Другой — изящный, маленький, в плаще. Они бежали рядом, задыхаясь, перегоняя |
|
|
друг друга. Бегущие приблизились. Красноперов узнал Дебоширина и Трюмо. — Черт |
|
|
возьми, — прокричал Дебоширин, — едва не опоздали! — Я кепи уронил, — сказал Трюмо, |
|
|
— но это пустяки. Надеюсь, его поднимет хороший человек. — Друзья мои! — начал |
|
|
Красноперов. Волнение мешало ему говорить. Прощание было недолгим. Трюмо подарил |
|
|
Красноперову ржавый гвоздь. — Это необычный гвоздь, — сказал Трюмо, — это — личная |
|
|
вещь Бунина. Этим гвоздем Бунин нацарапал слово «жопа» под окнами Мережковского. |
|
|
Бунина рассердило, что Дмитрий Константинович прославляет Муссолини. Дебоширин |
|
|
тоже сделал Красноперову подарок. Вручил ему последний номер газеты «Известия». |
|
|
Там была помещена заметка Дебоширина о росте в мире капитала цен на яхты. У Красноперова |
|
|
сжалось горло. Он взбежал по трапу и махнул рукой. Затем, нагнувшись, исчез в |
|
|
дверях салона. — Кланяйтесь русским березам, — выкрикнул Дебоширин, — помните, |
|
|
у Есенина?.. |
|
|
- source_sentence: 'В общем — ничего хорошего... Читаю газету. Вдруг поднялся мужчина |
|
|
средних лет. Американец. Худой такой. И ниже меня ростом. Подошел к хулиганам |
|
|
и говорит: — Заткнитесь! И затем: — Вон отсюда. Чувствовалось, если надо, он может |
|
|
кого-то и по затылку треснуть. И молодые люди заткнулись.' |
|
|
sentences: |
|
|
- Ты у меня еще дров попросишь... Я в лесничестве работаю — дружбист! — Кто? — не |
|
|
понял я. — Бензопила у меня... «Дружба»... Хуяк — и червонец в кармане. — Дружбист, |
|
|
— ворчала тетка, — с винищем дружишь... До смерти не опейся... — Трудно, — как |
|
|
будто даже посетовал Михал Иваныч. |
|
|
- 'И свояченица, всхлипывая, рассказала, как схватили ее хлопцы в охапку на улице |
|
|
и, несмотря на сопротивление, опустили в широкое окно хаты и заколотили ставнем. |
|
|
Писарь взглянул: петли у широкого ставня оторваны, и он приколочен только сверху |
|
|
деревянным брусом. – Добро ты, одноглазый сатана! – вскричала она, приступив к |
|
|
голове, который попятился назад и все еще продолжал ее мерять своим глазом. – |
|
|
Я знаю твой умысел: ты хотел, ты рад был случаю спечь меня, чтобы свободнее было |
|
|
волочиться за дивчатами, чтобы некому было видеть, как дурачится седой дед. Ты |
|
|
думаешь, я не знаю, о чем говорил ты сего вечера с Ганною? О! я знаю все. Меня |
|
|
трудно провесть и не твоей бестолковой башке. Я долго терплю, но после не прогневайся… Сказавши |
|
|
это, она показала кулак и быстро ушла, оставив в остолбенении голову. «Нет, тут |
|
|
не на шутку сатана вмешался», – думал он, сильно почесывая свою макушку. – Поймали! |
|
|
– вскрикнули вошедшие в это время десятские. – Кого поймали? – спросил голова. |
|
|
– Дьявола в вывороченном тулупе. – Подавайте его! – закричал голова, схватив за |
|
|
руки приведенного пленника. – Вы с ума сошли: да это пьяный Каленик! – Что за |
|
|
пропасть! в руках наших был, пан голова! – отвечали десятские. – В переулке окружили |
|
|
проклятые хлопцы, стали танцевать, дергать, высовывать языки, вырывать из рук… |
|
|
черт с вами!.. И как мы попали на эту ворону вместо его, бог один знает! – Властью |
|
|
моей и всех мирян дается повеление, – сказал голова, – изловить сей же миг сего |
|
|
разбойника: а оным образом и всех, кого найдете на улице, и привесть на расправу |
|
|
но мне!. – Помилуй, пан голова! – закричали некоторые, кланяясь в ноги. – Увидел |
|
|
бы ты, какие хари: убей бог нас, и родились и крестились – не видали таких мерзких |
|
|
рож. Долго ли до греха, пан голова, перепугают доброго человека так, что после |
|
|
ни одна баба не возьмется вылить переполоху.' |
|
|
- — А зачем мне пальма? — Начнем с аквариума. — Всю жизнь мечтал иметь парочку дрессированных |
|
|
золотых рыбок... — А пальма? — Пальму можно рисовать с натуры. Держать ее на балконе. |
|
|
— Спрашивается, где у нас балкон? — Так ведь и пальмы еще нет... — Господи, о |
|
|
чем я спрашиваю? О чем мы вообще говорим?! — Действительно, о чем нам говорить?! |
|
|
Тем более, когда все решено. Я посмотрел на окна. |
|
|
pipeline_tag: sentence-similarity |
|
|
library_name: sentence-transformers |
|
|
metrics: |
|
|
- cosine_accuracy |
|
|
model-index: |
|
|
- name: SentenceTransformer based on ai-forever/ruBert-base |
|
|
results: |
|
|
- task: |
|
|
type: triplet |
|
|
name: Triplet |
|
|
dataset: |
|
|
name: Unknown |
|
|
type: unknown |
|
|
metrics: |
|
|
- type: cosine_accuracy |
|
|
value: 0.9506604506604507 |
|
|
name: Cosine Accuracy |
|
|
--- |
|
|
|
|
|
# SentenceTransformer based on ai-forever/ruBert-base |
|
|
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [ai-forever/ruBert-base](https://huggingface.co/ai-forever/ruBert-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. |
|
|
|
|
|
## Model Details |
|
|
|
|
|
### Model Description |
|
|
- **Model Type:** Sentence Transformer |
|
|
- **Base model:** [ai-forever/ruBert-base](https://huggingface.co/ai-forever/ruBert-base) <!-- at revision 05f37a2ca9e333fd18f30cd0c96c68d274793c69 --> |
|
|
- **Maximum Sequence Length:** 512 tokens |
|
|
- **Output Dimensionality:** 768 dimensions |
|
|
- **Similarity Function:** Cosine Similarity |
|
|
<!-- - **Training Dataset:** Unknown --> |
|
|
<!-- - **Language:** Unknown --> |
|
|
<!-- - **License:** Unknown --> |
|
|
|
|
|
### Model Sources |
|
|
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
|
|
### Full Model Architecture |
|
|
|
|
|
``` |
|
|
SentenceTransformer( |
|
|
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel |
|
|
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
|
) |
|
|
``` |
|
|
|
|
|
## Usage |
|
|
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
|
|
First install the Sentence Transformers library: |
|
|
|
|
|
```bash |
|
|
pip install -U sentence-transformers |
|
|
``` |
|
|
|
|
|
Then you can load this model and run inference. |
|
|
```python |
|
|
from sentence_transformers import SentenceTransformer |
|
|
|
|
|
# Download from the 🤗 Hub |
|
|
model = SentenceTransformer("abragin/ruBert-style-base") |
|
|
# Run inference |
|
|
sentences = [ |
|
|
'В общем — ничего хорошего... Читаю газету. Вдруг поднялся мужчина средних лет. Американец. Худой такой. И ниже меня ростом. Подошел к хулиганам и говорит: — Заткнитесь! И затем: — Вон отсюда. Чувствовалось, если надо, он может кого-то и по затылку треснуть. И молодые люди заткнулись.', |
|
|
'— А зачем мне пальма? — Начнем с аквариума. — Всю жизнь мечтал иметь парочку дрессированных золотых рыбок... — А пальма? — Пальму можно рисовать с натуры. Держать ее на балконе. — Спрашивается, где у нас балкон? — Так ведь и пальмы еще нет... — Господи, о чем я спрашиваю? О чем мы вообще говорим?! — Действительно, о чем нам говорить?! Тем более, когда все решено. Я посмотрел на окна.', |
|
|
'И свояченица, всхлипывая, рассказала, как схватили ее хлопцы в охапку на улице и, несмотря на сопротивление, опустили в широкое окно хаты и заколотили ставнем. Писарь взглянул: петли у широкого ставня оторваны, и он приколочен только сверху деревянным брусом. – Добро ты, одноглазый сатана! – вскричала она, приступив к голове, который попятился назад и все еще продолжал ее мерять своим глазом. – Я знаю твой умысел: ты хотел, ты рад был случаю спечь меня, чтобы свободнее было волочиться за дивчатами, чтобы некому было видеть, как дурачится седой дед. Ты думаешь, я не знаю, о чем говорил ты сего вечера с Ганною? О! я знаю все. Меня трудно провесть и не твоей бестолковой башке. Я долго терплю, но после не прогневайся… Сказавши это, она показала кулак и быстро ушла, оставив в остолбенении голову. «Нет, тут не на шутку сатана вмешался», – думал он, сильно почесывая свою макушку. – Поймали! – вскрикнули вошедшие в это время десятские. – Кого поймали? – спросил голова. – Дьявола в вывороченном тулупе. – Подавайте его! – закричал голова, схватив за руки приведенного пленника. – Вы с ума сошли: да это пьяный Каленик! – Что за пропасть! в руках наших был, пан голова! – отвечали десятские. – В переулке окружили проклятые хлопцы, стали танцевать, дергать, высовывать языки, вырывать из рук… черт с вами!.. И как мы попали на эту ворону вместо его, бог один знает! – Властью моей и всех мирян дается повеление, – сказал голова, – изловить сей же миг сего разбойника: а оным образом и всех, кого найдете на улице, и привесть на расправу но мне!. – Помилуй, пан голова! – закричали некоторые, кланяясь в ноги. – Увидел бы ты, какие хари: убей бог нас, и родились и крестились – не видали таких мерзких рож. Долго ли до греха, пан голова, перепугают доброго человека так, что после ни одна баба не возьмется вылить переполоху.', |
|
|
] |
|
|
embeddings = model.encode(sentences) |
|
|
print(embeddings.shape) |
|
|
# [3, 768] |
|
|
|
|
|
# Get the similarity scores for the embeddings |
|
|
similarities = model.similarity(embeddings, embeddings) |
|
|
print(similarities.shape) |
|
|
# [3, 3] |
|
|
``` |
|
|
|
|
|
<!-- |
|
|
### Direct Usage (Transformers) |
|
|
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary> |
|
|
|
|
|
</details> |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Downstream Usage (Sentence Transformers) |
|
|
|
|
|
You can finetune this model on your own dataset. |
|
|
|
|
|
<details><summary>Click to expand</summary> |
|
|
|
|
|
</details> |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Out-of-Scope Use |
|
|
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
|
--> |
|
|
|
|
|
## Evaluation |
|
|
|
|
|
### Metrics |
|
|
|
|
|
#### Triplet |
|
|
|
|
|
* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator) |
|
|
|
|
|
| Metric | Value | |
|
|
|:--------------------|:-----------| |
|
|
| **cosine_accuracy** | **0.9507** | |
|
|
|
|
|
<!-- |
|
|
## Bias, Risks and Limitations |
|
|
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Recommendations |
|
|
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
|
--> |
|
|
|
|
|
## Training Details |
|
|
|
|
|
### Training Dataset |
|
|
|
|
|
#### Unnamed Dataset |
|
|
|
|
|
|
|
|
* Columns: <code>anchor</code>, <code>sentence</code>, and <code>label</code> |
|
|
* Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", |
|
|
"margin": 0.5, |
|
|
"size_average": true |
|
|
} |
|
|
``` |
|
|
|
|
|
### Evaluation Dataset |
|
|
|
|
|
#### Unnamed Dataset |
|
|
|
|
|
|
|
|
* Size: 10,296 evaluation samples |
|
|
* Columns: <code>anchor</code>, <code>sentence</code>, and <code>label</code> |
|
|
* Approximate statistics based on the first 1000 samples: |
|
|
| | anchor | sentence | label | |
|
|
|:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-----------------------------| |
|
|
| type | string | string | int | |
|
|
| details | <ul><li>min: 9 tokens</li><li>mean: 148.16 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 13 tokens</li><li>mean: 145.59 tokens</li><li>max: 498 tokens</li></ul> | <ul><li>1: 100.00%</li></ul> | |
|
|
* Samples: |
|
|
| anchor | sentence | label | |
|
|
|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------| |
|
|
| <code>ибо в один час пришел суд твой. И купцы земные восплачут и возрыдают о ней, потому что товаров их никто уже не покупает, товаров золотых и серебряных, и камней драгоценных и жемчуга, и виссона и порфиры, и шелка и багряницы, и всякого благовонного дерева, и всяких изделий из слоновой кости, и всяких изделий из дорогих дерев, из меди и железа и мрамора, корицы и фимиама, и мира и ладана, и вина и елея, и муки и пшеницы, и скота и овец, иконей и колесниц, и тел и душ человеческих. И плодов, угодных для души твоей, не стало у тебя, и все тучное и блистательное удалилось от тебя; ты уже не найдешь его. Торговавшие всем сим, обогатившиеся от нее, станут вдали от страха мучений ее, плача и рыдая и говоря: горе, горе тебе , великий город, одетый в виссон и порфиру и багряницу, украшенныйзолотом и камнями драгоценными и жемчугом, ибо в один час погибло такое богатство! И все кормчие, и все плывущие на кораблях, и все корабельщики, и всеторгующие на море стали вдали и, видя дым от пожара ее, во...</code> | <code>Так говорит Господь Бог: вот распределение, по которому вы должны разделить землю в наследие двенадцати коленам Израилевым: Иосифу два удела. И наследуйте ее, как один, так и другой; так как Я, подняв руку Мою, клялся отдать ее отцам вашим, то и будет земля сия наследием вашим. И вот предел земли: на северном конце, начиная от великого моря, через Хетлон, по дороге в Цедад, Емаф, Берот, Сивраим, находящийся между Дамасскою и Емафскою областями Гацар-Тихон, который на границе Аврана. И будет граница от моря до Гацар-Енон, граница с Дамаском, и далее на севере область Емаф; и вот северный край.</code> | <code>1</code> | |
|
|
| <code>В скорби своей они с раннего утрабудут искать Меня и говорить: „пойдем и возвратимся к Господу! ибо Он уязвил – и Он исцелит нас, поразил – и перевяжет наши раны; оживит нас через два дня, в третий день восставит нас, и мы будем жить пред лицем Его. Итак познаем, будем стремиться познать Господа; как утренняя заря – явление Его, и Он придет к нам, как дождь, как поздний дождь оросит землю".</code> | <code>Угодно было Дарию поставить над царством сто двадцать сатрапов, чтобы они были во всем царстве, а над ними трех князей, – из которых один был Даниил, – чтобысатрапы давали им отчет и чтобы царю не было никакого обременения.</code> | <code>1</code> | |
|
|
| <code>Буду пасти их на хорошей пажити, и загон их будетна высоких горах Израилевых; там они будут отдыхать в хорошем загоне и будут пастись на тучной пажити, на горахИзраилевых. Я буду пасти овец Моих и Я будупокоить их, говорит Господь Бог. Потерявшуюся отыщу и угнанную возвращу, и пораненную перевяжу, и больную укреплю, а разжиревшую и буйную истреблю; буду пасти их по правде. Вас же, овцы Мои, – так говорит Господь Бог, – вот, Я буду судить между овцою и овцою, между бараном и козлом. Разве мало вам того, что пасетесь на хорошей пажити, а между тем остальное на пажити вашей топчете ногами вашими, пьете чистую воду, а оставшуюся мутите ногами вашими,</code> | <code>Откровение Иисуса Христа, которое дал Ему Бог, чтобы показать рабам Своим, чему надлежит быть вскоре. И Он показал, послав оное через Ангела Своего рабу Своему Иоанну, который свидетельствовал слово Божие и свидетельство Иисуса Христа и что он видел. Блажен читающий и слушающие слова пророчества сего и соблюдающие написанное в нем; ибо время близко. Иоанн семи церквам, находящимся в Асии: благодать вам и мир от Того, Который есть и был и грядет, и от семи духов, находящихся перед престолом Его, и от Иисуса Христа, Который есть свидетель верный, первенец из мертвых и владыка царей земных. Ему, возлюбившему нас и омывшему нас от грехов наших Кровию Своею и соделавшему нас царями и священниками Богу и Отцу Своему, слава и держава во веки веков, аминь. Се, грядет с облаками, и узрит Еговсякое око и те, которые пронзили Его; и возрыдают пред Ним все племена земные. Ей, аминь. Я есмь Альфа и Омега, начало и конец, говорит Господь, Который есть и был игрядет, Вседержитель. Я, Иоанн, брат ваш ...</code> | <code>1</code> | |
|
|
* Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", |
|
|
"margin": 0.5, |
|
|
"size_average": true |
|
|
} |
|
|
``` |
|
|
|
|
|
### Training Hyperparameters |
|
|
#### Non-Default Hyperparameters |
|
|
|
|
|
- `eval_strategy`: steps |
|
|
- `per_device_train_batch_size`: 4 |
|
|
- `gradient_accumulation_steps`: 4 |
|
|
- `learning_rate`: 2e-05 |
|
|
- `max_steps`: 72667 |
|
|
- `warmup_steps`: 1453 |
|
|
- `fp16`: True |
|
|
- `load_best_model_at_end`: True |
|
|
|
|
|
#### All Hyperparameters |
|
|
<details><summary>Click to expand</summary> |
|
|
|
|
|
- `overwrite_output_dir`: False |
|
|
- `do_predict`: False |
|
|
- `eval_strategy`: steps |
|
|
- `prediction_loss_only`: True |
|
|
- `per_device_train_batch_size`: 4 |
|
|
- `per_device_eval_batch_size`: 8 |
|
|
- `per_gpu_train_batch_size`: None |
|
|
- `per_gpu_eval_batch_size`: None |
|
|
- `gradient_accumulation_steps`: 4 |
|
|
- `eval_accumulation_steps`: None |
|
|
- `torch_empty_cache_steps`: None |
|
|
- `learning_rate`: 2e-05 |
|
|
- `weight_decay`: 0.0 |
|
|
- `adam_beta1`: 0.9 |
|
|
- `adam_beta2`: 0.999 |
|
|
- `adam_epsilon`: 1e-08 |
|
|
- `max_grad_norm`: 1.0 |
|
|
- `num_train_epochs`: 3.0 |
|
|
- `max_steps`: 72667 |
|
|
- `lr_scheduler_type`: linear |
|
|
- `lr_scheduler_kwargs`: {} |
|
|
- `warmup_ratio`: 0.0 |
|
|
- `warmup_steps`: 1453 |
|
|
- `log_level`: passive |
|
|
- `log_level_replica`: warning |
|
|
- `log_on_each_node`: True |
|
|
- `logging_nan_inf_filter`: True |
|
|
- `save_safetensors`: True |
|
|
- `save_on_each_node`: False |
|
|
- `save_only_model`: False |
|
|
- `restore_callback_states_from_checkpoint`: False |
|
|
- `no_cuda`: False |
|
|
- `use_cpu`: False |
|
|
- `use_mps_device`: False |
|
|
- `seed`: 42 |
|
|
- `data_seed`: None |
|
|
- `jit_mode_eval`: False |
|
|
- `use_ipex`: False |
|
|
- `bf16`: False |
|
|
- `fp16`: True |
|
|
- `fp16_opt_level`: O1 |
|
|
- `half_precision_backend`: auto |
|
|
- `bf16_full_eval`: False |
|
|
- `fp16_full_eval`: False |
|
|
- `tf32`: None |
|
|
- `local_rank`: 0 |
|
|
- `ddp_backend`: None |
|
|
- `tpu_num_cores`: None |
|
|
- `tpu_metrics_debug`: False |
|
|
- `debug`: [] |
|
|
- `dataloader_drop_last`: False |
|
|
- `dataloader_num_workers`: 0 |
|
|
- `dataloader_prefetch_factor`: None |
|
|
- `past_index`: -1 |
|
|
- `disable_tqdm`: False |
|
|
- `remove_unused_columns`: True |
|
|
- `label_names`: None |
|
|
- `load_best_model_at_end`: True |
|
|
- `ignore_data_skip`: False |
|
|
- `fsdp`: [] |
|
|
- `fsdp_min_num_params`: 0 |
|
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
|
|
- `fsdp_transformer_layer_cls_to_wrap`: None |
|
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} |
|
|
- `deepspeed`: None |
|
|
- `label_smoothing_factor`: 0.0 |
|
|
- `optim`: adamw_torch |
|
|
- `optim_args`: None |
|
|
- `adafactor`: False |
|
|
- `group_by_length`: False |
|
|
- `length_column_name`: length |
|
|
- `ddp_find_unused_parameters`: None |
|
|
- `ddp_bucket_cap_mb`: None |
|
|
- `ddp_broadcast_buffers`: False |
|
|
- `dataloader_pin_memory`: True |
|
|
- `dataloader_persistent_workers`: False |
|
|
- `skip_memory_metrics`: True |
|
|
- `use_legacy_prediction_loop`: False |
|
|
- `push_to_hub`: False |
|
|
- `resume_from_checkpoint`: None |
|
|
- `hub_model_id`: None |
|
|
- `hub_strategy`: every_save |
|
|
- `hub_private_repo`: False |
|
|
- `hub_always_push`: False |
|
|
- `gradient_checkpointing`: False |
|
|
- `gradient_checkpointing_kwargs`: None |
|
|
- `include_inputs_for_metrics`: False |
|
|
- `include_for_metrics`: [] |
|
|
- `eval_do_concat_batches`: True |
|
|
- `fp16_backend`: auto |
|
|
- `push_to_hub_model_id`: None |
|
|
- `push_to_hub_organization`: None |
|
|
- `mp_parameters`: |
|
|
- `auto_find_batch_size`: False |
|
|
- `full_determinism`: False |
|
|
- `torchdynamo`: None |
|
|
- `ray_scope`: last |
|
|
- `ddp_timeout`: 1800 |
|
|
- `torch_compile`: False |
|
|
- `torch_compile_backend`: None |
|
|
- `torch_compile_mode`: None |
|
|
- `dispatch_batches`: None |
|
|
- `split_batches`: None |
|
|
- `include_tokens_per_second`: False |
|
|
- `include_num_input_tokens_seen`: False |
|
|
- `neftune_noise_alpha`: None |
|
|
- `optim_target_modules`: None |
|
|
- `batch_eval_metrics`: False |
|
|
- `eval_on_start`: False |
|
|
- `use_liger_kernel`: False |
|
|
- `eval_use_gather_object`: False |
|
|
- `average_tokens_across_devices`: False |
|
|
- `prompts`: None |
|
|
- `batch_sampler`: batch_sampler |
|
|
- `multi_dataset_batch_sampler`: proportional |
|
|
|
|
|
</details> |
|
|
|
|
|
### Training Logs |
|
|
<details><summary>Click to expand</summary> |
|
|
|
|
|
| Epoch | Step | Training Loss | Validation Loss | cosine_accuracy | |
|
|
|:----------:|:---------:|:-------------:|:---------------:|:---------------:| |
|
|
| 0.0028 | 200 | 0.0236 | - | - | |
|
|
| 0.0055 | 400 | 0.0196 | - | - | |
|
|
| 0.0083 | 600 | 0.0175 | - | - | |
|
|
| 0.0110 | 800 | 0.016 | - | - | |
|
|
| 0.0138 | 1000 | 0.0158 | - | - | |
|
|
| 0.0165 | 1200 | 0.0166 | - | - | |
|
|
| 0.0193 | 1400 | 0.0156 | - | - | |
|
|
| 0.0220 | 1600 | 0.0153 | - | - | |
|
|
| 0.0248 | 1800 | 0.0148 | - | - | |
|
|
| 0.0275 | 2000 | 0.0145 | - | - | |
|
|
| 0.0303 | 2200 | 0.0143 | - | - | |
|
|
| 0.0330 | 2400 | 0.014 | - | - | |
|
|
| 0.0333 | 2422 | - | 0.0146 | 0.9025 | |
|
|
| 0.0358 | 2600 | 0.0137 | - | - | |
|
|
| 0.0385 | 2800 | 0.0131 | - | - | |
|
|
| 0.0413 | 3000 | 0.0135 | - | - | |
|
|
| 0.0440 | 3200 | 0.0128 | - | - | |
|
|
| 0.0468 | 3400 | 0.0129 | - | - | |
|
|
| 0.0495 | 3600 | 0.0125 | - | - | |
|
|
| 0.0523 | 3800 | 0.0128 | - | - | |
|
|
| 0.0550 | 4000 | 0.0125 | - | - | |
|
|
| 0.0578 | 4200 | 0.0119 | - | - | |
|
|
| 0.0606 | 4400 | 0.0121 | - | - | |
|
|
| 0.0633 | 4600 | 0.0117 | - | - | |
|
|
| 0.0661 | 4800 | 0.0124 | - | - | |
|
|
| 0.0667 | 4844 | - | 0.0134 | 0.9079 | |
|
|
| 0.0688 | 5000 | 0.011 | - | - | |
|
|
| 0.0716 | 5200 | 0.0113 | - | - | |
|
|
| 0.0743 | 5400 | 0.0105 | - | - | |
|
|
| 0.0771 | 5600 | 0.0111 | - | - | |
|
|
| 0.0798 | 5800 | 0.0109 | - | - | |
|
|
| 0.0826 | 6000 | 0.0109 | - | - | |
|
|
| 0.0853 | 6200 | 0.0105 | - | - | |
|
|
| 0.0881 | 6400 | 0.0111 | - | - | |
|
|
| 0.0908 | 6600 | 0.0102 | - | - | |
|
|
| 0.0936 | 6800 | 0.0109 | - | - | |
|
|
| 0.0963 | 7000 | 0.0102 | - | - | |
|
|
| 0.0991 | 7200 | 0.0107 | - | - | |
|
|
| 0.1000 | 7266 | - | 0.0132 | 0.9165 | |
|
|
| 0.1018 | 7400 | 0.0104 | - | - | |
|
|
| 0.1046 | 7600 | 0.0111 | - | - | |
|
|
| 0.1073 | 7800 | 0.01 | - | - | |
|
|
| 0.1101 | 8000 | 0.0106 | - | - | |
|
|
| 0.1128 | 8200 | 0.01 | - | - | |
|
|
| 0.1156 | 8400 | 0.0106 | - | - | |
|
|
| 0.1183 | 8600 | 0.0105 | - | - | |
|
|
| 0.1211 | 8800 | 0.01 | - | - | |
|
|
| 0.1239 | 9000 | 0.01 | - | - | |
|
|
| 0.1266 | 9200 | 0.0097 | - | - | |
|
|
| 0.1294 | 9400 | 0.0097 | - | - | |
|
|
| 0.1321 | 9600 | 0.0095 | - | - | |
|
|
| 0.1333 | 9688 | - | 0.0117 | 0.9277 | |
|
|
| 0.1349 | 9800 | 0.01 | - | - | |
|
|
| 0.1376 | 10000 | 0.0103 | - | - | |
|
|
| 0.1404 | 10200 | 0.0102 | - | - | |
|
|
| 0.1431 | 10400 | 0.0098 | - | - | |
|
|
| 0.1459 | 10600 | 0.0103 | - | - | |
|
|
| 0.1486 | 10800 | 0.0101 | - | - | |
|
|
| 0.1514 | 11000 | 0.0094 | - | - | |
|
|
| 0.1541 | 11200 | 0.0094 | - | - | |
|
|
| 0.1569 | 11400 | 0.0098 | - | - | |
|
|
| 0.1596 | 11600 | 0.0099 | - | - | |
|
|
| 0.1624 | 11800 | 0.01 | - | - | |
|
|
| 0.1651 | 12000 | 0.0099 | - | - | |
|
|
| 0.1667 | 12110 | - | 0.0120 | 0.9240 | |
|
|
| 0.1679 | 12200 | 0.0095 | - | - | |
|
|
| 0.1706 | 12400 | 0.009 | - | - | |
|
|
| 0.1734 | 12600 | 0.0096 | - | - | |
|
|
| 0.1761 | 12800 | 0.0093 | - | - | |
|
|
| 0.1789 | 13000 | 0.0092 | - | - | |
|
|
| 0.1817 | 13200 | 0.0098 | - | - | |
|
|
| 0.1844 | 13400 | 0.0094 | - | - | |
|
|
| 0.1872 | 13600 | 0.0091 | - | - | |
|
|
| 0.1899 | 13800 | 0.0089 | - | - | |
|
|
| 0.1927 | 14000 | 0.0091 | - | - | |
|
|
| 0.1954 | 14200 | 0.0087 | - | - | |
|
|
| 0.1982 | 14400 | 0.0091 | - | - | |
|
|
| 0.2000 | 14532 | - | 0.0112 | 0.9287 | |
|
|
| 0.2009 | 14600 | 0.009 | - | - | |
|
|
| 0.2037 | 14800 | 0.0091 | - | - | |
|
|
| 0.2064 | 15000 | 0.0091 | - | - | |
|
|
| 0.2092 | 15200 | 0.0089 | - | - | |
|
|
| 0.2119 | 15400 | 0.0087 | - | - | |
|
|
| 0.2147 | 15600 | 0.0083 | - | - | |
|
|
| 0.2174 | 15800 | 0.0093 | - | - | |
|
|
| 0.2202 | 16000 | 0.0093 | - | - | |
|
|
| 0.2229 | 16200 | 0.0088 | - | - | |
|
|
| 0.2257 | 16400 | 0.0084 | - | - | |
|
|
| 0.2284 | 16600 | 0.0087 | - | - | |
|
|
| 0.2312 | 16800 | 0.0086 | - | - | |
|
|
| 0.2333 | 16954 | - | 0.0115 | 0.9291 | |
|
|
| 0.2339 | 17000 | 0.0086 | - | - | |
|
|
| 0.2367 | 17200 | 0.0088 | - | - | |
|
|
| 0.2394 | 17400 | 0.0085 | - | - | |
|
|
| 0.2422 | 17600 | 0.0085 | - | - | |
|
|
| 0.2450 | 17800 | 0.0086 | - | - | |
|
|
| 0.2477 | 18000 | 0.0087 | - | - | |
|
|
| 0.2505 | 18200 | 0.0082 | - | - | |
|
|
| 0.2532 | 18400 | 0.0088 | - | - | |
|
|
| 0.2560 | 18600 | 0.0087 | - | - | |
|
|
| 0.2587 | 18800 | 0.0086 | - | - | |
|
|
| 0.2615 | 19000 | 0.0088 | - | - | |
|
|
| 0.2642 | 19200 | 0.0086 | - | - | |
|
|
| 0.2666 | 19376 | - | 0.0116 | 0.9312 | |
|
|
| 0.2670 | 19400 | 0.0083 | - | - | |
|
|
| 0.2697 | 19600 | 0.008 | - | - | |
|
|
| 0.2725 | 19800 | 0.0083 | - | - | |
|
|
| 0.2752 | 20000 | 0.0083 | - | - | |
|
|
| 0.2780 | 20200 | 0.0078 | - | - | |
|
|
| 0.2807 | 20400 | 0.0084 | - | - | |
|
|
| 0.2835 | 20600 | 0.0082 | - | - | |
|
|
| 0.2862 | 20800 | 0.0085 | - | - | |
|
|
| 0.2890 | 21000 | 0.0082 | - | - | |
|
|
| 0.2917 | 21200 | 0.0081 | - | - | |
|
|
| 0.2945 | 21400 | 0.0078 | - | - | |
|
|
| 0.2972 | 21600 | 0.0078 | - | - | |
|
|
| 0.3000 | 21798 | - | 0.0109 | 0.9347 | |
|
|
| 0.3000 | 21800 | 0.0082 | - | - | |
|
|
| 0.3028 | 22000 | 0.0081 | - | - | |
|
|
| 0.3055 | 22200 | 0.0083 | - | - | |
|
|
| 0.3083 | 22400 | 0.0074 | - | - | |
|
|
| 0.3110 | 22600 | 0.0079 | - | - | |
|
|
| 0.3138 | 22800 | 0.0078 | - | - | |
|
|
| 0.3165 | 23000 | 0.0078 | - | - | |
|
|
| 0.3193 | 23200 | 0.0085 | - | - | |
|
|
| 0.3220 | 23400 | 0.0084 | - | - | |
|
|
| 0.3248 | 23600 | 0.0082 | - | - | |
|
|
| 0.3275 | 23800 | 0.0079 | - | - | |
|
|
| 0.3303 | 24000 | 0.008 | - | - | |
|
|
| 0.3330 | 24200 | 0.0078 | - | - | |
|
|
| 0.3333 | 24220 | - | 0.0112 | 0.9343 | |
|
|
| 0.3358 | 24400 | 0.0077 | - | - | |
|
|
| 0.3385 | 24600 | 0.0083 | - | - | |
|
|
| 0.3413 | 24800 | 0.0082 | - | - | |
|
|
| 0.3440 | 25000 | 0.0075 | - | - | |
|
|
| 0.3468 | 25200 | 0.0076 | - | - | |
|
|
| 0.3495 | 25400 | 0.0078 | - | - | |
|
|
| 0.3523 | 25600 | 0.0077 | - | - | |
|
|
| 0.3550 | 25800 | 0.0073 | - | - | |
|
|
| 0.3578 | 26000 | 0.0076 | - | - | |
|
|
| 0.3605 | 26200 | 0.0076 | - | - | |
|
|
| 0.3633 | 26400 | 0.0071 | - | - | |
|
|
| 0.3661 | 26600 | 0.0073 | - | - | |
|
|
| 0.3666 | 26642 | - | 0.0113 | 0.9336 | |
|
|
| 0.3688 | 26800 | 0.0074 | - | - | |
|
|
| 0.3716 | 27000 | 0.0074 | - | - | |
|
|
| 0.3743 | 27200 | 0.0076 | - | - | |
|
|
| 0.3771 | 27400 | 0.0075 | - | - | |
|
|
| 0.3798 | 27600 | 0.0078 | - | - | |
|
|
| 0.3826 | 27800 | 0.0071 | - | - | |
|
|
| 0.3853 | 28000 | 0.007 | - | - | |
|
|
| 0.3881 | 28200 | 0.0069 | - | - | |
|
|
| 0.3908 | 28400 | 0.0069 | - | - | |
|
|
| 0.3936 | 28600 | 0.0081 | - | - | |
|
|
| 0.3963 | 28800 | 0.0076 | - | - | |
|
|
| 0.3991 | 29000 | 0.0073 | - | - | |
|
|
| 0.4000 | 29064 | - | 0.0113 | 0.9336 | |
|
|
| 0.4018 | 29200 | 0.0073 | - | - | |
|
|
| 0.4046 | 29400 | 0.0071 | - | - | |
|
|
| 0.4073 | 29600 | 0.0069 | - | - | |
|
|
| 0.4101 | 29800 | 0.007 | - | - | |
|
|
| 0.4128 | 30000 | 0.0068 | - | - | |
|
|
| 0.4156 | 30200 | 0.0071 | - | - | |
|
|
| 0.4183 | 30400 | 0.0072 | - | - | |
|
|
| 0.4211 | 30600 | 0.0072 | - | - | |
|
|
| 0.4239 | 30800 | 0.0069 | - | - | |
|
|
| 0.4266 | 31000 | 0.0075 | - | - | |
|
|
| 0.4294 | 31200 | 0.0074 | - | - | |
|
|
| 0.4321 | 31400 | 0.0072 | - | - | |
|
|
| 0.4333 | 31486 | - | 0.0110 | 0.9363 | |
|
|
| 0.4349 | 31600 | 0.0074 | - | - | |
|
|
| 0.4376 | 31800 | 0.0066 | - | - | |
|
|
| 0.4404 | 32000 | 0.0074 | - | - | |
|
|
| 0.4431 | 32200 | 0.0071 | - | - | |
|
|
| 0.4459 | 32400 | 0.0075 | - | - | |
|
|
| 0.4486 | 32600 | 0.0077 | - | - | |
|
|
| 0.4514 | 32800 | 0.0072 | - | - | |
|
|
| 0.4541 | 33000 | 0.0069 | - | - | |
|
|
| 0.4569 | 33200 | 0.0063 | - | - | |
|
|
| 0.4596 | 33400 | 0.0067 | - | - | |
|
|
| 0.4624 | 33600 | 0.007 | - | - | |
|
|
| 0.4651 | 33800 | 0.0067 | - | - | |
|
|
| 0.4666 | 33908 | - | 0.0108 | 0.9376 | |
|
|
| 0.4679 | 34000 | 0.007 | - | - | |
|
|
| 0.4706 | 34200 | 0.0068 | - | - | |
|
|
| 0.4734 | 34400 | 0.0074 | - | - | |
|
|
| 0.4761 | 34600 | 0.0068 | - | - | |
|
|
| 0.4789 | 34800 | 0.0065 | - | - | |
|
|
| 0.4816 | 35000 | 0.0068 | - | - | |
|
|
| 0.4844 | 35200 | 0.007 | - | - | |
|
|
| 0.4872 | 35400 | 0.0067 | - | - | |
|
|
| 0.4899 | 35600 | 0.0065 | - | - | |
|
|
| 0.4927 | 35800 | 0.0068 | - | - | |
|
|
| 0.4954 | 36000 | 0.0065 | - | - | |
|
|
| 0.4982 | 36200 | 0.0066 | - | - | |
|
|
| 0.5000 | 36330 | - | 0.0109 | 0.9408 | |
|
|
| 0.5009 | 36400 | 0.0068 | - | - | |
|
|
| 0.5037 | 36600 | 0.0067 | - | - | |
|
|
| 0.5064 | 36800 | 0.0074 | - | - | |
|
|
| 0.5092 | 37000 | 0.0064 | - | - | |
|
|
| 0.5119 | 37200 | 0.0068 | - | - | |
|
|
| 0.5147 | 37400 | 0.007 | - | - | |
|
|
| 0.5174 | 37600 | 0.0069 | - | - | |
|
|
| 0.5202 | 37800 | 0.0066 | - | - | |
|
|
| 0.5229 | 38000 | 0.007 | - | - | |
|
|
| 0.5257 | 38200 | 0.0065 | - | - | |
|
|
| 0.5284 | 38400 | 0.0068 | - | - | |
|
|
| 0.5312 | 38600 | 0.006 | - | - | |
|
|
| 0.5333 | 38752 | - | 0.0108 | 0.9402 | |
|
|
| 0.5339 | 38800 | 0.0063 | - | - | |
|
|
| 0.5367 | 39000 | 0.0069 | - | - | |
|
|
| 0.5394 | 39200 | 0.0065 | - | - | |
|
|
| 0.5422 | 39400 | 0.0067 | - | - | |
|
|
| 0.5450 | 39600 | 0.0067 | - | - | |
|
|
| 0.5477 | 39800 | 0.007 | - | - | |
|
|
| 0.5505 | 40000 | 0.0067 | - | - | |
|
|
| 0.5532 | 40200 | 0.0064 | - | - | |
|
|
| 0.5560 | 40400 | 0.0065 | - | - | |
|
|
| 0.5587 | 40600 | 0.0068 | - | - | |
|
|
| 0.5615 | 40800 | 0.0068 | - | - | |
|
|
| 0.5642 | 41000 | 0.007 | - | - | |
|
|
| 0.5666 | 41174 | - | 0.0104 | 0.9398 | |
|
|
| 0.5670 | 41200 | 0.0066 | - | - | |
|
|
| 0.5697 | 41400 | 0.0066 | - | - | |
|
|
| 0.5725 | 41600 | 0.0063 | - | - | |
|
|
| 0.5752 | 41800 | 0.0064 | - | - | |
|
|
| 0.5780 | 42000 | 0.0065 | - | - | |
|
|
| 0.5807 | 42200 | 0.0061 | - | - | |
|
|
| 0.5835 | 42400 | 0.0062 | - | - | |
|
|
| 0.5862 | 42600 | 0.0062 | - | - | |
|
|
| 0.5890 | 42800 | 0.0059 | - | - | |
|
|
| 0.5917 | 43000 | 0.0068 | - | - | |
|
|
| 0.5945 | 43200 | 0.0067 | - | - | |
|
|
| 0.5972 | 43400 | 0.0062 | - | - | |
|
|
| 0.5999 | 43596 | - | 0.0110 | 0.9382 | |
|
|
| 0.6000 | 43600 | 0.0062 | - | - | |
|
|
| 0.6027 | 43800 | 0.0066 | - | - | |
|
|
| 0.6055 | 44000 | 0.0065 | - | - | |
|
|
| 0.6083 | 44200 | 0.006 | - | - | |
|
|
| 0.6110 | 44400 | 0.0066 | - | - | |
|
|
| 0.6138 | 44600 | 0.0067 | - | - | |
|
|
| 0.6165 | 44800 | 0.0064 | - | - | |
|
|
| 0.6193 | 45000 | 0.0066 | - | - | |
|
|
| 0.6220 | 45200 | 0.0069 | - | - | |
|
|
| 0.6248 | 45400 | 0.0067 | - | - | |
|
|
| 0.6275 | 45600 | 0.0063 | - | - | |
|
|
| 0.6303 | 45800 | 0.0064 | - | - | |
|
|
| 0.6330 | 46000 | 0.0064 | - | - | |
|
|
| 0.6333 | 46018 | - | 0.0105 | 0.9458 | |
|
|
| 0.6358 | 46200 | 0.0067 | - | - | |
|
|
| 0.6385 | 46400 | 0.0063 | - | - | |
|
|
| 0.6413 | 46600 | 0.0064 | - | - | |
|
|
| 0.6440 | 46800 | 0.0064 | - | - | |
|
|
| 0.6468 | 47000 | 0.0064 | - | - | |
|
|
| 0.6495 | 47200 | 0.0065 | - | - | |
|
|
| 0.6523 | 47400 | 0.0061 | - | - | |
|
|
| 0.6550 | 47600 | 0.0065 | - | - | |
|
|
| 0.6578 | 47800 | 0.0061 | - | - | |
|
|
| 0.6605 | 48000 | 0.0065 | - | - | |
|
|
| 0.6633 | 48200 | 0.0061 | - | - | |
|
|
| 0.6661 | 48400 | 0.0059 | - | - | |
|
|
| 0.6666 | 48440 | - | 0.0105 | 0.9468 | |
|
|
| 0.6688 | 48600 | 0.0064 | - | - | |
|
|
| 0.6716 | 48800 | 0.006 | - | - | |
|
|
| 0.6743 | 49000 | 0.0061 | - | - | |
|
|
| 0.6771 | 49200 | 0.0061 | - | - | |
|
|
| 0.6798 | 49400 | 0.0062 | - | - | |
|
|
| 0.6826 | 49600 | 0.006 | - | - | |
|
|
| 0.6853 | 49800 | 0.0066 | - | - | |
|
|
| 0.6881 | 50000 | 0.0059 | - | - | |
|
|
| 0.6908 | 50200 | 0.0065 | - | - | |
|
|
| 0.6936 | 50400 | 0.0065 | - | - | |
|
|
| 0.6963 | 50600 | 0.0062 | - | - | |
|
|
| 0.6991 | 50800 | 0.0061 | - | - | |
|
|
| 0.6999 | 50862 | - | 0.0103 | 0.9470 | |
|
|
| 0.7018 | 51000 | 0.0063 | - | - | |
|
|
| 0.7046 | 51200 | 0.0065 | - | - | |
|
|
| 0.7073 | 51400 | 0.0061 | - | - | |
|
|
| 0.7101 | 51600 | 0.0066 | - | - | |
|
|
| 0.7128 | 51800 | 0.0064 | - | - | |
|
|
| 0.7156 | 52000 | 0.006 | - | - | |
|
|
| 0.7183 | 52200 | 0.006 | - | - | |
|
|
| 0.7211 | 52400 | 0.0057 | - | - | |
|
|
| 0.7238 | 52600 | 0.0065 | - | - | |
|
|
| 0.7266 | 52800 | 0.0059 | - | - | |
|
|
| 0.7294 | 53000 | 0.0063 | - | - | |
|
|
| 0.7321 | 53200 | 0.0063 | - | - | |
|
|
| 0.7333 | 53284 | - | 0.0105 | 0.9429 | |
|
|
| 0.7349 | 53400 | 0.0063 | - | - | |
|
|
| 0.7376 | 53600 | 0.006 | - | - | |
|
|
| 0.7404 | 53800 | 0.0058 | - | - | |
|
|
| 0.7431 | 54000 | 0.0063 | - | - | |
|
|
| 0.7459 | 54200 | 0.0057 | - | - | |
|
|
| 0.7486 | 54400 | 0.0058 | - | - | |
|
|
| 0.7514 | 54600 | 0.0058 | - | - | |
|
|
| 0.7541 | 54800 | 0.0062 | - | - | |
|
|
| 0.7569 | 55000 | 0.0058 | - | - | |
|
|
| 0.7596 | 55200 | 0.006 | - | - | |
|
|
| 0.7624 | 55400 | 0.0056 | - | - | |
|
|
| 0.7651 | 55600 | 0.0061 | - | - | |
|
|
| 0.7666 | 55706 | - | 0.0103 | 0.9454 | |
|
|
| 0.7679 | 55800 | 0.006 | - | - | |
|
|
| 0.7706 | 56000 | 0.0061 | - | - | |
|
|
| 0.7734 | 56200 | 0.0063 | - | - | |
|
|
| 0.7761 | 56400 | 0.0061 | - | - | |
|
|
| 0.7789 | 56600 | 0.006 | - | - | |
|
|
| 0.7816 | 56800 | 0.0062 | - | - | |
|
|
| 0.7844 | 57000 | 0.0059 | - | - | |
|
|
| 0.7872 | 57200 | 0.0055 | - | - | |
|
|
| 0.7899 | 57400 | 0.0053 | - | - | |
|
|
| 0.7927 | 57600 | 0.0057 | - | - | |
|
|
| 0.7954 | 57800 | 0.0055 | - | - | |
|
|
| 0.7982 | 58000 | 0.006 | - | - | |
|
|
| 0.7999 | 58128 | - | 0.0101 | 0.9476 | |
|
|
| 0.8009 | 58200 | 0.0056 | - | - | |
|
|
| 0.8037 | 58400 | 0.0058 | - | - | |
|
|
| 0.8064 | 58600 | 0.0061 | - | - | |
|
|
| 0.8092 | 58800 | 0.006 | - | - | |
|
|
| 0.8119 | 59000 | 0.0057 | - | - | |
|
|
| 0.8147 | 59200 | 0.0056 | - | - | |
|
|
| 0.8174 | 59400 | 0.0066 | - | - | |
|
|
| 0.8202 | 59600 | 0.006 | - | - | |
|
|
| 0.8229 | 59800 | 0.0056 | - | - | |
|
|
| 0.8257 | 60000 | 0.006 | - | - | |
|
|
| 0.8284 | 60200 | 0.006 | - | - | |
|
|
| 0.8312 | 60400 | 0.0063 | - | - | |
|
|
| 0.8333 | 60550 | - | 0.0101 | 0.9481 | |
|
|
| 0.8339 | 60600 | 0.0064 | - | - | |
|
|
| 0.8367 | 60800 | 0.0061 | - | - | |
|
|
| 0.8394 | 61000 | 0.006 | - | - | |
|
|
| 0.8422 | 61200 | 0.0056 | - | - | |
|
|
| 0.8450 | 61400 | 0.006 | - | - | |
|
|
| 0.8477 | 61600 | 0.0063 | - | - | |
|
|
| 0.8505 | 61800 | 0.0064 | - | - | |
|
|
| 0.8532 | 62000 | 0.0058 | - | - | |
|
|
| 0.8560 | 62200 | 0.0063 | - | - | |
|
|
| 0.8587 | 62400 | 0.0056 | - | - | |
|
|
| 0.8615 | 62600 | 0.0058 | - | - | |
|
|
| 0.8642 | 62800 | 0.0059 | - | - | |
|
|
| 0.8666 | 62972 | - | 0.0101 | 0.9491 | |
|
|
| 0.8670 | 63000 | 0.0057 | - | - | |
|
|
| 0.8697 | 63200 | 0.0056 | - | - | |
|
|
| 0.8725 | 63400 | 0.0059 | - | - | |
|
|
| 0.8752 | 63600 | 0.006 | - | - | |
|
|
| 0.8780 | 63800 | 0.0057 | - | - | |
|
|
| 0.8807 | 64000 | 0.0056 | - | - | |
|
|
| 0.8835 | 64200 | 0.0053 | - | - | |
|
|
| 0.8862 | 64400 | 0.0059 | - | - | |
|
|
| 0.8890 | 64600 | 0.0055 | - | - | |
|
|
| 0.8917 | 64800 | 0.006 | - | - | |
|
|
| 0.8945 | 65000 | 0.0053 | - | - | |
|
|
| 0.8972 | 65200 | 0.0059 | - | - | |
|
|
| **0.8999** | **65394** | **-** | **0.01** | **0.9483** | |
|
|
| 0.9000 | 65400 | 0.0058 | - | - | |
|
|
| 0.9027 | 65600 | 0.0061 | - | - | |
|
|
| 0.9055 | 65800 | 0.0057 | - | - | |
|
|
| 0.9083 | 66000 | 0.0058 | - | - | |
|
|
| 0.9110 | 66200 | 0.006 | - | - | |
|
|
| 0.9138 | 66400 | 0.0057 | - | - | |
|
|
| 0.9165 | 66600 | 0.0058 | - | - | |
|
|
| 0.9193 | 66800 | 0.0062 | - | - | |
|
|
| 0.9220 | 67000 | 0.0059 | - | - | |
|
|
| 0.9248 | 67200 | 0.0058 | - | - | |
|
|
| 0.9275 | 67400 | 0.0057 | - | - | |
|
|
| 0.9303 | 67600 | 0.0054 | - | - | |
|
|
| 0.9330 | 67800 | 0.0057 | - | - | |
|
|
| 0.9332 | 67816 | - | 0.0100 | 0.9487 | |
|
|
| 0.9358 | 68000 | 0.0056 | - | - | |
|
|
| 0.9385 | 68200 | 0.0058 | - | - | |
|
|
| 0.9413 | 68400 | 0.0059 | - | - | |
|
|
| 0.9440 | 68600 | 0.0058 | - | - | |
|
|
| 0.9468 | 68800 | 0.0055 | - | - | |
|
|
| 0.9495 | 69000 | 0.0059 | - | - | |
|
|
| 0.9523 | 69200 | 0.0057 | - | - | |
|
|
| 0.9550 | 69400 | 0.0058 | - | - | |
|
|
| 0.9578 | 69600 | 0.0061 | - | - | |
|
|
| 0.9605 | 69800 | 0.0052 | - | - | |
|
|
| 0.9633 | 70000 | 0.0056 | - | - | |
|
|
| 0.9661 | 70200 | 0.0059 | - | - | |
|
|
| 0.9666 | 70238 | - | 0.0102 | 0.9501 | |
|
|
| 0.9688 | 70400 | 0.0057 | - | - | |
|
|
| 0.9716 | 70600 | 0.0058 | - | - | |
|
|
| 0.9743 | 70800 | 0.0054 | - | - | |
|
|
| 0.9771 | 71000 | 0.0057 | - | - | |
|
|
| 0.9798 | 71200 | 0.0055 | - | - | |
|
|
| 0.9826 | 71400 | 0.0056 | - | - | |
|
|
| 0.9853 | 71600 | 0.0053 | - | - | |
|
|
| 0.9881 | 71800 | 0.0062 | - | - | |
|
|
| 0.9908 | 72000 | 0.0057 | - | - | |
|
|
| 0.9936 | 72200 | 0.0057 | - | - | |
|
|
| 0.9963 | 72400 | 0.006 | - | - | |
|
|
| 0.9991 | 72600 | 0.0054 | - | - | |
|
|
| 0.9999 | 72660 | - | 0.0100 | 0.9507 | |
|
|
|
|
|
* The bold row denotes the saved checkpoint. |
|
|
</details> |
|
|
|
|
|
### Framework Versions |
|
|
- Python: 3.11.5 |
|
|
- Sentence Transformers: 3.3.1 |
|
|
- Transformers: 4.46.3 |
|
|
- PyTorch: 2.1.1 |
|
|
- Accelerate: 1.1.1 |
|
|
- Datasets: 2.15.0 |
|
|
- Tokenizers: 0.20.1 |
|
|
|
|
|
## Citation |
|
|
|
|
|
### BibTeX |
|
|
|
|
|
#### Sentence Transformers |
|
|
```bibtex |
|
|
@inproceedings{reimers-2019-sentence-bert, |
|
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
|
month = "11", |
|
|
year = "2019", |
|
|
publisher = "Association for Computational Linguistics", |
|
|
url = "https://arxiv.org/abs/1908.10084", |
|
|
} |
|
|
``` |
|
|
|
|
|
#### ContrastiveLoss |
|
|
```bibtex |
|
|
@inproceedings{hadsell2006dimensionality, |
|
|
author={Hadsell, R. and Chopra, S. and LeCun, Y.}, |
|
|
booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, |
|
|
title={Dimensionality Reduction by Learning an Invariant Mapping}, |
|
|
year={2006}, |
|
|
volume={2}, |
|
|
number={}, |
|
|
pages={1735-1742}, |
|
|
doi={10.1109/CVPR.2006.100} |
|
|
} |
|
|
``` |
|
|
|
|
|
<!-- |
|
|
## Glossary |
|
|
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Model Card Authors |
|
|
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Model Card Contact |
|
|
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
|
--> |
