Add evaluation results on the samsum config and test split of samsum

README.md

@@ -1,7 +1,12 @@
 ---
-language: 
+language:
 - ru
 - en
+tags:
+- summarization
+- dialogue-summarization
+- text2text-generation
+- t5
 datasets:
 - d0rj/samsum-ru
 - IlyaGusev/gazeta
@@ -12,20 +17,99 @@ datasets:
 metrics:
 - bleu
 - rouge
-tags:
-- summarization
-- dialogue-summarization
-- text2text-generation
-- t5
 widget:
-  - 
-    example_title: Diploma Introduction
-    text: >
-      Актуальность проблемы. Электронная информация играет все большую  роль во всех сферах жизни современного общества. В последние годы объем научно-технической текстовой информации в электронном виде возрос настолько, что возникает угроза обесценивания этой информации в связи с трудностями поиска необходимых сведений среди множества доступных текстов. Развитие информационных ресурсов Интернет многократно усугубило проблему информационной перегрузки. В этой ситуации особенно актуальными становятся методы автоматизации реферирования текстовой информации, то есть методы получения сжатого представления текстовых документов–рефератов (аннотаций). Постановка  проблемы  автоматического реферирования текста и соответственно попытки ее решения с использованием различных подходов предпринимались многими исследователями. История применения вычислительной техники для реферирования  насчитывает уже более 50 лет и связана с именами таких исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько, Д.Г. Лахути, Р.Г. Пиотровский и др. За эти годы  выработаны  многочисленные подходы к решению данной проблемы, которые достаточно четко подразделяются на два направления: автоматическое реферирование, основанное на экстрагировании из первичных документов с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов), совокупность которых образует некоторый экстракт; автоматическое реферирование, основанное на выделении из текстов с помощью специальных информационных языков наиболее существенной информации и порождении новых текстов (рефератов), содержательно обобщающих первичные  документы.
-  -
-    example_title: Biological Info
-    text: >
-      Первую многоножку, у которой более тысячи ног, обнаружили в австралийских пещерах биологи, изучавшие там подземные воды. Предыдущей рекордсменкой по количеству ног была 700-ногая многоножка. Новый вид имеет длинное тонкое тело, похожее на нить, и большое количество конечностей, по-видимому, дает преимущества для быстрого перемещения и проникновения в труднодоступные места — ученые полагают, такая многоножка может спокойно перемещаться по трещинам в камнях. Австралия известна своими огромными и жутковатыми животными вроде 25-сантиметровых пауков. Теперь список пугающих членистоногих пополнился самой «многоногой» в мире многоножкой, у которой более тысячи ног. Необычное животное обнаружила группа исследователей из Австралии и США в пещерах на западе страны. Подробнее многоножку ученые описали в статье в журнале Scientific Reports. Исследователи занимались оценкой воздействия подземных вод на окружающую среду в зоне добычи полезных ископаемых на западе страны, когда наткнулись на новый вид многоножек. В отличие от большинства сородичей, живущих на поверхности, эти многоножки обитали в пещерах на глубине до 60 метров. Новый вид исследователи назвали Eumillipes persephone, в честь Персефоны — древнегреческой богини подземного мира. У многоножки оказалось 1306 ног — больше, чем у любого другого известного вида. Предыдущей рекордсменкой была калифорнийская Illacme plenipes, у которой насчитывалось до 750 ног. «Эти животные были настолько уникальны, — говорит биолог Бруно Бузатто. — Как только я понял, какой длины они были... Стало ясно, что это что-то совершенно новое». У Е. persephone нитевидное тело длиной около 9,5 см и шириной всего миллиметр, состоящее из 330 сегментов, короткие ноги и конусообразная голова. Как и другие животные, живущие в постоянной темноте, эти многоножки бледны и слепы. Энтомолог Пол Марек сравнивает ее с белой нитью, выдернутой из рубашки. Чтобы посчитать количество ног, ученым пришлось сначала снять многоножку в высоком разрешении, а затем закрашивать на фото каждый десяток ног другим цветом. (https://www.gazeta.ru/science/2021/12/17_a_14325355.shtml)
+- example_title: Diploma Introduction
+  text: 'Актуальность проблемы. Электронная информация играет все большую  роль во
+    всех сферах жизни современного общества. В последние годы объем научно-технической
+    текстовой информации в электронном виде возрос настолько, что возникает угроза
+    обесценивания этой информации в связи с трудностями поиска необходимых сведений
+    среди множества доступных текстов. Развитие информационных ресурсов Интернет многократно
+    усугубило проблему информационной перегрузки. В этой ситуации особенно актуальными
+    становятся методы автоматизации реферирования текстовой информации, то есть методы
+    получения сжатого представления текстовых документов–рефератов (аннотаций). Постановка  проблемы  автоматического
+    реферирования текста и соответственно попытки ее решения с использованием различных
+    подходов предпринимались многими исследователями. История применения вычислительной
+    техники для реферирования  насчитывает уже более 50 лет и связана с именами таких
+    исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько, Д.Г.
+    Лахути, Р.Г. Пиотровский и др. За эти годы  выработаны  многочисленные подходы
+    к решению данной проблемы, которые достаточно четко подразделяются на два направления:
+    автоматическое реферирование, основанное на экстрагировании из первичных документов
+    с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов),
+    совокупность которых образует некоторый экстракт; автоматическое реферирование,
+    основанное на выделении из текстов с помощью специальных информационных языков
+    наиболее существенной информации и ��орождении новых текстов (рефератов), содержательно
+    обобщающих первичные  документы.
+
+    '
+- example_title: Biological Info
+  text: Первую многоножку, у которой более тысячи ног, обнаружили в австралийских
+    пещерах биологи, изучавшие там подземные воды. Предыдущей рекордсменкой по количеству
+    ног была 700-ногая многоножка. Новый вид имеет длинное тонкое тело, похожее на
+    нить, и большое количество конечностей, по-видимому, дает преимущества для быстрого
+    перемещения и проникновения в труднодоступные места — ученые полагают, такая многоножка
+    может спокойно перемещаться по трещинам в камнях. Австралия известна своими огромными
+    и жутковатыми животными вроде 25-сантиметровых пауков. Теперь список пугающих
+    членистоногих пополнился самой «многоногой» в мире многоножкой, у которой более
+    тысячи ног. Необычное животное обнаружила группа исследователей из Австралии и
+    США в пещерах на западе страны. Подробнее многоножку ученые описали в статье в
+    журнале Scientific Reports. Исследователи занимались оценкой воздействия подземных
+    вод на окружающую среду в зоне добычи полезных ископаемых на западе страны, когда
+    наткнулись на новый вид многоножек. В отличие от большинства сородичей, живущих
+    на поверхности, эти многоножки обитали в пещерах на глубине до 60 метров. Новый
+    вид исследователи назвали Eumillipes persephone, в честь Персефоны — древнегреческой
+    богини подземного мира. У многоножки оказалось 1306 ног — больше, чем у любого
+    другого известного вида. Предыдущей рекордсменкой была калифорнийская Illacme
+    plenipes, у которой насчитывалось до 750 ног. «Эти животные были настолько уникальны,
+    — говорит биолог Бруно Бузатто. — Как только я понял, какой длины они были...
+    Стало ясно, что это что-то совершенно новое». У Е. persephone нитевидное тело
+    длиной около 9,5 см и шириной всего миллиметр, состоящее из 330 сегментов, короткие
+    ноги и конусообразная голова. Как и другие животные, живущие в постоянной темноте,
+    эти многоножки бледны и слепы. Энтомолог Пол Марек сравнивает ее с белой нитью,
+    выдернутой из рубашки. Чтобы посчитать количество ног, ученым пришлось сначала
+    снять многоножку в высоком разрешении, а затем закрашивать на фото каждый десяток
+    ног другим цветом. (https://www.gazeta.ru/science/2021/12/17_a_14325355.shtml)
+model-index:
+- name: d0rj/rut5-base-summ
+  results:
+  - task:
+      type: summarization
+      name: Summarization
+    dataset:
+      name: samsum
+      type: samsum
+      config: samsum
+      split: test
+    metrics:
+    - type: rouge
+      value: 28.8694
+      name: ROUGE-1
+      verified: true
+      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYTdhMjM4YWJiZTBiNmJhNTc0ZjQ4M2E1M2RjMDI4YThmYjEzMmJmZjdlOGRjOWRiZDA2YWEzOTU0MTMwYmJjNCIsInZlcnNpb24iOjF9.6bddYV-Rnp4zhgQjbv4cHKtXHDCLknfxTH2bYsVe6R9wgW45gUSck61EIeJdqj0PS7Vi2zcz8YW4DEXDd-UECQ
+    - type: rouge
+      value: 8.4686
+      name: ROUGE-2
+      verified: true
+      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiN2NiOTdkNTE0NjVmYTcyMDY1ZjYzMjZlZjI1MDViOWFmM2M1MDZjOGZiYThlMTc4MWY5YThlNDJmOGYyNWRmZCIsInZlcnNpb24iOjF9.BLeNnva3EJFMz8xwXZamguKWhLyaGTRFr1C12Yh8xTlimrc_mENHqwshJxdi4RULcGwlQmjGjXNw1DMJ42pDCQ
+    - type: rouge
+      value: 24.2357
+      name: ROUGE-L
+      verified: true
+      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNjM2OGMwMGYzOTgwNjhlZjhjNjU2YzU3MDZkMjljMzExZjYwNTU1MDM0YmM1NmE3OTUyYzBhMzcyOGM5ZmY1MSIsInZlcnNpb24iOjF9.ttNXKqK9rTsMM1aj4XvXUVuJZZAtgG2JE2NI3ZWT4kVcsC7F6mYFXNfUKEk2koKPkq0gwdPiAc-wrpbtmQg5Cg
+    - type: rouge
+      value: 25.8543
+      name: ROUGE-LSUM
+      verified: true
+      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYmMzNTdjMGFkNzhiYzFkYWMwNWRlZTM5ZTMxMjU5MjFiMDVjNDk3MWFlMTM5Yzc4MTFjYzNhODVmNjQ3ZTBmNyIsInZlcnNpb24iOjF9.80eUellPpBKzjW-kKDjr6WlzFh_nyC2Q4-gNtzQekOzUyuPynl913nWh4NcAw5YXbYC24dklshdFD5VheeYlBQ
+    - type: loss
+      value: 3.2456042766571045
+      name: loss
+      verified: true
+      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOWEwZTRlMDEyZDQ0ZTBiMzAyZTkyZWUwOGYyODQ0NzA1MWM4NTE3ZDBjYTYxNmMxODIyNmNiZDM0MmYzMzNjZCIsInZlcnNpb24iOjF9.evm57JUbHamIx2FcFmjRHwvZ3e818BYxT8tuv26KVnq9IHO8xyMHPes9slOMhdTijAT_leexMIKMRT_iFOGHAg
+    - type: gen_len
+      value: 27.5543
+      name: gen_len
+      verified: true
+      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZTIzNWY2NGEyNjQyMzdmYmM4ZDI5MTVkZDQ0ZTk3NmFiOWRjNTdiMjU3MmQwY2NhZTEzNTVhZGU5NTZhN2JiZiIsInZlcnNpb24iOjF9.7C3OQP2bl0EZRhRlRYtxd6cQapif0a2Vq5kRFiSdX6KLxU_QALZAlh_9DFyyYPh39R3e6Hyi438Ox6BGaalmBA
 ---
 
 # rut5-base-summ