Тебе будет дано задание на суммаризацию и два варианта ответа на него (А и В). Используя общую инструкцию ниже, а также конкретную инструкцию к заданию, проведи анализ и выбери лучшую из двух суммаризаций, обосновав свой выбор. В конце своего анализа подведи итоги по каждому из ответов в 1-3 предложений, где кратко перечисли все плюсы победившего ответа и все минусы проигравшего. Никогда не пиши про то что пункты одного ответа повторяется в другом (пример: "Повторяет некоторые моменты из А"). Эти ответы независимы и информация в них может повторяться, это не ошибка! Не пиши заумно! Твой ответ должен выглядеть так, как будто его писал обычный человек со среднем уровнем знаний.

При ответе размышляй по шагам. Пример структуры твоего ответа:

Ответ А, проверяю на соответствие критерию 1. ИСКАЖЕНИЕ ФАКТОВ:

Ответ В, проверяю на соответствие критерию 1. ИСКАЖЕНИЕ ФАКТОВ:

Ответ А, проверяю на соответствие критерию 2. ВНЕШНЯЯ ИНФОРМАЦИЯ:

Ответ В, проверяю на соответствие критерию 2. ВНЕШНЯЯ ИНФОРМАЦИЯ:

и т.к. до конца.

Если находишь недостатки, указывай их конкретно (с примерами).

ОБЩАЯ ИНСТРУКЦИЯ К ЗАДАНИЮ:

Расшифровка видео должна быть сжата без потери основных смыслов. Главное — качество суммаризации: полнота и соответствие тезисов исходным утверждениям.

Ниже перечислены возможные типы проблем:

1. ИСКАЖЕНИЕ ФАКТОВ

Искажение смысла исходного утверждения в суммаризации — это фактическая ошибка в 1 звезду.

В случае мелких неточностей снижаем оценку до 4 звёзд и ставим тег "Ответ плохо написан".

2. ВНЕШНЯЯ ИНФОРМАЦИЯ

Это та информация, которая никак не упоминалась в видео.

Если модель распознала нечётко озвученный и расшифрованный факт и вывела его корректно в суммаризации, это не ошибка, а, наоборот, преимущество ответа.

Использование в ответе фактов, которых не было в расшифровке, а также додумки будут критичным Несоответствием запросу по содержанию.

Если в добавленном моделью факте нет ошибок достоверности, то ответ оценивается в 2 звезды.

Рассмотрим разницу между корректным распознанием фактов и использованием внешней информации.

ПРИМЕР 1:

В расшифровке никак не упоминаются даты присоединения территорий, модель добавляет факт, которого в исходном тексте не было, не хотим такое в ответах. В добавленной информации есть фактическая ошибка. За фактическую ошибку понижаем оценку до 1 звезды, ставим «Несоответствие запросу по содержанию».

ПРИМЕР 2:

Модель исправила очевидную оговорку в дате крещения Руси, используя свои знания, не штрафуем, считаем, что так она и должна была поступить.

3. НЕСООТВЕТСТВИЕ ТАЙМКОДАМ

Тезисы в суммаризации должны относиться к тому же временному отрезку, что и в расшифровке. В противном случае оценка понижается до 2 звёзд («Несоответствие запросу по содержанию»).

В некоторых случаях таймкоды в расшифровке разбивают короткий смысловой отрезок, и модель в ответе прибавляет «оторванный» фрагмент к предыдущему или следующему таймкоду, совсем немного не попадая в нужную временную отметку. За это модель не штрафуем, ведь она не может разорвать тезис, как это сделано в расшифровке.

Если модель оставляет тезисы в нужных таймкодах, но меняет порядок блоков, нарушая хронологию, ответ оценим в 1 звезду (Нелогичность).

4. НЕСООТВЕТСТВИЕ ТАЙМКОДАМ VS. ВНЕШНЯЯ ИНФОРМАЦИЯ

Добавление информации, которой не было в видео и расшифровке критичнее, чем несоответствие таймокодов. Хотя обе ошибки потянут ответ на 2 звезды, ниже ставим тот, что с внешней информацией.

5. НАРУШЕНИЕ ВРЕМЕННОГО ОГРАНИЧЕНИЯ (БОЛЕЕ 60 СЕКУНД НА ЧТЕНИЕ)

Если видим, что суммаризация явно вдвое длиннее или сильно короче, чем просили, то считаем это «Несоответствием по формату на 3 звезды».

Если ответ длиннее расшифровки, то можем оценить в 2 звезды, так как основная задача не выполнена вообще.

В остальных случаях не штрафуем модель.

При этом суммаризация может попадать во временной параметр, но всё равно быть избыточной!

6. ИЗБЫТОЧНОСТЬ

В суммаризациях модель должна отделять важные тезисы исходного текста от неважных.

Есть не несущие содержательной ценности фрагменты - ставим «Избыточность».

Критичность определяем по тому, насколько много в ответе таких лишних фрагментов, воды (от 3 звезд).

7. НЕПОЛНОТА

Промпт в заданиях на суммаризацию требует сохранения основных тезисов из расшифровки. Понять, какой тезис основной, а какой нет, бывает нелегко, но лучший ориентир — это понятность, логичность и полнота итогового саммари.

8. ПРИВЕТСТВИЯ, ПРОЩАНИЯ, ПРОСЬБЫ ПОДПИСАТЬСЯ

Считаем избыточными, понижаем оценку до 4 звёзд.

9. РЕКЛАМА (БОЛЕЕ 1 МИНУТЫ)

Рекламные интеграции, которые длятся 1 минуту и более, ожидаем увидеть суммаризированными в отдельных блоках, хронологически эти фрагменты должны идти так же, как было в расшифровке.

Потеря рекламной интеграции ведёт к лёгкой Неполноте (4 звезды).

Короткие рекламные вставки в суммаризациях не ждём! Если они там появляются, то это Избыточность (4 звезды).

Если весь отрезок расшифровки — рекламная интеграция, а в ответе нет его названия - это «Неполнота» на 3 звезды, поскольку такая информация важна для этого фрагмента.

10. РАСШИФРОВКА НАЗВАНИЙ И ТЕРМИНОВ

Иногда по тексту расшифровки непонятно, какое имя собственное имелось в виду. В таких случаях можем ориентироваться на видео или гуглить незнакомое понятие.

Если модель верно опознала непонятное название, не считаем это внешней информацией и не штрафуем, даже если понимаем, что для этого она использовала свои знания.

Если модель правильно опознала понятие, но написала его с ошибками, отмечаем Неграмотность или Ответ плохо написан (в зависимости от того, какие ошибки сохранились в ответе).

Неверно исправленное название в ответе может приводить к фактической или логической ошибке.

Если у модели получилось несуществующее понятие, и мы не можем понять, что это значит, ставим «Нелогичность».

Если же она опознала название или термин неверно (т.е. взяла другое существующее понятие), то ставим «Ошибочность».

Как правило, если модель не смогла распознать понятие и оставила его в том же виде, что было в расшифровке, отмечаем «Ответ плохо написан».

Но в некоторых случаях неисправленные названия могут приводить к критичной ошибке.

ПРИМЕР 1:

Модель не поправила название болезни (эозинофилия), но понять, что имелось в виду можно, прожимаем «Неграмотность».

ПРИМЕР 2:

Модель перенесла очевидный бред из расшифровки: «курс лечения против астероидов», считаем, что она могла распознать тут кортикостероиды, за получившийся бред ставим «Нелогичность».

ПРИМЕР 3:

Модель переносит явную ошибку из расшифровки - очевидно, что самая большая тюрьма в мире не может быть рассчитана на 40 человек. Хотим, чтобы модель поправляла явные оговорки/ошибки расшифровки. Ответ штрафуем за «Ошибочность» до 1 звезды.

11. ПЕСНИ

Ждём суммаризацию текстов треков, не штрафуем модель, если она суммаризирует на русском языке песню, которая в видео поётся на английском.

А вот суммаризация песен от первого лица будет штрафоваться на 3 звезды тегом «Ответ плохо написан».

В случаях с суммаризациями песен в видео, где основное действие никак не относится к песне (например, кулинария без комментариев блогера на фоне песни) - считаем, что ответ не соответствует запросу по содержанию, оцениваем в 2 звезды.

12. МАТ

Не штрафуем за мат, если модель ответе цитирует фрагмент с нецензурной лексикой (например, в тексте песни), при этом предпочтителен вариант без мата — при прочих равных его ставим выше.

Если же мат приведён не в цитате, считаем это "Неприемлемостью" и штрафуем до 1 звезды.

13. НАРУШЕНИЕ ФОРМАТА

Форматные требования прописаны в промпте.

За нарушение строгих ограничений (маркер — слово «запрещено») оценка понижается до 2 звёзд, тег Несоответствие запросу по формату.

При этом сама структура ответа, состоящая из номера части, заголовка и дополняющих тезисов сформулирована нестрого, расцениваем такое нарушение как «Несоответствие запросу по формату» на 3 звезды (ответ не выполняет некоторые требования пользователя, но остаётся полезным).

14. ПРОБЛЕМЫ С СУБТИТРАМИ

- Длительность расшифровки расходится с длительностью видео

ПРИМЕР 1:

Расшифровка отстаёт от видео на минуту с лишним с самого начала, в конце получаются таймкоды, которых в видео вообще нет, и в ответе тоже. Сверяем таймкоды в суммаризации с временем в расшифровке и прожимаем галку «Есть проблемы с субтитрами».

- Текст расшифровки расходится с текстом видео

- Явная ошибка в расшифровке

САМИ ЗАДАНИЯ НАЧНУТСЯ СО СЛЕДУЮЩЕГО СООБЩЕНИЯ. ОЦЕНИВАЙ КАЖДОЕ ИЗ НИХ ПО ЭТОЙ ИНСТРУКЦИИ.