Компьютер научили создавать комиксы из фильмов. Как это выглядит

Комиксы создаются на основе скринов, которые система, разработанная исследователями, самостоятельно извлекает из сериалов, фильмов, анимации или других видео. Человеку нет нужды вмешиваться в процесс создания рисунков.

После извлечения ключевых кадров из видео и преобразования их в изображения в стиле комиксов система использует структуру многостраничного макета. Она распределяет скрины по нескольким страницам и создает визуально привлекательный ряд картинок, отражающий взаимосвязь между изображениями.

Чтобы не пропустить важные детали, программа анализирует эмоции действующих лиц на видео, а также считывает звуковую дорожку и субтитры, если они есть. При этом выноски — так называемые облака с текстом, которые используют для иллюстрации речи или мыслей персонажа комикса — меняют свою форму в зависимости от размера слов и эмоций героев.

Исследователи оценили работу систему в серии экспериментов. Они использовали ее для создания комиксов на основе 16 небольших фрагментов из четырех известных фильмов и сериалов: «Титаник», «Послание», «Друзья» и «Мне бы в небо». Эти видеоролики длились от двух до шести минут. Получилось неплохо, хотя качество изображения оставляет желать лучшего:

Если вам нравятся необычные изображения, то посмотрите на причудливый мир с роботами. Рисунки создал художник Алехандро Бурдисио, его работы удивляют даже гиков:

Фото: Alejandro Burdisio / Artstation