ПРИЕМНОЕ УСТРОЙСТВО, СПОСОБ ПРИЕМА, ПЕРЕДАЮЩЕЕ УСТРОЙСТВО И СПОСОБ ПЕРЕДАЧИ
RECEIVING DEVICE, RECEIVING METHOD, TRANSMITTING DEVICE AND TRANSMISSION METHOD

Область техники, к которой относится изобретение
Настоящее изобретение относится к приемному устройству, способу приема, передающему устройству и способу передачи и более конкретно относится, например, к приемному устройству, которое накладывает и отображает субтитры и графические данные на видео.
Уровень техники
Обычно, например, управление передачей данных субтитров в растровых данных выполнялось в режиме широковещания, например, цифрового видеовещания (DVB). В последнее время был предложен способ передачи информации субтитр в символьном коде текста, а именно, в текстовом виде (см. Патентный документ 1).
Список литературы
Патентная литература
Патентный документ 1: выложенная заявка на патент Японии № 2012-169885
Раскрытие сущности изобретения
Техническая задача
Обычный способ передачи субтитров (титров) заключается в том, что данные отправляются с точностью, зависящей от степени разрешения видео, являющегося фоном, и, таким образом, отображение выполняется в соответствии с предпосылкой. Желательно, чтобы позиция и размер субтитров, наложенные и отображаемые на видео, можно корректировать, исходя из размера экрана монитора или позиции просмотра зрителя на стороне приема.
Задачей настоящего изобретения является предоставление возможности накладывать и отображать субтитры (графическое изображение) на видео.
Решение технической задачи
Согласно концепции настоящего изобретения приемное устройство включает в себя: блок приема, выполненный с возможностью принимать контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий видеоданные и поток субтитров, содержащий данные субтитров; и блок управления, выполненный с возможностью управлять процессом декодирования видео для декодирования видеопотока для получения видеоданных, процессом декодирования субтитров для декодирования потока субтитров для получения растровых данных субтитров, процессом обработки субтитров для выполнения процесса коррекции, по меньшей мере, одного из размера субтитров и позиции отображения субтитров, растровых данных субтитров и процессом наложения видео для наложения растровых данных субтитров на обработанные видеоданные.
В соответствии с настоящим изобретением блок приема принимает контейнер в заданном формате, причем контейнер включает в себя видеопоток, имеющий видеоданные, и поток субтитров, имеющий данные субтитров. Блок управления управляет процессом обработки декодирования видео, процессом декодирования субтитров, обработкой субтитров и обработкой наложения видео. Видеопоток декодируется для получения видеоданных в процессе декодирования видео. Поток субтитров декодируется для получения растровых данных субтитров в процессе декодирования субтитров.
Процесс корректировки, по меньшей мере, одного из размера субтитров и позиции отображения субтитров, растровых данных субтитров в процессе обработки субтитров. Кроме того, растровые данные субтитров, на которых выполнялась обработка, накладываются на видеоданные в процессе наложения видео.
В соответствии с настоящим изобретением процесс корректировки, по меньшей мере, одного из размера субтитров и позиции отображения субтитров, может быть выполнен для растровых данных субтитров так, что субтитры могли быть наложены и отображены на видео наилучшим образом.
Следует отметить, что в соответствии с настоящим изобретением, например, по меньшей мере, один из размера субтитров и позиции отображения субтитров могут автоматически корректироваться на основании информации позиции просмотра и информации о размере монитора при обработке субтитров. Автоматическая коррекция выполняется таким образом, чтобы пользователь мог изменить размер или позицию отображения субтитров на соответствующее состояние таким образом, чтобы зрителю не потребовалось выполнять трудоемкую операцию настройки.
В этом случае, например, может быть дополнительно предоставлен блок получения информации, который получает информацию о позиции просмотра. Кроме того, в этом случае, например, при обработке субтитров можно вычислить следующее выражение: R = D/(M_h * f), где D является расстоянием просмотра, M_h, представляет собой высоту монитора, f представляет значение, зависящее от разрешения видео, выполнить коррекцию уменьшения масштаба размера субтитров, когда R меньше первого порогового значения, и выполнить коррекцию увеличения масштаба размера субтитров, когда R больше второго порогового значения, большего, чем первое пороговое значение.
Дополнительно, в этом случае, например, при обработке субтитров, когда позиция просмотра по горизонтали находится за пределами конечной точки области в горизонтальном направлении, область является областью, на которой отображаются субтитры, позиция области может перемещаться в горизонтальную позицию просмотра в горизонтальном направлении в соответствии с расстоянием от конечной точки до горизонтальной позиции просмотра, чтобы автоматически корректировать позицию отображения субтитров. Дополнительно, в этом случае, например, при обработке субтитров, когда вертикальная позиция просмотра находится за пределами конечной точки области в вертикальном направлении, область является областью, на которой отображаются субтитры, позиция области может быть перемещена в вертикальную позицию просмотра в вертикальном направлении в соответствии с расстоянием от конечной точки до вертикальной позиции просмотра, чтобы автоматически корректировать позицию отображения субтитров.
Дополнительно, в соответствии с настоящим изобретением, например, по меньшей мере, один из размера субтитров и позиции отображения субтитров могут быть скорректированы на основе пользовательской операции в обработке субтитров. В этом случае пользователь, такой как зритель, может установить размер или позицию отображения субтитров в нужное состояние.
Дополнительно, в соответствии с настоящим изобретением, например, величина коррекции, по меньшей мере, одного из размера и позиции отображения субтитров может быть ограничена в пределах допустимого диапазона при обработке субтитров. Величина коррекции ограничена в пределах допустимого диапазона, с целью недопущения чрезмерной коррекции.
В этом случае, например, может быть дополнительно обеспечен, например, блок извлечения информации для извлечения информации о допустимом диапазоне коррекции из уровня потока субтитров, причем информация о допустимом диапазоне коррекции вставлена в уровень потока субтитров. При обработке субтитров коррекция может быть ограничена в пределах допустимого диапазона на основании информации о допустимом диапазоне, которая была извлечена. В этом случае, информация о допустимом диапазоне, вставленная в уровень потока субтитров, используется таким образом, чтобы можно было соответствующим образом выполнить ограничение величины коррекции размера или коррекции позиции отображения субтитров.
Дополнительно, согласно другой концепции настоящего изобретения, передающее устройство включает в себя: блок передачи, выполненный с возможностью передавать контейнер в заданном формате, причем контейнер включает в себя видеопоток, имеющий видеоданные, и поток субтитров, имеющий данные субтитров; и блок вставки информации, выполненный с возможностью вставлять, по меньшей мере, один из фрагмента информации, указывающего допустимый диапазон коррекции размера субтитров, и фрагмента информации, указывающего допустимый диапазон коррекции позиции отображения субтитров, в уровень потока субтитров.
В соответствии с настоящим изобретением блок передачи передает контейнер в заданном формате, причем контейнер включает в себя видеопоток, имеющий видеоданные, и поток субтитров, имеющий данные субтитров. Блок вставки информации вставляет, по меньшей мере, один из фрагмент информации, указывающий допустимый диапазон коррекции размера субтитров, и фрагмент информации, указывающий допустимый диапазон коррекции позиции отображения субтитров, в уровень потока субтитров.
В соответствии с настоящим изобретением, информация о допустимом диапазоне коррекции размера или позиции отображения субтитров вставляется в уровень потока субтитров. Следовательно, коррекция размера или коррекция позиции отображения субтитров могут быть соответственно ограничены информацией о допустимом диапазоне коррекции на стороне приема.
Дополнительно, в соответствии с другой концепцией настоящего изобретения приемное устройство включает в себя: блок приема, выполненный с возможностью принимать контейнер в заданном формате, причем контейнер включает в себя видеопоток, содержащий видеоданные, и поток графических данных, содержащий графические данные; и блок управления, выполненный с возможностью управления процессом декодирования видео для декодирования видеопотока для получения видеоданных, процессом декодирования графических данных для декодирования потока графических данных для получения растровых данных графики, процессом обработки графических данных для выполнения процесса коррекции, по меньшей мере, одного из размера графики и позиции отображения графических данных в растровых данных графики, и процессом наложения видео для наложения растровых данные графики на обработанные видеоданные.
Дополнительно, согласно другой концепции настоящего изобретения, передающее устройство включает в себя: блок передачи, выполненный с возможностью передачи контейнера в заданном формате, причем контейнер включает в себя видеопоток, содержащий видеоданные, и поток графических данных, содержащий графические данные; и блок вставки информации, выполненный с возможностью вставлять по меньшей мере один из фрагмента информации, указывающего допустимый диапазон коррекции размера графики, и фрагмент информации, указывающий допустимый диапазон коррекции позиции отображения графики, в уровень потока графических данных.
Полезные эффекты изобретения
В соответствии с настоящим изобретением субтитры могут быть наложены и отображены на видео наилучшим образом. Следует отметить, что эффекты, описанные в настоящем изобретении, являются только примерами, но не ограничиваются ими и, таким образом, могут быть предоставлены дополнительные эффекты.
Краткое описание чертежей
Фиг. 1 представляет собой блок-схему примерной конфигурации приемо-передающей системы согласно варианту осуществления.
Фиг. 2 представляет собой блок-схему примерной конфигурации передающего устройства.
Фиг. 3 представляет собой таблицу TTML структуры.
Фиг. 4 показывает иллюстративные структуры соответствующих элементов метаданных (метаданных), форматирования (стиль) и размещения (позиция) данных, содержащиеся в заголовке (заголовок) TTML структуры.
Фиг. 5 показывает схему для описания начального и конечной позиций области.
Фиг. 6 представляет собой таблицу примерной структуры тела (тела) в TTML структуре.
Фиг. 7 представляет собой таблицу примерной структуры сегмента композиции страницы.
Фиг. 8 представляет собой таблицу примерной структуры сегмента композиции области.
Фиг. 9 представляет собой таблицу примерной структуры сегмента CLUT определения.
Фиг. 10 иллюстрирует таблицу примерной структуры сегмента масштабирования области, в которую была вставлена информация, указывающая допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, и таблицу описаний основной информации в примерной структуре.
Фиг. 11 представляет собой таблицу примерной структуры стиля (TTS), в которую была вставлена информация, указывающая допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров.
Фиг. 12 показывает схему для описания автоматической коррекции позиции области (позиция отображения субтитров) на стороне приема.
Фиг. 13 показывает схему расстояния D просмотра и высота M_h монитора.
Фиг. 14 представляет собой схему для описания автоматической коррекции позиции области (позиция отображения субтитров) на стороне приема.
Фиг. 15 показывает схему примерной конфигурации транспортного потока TS.
Фиг. 16 показывает блок-схему примерной конфигурации приемного устройства.
Фиг. 17 показывает схемы для описания конфигурации получения информации о позиции просмотра.
Фиг. 18 показывает схемы для описания коррекций размера и позиции отображения субтитров.
Фиг. 19 показывает блок-схему алгоритма процесса примерной автоматической коррекции размера субтитров в блоке преобразования размера/позиции.
Фиг. 20 показывает блок-схему алгоритма процесса примерной коррекции размера субтитров в блоке преобразования размера/позиции на основании пользовательской операции.
Фиг. 21 показывает блок-схему процесса примерной автоматической коррекции позиции отображения субтитров в блоке преобразования размера/позиции.
Фиг. 22 показывает блок-схему алгоритма процесса примерной коррекции позиции отображения субтитров в блоке преобразования размера/позиции на основании пользовательской операции.
Осуществление изобретения
Ниже будет описан способ осуществления изобретения (далее именуемый как «вариант осуществления»). Обратите внимание, что описание будет приведено в следующем порядке.
1. Вариант осуществления
2. Модификация
1. Вариант осуществления
Примерная конфигурация приемо-передающей системы
Фиг.1 иллюстрирует примерную конфигурацию приемо-передающей системы 10 согласно варианту осуществления. Приемо-передающая система 10 включает в себя передающее устройство 100 и приемное устройство 200.
Передающее устройство 100 генерирует транспортный поток TS MPEG2 в качестве контейнера и размещает транспортный поток TS в пакете широковещательной волны или сети, чтобы передавать транспортный поток TS. Транспортный поток TS включает в себя видеопоток, имеющий видеоданные (данные изображения).
Дополнительно, транспортный поток TS включает в себя поток субтитров, имеющий данные субтитров (данные заголовка). Здесь данные субтитров включают в себя текстовую информацию о субтитрах в заданном формате или растровые данные субтитров. Информация, указывающая допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставляется в уровень потока субтитров.
Приемное устройство 200 принимает транспортный поток TS, переданный из передающего устройства 100. Приемное устройство 200 выполняет процесс декодирования в видеопотоке, чтобы получать видеоданные, и дополнительно выполняет процесс декодирования в потоке субтитров, чтобы получить растровые данные субтитров.
Приемное устройство 200 выполняет процесс корректировки размера и позиции отображения субтитров, в растровые данные субтитров. Затем приемное устройство 200 накладывает растровые данные субтитров, на которых выполнена обработка коррекции размера и коррекции позиции отображения, на видеоданные, чтобы получать видеоданные отображения.
Приемное устройство 200 автоматически выполняет процесс коррекции на основании информации позиции просмотра и информации о размере монитора. Кроме того, приемное устройство 200 выполняет процесс коррекции на основании пользовательской операции, например, зрителем. Приемное устройство 200 ограничивает коррекцию размера и позицию отображения субтитров в пределах допустимых диапазонов.
Приемное устройство 200 извлекает информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, из уровня потока субтитров, и использует информацию при выполнении ограничений. Когда информацию о допустимом диапазоне коррекции невозможно извлечь из уровня потока субтитров, приемное устройство 200 использует информацию, установленную по умолчанию.
Примерная конфигурация передающего устройства
На фиг. 2 показана примерная конфигурация передающего устройства 100. Передающее устройство 100 включает в себя блок 101 управления, камеру 102, блок 103 оптико-электрического преобразования видео, блок 104 RGB/YCbCr преобразования, видеокодер 105, блок 106 генерирования субтитров, блок 107 преобразования текстового формата, кодер 108 субтитров, системный кодер 109 и блок 110 передачи.
Следует отметить, что, в случае передачи в качестве данных субтитров, растровые данные субтитров вместо передачи в качестве данных субтитров, текстовой информации на субтитрах, передающее устройство 100 включает в себя блок 111 генерирования растровых данных и кодер 113 субтитров вместо блока 107 преобразования текстового формата и кодера 108 субтитров.
Блок 101 управления включает в себя центральный процессор (CPU) и управляет работой каждого блока передающего устройства 100 на основании программ управления. Камера 102 захватывает объект, чтобы выводить видеоданные (данные изображения). Блок 103 оптико-электрического преобразования видео выполняет оптико-электрическое преобразование в видеоданные, полученные камерой 102, для получения видеоданных V1 передачи.
Блок 104 RGB/YCbCr преобразования преобразует передаваемые видеоданные из RGB домена в YCbCr домен (яркость / цветность). Например, видеокодер 105 выполняет кодирование, такое как MPEG4-AVC или HEVC, в видеоданные V1 передачи, преобразованные в YCbCr домен, чтобы генерировать видеопоток (PES поток) VS, включающий в себя кодированные видеоданные.
Блок 106 генерирования субтитров генерирует текстовые данные (символьный код) DT в качестве информации о субтитрах. Блок 107 преобразования текстового формата принимает текстовые данные DT, чтобы получать текстовую информацию о субтитрах в заданном формате, а именно, язык временной разметки текста (TTML) в настоящем варианте осуществления.
На фиг. 3 показана примерная структура языка временной разметки текста (TTML). TTML описывается на основе XML. В проиллюстрированном примере текущая область отображения субтитров задается с помощью «tts: extent» на позиции корневого контейнера (корневого контейнера). Например, соответствующие элементы метаданных (метаданные), форматирование (стилизация) и расположение (позиция) содержатся в заголовке (заголовок). На фиг. 4 (а) показана примерная структура метаданных (метаданные TTM: TTML). Метаданные включают в себя информацию о названии метаданных и информацию об авторском праве.
Фиг. 4 (b) иллюстрирует примерную структуру стилизации (TTS: TTML стиль). Информация стилизации включает в себя информацию, такую как позицию и размер области (область), цвет (цвет), шрифт (семейство шрифтов), размер шрифта (размер шрифта) и выравнивание текста (выравнивание теста), в дополнение к идентификатору (ID).
«tts: origin» указывает, с подсчетами пикселей, начальную позицию области (область), которая является областью отображения субтитров. «tts: origin'480px 600px’» установлена в примере и, как показано на фиг. 5, начальная позиция обозначается (480, 600). Кроме того, «tts: extent» указывает смещение отсчетов пикселей из начальной позиции в горизонтальном направлении и в вертикальном направлении на конечное положение области. "tts: extent'560px 350px '" задано в примере, и конечная позиция обозначена (480 + 560, 600 + 350). Здесь подсчет смещенных пикселей соответствуют горизонтальным и вертикальным размерам области.
"tts: opacity = '1.0' " указывает соотношение смешивания субтитров (титров) и фонового видео. Например, «1.0» означает, что учетная запись субтитров составляет 100%, и фоновое видео - 0%, и «0.1» означает, что субтитры (титры) составляют 0% и фоновое видео - 100%. «1.0» установлено в иллюстрированном примере.
На фиг. 4 (с) показана примерная структура расположения (TTML позиция). Информация расположения включает в себя информацию, такую как смещение (заполнение), цвет фона (цвет фона) и выравнивание (выравнивание отображения), в дополнение к идентификатору (id) области, в которой расположены субтитры. Обратите внимание, что информация о позиции и размере области (области) может содержаться в информации расположения.
Фиг. 6 иллюстрирует примерную структуру тела (тела). В настоящем иллюстративном примере рассматривается информация о трех субтитрах, включающая в себя субтитр 1 (субтитр 1), субтитр 2 (субтитр 2) и субтитр 3 (субтитр 3). В каждом субтитре описываются время начала отображения и время окончания отображения, а также описаны текстовые данные. Например, для субтитров 1 (субтитр 1) время начала отображения установлено на «0,76 s», время окончания отображения установлено на «3.45 s» и текстовые данные установлены на «Представляется парадоксальным, что доза не ".
Обращаясь к фиг. 2, кодер 108 субтитров преобразует TTML, полученные блоком 107 преобразования текстового формата, в различные сегменты и генерирует поток субтитров SS, включающий в себя PES пакет, включающий в себя сегменты, расположенные в полезной нагрузке.
Кроме того, блок 111 генерирования растровых данных принимает текстовые данные DT, сгенерированные блоком 106 генерирования субтитров, чтобы генерировать растровые данные субтитров. Кодер 113 субтитров преобразует растровые данные субтитров и информацию управления отображением в различные сегменты и генерирует поток субтитров SS, включающий в себя PES пакет, включающий в себя сегменты, расположенные в полезной нагрузке.
В этом случае, сегмент композиции страницы (page_composition_segment) включает в себя информацию о начальной позиции области (области), являющейся областью отображения субтитров. Фиг. 7 иллюстрирует примерную структуру (синтаксис) сегмента композиции страницы, который был традиционно известен. Поле «region_horizontal_address» и поле «region_vertical_address» указывают начальную позицию области (область).
Дополнительно, в этом случае сегмент композиции области (region_composition_segment) включает в себя информацию, указывающую горизонтальный и вертикальный размеры области. На фиг. 8 показана примерная структура (синтаксис) сегмента композиции области, которая была традиционного известна. Поле «region_width» и поле «resion_height» указывают горизонтальный и вертикальный размеры области.
Дополнительно, в этом случае сегмент определения CLUT (CLUT_definition_segment) включает в себя информацию, указывающую соотношение смешивания субтитров (титров) и фонового видео. Фиг. 9 иллюстрирует примерную структуру (синтаксис) сегмента определения CLUT, который был общеизвестным. Поле «T-value» указывает соотношение смешивания субтитров и фонового видео.
Обращаясь к фиг. 2, системный кодер 109 генерирует транспортный поток TS, включающий в себя видеопоток VS, генерируемый видеокодером 105, и поток SS субтитров, генерируемый кодером 108 субтитров или кодером 113 субтитров. Блок 110 передачи располагает транспортный поток TS в пакете широковещательной волны или сети, чтобы передавать транспортный поток TS в приемное устройство 200.
Здесь передающее устройство 100 вставляет, как описано выше, информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, в уровень потока субтитров SS. В случае, когда растровые данные субтитров передаются в качестве данных субтитров, а именно, в случае, когда транспортный поток TS включает в себя поток SS субтитров, генерируемый кодером 113 субтитров, например, сегмент, содержащий информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставляется в поток субтитров SS.
Фиг. 10(а) иллюстрирует примерную структуру (синтаксис) сегмента масштабирования области (Region_scaling_Segment), который должен быть вновь определен, и фиг. 10(b) иллюстрирует описания (семантику) основной информации в примерной структуре. Сегмент включает в себя информацию о наличии «sync_byte», «segment_type», «page_id», «segment_length», «region_id», «scale_up_factor», «scale_down_factpor», «positioning_horizontal_factor» и «positioning_vertical_factor».
8-битовое поле «segment_type» указывает тип сегмента и представляет собой сегмент масштабирования области. 8-битовое поле «segment_length» указывает длину (размер) сегмента. 8-битовое поле «region_id» указывает идентификатор, который идентифицирует область.
8-битовое поле «scale_up_factor» указывает допустимое максимальное значение коэффициента масштабирования с повышением области. 8-битовое поле «scale_down_factpor» указывает допустимое минимальное значение коэффициента масштабирования с понижением области. Информация о «scale_up_factor» и «scale_down_factpor» включена в состав информации, указывающей допустимый диапазон коррекции размера субтитров.
8-битовое поле «positioning_horizontal_factor» указывает допустимое максимальное значение коэффициента горизонтального позиционирования области. 8-битовое поле «positioning_vertical_factor» указывает допустимое максимальное значение коэффициента вертикального позиционирования области. Информация о «positioning_horizontal_factor» и «positioning_vertical_factor» включена в состав информации, указывающей допустимый диапазон коррекции позиции отображения субтитров.
Дополнительно, в случае, когда текстовая информация в субтитрах передается в качестве данных субтитров, а именно, в случае, когда транспортный поток TS включает в себя поток субтитров SS, генерируемый кодером 108 субтитров, например, то информация, указывающая допустимые диапазоны коррекции размера и коррекция позиции отображения субтитров вставляется посредством элемента стилизации (TTS).
На фиг. 11 показана примерная структура стилизации (TTS) в этом случае. «tts: scale_up_factor» указывает допустимое максимальное значение коэффициента масштабирования с повышением области. Иллюстрированный пример показывает, что допустимое максимальное значение равно «aa%». «tts: scale_down_factor» указывает допустимое минимальное значение коэффициента масштабирования с понижением области s. Иллюстрированный пример показывает, что допустимое максимальное значение равно «bb%».
«tts: positioning_horizontal_factor» указывает допустимое максимальное значение коэффициента горизонтального позиционирования области. В показанном примере показано, что допустимое максимальное значение равно «cc%». «tts: positioning_vertical_factor» указывает допустимое максимальное значение коэффициента вертикального позиционирования области. Иллюстрированный пример показывает, что допустимое максимальное значение равно «dd%».
Следует отметить, что при отсутствии подробного описания в случае, когда текстовая информация о субтитрах передается в качестве данных субтитров, считается, что информация, указывающая допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставлена посредством элемента расположения вместо использования элемента стилизации (TTS), как описано выше.
Здесь будет приведено описание процесса автоматической коррекции позиции области на стороне приема, а именно, позиции отображения субтитров. Здесь будет описан процесс автоматической коррекции в горизонтальном направлении. На фиг. 12 показан примерный случай, когда угол E просмотра (горизонтальное положение просмотра) в позиции А просмотра равен размеру M_w монитора или меньше. Здесь размер M_w монитора указывает ширину от исходной позиции O до конечного участка на левой стороне монитора в горизонтальном направлении, причем исходная позиция O является центром исходной позиции отображения области в горизонтальном направлении.
С учетом опорной точки P и конечного участка исходной позиции отображения области на стороне позиции просмотра в горизонтальном направлении, следующее выражение рассчитываются следующим образом: Q = (E - P) / 2. Когда расстояние D просмотра является подходящим расстоянием просмотра (= 3 * M_h) или более, то область не перемещается и опорная точка P позиции отображения не изменяется. Между тем, когда расстояние D просмотра меньше, чем соответствующее расстояние просмотра, область перемещается в соответствии с расстоянием D просмотра, так что опорная точка P позиции отображения расположена между Q и E. В этом случае, так как расстояние просмотра D уменьшается, E приближается. Обратите внимание, что M_h представляет собой высоту монитора, как показано на фиг. 13.
Пример, проиллюстрированный на фиг. 12, показывает случай, когда позиция А просмотра в горизонтальном направлении находится на левой стороне исходной позиции O. Не предоставляя подробное описание, позиция области автоматически корректируется аналогичным образом, даже в случай, когда позиция A просмотра в горизонтальном направлении находится на правой стороне исходной позиции O.
Дополнительно, фиг. 14 иллюстрирует примерный случай, когда угол E просмотра (горизонтальная позиция просмотра) в позиции B просмотра больше размера M_w монитора. Здесь, размер M_w монитора иллюстрирует ширину от исходной позиции O до конечного участка правой стороны монитора в горизонтальном направлении, причем исходная позиция O является центром исходной позиции отображения области в горизонтальном направлении.
В качестве опорной точки P конечный участок исходного положения отображения области на стороне положения просмотра в горизонтальном направлении вычисляется следующим выражением: Q = (M_w - P) / 2. Когда расстояние D просмотра является подходящим расстоянием просмотра (= 3 * M_h) или более, область не перемещается, и опорная точка P позиции отображения не изменяется. Между тем, когда расстояние D просмотра меньше, чем соответствующее расстояние просмотра, то область перемещается в соответствии с расстоянием просмотра D так, чтобы опорная точка P позиции отображения располагается между Q и M_w. В этом случае, когда расстояние D просмотра уменьшается, то M_w приближается.
Пример, проиллюстрированный на фиг. 14, показывает случай, когда позиция В просмотра в горизонтальном направлении находится с правой стороны от исходной позиции O. Подробное описание процесса не приводится для случая, когда позиция области автоматически корректируется аналогичным образом, даже в случае, когда позиция В просмотра в горизонтальном направлении находится на левой стороне исходной позиции O.
Как показано на фиг. 12, в случае, когда угол E просмотра в позиции А просмотра меньше размера M_w монитора, коэффициент горизонтального позиционирования, указывающий опорную точку P, равен 0%, коэффициент горизонтального позиционирования, указывающий позицию Q, равен 50%, а коэффициент горизонтального позиционирования, указывающий позицию E, составляет 100%. Кроме того, как показано на фиг. 14, в случае, когда угол E просмотра в позиции В просмотра больше размера M_w монитора, коэффициент горизонтального позиционирования, указывающий опорную точку P, составляет 0%, коэффициент горизонтального позиционирования, указывающий позицию Q, составляет 50%, и коэффициент горизонтального позиционирования, указывающий позицию M_w, составляет 100%.
Допустимое максимальное значение коэффициента горизонтального позиционирования области указывает, например, максимальное значение, допускаемое коэффициентом горизонтального позиционирования, определенным таким образом. В этом случае, допустимое максимальное значение коэффициента горизонтального позиционирования области может иметь значение 0% при минимуме и значение 100% при максимуме.
Следует отметить, при отсутствии подробного описания процесса, что автоматическая коррекция позиции области в вертикальном направлении, а именно, позиция отображения субтитров, выполняется аналогично случаю в горизонтальном направлении, описанном выше. Кроме того, допустимое максимальное значение коэффициента вертикального позиционирования области указывает максимальное значение, допускаемое коэффициентом вертикального позиционирования, определенным аналогично коэффициенту горизонтального позиционирования, описанному выше.
Следует отметить, что считается, что коэффициент горизонтального позиционирования области определяется как величина позиционирования области до размера монитора в горизонтальном направлении. В этом случае, допустимое максимальное значение коэффициента горизонтального позиционирования области указывает максимальное значение, допускаемое коэффициентом горизонтального позиционирования, определенным таким образом. Аналогичным образом считается, что коэффициент вертикального позиционирования области определяется как величина позиционирования области до размера монитора в вертикальном направлении. В этом случае, допустимое максимальное значение коэффициента вертикального позиционирования области указывает максимальное значение, допускаемое коэффициентом вертикального позиционирования, определенным таким образом. Допустимое максимальное значение коэффициента горизонтального позиционирования области и допустимого максимального значения коэффициента вертикального позиционирования области не ограничено позицией просмотра.
Примерная конфигурация транспортного потока TS
Фиг. 15 иллюстрирует примерную конфигурацию транспортного потока TS. PES пакет «Video PES1» видеопотока, идентифицированный посредством PID1, показан в примерной конфигурации. Дополнительно, PES пакет «Subtitle PES2» потока субтитров, идентифицированный посредством PID2, содержится в примерной конфигурации.
PES пакеты включают в себя PES заголовок (PES заголовок) и PES полезную нагрузку (PES полезная нагрузка). PES пакет видеопотока включает в себя кодированный видеопоток, вставленный в PES полезную нагрузку. Дополнительно, PES пакет потока субтитров включает в себя информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставленную в элемент стилизации (TTS), содержащийся в заголовке TTML структуры, или сегмент масштабирования области.
Дополнительно, транспортный поток TS включает в себя таблицу состава программы (PMT) в качестве информации о конкретной программе (PSI). PSI включает в себя информацию, описывающую, к какой программе принадлежит каждый элементарный поток, содержащийся в транспортном потоке. PMT включает в себя программный цикл (программный цикл), описывающий информацию, относящуюся ко всем программам.
Дополнительно, PMT включает в себя цикл элементарного потока, включающий в себя информацию, относящуюся к каждому элементарному потоку. Примерная конфигурация включает в себя цикл элементарного видеопотока (ES цикл видео), соответствующий видеопотоку и цикл элементарного потока субтитров (ES цикл субтитров), соответствующий потоку субтитров.
Цикл элементарного потока видео (ES цикл видео) включает в себя информацию, такую как тип потока и идентификатор пакета (PID), сформированный в ответ на видеопоток, и дополнительно включает в себя дескриптор, описывающий информацию, относящуюся к видеопотоку. Значение «Stream_type» видеопотока устанавливается, например, на значение, обозначающее HEVC видеопоток, и PID информация указывает PID1, заданный PES пакету «видео PES1» видеопотока.
Цикл элементарного потока субтитров (ES цикл субтитров) включает в себя информацию, такую как тип потока и PID (идентификатор пакета), сформированный в ответ на поток субтитров и дополнительно включающий в себя дескриптор, описывающий информацию, относящуюся к потоку субтитров. Значение «Stream_type» потока субтитров устанавливается, например, на значение, указывающее частный поток, и PID информация указывает PID2, присвоенный PES пакету «Subtitle PES2» потока субтитров.
Далее будет приведено описание процесса функционирования передающего устройства 100, показанного на фиг.2. Видеоданные (данные изображения), захваченные и полученные камерой 102, подаются в блок 103 оптико-электрического преобразования видео. Блок 103 оптико-электрического преобразования видео выполняет оптико-электрическое преобразование видеоданных, полученных камерой 102, чтобы получить видеоданные V1 передачи.
Видеоданные V1 передачи, полученные блоком 103 оптико-электрического преобразования видео, преобразуются из RGB домена в YCbCr домен (яркость/цветность) блоком 104 RGB/YCbCr преобразования для поставки в видеокодер 105. Видеокодер 105 выполняет кодирование, такое как MPEG4-AVC или HEVC, видеоданных V1 передачи, чтобы генерировать видеопоток (PES поток) VS, включающий в себя кодированные видеоданные.
Блок 106 генерирования субтитров генерирует текстовые данные (символьный код) DT в качестве информации субтитров. В случае, когда текстовая информация субтитров передается в качестве данных субтитров, текстовые данные DT подаются в блок 107 преобразования текстового формата.
Блок 107 преобразования текстового формата выполняет преобразование текстовой информации в субтитры, включающей в себя время отображения, а именно, TTML, на основании текстовых данных DT (см. фиг. 3). TTML подается в кодер 108 субтитров.
Кодер 108 субтитров преобразует TTML, полученный блоком 107 преобразования текстового формата, в различные сегменты и генерирует поток субтитров SS, включающий в себя PES пакет, включающий в себя сегменты, находящиеся в полезной нагрузке.
Дополнительно, в случае, когда растровые данные субтитров передаются в качестве данных субтитров, текстовые данные DT, сгенерированные блоком 106 генерирования субтитров, подаются в блок 111 генерирования растровых данных.
Блок 111 генерирования растровых данных генерирует растровые данные субтитров на основании текстовых данных DT. Растровые данные субтитров подаются в кодер 113 субтитров. Кодер 113 субтитров преобразовывает растровые данные M1 передачи и информацию управления отображением в различные сегменты и генерирует поток субтитров SS, включающий в себя PES пакет, включающий в себя сегменты, расположенные в полезной нагрузке.
Видеопоток VS, генерируемый видеокодером 105, подается в системный кодер 109. Поток субтитров SS, генерируемый кодером 108 субтитров или кодером 113 субтитров, подается в системный кодер 109. Системный кодер 109 генерирует транспортный поток TS, включающий в себя видеопоток VS и поток субтитров SS. Блок 110 передачи размещает транспортный поток TS в пакете широковещательной волны или сети, чтобы передавать транспортный поток TS в приемное устройство 200.
Дополнительно, передающее устройство 100 вставляет информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, в уровень потока субтитров SS. В случае, когда растровые данные субтитров передаются в качестве данных субтитров, сегмент масштабирования области, который должен быть вновь определен, включающий в себя информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставляется в поток субтитров SS (см. фиг. 10). Кроме того, в случае, когда текстовая информация субтитров передается в качестве данных субтитров, например, информация, указывающая допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставляется посредством элемента стилизации (TTS) (см. фиг. 11).
Пример конфигурации приемного устройства
На фиг. 16 показана примерная конфигурация приемного устройства 200. Приемное устройство 200 включает в себя блок 201 управления, блок 202 приема, системный декодер 203, видеодекодер 204, декодер 206 субтитров, блок 207 расширения шрифта, блок 208 RGB / YCbCr преобразования и декодер 209 субтитров.
Дополнительно, приемное устройство 200 включает в себя блок 210 преобразования размера/позиции, блок 211 преобразования размера/позиции, блок 212 наложения видео, блок 213 YCbCr/RGB преобразования, блок 214 электрооптического преобразования, блок 215 сопоставления отображения, СЕ монитор 216, блок 231 управления пользователя и датчик 232 изображения.
Блок 201 управления включает в себя центральный процессор (CPU) и управляет работой каждого блока приемного устройства 200 на основании программ управления. Блок 231 управления пользователя включает в себя, например, переключатели, сенсорную панель и блок передачи пульта дистанционного управления, с помощью которых пользователь, такой как зритель, выполняет различные операции. Как показано на фиг. 17 (a), датчик 232 изображения расположен на передней стороне приемного устройства 200 и получает изображение, включающее в себя изображение зрителя перед монитором, чтобы отправить изображение в блок 201 управления.
Датчик 232 изображения вместе с блоком 201 управления расположены в блоке сбора информации, который получает информацию о позиции просмотра. Блок 201 управления анализирует изображение, полученное датчиком 232 изображения, и обнаруживает местоположение зрителя таким образом, чтобы получить информацию о позиции просмотра (расстояние просмотра D и угол E обзора). Следует отметить, что конфигурация получения информации о позиции просмотра не ограничивается конфигурацией с датчиком 232 изображения. Например, как показано на фиг. 17 (b), в случае, когда смартфон, имеющий функцию определения местоположения GPS, используется в качестве дистанционного контроллера, считается, что используется информация о местоположении, полученная функцией определения местоположения смартфона.
Блок 202 приема принимает транспортный поток TS, переданный из передающего устройства 100, причем транспортный поток TS расположен в пакете широковещательной волны или сети. Системный декодер 203 извлекает видеопоток VS и поток субтитров SS из транспортного потока TS.
Видеодекодер 204 выполняет обработку декодирования видеопотока VS, извлеченного системным декодером 203, чтобы вывести видеосигналы V1 передачи. Кроме того, видеодекодер 204 извлекает набор параметров и сообщение SEI, вставленное в каждый блок доступа, содержащийся в видеопотоке VS, чтобы отправить набор параметров и сообщение SEI в блок 201 управления.
Декодер 206 субтитров работает в случае, когда текстовая информация субтитров передается в качестве данных субтитров. Декодер 206 субтитров выполняет обработку декодирования сегментированных данных каждой области, содержащиеся в потоке субтитров SS, чтобы получать текстовые данные и управляющий код каждой области. Управляющий код включает в себя информацию о соотношении компонентов (данные смешивания) субтитр и фонового видео.
Дополнительно, декодер 206 субтитров извлекает информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставленную в поток субтитров SS, чтобы отправить информацию в блок 201 управления. В этом случае, информация была вставлена посредством элемента стилизации (TTS). При таком расположении блок 201 управления распознает допустимое максимальное значение коэффициента масштабирования области, допустимое минимальное значение коэффициента масштабирования области, допустимое максимальное значение коэффициента горизонтального позиционирования области и допустимое максимальное значение коэффициента вертикального позиционирования области.
Блок 207 расширения шрифта выполняет расширение шрифта на основании текстовых данных и управляющего кода каждой области, полученной декодером 206 субтитров, чтобы получать растровые данные каждой области. Растровые данные субтитров получают в RGB домене. Блок 208 RGB/YCbCr преобразования преобразовывает растровые данные субтитров, полученных блоком 207 расширения шрифта, из RGB домена в YCbCr домен (яркость / цветность).
Декодер 209 субтитров работает в случае, когда растровые данные субтитров передаются в качестве данных субтитров. В этом случае данные, содержащиеся в потоке субтитров SS, передаются в CLUT. Декодер 209 субтитров выполняет обработку декодирования потока субтитров SS, чтобы получать растровые данные субтитров и информацию о соотношении (данные смешивания) субтитров и фонового видео.
Дополнительно, декодер 209 субтитров извлекает информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставленных в поток субтитров SS, чтобы отправить информацию в блок 201 управления. В этом случае, информация была вставлена в сегмент масштабирования области. При таком расположении блок 201 управления распознает допустимое максимальное значение коэффициента масштабирования области, допустимое минимальное значение коэффициента масштабирования области, допустимое максимальное значение коэффициента горизонтального позиционирования области и допустимое максимальное значение коэффициента вертикального позиционирования области.
Блок 210 преобразования размера/позиции выполняет обработку коррекции размера и позиции отображения субтитров, к растровым данным субтитров, выводимых из блока 208 RGB / YCbCr преобразования или декодера 209 субтитров.
Блок 210 преобразования размера/позиции автоматически выполняет обработку коррекции на основании информации о позиции просмотра и информации о размере монитора под управлением блока 201 управления. Кроме того, блок 210 преобразования размера/позиции выполняет обработку коррекции на основании пользовательской операции, например, зрителем. В этом случае блок 210 преобразования размера/позиции дополнительно принимает информацию коррекции посредством пользовательской операции после выполнения автоматической коррекции.
В качестве альтернативы, блок 210 преобразования размера/позиции может осуществлять автоматическую коррекцию в состояние остановки посредством пользовательской операции и принимает в этом случае только информацию коррекции посредством пользовательской операции. Кроме того, в альтернативном варианте блок 210 преобразования размера/позиции может перевести операцию коррекции с помощью пользовательской операции в состояние отклонения и выполнить в этом случае только автоматическую коррекцию.
Блок 210 преобразования размера/позиции ограничивает величину коррекции размера и позиции отображения субтитров в допустимых диапазонах. Здесь в основном используется информация, указывающая допустимые диапазоны, извлеченные из потока субтитров SS. Однако, когда информация, указывающая допустимые диапазоны, не извлекается из потока субтитров SS, используется информация, установленная по умолчанию.
Фиг. 18 (а) иллюстрирует примерное состояние отображения субтитров (титров) на экране в случае, когда размер монитора мал. Фиг. 18 (b) иллюстрирует примерное состояние отображения субтитров (титров) на экране в случае большого размера монитора. Коррекция размера субтитров не была выполнена в примере. В этом случае размер субтитров увеличивается пропорционально размеру монитора. Поэтому, когда расстояние от зрителя до монитора, а именно, малое расстояние просмотра, размер субтитров чрезмерно большой, так что зрителю некомфортно. Кроме того, в этом случае, если фронтальная позиция зрителя удалена от позиции отображения субтитров на значительное расстояние, то зритель с трудом просматривает субтитры естественным образом.
На фиг. 18 (с) показано примерное состояние отображения субтитров на экране в случае большого размера монитора. Коррекция масштаба была выполнена с размером субтитров в примере и, таким образом, состояние представляет собой случай, когда зритель не испытывает неудобства, даже при малом расстоянии просмотра. Кроме того, в этом примере была выполнена коррекция позиционирования, чтобы приблизить позицию отображения субтитров к фронтальной позиции зрителя, чтобы зритель мог легко просматривать субтитры естественным образом.
Описание процесса коррекции размера субтитров
Будет описан процесс коррекции размера субтитров в блоке 210 преобразования размера/позиции. Во-первых, будет описана автоматическая коррекция. В случае, когда разрешение видео на мониторе равно HD, соответствующее расстояние просмотра выражается соотношением расстояния до монитора и высоты монитора, и его значение равно «3». Однако следует отметить, что значение изменяется в случае, когда разрешение видео представляет собой UHD. То есть, значение невелико, а именно, просмотр может выполняться с близкого расстояния.
В случае, когда в режиме, в котором допускается автоматическая коррекция, блок 210 преобразования размера/позиции выполняет автоматическую коррекционную обработку размера субтитров. Блок 210 преобразования размера/позиции сначала вычисляет R с помощью математической формулы (1), как указано ниже, включающая в себя D, представляющая собой расстояние просмотра, M_h представляет собой высоту монитора и f представляет значение, зависящее от разрешения видео. Обратите внимание, что значение f имеет большее значение по мере увеличения разрешения видео.
R = D/(M_h * f) ... (1)
Затем блок 210 преобразования размера/позиции выполняет коррекцию размера субтитров (масштабирование с повышением или масштабирование с понижением) в соответствии с величиной R до порогового значения. Коррекция размера субтитров соответствует коррекции размера диапазона области. Блок 210 преобразования размера/позиции выполняет обработку интерполяции на растровые данные субтитров, чтобы выполнять коррекцию размеров субтитров.
Блок 210 преобразования размера/позиции выполняет коррекцию масштабирования с понижением по размеру субтитров, когда R меньше порогового значения TH1, и выполняет коррекцию масштабирования с повышением по размеру субтитров, когда R больше порогового значения TH2 больше порогового значения TH1. В этом случае блок 210 преобразования размера/позиции ограничивает коррекцию размера субтитров в пределах допустимого диапазона.
Блок-схема алгоритма, показанная на фиг. 19, иллюстрирует примерный процесс автоматической коррекции размера субтитров в блоке 210 преобразования размера/позиции. Обратите внимание, что здесь соответствующая обработка в блоке 201 управления будет также описана как обработка блока 210 преобразования размера/позиции.
Блок 210 преобразования размера/позиции сначала начинает обработку на этапе ST1. Затем блок 210 преобразования размера/позиции на этапе ST2 получает информацию о расстоянии D просмотра, высоты M_h монитора и информацию о разрешении видео. Затем блок 210 преобразования размера/позиции рассчитывает на этапе ST3 R с помощью математической формулой (1), описанной выше.
Затем блок 210 преобразования размера/позиции на этапе ST4 определяет, выполнено ли следующее выражение: R < TH1. При определении того, что следующее выражение не было выполнено: R < TH1, блок 210 преобразования размера/позиции на этапе ST5 определяет, выполняется ли следующее выражение: R > TH2. При определении того, что следующее выражение не было выполнено: R> TH2, блок 210 преобразования размера/позиции завершает обработку на этапе ST6. То есть, в этом случае блок 210 преобразования размера/позиции оставляет размер субтитров неизменным без коррекции.
Когда блок 210 преобразования размера/позиции на этапе ST5 определяет, что выполнено следующее выражение: R > TH2, обработка переходит к этапу ST7. На этапе ST7 блок 210 преобразования размера/позиции масштабирует с повышением размер субтитров с заданным коэффициентом. Излишне говорить, что коэффициент масштабирования ограничен в допустимом диапазоне. После обработки на этапе ST7 блок 210 преобразования размера/позиции завершает обработку на этапе ST6.
Дополнительно, когда блок 210 преобразования размера/позиции на этапе ST4 определяет, что выполнено следующее выражение: R < TH1, обработка переходит к этапу ST8. На этапе ST8 блок 210 преобразования размера/позиции уменьшает размер субтитров с заданным коэффициентом. Излишне говорить, что коэффициент масштабирования ограничен в допустимом диапазоне. После обработки на этапе ST8 блок 210 преобразования размера/позиции завершает обработку на этапе ST6.
Затем будет описан процесс коррекции размера субтитров в блоке 210 преобразования размера/позиции на основании пользовательской операции. В этом случае блок 231 пользовательского управления поставляет операционную информацию о масштабировании с увеличением или уменьшением размера субтитров в блок 201 управления. Блок 210 преобразования размера/позиции выполняет коррекцию размера субтитров в соответствии с пользовательской операцией, на основании команды из блока 201 управления.
Блок-схема алгоритма, показанная на фиг. 20, иллюстрирует примерный процесс коррекции размера субтитров в блоке 210 преобразования размера/позиции на основании пользовательской операции. Блок-схема алгоритма соответствует операции пользователя, и процесс по блок-схеме алгоритма повторяется в случае, когда процесс выполняется последовательно.
Блок 210 преобразования размера/позиции начинает обработку на этапе ST11. Затем блок 210 преобразования размера/позиции определяет на этапе ST12, является ли команда из блока 201 управления порядком масштабирования с увеличением или порядком масштабирования с уменьшением размера субтитров. При определении порядка масштабирования с увеличением блок 210 преобразования размера/позиции масштабирует с увеличением на этапе ST13 размер субтитров на заданный коэффициент, когда верхний ограничивающий коэффициент не был достигнут.
То есть, в этом случае, когда коэффициент масштабирования размера субтитров уже достиг допустимого максимального значения посредством автоматической коррекции или обработки коррекции на основе предшествующей пользовательской операции, блок 210 преобразование размера/позиции не выполняет обработку масштабирования с повышением на этапе ST13. Следует отметить, что в этом случае СЕ монитор 216 может отображать пользователю уведомление о том, что обработка масштабирования с повышением невозможна для выполнения на основании операции управления блоком 201 управления.
После обработки на этапе ST13 блок 210 преобразования размера/позиции завершает обработку на этапе ST14.
Дополнительно, при определении порядка масштабирования с понижением на этапе ST12, блок 210 преобразования размера/позиции уменьшает на этапе ST15 размер субтитров на заданный коэффициент, когда коэффициент нижнего ограничения не был достигнут.
То есть, в этом случае в случае, когда коэффициент масштабирования с понижением размера субтитров уже достиг допустимого минимального значения посредством автоматической коррекции или обработки коррекции на основе предшествующей пользовательской операции, блок 210 преобразования размера/позиции не выполняет обработку масштабирования с понижением на этапе ST15. Следует отметить, что в этом случае СЕ монитор 216 может отображать пользователю уведомление о невозможности выполнения операции масштабирования с понижением на основании команды блока 201 управления.
После обработки на этапе ST15 блок 210 преобразования размера/позиции завершает обработку на этапе ST14.
Описание процесса коррекции позиции отображения субтитров
Далее будет приведено описание процесса коррекции позиции отображения субтитров в блоке 210 преобразования размера/позиции. Во-первых, будет описан процесс автоматической коррекции. В этом случае, когда в режиме, в котором разрешена автоматическая коррекция, блок 210 преобразования размера/позиции автоматически выполняет коррекцию позиции отображения субтитров, как описано на фиг. 12 и фиг. 14.
Блок-схема последовательности операций на фиг. 21 иллюстрирует примерный процесс автоматической коррекции позиции отображения субтитров в блоке 210 преобразования размера/позиции. Обратите внимание, что здесь соответствующая обработка в блоке 201 управления будет также описана как обработка блока 210 преобразования размера/позиции.
Блок 210 преобразования размера/позиции сначала начинает обработку на этапе ST21. Затем блок 210 преобразования размера/позиции на этапе ST22 получает информацию о расстоянии D просмотра, угла E просмотра, высоты M_h монитора, ширины M_w монитора и информацию о разрешении видео. Затем блок 210 преобразования размера/позиции на этапе ST23 принимает в качестве опорной точки P конечный участок исходной позиции отображения области на стороне позиции просмотра. В этом случае, исходная позиция отображения области является позицией отображения после выполнения процесса коррекции размера, когда выполняется процесс коррекции размера субтитров.
Затем блок 210 преобразования размера/позиции на этапе ST24 определяет, является ли угол E просмотра размером M_w монитора или меньше. При определении того, что угол E просмотра равен размеру M_w монитора или меньше, блок 210 преобразования размера/позиции рассчитывает на этапе ST25 Q посредством указанной ниже математической формулы (2).
Q = (E - P)/2 ... (2)
Затем блок 210 преобразования размера/позиции на этапе ST26 определяет, является ли расстояние D просмотра надлежащим расстоянием (= 3 * M_h) просмотра или более. При определении того, что расстояние D просмотра является подходящим расстоянием просмотра или больше, блок 210 преобразования размера/позиции на этапе ST27 оставляет опорную точку P позиции отображения без перемещения области. После обработки на этапе ST27 блок 210 преобразования размера/позиции завершает обработку на этапе ST28.
Дополнительно, когда блок 210 преобразования размера/позиции на этапе ST26 определяет, что расстояние D просмотра меньше, чем надлежащее расстояние просмотра, процесс обработки переходит к этапу ST29. На этапе ST29 блок 210 преобразования размера/позиции перемещает область в соответствии с расстоянием D просмотра, так что опорная точка P позиции отображения расположена между Q и E. В этом случае, когда расстояние D просмотра уменьшается, E приближается. После обработки на этапе ST29 блок 210 преобразования размера/позиции завершает обработку на этапе ST28.
Дополнительно, когда блок 210 преобразования размера/позиции на этапе ST24 определяет, что угол E просмотра больше, чем размер M_w монитора, процесс обработки переходит к этапу ST30. На этапе ST30 блок 210 преобразования размера/позиции вычисляет Q с использованием приведенной ниже математической формулы (3).
Q = (M_w - P)/2 ... (3)
Затем блок 210 преобразования размера/позиции на этапе ST31 определяет, является ли расстояние D просмотра подходящим расстоянием (= 3 * M_h) просмотра или более. При определении того, что расстояние D просмотра является подходящим расстоянием просмотра или больше, блок 210 преобразования размера/позиции на этапе ST32 не перемещает опорную точку P позиции отображения области. После обработки на этапе ST32 блок 210 преобразования размера/позиции завершает обработку на этапе ST28.
Дополнительно, когда блок 210 преобразования размера/позиции на этапе ST31 определяет, что расстояние D просмотра меньше, чем надлежащее расстояние просмотра, то процесс обработки переходит к этапу ST33. На этапе ST33 блок 210 преобразования размера/позиции перемещает область в соответствии с расстоянием D просмотра, так что опорная точка P позиции отображения расположена между Q и M_w в соответствии с расстоянием D. В этом случае, по мере уменьшения расстояния D просмотра, M_w приближается. После обработки на этапе ST33 блок 210 преобразования размера/позиции завершает обработку на этапе ST28.
Далее будет описан процесс коррекции позиции отображения субтитров в блоке 210 преобразования размера/позиции на основе пользовательской операции. В этом случае блок 231 пользовательского управления передает информацию операции позиционирования о позиции отображения субтитров в горизонтальном или вертикальном направлении в блок 201 управления. Обратите внимание, что информация операции позиционирования включает в себя информацию о направлениях позиционирования, а именно, информацию, указывающую правую или левую сторону в горизонтальном направлении, и информацию, указывающую вверх или вниз в вертикальном направлении. Блок 210 преобразования размера/позиции выполняет коррекцию позиции отображения субтитров, соответствующих операции пользователя, на основе команды из блока 201 управления.
Блок-схема последовательности операций на фиг. 22 иллюстрирует примерный процесс коррекции позиции отображения субтитров в блоке 210 преобразования размера/позиции на основании пользовательской операции. Блок-схема алгоритма соответствует операции пользователя, и процесс обработки блок-схемы алгоритма повторяется в случае, когда процесс выполняется последовательно.
Блок 210 преобразования размера/позиции начинает процесс на этапе ST41. Затем блок 210 преобразования размера/позиции на этапе ST42 определяет, является ли команда из блока 201 управления порядком позиционирования в горизонтальном направлении (направление Н) или порядком позиционирования в вертикальном направлении (направление V) для позиции отображения субтитров.
При определении порядка позиционирования в направлении Н блок 210 преобразования размера/позиции перемещает на этапе ST43 область в определенном направлении (справа или слева) в диапазоне, в котором коэффициент позиционирования не превышает допустимое максимальное значение. Блок 210 преобразования размера/позиции может не выполнять обработку позиционирования на этапе ST13. Следует отметить, что в этом случае СЕ монитор 216 может отображать пользователю уведомление о невозможности выполнения обработки позиционирования на основании команды блока 201 управления.
После обработки на этапе ST43 блок 210 преобразования размера/позиции завершает обработку на этапе ST44.
Дополнительно, когда блок 210 преобразования размера/позиции на этапе ST42 определяет порядок позиционирования в направлении V, блок 210 преобразования размера/позиции перемещает на этапе ST45 область в заданном направлении (вверх или вниз) в диапазоне, в котором коэффициент позиционирования не превышает допустимого максимального значения. Блок 210 преобразования размера/позиции может не выполнять обработку позиционирования на этапе ST45. Следует отметить, что в этом случае СЕ монитор 216 может отображать пользователю уведомление о невозможности выполнения обработки позиционирования на основании команды блока 201 управления.
После обработки на этапе ST45 блок 210 преобразования размера/позиции завершает обработку на этапе ST44.
Обращаясь к фиг. 16, блок 211 преобразования размера/позиции выполняет, коррекционную обработку информации о соотношении смешивания (данные смешивания), выводимой из декодера 209 субтитров, аналогичную обработке коррекции размера и позиции отображения субтитров в блоке 211 преобразования размера/позиции.
Блок 212 наложения видео накладывает растровые данные субтитров, которые блок 210 преобразования размера/позиции были откорректированы по размеру и позиции отображения, на видеоданные V1 передачи, полученные видеодекодером 204. В этом случае, блок 212 наложения видео смешивает растровые данные субтитров в соотношении смешивания, указанном информацией о соотношении смешивания (данные смешивания).
В этом случае, когда текстовая информация о субтитрах передается в качестве данных субтитров со стороны передачи, используется информация о соотношении смешивания (данные смешивания), полученная декодером 206 субтитров. Между тем, когда растровые данные субтитров передаются в качестве данных субтитров со стороны передачи, используется информация о соотношении смешивания (данные смешивания), на которой блок 211 преобразования размера/позиции выполнил обработку коррекции размера и позиции отображения.
Блок 213 YCbCr/RGB преобразования преобразовывает передаваемые видео данные V1', на которые накладываются растровые данные субтитров, из YCbCr домена (яркость/цветность) в RGB домен. Блок 214 электрооптического преобразования применяет к видеоданным V1’ передачи, преобразованные в RGB домен, характеристику электрооптического преобразования, соответствующую характеристике оптико-электрического преобразования, применяемой к видеоданным V1' передачи, для выполнения электрооптического преобразования, чтобы отобразить видеоданные для отображения изображения.
Блок 215 сопоставления отображения выполняет, к данным отображения видео, настройку яркости дисплея, соответствующую, например, максимальной величине отображения яркости СЕ монитора 216. СЕ Монитор 216 отображает изображение на основании данных отображения видео. СЕ монитор 216 включает в себя, например, жидкокристаллический дисплей (LCE) или органический дисплей электролюминесценции (органический EL дисплей).
Далее будет приведено описание процесса функционирования приемного устройства 200, показанного на фиг.16. Блок 202 приема принимает транспортный поток TS, переданный из передающего устройства 100, причем транспортный поток TS расположен в пакете широковещательной волны или сети. Транспортный поток TS подается в системный декодер 203. Системный декодер 203 извлекает видеопоток VS и поток субтитров SS из транспортного потока TS.
Видеопоток VS, извлеченный системным декодером 203, подается в видеодекодер 204. Видеодекодер 204 выполняет обработку декодирования в видеопотоке VS, чтобы получить видеоданные V1 передачи. Кроме того, видеодекодер 204 извлекает набор параметров и сообщение SEI, вставленное в каждый блок доступа, содержащийся в видеопоток VS, чтобы отправить набор параметров и сообщение SEI в блок 201 управления.
Поток субтитров SS, выделенный системным декодером 203, подается в декодер 206 субтитров в случае, когда текстовая информация субтитр передается в качестве данных субтитров. Декодер 206 субтитров выполняет обработку декодирования для данных сегмента каждой области, содержащихся в потоке субтитров SS, чтобы получать текстовые данные и управляющий код каждой области. Управляющий код также включает в себя информацию о соотношении (данные смешивания) субтитр и фонового видео.
Дополнительно, декодер 206 субтитров извлекает информацию, указывающую допустимые диапазоны коррекции размера и коррекции позиции отображения субтитров, вставленных в поток субтитров SS, чтобы отправить информацию в блок 201 управления. В этом случае, информация была вставлена посредством элемента стилизации (TTS). При таком расположении блок 201 управления распознает допустимое максимальное значение коэффициента масштабирования с повышением области, допустимое минимальное значение коэффициента масштабирования с понижением области, допустимое максимальное значение коэффициента горизонтального позиционирования области и допустимое максимальное значение коэффициента вертикального позиционирования области.
Текстовые данные и управляющий код каждой области, полученные декодером 206 субтитров, подаются в блок 207 расширения шрифта. Блок 207 расширения шрифта выполняет расширение шрифта на основании текстовых данных и управляющего кода каждой области, чтобы получить растровые данные каждой области. Блок 208 RGB / YCbCr преобразования преобразует растровые данные каждой области, полученные блоком 207 расширения шрифта, из RGB домена в YCbCr домен (яркость / цветность).
Дополнительно, поток субтитров SS, извлеченный системным декодером 203, подается в декодер 209 субтитров в случае, когда растровые данные субтитров передаются в качестве данных субтитров. Декодер 209 субтитров выполняет обработку декодирования в потоке субтитров SS, чтобы получать растровые данные субтитров и информацию о соотношении (данные смешивания) субтитр и фонового видео.
Растровые данные субтитров, выводимые из блока 208 RGB/YCbCr преобразования или декодера 209 субтитров, подаются в блок 210 преобразования размера/позиции. Блок 210 преобразования размера/позиции выполняет обработку корректировки размера и позиции отображения субтитров, в растровые данные субтитров. В этом случае обработка коррекции выполняется автоматически или в соответствии с пользовательской операцией под управлением блока 201 управления (см. фиг. 19-22). Коррекция выполняется в допустимых диапазонах.
Передаваемые видеоданные V1, полученные видеодекодером 204, подаются в блок 211 наложения видео. Кроме того, растровые данные субтитров, на которых блок 210 преобразования размера/позиции выполнил коррекционную обработку размера и позиции отображения, подаются в блок 211 наложения видео. Кроме того, информация о соотношении компонентов смешивания (данные смешивания), полученная декодером 206 субтитров, или информация о соотношении смешивания (данные смешивания), к которой блок 211 преобразования размера/позиции выполнил обработку коррекции размера и позиции отображения, подаются в блок 211 наложения видео.
Блок 212 наложения видео накладывает на передаваемые видео данные V1 растровые данные субтитров, на которых операция коррекции размера и позиции отображения выполнялись автоматически на основании информации, такой как размер монитора и позиция просмотра, или в соответствии с пользовательской операцией. Передаваемые видеоданные V1', на которые накладываются растровые данные, подаются в блок 213 YCbCr / RGB преобразования.
Блок 213 YCbCr/RGB преобразования преобразует передаваемые видеоданные V1' из YCbCr домена (яркость / цветность) в RGB домен, чтобы подавать видеосигналы V1' передачи в блок 214 электрооптического преобразования. Блок 214 электрооптического преобразования применяет к видеоданным V1' передачи характеристику электрооптического преобразования, соответствующую оптико-электрической характеристике преобразования, применяемой к видеоданным V1' передачи, для осуществления электрооптического преобразования, чтобы выработать видеоданные.
Видеоданные отображения поступают в блок 215 сопоставления отображения. Блок 215 сопоставления отображения выполняет регулировку яркости отображения видеоданных, соответствующих, например, максимальной характеристике яркости отображения СЕ монитора 216. Видеоданные отображения, величина яркости отображения которых была скорректирована, подаются на СЕ монитор 216. СЕ монитор 216 отображает изображение на основании видеоданных отображения.
Как описано выше, приемное устройство 200 выполняет обработку коррекции размера и позиции отображения субтитров, в растровые данные субтитров в приемо-передающей системе 10, проиллюстрированной на фиг.1. Следовательно, субтитры могут накладываться и отображаться на видео наилучшим образом, например, даже когда отображение выполняется на мониторе с большим экраном с малым расстоянием просмотра.
Дополнительно, приемное устройство 200 автоматически корректирует размер субтитров и позицию отображения субтитров на основании информации о позиции просмотра и информации о размере монитора в приемо-передающей системе 10, проиллюстрированной на фиг.1. Следовательно, размер и позиция отображения субтитров могут быть приведены в соответствующее состояние пользователем, например, зрителем без необходимости выполнения трудоемкой операции.
Дополнительно, приемное устройство 200 корректирует размер субтитров и позицию отображения субтитров на основании пользовательской операции в приемо-передающей системе 10, проиллюстрированной на фиг.1. Следовательно, пользователь, такой как зритель, может отрегулировать размер и позиции отображения субтитров в желаемое состояние.
Дополнительно, приемное устройство 200 ограничивает величину коррекции размера и позиции отображения субтитров в допустимых диапазонах в приемо-передающей системе 10, проиллюстрированной на фиг.1. Поэтому можно избежать чрезмерных регулировок.
Дополнительно, приемное устройство 200 извлекает информацию с допустимым диапазоном коррекции из уровня потока субтитров, чтобы ограничить величину коррекции размера и позиции отображения субтитров в пределах допустимых диапазонов на основе информации допустимого диапазона в приемо-передающей системе 10, показанной на фиг.1. Следовательно, величины коррекции размера и коррекции позиции отображения субтитров могут быть соответственно ограничены.
Дополнительно, передающее устройство 100 вставляет информацию допустимого диапазона коррекции размера и позиции отображения субтитров в уровень потока субтитров, чтобы передавать информацию о допустимом диапазоне коррекции в приемо-передающей системе 10, показанной на фиг. 1. Следовательно, величины коррекции размера и коррекции позиции отображения субтитров могут быть соответственно ограничены информацией о допустимом диапазоне коррекции на стороне приема.
2. Модификация
Следует отметить, что в соответствии с вариантом осуществления, описанным выше, приведен пример, в котором можно изменить размер и позицию отображения субтитров. Настоящая технология может быть аналогичным образом применена даже в случае, когда графическая или другая подобная информация накладывается и отображается на видео и, таким образом, размер и позиция отображения графики или другой подобной информации могут быть откорректированы надлежащим образом.
Дополнительно, согласно варианту осуществления, описанному выше, приведен пример, в котором контейнер является TS MPEG-2. Однако настоящая технология не ограничивается MPEG-2 TS в качестве контейнера и, таким образом, может быть аналогичным образом применена к другим пакетам, таким как ISOBMFF и MMT.
Дополнительно, настоящее изобретение может иметь следующие конфигурации.
1. Приемное устройство включает в себя: блок приема, выполненный с
возможностью приема контейнера в заданном формате, причем контейнер включает в себя видеопоток, содержащий видеоданные, и поток субтитров, содержащий данные субтитров; блок декодирования видео, выполненный с возможностью осуществления обработки декодирования в видеопотоке для получения видеоданных; блок декодирования субтитров, выполненный с возможностью осуществления обработки декодирования в потоке субтитров для получения растровых данных субтитров; блок обработки субтитров, выполненный с возможностью осуществления обработки коррекции по меньшей мере одного из размера субтитров и позиции отображения субтитров в растровых данных субтитров; и блок наложения видео, выполненный с возможностью наложения обработанных растровых данных субтитров на видеоданные.
(2) В соответствии с приемным устройством, описанным выше в (1), блок обработки субтитров выполнен с возможностью автоматической коррекции по меньшей мере одного из размера субтитров и позиции отображения субтитров на основании информации о позиции просмотра и информации о размере монитора.
(3) Приемное устройство, описанное в (2), дополнительно включающее в себя: блок получения информации, выполненный с возможностью получения информации о позиции просмотра.
(4) В соответствии с приемным устройством, описанным выше в (2) или (3), блок обработки субтитров выполнен с возможностью вычисления следующего выражения: R = D / (M_h * f), где D представляет собой расстояние просмотра, M_h, представляет собой высоту монитора, значение f представляет собой значение, зависящее от разрешения видео, выполнения коррекции масштабирования с уменьшением размера субтитров, когда R меньше первого порогового значения, и выполнения коррекции масштабирования с увеличением размера субтитров, когда R больше второго порогового значения, большего, чем первое пороговое значение.
(5) В соответствии с приемном устройством, описанным выше в любом из (2) - (4), блок обработки субтитров выполнен с возможностью перемещения, когда горизонтальная позиция просмотра находится за пределами конечной точки области в горизонтальном направлении, причем область является участком, на котором отображаются субтитры, позиции области в горизонтальную позицию просмотра в горизонтальном направлении в соответствии с расстоянием от конечной точки к горизонтальной позиции просмотра, для автоматической коррекции позиции отображения субтитров.
(6) В соответствии с приемном устройством, описанным в (2) - (4), блок обработки субтитров выполнен с возможностью перемещения, когда вертикальная позиция просмотра находится за пределами конечной точки области в вертикальном направлении, причем область является участком, на котором отображаются субтитры, позиции области в вертикальную позицию просмотра в вертикальном направлении в соответствии с расстоянием от конечной точки до вертикальной позиции просмотра, для автоматической корректировки позиции отображения субтитров.
(7) В соответствии с приемном устройством, описанным в любом из (1) - (6), блок обработки субтитров выполнен с возможностью коррекции по меньшей мере одного из размера субтитров и позиции отображения субтитров на основании пользовательской операции.
(8) В соответствии с приемным устройством, описанным в любом из (1) - (7), блок обработки субтитров выполнен с возможностью ограничения по меньшей мере одного из величины коррекции размера субтитров и величины коррекции позиции отображения субтитров в пределах допустимого диапазона.
(9) Приемное устройство, описанное в (8), дополнительно включающее в себя: блок извлечения информации, выполненный с возможностью извлечения информации допустимого диапазона коррекции из уровня потока субтитров, причем информация допустимого диапазона информации коррекции вставлена в уровень поток субтитров. При этом блок обработки субтитров выполнен с возможностью ограничения величины коррекции в пределах допустимого диапазона на основании извлеченной информации допустимых диапазонах коррекции.
(10) Способ приема включает в себя этап приема контейнера в заданном формате блоком приема, причем контейнер включает в себя видеопоток, содержащий видеоданные, и поток субтитров, содержащий данные субтитров; этап декодирования видео для выполнения обработки декодирования видеопотока для получения видеоданных; этап декодирования субтитров для выполнения обработки декодирования потока субтитров для получения растровых данных субтитров; этап обработки субтитров для выполнения процесса коррекции по меньшей мере одного из размера субтитров и позиции отображения субтитров, растровых данных субтитров; и этап наложения видео для наложения обработанных растровых данных субтитров на видеоданные.
(11) Передающее устройство включает в себя: блок передачи, выполненный с возможностью передачи контейнера в заданном формате, причем контейнер включает в себя видеопоток, содержащий видеоданные, и поток субтитров, содержащий данные субтитров; и блок вставки информации, выполненный с возможностью вставки по меньшей мере одного из фрагмента информации, указывающей допустимый диапазон коррекции размера субтитров, и фрагмента информации, указывающего допустимый диапазон коррекции позиции отображения субтитров, в уровень потока субтитров.
(12) Способ передачи включает в себя: этап передачи для передачи контейнера в заданном формате блоком передачи, причем контейнер включает в себя видеопоток, имеющий видеоданные, и поток субтитров, имеющий данные субтитров; и этап вставки информации для вставки по меньшей мере одного из фрагмента информации, указывающего допустимый диапазон коррекции размера субтитров и фрагмента информации, указывающего допустимый диапазон коррекции позиции отображения субтитров, в уровень потока субтитров.
(12) Приемное устройство включает в себя: блок приема, выполненный с возможностью приема контейнера в заданном формате, причем контейнер включает в себя видеопоток, содержащий видеоданные, и поток графических данных, содержащий графические данные; блок декодирования видео, выполненный с возможностью осуществления обработки декодирования видеопотока для получения видеоданных; блок декодирования графических данных, выполненный с возможностью осуществления декодирования потока графических данных для получения растровых данных графики; блок обработки графических данных, выполненный с возможностью осуществления обработки коррекции по меньшей мере одного из размера графических данных и позиции отображения графических данных, растровых данных графики; и блок наложения видео, выполненный с возможностью наложения обработанных растровых данных графики на видеоданные.
(13) Передающее устройство включает в себя: блок передачи, выполненный с возможностью передачи контейнера в заданном формате, причем контейнер включает в себя видеопоток, содержащий видеоданные, и поток графических данных, содержащий графические данные; и блок вставки информации, выполненный с возможностью вставки по меньшей мере одного из фрагмента информации, указывающей допустимый диапазон коррекции размера графических данных и фрагмента информации, указывающего допустимый диапазон коррекции позиции изображения графических данных, в уровень потока графических данных.
Основной признак настоящего изобретения заключается в том, что блок обработки, который корректирует размер и позицию отображения субтитров (графики), был применен для обработки растровых данных субтитров (графики), так что субтитры (графика) могут накладываться и отображаться на видео наилучшим образом (см. фиг. 18).
СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ
10 Приемо-передающая система
100 Передающее устройство
101 Блок управления
102 Камера
103 Блок оптико-электрического преобразования видео
104 Блок RGB / YCbCr преобразования
105 Видеокодер
106 Блок генерирования субтитров
107 Блок преобразования текстового формата
108 Кодер субтитров
109 Системный кодер
110 Блок передачи
111 Блок генерирования растровых данных
113 Кодер субтитров
200 Приемное устройство
201 Блок управления
202 Блок приема
203 Системный декодер
204 Видеодекодер
206 Декодер субтитров
207 Блок расширения шрифтов
208 Блок RGB / YCbCr преобразования
209 Декодер субтитров
209 Блок YCbCr / RGB преобразования
210, 211 Блок преобразования размера/позиции
212 Блок наложения видео
213 Блок YCbCr / RGB преобразования
214 Блок электрооптического преоборазования
215 Блок сопоставления отображения
216 СЕ монитор
231 Операционный блок пользователя
232 Датчик изображения