СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ, СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ
IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE AND IMAGE ENCODING AND DECODING DEVICE

[ОБЛАСТЬ ТЕХНИКИ]
[0001] Настоящее раскрытие относится к способам кодирования изображения для кодирования изображений, чтобы сгенерировать кодированный поток, и способам декодирования изображения для декодирования изображений, включенных в кодированный поток.
[УРОВЕНЬ ТЕХНИКИ]
[0002] В стандарте H.264 (смотри непатентную литературу), кодирование изображения (в том число видео) обычно содержит внутреннее кодирование, использующее способы пространственного предсказания, и внешнее кодирование, использующее способы временного предсказания.
[0003] Временное предсказание может быть выполнено для ряда разных типов блоков внешнего кодирования, таких как внешний 16×16, внешний 16×8, внешний 8×16, внешний 8×8, внешний 8×4, внешний 4×8, и внешний 4×4, тогда как пространственное предсказание может быть выполнено для ряда типов блоков внутреннего кодирования, таких как внутренний 16×16, внутренний 8×8 и внутренний 4×4. Блоки с внутренней импульсно-кодовой модуляцией (IPCM) являются одним типом блоков внутреннего кодирования.
[0004] IPCM-блоки являются блоками выборок несжатого изображения, где необработанные выборки яркости и цветности передаются в кодированном потоке. Они обычно используются в случае, когда устройство энтропийного кодирования производит больше бит по сравнению с битами необработанных данных при кодировании блока выборок изображения. В общем, IPCM-блоки кодируются как несжатые данные в кодированном потоке.
[СПИСОК ЦИТИРУЕМОЙ ЛИТЕРАТУРЫ]
[Непатентная литература]
[0005] [NPL 1] ITU-T H.264 03/2010
[СУЩНОСТЬ ИЗОБРЕТЕНИЯ]
[Техническая проблема]
[0006] Однако, есть ситуация, где блоки IPCM препятствуют улучшению эффективности кодирования. Объем данных IPCM-блоков зависит от размера глубины в битах (количества битов) яркости и цветности. Чем больше глубина в битах, тем больше объем данных несжатых IPCM-блоков. Вследствие этого, в вышеуказанной ситуации, блоки IPCM препятствуют улучшению эффективности кодирования.
[0007] Для того, чтобы разрешить вышеуказанную проблему, один неограничивающий и примерный вариант осуществления предоставляет способ кодирования изображения и способ декодирования изображения, посредством которых эффективность кодирования может быть улучшена посредством использования адаптивной глубины в битах.
[Решение проблемы]
[0008] В одном общем аспекте настоящего раскрытия для решения вышеуказанной проблемы предоставляется способ кодирования изображения для кодирования изображений, чтобы сгенерировать кодированный поток, причем способ кодирования изображения включает в себя: запись первого параметра в набор параметров последовательности в кодированном потоке, который следует сгенерировать, причем первый параметр представляет первую глубину в битах (количество битов), которая является глубиной в битах реконструированной выборки в изображениях; и запись второго параметра, отличного от первого параметра, в набор параметров последовательности, причем второй параметр представляет вторую глубину в битах, которая является глубиной в битах выборки с внутренней импульсно-кодовой модуляцией (IPCM) в изображениях.
[0009] Тем самым, возможно устанавливать глубину в битах для IPCM-выборок отдельно и независимо от глубины в битах для реконструированных выборок. Вследствие этого, избыточные данные IPCM-выборок могут быть уменьшены. В результате, эффективность кодирования может быть улучшена.
[0010] К тому же, способ кодирования изображения может включать в себя запись IPCM-выборки в кодированный поток со второй глубиной в битах.
[0011] Тем самым, IPCM-выборки записываются в кодированный поток с глубиной в битах, установленной для IPCM-выборок, которая отличается от глубины в битах, установленной для реконструированных выборок. В результате, эффективность кодирования может быть улучшена.
[0012] Более того, способ кодирования изображения может дополнительно включать в себя реконструирование выборки с первой глубиной в битах из кодированной выборки в изображениях, с тем, чтобы генерировать реконструированную выборку.
[0013] Тем самым, реконструированные выборки генерируются с глубиной в битах, установленной для реконструированных выборок, которая отличается от глубины в битах, установленной для IPCM-выборок. В результате, качество изображения может быть улучшено.
[0014] Более того, при записи второго параметра записывается второй параметр, представляющий вторую глубину в битах, которая может быть равной или меньшей, чем первая глубина в битах.
[0015] Тем самым, глубина в битах для IPCM-выборок устанавливается так, чтобы быть равной или меньшей, чем глубина в битах для реконструированных выборок. Вследствие этого, избыточные данные IPCM-выборок могут быть уменьшены.
[0016] Более того, способ кодирования изображения может дополнительно включать в себя преобразование IPCM-выборки со второй глубиной в битах в реконструированную выборку с первой глубиной в битах.
[0017] Тем самым, даже если глубина в битах для IPCM-выборок отличается от глубины в битах для реконструированных выборок, IPCM-выборки могут быть использованы в качестве реконструированных выборок.
[0018] Более того, при записи второго параметра записывается второй параметр, представляющий вторую глубину в битах, которая может быть меньше, чем третья глубина в битах, причем третья глубина в битах является глубиной в битах первоначальной выборки в изображениях, и способ кодирования изображения может дополнительно включать в себя преобразование первоначальной выборки с третьей глубиной в битах в выборку со второй глубиной в битах, с тем чтобы уменьшить глубину в битах IPCM-выборки, соответствующей первоначальной выборке.
[0019] Тем самым, возможно уменьшить избыточные данные IPCM-выборок, соответствующих первоначальным выборкам. В результате, эффективность кодирования может быть улучшена.
[0020] Более того, при записи первого параметра записывается первый параметр, представляющий первую глубину в битах, которая может быть больше, чем третья глубина в битах, причем третья глубина в битах является глубиной в битах первоначальной выборки в изображениях, и способ кодирования изображения может дополнительно включать в себя преобразование первоначальной выборки с третьей глубиной в битах в выборку с первой глубиной в битах, с тем чтобы увеличить глубину в битах реконструированной выборки, соответствующей первоначальной выборке.
[0021] Тем самым, возможно увеличить глубину в битах реконструированных выборок, соответствующих первоначальным выборкам. В результате, качество изображения может быть улучшено.
[0022] Более того, способ кодирования изображения может дополнительно включать в себя запись кодированной выборки, кодированной, используя реконструированную выборку с первой глубиной в битах, в кодированный поток.
[0023] Тем самым, кодированные выборки, использующие реконструированные выборки с глубиной в битах для реконструированных выборок, записываются в кодированный поток.
[0024] В другом аспекте настоящего раскрытия, предоставляется способ декодирования изображения для декодирования изображений в кодированном потоке, причем способ декодирования изображения включает в себя: получение первого параметра из набора параметров последовательности в кодированном потоке, причем первый параметр, представляет первую глубину в битах, которая является глубиной в битах реконструированной выборки в изображениях; и получение второго параметра, отличного от первого параметра, из набора параметров последовательности, причем второй параметр представляет вторую глубину в битах, которая является глубиной в битах выборки с внутренней импульсно-кодовой модуляцией (IPCM) в изображениях.
[0025] Тем самым, возможно устанавливать глубину в битах для IPCM-выборок отдельно и независимо от глубины в битах для реконструированных выборок. Вследствие этого, избыточные данные IPCM-выборок могут быть уменьшены. В результате, эффективность кодирования может быть улучшена.
[0026] К тому же, способ декодирования изображения может включать в себя получение IPCM-выборки из кодированного потока со второй глубиной в битах.
[0027] Тем самым, IPCM-выборки получаются из кодированного потока с глубиной в битах, установленной для IPCM-выборок, которая отличается от глубины в битах, установленной для реконструированных выборок. В результате, эффективность кодирования может быть улучшена.
[0028] Более того, способ декодирования изображения может дополнительно включать в себя реконструирование выборки с первой глубиной в битах из кодированной выборки в изображениях, с тем чтобы генерировать реконструированную выборку.
[0029] Тем самым, реконструированные выборки генерируются с глубиной в битах, установленной для реконструированных выборок, которая отличается от глубины в битах, установленной для IPCM-выборок. В результате качество изображения может быть улучшено.
[0030] Более того, при получении второго параметра, получается второй параметр, представляющий вторую глубину в битах, которая может быть равной или меньшей, чем первая глубина в битах.
[0031] Тем самым, глубина в битах для IPCM-выборок устанавливается так, чтобы быть равной или меньшей, чем глубина в битах для реконструированных выборок. Вследствие этого, избыточные данные IPCM-выборок могут быть уменьшены.
[0032] Более того, способ декодирования изображения может дополнительно включать в себя преобразование IPCM-выборки со второй глубиной в битах в реконструированную выборку с первой глубиной в битах.
[0033] Тем самым, даже если глубина в битах для IPCM-выборок отличается от глубины в битах для реконструированных выборок, IPCM-выборки могут быть использованы в качестве реконструированных выборок.
[0034] Более того, при получении второго параметра получается второй параметр, представляющий вторую глубину в битах, которая может быть меньше, чем первая глубина в битах, и способ кодирования изображения может дополнительно включать в себя преобразование IPCM-выборки со второй глубиной в битах в выборку с первой глубиной в битах, с тем чтобы увеличить глубину в битах IPCM-выборки.
[0035] Тем самым, даже если глубина в битах для IPCM-выборок отличается от глубины в битах для реконструированных выборок, IPCM-выборки могут быть использованы в качестве реконструированных выборок.
[0036] Более того, при получении второго параметра получается второй параметр, представляющий вторую глубину в битах, которая может быть меньше, чем третья глубина в битах, причем третья глубина в битах является глубиной в битах первоначальной выборки в изображениях.
[0037] Тем самым, возможно соответствующим образом получить IPCM-выборки, из-за которых уменьшены избыточные данные. В результате, эффективность кодирования может быть улучшена.
[0038] Более того, при получении первого параметра получается первый параметр, представляющий первую глубину в битах, которая может быть больше, чем третья глубина в битах, причем третья глубина в битах является глубиной в битах первоначальной выборки в изображениях.
[0039] Тем самым, возможно увеличить глубину в битах реконструированных выборок. В результате, качество изображения может быть улучшено.
[0040] Более того, способ декодирования изображения может дополнительно включать в себя получение кодированной выборки, которую следует декодировать, используя реконструированную выборку с первой глубиной в битах, из кодированного потока.
[0041] Тем самым, возможно декодировать кодированные выборки, полученные из кодированного потока, посредством использования реконструированных выборок с глубиной в битах для реконструированных выборок.
[0042] В еще одном аспекте настоящего раскрытия предоставляется устройство кодирования изображения, которое кодирует изображения, чтобы сгенерировать кодированный поток, причем устройство кодирования изображения включает в себя: первый записывающий блок, выполненный с возможностью записи первого параметра в набор параметров последовательности в кодированном потоке, который следует сгенерировать, причем первый параметр представляет первую глубину в битах, которая является глубиной в битах реконструированной выборки в изображениях; и второй записывающий блок, выполненный с возможностью записи второго параметра, отличного от первого параметра, в набор параметров последовательности, причем второй параметр представляет вторую глубину в битах, которая является глубиной в битах выборки с внутренней импульсно-кодовой модуляцией (IPCM) в изображениях.
[0043] Тем самым, способ кодирования изображения реализуется как устройство кодирования изображения.
[0044] В еще одном аспекте настоящего раскрытия, предоставляется устройство декодирования изображения, которое декодирует изображения в кодированном потоке, причем устройство декодирования изображения включает в себя: первый блок получения, выполненный с возможностью получения первого параметра из набора параметров последовательности в кодированном потоке, причем первый параметр представляет первую глубину в битах, которая является глубиной в битах реконструированной выборки в изображениях; и второй блок получения, выполненный с возможностью получения второго параметра, отличного от первого параметра, из набора параметров последовательности, причем второй параметр представляет вторую глубину в битах, которая является глубиной в битах выборки с внутренней импульсно-кодовой модуляцией (IPCM) в изображениях.
[0045] Тем самым способ декодирования изображения реализуется как устройство декодирования изображения.
[0046] В еще одном аспекте настоящего раскрытия предоставляется устройство кодирования и декодирования изображения, включающее в себя блок кодирования изображения, выполненный с возможностью кодирования изображений, чтобы сгенерировать кодированный поток, причем устройство кодирования изображения включает в себя: первый записывающий блок, выполненный с возможностью записи первого параметра в набор параметров последовательности в кодированном потоке, который следует сгенерировать, причем первый параметр представляет первую глубину в битах, которая является глубиной в битах реконструированной выборки в изображениях; и второй записывающий блок, выполненный с возможностью записи второго параметра, отличного от первого параметра, в набор параметров последовательности, причем второй параметр представляет вторую глубину в битах, которая является глубиной в битах выборки с внутренней импульсно-кодовой модуляцией (IPCM) в изображениях, и упомянутое устройство кодирования и декодирования изображения дополнительно включает в себя блок декодирования изображения, выполненный с возможностью декодирования изображений в кодированном потоке, где устройство декодирования изображения включает в себя: первый блок получения, выполненный с возможностью получения первого параметра из набора параметров последовательности в кодированном потоке, причем первый параметр представляет первую глубину в битах, которая является глубиной в битах реконструированной выборки в изображениях; и второй блок получения, выполненный с возможностью получения второго параметра, отличного от первого параметра, из набора параметров последовательности, причем второй параметр представляет вторую глубину в битах, которая является глубиной в битах IPCM-выборки в изображениях.
[0047] Тем самым, устройство кодирования изображения и устройство декодирования изображения реализуются как устройство кодирования и декодирования изображения.
[Полезные эффекты изобретения]
[0048] Согласно настоящему раскрытию, возможно устанавливать глубину в битах для IPCM-выборок отдельно и независимо от глубины в битах для реконструированных выборок. Вследствие этого, избыточные данные IPCM-выборок могут быть уменьшены. В результате, эффективность кодирования может быть улучшена.
[КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ]
[0049] На Фиг.1 показана диаграмма синтаксиса, которая показывает размещение параметра поля в кодированном потоке.
На Фиг.2 показана функциональная схема, которая показывает последовательность операций способа декодирования изображения стандарта H.264, Раздел 7.3.5.
На Фиг.3 показана блок-схема, которая показывает структуру устройства кодирования изображения согласно Варианту осуществления 1 настоящего раскрытия.
На Фиг.4 показана диаграмма синтаксиса, показывающая преобразование глубины в 8-битов согласно Варианту осуществления 1.
На Фиг.5 показана функциональная схема, которая показывает последовательность операций, выполняемых устройством кодирования изображения согласно Варианту осуществления 1.
На Фиг.6 показана диаграмма синтаксиса, которая показывает параметры двух полей в кодированном потоке согласно Варианту осуществления 1.
На Фиг.7 показана блок-схема, которая показывает структуру устройства декодирования изображения согласно Варианту осуществления 2 настоящего раскрытия.
На Фиг.8 показана функциональная схема, которая показывает последовательность операций, выполняемых устройством декодирования изображения согласно Варианту осуществления 2.
На Фиг.9 показана функциональная схема, которая показывает способ кодирования для кодирования битового потока изображений согласно Варианту осуществления 3 настоящего раскрытия.
На Фиг.10A показана блок-схема, которая показывает структуру устройства кодирования изображения согласно Варианту осуществления 4 настоящего раскрытия.
На Фиг.10B показана функциональная схема, которая показывает операции, выполняемые устройством кодирования изображения согласно Варианту осуществления 4.
На Фиг.11A показана блок-схема, которая показывает структуру устройства декодирования изображения согласно Варианту осуществления 4.
На Фиг.11B показана функциональная схема, которая показывает операции, выполняемые устройством декодирования изображения согласно Варианту осуществления 4.
На Фиг.12 показана блок-схема, которая показывает структуру устройства кодирования изображения согласно Варианту осуществления 5 настоящего раскрытия.
На Фиг.13 показана функциональная схема, которая показывает операции, выполняемые устройством кодирования изображения согласно Варианту осуществления 5.
На Фиг.14 показана блок-схема, которая показывает структуру устройства декодирования изображения согласно Варианту осуществления 5.
На Фиг.15 показана функциональная схема, которая показывает операции, выполняемые устройством декодирования изображения согласно Варианту осуществления 5.
На Фиг.16 показана общая конфигурация системы предоставления контента для реализации услуг распространения контента.
На Фиг.17 показана общая конфигурация системы цифрового вещания.
На Фиг.18 показана блок-схема, иллюстрирующая пример конфигурации телевизора.
На Фиг.19 показана блок-схема, иллюстрирующая примерную конфигурацию блока воспроизведения/записи информации, который считывает и записывает информацию с и на записывающий носитель, которым является оптический диск.
На Фиг.20 показан пример конфигурации записывающего носителя, которым является оптический диск.
На Фиг.21A показан пример сотового телефона.
На Фиг.21B показана блок-схема, показывающая пример конфигурации сотового телефона.
На Фиг.22 проиллюстрирована структура мультиплексированных данных.
На Фиг.23 схематично показано, как каждый поток мультиплексируется в мультиплексированные данные.
На Фиг.24 показано как видеопоток хранится в потоке PES-пакетов более подробно.
На Фиг.25 показана структура TS-пакетов и исходных пакетов в мультиплексированных данных.
На Фиг.26 показана структура данных PTM.
На Фиг.27 показана внешняя структура информации мультиплексированных данных.
На Фиг.28 показана внешняя структура информации атрибутов потока.
На Фиг.29 показаны этапы для идентификации видеоданных.
На Фиг.30 показан пример конфигурации интегральной схемы для реализации способа кодирования фильма и способа декодирования фильма согласно каждому из Вариантов осуществления.
На Фиг.31 показана конфигурация для переключения между частотами возбуждения.
На Фиг.32 показаны этапы для идентификации видеоданных и переключения между частотами возбуждения.
На Фиг.33 показан пример таблицы соответствия, в которой стандарты видеоданных связаны с частотами возбуждения.
На Фиг.34A показана диаграмма, показывающая пример конфигурации для совместного использования модуля блока обработки сигналов.
На Фиг.34B показана диаграмма, показывающая другой пример конфигурации для совместного использования модуля блока обработки сигналов.
[ПОДРОБНОЕ ОПИСАНИЕ]
[0050] Нижеследующее подробно описывает варианты осуществления согласно настоящему раскрытию со ссылкой на чертежи. Следует обратить внимание, что все варианты осуществления, описанные ниже, являются конкретными примерами настоящего раскрытия. Числовые значения, формы, материалы, составляющие элементы, позиции расположения и конфигурация соединения составляющих элементов, этапы, порядок этапов и тому подобное, описанные в нижеследующих вариантах осуществления, являются лишь примерами и не предназначены для ограничения настоящего раскрытия. Настоящее раскрытие характеризуется приложенной формулой изобретения. Вследствие этого, среди составляющих элементов в нижеследующих вариантах осуществления, составляющие элементы, которые не описаны в независимых пунктах формулы изобретения, которые показывают основную концепцию настоящего раскрытия, описаны как элементы, составляющие более желаемые конфигурации, хотя такие составляющие элементы необязательно требуются для достижения цели настоящего раскрытия.
(Введение)
[0051] Высокоэффективное кодирование видео (HEVC) может поддерживать увеличение глубины в битах при декодировании изображения. Это означает, что даже если исходное изображение является исходным изображением с 8-битной глубиной в битах, декодер HEVC может поддерживать декодирование кодированного изображение как изображения с 10-битной глубиной в битах, чтобы улучшить эффективность кодирования. Чтобы уменьшить требование пропускной способности памяти для внешнего предсказания, когда декодируется изображение с 10-битной глубиной в битах, схема небольшого сжатия может быть использована для сжатия блока выборок изображения с 10-битной глубиной в битах для более быстрого доступа к памяти.
[0052] На данный момент, есть пути для передачи глубин в битах реконструированного изображения декодеру посредством битового потока кодированного изображения. В H.264, синтаксические элементы (bit_depth_luma_minus8 и bit_depth_chroma_minus8) в наборе параметров последовательности задают глубины в битах для реконструированных данных яркости и цветности, соответственно, для множества профилей, таких как Высокий профиль, Высокий 10 и Высокий 4:2:2. Для другого множества профилей в H.264, синтаксические элементы (bit_depth_luma_minus8 и bit_depth_chroma_minus8) не присутствуют в битовом потоке кодированного изображения, и глубины в битах реконструированных данных изображения предполагаются такими, чтобы быть равными 8.
[0053] Однако, одной проблемой является то, что сообщенная глубина в битах может быть больше, чем глубина в битах первоначального изображения до процесса кодирования, посредством увеличения глубины в битах. Для IPCM-блока, кодирование необработанных выборок яркости и цветности с глубиной в битах, большей, чем выборок первоначального изображения, является неэффективным и уменьшает эффективность кодирования.
[0054] Если глубина в битах реконструированных изображений больше, чем битовая первоначальных изображений, схема небольшого сжатия может быть использована для уменьшения пропускной способности памяти. Однако, IPCM-блок, содержащий выборки первоначального изображения, не может быть сохранен непосредственно в память с низкой глубиной в битах, так как есть проблема различения реконструированного с помощью IPCM блока и блока с небольшим сжатием в памяти. Это обычно приводит в ошибке при внешнем предсказании, если неверная схема декомпрессии используется для реконструированного с помощью IPCM блока изображения
[0055] На Фиг.1 показана диаграмма синтаксиса, которая показывает размещение параметра поля в кодированном потоке. Как показано на Фиг.1, если поле 1 параметра, указывающего "глубину в битах реконструированных выборок", присутствует, оно сохраняется в заголовке последовательности битового потока. Битовый поток содержит ряд картинок, таких как картинка P1..., картинка Pi..., в котором каждая картинка содержит ряд вырезок (срезов). Здесь, картинка P1 содержит вырезку S1 и вырезку S2, в котором макроблоком MBi вырезки S2 является IPCM-блок.
[0056] На Фиг.1 информация заголовка хранится в заголовке последовательности битового потока, при этом информация заголовка содержит поле F1 параметра, указывающего глубину в битах реконструированных выборок. В сценарии с Фиг.1, независимо от того, является ли макроблок MBi IPCM-блоком, поле F1 параметра фиксированной длины, указывающего глубину в битах, используется для цели реконструкции (в декодере и кодере).
[0057] На Фиг.2 показана функциональная схема, которая показывает последовательность операций способа декодирования изображения стандарта H.264, Раздел 7.3.5.
[0058] Блок управления определяет является ли типом макроблока (mb_type) I_PCM (IPCM-блок) (этап S202). Здесь, в случае, когда блок управления определяет, что типом макроблока не является I_PCM (НЕТ на этапе S202), макроблок обрабатывается используя другие способы для других значений mb_type (этап S206).
[0059] С другой стороны, в случае, когда блок управления определяет, что mb_type является I_PCM (ДА на этапе S202), операция выравнивания байтов (byte_alignment) исполняется над IPCM-маркоблоком (этап S204). Далее, считываются значения выборок яркости (sample_luma) (например, 8 бит) общего числа выборок [0... Num_of_samples] (этап S208)... В H.264, только один способ осуществления синтаксического анализа доступен для I_PCM-блока размером 16x16 (размер макроблока).
[0060] Таким образом, существует потребность в способе и устройстве для кодирования и декодирования изображений, используя соответствующую информацию глубины в битах. Варианты осуществления, описанные ниже, предлагают методы, посредством которых эффективность кодирования может быть улучшена посредством использования адаптивной глубины в битах.
[0061] Следует обратить внимание, что IPCM-блок является блоком, включающим в себя IPCM-выборки. Следует также обратить внимание, что IPCM-блок интерпретируется как один вид единицы предсказания в HEVC. Вследствие этого, IPCM-блок иногда называется единичным IPCM-блоком предсказания или IPCM-блоком PU. [0062] (Вариант осуществления 1)
На Фиг.3 показана блок-схема, которая показывает структуру устройства кодирования изображения согласно Варианту осуществления 1 настоящего раскрытия. Устройство 300 кодирования изображения, показанное на Фиг.3, является устройством для кодирования битового потока входного изображения на основании «блок за блоком», с тем чтобы сгенерировать кодированный выходной битовый поток.
[0063] Как показано на Фиг.3, устройство 300 кодирования изображения включает в себя два блока 302A и 302B преобразования глубины в N-битов, вычитатель 304A, сумматор 304B, блок 306 преобразования, блок 308 квантования, блок 310 обратного квантования, блок 312 обратного преобразования, блок 314 внешнего/внутреннего предсказания, два мультиплексора (блоки MUX) 316A и 316B, память 318, блок 319 фильтра, блок 320 энтропийного кодирования, блок 322 управления и блок 324 необязательной обработки.
[0064] Входные изображения вводятся в блок 302A преобразования глубины в N-битов и блок 324 необязательной обработки. После того, как битовый поток входного изображения вводится в блок 302A преобразования глубины в N-битов, блок 302A преобразования глубины в N-битов задействует преобразование глубины в N-битов в отношении входных изображений в соответствии с уведомлением, определенным блоком 322 управления, и выводит результирующие преобразованные значения глубины в N-битов в вычитатель 304A.
[0065] Вычитатель 304A вычитает, из значений глубины в N-битов, выведенных из блока 302A преобразования глубины в N-битов, значения предсказанного изображения, выведенные из блока 314 внешнего/внутреннего предсказания, и выводит результирующие значения в блок 306 преобразования. Блок 306 преобразования преобразует результирующие значения в частотные коэффициенты, и выводит результирующие частотные коэффициенты в блок 308 квантования. Блок 308 квантования квантует введенные частотные коэффициенты и выводит результирующие квантованные значения в блок 310 обратного квантования и блок 320 энтропийного кодирования.
[0066] Блок 320 энтропийного кодирования кодирует квантованные значения, выведенные из блока 308 квантования в соответствии с уведомлением, определенным блоком 322 управления, и выводит результирующие значения в мультиплексор 316B. Здесь блок 320 энтропийного кодирования может выполнять кодирование с переменной длиной кодового слова в отношении параметров и тому подобное.
[0067] Блок 310 обратного квантования обратно квантует квантованные значения, выведенные из блока 308 квантования, и выводит результирующие обратно квантованные значения в блок 312 обратного преобразования. Блок 312 обратного преобразования выполняет обратное частотное преобразование частотных коэффициентов, с тем чтобы преобразовать частотные коэффициенты в значения выборок битового потока, и выводит результирующие значения выборок в сумматор 304B. Сумматор 304B суммирует значения выборок, считанные из блока 312 обратного преобразования, с значениями предсказанного изображения, выведенными из блока 314 внешнего/внутреннего предсказания, и выводит результирующие суммированные значения в мультиплексор 316A через блок 319 фильтра.
[0068] Блок 319 фильтра выполняет фильтрацию, такую как фильтрация блочности для удаления блочного искажения, результирующих суммированных значений, если необходимо.
[0069] Мультиплексор 316A выбирает значения либо из значений, выведенных из блока 319 фильтра, либо из значений, выведенных из блока 302B преобразования глубины в N-битов в соответствии с уведомлением, определенным блоком 322 управления, и выводит результирующие значения в память 318 для дальнейшего предсказания. Блок 314 внешнего/внутреннего предсказания ищет внутри реконструированных изображений, хранящихся в памяти 318, и оценивает область изображения, которая является, например, наиболее схожей с входным изображением, для предсказания.
[0070] К тому же, входные изображения вводятся в блок 324 необязательной обработки. Блок 324 необязательной обработки манипулирует битовыми потоками изображений, например, повышая резкость, сглаживая, равно как и удаляя блочность битовых потоков, выбирает выборки необработанного изображения фиксированной длины (при глубине в битах IPCM-выборок) и выводит результирующее выбранное значение в блок 302B преобразования глубины в N-битов. Блок 302B преобразования глубины в N-битов задействует преобразование глубины в N-битов выборок необработанного изображения и выводит результирующие значения в мультиплексор 316A в соответствии с уведомлением, полученным блоком 322 управления. Блок 324 необязательной обработки также выводит результирующее значение в мультиплексор 316B.
[0071] Следует обратить внимание, что блок 324 необязательной обработки, как описано выше, выбирает выборки необработанного изображения фиксированной длины с глубиной в битах IPCM-выборок. Более конкретно, блок 324 необязательной обработки регулирует глубину в битах входных изображений до глубины в битах для IPCM. Например, блок 324 необязательной обработки уменьшает глубину в битах входных изображений до глубины в битах для IPCM.
[0072] Мультиплексор 316B может выбирать значения из значений, выведенных из блока 320 энтропийного кодирования, или значений, выведенных из блока 324 необязательной обработки, и выводит результирующие значения в соответствии с уведомлением, определенным блоком 322 управления. Выходной битовый поток мультиплексора 316B является кодированным битовым потоком и показан далее на диаграмме синтаксиса на Фиг.6.
[0073] Блок 322 управления определяет уведомление для уведомления блоков 302A и 302B преобразования глубины в N-битов задействовать ли преобразование глубины в N-битов входных изображений. Блок 322 управления также определяет уведомление для уведомления мультиплексора 316A, чтобы выбрать значения, либо выведенные из блока 319 фильтра, либо выведенные из блока 320B преобразования глубины в N-битов. Аналогично, блок 322 управления также определяет уведомление для уведомления мультиплексора 316B, чтобы выбрать значения, либо выведенные из блока 324 необязательной обработки, либо выведенные из блока 320 энтропийного кодирования.
[0074] Например, блок 322 управления может использовать предварительно определенную схему, т.е. сравнение числа кодированных бит, сформированных блоком 320 энтропийного кодирования, с числом битов необработанных выборок фиксированной длины из блока 324 необязательной обработки. Если кодированных бит меньше, чем битов необработанных выборок фиксированной длины, блок 322 управления уведомляет мультиплексор 316B, чтобы выбрать значения, выведенные из блока 320 энтропийного кодирования; иначе, блок 322 управления уведомляет мультиплексор 316B, чтобы выбрать значения, выведенные из блока 324 необязательной обработки.
[0075] Блок 322 управления дополнительно выводит два параметра (1) глубину в битах IPCM-выборок и (2) глубину в битах реконструированных выборок в блок 320 энтропийного кодирования, который записывает эти два параметра в выходной битовый поток.
[0076] Как описано выше, преобразование глубины в N-битов является преобразованием первоначальных M-битных данных в N-битные данные посредством, например, вставки незначащей (заполняющей) информации в первоначальные M-битные данные и расширения M-битных данных до N-битных данных или сжатия первоначальных M-битных данных в N-битные данные.
[0077] Если M=N, то каждый из блоков 302A и 302B преобразования глубины в N-битов непосредственно выводят M-битные данные как результирующие значения преобразования глубины в N-битов. В случае, когда битов входных данных M>N, то каждый из блоков 302A и 302B преобразования глубины в N-битов может сжимать M-битные данные в N-битные данные и выводит сжатые N-битные данные. Иначе, если битов входных данных M<N, то каждый из блоков 302A и 302B преобразования глубины в N-битов может вставлять незначащую информацию, например, [0, 0...0] или [1, 0...0] (в итоговые (M-N) бит) в начало первоначальных M-битовых данных или в конце первоначальных M-битовых данных или посередине первоначальных M-битовых данных, и выводит заполненные незначащей информацией N-битные данные.
[0078] На Фиг.4 показана диаграмма синтаксиса, показывающая преобразование глубины в 8-битов согласно Варианту осуществления 1.
[0079] На Фиг.4(a), как глубина в битах для составляющей яркости реконструированных изображений (402), так и глубина в битах для составляющей цветности реконструированных изображений (404) составляют 8 бит. С другой стороны, как глубина в битах для составляющей яркости первоначальных IPCM-блоков (406), так и глубина в битах для составляющей цветности первоначальных IPCM-блоков (408) составляют 8 бит. Таким образом, глубины в битах реконструированных изображений (8 бит) как для составляющей яркости, так и составляющей цветности равны глубинам в битах первоначальных IPCM-блоков (8 бит) как для составляющей яркости, так и составляющей цветности. В результате, для преобразования глубины в 8-битов не нужно ни увеличения битов, ни уменьшения битов.
[0080] На Фиг.4(b), как глубина в битах для составляющей яркости реконструированных изображений (410), так и глубина в битах для составляющей цветности реконструированных изображений (412) составляют 8 бит. С другой стороны, как глубина в битах для составляющей яркости первоначальных IPCM-блоков (414), так и глубина в битах для составляющей цветности первоначальных IPCM-блоков (416) составляют 10 бит. Таким образом, глубины в битах реконструированного изображения (8 бит) как для составляющей яркости, так и составляющей цветности меньше, чем глубины в битах первоначальных IPCM-блоков (10 бит) как для составляющей яркости, так и составляющей цветности. IPCM-блоки подвергаются уменьшению глубины в битах до уровня, равного глубине в битах реконструированных изображений, посредством, например, сжатия 10-битных данных в 8-битные данные.
[0081] На Фиг.4(c), как глубина в битах для составляющей яркости реконструированных изображений (418), так и глубина в битах для составляющей цветности реконструированных изображений (420) составляют 10 бит. С другой стороны, как глубина в битах для составляющей яркости первоначальных IPCM-блоков (422), так и глубина в битах для составляющей цветности первоначальных IPCM-блоков (424) составляют 8 бит. Таким образом, глубины в битах реконструированного изображения (10 бит) как для составляющей яркости, так и составляющей цветности больше, чем глубины в битах первоначальных IPCM-блоков (8 бит) как для составляющей яркости, так и составляющей цветности. IPCM-блоки подвергаются увеличению глубины в битах до уровня, равного глубине в битах реконструированных изображений, посредством, например, вставки 2-битной незначащей информации в IPCM-блоки.
[0082] Далее дано описание относительно операций устройства 300 кодирования изображения, как упомянуто выше.
[0083] На Фиг.5 показана функциональная схема, которая показывает последовательность операций, выполняемых устройством 300 кодирования изображения согласно Варианту осуществления 1.
[0084] На этапе S502 сигнал (параметр) sigRec, указывающий глубину в битах реконструированных выборок, и сигнал (параметр) SigPcm, указывающий глубину в битах IPCM-выборок, записываются в заголовок потока изображения (видео). На этапе S504 IPCM-блок PU записывается, используя глубину в битах, указанную в сигнале sigPcm, например, 10 бит. Затем, IPCM-блок PU реконструируется посредством преобразования глубины в битах, указанной в сигнале sigPcm, в глубину в битах, указанную в сигнале sigRec, например, из 10 бит в 8 бит (этап S506).
[0085] На Фиг.6 показана диаграмма синтаксиса, которая показывает параметры двух полей в кодированном потоке согласно Варианту осуществления 1.
[0086] Как показано на Фиг.6, если присутствуют поле 1 для параметра, указывающего "глубину в битах реконструированных выборок" (например, обозначенную как bit_depth_luma_minus8 и bit_depth_chroma_minus8, показанные на Фиг.4), и поле F2 для параметра, указывающего "глубину в битах IPCM-выборок" (например, обозначенную как pcm_bit_depth_luma_minus1 и pcm_bit_depth_chroma_minus1, показанные на Фиг.4), они хранятся в заголовке последовательности ряда картинок. На Фиг.6 кодированный битовый поток содержит ряд картинок, таких как картинка P1..., картинка Pi..., в котором каждая картинка содержит ряд вырезок. Здесь, картинка P1 содержит вырезку S1 и вырезку S2, в котором блоком Bi вырезки S1 является IPCM-блок.
[0087] На Фиг.6 информация заголовка включает в себя параметры, такие как заголовок последовательности (набор параметров последовательности), заголовок картинки (набор параметров картинки), заголовок вырезки, SEI (дополнительная информация по усовершенствованию), NAL (уровень сетевой абстракции) и т.д.
[0088] Информация заголовка хранится в заголовке потока изображения, в котором заголовок последовательности содержит поле F1 для параметра, указывающего 8-битную "глубину в битах реконструированных выборок" (SigRec), и поле F2 для параметра, указывающего 10-битную "глубину в битах IPCM-выборок" (SigPcm). На Фиг.6 блок Bi является IPCM-блоком, поэтому глубина в битах в поле F2 (sigPcm) используется для реконструкции блока Bi, вместо параметра глубины в битах в поле F1 (sigRec).
[0089] Эффектом настоящего варианта осуществления является улучшение эффективности кодирования IPCM-данных в битовом потоке кодированного изображения. Используя настоящий вариант осуществления, IPCM-данные кодируются при своих несжатых глубинах в битах, которые могут отличаться от глубин в битах реконструированных выборок изображения. Когда глубина в битах несжатых выборок меньше, чем глубина в битах реконструированных выборок, настоящий вариант осуществления удаляет избыточность при кодировании излишних битов. С другой стороны, когда глубина в битах несжатых выборок больше, чем глубина в битах реконструированных выборок, настоящий вариант осуществления предоставляет структуру для точного удержания несжатой глубины в битах в IPCM-данных без потери точности в битах.
(Вариант осуществления 2)
[0090] На Фиг.7 показана блок-схема, которая показывает структуру устройства декодирования изображения согласно Варианту осуществления 2 настоящего раскрытия. Устройство 700 декодирования изображения, показанное на Фиг.7, является устройством для декодирования битового потока входного изображения на основании «блок за блоком» и вывода изображений.
[0091] Устройство 700 декодирования изображения включает в себя, как показано на Фиг.7, демультиплексор (блок DEMUX) 702A, мультиплексор (блок MUX) 702B, блок 704 энтропийного декодирования, сумматор 706, блок 708 обратного квантования, блок 710 обратного преобразования, память 712, блок 714 внутреннего/внешнего предсказания, блок 716 управления, блок 718 осуществления синтаксического анализа IPCM-блока, блок 719 фильтра и блок 720 преобразования глубины в N-битов.
[0092] Входной кодированный битовый поток вводится в демультиплексор 702A, и демультиплексор 702A выводит результирующие значения либо в блок 704 энтропийного декодирования либо в блок 718 осуществления синтаксического анализа IPCM-блока в соответствии с уведомлением, определенным блоком 716 управления.
[0093] После того, как входной кодированный битовый поток вводится в блок 704 энтропийного декодирования, блок 704 энтропийного декодирования декодирует значения, выведенные из демультиплексора 702A, и выводит декодированные значения в блок 708 обратного квантования и блок 716 управления. Здесь блок 704 энтропийного декодирования может выполнять декодирование с переменной длиной кодового слова в отношении параметров и тому подобное.
[0094] Блок 708 обратного квантования обратно квантует входные значения и выводит результирующие обратно квантованные значения в блок 710 обратного преобразования. Блок 710 обратного преобразования выполняет обратное частотное преобразование частотных коэффициентов, чтобы преобразовать частотные коэффициенты в значения выборок, и выводит результирующие значения пикселей в сумматор 706. Сумматор 706 суммирует значения выборок, считанные из блока 710 обратного преобразования, с значениями предсказанного изображения, выведенным из блока 714 внешнего/внутреннего предсказания, и выводит результирующие значения в мультиплексор 702B через блок 719 фильтра.
[0095] Блок 719 фильтра выполняет фильтрацию, такую как фильтрация блочности для удаления блочных искажений, если необходимо.
[0096] Мультиплексор 702B выбирает значения либо из значений, выведенных из блока 719 фильтра, либо из значений, выведенных из блока 720 преобразования глубины в N-битов в соответствии с уведомлением, определенным блоком 716 управления, и выводит результирующие значения в память 712 для дальнейшего предсказания. Декодированные изображения выводятся для отображения из памяти 712. В дополнение, блок 314 внешнего/внутреннего предсказания осуществляет поиск внутри изображений, хранящихся в памяти 712, и оценивает область изображения, которая является, например, наиболее схожей с декодированными изображениями, для предсказания.
[0097] Возвращаясь к блоку 718 осуществления синтаксического анализа IPCM-блока и блоку 720 преобразования глубины в N-битов, процессы осуществления синтаксического анализа и преобразования полагаются на два параметра "глубина в битах IPCM-выборок (sigPcm)" и "глубина в битах реконструированных выборок (sigRec)". Два параметра "глубина в битах IPCM-выборок (sigPcm)" и "глубина в битах реконструированных выборок (sigRec)" получаются из блока 704 энтропийного декодирования из заголовка входного битового потока.
[0098] Входной кодированный битовый поток и сигнал sigPcm (например, указывающий 10 бит), выведенные из блока 716 управления, вводятся в блок 718 осуществления синтаксического анализа IPCM-блока, и блок 718 осуществления синтаксического анализа IPCM-блока выводит результирующие проанализированные значения в блок 720 преобразования глубины в N-битов. Блок 720 преобразования глубины в N-битов задействует преобразование глубины в N-битов, используя сигнал sigRec, полученный из блока 716 управления, и используя проанализированное значение, выведенное из блока 718 преобразования глубины в N-битов, и выводит результирующие преобразованные значения в мультиплексор 702B.
[0099] Мультиплексор 702B может выбирать значения либо из значений, выведенных из блока 719 фильтра, либо из значений, выведенных из блока 720 преобразования глубины в N-битов, в соответствии с уведомлением, определенным блоком 716 управления.
[0100] Блок 716 управления определяет уведомление для уведомления демультиплексора 702A для вывода либо в блок 704 энтропийного декодирования, либо в блок 718 осуществления синтаксического анализа IPCM-блока. Блок 716 управления также определяет уведомление для уведомления мультиплексора 702B, чтобы выбрать значения либо из значения, выведенного из блока 719 фильтра, либо из значений, выведенных из блока 720 преобразования глубины в N-битов. В дополнение, блок 716 управления дополнительно выдает два сигнала - сигнал sigPcm (например, 10 бит) и сигнал sigRec (N бит) в качестве входных значений в блок 718 осуществления синтаксического анализа IPCM-блока и в блок 720 преобразования глубины в N-битов, соответственно.
[0101] Далее, дано описание относительно операций устройства 700 декодирования изображения, как упомянуто выше.
[0102] На Фиг.8 показана функциональная схема, которая показывает последовательность операций, выполняемых устройством 700 декодирования изображения согласно Варианту осуществления 2.
[0103] На этапе S802 делается определение, является ли PU_type (тип единицы предсказания) равным I_PCM. Когда PU_type не является I_PCM, в результате этого определения (НЕТ на этапе S802), другие способы для других значений PU_type используются для декодирования блока (этап S804).
[0104] С другой стороны, когда PU_type является I_PCM, в результате этого определения (ДА на этапе S802), блок 716 управления получает сигнал sigRec и сигнал sigPcm из заголовка потока изображения (этап S804). Далее, I_PCM-блок PU считывается, используя глубину в битах необработанных выборок фиксированной длины, указанную в sigPcm, например, 10 бит (этап S808). Затем, определяется, являются ли разными глубина в битах, указанная в сигнале sigRec, и глубина в битах, указанная в сигнале sigPcm (этап S810). Когда глубина в битах, указанная в сигнале sigRec, отличается от глубины в битах, указанной в сигнале sigPcm (ДА на этапе S810), преобразование глубины в N-битов задействует использование сигнала sigRec, например, из 10 бит в 8 бит (этап S812).
[0105] Как описано выше, параметр "глубина в битах IPCM-выборок" в заголовке последовательности изображений может быть использован для идентификации глубины в битах IPCM-блоков, так чтобы декодер знал, сколько бит на выборку требуется для осуществления синтаксического анализа IPCM-блока.
[0106] В случае, когда глубина в битах реконструированных изображений больше (меньше), чем глубина в битах IPCM-выборок, и небольшое сжатие памяти используется для сжатия реконструированных изображений, блоки могут подвергаться увеличению (уменьшению) глубины в битах до уровня, равного глубине в битах реконструированного изображения, и та же схема небольшого сжатия может быть применена к IPCM-блоку в той же мере, чтобы обеспечить целостность в процессе декодирования для внешнего предсказания. Когда используется небольшое сжатие памяти, IPCM-выборки интерпретируются в равной степени как не IPCM-выборки из-за процесса преобразования глубины в битах.
[0107] Эффектом настоящего варианта осуществления является обеспечить возможность декодирования кодированных видеоданных, которые кодируются, в виде улучшения эффективности кодирования IPCM-данных. Когда глубина в битах несжатых выборок меньше, чем глубина в битах реконструированных выборок, настоящий вариант осуществления удаляет избыточность при кодировании излишних битов. С другой стороны, когда глубина в битах несжатых выборок больше, чем глубина в битах реконструированных выборок, настоящий вариант осуществления предоставляет средство для точного удержания несжатой глубины в битах в IPCM-данных без потери точности в битах.
[0108] Даже если глубины в битах IPCM-данных и не IPCM-данных являются разными, декодирование может быть соответствующим посредством использования параметра в кодированных видеоданных, который указывает глубину в битах IPCM-данных.
(Вариант осуществления 3)
[0109] В Варианте осуществления 3 дано описание для характерных операций, выполненных устройством 300 кодирования изображения, описанным в Варианте осуществления 1.
[0110] На Фиг.9 показана функциональная схема, которая показывает способ кодирования для кодирования битового потока изображений согласно Варианту осуществления 3 настоящего раскрытия. На этапе S902 первый параметр, представляющий глубину в битах необработанных выборок фиксированной длины, переданный внутри битового потока изображения, записывается в заголовок битового потока изображения (видео). На этапе S904 второй параметр, представляющий глубину в битах реконструированных выборок из битового потока изображения, записывается в заголовок битового потока изображения. На этапе S906 подгруппа необработанных выборок фиксированной длины записывается с битами на каждую выборку в битовый поток изображения на основе первого параметра. На этапе S908 реконструируются подгруппы необработанных выборок фиксированной длины, в котором реконструирование включает в себя преобразование глубины в битах подгруппы необработанных выборок фиксированной длины из первого параметра во второй параметр.
(Вариант осуществления 4)
[0111] Устройство кодирования изображения согласно Варианту осуществления 4 включает в себя характерные составляющие элементы в устройстве 300 кодирования изображения, описанном в Варианте осуществления 1. К тому же, устройство декодирования изображения согласно Варианту осуществления 4 включает в себя характерные составляющие элементы в устройстве 700 декодирования изображения, описанном в Варианте осуществления 2.
[0112] На Фиг.10A показана блок-схема, которая показывает структуру устройства кодирования изображения согласно Варианту осуществления 4 настоящего раскрытия. Устройство 1000 кодирования изображения, показанное на Фиг.10A, кодирует изображения для генерирования кодированного потока. Затем, устройство 1000 кодирования изображения включает в себя первый записывающий блок 1001 и второй записывающий блок 1002. Первый записывающий блок 1001 и второй записывающий блок 1002 в основном соответствуют блоку 320 энтропийного кодирования согласно Варианту осуществления 1.
[0113] На Фиг.10B показана функциональная схема, которая показывает операции, выполняемые устройством 1000 кодирования изображения, показанным на Фиг.10A.
[0114] Как показано на Фиг.10B, первый записывающий блок 1001 записывает первый параметр, представляющий первую глубину в битах, которая является глубиной в битах реконструированных выборок изображения, в набор параметров последовательности в кодированном потоке, который следует сгенерировать (S1001). Второй записывающий блок 1002 записывает второй параметр, который представляет вторую глубину в битах, которая является глубиной в битах IPCM-выборок в изображении и отличается от первого параметра, в набор параметров последовательности (S1002).
[0115] Тем самым, возможно устанавливать глубину в битах IPCM-выборок отдельно и независимо от глубины в битах реконструированных выборок. Вследствие этого, избыточные данные IPCM-выборок могут быть уменьшены. В результате, эффективность кодирования может быть улучшена.
[0116] На Фиг.11A показана блок-схема, которая показывает структуру устройства декодирования изображения согласно Варианту осуществления 4. Устройство 1100 декодирования изображения, показанное на Фиг.11A, декодирует изображения, включенные в кодированный поток. Затем, устройство 1100 декодирования изображения включает в себя первый блок получения 1101 и второй блок 1102 получения. Первый блок получения 1101 и второй блок 1102 получения в основном соответствуют блоку 704 энтропийного кодирования согласно Варианту осуществления 2.
[0117] На Фиг.11B показана функциональная схема, которая показывает операции, выполняемые устройством 1100 декодирования изображения, показанным на Фиг.11A.
[0118] Как показано на Фиг.11B, первый блок получения 1101 получает первый параметр, представляющий первую глубину в битах, которая является глубиной в битах реконструированных выборок изображения, из набора параметров последовательности в кодированном потоке (S1101). Второй блок 1102 получения получает второй параметр, который представляет вторую глубину в битах, которая является глубиной в битах IPCM-выборок в изображении и отличается от первого параметра, из набора параметров последовательности (S1102).
[0119] Вследствие этого, возможно получить глубину в битах IPCM-выборок отдельно и независимо от глубины в битах реконструированных выборок. Вследствие этого, избыточные данные IPCM-выборок могут быть уменьшены. В результате, эффективность кодирования может быть улучшена.
(Вариант осуществления 5)
[0120] Устройство кодирования изображения согласно Варианту осуществления 5 настоящего раскрытия включает в себя характерные составляющие элементы в устройстве 300 кодирования изображения, описанном в Варианте осуществления 1. К тому же, устройство декодирования изображения согласно Варианту осуществления 5 включает в себя характерные составляющие элементы в устройстве 700 декодирования изображения, описанном в Варианте осуществления 2. Следует обратить внимание, что в Варианте осуществления 5, произвольно добавленные составляющие элементы описаны в дополнение к составляющим элементам, описанным в Варианте осуществления 4.
[0121] На Фиг.12 показана блок-схема, которая показывает структуру устройства кодирования изображения согласно настоящему варианту осуществления. Устройство 1200 формирования изображения, показанное на Фиг.12, включает в себя первый записывающий блок 1201, второй записывающий блок 1202, третий записывающий блок 1203, четвертый записывающий блок 1204, блок 1205 реконструкции, блок 1206 преобразования, блок 1207 уменьшения глубины в битах и блок 1208 увеличения глубины в битах.
[0122] Первый записывающий блок 1201 и второй записывающий блок 1202 являются такими же составляющими элементами, как первый записывающий блок 1001 и второй записывающий блок 1002 в устройстве 1000 кодирования изображения, соответственно. Другие составляющие элементы являются дополнительными составляющими элементами, часть или все из которых являются произвольно добавленными.
[0123] Третий записывающий блок 1203 в основном соответствует мультиплексору 316B согласно Варианту осуществления 1. Четвертый записывающий блок 1204 в основном соответствует блоку 320 энтропийного кодирования согласно Варианту осуществления 1. Блок 1206 преобразования в основном соответствует блоку 302B преобразования глубины в N-битов согласно Варианту осуществления 1. Блок 1207 уменьшения глубины в битах в основном соответствует блоку 324 необязательной обработки согласно Варианту осуществления 1. Блок 1208 увеличения глубины в битах в основном соответствует блоку 302A преобразования глубины в N-битов согласно Варианту осуществления 1.
[0124] Блок 1205 реконструкции в основном соответствует сумматору 304B согласно Варианту осуществления 1. Блок 1205 реконструкции может включать в себя блок 310 обратного квантования, блок 312 обратного преобразования, блок 319 фильтра, и блок 314 внешнего/внутреннего предсказания согласно Варианту осуществления 1.
[0125] На Фиг.13B показана функциональная схема, которая показывает операции, выполняемые устройством 1200 кодирования изображения, показанным на Фиг.12. Как показано на Фиг.13, первый записывающий блок 1201 записывает первый параметр, представляющий первую глубину в битах, которая является глубиной в битах реконструированных выборок изображения, в набор параметров последовательности в кодированном потоке, который следует сгенерировать (S1301).
[0126] Второй записывающий блок 1201 записывает второй параметр, который представляет вторую глубину в битах, которая является глубиной в битах IPCM-выборок в изображении и отличается от первого параметра, в набор параметров последовательности (S1302). Здесь обычно второй записывающий блок 1202 записывает второй параметр, представляющий вторую глубину в битах, которая является равной или меньшей, чем первая глубина в битах.
[0127] Первый записывающий блок 1201 может записывать первый параметр, представляющий первую глубину в битах, которая больше, чем третья глубина в битах, которая является глубиной в битах первоначальных выборок изображения. В этом случае блок 1208 увеличения глубины в битах конвертирует первоначальные выборки с третьей глубиной в битах в выборки с первой глубиной в битах, с тем чтобы увеличить глубину в битах реконструированных выборок, соответствующих первоначальным выборкам.
[0128] Второй записывающий блок 1202 может записывать второй параметр, представляющий вторую глубину в битах, которая меньше, чем третья глубина в битах, которая является глубиной в битах первоначальных выборок изображения. В этом случае блок 1207 уменьшения глубины в битах конвертирует первоначальные выборки с третьей глубиной в битах в выборки со второй глубиной в битах, с тем чтобы уменьшить глубину в битах реконструированных выборок, соответствующих первоначальным выборкам (S1304).
[0129] Блок 1205 реконструкции реконструирует выборки с первой глубиной в битах из кодированных выборок изображения, с тем чтобы сгенерировать реконструированные выборки (S1305). Здесь, кодированные выборки генерируются посредством выполнения по меньшей мере части обработки кодирования для первоначальных выборок изображения. Блок 1206 преобразования конвертирует IPCM-выборки со второй глубиной в битах в реконструированные выборки с первой глубиной в битах (S1306).
[0130] Третий записывающий блок 1203 записывает IPCM-выборки со второй глубиной в битах в кодированный поток (S1307). Четвертый записывающий блок 1204 записывает кодированные выборки, которые кодируются используя реконструированные выборки с первой глубиной в битах, в кодированный поток (S1308).
[0131] Вследствие этого, устройство 1200 кодирования изображения может соответствующим образом выполнять обработку изображения посредством использования глубины в битах реконструированных выборок и глубины в битах IPCM-выборок. Например, большая глубина в битах используется для реконструированных выборок, и небольшая глубина в битах используется для IPCM-выборок. Вследствие этого, могут быть достигнуты и улучшение качества изображения, и улучшение эффективности кодирования.
[0132] Следует обратить внимание, что порядок этапов не ограничен порядком, показанным на Фиг.13, но может быть изменен. Следует также обратить внимание, что возможно устранить часть или все этапы, в частности, этапы, окруженные прерывистой линией. Следует также обратить внимание, что устройство 1200 кодирования изображения может дополнительно включать в себя блок обработки кодирования, который кодирует первоначальные выборки используя реконструированные выборки. Блок обработки кодирования в основном соответствует блоку 314 внешнего/внутреннего предсказания, вычитателю 304A, блоку 320 энтропийного кодирования, блоку 308 квантования, блоку 306 преобразования и тому подобным согласно Варианту осуществления 1.
[0133] На Фиг.14A показана блок-схема, которая показывает структуру устройства декодирования изображения согласно настоящему варианту осуществления. Устройство 1400 декодирования изображения, показанное на Фиг.14, включает в себя первый блок 1401 получения, второй блок 1402 получения, третий блок 1403 получения, четвертый блок 1404 получения, блок 1405 реконструкции, блок 1406 преобразования и блок 1407 увеличения глубины в битах.
[0134] Первый блок 1401 получения и второй блок 1402 получения являются такими же составляющими элементами, как первый блок получения 1101 и второй блок 1102 получения в устройстве 1100 декодирования изображения, соответственно. Другие составляющие элементы являются дополнительными составляющими элементами, часть или все из которых являются произвольно добавленными.
[0135] Третий блок 1403 получения в основном соответствует блоку 718 осуществления синтаксического анализа IPCM-блока согласно Варианту осуществления 2. Четвертый блок 1404 получения в основном соответствует блоку 704 энтропийного декодирования согласно Варианту осуществления 2. Блок 1406 преобразования в основном соответствует блоку 720 преобразования глубины в N-битов согласно Варианту осуществления 2. Блок 1407 увеличения глубины в битах в основном соответствует блоку 720 преобразования глубины в N-битов согласно Варианту осуществления 2.
[0136] Блок 1405 реконструкции в основном соответствует сумматору 706 согласно Варианту осуществления 2. Блок 1405 реконструкции может включать в себя блок 708 обратного квантования, блок 710 обратного преобразования, блок 719 фильтра, и блок 714 внешнего/внутреннего предсказания согласно Варианту осуществления 2.
[0137] На Фиг.15 показана функциональная схема, которая показывает операции, выполняемые устройством 1400 декодирования изображения, показанным на Фиг.14. Как показано на Фиг.15, первый блок 1401 получения получает первый параметр, представляющий первую глубину в битах, которая является глубиной в битах реконструированных выборок изображения, из набора параметров последовательности в кодированном потоке (S1501).
[0138] Второй блок 1402 получения получает второй параметр, который представляет вторую глубину в битах, которая является глубиной в битах IPCM-выборок в изображении и отличается от первого параметра, из набора параметров последовательности (S1502). Здесь обычно второй блок 1402 получения получает второй параметр, представляющий вторую глубину в битах, которая является равной или меньшей, чем первая глубина в битах.
[0139] Второй блок 1402 получения может получать второй параметр, представляющий вторую глубину в битах, которая меньше, чем первая глубина в битах. Например, второй блок 1402 получения получает второй параметр, представляющий вторую глубину в битах, которая меньше, чем третья глубина в битах, которая является глубиной в битах первоначальных выборок изображения. Например, первый блок 1401 получения получает первый параметр, представляющий первую глубину в битах, которая больше, чем третья глубина в битах, которая является глубиной в битах первоначальных выборок изображения.
Четвертый блок 1404 получения получает кодированные выборки, которые следует кодировать используя реконструированные выборки с первой глубиной в битах, из кодированного потока (S1503). [0130] Третий блок 1403 получения получает IPCM-выборки со второй глубиной в битах из кодированного потока (S1504). Блок 1405 реконструкции реконструирует выборки с первой глубиной в битах из кодированных выборок изображения, с тем чтобы сгенерировать реконструированные выборки (S1505).
[0141] Когда второй блок 1402 получения получает второй параметр, представляющий вторую глубину в битах, которая меньше, чем первая глубина в битах, блок 1407 увеличения глубины в битах конвертирует IPCM-выборки, с тем чтобы увеличить глубину в битах IPCM-выборок (S1506). Блок 1406 преобразования конвертирует IPCM-выборки со второй глубиной в битах в реконструированные выборки с первой глубиной в битах (S1507).
[0142] Вследствие этого, устройство 1400 декодирования изображения может соответствующим образом выполнять обработку изображения посредством использования глубины в битах реконструированных выборок и глубины в битах IPCM-выборок. Например, большая глубина в битах используется для реконструированных выборок, и небольшая глубина в битах используется для IPCM-выборок. Вследствие этого, могут быть достигнуты и улучшение качества изображения, и улучшение эффективности кодирования.
[0143] Следует обратить внимание, что порядок этапов не ограничен порядком, показанным на Фиг.15, но может быть изменен. Следует также обратить внимание, что возможно устранить часть или все этапы, в частности, этапы, окруженные прерывистой линией. Следует также обратить внимание, что устройство 1400 декодирования изображения может дополнительно включать в себя блок обработки декодирования, который декодирует кодированные выборки, используя реконструированные выборки. Блок обработки декодирования в основном соответствует блоку 714 внешнего/внутреннего предсказания, сумматору 706, блоку 704 энтропийного декодирования, блоку 708 обратного квантования, блоку 710 обратного преобразования и тому подобным согласно Варианту осуществления 2.
[0144] Хотя устройство кодирования изображения и устройство декодирования изображения согласно настоящему раскрытию были описаны со ссылкой на множество вариантов осуществления как вышеуказанные, настоящее раскрытие не ограничено этими вариантами осуществления. Специалисты в данной области техники быстро осознают, что различные модификации и комбинации составляющих элементов возможны в примерных вариантах осуществления. Такие модификации и комбинации являются также вариантами осуществления настоящего раскрытия.
[0145] Например, этап, который следует выполнить посредством конкретного блока обработки, может быть выполнен посредством другим блоком обработки. Следует обратить внимание, что порядок исполнения этапов может быть изменен, или множество этапов может быть исполнено параллельно.
[0146] Следует также обратить внимание, что устройство кодирования изображения и устройство декодирования изображения согласно вариантам осуществления настоящего раскрытия могут быть реализованы как устройство кодирования/декодирования изображения, которое является комбинацией произвольных составляющих элементов, включенных в устройство кодирования изображения и устройство декодирования изображения. Например, устройство кодирования/декодирования изображения согласно варианту осуществления настоящего раскрытия включает в себя: блок кодирования изображения, который является устройством кодирования изображения согласно одному из вариантов осуществления настоящего раскрытия; и блок декодирования изображения, который является устройством декодирования изображения согласно одному из вариантов осуществления настоящего раскрытия.
[0147] Следует также обратить внимание, что настоящее раскрытие может быть реализовано не только как устройство кодирования изображения и устройство декодирования изображения, но также как способы, включающие в себя этапы, выполняемые блоками обработки в устройстве кодирования изображения и устройстве декодирования изображения. Например, эти этапы исполняются компьютером. К тому же, настоящее раскрытие может быть реализовано как программа, побуждающая компьютер исполнять этапы, включенные в данные способы. Более того, настоящее раскрытие может быть реализовано как постоянный считываемый компьютером записывающий носитель, такой как CD-ROM, на котором записана программа.
[0148] Составляющие элементы, включенные в устройство кодирования изображения и устройство декодирования изображения, могут быть реализованы в большой интегральной схеме (БИС), которая являются интегральной схемой. Эти составляющие элементы могут быть интегрированы по отдельности, или часть или все из них могут быть интегрированы в одиночный чип. Здесь, интегральная схема называется как БИС, но интегральная схема может быть названа IC, система БИС, супер БИС или ультра БИС, в зависимости от их степени интеграции.
[0149] Следует обратить внимание, что технология интегральной схемы не ограничен БИС, и она может быть реализована как выделенная схема или процессор общего назначения. Также возможно использовать программируемую пользователем вентильную матрицу (FPGA), которая может быть запрограммирована после изготовления БИС, или перестраиваемый процессор, в котором соединение и установка ячеек схемы внутри БИС может быть перестроено.
[0150] К тому же, если из-за прогресса полупроводниковых технологий или их производных, новые технологии для интегрированных схем оказываются замененными с помощью БИС, конечно, возможно использовать такие технологии для реализации составляющих элементов, включенных в устройство кодирования изображения и устройство декодирования изображения, как интегральная схема.
(Вариант осуществления 6)
[0151] Обработка, описанная в каждом из Вариантов осуществления, может быть просто реализована в независимой компьютерной системе, посредством записи, в записывающий носитель, программы для реализации конфигураций способа кодирования фильма (способа кодирования изображения) и способа декодирования фильма (способа декодирования изображения), описанных в каждом из Вариантов осуществления. Записывающие носители могут быть любыми записывающими носителями, пока программа может быть записана, такими как магнитный диск, оптический диск, магнито-оптический диск, IC-карта и полупроводниковая память.
[0152] В дальнейшем в этом документе, будут описаны применения к способу кодирования фильма (способу кодирования изображения) и способу декодирования фильма (способу декодирования изображения), описанным в каждом из Вариантов осуществления и систем, их использующих. Система имеет признак того, что имеет устройство кодирования изображения и декодирования изображения, которая включает в себя устройство кодирования изображения, использующее способ кодирования изображения, и устройство декодирования изображения, использующее способ декодирования изображения. Другие конфигурации в системе могут быть изменены соответствующим образом в зависимости от случаев.
[0153] На Фиг.16 проиллюстрирована общая конфигурация системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи делится на ячейки желаемого размера, и базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями, помещаются в каждую из ячеек.
[0154] Система ex100 предоставления контента присоединяется к устройствам, таким как компьютер ex111, персональный цифровой помощник (PDA) ex112, камера ex113, сотовый телефон ex114 и игровая машина ex115, через Интернет ex101, поставщика ex102 услуг Интернет, телефонную сеть ex104, так же как и базовые станции с ex106 по ex110, соответственно.
[0155] Однако, конфигурация системы ex100 предоставления контента не ограничена конфигурацией, показанной на Фиг.16, и допустима комбинация, в которой любые из элементов соединены. В дополнение, каждое устройство может быть напрямую присоединено к телефонной сети ex104, а не через базовые станции с ex106 по ex110, которые являются стационарными беспроводными станциями. К тому же, устройства могут быть взаимно соединены друг с другом посредством беспроводной связи ближнего действия и другого.
[0156] Камера ex113, такая как цифровая видеокамера, способна захватывать видео. Камера ex116, такая как цифровая видеокамера, способна захватывать как неподвижное изображение, так и видео. К тому же, сотовый телефон ex114 такой, который отвечает любым стандартам, таким как Глобальная система мобильной связи (GSM), Множественный доступ с кодовым разделением каналов (CDMA), Беспроводной множественный доступ с кодовым разделением каналов (W-CDMA), Проект долгосрочного развития (LTE) и стандарт Высокоскоростной пакетной передачи данных (HSPA). В качестве альтернативы, сотовый телефон ex114 может быть Системой персональных мобильных телефонов (PHS).
[0157] В системе ex100 предоставления контента, сервер ex103 потоковой передачи присоединен к камере ex113 и другим через телефонную сеть ex104 и базовую станцию ex109, которые обеспечивают возможность распространения изображений передачи в прямом эфире и других. При таком распространении, контент (например, видео музыкальной передачи в прямом эфире), захваченный пользователем, используя камеру ex113, кодируется, как описано выше в каждом из Вариантов осуществления (т.е. камера функционирует как устройство кодирования изображения настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи осуществляет распространение потока данных передаваемого контента клиентам после их запросов. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровую машину ex115, которые способны декодировать вышеупомянутые кодированные данные. Каждое из устройств, которые приняли распространяемые данные, декодирует и воспроизводит кодированные данные (т.е. устройства, каждое, функционируют как устройство декодирования изображения настоящего изобретения).
[0158] Захваченные данные могут быть кодированы камерой ex113 или сервером ex103 потоковой передачи, который передает данные, или процессы кодирования могут быть совместно использованы между камерой ex113 и сервером ex103 потоковой передачи. Аналогично, распространяемые данные могут быть декодированы клиентами или сервером ex103 потоковой передачи, или процессы декодирования могут быть разделены между клиентами и сервером ex103 потоковой передачи. К тому же, данные неподвижных изображений и видео, захваченных не только камерой ex113, но также камерой ex116, могут быть переданы в сервер ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут быть выполнены камерой ex116, компьютером ex111 или сервером ex103 потоковой передачи, или совместно использованы среди них.
[0159] К тому же, процессы кодирования и декодирования могут быть выполнены посредством БИС ex500, обычно включенной в каждый из компьютера ex111 и устройств. БИС ex500 может быть сконфигурирована из одиночного чипа или множества микросхем. Программное обеспечение для кодирования и декодирования видео может быть интегрировано в некоторые типы записывающего носителя (такой как CD-ROM, гибкий диск и жесткий диск), который является считываемым компьютером ex111 и другими, и процессы кодирования и декодирования могут быть выполнены используя программное обеспечение. К тому же, когда сотовый телефон ex114 оборудован камерой, данные изображения, полученные камерой могут быть переданы. Видеоданные являются данными, кодированными посредством БИС ex500, включенными в сотовый телефон ex114.
[0160] К тому же, сервер ex103 потоковой передачи может быть составлен из серверов и компьютеров и может децентрализовывать данные и обрабатывать децентрализованные данные, записывать или распространять данные.
[0161] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, переданную пользователем, и воспроизводить декодированные данные в реальном времени в системе ex100 предоставления контента, так чтобы пользователь, который не имеет какого-либо конкретного права и оборудования, мог реализовать персональное вещание.
[0162] Помимо примера системы ex100 предоставления контента, по меньшей мере одно из устройства кодирования фильма (устройства кодирования изображения) и устройства декодирования фильма (устройства декодирования изображения), описанных в каждом из Вариантов осуществления, могут быть реализованы в системе ex200 цифрового вещания, проиллюстрированной на Фиг.17. Более конкретно, станция ex201 вещания сообщает или передает, посредством радиоволн на спутник ex202 вещания, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и других в видеоданные. Видеоданные являются данными, кодированными способом кодирования фильма, описанным в каждом из Вариантов осуществления (т.е. данными, кодированными устройством кодирования изображения настоящего изобретения). После приема мультиплексированных данных, спутник ex202 вещания передает радиоволны для вещания. Затем, антенна ex204 домашнего использования с помощью функции приема спутникового вещания принимает радиоволны. Далее, устройство, такое как телевизор (приемник) ex300 и телевизионная приставка (STB) ex217, декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (т.е. устройство функционирует как устройство кодирования изображения настоящего изобретения).
[0163] К тому же, считывающее устройство/записывающее устройство ex218 (i) считывает и декодирует мультиплексированные данные, записанные на записывающие носители ex215, такие как DVD или BD, или (i) кодирует видеосигналы в записывающем носителе ex215, и в некоторых случаях записывает данные, полученные посредством мультиплексирования аудиосигнала, в кодированные данные. Считывающее устройство/записывающее устройство ex218 может включать в себя устройство декодирования фильма или устройство кодирования фильма, как показано в каждом из Вариантов осуществления. В этом случае воспроизведенные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены другим устройством или системой, использующей записывающий носитель ex215, на котором записаны мультиплексированные данные. Также возможно реализовать устройство декодирования фильма в телевизионной приставке ex217, присоединенной к кабелю ex203 для кабельного телевизора или к антенне ex204 для спутникового и/или наземного вещания, с тем чтобы отображать видеосигналы на мониторе ex219 телевизора ex300. Устройство декодирования фильма может быть реализовано не в телевизионной приставке, а в телевизоре ex300.
[0164] На Фиг.18 проиллюстрирован телевизор (приемник) ex300, который использует способ кодирования фильма и способ декодирования фильма, описанные в каждом из Вариантов осуществления. Телевизор ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные посредством мультиплексирования аудиоданных с видеоданными, посредством антенны ex204 или кабеля ex203 и т.д., который принимает вещание; блок ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, которые следует подать во вне; и блок ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные на видеоданные и аудиоданные, или мультиплексирует видеоданные и аудиоданные, кодированные блоком ex306 обработки сигналов, в данные.
[0165] Телевизор ex300 дополнительно включает в себя: блок ex306 обработки сигналов, включающий в себя блок ex304 обработки аудиосигнала и блок ex304 обработки видеосигнала, который декодирует аудиоданные и видеоданные и кодирует аудиоданные и видеоданные, (который функционирует как устройство кодирования изображения и устройство декодирования изображения), соответственно; и блок ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный аудиосигнал, и блок ex308 отображения, который отображает декодированный видеосигнал, такой как дисплей. К тому же, телевизор ex300 включает в себя интерфейсный блок ex317, включающий в себя блок ex312 ввода операций, который принимает ввод операций пользователя. К тому же, телевизор ex300 включает в себя блок ex310 управления, который управляет в целом каждым составляющим элементом телевизора ex300, и блок ex311 схемы электропитания, которая подает электроэнергию на каждый из элементов. В отличие от блока ex312 ввода операций, интерфейсный блок ex317 может включать в себя: мост ex313, который присоединен к внешнему устройству, такому как считывающее устройство/записывающее устройство ex218; блок ex314 слота для обеспечения возможности прикрепления записывающего носителя ex216, такого как SD-карта; привод ex315 для присоединения к внешнему записывающему носителю, такому как жесткий диск; и модем ex316 для присоединения к телефонной сети. Здесь, записывающий носитель ex215 может электрически записывать информацию используя элемент энергонезависимой/энергозависимой полупроводниковой памяти для хранения. Составляющие элементы телевизора ex300 присоединены друг к другу через синхронную шину.
[0166] Сначала будет описана конфигурация, в которой телевизор ex300 декодирует мультиплексированные данные, полученные из вне посредством антенны ex204 и другого, и воспроизводит декодированные данные. В телевизоре ex300 после операции пользователя посредством пульта ex220 дистанционного управления и другого, блок ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные блоком ex302 модуляции/демодуляции, под управлением блока ex310 управления, включающего в себя CPU. К тому же, блок ex304 обработки аудиосигнала декодирует демультиплексированные аудиоданные, и блок ex305 обработки видеосигнала декодирует демультиплексированные видеоданные, используя способ декодирования, описанный в каждом из Вариантов осуществления, в телевизоре ex300. Блок ex309 вывода предоставляет декодированный видеосигнал и аудиосигнал во вне, соответственно. Когда блок ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex318 и ex319, и другие, так чтобы сигналы воспроизводились синхронно друг с другом. К тому же, телевизор ex300 может считывать мультиплексированные данные не посредством вещания и другого, а из записывающего носителя ex215 и ex216, такого как магнитный диск, оптический диск и SD карта. Далее будет описана конфигурация, в которой телевизор ex300 кодирует аудиосигнал и видеосигнал, и передает данные во вне или записывает данные на записывающий носитель. В телевизоре ex300 после операции пользователя посредством пульта ex220 дистанционного управления и других, блок ex304 обработки аудиосигнала кодирует аудиосигнал, и блок ex305 обработки видеосигнала кодирует видеосигнал, под управлением блока ex310 управления используя способ кодирования, описанный в каждом из Вариантов осуществления. Блок ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал, и предоставляет результирующий сигнал во вне. Когда блок ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут быть временно сохранены в буферах ex320 и ex321, и другие, так чтобы сигналы воспроизводились синхронно друг с другом. Здесь, буферы ex318, ex319, ex320 и ex321 могут быть многочисленными как проиллюстрировано, или по меньшей мере один буфер может быть разделяемым в телевизоре ex300. К тому же, данные могут быть сохранены в буфере, так чтобы можно было избежать переполнения и потери значимости системы между блоком ex302 модуляции/демодуляции и блоком ex303 мультиплексирования/демультиплексирования, например.
[0167] К тому же, телевизор ex300 может включать в себя конфигурацию для приема AV ввода из микрофона или камеры, в отличие от конфигурации для получения аудио- и видеоданных из вещания или записывающего носителя, и может кодировать полученные данные. Хотя телевизор ex300 может кодировать, мультиплексировать и выводить внешние данные в данном описании, он может быть способен только принимать, декодировать и выдавать внешние данные, но не кодировать, мультиплексировать и выдавать внешние данные.
[0168] К тому же, когда считывающее устройство/записывающее устройство ex218 считывает или записывает мультиплексированные данные из или на записывающий носитель, одно из телевизора ex300 и считывающего устройства/записывающего устройства ex218 может декодировать или кодировать мультиплексированные данные, и телевизор ex300 и считывающее устройство/записывающее устройство ex218 могут разделять декодирование и кодирование.
[0169] В качестве примера, на Фиг.19 проиллюстрирована конфигурация блока ex400 воспроизведения/записи информации, когда данные считываются или записываются с или на оптический диск. Блок ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые следует описать в дальнейшем в этом документе. Оптическая головка ex401 излучает лазерное пятно на записывающую поверхность записывающего носителя ex215, которым является оптический диск, чтобы записать информацию, и детектирует отраженный свет от записывающей поверхности записывающего носителя ex215, чтобы считать информацию. Модулирующий записывающий блок ex402 электрически приводит в действие полупроводниковый лазер, включенный в оптическую головку ex401, и модулирует лазерный свет согласно записанным данным. Воспроизводящий демодулирующий блок ex403 усиливает сигнал воспроизведения, полученный посредством электрического детектирования отраженного света от записывающей поверхности используя фотодетектор, включенный в оптическую головку ex401, и демодулирует сигнал воспроизведения посредством отделения составляющей сигнала, записанного на записывающий носитель ex215, чтобы воспроизвести необходимую информацию. Буфер ex404 временно содержит информацию, которую следует записать на записывающий носитель ex215, и информацию, воспроизведенную из записывающего носителя ex215. Электромотор ex405 диска вращает записывающий носитель ex215. Блок ex406 сервоуправления двигает оптическую головку ex401 к предварительно определенной информационной дорожке, в то же время управляя приводом вращения электромотора ex405 диска, с тем чтобы следовать лазерному пятну. Блок ex407 управления системой управляет всем блоком ex400 воспроизведения/записи информации. Процессы считывания и записи могут быть реализованы блоком ex407 управления системы используя различную информацию, хранящуюся в буфере ex404, и генерируя и добавляя новую информацию, если необходимо, и модулирующим записывающим блоком ex402, воспроизводящим демодулирующим блоком ex403 и блоком ex406 сервоуправления, который записывает и воспроизводит информацию посредством оптической головки ex401, при этом являясь оперируемым координированным образом. Блок ex407 управления системой включает в себя, например, микропроцессор и исполняет обработку посредством побуждения компьютера исполнять программу для чтения и записи.
[0170] Хотя оптическая головка ex401 излучает лазерное пятно в данном описании, она может выполнять запись высокой плотности, используя свет ближнего поля.
[0171] На Фиг.20 проиллюстрирован записывающий носитель ex215, который является оптическим диском. На записывающей поверхности записывающего носителя ex215 по спирали формируются направляющие бороздки, и информационная дорожка ex230 записывает, заранее, адресную информацию, указывающую абсолютную позицию на диске согласно изменению в форме направляющих бороздок. Адресная информация включает в себя информацию для определения позиций записывающих блоков ex231, которые являются единицей данных записи. Воспроизведение информационной дорожки ex230 и считывание адресной информации в устройстве, которое записывает и воспроизводит данные, может приводить к определению позиций записывающих блоков. К тому же, записывающий носитель ex215 включает в себя область ex233 записи данных, область ex232 внутренней периферийной области и область ex234 внешней периферийной области. Область ex233 записи данных является областью для использования при записи пользовательских данных. Область ex232 внутренней периферийной области и область ex234 внешней периферийной области, которые находятся внутри и снаружи области ex233 записи данных, соответственно, являются для конкретного использования кроме записи пользовательских данных. Блока ex400 воспроизведения/записи информации считывает и записывает кодированное аудио, кодированные видеоданные или мультиплексированные данные, полученные посредством мультиплексирования кодированных аудио- и видеоданных, с и на область ex233 записи данных записывающего носителя ex215.
[0172] Хотя оптический диск, имеющий слой, такой как DVD и BD, описывается как пример в данном описании, оптический диск не ограничен таким, и может быть оптическим диском, имеющим многослойную структуру, и способным быть записанным на части, отличной от поверхности. К тому же, оптический диск может иметь структуру для многомерной записи/воспроизведения, такой как запись информации используя свет из цветов с разными длинами волн в одном участке оптического диска, и для записи информации, имея разные слои под разными углами.
[0173] К тому же, автомобиль ex210, имеющий антенну ex205, может принимать данные из спутника ex202 и других, и воспроизводить видео на устройстве отображения, таком как система ex211 автонавигации, установленная в автомобиле ex210, в системе ex200 цифрового вещания. Здесь, конфигурация системы ex211 автонавигации может быть конфигурацией, например, включающей в себя принимающий блок GPS из конфигурации, проиллюстрированной на Фиг.18. То же будет верно для конфигурации компьютера ex111, сотового телефона ex114 и других.
[0174] На Фиг.21A проиллюстрирован сотовый телефон ex114, который использует способ кодирования фильма и способ декодирования фильма, описанные в Вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн через базовую станцию ex110; блок ex365 камеры, способный записывать видео и неподвижные изображения; и блок ex358 отображения, такой как жидкокристаллический дисплей для отображения данных, таких как декодированное видео, захваченное блоком ex365 камеры или принятое антенной ex350. Сотовый телефон ex114 дополнительно включает в себя: блок основного корпуса, включающий в себя блок ex366 операционных клавиш; блок ex357 вывода аудио, такой как динамик для вывода аудио; блок ex356 ввода аудио, такой как микрофон для ввода аудио; блок ex357 памяти для хранения захваченного видео и неподвижных картинок, записанного аудио, кодированных и декодированных данных принятого видео, неподвижных картинок, электронных писем или других; и блок ex364 слота, который является интерфейсным блоком для записывающего носителя, который хранит данные таким же образом как блок ex367 памяти.
[0175] Далее, пример конфигурации сотового телефона ex114 описан со ссылкой на Фиг.21B. В сотовом телефоне ex114, основной блок ex360 управления, спроектированный с возможностью управления в целом каждым блоком основного корпуса, включающим в себя блок ex358 отображения, равно как и блок ex366 операционных клавиш взаимно подсоединен, через синхронную шину ex370, к блоку ex361 схемы электропитания, блоку ex362 управления вводом операций, блоку ex355 обработки видеосигнала, блоку ex363 интерфейса камеры, блоку ex359 управления жидкокристаллическим дисплеем (LCD), блоку ex353 мультиплексирования/демультиплексирования, блоку ex354 обработки аудиосигнала, блоку ex364 слота и блоку ex367 памяти.
[0176] Когда включена клавиша завершения вызова или клавиша электроэнергии посредством операции пользователя, блок ex361 схемы электропитания подает электроэнергию соответственным блокам из батарейного блока батареи, с тем чтобы активировать сотовый телефон ex114.
[0177] В сотовом телефоне ex114, блок ex354 обработки аудиосигнала конвертирует аудиосигналы, собранные блоком ex356 ввода аудио в режиме голосового диалога, в цифровые аудиосигналы, под управлением основного блока ex360 управления, включающего в себя CPU, ROM и RAM. Затем, блок ex352 модуляции/демодуляции выполняет обработку расширения спектра над цифровыми аудиосигналами, и передающий и принимающий блок ex351 выполняет цифро-аналоговое преобразование и преобразование частоты над данными, с тем чтобы передать результирующие данные через антенну ex350. Также, в сотовом телефоне ex114, передающий и принимающий блок ex351 усиливает данные, принятые антенной ex350 в режиме голосового разговора и выполняет преобразование частоты и аналого-цифровое преобразование данных. Затем, блок e352 модуляции/демодуляции выполняет обратную обработку расширения спектра над данными, и блок ex354 обработки аудиосигнала конвертирует их в аналоговые аудиосигналы, с тем чтобы вывести их через блок ex357 вывода аудио.
[0178] К тому же, когда передается электронное письмо в режиме связи, текстовые данные электронного письма, введенные посредством оперирования блоком ех366 операционных клавиш и других из основного корпуса, отправляются в основной блок ех360 управления через блок ex362 управления вводом операций. Основной блок ех360 управления побуждает блок ex352 модуляции/демодуляции выполнять обработку по расширению спектра над текстовыми данными, и передающий и принимающий блок ex351 выполняет цифро-аналоговое преобразование и преобразование частоты над результирующими данными, чтобы передать данные на базовую станцию ex110 через антенну ex350. Когда электронное письмо принято, обработка, которая является приблизительно обратной к обработке для передачи электронного письма, выполняется над принятыми данными, и результирующие данные выдаются на блок ex358 отображения.
[0179] Когда передается или передаются видео, неподвижные изображения, или видео и аудио в режиме передачи данных, блок ex355 обработки видеосигнала сжимает и кодирует видеосигналы, подаваемые из блока ex365 камеры, используя способ кодирования фильма, показанный в каждом из Вариантов осуществления (т.е. функционирует как устройство кодирования изображения настоящего изобретения), и передает кодированные видеоданные в блок ex353 мультиплексирования/демультиплексирования. В отличие от этого, во время, когда блок ex365 камеры захватывает видео, неподвижные изображения и другие, блок ex354 обработки аудиосигнала кодирует аудиосигналы, собранные блоком ex356 ввода аудио, и передает кодированные аудиоданные на блок ex353 мультиплексирования/демультиплексирования.
[0180] Блок ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, подаваемые из блока ex355 обработки видеосигнала, и кодированные аудиоданные, подаваемые из блока ex354 обработки аудиосигнала, используя предварительно определенный способ. Затем, блок ex352 модуляции/демодуляции (блок схемы модуляции/демодуляции) выполняет обработку по расширению спектра над мультиплексированными данными, и передающий и принимающий блок ex351 выполняет цифро-аналоговое преобразование и преобразование частоты над данными, с тем чтобы передать результирующие данные через антенну ex350.
[0181] При приеме данных видеофайла, который связан с web-страницей, и другим в режиме передачи данных или при приеме электронного письма с прикрепленным видео и/или аудио, для того, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, блок ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в битовый поток видеоданных и битовый поток аудиоданных, и подает в блок ex355 обработки видеосигнала кодированные видеоданные и в блок ex354 обработки аудиосигнала кодированные аудиоданные, через синхронную шину ex370. Блок ex355 обработки видеосигнала декодирует видеосигнал, используя способ декодирования фильма, соответствующий способу кодирования фильма, показанному в каждом из Вариантов осуществления (т.е. функционирует как устройство декодирования изображения настоящего изобретения), и затем блок ex358 отображения отображает, например, видео и неподвижные изображения, включенные в видеофайл, связанный с web-страницей, посредством блока ex359 управления LCD. К тому же, блок ex354 обработки аудиосигнала декодирует аудиосигнал, и блок ex357 вывода аудио предоставляет аудио.
[0182] К тому же, аналогично телевизору ex300, терминал, такой как сотовый телефон ex114, вероятно имеет 3 типа конфигураций реализации, включающих в себя не только (i) передающий и принимающий терминал, включающий в себя как устройством кодирования, так и устройство декодирования, но также (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) принимающий терминал, включающий в себя только устройство декодирования. Хотя система ex200 цифрового вещания принимает и передает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные в данном описании, мультиплексированные данные могут быть получены посредством мультиплексирования не аудиоданных, а символьных данных, относящихся к видео, в видеоданные, и могут быть не мультиплексированные данные, а только сами видеоданные.
[0183] В связи с этим, способ кодирования фильма и способ декодирования фильма в каждом из Вариантов осуществления может быть использован в любом из описанных устройств и систем. Таким образом, могут быть получены преимущества, описанные в каждом из Вариантов осуществления.
[0184] Кроме того, настоящее изобретение не ограничено Вариантами осуществления, и различные модификации и версии возможны без отступления от объема настоящего изобретения.
(Вариант осуществления 7)
[0185] Видеоданные могут быть сгенерированы посредством переключения, если необходимо, между (i) способом кодирования фильма или устройством кодирования фильма, показанными в каждом из Вариантов осуществления, и (ii) способом кодирования фильма или устройством кодирования фильма в соответствии с другим стандартом, таким как MPEG-2, MPEG4-AVC и VC-1.
[0186] Здесь, когда генерируется и затем декодируется множество видеоданных, которые соответствуют разным стандартам, способы декодирования следует выбирать, чтобы соответствовать разным стандартам. Однако, так как не может быть детектировано - какому стандарту соответствуют каждые из множества видеоданных, которые следует декодировать, есть проблема, что соответствующий способ декодирования не может быть выбран.
[0187] Для того, чтобы решить данную проблему, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и других в видеоданные, имеют структуру, включающую в себя идентификационную информацию, указывающую какому стандарту соответствуют видеоданные. В дальнейшем в этом документе будет описана конкретная структура мультиплексированных данных, включающих в себя видеоданные, сгенерированные способом кодирования фильма и посредством устройства кодирования фильма, показанными в каждом из Вариантов осуществления. Мультиплексированные данные является цифровым потоком в формате Транспортного потока MPEG-2.
[0188] На Фиг.22 проиллюстрирована структура мультиплексированных данных. Как проиллюстрировано на Фиг.22, мультиплексированные данные могут быть получены посредством мультиплексирования по меньшей мере одного из видеопотока, аудиопотока, потока презентационной графики (PG) и потока интерактивной графики (IG). Видеопоток представляет первичное видео и вторичное видео кинофильма, аудиопоток представляет часть первичного аудио и часть вторичного аудио, которую следует смикшировать с частью первичного аудио, и поток презентационной графики представляющей субтитры кинофильма. Здесь, первичное видео является нормальным видео, которое следует отобразить на экране, и вторичное видео является видео, которое следует отобразить в небольшом окне в основном видео. К тому же, поток интерактивной графики представляет интерактивный экран, который следует сгенерировать посредством расположения компонентов GUI на экране. Видеопоток кодируется способом кодирования фильма или устройством кодирования фильма, показанными в каждом из Вариантов осуществления, и способом кодирования фильма или устройством кодирования фильма в соответствии с традиционным стандартом, таким как MPEG-2, MPEG4-AVC и VC-1.
Аудиопоток кодируется в соответствии со стандартом, таким как Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, и линейная PCM.
[0189] Каждый поток, включенный в мультиплексированные данные, идентифицируется посредством PID. Например, 0×1011 присваивается видеопотоку, который следует использовать для видео кинофильма, с 0×1100 по 0×111F присваиваются аудиопотокам, с 0×1200 по 0×121F присваиваются потокам презентационной графики, с 0x1400 по 0x141F присваиваются потокам интерактивной графики, с 0×1B00 по 0×1B1F присваиваются видеопотокам, которые следует использовать для вторичного видео кинофильма, и с 0×1A00 по 0×1A1F присваиваются аудиопотокам, которые следует использовать для вторичного видео, которое следует микшировать с первичным аудио.
[0190] На Фиг.23 схематично проиллюстрировано, как мультиплексируются данные. Сначала видеопоток ex235, составленный из видеокадров, и аудиопоток ex238, составленный из аудиокадров, преобразовываются в поток из PES-пакетов ex236 и поток из PES-пакетов ex239, и дополнительно в TS-пакеты ex237 и TS-пакеты ex240, соответственно. Аналогично, данные потока ex241 презентационной графики и данные потока ex244 интерактивной графики преобразовываются в поток из PES-пакетов ex242 и поток из PES-пакетов ex245, и дополнительно в TS-пакеты ex243 и TS-пакеты ex246, соответственно. Эти TS-пакеты мультиплексируются в поток для получения мультиплексированных данных ex247.
[0191] На Фиг.24 проиллюстрировано, как видеопоток хранится в потоке PES-пакетов более подробно. Первая полоса на Фиг.24 показывает поток видеокадров в видеопотоке. Вторая полоса показывает поток PES-пакетов. Как указано стрелками, обозначенными как yy1, yy2, уу3 и yy4 на Фиг.24, видеопоток делится на картинки, такие как I-картинки, B-картинки и P-картинки, каждая из которых является презентационной единицей видео, и картинки хранятся в полезных данных каждого из PES-пакетов. Каждый из PES-пакетов имеет PES-заголовок, и PES-заголовок хранит Временную отметку предоставления (PTS), указывающую время отображения картинки, и Временную метку декодирования (DTS), указывающую время декодирования картинки.
[0192] На Фиг.25 проиллюстрирован формат TS-пакетов, которые следует в окончательно варианте записать в мультиплексированные данные. Каждый из TS-пакетов является 188-байтным пакетом фиксированной длины, включающим в себя 4-байтный TS-заголовок, имеющий информацию, такую как PID, для идентификации потока и 184-байтной полезной нагрузки TS для хранения данных. PES-пакеты делятся и хранятся в полезных данных TS, соответственно. Когда используется BD-ROM, каждому TS-пакету дается 4-байтный TP_Extra_Header, таким образом приводя к 192-байтным исходным пакетам. Исходные пакеты записываются на мультиплексированные данные. TP_Extra_Header хранят информацию, такую как Arrival_Time_Stamp (ATS). ATS показывает время начала передачи, в которое каждый из TS-пакетов следует передавать PID-фильтру. Исходные пакеты расположены в мультиплексированных данных, как показано внизу Фиг.25. Числа, увеличивающиеся с головной части мультиплексированных данных, называются числами исходных пакетов (SPN).
[0193] Каждый из TS-пакетов, включенный в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и другое, но также Таблицу связей программ (PAT), Таблицу карты программы (PMT) и опорную временную отметку программ (PCR). PAT показывает какой PID в PMT, используемой в мультиплексированных данных, указывает, и PID самой PAT регистрируется как ноль. PMT хранит PID потоков видео, аудио, субтитров и другое, включенных в мультиплексированные данные, и информацию атрибутов потоков, соответствующих данным PID. PMT также имеет различные дескрипторы, относящиеся к мультиплексированным данным. Дескрипторы имеют информацию, такую как информация управления копированием, показывающим разрешено ли копирование мультиплексированных данных. PCR хранит информацию времени STC, соответствующую ATS, показывающую когда PCR-пакет передается декодеру, для того, чтобы достигнуть синхронизации между Временной меткой прибытия (АТС), которая является временной осью ATS, и сигналом синхронизации системы (STC), который является временной осью PTS и DTS.
[0194] На Фиг.26 подробно проиллюстрирована структура данных PMT. PMT-заголовок размещен в головной части PMT. PMT-заголовок описывает длину данных, включенных в PMT, и другое. Множество дескрипторов, относящихся к мультиплексированным данным, размещены после PMT-заголовка. Информация, такая как информация управления копированием, описывается в дескрипторах. После дескрипторов размещено множество порций информации потока, относящейся к потокам, включенным в мультиплексированные данные. Каждая порция информации потока включает в себя дескрипторы потока, причем каждый описывает информацию, такую как тип потока для идентификации кодека сжатия потока, PID потока и информацию атрибутов потока (такую как скорость смены кадров или соотношение размеров). Дескрипторы потока равны по количеству числу потоков в мультиплексированных данных.
[0195] Когда мультиплексированные данные записываются на записывающий носитель и другое, они записываются вместе с информационными файлами мультиплексированных данных.
[0196] Каждый из информационных файлов мультиплексированных данных является управляющей информацией мультиплексированных данных, как показано на Фиг.27. Информационные файлы мультиплексированных данных находятся в точном соответствии с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту записей.
[0197] Как проиллюстрировано на Фиг.27, мультиплексированные данные включают в себя скорость передачи системы, время начала воспроизведения и время завершения воспроизведения. Скорость передачи системы указывает максимальную скорость передачи, с которой целевой декодер системы, который будет описан далее, передает мультиплексированные данные PID-фильтру. Интервалы ATS, включенные в мультиплексированные данные, устанавливаются так, чтобы не быть выше, чем скорость передачи системы. Время начала воспроизведения указывает PTS в видеокадре в головной части мультиплексированных данных. Интервал одного кадра добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS устанавливается на время завершения воспроизведения.
[0198] Как показано на Фиг.28, порция информации атрибутов регистрируется в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждая порция информации атрибутов имеет разную информацию, в зависимости от того, является ли соответствующий поток видеопотоком, аудиопотоком, потоком презентационной графики или потоком интерактивной графики. Каждая порция информации атрибутов видеопотока несет информацию, включающую в себя, какой вид кодека сжатия используется для сжатия видеопотока, и разрешение, соотношение размеров и скорость смены кадров порций данных картинки, которая включена в видеопоток. Каждая порция информации атрибутов аудиопотока несет информацию, включающую в себя какой вид кодека сжатия используется для сжатия аудиопотока, сколько каналов включено в аудиопоток, какой язык поддерживает аудио поток и насколько высокой является частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для использования декодера до того, как проигрыватель проигрывает информацию.
[0199] В настоящем варианте осуществления, мультиплексированные данные, которые следует использовать, являются типом потока, включенным в PMT. К тому же, когда мультиплексированные данные записываются на записывающий носитель, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. Более конкретно, способ кодирования фильма или устройство кодирования фильма, описанные в каждом из Вариантов осуществления, включает в себя уникальный этап или блок для присвоения уникальной информации, указывающей видеоданные, сгенерированные способом кодирования фильма или устройством кодирования фильма в каждом из Вариантов осуществления, типу потока, включенному в PMT или информацию атрибутов видеопотока. При данной конфигурации, видеоданные, сгенерированные способом кодирования фильма или устройством кодирования фильма, описанными в каждом из Вариантов осуществления, могут отличаться от видеоданных, которые соответствуют другому стандарту.
[0200] К тому же, на Фиг.29 проиллюстрированы этапы способа кодирования фильма согласно настоящему варианту осуществления. На этапе exS100 тип потока, включенный в PMT или информацию атрибутов видеопотока, получается из мультиплексированных данных. Далее, на этапе exS101 определяется, указывает ли тип потока или информация атрибутов видеопотока, что мультиплексированные данные сгенерированы способом кодирования фильма или устройством кодирования фильма в каждом из Вариантов осуществления. Когда определено, что тип потока или информация атрибутов видеопотока указывает, что мультиплексированные данные сгенерированы способом кодирования фильма или устройством кодирования фильма в каждом из Вариантов осуществления, на этапе exS102 декодирование выполняется способом кодирования фильма в каждом из Вариантов осуществления. К тому же, когда тип потока или информация атрибутов видеопотока указывает соответствие традиционным стандартам, таким как MPEG-2, MPEG4-AVC и VC-1, на этапе exS103 декодирование выполняется способом декодирования фильма в соответствии с традиционными стандартами.
[0201] В связи с этим, присвоение нового уникального значения типу потока или информации атрибутов видеопотока обеспечивает возможность определения - может ли способ декодирования фильма или устройство декодирования фильма, которые описаны в каждом из Вариантов осуществления, выполнить декодирование. Даже когда мультиплексированные данные соответствуют другому стандарту, может быть выбран соответствующий способ или устройство декодирования. Таким образом, становится возможным декодировать информацию без каких-либо ошибок. К тому же, способ кодирования фильма или устройство кодирования фильма, или способ декодирования фильма или устройство декодирования фильма в настоящем варианте осуществления могут быть использованы в устройствах и системах, описанных выше.
(Вариант осуществления 8)
[0202] Каждое из способа кодирования фильма, устройства кодирования фильма, способа декодирования фильма и устройства декодирования фильма в каждом из Вариантов осуществления обычно реализуется в форме интегральной схемы или микросхемы Большой интегральной схемы (БИС). В качестве примера БИС, на Фиг.30 проиллюстрирована конфигурация БИС ex500, которая изготовлена в одной микросхеме. БИС ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ех507, ех508 и ех509, которые описаны ниже, и данные элементы подсоединены друг к другу посредством шины ex510. Блок ex505 схемы электропитания активируется посредством подачи электроэнергии каждому из элементов, когда блок ex505 схемы электропитания включается.
[0203] Например, когда выполняется кодирование, БИС ex500 принимает AV сигнал из микрофона ex117, камеры ex113 и другого через AV IO ex509 под управлением блока ex501 управления, включающего в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока и блок ex512 управления частотой возбуждения. Принятый AV сигнал временно сохраняется во внешней памяти ex511, такой как SDRAM. Под управлением блока ex501 управления сохраненные данные сегментируются на участки данных, согласно объему обработки и скорости, которые следует передать блоку ex507 обработки сигналов. Затем, блок ex507 обработки сигналов кодирует аудиосигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из Вариантов осуществления. К тому же, блок ex507 обработки сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и IO ex506 потока предоставляет мультиплексированные данные во вне. Предоставленные мультиплексированные данные передаются на базовую станцию ex107, или записываются на записывающий носитель ex215. Когда наборы данных мультиплексируются, данные должны быть временно сохранены в буфер ex508, так чтобы наборы данных были синхронизированы друг с другом.
[0204] Хотя память ex511 является элементом вне пределов БИС ex500, она может быть включена в БИС ex500. Буфер ex508 не ограничен одним буфером, но может быть составлен из буферов. К тому же, БИС ex500 может быть изготовлена в одной микросхеме или множестве микросхем.
[0205] К тому же, хотя блок ex501 управления включает в себя CPU ex502, контроллер ex503 памяти, контроллер ex504 потока, блок ex512 управления частотой возбуждения, конфигурация блока ex501 управления не ограничена таким. Например, блок ex507 обработки сигналов может дополнительно включать в себя CPU. Включение еще одного CPU в блок ex507 обработки сигналов может улучшить скорость обработки.
К тому же, в качестве еще одного примера, CPU ex502 может служить, как или быть частью блока ex507 обработки сигналов и, например, может включать в себя блок обработки аудиосигнала. В таком случае блок ex501 управления включает в себя блок ex507 обработки сигналов или CPU ex502, включающий в себя часть блока ex507 обработки сигналов.
[0206] Название, используемое здесь, БИС, но может быть также названо IC, системой БИС, супер БИС или ультра БИС в зависимости от степени интеграции.
[0207] Более того, пути для достижения интеграции не ограничены БИС, и специальная схема или процессор общего назначения и так далее может также реализовать данную интеграцию. Программируемая пользователем вентильная матрица (FPGA), которая может быть запрограммирована после изготовления БИС, или реконфигурируемый процессор, который обеспечивает возможность реконфигурации соединения или конфигурации БИС, может быть использован для тех же целей.
[0208] В будущем, с развитием полупроводниковой технологии, совершенно новая технология может заменить БИС. Функциональные блоки могут быть интегрированы используя такую технологию. Есть вероятность того, что настоящее изобретение применимо к биотехнологии.
(Вариант осуществления 9)
[0209] Когда видеоданные, сгенерированные способом кодирования фильма или устройством кодирования фильма, описанными в каждом из Вариантов осуществления, декодируются, в сравнении когда видеоданные, которые соответствуют традиционному стандарту, такому как MPEG-2, MPEG4-AVC и VC-1, декодируются, объем обработки вероятно увеличивается. Таким образом, БИС ex500 должна быть установлена на частоту возбуждения более высокую, чем частота возбуждения CPU ex502, который следует использовать, когда декодируются видеоданные в соответствии с традиционным стандартом. Однако, когда частота возбуждения устанавливается выше, есть проблема, что увеличивается потребления электроэнергии.
[0210] Для того, чтобы решить данную проблему, устройство декодирования фильма, такое как телевизор ex300 или БИС ex500, выполнено с возможностью определения того, какому стандарту соответствуют видеоданные, и переключения между частотами возбуждения согласно определенному стандарту. На Фиг.31 проиллюстрирована конфигурация ex800 в настоящем варианте осуществления. Блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения на более высокую частоту возбуждения, когда видеоданные генерируются способом кодирования фильма или устройством кодирования фильма, описанными в каждом из Вариантов осуществления. Затем, блок ex803 переключения частоты возбуждения дает указание блоку ex801 обработки декодирования, который исполняет способ декодирования фильма, описанный в каждом из Вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, блок ex803 переключения частоты возбуждения устанавливает частоту возбуждения на более низкую частоту возбуждения, чем частота возбуждения видеоданных, сгенерированных способом кодирования фильма или устройством кодирования фильма, описанными в каждом из Вариантов осуществления. Затем, блок ex803 переключения частоты возбуждения дает указание блоку ex802 обработки декодирования, который соответствует традиционному стандарту, декодировать видеоданные.
[0211] Более конкретно, блок ex803 переключения частоты возбуждения включает в себя CPU ex502 и блок ex512 управления частотой возбуждения на Фиг.30. Здесь, каждый из блока ex801 обработки декодирования, который исполняет способ декодирования фильма, описанный в каждом из Вариантов осуществления, и блока ex802 обработки декодирования, который соответствует традиционному стандарту, соответствует блоку ex507 обработки сигналов на Фиг.30. CPU ex502 определяет, какому стандарту соответствуют видеоданные. Затем блок ex512 управления частотой возбуждения определяет частоту возбуждения на основе сигнала от CPU ex502. К тому же, блок ex507 обработки сигналов декодирует видеоданные на основе сигнала от CPU ex502. Например, идентификационная информация, описанная в Варианте осуществления 7, вероятно используется для идентификации видеоданных. Идентификационная информация не ограничена идентификационной информацией, описанной в Варианте осуществления 7, но также может быть любой информацией до тех пор, пока информация указывает, какому стандарту соответствуют видеоданные. Например, когда может быть определено какому стандарту соответствуют видеоданные на основе внешнего сигнала для определения того, какое видео используется для телевизора или диска и т.д., определение может быть сделано на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, таблицы соответствия, в которой стандарты видеоданных связаны с частотами возбуждения, как показано на Фиг.33. Частота возбуждения может быть выбрана посредством хранения таблицы соответствия в буфере ex508 и во внутренней памяти БИС, и со ссылкой на таблицу соответствия посредством CPU ex502.
[0212] На Фиг.32 проиллюстрированы этапы исполнения способа в настоящем варианте осуществления. Сначала на этапе exS200 блок ex507 обработки сигналов получает идентификационную информацию из мультиплексированных данных. Далее на этапе exS201 CPU ex502 определяет, сгенерированы ли видеоданные способом кодирования и устройством кодирования, описанными в каждом из Вариантов осуществления, на основе идентификационной информации. Когда видеоданные генерируются способом кодирования фильма и устройством кодирования фильма, описанными в каждом из Вариантов осуществления, на этапе exS202, CPU ex502 передает сигнал для установки частоты возбуждения на более высокую частоту возбуждения в блок ex512 управления частотой возбуждения. Затем блок ex512 управления частотой возбуждения устанавливает частоту возбуждения на более высокую частоту возбуждения. С другой стороны, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG4-AVC и VC-1, на этапе exS203, CPU ex502 передает сигнал для установки частоты возбуждения на более низкую частоту возбуждения в блок ex512 управления частотой возбуждения. Затем блок ex512 управления частотой возбуждения устанавливает частоту возбуждения на более низкую частоту возбуждения, чем частота возбуждения в случае, когда видеоданные генерируются способом кодирования фильма и устройством кодирования фильма, описанными в каждом из Вариантов осуществления.
[0213] Кроме того, наряду с переключением частот возбуждения, эффект экономии электроэнергии может быть улучшен посредством изменения напряжения, которое следует прикладывать к БИС ex500 или устройству, включающему в себя БИС ex500. Например, когда частота возбуждения установлена ниже, напряжение, которое следует прикладывать к БИС ex500 или устройству, включающему в себя БИС ex500, вероятно установлено на напряжение ниже, чем напряжение в случае, когда частота возбуждения установлена выше.
[0214] Кроме того, когда объем обработки для декодирования больше, частота возбуждения может быть установлена выше, и когда объем обработки для декодирования меньше, частота возбуждения может быть установлена ниже, в качестве способа установки частоты возбуждения. Таким образом, способ установки не ограничен способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG 4 - AVC больше, чем объем обработки для декодирования видеоданных, сгенерированных способом кодирования фильма и устройством кодирования фильма, описанными в каждом из Вариантов осуществления, частота возбуждения, вероятно, установлена в обратном порядке для установки, описанной выше.
[0215] Кроме того, способ для установки частоты возбуждения не ограничен способом для установки частоты возбуждения ниже. Например, когда идентификационная информация указывает, что видеоданные сгенерированы способом кодирования фильма и устройством кодирования фильма, описанными в каждом из Вариантов осуществления, напряжение, которое следует прикладывать к БИС ex500 или устройству, включающему в себя БИС ex500, вероятно установлено выше. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG4-AVC и VC-1, напряжение, которое следует прикладывать к БИС ex500 или устройству, включающему в себя БИС ex500, вероятно установлено ниже. В качестве другого примера, когда идентификационная информация указывает, что видеоданные сгенерированы способом кодирования фильма и устройством кодирования фильма, описанными в каждом из Вариантов осуществления, возбуждение CPU ex502 вероятно не должно приостанавливаться. Когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG4-AVC и VC-1, возбуждение CPU ex502 вероятно приостанавливается в заданное время, потому что CPU ex502 имеет дополнительную обрабатывающую способность. Даже когда идентификационная информация указывает, что видеоданные сгенерированы способом кодирования фильма и устройством кодирования фильма, описанными в каждом из Вариантов осуществления, в случае, когда CPU ex502 имеет дополнительную обрабатывающую способность, возбуждение CPU ex502 вероятно приостанавливается в заданное время. В таком случае, время приостановления, вероятно, устанавливается короче, чем время приостановления в случае, когда идентификационная информация указывает, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG4-AVC и VC-1.
[0216] Следовательно, эффект экономии электроэнергии может быть улучшен посредством переключения между частотами возбуждения в соответствии со стандартом, которому видеоданные соответствуют. Кроме того, когда БИС ex500 или устройство, включающее в себя БИС ex500, возбуждается, используя аккумулятор, время службы батареи может быть продлено с помощью эффекта экономии электроэнергии.
(Вариант осуществления 10)
[0217] Есть случаи, где множество видеоданных, которые соответствуют разным стандартам, предоставляется устройствам и системам, таким как телевизор и мобильный телефон. Для того, чтобы обеспечить возможность декодирования множества видеоданных, которые соответствуют разным стандартам, блок ex507 обработки сигналов БИС ex500 должен соответствовать разным стандартам. Однако, проблемы увеличения масштаба схемы БИС ex500 и увеличение стоимости возникают при индивидуальном использовании блоков ex507 обработки сигналов, которые соответствуют соответствующим стандартам.
[0218] Для того, чтобы решить данную проблему, то, что сформулировано, является конфигурацией, в которой блок обработки декодирования для реализации способа декодирования фильма в каждом из Вариантов осуществления, и блок обработки декодирования, который соответствует традиционному стандарту, такому как MPEG-2, MPEG4-AVC и VC-1, отчасти используются совместно. Ex900 на Фиг.34A показывает пример данной конфигурации. Например, способ декодирования фильма, описанный в каждом из Вариантов осуществления, и способ декодирования фильма, который соответствует MPEG4-AVC, имеют, отчасти общие, детали обработки, такой как энтропийное кодирование, обратное квантование, фильтрация блочности и предсказание с компенсацией движения. Детали обработки, которую следует разделять, вероятно, включают в себя использование блока ex902 обработки декодирования, который соответствует MPEG4-AVC. В отличие от этого, выделенный блок ex902 обработки декодирования, вероятно, используется для другой обработки, уникальной для настоящего изобретения. Так как настоящее изобретение отличается тем, что импульсно-кодовая модуляция, в частности, например, выделенный блок ex901 обработки декодирования, используется для импульсно-кодовой модуляции. Иначе, блок обработки декодирования, вероятно, совместно используется для одного из энтропийного кодирования, обратного квантования, фильтрации блочности и компенсации движения, или всего из обработки. Блок обработки декодирования для реализации способа декодирования фильма, описанного в каждом из Вариантов осуществления, может быть совместно использован для обработки, которую следует разделять, и выделенный блок обработки декодирования может быть использован для обработки, уникальной для обработки MPEG4-AVC.
[0219] Кроме того, ex1000 на Фиг.34B показывает еще один пример, в котором обработка отчасти разделяется. Этот пример использует конфигурацию, включающую в себя выделенный блок ex1001 обработки декодирования, который поддерживает обработку, уникальную для настоящего изобретения, выделенный блок ex1002 обработки декодирования, который поддерживает обработку, уникальную для еще одного традиционного стандарта, и выделенный блок ex1003 обработки декодирования, который поддерживает обработку, которую следует разделять между способом декодирования фильма в настоящем изобретении у традиционным способом декодирования фильма. Здесь, выделенные блоки ex1001 и ex1002 обработки декодирования не обязательно являются специализированными для обработки настоящего изобретения и обработки традиционного стандарта, соответственно, и могут быть блоками обработки декодирования, способными реализовывать общую обработку. Кроме того, конфигурация настоящего варианта осуществления может быть реализована посредством БИС ex500.
[0220] В связи с этим, уменьшение масштаба схемы БИС и уменьшение стоимости возможны посредством совместного использования блока обработки декодирования для обработки, которую следует разделять между способом декодирования фильма в настоящем изобретении и способом декодирования фильма в соответствии с традиционным стандартом.
[ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ]
[0221] Способ кодирования изображения и способ декодирования изображения согласно настоящему раскрытию могут быть применены к различным видам мультимедийных данных для улучшения эффективности кодирования. Например, способ кодирования изображения и способ декодирования изображения согласно настоящему раскрытию являются полезными для мобильных телефонов, DVD-устройств, персональных компьютеров и тому подобного.
[СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ]
[0222] 300, 1000, 1200 устройство кодирования изображения
302A, 302B, 720 блок преобразования глубины в N-битов
304A вычитатель
304B, 706 сумматор
306 блок преобразования
308 блок квантования
310, 708 блок обратного квантования
312, 710 блок обратного преобразования
314, 714 блок внешнего/внутреннего предсказания
316A, 316В, 702B мультиплексор (блок MUX)
318, 712 память
319, 719 блок фильтров
320 блок энтропийного кодирования
322, 716 блок управления
324 блок необязательной обработки
700, 1100, 1400 блок декодирования изображения
702A демультиплексор (блок DEMUX)
704 блок энтропийного декодирования
718 блок синтаксического анализа IPCM-блока
1001, 1201 первый записывающий блок
1002, 1202 второй записывающий блок
1101, 1401 первый блок получения
1102, 1402 второй блок получения
1203 третий записывающий блок
1204 четвертый записывающий блок
1205, 1405 блок реконструкции
1206, 1406 блок преобразования
1207 блок уменьшения глубины в битах
1208, 1407 блок увеличения глубины в битах
1403 третий блок получения
1404 четвертый блок получения