УСТРОЙСТВО КОДИРОВАНИЯ ДИНАМИЧЕСКОГО ИЗОБРАЖЕНИЯ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ ДИНАМИЧЕСКОГО ИЗОБРАЖЕНИЯ, СПОСОБ КОДИРОВАНИЯ ДИНАМИЧЕСКОГО ИЗОБРАЖЕНИЯ, СПОСОБ ДЕКОДИРОВАНИЯ ДИНАМИЧЕСКОГО ИЗОБРАЖЕНИЯ, ПРОГРАММА КОДИРОВАНИЯ ДИНАМИЧЕСКОГО ИЗОБРАЖЕНИЯ И ПРОГРАММА ДЕКОДИРОВАНИЯ ДИНАМИЧЕСКОГО ИЗОБРАЖЕНИЯ
DYNAMIC IMAGE ENCODER, DYNAMIC IMAGE DECODER, DYNAMIC IMAGE ENCODING METHOD, DYNAMIC IMAGE DECODING METHOD, DYNAMIC IMAGE ENCODING PROGRAM AND DYNAMIC IMAGE DECODING PROGRAM

Область техники, к которой относится изобретение
Настоящее изобретение относится к кодированию и декодированию данных движущегося изображения.
Предшествующий уровень техники
Технология кодирования со сжатием традиционно используется для эффективного переноса и накопления данных изображения. В частности, системы MPEG 1-4 и H.261 - H.264 широко используются для данных движущегося изображения. При кодировании движущегося изображения для сокращения объема данных иногда применяют способ формирования сигнала прогнозирования конечного изображения, подлежащего кодированию, посредством других изображений, которые соседствуют друг с другом на временной шкале, кодируя разность между конечным изображением и сигналом прогнозирования (см., например, следующий патентный источник 1). Этот способ называется "межкадровым кодированием".
В H.264, например, устройство кодирования делит один кадр изображения на блочные области, каждая из которых состоит из 16×16 пикселей, и осуществляет обработку кодирования изображения для каждого блока в отдельности. При межкадровом кодировании прогнозирование движения осуществляется на конечном блоке изображения, подлежащего кодированию, на основании опорного изображения другого кадра, который был закодирован, а затем декодирован, благодаря чему формируется сигнал прогнозирования. Затем получают значение разности между конечным блоком и сигналом прогнозирования и осуществляют обработку дискретного косинусного преобразования и квантования для получения кодированных данных.
С другой стороны, квантованный коэффициент преобразования подвергают обратному квантованию с последующим инвертированием, в результате чего генерируется воспроизводимый коэффициент преобразования. Затем сигнал прогнозирования суммируют с воспроизводимым коэффициентом преобразования и декодируют воспроизводимое изображение. Декодированное воспроизводимое изображение временно хранится в качестве опорного изображения для использования при кодировании и декодировании следующего изображения.
Кроме того, в уровень техники могут входить следующие технологии. Движущееся изображение образовано непрерывно размещающимся "кадром", который представляет собой одно неподвижное изображение. Величина амплитуды пространственно-частотных компонентов (именуемая ниже "пространственно-частотно-амплитудной характеристикой") указывает контрастность изображения и, таким образом, используется при оценке качества движущегося изображения.
Если в течение короткого периода времени в движущемся изображении происходит сильное изменение контрастности изображения, может иметь место мерцание. Кроме того, поскольку человеческий глаз чувствителен к контрастности, контрастность важна при оценке качества движущегося изображения.
В некоторых движущихся изображениях, в общем случае, контрастность изображения изменяется с течением времени. Наилучшим примером таких движущихся изображений и т.п. является изображение, контрастность которого постепенно увеличивается или уменьшается, когда смена сцен требует долгого времени.
Даже в случае изображения, в котором контрастность каждого кадра низка, при отображении пламени в качестве движущегося изображения, в котором кадры размешены непрерывно, пользователь, наблюдающий это движущееся изображение, может испытывать явление оптического обмана, когда движущееся изображение кажется четким движущимся изображением, контрастность которого выше, чем у неподвижного изображения, что описано в непатентном источнике 1. Это явление оптического обмана называется "явлением увеличения резкости при движении".
В упомянутом непатентном источнике 1 объясняется экспериментальный результат, в котором согласно этому явлению увеличения резкости при движении, даже при периодическом использовании фильтров в исходном изображении для вставки кадров, в которых полосы пространственной частоты или значения контрастности изменены, движущееся изображение воспринимается как высококачественное в результате оценки движущегося изображения посредством исходного изображения, когда исходное изображение наблюдается в качестве движущегося изображения.
С другой стороны, технология кодирования со сжатием используется для эффективного переноса и накопления данных движущегося изображения. Системы MPEG 1-4 и ITU (International Telecommunication Union) H.261 - H.264 широко используются для движущихся изображений. При кодировании движущегося изображения, сигнал прогнозирования конечного изображения, подлежащего кодированию, формируется посредством других изображений, которые соседствуют друг с другом на временной шкале, и разность между конечным изображением и сигналом прогнозирования кодируется для сокращения объема данных. Этот способ называется «межкадровым кодированием».
Устройство кодирования для осуществления обработки, заданной в ITU H.264, делит один кадр изображения на блочные области, каждая из которых состоит из 16×16 пикселей, и осуществляет обработку кодирования на изображении для каждого блока в отдельности. При межкадровом кодировании с прогнозированием это устройство кодирования осуществляет прогнозирование движения на конечном блоке изображения, подлежащего кодированию, на основании опорного изображения другого кадра, который был закодирован, а затем декодирован, и таким образом формирует сигнал прогнозирования. Затем устройство кодирования получает значение разности между конечным блоком и сигналом прогнозирования, осуществляет обработку дискретного косинусного преобразования и квантования на этом значении разности и создает кодированные данные как квантованный коэффициент преобразования на основании этого значения разности.
Затем устройство кодирования осуществляет обратное квантование с последующим инвертированием на квантованном коэффициенте преобразования для генерации воспроизводимого коэффициента преобразования (значения разности). Затем устройство кодирования суммирует сигнал прогнозирования с воспроизводимым коэффициентом преобразования для декодирования воспроизводимого изображения. Декодированное воспроизводимое изображение временно хранится в качестве опорного изображения для использования при кодировании и декодировании следующего изображения.
При таком кодировании со сжатием движущегося изображения применительно к движущемуся изображению, в котором пространственно-частотно-амплитудная характеристика каждого изображения и контрастность в целом являются низкими, коэффициент преобразования (значение разности) мал, что позволяет сократить объем данных, подлежащих кодированию. По этой причине, при кодировании движущегося изображения, которое содержит изображение, имеющее размытость или низкую контрастность изображения, в котором предполагается эффект увеличения резкости при движении, ожидается высокая эффективность кодирования.
[Патентный источник 1] Выложенная патентная заявка Японии № H10-136371
[Непатентный источник 1] Tekeuchi, T. & De Valois, K.K. (2005) Sharpening image motion based on spatio-temporal characteristics of Human vision. (Сан-Хосе, США), URL: http://www.brl.ntt.co.jp/people/takeuchi/takeuchi-EI2005.pdf, <поиск осуществлен 2 июня 2005 г.>.
Однако в вышеописанной традиционной технологии кодирования/декодирования изображения движущееся изображение невозможно сжимать эффективно, если в движущемся изображении существуют изображения, имеющие разные полосы сигнала. Например, движущееся изображение, в котором существуют изображения, имеющие разные полосы сигнала, иногда формируется при захвате изображения, осуществляемом бытовой видеокамерой. Дело в том, что полосы соседних изображений флуктуируют, поскольку фокус автоматически настраивается за счет функции автофокусировки камеры в ходе захвата изображения, из-за чего изображение, имеющее большую ширину полосы сигнала, и изображение, имеющее малую ширину полосы сигнала, записываются рядом друг с другом.
В этом случае, когда устройство кодирования прогнозирует первое изображение, имеющее малую ширину полосы сигнала, со ссылкой на второе изображение, имеющее большую ширину полосы сигнала, высокочастотные компоненты, содержащиеся во втором изображении, содержатся в дифференциальном сигнале первого изображения. Поэтому возникает проблема, состоящая в том, что сигнал прогнозирования становится сигналом, полоса которого шире, чем для первого изображения, из-за чего возрастает объем информации и снижается степень сжатия.
Кроме того, другая проблема состоит в том, что согласно традиционному способу кодирования/декодирования движущегося изображения движущееся изображение невозможно сжимать эффективно, если оно имеет изображения, сильно отличающиеся по контрастности, т.е. пространственно-частотно-амплитудной характеристике. Когда первое изображение, имеющее низкую пространственно-частотно-амплитудную характеристику, прогнозируется со ссылкой на второе изображение, имеющее высокую пространственно-частотно-амплитудную характеристику, затрудняется поиск цели прогнозирования, или разность между пространственно-частотно-амплитудными характеристиками, содержащаяся во втором изображении, будет содержаться в дифференциальных сигналах первого изображения, из-за чего возрастает объем информации и снижается степень сжатия. Кроме того, когда третье изображение, имеющее высокую пространственно-частотно-амплитудную характеристику, прогнозируется со ссылкой на первое изображение, имеющее низкую пространственно-частотно-амплитудную характеристику, аналогично, затрудняется поиск цели прогнозирования, или разность между пространственно-частотно-амплитудными характеристиками, содержащаяся в третьем изображении, будет необходима как дифференциальный сигнал, в результате чего и в этом случае возникает проблема возрастания объема информации и снижения степени сжатия.
Сущность изобретения
Для решения вышеописанных проблем задачей настоящего изобретения является эффективное сжатие движущегося изображения при кодировании/декодировании движущегося изображения.
Устройство кодирования движущегося изображения, отвечающее настоящему изобретению, имеет средство ввода для ввода конечного изображения, подлежащего кодированию, из совокупности изображений, составляющих движущееся изображение; средство хранения для хранения опорного изображения, которое используется для генерации сигнала прогнозирования для конечного изображения; средство анализа частотной характеристики для измерения частотной характеристики конечного изображения и частотной характеристики опорного изображения и генерации информации, относящейся к частотной характеристике, которая представляет частотную характеристику конечного изображения и частотную характеристику опорного изображения; средство генерации сигнала прогнозирования для генерации сигнала прогнозирования, чтобы сигнал соответствовал частотной характеристике конечного изображения, из опорного изображения, на основании информации, относящейся к частотной характеристике; разностное средство для получения разности между конечным изображением и сигналом прогнозирования для генерации дифференциального сигнала; средство кодирования для кодирования дифференциального сигнала для генерации кодированного дифференциального сигнала; средство декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; средство суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения, причем средство суммирования подключается на последней стадии своей работы к средству хранения, где хранится воспроизводимое изображение; и средство вывода для вывода, по меньшей мере, кодированного дифференциального сигнала и информации, относящейся к частотной характеристике.
В устройстве кодирования движущегося изображения, отвечающем настоящему изобретению, предпочтительно, средство генерации сигнала прогнозирования выводит способ генерации сигнала прогнозирования, соответствующий информации, относящейся к частотной характеристике, для генерации сигнала прогнозирования из опорного изображения, и информация, относящаяся к частотной характеристике, содержит информацию о способе генерации сигнала прогнозирования.
В устройстве кодирования движущегося изображения, отвечающем настоящему изобретению, предпочтительно, средство генерации сигнала прогнозирования выбирает из, по меньшей мере, двух типов способов генерации сигнала прогнозирования способ генерации сигнала прогнозирования, соответствующий информации, относящейся к частотной характеристике, для генерации сигнала прогнозирования из опорного изображения, и информация, относящаяся к частотной характеристике, содержит информацию о способе генерации сигнала прогнозирования.
Предпочтительно, чтобы устройство кодирования движущегося изображения, отвечающее настоящему изобретению, дополнительно имело средство памяти для хранения информации частотной характеристики, которая измеряется при декодировании опорного изображения, и чтобы средство генерации сигнала прогнозирования генерировало сигнал прогнозирования на основании информации частотной характеристики, хранящейся в средстве памяти.
Устройство декодирования движущегося изображения, отвечающее настоящему изобретению, имеет средство ввода для ввода сжатых данных, которые содержит кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к частотной характеристике; средство декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; средство генерации сигнала прогнозирования для генерации сигнала прогнозирования для декодированного дифференциального сигнала; средство суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; и средство хранения для хранения опорного изображения, которое используется для генерации сигнала прогнозирования, в котором информация, относящаяся к частотной характеристике, представляет частотную характеристику воспроизводимого изображения и частотную характеристику опорного изображения, и средство генерации сигнала прогнозирования генерирует сигнал прогнозирования, чтобы сигнал соответствовал частотной характеристике конечного изображения, подлежащего декодированию, из опорного изображения на основании информации, относящейся к частотной характеристике.
В устройстве декодирования движущегося изображения, отвечающем настоящему изобретению, предпочтительно, информация, относящаяся к частотной характеристике, содержит информацию, относящуюся к генерации сигнала прогнозирования, которая связана со способом генерации сигнала прогнозирования, и средство генерации сигнала прогнозирования генерирует сигнал прогнозирования из опорного изображения на основании информации, относящейся к генерации сигнала прогнозирования.
В устройстве декодирования движущегося изображения, отвечающем настоящему изобретению, предпочтительно, информация, относящаяся к частотной характеристике, содержит информацию, относящуюся к генерации сигнала прогнозирования, которая связана со способом генерации сигнала прогнозирования, и средство генерации сигнала прогнозирования выбирает из, по меньшей мере, двух типов способов генерации сигнала прогнозирования способ генерации сигнала прогнозирования на основании информации, относящейся к генерации сигнала прогнозирования, и генерирует сигнал прогнозирования из опорного изображения.
В устройстве декодирования движущегося изображения, отвечающем настоящему изобретению, предпочтительно, информация, относящаяся к частотной характеристике, содержит информацию, относящуюся к генерации сигнала прогнозирования, которая связана со способом генерации сигнала прогнозирования, и средство генерации сигнала прогнозирования выбирает из, по меньшей мере, двух типов способов генерации сигнала прогнозирования, которые подготовлены заранее, способ генерации сигнала прогнозирования на основании информации, относящейся к генерации сигнала прогнозирования, и генерирует сигнал прогнозирования из опорного изображения.
Предпочтительно, чтобы устройство декодирования движущегося изображения, отвечающее настоящему изобретению, дополнительно имело средство памяти для хранения информации частотной характеристики, которая измеряется при декодировании опорного изображения, и чтобы средство генерации сигнала прогнозирования генерировало сигнал прогнозирования на основании информации частотной характеристики, хранящейся в средстве памяти.
Способ кодирования движущегося изображения, отвечающий настоящему изобретению, имеет этап ввода, на котором вводят конечное изображение, подлежащее кодированию, из совокупности изображений, составляющих движущееся изображение; этап сохранения, на котором сохраняют в средстве хранения опорное изображение, которое используется для генерации сигнала прогнозирования для конечного изображения; этап анализа частотной характеристики, на котором измеряют частотную характеристику конечного изображения и частотную характеристику опорного изображения и генерируют информацию, относящуюся к частотной характеристике, которая представляет частотную характеристику конечного изображения и частотную характеристику опорного изображения; этап генерации сигнала прогнозирования, на котором генерируют сигнал прогнозирования, чтобы сигнал соответствовал частотной характеристике конечного изображения из опорного изображения на основании информации, относящейся к частотной характеристике; разностный этап, на котором получают разность между конечным изображением и сигналом прогнозирования для генерации дифференциального сигнала; этап кодирования, на котором кодируют дифференциальный сигнал для генерации кодированного дифференциального сигнала; этап декодирования, на котором декодируют кодированный дифференциальный сигнал для генерации декодированного дифференциального сигнала; этап суммирования, на котором суммируют сигнал прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения, причем на этапе суммирования обращаются на его последней стадии к средству хранения, где хранится воспроизводимое изображение; и этап вывода, на котором выводят, по меньшей мере, кодированный дифференциальный сигнал и информацию, относящуюся к частотной характеристике.
Способ декодирования движущегося изображения, отвечающий настоящему изобретению, имеет этап ввода, на котором вводят сжатые данные, которые содержит кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к частотной характеристике; этап декодирования, на котором декодируют кодированный дифференциальный сигнал для генерации декодированного дифференциального сигнала; этап генерации сигнала прогнозирования, на котором генерируют сигнал прогнозирования для декодированного дифференциального сигнала; этап суммирования, на котором суммируют сигнал прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; и этап сохранения, на котором сохраняют в средстве хранения опорное изображение, которое используется для генерации сигнала прогнозирования, в котором информация, относящаяся к частотной характеристике, представляет частотную характеристику воспроизводимого изображения и частотную характеристику опорного изображения, и на этапе генерации сигнала прогнозирования сигнал прогнозирования генерируют так, чтобы сигнал соответствовал частотной характеристике конечного изображения, подлежащего декодированию, из опорного изображения на основании информации, относящейся к частотной характеристике.
Программа кодирования движущегося изображения, отвечающая настоящему изобретению, предписывает компьютеру выполнять обработку ввода для ввода конечного изображения, подлежащего кодированию, из совокупности изображений, составляющих движущееся изображение; обработку сохранения для сохранения в средстве хранения опорного изображения, которое используется для генерации сигнала прогнозирования для конечного изображения; обработку анализа частотной характеристики для измерения частотной характеристики конечного изображения и частотной характеристики опорного изображения и генерации информации, относящейся к частотной характеристике, которая представляет частотную характеристику конечного изображения и частотную характеристику опорного изображения; обработку генерации сигнала прогнозирования для генерации сигнала прогнозирования, чтобы сигнал соответствовал частотной характеристике конечного изображения, из опорного изображения на основании информации, относящейся к частотной характеристике; разностную обработку для получения разности между конечным изображением и сигналом прогнозирования для генерации дифференциального сигнала; обработку кодирования для кодирования дифференциального сигнала для генерации кодированного дифференциального сигнала; обработку декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; обработку суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения, причем обработка суммирования обращается на своей последней стадии к средству хранения, где хранится воспроизводимое изображение; и обработку вывода для вывода, по меньшей мере, кодированного дифференциального сигнала и информации, относящейся к частотной характеристике.
Программа декодирования движущегося изображения, отвечающая настоящему изобретению, предписывает компьютеру выполнять обработку ввода для ввода сжатых данных, которые содержит кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к частотной характеристике; обработку декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; обработку генерации сигнала прогнозирования для генерации сигнала прогнозирования для декодированного дифференциального сигнала; обработку суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; и обработку сохранения для сохранения в средстве хранения опорного изображения, которое используется для генерации сигнала прогнозирования, в котором информация, относящаяся к частотной характеристике, представляет частотную характеристику воспроизводимого изображения и частотную характеристику опорного изображения, и при обработке генерации сигнала прогнозирования сигнал прогнозирования генерируется так, чтобы сигнал соответствовал частотной характеристике конечного изображения, подлежащего декодированию, из опорного изображения на основании информации, относящейся к частотной характеристике.
Устройство кодирования движущегося изображения, отвечающее настоящему изобретению, имеет средство ввода для ввода конечного изображения, подлежащего кодированию, из совокупности изображений, составляющих движущееся изображение; средство хранения для хранения опорного изображения, которое используется для генерации сигнала прогнозирования для конечного изображения; средство анализа полосы для измерения полосы конечного изображения и полосы опорного изображения, и генерации информации, относящейся к полосе, которая представляет полосу конечного изображения и полосу опорного изображения; средство генерации сигнала прогнозирования для генерации сигнала прогнозирования, чтобы сигнал соответствовал полосе конечного изображения, из опорного изображения, на основании информации, относящейся к полосе; разностное средство для получения разности между конечным изображением и сигналом прогнозирования для генерации дифференциального сигнала; средство кодирования для кодирования дифференциального сигнала для генерации кодированного дифференциального сигнала; средство декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; средство суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения, причем средство суммирования подключается на последней стадии своей работы, к средству хранения, где хранится воспроизводимое изображение; и средство вывода для вывода, по меньшей мере, кодированного дифференциального сигнала и информации, относящейся к полосе.
В устройстве кодирования движущегося изображения, отвечающем настоящему изобретению, средство генерации сигнала прогнозирования может выводить способ генерации сигнала прогнозирования в соответствии с информацией, относящейся к полосе, для генерации сигнала прогнозирования из опорного изображения, и информация, относящаяся к полосе, может содержать информацию о способе генерации сигнала прогнозирования (например, коэффициент фильтра, который используется для генерации сигнала прогнозирования).
В устройстве кодирования движущегося изображения, отвечающем настоящему изобретению, средство генерации сигнала прогнозирования может выбирать из, по меньшей мере, двух типов способов генерации сигнала прогнозирования способ генерации сигнала прогнозирования в соответствии с информацией, относящейся к полосе, для генерации сигнала прогнозирования из опорного изображения, и информация, относящаяся к полосе, может содержать информацию о способе генерации сигнала прогнозирования (например, идентификатор выбранного оптимального способа генерации).
Устройство декодирования движущегося изображения, отвечающее настоящему изобретению, имеет средство ввода для ввода сжатых данных, которые содержит кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к полосе; средство декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; средство генерации сигнала прогнозирования для генерации сигнала прогнозирования для декодированного дифференциального сигнала; средство суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; и средство хранения для хранения опорного изображения, которое используется для генерации сигнала прогнозирования, в котором информация, относящаяся к полосе, представляет полосу воспроизводимого изображения и полосу опорного изображения, и средство генерации сигнала прогнозирования генерирует сигнал прогнозирования так, чтобы сигнал соответствовал полосе конечного изображения, подлежащего декодированию, из опорного изображения, на основании информации, относящейся к полосе.
В устройстве декодирования движущегося изображения, отвечающем настоящему изобретению, информация, относящаяся к полосе, может содержать информацию, относящуюся к генерации сигнала прогнозирования, которая связана со способом генерации сигнала прогнозирования, и средство генерации сигнала прогнозирования может генерировать сигнал прогнозирования из опорного изображения на основании информации, относящейся к генерации сигнала прогнозирования.
В устройстве декодирования движущегося изображения, отвечающем настоящему изобретению, информация, относящаяся к полосе, может содержать информацию, относящуюся к генерации сигнала прогнозирования, которая связана со способом генерации сигнала прогнозирования, и средство генерации сигнала прогнозирования может выбирать из, по меньшей мере, двух типов способов генерации сигнала прогнозирования способ генерации сигнала прогнозирования на основании информации, относящейся к генерации сигнала прогнозирования, и генерировать сигнал прогнозирования из опорного изображения.
Способ кодирования движущегося изображения, отвечающий настоящему изобретению, имеет этап ввода, на котором вводят конечное изображение, подлежащее кодированию, из совокупности изображений, составляющих движущееся изображение; этап сохранения, на котором сохраняют в средстве хранения опорное изображение, которое используется для генерации сигнала прогнозирования для конечного изображения; этап анализа полосы, на котором измеряют полосу конечного изображения и полосу опорного изображения, и генерируют информацию, относящуюся к полосе, которая представляет полосу конечного изображения и полосу опорного изображения; этап генерации сигнала прогнозирования, на котором генерируют сигнал прогнозирования, чтобы сигнал соответствовал полосе конечного изображения, из опорного изображения, на основании информации, относящейся к полосе; разностный этап, на котором получают разность между конечным изображением и сигналом прогнозирования для генерации дифференциального сигнала; этап кодирования, на котором кодируют дифференциальный сигнал для генерации кодированного дифференциального сигнала; этап декодирования, на котором декодируют кодированный дифференциальный сигнал для генерации декодированного дифференциального сигнала; этап суммирования, на котором суммируют сигнал прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; этап сохранения, на котором сохраняют воспроизводимое изображение в средстве хранения; и этап вывода, на котором выводят, по меньшей мере, кодированный дифференциальный сигнал и информацию, относящуюся к полосе.
Способ декодирования движущегося изображения, отвечающий настоящему изобретению, имеет этап ввода, на котором вводят сжатые данные, которые содержит кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к полосе; этап декодирования, на котором декодируют кодированный дифференциальный сигнал для генерации декодированного дифференциального сигнала; этап генерации сигнала прогнозирования, на котором генерируют сигнал прогнозирования для декодированного дифференциального сигнала; этап суммирования, на котором суммируют сигнал прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; и этап сохранения, на котором сохраняют в средстве хранения опорное изображение, которое используется для генерации сигнала прогнозирования, в котором информация, относящаяся к полосе, представляет полосу воспроизводимого изображения и полосу опорного изображения, и на этапе генерации сигнала прогнозирования сигнал прогнозирования генерируют так, чтобы сигнал соответствовал полосе конечного изображения, подлежащего декодированию, из опорного изображения на основании информации, относящейся к полосе.
Программа кодирования движущегося изображения, отвечающая настоящему изобретению, предписывает компьютеру выполнять обработку ввода для ввода конечного изображения, подлежащего кодированию, из совокупности изображений, составляющих движущееся изображение; обработку сохранения для сохранения в средстве хранения опорного изображения, которое используется для генерации сигнала прогнозирования для конечного изображения; обработку анализа полосы для измерения полосы конечного изображения и полосы опорного изображения и генерации информации, относящейся к полосе, которая представляет полосу конечного изображения и полосу опорного изображения; обработку генерации сигнала прогнозирования для генерации сигнала прогнозирования, чтобы сигнал соответствовал полосе конечного изображения, из опорного изображения на основании информации, относящейся к полосе; разностную обработку для получения разности между конечным изображением и сигналом прогнозирования для генерации дифференциального сигнала; обработку кодирования для кодирования дифференциального сигнала для генерации кодированного дифференциального сигнала; обработку декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; обработку суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; обработку сохранения для сохранения воспроизводимого изображения в средстве хранения; и обработку вывода для вывода, по меньшей мере, кодированного дифференциального сигнала и информации, относящейся к полосе.
Программа декодирования движущегося изображения, отвечающая настоящему изобретению, предписывает компьютеру выполнять обработку ввода для ввода сжатых данных, которые содержит кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к полосе; обработку декодирования для декодирования кодированного дифференциального сигнала для генерации декодированного дифференциального сигнала; обработку генерации сигнала прогнозирования для генерации сигнала прогнозирования для декодированного дифференциального сигнала; обработку суммирования для суммирования сигнала прогнозирования с декодированным дифференциальным сигналом для генерации воспроизводимого изображения; и обработку сохранения для сохранения в средстве хранения опорного изображения, которое используется для генерации сигнала прогнозирования, в котором информация, относящаяся к полосе, представляет полосу воспроизводимого изображения и полосу опорного изображения, и при обработке генерации сигнала прогнозирования сигнал прогнозирования генерируется так, чтобы сигнал соответствовал полосе конечного изображения, подлежащего декодированию, из опорного изображения на основании информации, относящейся к полосе.
Согласно настоящему изобретению сигнал прогнозирования для конечного изображения генерируется из опорного изображения в соответствии с полосой конечного изображения, в результате чего полоса конечного изображения и полоса сигнала прогнозирования оказываются практически равны друг другу. Соответственно, предотвращается сдвиг высокочастотного компонента опорного изображения к сигналу прогнозирования, что позволяет реализовать высокоэффективное сжатие движущегося изображения, в котором существуют изображения, имеющие разные полосы сигнала. Настоящее изобретение эффективно, в частности, когда движущееся изображение представляет собой изображение, в котором опорное изображение имеет широкую полосу сигнала и конечное изображение имеет узкую полосу сигнала.
Для решения вышеозначенных проблем устройство кодирования движущегося изображения, отвечающее настоящему изобретению, имеет средство ввода для ввода конечного изображения, подлежащего кодированию, из совокупности изображений, составляющих движущееся изображение; средство хранения для хранения опорного изображения, которое используется для генерации сигнала прогнозирования для конечного изображения, введенного средством ввода; средство анализа пространственно-частотно-амплитудной характеристики для генерации информации, относящейся к пространственно-частотно-амплитудной характеристике, для регулировки разности между амплитудой пространственно-частотного компонента конечного изображения, введенного средством ввода, и амплитудой пространственно-частотного компонента опорного изображения, сохраненного в средстве хранения, на основании амплитуды пространственно-частотного компонента конечного изображения и амплитуды пространственно-частотного компонента опорного изображения; средство генерации сигнала прогнозирования для регулировки амплитуды пространственно-частотного компонента опорного изображения на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, сгенерированной средством анализа пространственно-частотно-амплитудной характеристики, и генерации сигнала прогнозирования для конечного изображения на основании отрегулированного опорного изображения; разностное средство для генерации дифференциального сигнала на основании разности между конечным изображением, введенным средством ввода, и сигналом прогнозирования, сгенерированным средством генерации сигнала прогнозирования; средство кодирования для кодирования дифференциального сигнала, сгенерированного разностным средством, для генерации кодированного дифференциального сигнала; средство вывода для вывода кодированного дифференциального сигнала, закодированного средством кодирования, и информации, относящейся к пространственно-частотно-амплитудной характеристике, сгенерированной средством анализа пространственно-частотно-амплитудной характеристики; средство декодирования для декодирования кодированного дифференциального сигнала, сгенерированного средством кодирования, для генерации декодированного дифференциального сигнала; и средство генерации воспроизводимого изображения для суммирования сигнала прогнозирования, сгенерированного средством генерации сигнала прогнозирования, с декодированным дифференциальным сигналом, генерируемым средством декодирования, и сохранения сгенерированного воспроизводимого изображения в средстве хранения в качестве опорного изображения.
Способ кодирования движущегося изображения, отвечающий настоящему изобретению, имеет этап ввода, на котором вводят конечное изображение, подлежащее кодированию, из совокупности изображений, составляющих движущееся изображение; этап анализа пространственно-частотно-амплитудной характеристики, на котором генерируют информацию, относящуюся к пространственно-частотно-амплитудной характеристике, для регулировки разности между амплитудой пространственно-частотного компонента конечного изображения, введенной на этапе ввода, и амплитудой пространственно-частотного компонента опорного изображения, которое используется для генерации сигнала прогнозирования для конечного изображения, введенного на этапе ввода, на основании амплитуды пространственно-частотного компонента конечного изображения и амплитуды пространственно-частотного компонента опорного изображения; этап генерации сигнала прогнозирования, на котором регулируют амплитуду пространственно-частотного компонента опорного изображения на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, сгенерированной на этапе анализа пространственно-частотно-амплитудной характеристики, и генерируют сигнал прогнозирования для конечного изображения на основании отрегулированного опорного изображения; разностный этап, на котором генерируют дифференциальный сигнал на основании разности между конечным изображением, введенным на этапе ввода, и сигналом прогнозирования, сгенерированным на этапе генерации сигнала прогнозирования; этап кодирования, на котором кодируют дифференциальный сигнал, генерируемый на разностном этапе, для генерации кодированного дифференциального сигнала; этап вывода, на котором выводят кодированный дифференциальный сигнал, закодированный на этапе кодирования, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, сгенерированную на этапе анализа пространственно-частотно-амплитудной характеристики; этап декодирования, на котором декодируют кодированный дифференциальный сигнал, сгенерированный на этапе кодирования, для генерации декодированного дифференциального сигнала; и этап генерации воспроизводимого изображения, на котором суммируют сигнал прогнозирования, сгенерированный на этапе генерации сигнала прогнозирования, с декодированным дифференциальным сигналом, сгенерированным на этапе генерации, для генерации воспроизводимого изображения, и сохраняют сгенерированное воспроизводимое изображение в качестве опорного изображения.
Программа кодирования движущегося изображения, отвечающая настоящему изобретению, имеет модуль ввода для ввода конечного изображения, подлежащего кодированию, из совокупности изображений, составляющих движущееся изображение; модуль сохранения для сохранения опорного изображения, которое используется для генерации сигнала прогнозирования для конечного изображения, введенного модулем ввода; модуль анализа пространственно-частотно-амплитудной характеристики для генерации информации, относящейся к пространственно-частотно-амплитудной характеристике для регулировки разности между амплитудой пространственно-частотного компонента конечного изображения, введенного модулем ввода, и амплитудой пространственно-частотного компонента опорного изображения, сохраненного в модуле сохранения, на основании амплитуды пространственно-частотного компонента конечного изображения и амплитуды пространственно-частотного компонента опорного изображения; модуль генерации сигнала прогнозирования для регулировки амплитуды пространственно-частотного компонента опорного изображения на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, сгенерированной модулем анализа пространственно-частотно-амплитудной характеристики, и генерации сигнала прогнозирования для конечного изображения на основании отрегулированного опорного изображения; разностный модуль для генерации дифференциального сигнала на основании разности между конечным изображением, введенным модулем ввода, и сигналом прогнозирования, сгенерированным модулем генерации сигнала прогнозирования; модуль кодирования для кодирования дифференциального сигнала, сгенерированного разностным модулем, для генерации кодированного дифференциального сигнала; модуль декодирования для декодирования кодированного дифференциального сигнала, сгенерированного модулем кодирования, для генерации декодированного дифференциального сигнала; модуль генерации воспроизводимого изображения для суммирования сигнала прогнозирования, сгенерированного модулем генерации сигнала прогнозирования, с декодированным дифференциальным сигналом, сгенерированным модулем декодирования, для генерации воспроизводимого изображения и сохранения сгенерированного воспроизводимого изображения в модуле сохранения в качестве опорного изображения; и модуль вывода для вывода кодированного дифференциального сигнала, закодированного модулем кодирования, и информации, относящейся к пространственно-частотно-амплитудной характеристике, сгенерированной модулем анализа пространственно-частотно-амплитудной характеристики.
Согласно настоящему изобретению конечное изображение, подлежащее кодированию, вводится из совокупности изображений, составляющих движущееся изображение, и опорное изображение, которое используется для генерации сигнала прогнозирования для входного конечного изображения, сохраняется. Затем генерируется информация, относящаяся к пространственно-частотно-амплитудной характеристике для регулировки разности между амплитудой пространственно-частотного компонента введенного конечного изображения и амплитудой пространственно-частотного компонента опорного изображения, на основании амплитуды пространственно-частотного компонента конечного изображения и амплитуды пространственно-частотного компонента опорного изображения.
Амплитуда пространственно-частотного компонента опорного изображения регулируется на основании сгенерированной информации, относящейся к пространственно-частотно-амплитудной характеристике, сигнал прогнозирования для конечного изображения генерируется на основании отрегулированного опорного изображения, и дифференциальный сигнал генерируется на основании разности между введенным конечным изображением и сгенерированным сигналом прогнозирования. Сгенерированный дифференциальный сигнал кодируется для генерации кодированного дифференциального сигнала, и сгенерированный кодированный дифференциальный сигнал декодируется для генерации декодированного дифференциального сигнала.
Сигнал прогнозирования суммируется с декодированным дифференциальным сигналом для генерации воспроизводимого изображения, и воспроизводимое изображение, и опорное изображение сохраняются. С другой стороны, кодированный дифференциальный сигнал и информация, относящаяся к пространственно-частотно-амплитудной характеристике, выводятся.
Соответственно, пространственно-частотно-амплитудные характеристики конечного изображения и сигнала прогнозирования оказываются практически равны друг другу, и избыток и недостаток пространственно-частотных компонентов опорного изображения не влияют на сигнал прогнозирования, что позволяет эффективно осуществлять сжатие.
Устройство декодирования движущегося изображения, отвечающее настоящему изобретению, имеет средство хранения для хранения воспроизводимого изображения, которое является опорным изображением для использования при декодировании; средство ввода для ввода кодированных данных, которые содержат кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике изображения; средство извлечения для извлечения информации, относящейся к пространственно-частотно-амплитудной характеристике, и кодированного дифференциального сигнала из кодированных данных, введенных средством ввода; средство генерации сигнала прогнозирования для регулировки амплитуды воспроизводимого изображения, сохраненного в средстве хранения, на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, извлеченной средством извлечения, и генерации сигнала прогнозирования; средство декодирования для декодирования кодированного дифференциального сигнала, извлеченного средством извлечения, для получения декодированного дифференциального сигнала; средство суммирования для суммирования сигнала прогнозирования, сгенерированного средством генерации сигнала прогнозирования с декодированным дифференциальным сигналом, полученным средством декодирования, для генерации воспроизводимого изображения; и средство вывода для вывода воспроизводимого изображения, сгенерированного средством суммирования, на клемму вывода и средство хранения.
Способ декодирования движущегося изображения, отвечающий настоящему изобретению, имеет этап ввода, на котором вводят кодированные данные, которые содержат кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике изображения; этап извлечения, на котором извлекают информацию, относящуюся к пространственно-частотно-амплитудной характеристике, и кодированный дифференциальный сигнал из кодированных данных, введенных на этапе ввода; этап генерации сигнала прогнозирования, на котором регулируют амплитуду воспроизводимого изображения, сохраненного в средстве хранения в качестве опорного изображения, на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, извлеченной на этапе извлечения, и генерируют сигнал прогнозирования; этап декодирования, на котором декодируют кодированный дифференциальный сигнал, извлеченный на этапе извлечения, для получения декодированного дифференциального сигнала; этап суммирования, на котором суммируют сигнал прогнозирования, сгенерированный на этапе генерации сигнала прогнозирования, с декодированным дифференциальным сигналом, полученным на этапе декодирования, для генерации воспроизводимого изображения; и этап вывода, на котором выводят воспроизводимое изображение, сгенерированное на этапе суммирования, на клемму вывода и средство хранения, в котором хранится воспроизводимое изображение для использования при декодировании.
Программа декодирования движущегося изображения, отвечающая настоящему изобретению, имеет модуль сохранения для сохранения воспроизводимого изображения в качестве опорного изображения для использования при декодировании; модуль ввода для ввода кодированных данных, которые содержат кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике изображения; модуль извлечения для извлечения информации, относящейся к пространственно-частотно-амплитудной характеристике, и кодированного дифференциального сигнала из кодированных данных, введенных модулем ввода; модуль генерации сигнала прогнозирования для регулировки амплитуды воспроизводимого изображения, сохраненного в модуле сохранения, на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, извлеченной модулем извлечения, и генерации сигнала прогнозирования; модуль декодирования для декодирования кодированного дифференциального сигнала, извлеченного модулем извлечения, для получения декодированного дифференциального сигнала; модуль суммирования для суммирования сигнала прогнозирования, сгенерированного модулем генерации сигнала прогнозирования с декодированным дифференциальным сигналом, полученным модулем декодирования, для генерации воспроизводимого изображения; и модуль вывода для вывода воспроизводимого изображения, сгенерированного модулем суммирования, на клемму вывода и модуль сохранения.
Согласно настоящему изобретению воспроизводимое изображение для использования при декодировании сохраняется, и кодированные данные, которые содержат кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, изображения, вводится. Затем информация, относящаяся к пространственно-частотно-амплитудной характеристике, и кодированный дифференциальный сигнал извлекаются из введенных кодированных данных, амплитуда воспроизводимого изображения, сохраненного в средстве хранения, регулируется на основании извлеченной информации, относящейся к пространственно-частотно-амплитудной характеристике, для генерации сигнала прогнозирования. Кроме того, извлеченный кодированный дифференциальный сигнал декодируется для генерации декодированного дифференциального сигнала, и сигнал прогнозирования суммируется с декодированным дифференциальным сигналом для генерации воспроизводимого изображения. Сгенерированное воспроизводимое изображение выводится на клемму вывода и затем снова сохраняется.
Соответственно, пространственно-частотно-амплитудные характеристики конечного изображения и сигнала прогнозирования оказываются практически равны друг другу, что позволяет эффективно декодировать сжатые кодированные данные.
Кроме того, предпочтительно, в устройстве кодирования движущегося изображения, отвечающем настоящему изобретению, средство анализа пространственно-частотно-амплитудной характеристики дополнительно имеет средство внешнего ввода для внешнего ввода информации, необходимой для генерации информации, относящейся к пространственно-частотно-амплитудной характеристике, в котором средство анализа пространственно-частотно-амплитудной характеристики суммирует информацию, введенную средством внешнего ввода, с амплитудой пространственно-частотного компонента конечного изображения и с амплитудой пространственно-частотного компонента опорного изображения, для генерации информации, относящейся к пространственно-частотно-амплитудной характеристике.
Согласно настоящему изобретению информацию, необходимую для генерации информации, относящейся к пространственно-частотно-амплитудной характеристике, можно вводить извне, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, можно генерировать на основании введенной информации, благодаря чему параметр регулировки, задаваемый на основании меры оценки всего видео, можно вводить извне, что позволяет генерировать коэффициент регулировки амплитуды на основании всего видео и более эффективно осуществлять кодирование.
Кроме того, предпочтительно, чтобы средство пространственно-частотного анализа устройства кодирования движущегося изображения, отвечающего настоящему изобретению, регулировало информацию, относящуюся к пространственно-частотно-амплитудной характеристике, на основании параметра регулировки, заданного согласно пространственно-частотному компоненту конечного изображения, и генерировало отрегулированную информацию, относящуюся к пространственно-частотно-амплитудной характеристике, и параметр регулировки в качестве информации, относящейся к пространственно-частотно-амплитудной характеристике.
Согласно настоящему изобретению, информацию, относящуюся к пространственно-частотно-амплитудной характеристике, можно регулировать на основании параметра регулировки, заданного согласно пространственно-частотным компонентам, что позволяет более эффективно осуществлять кодирование.
Кроме того, предпочтительно, средство ввода устройства декодирования движущегося изображения, отвечающего настоящему изобретению, вводит информацию, относящуюся к пространственной частоте, и параметр регулировки, которые регулируются как информация, относящаяся к пространственно-частотно-амплитудной характеристике, и средство генерации сигнала прогнозирования генерирует сигнал прогнозирования на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, и параметра регулировки, введенных средством ввода.
Согласно настоящему изобретению сигнал прогнозирования можно генерировать на основании отрегулированной информации, относящейся к пространственной частоте, и параметра регулировки, что позволяет эффективно декодировать кодированные данные.
Согласно настоящему изобретению движущееся изображение можно эффективно сжимать при кодировании/декодировании движущегося изображения.
Краткое описание чертежей
Фиг. 1 - функциональная схема, поясняющая конфигурацию устройства кодирования движущегося изображения согласно первому варианту осуществления.
Фиг. 2 - логическая блок-схема, поясняющая принцип действия устройства кодирования движущегося изображения.
Фиг. 3 - логическая блок-схема, поясняющая первую половину работы генератора сигнала прогнозирования.
Фиг. 4 - таблица, демонстрирующая соотношение между пиксельной точностью векторов движения и строкой коэффициентов для генерации сигнала прогнозирования.
Фиг. 5 - логическая блок-схема, поясняющая вторую половину работы генератора сигнала прогнозирования.
Фиг. 6 - функциональная схема, поясняющая конфигурацию устройства декодирования движущегося изображения согласно первому варианту осуществления.
Фиг. 7 - логическая блок-схема, поясняющая принцип действия устройства декодирования движущегося изображения.
Фиг. 8 - логическая блок-схема, поясняющая принцип действия генератора сигнала прогнозирования.
Фиг. 9 - блок-схема, поясняющая конфигурацию программы кодирования движущегося изображения.
Фиг. 10 - блок-схема, поясняющая конфигурацию программы декодирования движущегося изображения.
Фиг. 11 - функциональная схема, поясняющая конфигурацию компьютера, который выполняет программы кодирования/декодирования движущегося изображения.
Фиг. 12 - внешний вид в перспективе компьютера, который выполняет программы кодирования/декодирования движущегося изображения.
Фиг. 13 - блок-схема устройства 130 кодирования движущегося изображения.
Фиг. 14 - блок-схема анализатора 101 пространственной частоты.
Фиг. 15 - таблица преобразования, хранящаяся в блоке 203 хранения коэффициентов регулировки амплитуды.
Фиг. 16 - логическая блок-схема обработки, осуществляемой генератором 102 сигнала прогнозирования.
Фиг. 17 - логическая блок-схема, поясняющая принцип действия устройства 130 кодирования движущегося изображения.
Фиг. 18 - блок-схема устройства 610 декодирования движущегося изображения согласно второму варианту осуществления.
Фиг. 19 - логическая блок-схема, поясняющая принцип действия генератора 607 сигнала прогнозирования.
Фиг. 20 - логическая блок-схема, поясняющая принцип действия устройства 610 декодирования движущегося изображения.
Фиг. 21 - блок-схема, поясняющая конфигурацию программы 51P кодирования движущегося изображения согласно второму варианту осуществления, совместно с носителем записи 50P.
Фиг. 22 - блок-схема, поясняющая конфигурацию программы 91P декодирования движущегося изображения согласно второму варианту осуществления, совместно с носителем записи 90P.
Расшифровка условных обозначений
1 - клемма ввода, 2 - дифференциальный блок, 3 - преобразователь, 4 - квантователь, 5 - обратный квантователь, 6 - инвертер, 7 - сумматор, 8 - кадровая память, 9 - генератор сигнала прогнозирования, 10 - анализатор полосы, 11 - энтропийный кодер, 12 - клемма вывода, 21 - клемма ввода, 22 - анализатор данных, 23 - обратный квантователь, 24 - инвертер, 25 - генератор сигнала прогнозирования, 26 - сумматор, 27 - клемма вывода, 28 - кадровая память, 100 - клемма ввода, 101 - анализатор пространственной частоты, 102 - генератор сигнала прогнозирования, 103 - дифференциальный блок, 104 - преобразователь, 105 - квантователь, 106 - обратный квантователь, 107 - инвертер, 108 - сумматор, 109 - кадровая память, 120 - энтропийный кодер, 121 - клемма вывода, 201 - анализатор пространственно-частотно-амплитудной характеристики, 202 - генератор информации, относящейся к пространственно-частотно-амплитудной характеристике, 203 - блок хранения коэффициентов регулировки амплитуды, 600 - клемма ввода, 601 - анализатор данных, 602 - обратный квантователь, 603 - инвертер, 604 - сумматор, 605 - клемма вывода, 606 - кадровая память, 607 - генератор сигнала прогнозирования.
Предпочтительные варианты осуществления изобретения
Устройство кодирования движущегося изображения согласно варианту осуществления настоящего изобретения будет описано ниже со ссылкой на прилагаемые чертежи.
На фиг. 1 показана функциональная схема, поясняющая конфигурацию устройства кодирования движущегося изображения согласно первому варианту осуществления.
Устройство 13 кодирования движущегося изображения согласно первому варианту осуществления имеет клемму ввода 1 (соответствующую средству ввода), дифференциальный блок 2 (соответствующий дифференциальному средству), преобразователь 3, квантователь 4 (соответствующие средству кодирования), обратный квантователь 5, инвертер 6 (соответствующие средству декодирования), сумматор 7 (соответствующий средству суммирования), кадровую память 8 (соответствующую средству хранения), генератор 9 сигнала прогнозирования (соответствующий средству генерации сигнала прогнозирования), анализатор 10 полосы (соответствующий средству анализа полосы), энтропийный кодер 11 и клемму вывода 12 (соответствующую средству вывода). Эти компоненты соединены друг с другом шинами, что позволяет вводить и выводить сигналы.
Каждый из этих компонентов будет подробно описан ниже.
Клемма ввода 1 вводит движущееся изображение. Введенное движущееся изображение делится на области, каждая из которых имеет заранее определенный размер (например, 16×16 пикселей).
Дифференциальный блок 2 вводит сигнал прогнозирования, полученный генератором 9 сигнала прогнозирования, через шину B10, и затем вычитает сигнал прогнозирования из конечного блока для генерации дифференциального сигнала.
Преобразователь 3 преобразует дифференциальный сигнал, поступающий от дифференциального блока 2, в сигнал частотного диапазона.
Квантователь 4 квантует сигнал, поступающий от преобразователя 3.
Обратный квантователь 5 подвергает квантованный коэффициент, поступающий от квантователя 4, обратному квантованию.
Инвертер 6 осуществляет обратное дискретное косинусное преобразование на коэффициент, подвергнутый обратному квантованию, поступающий от обратного квантователя 5, и преобразует полученный таким образом коэффициент в воспроизводимый дифференциальный сигнал пространственной области.
Сумматор 7 суммирует сигнал прогнозирования, поступающий через шину B10a, с воспроизводимым дифференциальным сигналом, поступающим от инвертера 6, и генерирует воспроизводимое изображение.
Воспроизводимое изображение, поступающее от сумматора 7 через шину B7, сохраняется в кадровой памяти 8, и это воспроизводимое изображение используется в качестве опорного изображения для кодирования следующего изображения.
Генератор 9 сигнала прогнозирования генерирует сигнал прогнозирования для кодирования конечного блока, поступающего через шину B1b. Генератор 9 сигнала прогнозирования также осуществляет управление, чтобы полоса сигнала прогнозирования для этого блока не превышала полосу сигнала блока. Его работа будет подробно описана ниже.
Анализатор полосы 10 анализирует полосу сигнала конечного блока кодирования.
Энтропийный кодер 11 преобразует квантованный коэффициент, поступающий от квантователя 4, в код переменной длины, после чего выводит код переменной длины на клемму вывода 12. Вместо кода переменной длины можно использовать арифметический код.
Его работа описана ниже.
Прежде чем приступить к описанию его работы, предположим, что движущееся изображение, вводимое клеммой ввода 1, имеет совокупность изображений, захваченных бытовой видеокамерой (например, камерой мобильного телефона). В этом случае по вышеописанным причинам вводится комбинация изображения, имеющего широкую полосу сигнала, и изображения, имеющего узкую полосу сигнала.
Конечное изображение, подлежащее кодированию, и опорное изображение, подлежащее ссылке для генерации сигнала прогнозирования конечного изображения, поступают на анализатор 10 полосы. Конечное изображение поступает с клеммы ввода 1 через шину B1a, и опорное изображение поступает из кадровой памяти 8 через шину B11. Количество вводимых опорных изображений равно единице, но можно вводить совокупность опорных изображений.
Полоса конечного изображения измеряется посредством преобразования Фурье. В частности, анализатор 10 полосы осуществляет преобразование Фурье на строке пикселей в конечном изображении как одномерном массиве данных, для генерации строки частотных коэффициентов. Затем из коэффициентов в строке частотных коэффициентов выбирается в качестве полосы строки пикселей максимальный частотный компонент, который меньше или равен x% компонента постоянного тока. Хотя, например x=5, можно использовать другое численное значение.
Таким образом, анализатор 10 полосы получает полосу каждой строки пикселей в конечном изображении и берет наибольшую полосу в качестве вертикальной полосы конечного изображения. Аналогично, анализатор 10 полосы получает полосу строки пикселей в каждом столбце конечного изображения и берет наибольшую полосу в качестве горизонтальной полосы конечного изображения. В первом варианте осуществления максимальные значения в вертикальной полосе и в горизонтальной полосе составляют данные полосы конечного изображения.
Полосу опорного изображения можно измерять тем же способом, но в первом варианте осуществления информация полосы, которая измеряется при кодировании опорного изображения, сохраняется, поэтому информацию о полосе опорного изображения не нужно повторно вычислять. Таким образом, в кадровой памяти 8 хранится информация о полосе конечного изображения для кодирования следующего изображения. Заметим, что воспроизводимое изображение, хранящееся в кадровой памяти 8, можно использовать в качестве опорного изображения, но исходное изображение, соответствующее опорному изображению, можно использовать для вычисления полосы исходного изображения.
Анализатор 10 полосы получает отношение полос с использованием данных полосы полученного конечного изображения в качестве знаменателя и данных полосы опорного изображения в качестве числителя и выводит полученное отношение полос на генератор 9 сигнала прогнозирования через шину B12. Это отношение полос выводится в качестве информации, относящейся к полосе (информации, относящейся к частотной характеристике) на энтропийный кодер 11 через шину B9, после чего подвергается кодированию с переменной длиной серии и затем выводится совместно с другой информацией через клемму вывода 12. Информация, относящаяся к полосе (информация, относящаяся к частотной характеристике), может представлять собой не только отношение полос, но также информацию, которая может представлять информацию, указывающую корреляцию между частотной характеристикой воспроизводимого изображения и частотной характеристикой опорного изображения. Например, информация, относящаяся к полосе, может представлять собой собственно частотную характеристику воспроизводимого изображения или собственно частотную характеристику опорного изображения или, альтернативно, разность между ними.
Принцип работы устройства 13 кодирования движущегося изображения и этапы, составляющие способ кодирования движущегося изображения, описаны ниже со ссылкой на фиг. 2.
После ввода (S1) конечного изображения, подлежащего кодированию на клемму ввода 1 устройства 13 кодирования движущегося изображения, анализатор полосы 10 измеряет (S2) полосу конечного изображения и получает отношение полос посредством данных полосы конечного изображения и опорного изображения. Способ измерения полос и способ получения отношения полос описаны ниже.
В первом варианте осуществления, устройство 13 кодирования движущегося изображения получает данные, относящиеся к полосам всего изображения, но устройство 13 кодирования движущегося изображения может получать данные для каждого блока в отдельности.
На этапе S3 генератор 9 сигнала прогнозирования осуществляет обнаружение движения на основании отношения полос и генерирует вектор движения. Затем генератор 9 сигнала прогнозирования генерирует (S4) сигнал прогнозирования, соответствующий точности вектора движения и отношению полос.
Дифференциальный блок 2 вычитает (S5) сигнал прогнозирования, сгенерированный на этапе S4, из конечного сигнала для получения дифференциального сигнала. Этот дифференциальный сигнал подвергается дискретному косинусному преобразованию преобразователем 3, после чего квантуется квантователем 4, в результате чего генерируется (S6) коэффициент преобразования квантования.
Коэффициент преобразования квантования подвергается обработке обратного квантования обратным квантователем 5 и затем обработке инвертирования инвертером 6, в результате чего генерируется (S7) воспроизводимый дифференциальный сигнал.
Сумматор 7 суммирует сигнал прогнозирования с воспроизводимым дифференциальным сигналом, в результате чего генерируется (S8) воспроизводимое изображение.
Сгенерированное воспроизводимое изображение и информация о полосах временно хранятся в кадровой памяти 8. Одновременно, данные, например коэффициент преобразования квантования, информация, относящаяся к полосе, и вектор движения подвергаются энтропийному кодированию и затем выводятся (S9).
Далее принцип действия генератора 9 сигнала прогнозирования будет подробно описан со ссылкой на фиг. 3.
Сначала на этапе S11 конечное изображение, опорное изображение и отношение полос вводятся в генератор 9 сигнала прогнозирования через шины B1b, B11a и B12 соответственно.
На этапе S12 обработка обнаружения движения выполняется в соответствии со значением отношения полос.
Обработка обнаружения движения является известной и широко используемой технологией анализа изображения, поэтому ее подробное описание здесь опущено. Обработка обнаружения движения выполняется с использованием, например, метода согласования блоков.
В случае, когда отношение полос меньше или равно 1 (S12: ≤1), т.е., когда полоса конечного изображения больше полосы опорного изображения, генератор 9 сигнала прогнозирования выполняет обработку этапов S13, S14 и S15 и обнаруживает вектор движения для конечного блока.
Генератор 9 сигнала прогнозирования имеет генераторы 101, 102 и 103, которые действуют в соответствии с отношением полос. На фиг. 4 показано соотношение между строкой коэффициентов, используемой этими генераторами для генерации сигналов прогнозирования, и пиксельной точностью векторов движения.
На этапе S13, показанном на фиг. 3, генератор 101 обнаруживает вектор движения целочисленной точности (соответствующий 41, показанному на фиг. 4). Генератор 101 использует значение определенного пикселя непосредственно в опорном изображении для осуществления согласования и берет смещение блока, находящегося в положении, которое обеспечивает блок, имеющий минимальную ошибку, в качестве вектора движения целочисленной точности.
На этапе S14 генератор 101 обнаруживает вектор движения полупиксельной точности, главным образом, в позиции, указанной вектором движения целочисленной точности (соответствующим 44, показанному на фиг. 4).
h
h
Генератор 101 линейно интерполирует значение определенного пикселя посредством коэффициентов [u u] в опорном изображении для генерации пикселей полупиксельной точности и согласует сгенерированные пиксели с конечным блоком. Затем генератор 101 берет смещение блока, находящегося в положении, которое обеспечивает опорный блок, имеющий минимальную ошибку, в качестве вектора движения полупиксельной точности.
h
Хотя, например u=1/2, можно использовать и другие коэффициенты линейной интерполяции.
На этапе S15 генератор 101 обнаруживает вектор движения четвертьпиксельной точности, главным образом, в позиции, указанной вектором движения полупиксельной точности (соответствующим 47, показанному на фиг. 4).
q
q
q
q
Генератор 101 линейно интерполирует значение определенного пикселя посредством коэффициентов [u u u u] в опорном изображении для генерации пикселей четвертьпиксельной точности и согласует сгенерированные пиксели с конечным блоком. Затем генератор 101 берет смещение блока, находящегося в положении, которое обеспечивает опорный блок, имеющий минимальную ошибку, в качестве вектора движения четвертьпиксельной точности.
q
Хотя, например u=1/4, можно использовать и другие коэффициенты линейной интерполяции.
Таким образом, когда конечное изображение и опорное изображение имеют один и тот же уровень полосы или больший уровень полосы, генератор 9 сигнала прогнозирования использует традиционный способ для получения оптимального вектора движения из векторов движения целочисленной точности, полупиксельной точности и четвертьпиксельной точности.
В случае, когда отношение полос составляет от 1 до 2 (S12: 1-2), т.е. когда полоса опорного изображения превышает, но менее чем вдвое, полосу конечного изображения, генератор 9 сигнала прогнозирования выполняет обработку этапов S16, S17 и S18 для обнаружения вектора движения для конечного блока.
На этапе S16 генератор 102 обнаруживает вектор движения целочисленной точности (соответствующий 42, показанному на фиг. 4). Генератор 102 вычисляет взвешенную сумму для значения определенного пикселя посредством трех коэффициентов в опорном изображении для осуществления согласования и берет смещение блока, находящегося в положении, которое обеспечивает блок, имеющий минимальную ошибку, в качестве вектора движения целочисленной точности.
1
2
3
В качестве коэффициентов можно использовать, например, [w w w]=[1/3 1/3 1/3], но можно использовать и другие коэффициенты.
На этапе S17 генератор 102 обнаруживает вектор движения полупиксельной точности, главным образом, в позиции, указанной вектором движения целочисленной точности (соответствующим 45, показанному на фиг. 4).
h1
h2
h3
h4
Генератор 102 линейно интерполирует значение определенного пикселя посредством коэффициентов [w w w w] в опорном изображении для генерации пикселей полупиксельной точности и согласует сгенерированные пиксели с конечным блоком. Затем генератор 102 берет смещение блока, находящегося в положении, которое обеспечивает опорный блок, имеющий минимальную ошибку, в качестве вектора движения полупиксельной точности.
h1
h2
h3
h4
h
h
1
2
3
Например, каждый из коэффициентов [w w w w] можно получить как функцию [u u] и [w w w], но можно использовать и другие функции линейной интерполяции.
На этапе S18 генератор 102 обнаруживает вектор движения четвертьпиксельной точности, главным образом, в позиции, указанной вектором движения полупиксельной точности (соответствующим 48, показанному на фиг. 4).
q1
q2
q3
q4
q5
q6
q1
q2
q3
q4
q5
q6
q
q
q
q
h1
h2
h3
h4
Генератор 102 линейно интерполирует значение определенного пикселя посредством коэффициентов [w w w w w w] в опорном изображении для генерации пикселей четвертьпиксельной точности и согласует сгенерированные пиксели с конечным блоком. Затем генератор 102 берет смещение блока, находящегося в положении, которое обеспечивает опорный блок, имеющий минимальную ошибку, в качестве вектора движения четвертьпиксельной точности. Например, каждый из коэффициентов [w w w w w w] можно получить как функцию [u u u u] и [w w w w], но можно использовать и другие функции линейной интерполяции.
Таким образом, когда конечное изображение имеет более узкую полосу, чем опорного изображения, генератор 9 сигнала прогнозирования осуществляет обнаружение движения в состоянии, в котором полоса опорного изображения совпадает с полосой конечного изображения, и получает оптимального вектора движения из векторов движения целочисленной точности, полупиксельной точности и четвертьпиксельной точности.
В случае, когда отношение полос больше или равно 2 (S12: 2≤), т.е. когда полоса опорного изображения, по меньшей мере, вдвое шире полосы конечного изображения, генератор 9 сигнала прогнозирования выполняет обработку этапов S19, S20 и S21 для обнаружения вектора движения для конечного блока.
На этапе S19 генератор 103 обнаруживает вектор движения целочисленной точности (соответствующий 43, показанному на фиг. 4). Генератор 103 вычисляет взвешенную сумму для значения определенного пикселя посредством трех коэффициентов в опорном изображении для осуществления согласования и берет смещение блока, находящегося в положении, которое обеспечивает блок, имеющий минимальную ошибку, в качестве вектора движения целочисленной точности.
1
2
3
В качестве коэффициентов можно использовать, например, [v v v]=[1/4 2/4 1/4], но можно использовать и другие коэффициенты.
На этапе S20 генератор 103 обнаруживает вектор движения полупиксельной точности, главным образом, в позиции, указанной вектором движения целочисленной точности (соответствующим 46, показанному на фиг. 4).
h1
h2
h3
h4
Генератор 103 линейно интерполирует значение определенного пикселя посредством коэффициентов [v v v v] в опорном изображении для генерации пикселей полупиксельной точности и согласует сгенерированные пиксели с конечным блоком. Затем генератор 102 берет смещение блока, находящегося в положении, которое обеспечивает опорный блок, имеющий минимальную ошибку, в качестве вектора движения полупиксельной точности.
h1
h2
h3
h4
h
h
1
2
3
Например, каждый из коэффициентов [v v v v] можно получить как функцию [u u] и [v v v], но можно использовать и другие функции линейной интерполяции.
На этапе S21 генератор 103 обнаруживает вектор движения четвертьпиксельной точности, главным образом, в позиции, указанной вектором движения полупиксельной точности (соответствующим 49, показанному на фиг. 4).
q1
q2
q3
q4
q5
q6
Генератор 103 линейно интерполирует значение определенного пикселя посредством коэффициентов [v v v v v v] в опорном изображении для генерации пикселей четвертьпиксельной точности и согласует сгенерированные пиксели с конечным блоком. Затем генератор 103 берет смещение блока, находящегося в положении, которое обеспечивает опорный блок, имеющий минимальную ошибку, в качестве вектора движения четвертьпиксельной точности.
q1
q2
q3
q4
q5
q6
q
q
q
q
h1
h2
h3
4
Например, каждый из коэффициентов [v v v v v v] можно получить как функцию [u u u u] и [v v v v], но можно использовать и другие функции линейной интерполяции.
Таким образом, когда полоса конечного изображения значительно уже полосы опорного изображения, генератор 9 сигнала прогнозирования осуществляет обнаружение движения в состоянии, в котором полоса опорного изображения совпадает с полосой конечного изображения, и получает оптимальный вектор движения из векторов движения целочисленной точности, полупиксельной точности и четвертьпиксельной точности.
Векторы движения, полученные в состоянии, в котором полоса опорного изображения совпадает с полосой конечного изображения, выводятся на энтропийный кодер 11 на этапе S22.
Обратившись к фиг. 5, мы продолжим объяснение принципа действия генератора 9 сигнала прогнозирования.
Затем применительно к оптимальному вектору, полученному вышеописанным способом, генератор 9 сигнала прогнозирования генерирует сигнал прогнозирования в соответствии с точностью оптимального вектора (S31).
Например, в случае, когда вектор движения имеет целочисленную точность, обработка переходит к этапу S32, в случае полупиксельной точности, обработка переходит к этапу S36, и в случае, когда вектор движения имеет четвертьпиксельную точность, обработка переходит к этапу S40.
На этапе S32 генераторы генерируют сигнал прогнозирования в соответствии с отношением полос. В частности, если отношение полос меньше или равно 1, генератор 101 генерирует сигнал прогнозирования (S33, соответствующий 41 показанному на фиг. 4), и если отношение полос составляет от 1 до 2, генератор 102 генерирует сигнал прогнозирования (S34, соответствующий 42, показанному на фиг. 4). Если отношение полос больше или равно 2, генератор 103 генерирует сигнал прогнозирования (S35, соответствующий 43, показанному на фиг. 4).
На этапах S36 и S40 генератор, в соответствии с отношением полос, генерирует сигнал прогнозирования, как на этапе S32. В частности, если отношение полос меньше или равно 1, генератор 101 генерирует сигнал прогнозирования (S37 и S41, соответствующий соответственно 44 и 47, показанному на фиг. 4), и если отношение полос составляет от 1 до 2, генератор 102 генерирует сигнал прогнозирования (S38 и S42, соответствующий соответственно 45 и 48, показанному на фиг. 4). Если отношение полос больше или равно 2, генератор 103 генерирует сигнал прогнозирования (S39 и S43, соответствующий соответственно 46 и 49, показанному на фиг. 4).
Сгенерированный сигнал прогнозирования выводится (S44) на дифференциальный блок 2 и сумматор 7.
Первый вариант осуществления предусматривает конфигурацию, в которой коэффициенты для генерации сигнала прогнозирования заранее подготавливаются в каждом из генераторов, генерирующих сигналы прогнозирования, и генераторы выбираются на основании точности вектора движения и отношения полос. Поэтому информация, относящаяся к полосе, зависит только от отношения полос. Однако устройство 13 кодирования движущегося изображения может получать оптимальные коэффициенты посредством отношения полос без предварительной подготовки генераторов для генерации сигнала прогнозирования и может кодировать сразу все коэффициенты.
В таком варианте осуществления средство для генерации сигнала прогнозирования, или коэффициенты для генерации сигнала прогнозирования можно выводить как информацию, относящуюся к полосе, помимо или вместо отношения полос. Устройство 13 кодирования движущегося изображения может получать сигнал прогнозирования повышенной точности, получая генератор в соответствии с отношением полос, что позволяет дополнительно повысить степень сжатия изображения.
Кроме того, в первом варианте осуществления данные об одном отношении полос выводятся для одного или совокупности изображений, но это необязательно. В частности, устройство 13 кодирования движущегося изображения может выводить информацию, относящуюся к полосе, не только для каждого изображения в отдельности, но и для каждого блока в отдельности, которые получаются делением изображения.
Кроме того, горизонтальное направление и вертикальное направление изображения можно обрабатывать с использованием соответствующих данных полосы. В этом случае, генератор 9 сигнала прогнозирования получает отношение полос в связи с горизонтальным направлением и вертикальным направлением и затем генерирует сигналы прогнозирования посредством разных генераторов для разных направлений.
Кроме того, в первом варианте осуществления сигналы прогнозирования генерируются на основании векторов движения до четвертьпиксельной точности, но сигналы прогнозирования можно генерировать на основании 1/8-пиксельной точности или выше.
В первом варианте осуществления отношение полос используется как информация, относящаяся к полосе, но отношение полос можно получить с использованием другой функции, которая отличается от вышеупомянутых функций. Такой вариант осуществления можно реализовать, задав условия определения для генерации сигнала прогнозирования в соответствии с определением вышеупомянутой другой функции.
Перейдем к описанию устройства декодирования движущегося изображения согласно варианту осуществления настоящего изобретения.
На фиг. 6 показана конфигурация устройства декодирования движущегося изображения, отвечающего настоящему изобретению.
Устройство 20 декодирования движущегося изображения согласно первому варианту осуществления имеет клемму ввода 21 (соответствующую средству ввода), анализатор 22 данных, обратный квантователь 23, инвертер 24 (соответствующие средству декодирования), генератор 25 сигнала прогнозирования (соответствующий средству генерации сигнала прогнозирования), сумматор 26 (соответствующий средству суммирования), клемму вывода 27 и кадровую память 28 (соответствующую средству хранения). Эти компоненты соединены друг с другом шинами, что позволяет вводить и выводить сигналы.
Каждый из этих компонентов будет подробно описан ниже.
Клемма ввода 21 вводит сжатые данные, которые содержат данные о кодированном дифференциальном сигнале, полученном путем кодирования с прогнозированием движущегося изображения, данные о векторе движения и информацию, относящуюся к полосе (например, отношение полос).
Анализатор 22 данных анализирует введенные сжатые данные для осуществления обработки энтропийного декодирования и извлекает квантованный коэффициент преобразования, информацию по квантованию, векторы движения, связанные с генерацией сигналов прогнозирования, и информацию, относящуюся к полосе, для изображения, подлежащего декодированию.
Обратный квантователь 23 генерирует коэффициент преобразования, подвергнутый обратному квантованию, из вышеупомянутого коэффициента преобразования, который поступает от анализатора 22 данных через шину B22, и из информации по квантованию.
Инвертер 24 осуществляет обратное дискретное косинусное преобразование на вышеупомянутом коэффициенте преобразования, который поступает от обратного квантователя 23 через шину B23, для генерации воспроизводимого дифференциального сигнала.
Хотя это подробно описано ниже, генератор 25 сигнала прогнозирования генерирует сигнал прогнозирования на основании вектора движения, который поступает от анализатора 22 данных через шину B22a, и на основании информации, относящейся к полосе, которая поступает через шину B22b. Как и вышеописанный генератор 9 сигнала прогнозирования, генератор сигнала прогнозирования 25 имеет генераторы 101, 102 и 103, которые действуют в соответствии с отношением полос, входящим в информацию, относящуюся к полосе. Соотношение между строкой коэффициентов, используемой этими генераторами для генерации сигналов прогнозирования, и пиксельной точностью векторов движения показано на фиг. 4.
Сумматор 26 суммирует воспроизводимый дифференциальный сигнал, поступающий от инвертера 24 через шину B24, и сигнал прогнозирования, поступающий от генератора 25 сигнала прогнозирования через шину B25.
Клемма вывода 27 выводит результат сложения, поступающий от сумматора 26, как воспроизводимое изображение.
В кадровой памяти 28 хранится результат сложения, поступающий от сумматора 26 через шину B27, как воспроизводимое изображение, подлежащее использованию для декодирования следующего изображения. Заметим, что в кадровой памяти 28 может храниться информация о полосе конечного изображения для использования при декодировании следующего изображения, как и в вышеописанной кадровой памяти 8. В этом случае, в информации, относящейся к полосе, вместо отношения полос содержится только информация о ширине полосы конечного изображения.
Принцип действия устройства декодирования движущегося изображения 20 и этапы, составляющие способ декодирования движущегося изображения, описаны ниже со ссылкой на фиг. 7.
На этапе T1 сжатые данные, содержащие данные о кодированном дифференциальном сигнале, данные о векторе движения и информацию, относящуюся к полосе, поступают на клемму ввода 21 устройства 20 декодирования движущегося изображения. Анализатор 22 данных осуществляет обработку энтропийного декодирования и одновременно извлекает из сжатых данных квантованный коэффициент преобразования, информацию по квантованию, вектор движения, связанный с генерацией сигнала прогнозирования, и информацию, относящуюся к полосе, для изображения, подлежащего декодированию (T2).
Генератор 25 сигнала прогнозирования генерирует (T3) сигнал прогнозирования на основании векторов движения и информации, относящейся к полосе, которые поступают из анализатора 22 данных. Способ генерации сигналов прогнозирования подробно описан ниже.
С другой стороны, квантованный коэффициент преобразования подвергается обратному квантованию обратным квантователем 23 (T4) и затем подвергается обратному дискретному косинусному преобразованию инвертером 24. В результате генерируется (T5) воспроизводимый дифференциальный сигнал.
Сигнал прогнозирования, сгенерированный на этапе T3, и воспроизводимый дифференциальный сигнал, сгенерированный на этапе T5, суммируются сумматором 26, в результате чего генерируется (T6) воспроизводимое изображение. Это воспроизводимое изображение временно хранится в кадровой памяти 28 для декодирования следующего изображения (T7).
Последовательность процессов от T2 до T8 повторно выполняется, пока не будет завершена (T8) обработка декодирования для всех введенных сжатых данных.
Перейдем к подробному описанию работы генератора 25 сигнала прогнозирования со ссылкой на фиг. 8.
На этапе T11 вектор движения блока, подлежащего декодированию, и информация, относящаяся к полосе, поступают из анализатора 22 данных. Информация, относящаяся к полосе, включает в себя информацию об отношении полосы опорного изображения к полосе конечного изображения.
В отношении входного вектора движения генератор 25 сигнала прогнозирования генерирует (T12) сигнал прогнозирования в соответствии с точностью входного вектора движения.
Например, в случае, когда вектор движения имеет целочисленную точность, обработка переходит к этапу T13, в случае полупиксельной точности, обработка переходит к этапу T17, и в случае, когда вектор движения имеет четвертьпиксельную точность, обработка переходит к этапу T21.
На этапе T13 генератор генерирует сигнал прогнозирования в соответствии с отношением полос. В частности, если отношение полос меньше или равно 1, генератор 101 генерирует сигнал прогнозирования (T14, соответствующий 41, показанному на фиг. 4), и если отношение полос составляет от 1 до 2, генератор 102 генерирует сигнал прогнозирования (T15, соответствующий 42, показанному на фиг. 4). Если отношение полос больше или равно 2, генератор 103 генерирует сигнал прогнозирования (T16, соответствующий 43, показанному на фиг. 4).
На этапах T17 и T21 генератор в соответствии с отношением полос генерирует сигнал прогнозирования, как на этапе T13. В частности, если отношение полос меньше или равно 1, генератор 101 генерирует сигнал прогнозирования (T18, T22, соответствующие 44 и 47, показанным на фиг. 4), и если отношение полос составляет от 1 до 2, генератор 102 генерирует сигнал прогнозирования (T19 и T23, соответствующие соответственно 45 и 48, показанным на фиг. 4). Если отношение полос больше или равно 2, генератор 103 генерирует сигнал прогнозирования (T20 и T24, соответствующие соответственно 46 и 49, показанным на фиг. 4).
Затем сгенерированный сигнал прогнозирования выводится (T25) на сумматор 26.
Первый вариант осуществления предусматривает конфигурацию, в которой коэффициенты для генерации сигнала прогнозирования заранее подготавливаются в каждом из генераторов, генерирующих сигналы прогнозирования, и генераторы выбираются на основании точности вектора движения и отношения полос. Поэтому информация, относящаяся к полосе, зависит только от отношения полос. Однако, если информация, относящаяся к полосе, включает в себя информацию, позволяющую различать генераторы для генерации сигнала прогнозирования, то генератор 25 сигнала прогнозирования может генерировать сигнал прогнозирования с использованием этой информации.
Кроме того, в первом варианте осуществления данные об одном отношении полос выводятся для одного или совокупности изображений, но это необязательно. В частности, устройство 20 декодирования движущегося изображения может выводить информацию, относящуюся к полосе, не только для каждого изображения в отдельности, но и для каждого блока в отдельности, которые получаются делением изображения. В таком варианте осуществления генератор 25 сигнала прогнозирования генерирует сигнал прогнозирования на основании каждого элемента информации, относящейся к полосе, для каждого блока.
Кроме того, горизонтальное направление и вертикальное направление изображения можно обрабатывать с использованием соответствующих данных полосы. В этом случае генератор 25 сигнала прогнозирования получает отношение полос в связи с горизонтальным направлением и вертикальным направлением и затем генерирует сигналы прогнозирования в соответствии с отношением полос.
Кроме того, в первом варианте осуществления сигналы прогнозирования воспроизводятся на основании векторов движения до четвертьпиксельной точности, но сигналы прогнозирования можно генерировать на основании 1/8-пиксельной точности или выше.
Здесь технологию кодирования движущегося изображения, отвечающую настоящему изобретению, также можно реализовать в виде программы кодирования движущегося изображения для управления компьютером в качестве устройства 13 кодирования движущегося изображения.
На фиг. 9 показана конфигурация программы 110P кодирования движущегося изображения согласно настоящему изобретению. Программа 110P кодирования движущегося изображения записана на носителе записи 100P. Носитель записи 100P представляет собой, например, флоппи-диск, CD-ROM, DVD или полупроводниковую память.
Согласно фиг. 9 программа 110P кодирования движущегося изображения имеет в своем составе модуль 111P ввода изображения, модуль 112P анализа изображения /вычисления отношения полос, модуль 113P генерации сигнала прогнозирования, модуль 114P генерации дифференциального сигнала, модуль преобразования 115P, модуль квантования 116P, модуль обратного квантования 117P, модуль инверсии 118P, модуль суммирования 119P и модуль энтропийного кодирования 121P. Функции, реализуемые за счет выполнения этих модулей, такие же, как функции клеммы ввода 1, анализатора полосы 10, генератора 9 сигнала прогнозирования, дифференциального блока 2, преобразователя 3, квантователя 4, обратного квантователя 5, инвертера 6, сумматора 7 и энтропийного кодера 11 вышеописанного устройства 13 кодирования движущегося изображения. Данные, сохраняемые за счет выполнения модуля памяти 120P, такие же, как данные, хранящиеся в кадровой памяти 8.
Кроме того, технологию декодирования движущегося изображения, отвечающую настоящему изобретению, можно реализовать в виде программы декодирования движущегося изображения для управления компьютером в качестве 20 устройства декодирования движущегося изображения.
Программа 210P декодирования движущегося изображения согласно настоящему изобретению может иметь конфигурацию, показанную на фиг. 10. Программа 210P декодирования движущегося изображения записана на носителе записи 200P. Носитель записи 200P представляет собой, например, флоппи-диск, CD-ROM, DVD или полупроводниковую память.
Согласно фиг. 10 программа 210P декодирования движущегося изображения имеет в своем составе модуль 211P ввода данных сжатия, модуль энтропийного декодирования 212P, модуль 213P генерации сигнала прогнозирования, модуль обратного квантования 214P, модуль инверсии 215P и модуль суммирования 216P. Функции, реализуемые за счет выполнения этих модулей, такие же, как функции соответственно клеммы ввода 21, анализатора 22 данных, генератора 25 сигнала прогнозирования, обратного квантователя 23, инвертера 24 и сумматора 26 вышеописанного устройства 20 декодирования движущегося изображения. Данные, сохраняемые за счет выполнения модуля памяти 217P, такие же, как данные, хранящиеся в кадровой памяти 28.
На фиг. 11 показана аппаратная конфигурация компьютера для выполнения программ, записанных на носители записи 100P, 200P.
Согласно фиг. 11 компьютер 30 имеет устройство 31 чтения данных, например FDD (привод флоппи-дисков), устройство привода CD-ROM и устройство привода DVD, рабочую память (ОЗУ: оперативное запоминающее устройство) 32, в которой загружена ОС, память 33 для хранения программ, считанных с носителей записи 100P, 200P, дисплей 34, служащий устройством отображения, мышь 35 и клавиатуру 36, служащие устройствами ввода, устройство связи 37 для осуществления передачи/приема данных, и ЦП 38, который осуществляет общее управление выполнением программ. Когда носители записи 100P, 200P вставлены в устройство чтения 31, компьютер 30 может обращаться к программе 110P кодирования движущегося изображения и программе 210P декодирования движущегося изображения, записанным на носителях записи 100P и 200P соответственно через устройство чтения 31. Компьютер 30 выполняет программу 110P кодирования движущегося изображения посредством ЦП 38 и таким образом действует в качестве вышеописанного устройства 13 кодирования движущегося изображения. Аналогично, компьютер 30 выполняет программу 210P декодирования движущегося изображения посредством ЦП 38 и таким образом действует в качестве вышеописанного устройства 20 декодирования движущегося изображения.
На фиг. 12 показан внешний вид в перспективе компьютера 30 для выполнения программ, записанных на носители записи 100P и 200P. Компьютер 30 может представлять собой не только ПК (персональный компьютер), но также проигрыватель DVD, телевизионную приставку, сотовый телефон и т.п., т.е. устройство, имеющее ЦП и осуществляющее обработку информации и управление посредством программного обеспечения.
Согласно фиг. 12 программа 110P кодирования движущегося изображения или программа 210P декодирования движущегося изображения может обеспечиваться (загружаться) через сеть, в виде сигнала 40 данных, которым модулируется несущая волна. В этом случае компьютер 30 принимает программу 110P кодирования движущегося изображения или программу 210P декодирования движущегося изображения посредством устройства связи 37, сохраняет принятую программу в памяти 33, после чего выполняет программу.
Как описано выше, согласно технологиям (устройствам, способам, программам) кодирования/декодирования движущегося изображения, отвечающим настоящему изобретению, после измерения полосы конечного изображения и полосы опорного изображения, генерируется информация, относящаяся к полосе, указывающая эти полосы. Затем, на основании информации, относящейся к полосе, из опорного изображения сигнал прогнозирования для конечного изображения генерируется так, чтобы полоса сигнала прогнозирования совпадала с полосой конечного изображения. Соответственно, полоса конечного изображения оказывается практически равной полосе сигнала прогнозирования конечного изображения, и высокочастотные компоненты опорного изображения не сдвигаются к сигналу прогнозирования. В результате, повышается эффективность кодирования со сжатием.
Перейдем к описанию второго варианта осуществления настоящего изобретения со ссылкой на фиг. 13-22. Сначала опишем устройство кодирования движущегося изображения согласно второму варианту осуществления. На фиг. 13 показана блок-схема устройства 130 кодирования движущегося изображения. Это устройство 130 кодирования движущегося изображения содержит клемму ввода 100 (средство ввода), анализатор 101 пространственной частоты (средство анализа пространственно-частотно-амплитудной характеристики), генератор 102 сигнала прогнозирования (средство генерации сигнала прогнозирования), дифференциальный блок 103 (дифференциальное средство), преобразователь 104 (средство кодирования), квантователь 105 (средство кодирования), обратный квантователь 106 (средство декодирования), инвертер 107 (средство декодирования), сумматор 108 (средство генерации воспроизводимого изображения), кадровую память 109 (средство хранения), энтропийный кодер 120 и клемму вывода 121 (средство вывода). Каждый из этих компонентов описан ниже.
Клемма ввода 100 это клемма для ввода совокупности данных изображения, составляющих данные движущегося изображения, и представляет собой блок для ввода, одного за другим, совокупности данных неподвижного изображения, составляющих данные движущегося изображения, которое поступает из камеры или памяти, где хранится движущееся изображение. Заметим, что введенное изображение делится на области заранее определенного размера делителем изображения, который не показан. Во втором варианте осуществления изображение делится на блоки, каждый из которых состоит из 16×16 пикселей, и сжатие/обработка кодирования осуществляется для каждого блока в отдельности.
Анализатор 101 пространственной частоты - это блок для генерации информации, относящейся к пространственно-частотно-амплитудной характеристике (информации, относящейся к частотной характеристике), указывающей отношение или относительную, или абсолютную разность между амплитудами конечного изображения и опорного изображения, т.е. информации, относящейся к пространственно-частотно-амплитудной характеристике, для регулировки разности между амплитудой пространственно-частотного компонента конечного изображения и амплитудой пространственно-частотного компонента опорного изображения. В частности, анализатор 101 пространственной частоты вычисляет пространственно-частотно-амплитудную характеристику конечного изображения, которое поступает по линии L101a, и сигнала опорного изображения, который поступает из кадровой памяти 109 по линии L110. Затем анализатор 101 пространственной частоты генерирует информацию, относящуюся к пространственно-частотно-амплитудной характеристике, указывающую отношение или относительную или абсолютную разность между амплитудами конечного изображения и опорного изображения, на основании информации о вычисленных пространственно-частотно-амплитудных характеристиках конечного изображения и опорного изображения. Анализатор 101 пространственной частоты выводит сгенерированную информацию, относящуюся к пространственно-частотно-амплитудной характеристике, на энтропийный кодер 120 и генератор 102 сигнала прогнозирования.
Перейдем к подробному описанию конфигурации анализатора 101 пространственной частоты. На фиг. 14 показана блок-схема анализатора 101 пространственной частоты. Анализатор 101 пространственной частоты содержит анализатор 201 пространственно-частотно-амплитудной характеристики, генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, и блок 203 хранения коэффициентов регулировки амплитуды. Каждый из этих компонентов описан ниже.
Анализатор 201 пространственно-частотно-амплитудной характеристики - это блок, который вычисляет пространственно-частотно-амплитудную характеристику конечного изображения и пространственно-частотно-амплитудную характеристику опорного изображения и затем выводит вычисленные амплитуды на генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, по линии L201, совместно с пространственной частотой конечного изображения и пространственной частотой опорного изображения.
В частности, анализатор 201 пространственно-частотно-амплитудной характеристики получает конечное изображение, подлежащее кодированию, по линии L101a и опорное изображение, подлежащее ссылке для генерации сигнала прогнозирования конечного изображения, по линии L110. Опорное изображение сохраняется в кадровой памяти 109 и затем поступает по линии L110. Во втором варианте осуществления изображение фокусируется на одном опорном изображении, но можно использовать совокупность опорных изображений.
Анализатор 201 пространственно-частотно-амплитудной характеристики вычисляет амплитуды пространственно-частотных компонентов конечного изображения и амплитуды пространственно-частотных компонентов опорного изображения, осуществляя преобразование Фурье на конечном изображении и опорном изображении. В частности, анализатор 201 пространственно-частотно-амплитудной характеристики осуществляет двухмерное преобразование Фурье на конечном изображении для генерации строки частотных коэффициентов и затем вычисляет энергетический спектр коэффициентов строки частотных коэффициентов. Иными словами, анализатор 201 пространственно-частотно-амплитудной характеристики получает квадратный корень из суммы квадратов действительной составляющей и мнимой составляющей в качестве величины пространственно-частотно-амплитудной характеристики каждой пространственной частоты. Заметим, что способ вычисления пространственно-частотно-амплитудной характеристики (способ выражения) не ограничивается вышеупомянутым способом вычисления, так что можно использовать другой способ вычисления.
Анализатор 201 пространственно-частотно-амплитудной характеристики согласно второму варианту осуществления вычисляет двухмерную пространственно-частотно-амплитудную характеристику, но анализатор 201 пространственно-частотно-амплитудной характеристики также может вычислять пространственно-частотно-амплитудную характеристику посредством одномерного преобразования Фурье. В этом случае, например, преобразование Фурье можно осуществлять на каждой строке в горизонтальном направлении для вычисления пространственно-частотно-амплитудной характеристики. Кроме того, в качестве цели можно взять, по меньшей мере, одну пространственно-частотно-амплитудную характеристику в вертикальном направлении, горизонтальном направлении или направлении, отличном от вертикального и горизонтального направлений.
Кроме того, во втором варианте осуществления пространственно-частотно-амплитудная характеристика вычисляется на основании строки двухмерных данных, но можно использовать строку одномерных данных. Кроме того, можно извлекать и использовать любую часть двухмерных данных. Кроме того, двухмерные данные можно упорядочить посредством способа сортировки, например, зигзагообразного обхода, и обрабатывать как одномерные данные.
Кроме того, во втором варианте осуществления преобразование Фурье осуществляется как частотное преобразование, но можно осуществлять другое частотное преобразование, например дискретное косинусное преобразование или дискретное импульсное преобразование. Кроме того, предписывая анализатору 201 пространственно-частотно-амплитудной характеристики сохранять информацию амплитуды пространственно-частотного компонента, которая измеряется при кодировании опорного изображения, необязательно повторно вычислять информацию, относящуюся к пространственно-частотно-амплитудной характеристике опорного изображения. В частности, анализатор 201 пространственно-частотно-амплитудной характеристики сохраняет информацию, относящуюся к пространственно-частотно-амплитудной характеристике конечного изображения, как информацию, относящуюся к пространственно-частотно-амплитудной характеристике опорного изображения, для кодирования следующего изображения. Заметим, что воспроизводимое изображение, хранящееся в кадровой памяти 109, используется в качестве опорного изображения, но исходное изображение, соответствующее опорному изображению (сами данные изображения, которые поступают без кодирования/декодирования), можно использовать для вычисления пространственно-частотно-амплитудной характеристики исходного изображения.
Генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, получает пространственные частоты конечного изображения, пространственно-частотно-амплитудную характеристику конечного изображения, пространственные частоты опорного изображения и пространственно-частотно-амплитудную характеристику опорного изображения от вышеописанного анализатора пространственно-частотно-амплитудной характеристики 201. Этот генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, вычисляет отношение амплитуд PR (f_cur) в соответствии со следующим уравнением (1) с использованием введенных пространственно-частотно-амплитудных характеристик конечного изображения и опорного изображения, а затем выводит вычисленное отношение амплитуд на генератор 102 сигнала прогнозирования по линии L114. Отношение амплитуд PR (f_cur) вычисляется из величины пространственно-частотно-амплитудной характеристики каждой пространственной частоты f_cur конечного изображения, причем величина выражается как P_cur и из величины пространственно-частотно-амплитудной характеристики пространственной частоты f_ref, соответствующей опорному изображению, причем величина выражается как P_ref и является функцией, выражающей отношение, когда P_ref каждой пространственной частоты равна 100[%]. Кроме того, P_ref всегда задается равной 100[%] в отношении составляющей постоянного тока, в которой пространственная частота равна нулю.
PR (f_cur)=100 × (P_cur/P_ref), при условии, что PR(0)=100... (1)
Во втором варианте осуществления используется относительная величина пространственно-частотно-амплитудной характеристики, но можно использовать разность между амплитудой пространственно-частотно-амплитудной характеристики конечного изображения, P_cur, и величиной пространственно-частотно-амплитудной характеристики опорного изображения, P_ref. Кроме того, можно использовать другую функцию, которая получается из разности между P_cur и P_ref или из обеих P_cur и P_ref. Кроме того, во втором варианте осуществления задается отношение амплитуд PR(f_cur)=100, когда пространственная частота равна 0, но PR(f_cur) можно вычислять даже, когда пространственная частота равна 0.
Блок 203 хранения коэффициентов регулировки амплитуды - это блок для хранения таблицы преобразования для регулировки отношения амплитуд PR (f_cur) для каждой x [Гц] на каждой пространственной частоте f_cur конечного изображения. Например, блок 203 хранения коэффициентов регулировки амплитуды сопоставляет каждый параметр регулировки для изменения отношения амплитуд PR(f_cur) с каждой y% в диапазоне отношение от 0% до 100% и с каждой x [Гц] на каждой пространственной частоте f_cur конечного изображения и сохраняет параметры регулировки в виде таблицы преобразования. На фиг. 15 показана таблица преобразования, хранящаяся в блоке 203 хранения коэффициентов регулировки амплитуды. Согласно фиг. 15 вертикальное направление указывает отношение амплитуд, а горизонтальное направление указывает пределы полосы пространственных частот конечного изображения и каждый из параметров регулировки α1-α25 связан с отношением амплитуд и полосой пространственных частот.
Генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, извлекает параметры регулировки, хранящиеся в блоке 203 хранения коэффициентов регулировки амплитуды, по линии L203, умножает параметры регулировки на отношение амплитуд PR(f_cur) для регулировки отношения амплитуд и получает коэффициент регулировки амплитуды R(f_cur). Во втором варианте осуществления заданы x=10 и y=5. Заметим, что значения x и y не ограничиваются вышеупомянутыми значениями и, таким образом, могут быть больше или меньше. Кроме того, во втором варианте осуществления верхний предел диапазона отношения задан равным 100%, но это значение не является обязательным. Заметим, что во втором варианте осуществления используется одна таблица преобразования, но можно использовать иерархическую таблицу. Кроме того, желательно, чтобы блок каждой полосы находился в диапазоне пространственных частот на основании чувствительности человека. Каждая комбинация параметров регулировки, заданная в связи с диапазонами полосы частот и отношениями амплитуды, заданными в таблице преобразования, т.е. информация, описанная в таблице преобразования, передается на устройство декодирования движущегося изображения для каждого блока в отдельности как информация, связанная с регулировкой пространственно-частотно-амплитудной характеристики. Информация, связанная с регулировкой пространственно-частотно-амплитудной характеристики, может передаваться на устройство декодирования движущегося изображения покадрово. Кроме того, информация, связанная с регулировкой пространственно-частотно-амплитудной характеристики, может передаваться на устройство декодирования движущегося изображения как один параметр регулировки для всего кадра.
Способ вычисления коэффициента регулировки амплитуды R(f_cur) не ограничивается вышеупомянутым способом, так, например, можно предусмотреть матрицу данных для хранения коэффициента регулировки амплитуды для каждой полосы частот пространственных частот и для каждого заранее определенного диапазона отношения амплитуд, и его заранее определенный диапазон отношения амплитуд и полосу частот можно преобразовать в коэффициент регулировки амплитуды, заданный в матрице данных. В частности, в случае, когда β1 в качестве коэффициента регулировки амплитуды (например, 12%) хранится в матрице данных в связи с определенным диапазоном отношения амплитуд, например отношением амплитуд от 10% до 15% (например, 13%), и полоса частот равна f1, отношение амплитуд 13%, при котором полоса частот равна f1, преобразуется в коэффициент регулировки амплитуды 12%.
Во втором варианте осуществления задается коэффициент регулировки амплитуды R(f_cur), соответствующий пространственным частотам конечного изображения, но можно задавать коэффициент регулировки амплитуды не только на основании пространственных частот. Например, можно использовать численное значение, связанное с характеристиками человеческого восприятия видео. Кроме того, коэффициент регулировки амплитуды можно вычислять с использованием соотношения информации, например информации яркости или цветоразностной информации, содержащейся в движущемся изображении, с этапом квантования.
Кроме того, во втором варианте осуществления коэффициент регулировки амплитуды R(f_cur) вычисляется в соответствии с пространственными частотами каждого движущегося изображения и величиной пространственно-частотно-амплитудной характеристики, но можно задать заранее определенный коэффициент регулировки амплитуды R(f_cur). В этом случае можно использовать, например, изменение процентной доли пространственно-частотно-амплитудной характеристики, заданной для каждого определенного пространственно-частотного диапазона или элемента, например масштабный коэффициент. Кроме того, во втором варианте осуществления регулировка отношения амплитуд вычисляется на основании таблицы преобразования, хранящейся в блоке 203 хранения коэффициентов регулировки амплитуды, но можно использовать непосредственно отношение амплитуд PR(f_cur) для каждой пространственной частоты.
Кроме того, генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, имеет блок внешнего ввода 204, который принимает информацию, поступающую извне, и может генерировать коэффициент регулировки амплитуды R(f_cur) с использованием входной информации, полученной от этого средства внешнего ввода. В этом случае, желательно, чтобы генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, вычислял коэффициент регулировки амплитуды на основании внешнего ввода параметра регулировки, задаваемого на основании меры оценки всего видео. Этот блок внешнего ввода 204 не является ключевым компонентом, но способен генерировать коэффициент регулировки амплитуды применительно ко всему видео, выдавая его на устройство 130 кодирования движущегося изображения согласно второму варианту осуществления, что позволяет более эффективно осуществлять кодирование. Кроме того, на блоке внешнего ввода 204 пользователь может вводить параметр регулировки или можно вводить параметр регулировки, который генерируется на основании информации, оцененной предварительно настроенным устройством оценки.
Кроме того, во втором варианте осуществления используется информация, связанная с пространственными частотами двух кадров. Однако для осуществления вычисления можно использовать не только такую информацию, но и, например, пространственные частоты всех кадров движущегося изображения, среднее значение, максимальное значение или минимальное значение пространственных частот.
Хотя второй вариант осуществления предусматривает обработку, осуществляемую для каждого блока в отдельности, обработку можно осуществлять для каждого кадра в отдельности. Кроме того, во втором варианте осуществления регулировка контрастности осуществляется путем преобразования пространственных частот и регулировки пространственно-частотно-амплитудной характеристики, но регулировочное отношение контрастности можно вычислять с использованием значения яркости. В этом случае для использования регулировочного отношения контрастности можно вычислять, например, изменение значения яркости каждого блока. Кроме того, во втором варианте осуществления используется пространственно-частотно-амплитудная характеристика, но можно использовать другие пространственно-частотные элементы.
Генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, выводит информацию, связанную с коэффициентом регулировки амплитуды R(f_cur), на энтропийный кодер 120 как информацию, относящуюся к пространственно-частотно-амплитудной характеристике. Энтропийный кодер 120 осуществляет кодирование с переменной длиной серии на введенной информации, относящейся к пространственно-частотно-амплитудной характеристике, и выводит полученную таким образом информацию совместно с информацией о векторе движения и т.п. через вышеописанную клемму вывода 121. Одновременно, генератор 202 информации, относящейся к пространственно-частотно-амплитудной характеристике, передает информацию, относящуюся к пространственно-частотно-амплитудной характеристике, на генератор 102 сигнала прогнозирования по линии L114 и сохраняет информацию, относящуюся к пространственно-частотно-амплитудной характеристике, в генераторе 102 сигнала прогнозирования.
Продолжим описание устройства 130 кодирования движущегося изображения со ссылкой на фиг. 13. Генератор 102 сигнала прогнозирования - это блок, который генерирует сигнал прогнозирования (также блок, состоящий из 16×16 пикселей) на основании конечного блока, подлежащего кодированию, причем конечный блок поступает по линии L101b. Этот генератор 102 сигнала прогнозирования действует так, чтобы осуществлять обработку регулировки на пространственно-частотно-амплитудной характеристике опорного изображения, извлеченного из кадровой памяти 109, на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, для конечного изображения, анализируемого анализатором 101 пространственной частоты, и генерировать сигнал прогнозирования для каждого блока. Затем генератор сигнала прогнозирования 102 выводит сгенерированные сигналы прогнозирования на дифференциальный блок 103 по линии L112. Генератор 102 сигнала прогнозирования осуществляет регулировку амплитуды на пространственных частотах опорного изображения посредством арифметического выражения, показанного в следующем уравнении (2).
Пространственно-частотно-амплитудная характеристика опорного изображения после регулировки = Пространственно-частотно-амплитудная характеристика опорного изображения × Коэффициент регулировки амплитуды R(f_ref)/100... (2)
Кроме того, генератор 102 сигнала прогнозирования осуществляет обработку регулировки на пространственно-частотно-амплитудной характеристике опорного изображения и затем обнаруживает движение движущегося изображения с использованием метода согласования блоков на основании отрегулированного опорного изображения. Затем генератор 102 сигнала прогнозирования вычисляет в качестве оптимального вектора движения положение, пригодное для конечного блока и обеспечивающее опорный блок, имеющий минимальную ошибку, и выводит вычисленный вектор движения на энтропийный кодер 120.
Дифференциальный блок 103 вычитает сигналы прогнозирования из конечного блока, выведенного по линии L101, и генерирует дифференциальный сигнал. Дифференциальный блок 103 выводит сгенерированный дифференциальный сигнал на преобразователь 104.
Преобразователь 104 осуществляет обработку дискретного косинусного преобразования на дифференциальном сигнале, чтобы таким образом преобразовать его в сигнал частотного диапазона и выводит сигнал на квантователь 105 по линии L104, а квантователь 105 квантует преобразованный сигнал частотного диапазона для получения коэффициента преобразования квантования сигнала частотного диапазона и выводит коэффициент преобразования квантования на энтропийный кодер 120 и обратный квантователь 106 по линии L105. Квантователь 105 добавляет информацию квантования, указывающую значение квантования в коэффициенте преобразования квантования, и выводит полученный таким образом результат на энтропийный кодер 120 и обратный квантователь 106.
Энтропийный кодер 120 вводит коэффициент преобразования квантования, который является сигналом частотного диапазона, квантованный квантователем 105, по линии L105 вводит информацию, относящуюся к пространственно-частотно-амплитудной характеристике, сгенерированную анализатором 101 пространственной частоты, по линии L114 и вводит вектор движения, сгенерированный генератором 102 сигнала прогнозирования, по линии L111.
Затем энтропийный кодер 120 преобразует информацию квантования, коэффициент преобразования квантования, вектор движения и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, в коды переменной длины, и выводит коды переменной длины на внешнее устройство через клемму вывода 121. Заметим, что энтропийный кодер 120 может осуществлять обработку посредством арифметического кодирования вместо кодирования с переменной длиной серии.
Обратный квантователь 106 осуществляет обработку обратного квантования на коэффициенте преобразования квантования и выводит полученный таким образом результат на инвертер 107 по линии L106. Инвертер 107 осуществляет обратное дискретное косинусное преобразование на сигнале частотного диапазона, подвергнутом обратному квантованию, чтобы таким образом преобразовать его в воспроизводимый дифференциальный сигнал пространственного диапазона и затем выводит воспроизводимый дифференциальный сигнал на сумматор 108 по линии L107.
Сумматор 108 суммирует сигнал прогнозирования, переданный от генератора 102 сигнала прогнозирования по линии L102a, с воспроизводимым дифференциальным сигналом и генерирует воспроизводимое изображение.
Кадровая память 109 получает воспроизводимое изображение, сгенерированное сумматором 108, по линии L108 и сохраняет воспроизводимое изображение в качестве опорного изображения для использования при кодировании следующего изображения. Анализатор 101 пространственной частоты и генератор 102 сигнала прогнозирования могут извлекать опорное изображение, хранящееся в кадровой памяти 109, по линиям L109 и L110 соответственно.
Устройство 130 кодирования движущегося изображения имеет вышеописанную конфигурацию, что позволяет регулировать разность пространственно-частотно-амплитудной характеристики между конечным изображением и опорным изображением для эффективного кодирования данных движущегося изображения.
Заметим, что энтропийный кодер 120 устройства 130 кодирования движущегося изображения осуществляет кодирование коэффициента регулировки амплитуды R(f_cur) как обработку кодирования информации, относящейся к пространственно-частотно-амплитудной характеристике, но энтропийный кодер 120 может осуществлять кодирование посредством, например, таблицы кодирования, в которой используются комбинации регулировочных коэффициентов PR(f_cur). Кроме того, энтропийный кодер 120 может кодировать разность информации, относящейся к пространственно-частотно-амплитудной характеристике, между кадрами.
Кроме того, во втором варианте осуществления, хотя обработка осуществляется для каждого блока в отдельности, когда обработка осуществляется для каждого кадра в отдельности, регулировку и пр. изображения можно осуществлять для каждого кадра в отдельности и затем можно передавать полученный таким образом результат. В этом случае, кодирование можно осуществлять с использованием коэффициента регулировки амплитуды между кадрами. Кроме того, можно использовать разность между кадрами.
Теперь опишем обработку генерации сигнала прогнозирования в генераторе 102 сигнала прогнозирования. На фиг. 16 показана логическая блок-схема обработки, осуществляемой генератором 102 сигнала прогнозирования. Конечный блок конечного изображения и опорного изображения вводятся в генератор 102 сигнала прогнозирования по линии L101b и линии L108 (S301). Затем генератор 102 сигнала прогнозирования осуществляет обработку коррекции на пространственно-частотно-амплитудной характеристике опорного изображения на основании информации, относящейся к пространственно-частотно-амплитудной характеристике конечного изображения. В частности, генератор 102 сигнала прогнозирования вычисляет из информации, относящейся к пространственно-частотно-амплитудной характеристике конечного изображения, коэффициент регулировки амплитуды с использованием пространственной частоты, подлежащей регулировке (S303). Вычисленный коэффициент регулировки амплитуды сохраняется в генераторе 102 сигнала прогнозирования.
Затем генератор 102 сигнала прогнозирования регулирует пространственно-частотно-амплитудную характеристику опорного изображения с использованием вычисленного коэффициента регулировки амплитуды пространственной частоты. В частности, генератор сигнала прогнозирования 102 умножает коэффициент регулировки амплитуды на пространственно-частотно-амплитудную характеристику опорного изображения согласно вышеупомянутому уравнению (2) для вычисления пространственно-частотно-амплитудной характеристики опорного изображения после регулировки (S304).
Хотя во втором варианте осуществления коэффициент регулировки амплитуды R(f_ref) умножается, регулировку можно осуществлять посредством способа вычисления с использованием функции, включающей в себя предсказанные коэффициенты регулировки амплитуды совокупности опорных изображений, полученных в разное время. Кроме того, помимо способа умножения, можно использовать любые способы, при условии, что это способы регулировки амплитуды пространственно-частотно-амплитудной характеристики опорного изображения с использованием коэффициента регулировки амплитуды.
Кроме того, при использовании совокупности опорных изображений генератор 102 сигнала прогнозирования может вычислять отношение относительных амплитуд между коэффициентами регулировки амплитуды опорных изображений, сохраняя коэффициенты регулировки амплитуды в генераторе сигнала прогнозирования 102. Генератор 102 сигнала прогнозирования также может регулировать пространственно-частотно-амплитудную характеристику надлежащим образом и осуществлять прогнозирование, регулируя пространственные частоты опорных изображений, полученных в разное время, посредством вычисленного отношения относительных амплитуд. Кроме того, при использовании совокупности опорных изображений генератор 102 сигнала прогнозирования может брать как изображение после регулировки амплитуды в качестве кандидатов для прогнозирования и осуществлять прогнозирование. В этом случае информацию для определения, осуществлять ли регулировку, можно использовать в качестве информации пространственно-частотно-амплитудной характеристики для осуществления кодирования.
Посредством вышеописанных этапов генератор 102 сигнала прогнозирования регулирует пространственно-частотно-амплитудную характеристику опорного изображения и затем осуществляет обнаружение движения на основании этого отрегулированного опорного изображения. Во втором варианте осуществления обнаружение движения осуществляется с использованием метода согласования блоков, отвечающего уровню техники, и положение, пригодное для конечного блока и обеспечивающее опорный блок, имеющий минимальную ошибку, берется в качестве оптимального вектора движения, для генерации сигнала прогнозирования (S305). Генератор 102 сигнала прогнозирования выводит (S306) сгенерированный сигнал прогнозирования на дифференциальный блок 103 и сумматор 108.
Заметим, что хотя согласно второму варианту осуществления пространственно-частотно-амплитудная характеристика обрабатывается для каждого блока в отдельности, эту обработку можно осуществлять для каждого кадра в отдельности. В случае осуществления обработки для каждого блока в отдельности пространственную частоту каждого блока можно получать посредством преобразования Фурье при вычислении стандарта для осуществления обнаружения движения и сигнал прогнозирования можно определять в ходе регулировки пространственно-частотно-амплитудной характеристики. Кроме того, в случае осуществления обработки для каждого кадра в отдельности, преобразование Фурье можно осуществлять на всех кадрах опорного изображения, пространственные частоты можно получать для регулировки пространственно-частотно-амплитудной характеристики, после чего можно определять сигнал прогнозирования. Кроме того, пространственно-частотно-амплитудную характеристику можно регулировать после осуществления преобразования Фурье и вектор движения можно вычислять в области для преобразования Фурье при осуществлении обнаружения движения. Кроме того, для частотного преобразования можно осуществлять не только преобразование Фурье, но и другое частотное преобразование, например дискретное косинусное преобразование или дискретное импульсное преобразование. Желательно осуществлять частотное преобразование, используемое при регулировке пространственно-частотно-амплитудной характеристики.
Теперь опишем действие устройства 130 кодирования движущегося изображения согласно второму варианту осуществления. На фиг. 17 показана логическая блок-схема, поясняющая действие устройства кодирования движущегося изображения 130. Прежде всего, конечное изображение, подлежащее кодированию, вводится (S401) через клемму ввода 100. В анализаторе 101 пространственной частоты вычисляются пространственно-частотно-амплитудная характеристика конечного изображения и пространственно-частотно-амплитудная характеристика опорного изображения и генерируется информация, относящаяся к пространственно-частотно-амплитудной характеристике (отрегулированного) конечного изображения (S402). Способы вычисления и регулировки пространственно-частотно-амплитудной характеристики описаны выше. Заметим, что во втором варианте осуществления данные, относящиеся к пространственно-частотно-амплитудной характеристике, получают для каждого блока, но данные, относящиеся к пространственно-частотно-амплитудной характеристике, можно получать для каждого кадра.
Затем в генераторе 102 сигнала прогнозирования пространственно-частотно-амплитудная характеристика опорного изображения регулируется (S403) на основании информации пространственно-частотно-амплитудной характеристики конечного изображения. Компенсация движения осуществляется с использованием опорного изображения, пространственно-частотно-амплитудная характеристика которого отрегулирована и сигнал прогнозирования генерируется как оптимальный вектор движения (S404). Полученный таким образом сигнал прогнозирования вычитается из конечного изображения, в результате чего вычисляется (S405) дифференциальный сигнал. Дифференциальный сигнал преобразуется посредством дискретного косинусного преобразования и квантуется, в результате чего генерируется (S406) коэффициент преобразования квантования.
Кроме того, коэффициент преобразования квантования подвергается обратному квантованию и затем инвертируется, в результате чего генерируется (S407) воспроизводимый дифференциальный сигнал. Сигнал прогнозирования суммируется со сгенерированным таким образом воспроизводимым дифференциальным сигналом, в результате чего генерируется (S408) воспроизводимое изображение. Затем воспроизводимое изображение и информация, относящаяся к пространственно-частотно-амплитудной характеристике, временно сохраняются в кадровой памяти 109 и, одновременно, данные, содержащие коэффициент преобразования квантования, информацию квантования, информацию, относящуюся к пространственно-частотно-амплитудной характеристике, и вектор движения подвергаются энтропийному кодированию энтропийным кодером 120 и затем выводятся через клемму вывода 121 (S409).
Заметим, что второй вариант осуществления не ограничивается конфигурацией, в которой определенное изображение выражается одним элементом данных пространственно-частотно-амплитудной характеристики, и один элемент данных, относящийся к пространственно-частотно-амплитудной характеристике, выводится для одного или совокупности изображений. Информацию, относящуюся к пространственно-частотно-амплитудной характеристике, можно кодировать отдельно для каждого блока, полученного делением изображения.
Теперь опишем устройство 610 декодирования движущегося изображения, которое принимает и декодирует движущееся изображение, закодированное устройством 130 кодирования движущегося изображения, согласно второму варианту осуществления. На фиг. 18 показана блок-схема устройства 610 декодирования движущегося изображения согласно второму варианту осуществления. Это устройство 610 декодирования движущегося изображения содержит клемму ввода 600 (средство ввода), анализатор 601 данных (средство извлечения), обратный квантователь 602 (средство декодирования), инвертер 603 (средство декодирования), сумматор 604 (средство суммирования), кадровую память 606, генератор 607 сигнала прогнозирования (средство генерации сигнала прогнозирования) и клемму вывода 605 (средство вывода). Каждый из этих компонентов описан ниже.
Клемма ввода 600 - это клемма, которая вводит сжатые данные, содержащие коэффициент преобразования квантования, который представляет собой кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, информацию квантования, указывающую значение квантования, данные о векторе движения и информацию, относящуюся к пространственно-частотно-амплитудной характеристике. Во втором варианте осуществления данные, полученные при обработке, осуществляемой устройством кодирования 130 движущегося изображения, показанным на фиг. 13, вводятся в устройство 610 декодирования движущегося изображения.
Анализатор 601 данных - это блок, который анализирует сжатые данные, осуществляет обработку энтропийного декодирования и извлекает квантованный коэффициент преобразования квантования, информацию квантования, указывающую значение квантования, вектор движения, связанный с генерацией сигнала прогнозирования, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, связанные с конечным изображением, подлежащим декодированию. Этот анализатор 601 данных выводит квантованный коэффициент преобразования и информацию квантования, указывающую значение квантования, на обратный квантователь 602 по линии L602. Кроме того, анализатор 601 данных выводит вектор движения и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, на генератор 607 сигнала прогнозирования по линии L609 и линии L610 соответственно.
Обратный квантователь 602 - это блок, который подвергает обратному квантованию квантованный коэффициент преобразования квантования, чтобы таким образом сгенерировать коэффициент преобразования, на основании информации квантования, указывающей значение квантования. Обратный квантователь 602 выводит коэффициент преобразования на инвертер 603 по линии L603. Инвертер 603 - это блок, который преобразует коэффициент преобразования, подвергнутый обратному квантованию обратным квантователем 602, осуществляя обратное дискретное косинусное преобразование, и генерирует воспроизводимый дифференциальный сигнал. Инвертер 603 выводит сгенерированный воспроизводимый дифференциальный сигнал на сумматор 604 по линии L604.
Сумматор 604 - это блок, который суммирует воспроизводимый дифференциальный сигнал и сигнал прогнозирования и выводит полученный таким образом результат одновременно на клемму вывода 605 по линии L605 и в кадровую память 606 по линии L606 как воспроизводимое изображение.
Генератор сигнала прогнозирования 607 - это блок, который генерирует сигнал прогнозирования из воспроизводимого изображения, хранящегося в кадровой памяти 606, на основании вектора движения и информации, относящейся к пространственно-частотно-амплитудной характеристике. Генератор 607 сигнала прогнозирования выводит сгенерированный сигнал прогнозирования на сумматор 604. Заметим, что генератор сигнала прогнозирования 607 принимает отрегулированную информацию, относящуюся к пространственно-частотно-амплитудной характеристике, и параметр регулировки от устройства 130 кодирования движущегося изображения в качестве информации, относящейся к пространственно-частотно-амплитудной характеристике, и генерирует сигнал прогнозирования с использованием информации, относящейся к пространственной частоте (коэффициента регулировки амплитуды R(f_ref)) на основании параметра регулировки.
Кадровая память 606 - это блок, в котором хранится воспроизводимое изображение, выводимое из сумматора 604. Генератор 607 сигнала прогнозирования может извлекать воспроизводимое изображение, хранящееся в кадровой памяти 606.
Теперь опишем обработку генерации сигнала прогнозирования, осуществляемую генератором 607 сигнала прогнозирования. На фиг. 19 показана логическая блок-схема, поясняющая действие генератора 607 сигнала прогнозирования. Генератор 607 сигнала прогнозирования вводит информацию, относящуюся к пространственно-частотно-амплитудной характеристике, которая выводится из анализатора 601 данных, и вектор движения каждого конечного блока, подлежащего декодированию (S701). Во втором варианте осуществления информация, относящаяся к пространственно-частотно-амплитудной характеристике, содержит информацию, относящуюся к пространственно-частотно-амплитудной характеристике конечного изображения, подлежащего декодированию.
Затем генератор 607 сигнала прогнозирования вычисляет (S702) коэффициент регулировки амплитуды пространственной частоты на основании информации, относящейся к пространственно-частотно-амплитудной характеристике конечного изображения. Затем генератор 607 сигнала прогнозирования умножает вычисленный коэффициент регулировки амплитуды на пространственную частоту воспроизводимого изображения, хранящегося в кадровой памяти 606, и регулирует пространственно-частотно-амплитудную характеристику воспроизводимого изображения (S703). Генератор 607 сигнала прогнозирования генерирует (S704) сигнал прогнозирования на основании воспроизводимого изображения, пространственно-частотно-амплитудная характеристика которого отрегулирована, и на основании вектора движения. Генератор 607 сигнала прогнозирования выводит (S705) сгенерированный таким образом сигнал прогнозирования на сумматор 604.
Заметим, что во втором варианте осуществления пространственно-частотно-амплитудная характеристика воспроизводимого изображения регулируется, и затем генерируется сигнал прогнозирования, но сигнал прогнозирования можно генерировать в ходе осуществления регулировки.
Теперь опишем действие устройства 610 декодирования движущегося изображения согласно второму варианту осуществления. На фиг. 20 показана логическая блок-схема, поясняющая действие устройства 610 декодирования движущегося изображения. Сжатые данные, содержащие коэффициент преобразования квантования, который представляет собой декодированный дифференциальный сигнал, информацию квантования, данные, относящиеся к вектору движения, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, вводятся (S801) в анализатор 601 данных. Анализатор 601 данных осуществляет обработку энтропийного декодирования и извлекает квантованный коэффициент преобразования квантования, информацию квантования, указывающую значение квантования, вектор движения, связанный с генерацией сигнала прогнозирования, и информацию, относящуюся к пространственно-частотно-амплитудной характеристике, связанные с конечным изображением, подлежащим декодированию (S802). Генератор 607 сигнала прогнозирования генерирует (S803) сигнал прогнозирования на основании вектора движения и информации, относящейся к пространственно-частотно-амплитудной характеристике, извлеченных анализатором 601 данных. Эта конфигурация подробно описана со ссылкой на фиг. 19.
Затем обратный квантователь 602 подвергает обратному квантованию коэффициент преобразования, квантованный устройством 130 кодирования движущегося изображения, и генерирует коэффициент преобразования, подвергнутый обратному квантованию (S804). Коэффициент преобразования, подвергнутый обратному квантованию, подвергается обработке обратного дискретного косинусного преобразования инвертером 603, в результате чего генерируется (S805) воспроизводимый дифференциальный сигнал. Сумматор 604 суммирует сгенерированный таким образом воспроизводимый дифференциальный сигнал и сигнал прогнозирования, сгенерированный на этапе S803, в результате чего генерируется (S806) воспроизводимое изображение. Сгенерированное воспроизводимое изображение временно сохраняется в кадровой памяти 606 в качестве опорного изображения для использования при декодировании следующего изображения (S807). Эта обработка продолжается, пока не будут декодированы (S808) все данные.
Заметим, что второй вариант осуществления не ограничивается конфигурацией, в которой определенное изображение выражается одним элементом данных пространственно-частотно-амплитудной характеристики, и один элемент данных, относящийся к пространственно-частотно-амплитудной характеристике, принимается для одного из совокупности изображений. Информация, относящаяся к пространственно-частотно-амплитудной характеристике, может приниматься отдельно для каждого блока, полученного делением изображения. В этом случае сигнал прогнозирования генерируется на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, каждого блока.
Теперь опишем программу кодирования движущегося изображения, предписывающую компьютеру действовать в качестве устройства 130 кодирования движущегося изображения согласно второму варианту осуществления. На фиг. 21 показана конфигурация программы 51 кодирования движущегося изображения согласно второму варианту осуществления совместно с носителем записи 50P. Примеры носителя записи 50P включают в себя, например, флоппи-диск, CD-ROM, DVD и ПЗУ, полупроводниковую память и пр. Компьютер может работать в качестве устройства 130 кодирования движущегося изображения согласно второму варианту осуществления под управлением программы 51P кодирования движущегося изображения.
Согласно фиг. 21 программа 51P кодирования движущегося изображения имеет модуль 500P ввода изображения, модуль 501P анализа изображения /вычисления отношения пространственно-частотно-амплитудных характеристик, модуль 502P генерации сигнала прогнозирования, модуль 503P генерации дифференциального сигнала, модуль преобразования 504P, модуль квантования 505P, модуль обратного квантования 506P, модуль инверсии 507P, модуль суммирования 508P, модуль памяти 509P и модуль энтропийного кодирования 510P.
Применительно к устройству 130 кодирования движущегося изображения, показанному на фиг. 13, клемма ввода 100 соответствует модулю ввода изображения 500P, анализатор 101 пространственной частоты - модулю 501P анализа изображения /вычисления отношения пространственно-частотно-амплитудных характеристик, генератор 102 сигнала прогнозирования - модулю 502P генерации сигнала прогнозирования, дифференциальный блок 103 - модулю 503P генерации дифференциального сигнала, преобразователь 104 - модулю преобразования 504P, квантователь 105 - модулю квантования 505P, обратный квантователь 106 - модулю обратного квантования 506P, инвертер 107 - модулю инверсии 507P, сумматор 108 - модулю суммирования 508P, кадровая память 109 - модулю памяти 509P и энтропийный кодер 120 - модулю энтропийного кодирования 510P, и эти компоненты призваны взаимодействовать с описанной ниже компьютерной системой для выполнения такой же обработки, как вышеупомянутая обработка кодирования.
Теперь опишем программу декодирования 91P движущегося изображения, предписывающую компьютеру действовать в качестве устройства 610 декодирования движущегося изображения согласно второму варианту осуществления. На фиг. 22 показана конфигурация программы 91P декодирования движущегося изображения согласно второму варианту осуществления совместно с носителем записи 90P. Компьютер может работать в качестве устройства 610 декодирования движущегося изображения согласно второму варианту осуществления под управлением программы 91P декодирования движущегося изображения.
Согласно фиг. 22 программа 91P декодирования движущегося изображения имеет модуль 900P ввода сжатых данных, модуль энтропийного декодирования 901P, модуль 902P генерации сигнала прогнозирования, модуль обратного квантования 903P, модуль инверсии 904P, модуль суммирования 905P и модуль памяти 906P.
Применительно к устройству 610 декодирования движущегося изображения, показанному на фиг. 18, клемма ввода 600 соответствует модулю 900P ввода сжатых данных, анализатор 601 данных - модулю энтропийного декодирования 901P, генератор 607 сигнала прогнозирования - модулю 902P генерации сигнала прогнозирования, обратный квантователь 602 - модулю обратного квантования 903P, инвертер 603 - модулю 904P обратного преобразования квантования, сумматор 604 - модулю суммирования 905P и кадровая память 606 - модулю памяти 906P, и эти компоненты призваны взаимодействовать с описанной ниже компьютерной системой для выполнения такой же обработки, как вышеупомянутая обработка декодирования.
Согласно фиг. 11 компьютер 30 имеет устройство чтения 31, например устройство привода флоппи-диска, устройство привода CD-ROM и устройство привода DVD, рабочую память (ОЗУ) 32, в которой загружена операционная система, память 33 для хранения программ, хранящихся на носителях записи, дисплей 34, мышь 35 и клавиатуру 36, служащие устройствами ввода, устройство связи 37 для осуществления передачи/приема данных и ЦП 38, который осуществляет общее управление выполнением программ. Когда носитель записи вставлен в устройство чтения 31, компьютер 30 может обращаться к программе 51P кодирования движущегося изображения или программе 91P декодирования движущегося изображения, хранящимся на носителе записи, через устройство чтения 31, и может действовать 130 в качестве устройства кодирования движущегося изображения или устройства 610 декодирования движущегося изображения согласно второму варианту осуществления под управлением программы 51P кодирования движущегося изображения или программы 91P декодирования движущегося изображения.
Согласно фиг. 11 программа 51P кодирования движущегося изображения или программа 91P декодирования движущегося изображения может обеспечиваться через сеть в виде сигнала 40 компьютерных данных, которым модулируется несущая волна. В этом случае в памяти 33 компьютера 30 может храниться программа 51P кодирования движущегося изображения или программа 91P декодирования движущегося изображения, принятая устройством связи 37, и он может выполнять программу 51P кодирования движущегося изображения или программу 91P декодирования движущегося изображения.
Теперь опишем преимущества вышеупомянутых устройства 130 кодирования движущегося изображения и устройства 610 декодирования движущегося изображения.
Устройство 130 кодирования движущегося изображения вводит конечное изображение, подлежащее кодированию, через клемму ввода 100, из совокупности изображений, составляющих движущееся изображение. С другой стороны, в кадровой памяти 109 сохраняется опорное изображение, которое используется для генерации сигнала прогнозирования для конечного изображения, введенного через клемму ввода 100. Затем анализатор 101 пространственной частоты генерирует информацию, относящуюся к пространственно-частотно-амплитудной характеристике, для регулировки разности между амплитудой пространственно-частотного компонента введенного конечного изображения и амплитудой пространственно-частотного компонента опорного изображения, хранящегося в кадровой памяти 109, на основании амплитуды пространственно-частотного компонента конечного изображения и амплитуды пространственно-частотного компонента опорного изображения, каковая информация представляет собой, например, информацию, содержащую отношение амплитуд.
Амплитуда пространственно-частотного компонента опорного изображения регулируется на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, сгенерированной анализатором 101 пространственной частоты, и генератор 102 сигнала прогнозирования генерирует сигнал прогнозирования для конечного изображения на основании отрегулированного опорного изображения. Дифференциальный блок 103 генерирует дифференциальный сигнал на основании разности между введенным конечным изображением и сгенерированным сигналом прогнозирования. Преобразователь 104 и квантователь 105 кодируют сгенерированный дифференциальный сигнал и генерируют кодированный дифференциальный сигнал. С другой стороны, обратный квантователь 106 и инвертер 107 декодируют сгенерированный кодированный дифференциальный сигнал и генерируют декодированный дифференциальный сигнал.
Сумматор 108 суммирует декодированные дифференциальные сигналы и сигнал прогнозирования для генерации воспроизводимого изображения и сохраняет воспроизводимое изображение в кадровой памяти 109 в качестве опорного изображения. С другой стороны, энтропийный кодер 120 осуществляет энтропийное кодирование на кодированном дифференциальном сигнале и информации, относящейся к пространственно-частотно-амплитудной характеристике, и выводит полученные таким образом результаты.
Соответственно, пространственно-частотно-амплитудная характеристика конечного изображения оказывается практически равной пространственно-частотно-амплитудной характеристике сигнала прогнозирования конечного изображения, и избыток и недостаток пространственно-частотных компонентов опорного изображения не влияют на сигнал прогнозирования, что позволяет эффективно осуществлять сжатие.
Кроме того, устройство 130 кодирования движущегося изображения имеет в анализаторе 101 пространственной частоты блок внешнего ввода 204, который может вводить извне информацию, необходимую для генерации информации, относящейся к пространственно-частотно-амплитудной характеристике, для обеспечения возможности генерации информации, относящейся к пространственно-частотно-амплитудной характеристике, на основании введенной информации. Поэтому параметр регулировки, задаваемый на основании меры оценки всего видео, можно вводить извне, что позволяет генерировать коэффициент регулировки амплитуды на основании всего видео и более эффективно осуществлять кодирование.
Кроме того, устройство 130 кодирования движущегося изображения предписывает блоку 203 хранения коэффициентов регулировки амплитуды сохранять параметр регулировки, заданный согласно пространственно-частотным компонентам, и может регулировать информацию, относящуюся к пространственно-частотно-амплитудной характеристике, на основании сохраненного параметра регулировки, чтобы иметь возможность осуществлять более эффективное кодирование.
Кроме того, устройство 610 декодирования движущегося изображения заранее сохраняет воспроизводимое изображение для использования при декодировании в кадровой памяти 606. Затем 610 устройство декодирования движущегося изображения вводит кодированный дифференциальный сигнал, полученный путем кодирования с прогнозированием движущегося изображения, и кодированные данные, которые содержат информацию, относящуюся к пространственно-частотно-амплитудной характеристике, изображений, через клемму ввода 600. Анализатор 601 данных извлекает информацию, относящуюся к пространственно-частотно-амплитудной характеристике, и кодированный дифференциальный сигнал из введенных кодированных данных, а генератор 607 сигнала прогнозирования регулирует амплитуду воспроизводимого изображения, сохраненного в средстве хранения, на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, извлеченной анализатором 601 данных, и генерирует сигнал прогнозирования.
Кроме того, обратный квантователь 602 и инвертер 603 декодируют извлеченный кодированный дифференциальный сигнал для генерации декодированного дифференциального сигнала, и сумматор 604 суммирует сигнал прогнозирования и декодированные дифференциальные сигналы для генерации воспроизводимого изображения. Сгенерированное воспроизводимое изображение выводится на клемму вывода 605 и затем сохраняется в кадровой памяти 606.
Соответственно, пространственно-частотно-амплитудная характеристика конечного изображения оказывается практически равной пространственно-частотно-амплитудной характеристике сигнала прогнозирования, что позволяет эффективно декодировать сжатые кодированные данные.
Кроме того, устройство 610 декодирования движущегося изображения может генерировать сигнал прогнозирования на основании информации, относящейся к пространственно-частотно-амплитудной характеристике, отрегулированной вышеупомянутым устройством 130 кодирования движущегося изображения, и параметра регулировки, и может эффективно декодировать кодированные данные.
В вышеописанных первом варианте осуществления и втором варианте осуществления полосы или амплитуды пространственно-частотных компонентов используются в качестве частотных характеристик, но это не предполагает никакого ограничения. В частности, можно использовать параметры, представляющие электрическую мощность, контрастность и другие частотные характеристики, или можно использовать информацию для регулировки отношения полос или амплитуды пространственно-частотного компонента, информацию для регулировки частотных характеристик конечного изображения и опорного изображения и информацию для регулировки частотных характеристик, в которых используется, например, электрическая мощность или контрастность.