(57)【要約】      （修正有）【課題】局所的に異なるダイナミックレンジを補正したＳＤＲ画像とＨＤＲ原画とにスケーラビリティを持たせて符号化する動画符号化方式において、ＨＤＲ画像に対する符号化効率を向上させるための技術を提供する。【解決手段】前フレームのＨＤＲ画像に対して動き補償を行い、その画像から低周波画像を生成し、復号されたＳＤＲ画像と生成した低周波画像から、現フレームのＨＤＲ画像を復元できるようにハイダイナミックレンジの動画を符号化する。【選択図】図１
2011019126.tif 000002
【特許請求の範囲】
【請求項１】
フレームごとのハイダイナミックレンジの画像を、入力ＨＤＲ画像として取得する手段と、
前記入力ＨＤＲ画像から入力低周波画像を生成する手段と、
前記入力ＨＤＲ画像と、前記入力低周波画像と、を用いて、前記入力ＨＤＲ画像のダイナミックレンジを圧縮した入力ＳＤＲ画像を生成する手段と、
前記入力ＳＤＲ画像を符号化することで、再構築ＳＤＲ画像、動きベクトル情報、ＳＤＲストリーム、を生成する手段と、
１フレーム前に生成された再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、再伸張ＨＤＲ画像を生成する生成手段と、
前記入力ＨＤＲ画像と、前記再伸張ＨＤＲ画像と、を用いて、ＨＤＲ差分画像を生成する手段と、
前記ＨＤＲ差分画像を符号化することで、ＨＤＲ差分情報ストリームと、再構築ＨＤＲ差分画像と、を生成する手段と、
前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、を用いて、再構築ＨＤＲ画像を生成する手段と、
前記動きベクトル情報と、１フレーム前の前記再構築ＨＤＲ画像と、を用いて動き補償ＨＤＲ画像を生成する手段と、
前記動き補償ＨＤＲ画像から、前記生成手段が次のフレームで用いる再構築低周波画像を生成する手段と、
前記ＳＤＲストリームと、前記ＨＤＲ差分情報ストリームと、を複合して送出する送出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力低周波画像は、前記入力ＨＤＲ画像に対してガウシアンカーネルによる畳み込み積分を行うことで生成されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力ＳＤＲ画像Ｓｉｎ（ｘ、ｙ）は、前記入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）と、前記入力低周波画像Ｌｉｎ（ｘ、ｙ）と、を用いて次の式
2011019126.tif 000007
に従った計算処理を行うことで生成されることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力ＳＤＲ画像の符号化は、Ｈ．２６４符号化形式に従った符号化であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）は、１フレーム前に生成された再構築低周波画像Ｌｒｅｃ（ｘ、ｙ）と、前記再構築ＳＤＲ画像Ｓｒｅｃ（ｘ、ｙ）と、を用いて次の式
2011019126.tif 000008
に従った計算処理を行うことで生成されることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記ＨＤＲ差分画像ｅ（ｘ、ｙ）は、前記入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）と、前記再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）と、を用いて、次の式
2011019126.tif 000009
に従った計算処理を行うことで生成されることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記ＨＤＲ差分画像の符号化は、ＪＰＥＧ２０００形式に従った符号化であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）は、前記再構築ＨＤＲ差分画像ｅ’（ｘ、ｙ）と、前記再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）と、を用いて、次の式
2011019126.tif 000010
に従った計算処理を行うことで生成されることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記動き補償ＨＤＲ画像の生成では、動きベクトルの参照画像のフレーム番号と再構築ＨＤＲ画像のフレーム番号は同一であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
請求項１乃至９の何れか１項に記載の画像処理装置によって符号化された画像を復号する画像処理装置であって、
前記送出手段により送出された複合情報を、ＨＤＲ差分情報ストリームと、ＳＤＲストリームとに分離する分離手段と、
前記分離手段により分離されたＳＤＲストリームを復号し、再構築ＳＤＲ画像、動きベクトル情報を生成する手段と、
１フレーム前の再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、ダイナミックレンジを拡大した再伸張ＨＤＲ画像を生成する第２の生成手段と、
前記分離手段により分離されたＨＤＲ差分情報ストリームを復号し、再構築ＨＤＲ差分画像を生成する手段と、
前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、を用いて、再構築ＨＤＲ画像Ｈを生成する手段と、
前記動きベクトル情報と、１フレーム前の再構築ＨＤＲ画像と、を用いて動き補償ＨＤＲ画像を生成する手段と、
前記動き補償ＨＤＲ画像から、前記第２の生成手段が次のフレームで用いる再構築低周波画像を生成する手段と
を備えることを特徴とする画像処理装置。
【請求項１１】
フレームごとのハイダイナミックレンジの画像を、入力ＨＤＲ画像として取得する工程と、
前記入力ＨＤＲ画像から入力低周波画像を生成する工程と、
前記入力ＨＤＲ画像と、前記入力低周波画像と、を用いて、前記入力ＨＤＲ画像のダイナミックレンジを圧縮した入力ＳＤＲ画像を生成する工程と、
前記入力ＳＤＲ画像を符号化することで、再構築ＳＤＲ画像、動きベクトル情報、ＳＤＲストリーム、を生成する工程と、
１フレーム前に生成された再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、再伸張ＨＤＲ画像を生成する生成工程と、
前記入力ＨＤＲ画像と、前記再伸張ＨＤＲ画像と、を用いて、ＨＤＲ差分画像を生成する工程と、
前記ＨＤＲ差分画像を符号化することで、ＨＤＲ差分情報ストリームと、再構築ＨＤＲ差分画像と、を生成する工程と、
前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、を用いて、再構築ＨＤＲ画像を生成する工程と、
前記動きベクトル情報と、１フレーム前の前記再構築ＨＤＲ画像と、を用いて動き補償ＨＤＲ画像を生成する工程と、
前記動き補償ＨＤＲ画像から、前記生成工程で次のフレームで用いる再構築低周波画像を生成する工程と、
前記ＳＤＲストリームと、前記ＨＤＲ差分情報ストリームと、を複合して送出する送出工程と
を備えることを特徴とする画像処理方法。
【請求項１２】
請求項１乃至９の何れか１項に記載の画像処理装置によって符号化された画像を復号する画像処理装置が行う画像処理方法であって、
前記送出工程で送出された複合情報を、ＨＤＲ差分情報ストリームと、ＳＤＲストリームとに分離する分離工程と、
前記分離工程で分離されたＳＤＲストリームを復号し、再構築ＳＤＲ画像、動きベクトル情報を生成する工程と、
１フレーム前の再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、ダイナミックレンジを拡大した再伸張ＨＤＲ画像を生成する第２の生成工程と、
前記分離工程で分離されたＨＤＲ差分情報ストリームを復号し、再構築ＨＤＲ差分画像を生成する工程と、
前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、を用いて、再構築ＨＤＲ画像Ｈを生成する工程と、
前記動きベクトル情報と、１フレーム前の再構築ＨＤＲ画像と、を用いて動き補償ＨＤＲ画像を生成する工程と、
前記動き補償ＨＤＲ画像から、前記第２の生成工程で次のフレームで用いる再構築低周波画像を生成する工程と
を備えることを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＤＲ（ハイダイナミックレンジ）の動画を符号化する技術に関するものである。
【背景技術】
【０００２】
ＨＤＲ画像の符号化処理に関しては、従来製品との互換性という観点から、ＳＤＲ（標準ダイナミックレンジ）符号化方式と互換性を持たせることが望ましい。このような符号化方式には、非特許文献１に開示されている方式等がある。
【０００３】
非特許文献１に開示されている方式によれば、ＨＤＲ画像を低周波画像とＳＤＲ画像とに分離し、ＳＤＲ画像の符号化には従来と互換性のある符号化方式を用い、低周波画像には、Ｗａｖｅｌｅｔを用いたフレーム内符号化処理を行っている。ＳＤＲ画像は、ＨＤＲ画像にローパスフィルタを施した低周波画像において明るい領域ではＳＤＲ画像の画素値が暗くなるように、低周波画像の暗い領域ではＳＤＲ画像の画素値が明るくなるようにして、生成する。即ち、局所的に異なるダイナミックレンジ補正処理を行っている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Rafal Mantiuk, Alexander Efremov, Karol Myszkowski, Hans-Peter Seidel. Backward Compatible High Dynamic Range MPEG Video Compression. In: Proc. of SIGGRAPH '06 (Special issue of ACM Transactions on Graphics), 25 (3), pp. 713-723, 2006 (project page)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
低周波画像を用いて局所的に異なるダイナミックレンジを補正したＳＤＲ画像とＨＤＲ原画とにスケーラビリティを持たせて符号化する動画符号化方式において、低周波画像とＳＤＲ画像を個々に符号化するだけでは、十分な符号化効率が得られない。
【０００６】
本発明は以上の問題に鑑みて成されたものであり、ＨＤＲ画像に対する符号化効率を向上させるための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、フレームごとのハイダイナミックレンジの画像を、入力ＨＤＲ画像として取得する手段と、前記入力ＨＤＲ画像から入力低周波画像を生成する手段と、前記入力ＨＤＲ画像と、前記入力低周波画像と、を用いて、前記入力ＨＤＲ画像のダイナミックレンジを圧縮した入力ＳＤＲ画像を生成する手段と、前記入力ＳＤＲ画像を符号化することで、再構築ＳＤＲ画像、動きベクトル情報、ＳＤＲストリーム、を生成する手段と、１フレーム前に生成された再構築低周波画像と、前記再構築ＳＤＲ画像と、を用いて、再伸張ＨＤＲ画像を生成する生成手段と、前記入力ＨＤＲ画像と、前記再伸張ＨＤＲ画像と、を用いて、ＨＤＲ差分画像を生成する手段と、前記ＨＤＲ差分画像を符号化することで、ＨＤＲ差分情報ストリームと、再構築ＨＤＲ差分画像と、を生成する手段と、前記再構築ＨＤＲ差分画像と、前記再伸張ＨＤＲ画像と、を用いて、再構築ＨＤＲ画像を生成する手段と、前記動きベクトル情報と、１フレーム前の前記再構築ＨＤＲ画像と、を用いて動き補償ＨＤＲ画像を生成する手段と、前記動き補償ＨＤＲ画像から、前記生成手段が次のフレームで用いる再構築低周波画像を生成する手段と、前記ＳＤＲストリームと、前記ＨＤＲ差分情報ストリームと、を複合して送出する送出手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の構成によれば、ＨＤＲ画像に対する符号化効率を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図。
【図２】復号装置の機能構成例を示すブロック図。
【図３】１フレーム分のＨＤＲ画像を符号化する場合に行う処理のフローチャート。
【図４】１フレーム分のＨＤＲ画像を復号する処理のフローチャート。
【図５】コンピュータのハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１１】
［第１の実施形態］
図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。係る画像処理装置は、入力されたＨＤＲ（ハイダイナミックレンジ）画像に対して符号化処理を行うものである。以下では、１フレーム分のＨＤＲ画像を符号化する場合について説明するが、複数フレーム分のＨＤＲ画像が本装置に入力された場合、本装置は、各フレームのＨＤＲ画像について以下に説明する符号化処理を行うことになる。また、以下の説明で登場する「再構築画像」という表現は、ローカルデコードイメージと呼ばれることもある。
【００１２】
図３は、図１に示した構成を有する画像処理装置が１フレーム分のＨＤＲ画像を符号化する場合に行う処理のフローチャートである。以下では、図１，３を用いて、図１に示した各部の動作について説明する。
【００１３】
低周波成分抽出回路１０１は、外部から入力された入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）に対して、ガウシアンカーネルによる畳み込み積分を行い、入力低周波画像Ｌｉｎ（ｘ、ｙ）を生成する（ステップＳ１０１）。ここで、ｘ、ｙは、画像内の各画素の座標を示すものである。
【００１４】
ＳＤＲ変換回路１０２は、低周波成分抽出回路１０１から受けた入力低周波画像Ｌｉｎ（ｘ、ｙ）と、外部から入力された入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）と、を用いて、式１に従った計算処理を行う（ステップＳ１０２）。
【００１５】
【数１】
2011019126.tif 000003
【００１６】
係る計算により得られるＳｉｎ（ｘ、ｙ）は、入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）のダイナミックレンジを圧縮した入力ＳＤＲ画像である。ＳＤＲ符号化回路１０３は、入力ＳＤＲ画像Ｓｉｎ（ｘ、ｙ）を、Ｈ．２６４符号化形式に従って符号化する。そして係る符号化により、再構築ＳＤＲ画像Ｓｒｅｃ（ｘ、ｙ）（Ｄ１０１）、動きベクトル情報Ｄ１０２、ＳＤＲストリームＤ１０３、を生成する（ステップＳ１０３）。
【００１７】
ＨＤＲ変換回路１０５は、低周波成分抽出回路１０６が１フレーム前で生成した再構築低周波画像Ｌｒｅｃ（ｘ、ｙ）と、ＳＤＲ符号化回路１０３が生成した再構築ＳＤＲ画像Ｓｒｅｃ（ｘ、ｙ）と、を用いて式２に従った計算処理を行う（ステップＳ１０５）。
【００１８】
【数２】
2011019126.tif 000004
【００１９】
係る計算により得られるＨｅｘ（ｘ、ｙ）は、再伸張ＨＤＲ画像である。ＨＤＲ差分情報生成回路１１０は、外部から入力された入力ＨＤＲ画像Ｈｉｎ（ｘ、ｙ）と、ＨＤＲ変換回路１０５により生成された再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）と、を用いて、式３に従った計算処理を行う（ステップＳ１０４）。
【００２０】
【数３】
2011019126.tif 000005
【００２１】
係る計算により得られるｅ（ｘ、ｙ）は、ＨＤＲ差分画像である。ＨＤＲ差分情報符号化回路１１１は、ＨＤＲ差分情報生成回路１１０が生成したＨＤＲ差分画像ｅ（ｘ、ｙ）をＪＰＥＧ２０００形式に従って符号化する。係る符号化により、ＨＤＲ差分情報ストリームＤ１０４と、再構築ＨＤＲ差分画像ｅ’（ｘ、ｙ）（Ｄ１０５）と、を生成する（ステップＳ１０４）。
【００２２】
画像合成回路１０８は、ＨＤＲ差分情報符号化回路１１１が生成した再構築ＨＤＲ差分画像ｅ’（ｘ、ｙ）と、再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）と、を用いて式４に従った計算処理を行う（ステップＳ１０６）。
【００２３】
【数４】
2011019126.tif 000006
【００２４】
係る計算により得られるＨｒｅｃ（ｘ、ｙ）は、再構築ＨＤＲ画像である。フレームバッファ１０９は、再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）をバッファリングし、動き補償回路１０７へ出力するフレームを１フレーム分遅らせる。
【００２５】
動き補償回路１０７は、ＳＤＲ符号化回路１０３により生成された動きベクトル情報Ｄ１０２と、フレームバッファ１０９に遅延した再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）と、を用いて動き補償ＨＤＲ画像Ｈｍｃ（ｘ、ｙ）を生成する（ステップＳ１０７）。このとき、動きベクトルの参照画像のフレーム番号と再構築ＨＤＲ画像のフレーム番号は同一となる。
【００２６】
低周波成分抽出回路１０６は、動き補償回路１０７により生成された動き補償ＨＤＲ画像Ｈｍｃ（ｘ、ｙ）から、低周波成分抽出回路１０１と同様の処理でもって、再構築低周波画像Ｌｒｅｃ’（ｘ、ｙ）を生成する（ステップＳ１０８）。この生成された再構築低周波画像Ｌｒｅｃ’（ｘ、ｙ）は、ＨＤＲ変換回路１０５が次のフレームについて処理を行う場合に、ＨＤＲ変換回路１０５に供給するものである。
【００２７】
複合回路１０４は、ＳＤＲ符号化回路１０３により生成されたＳＤＲストリームＤ１０３と、ＨＤＲ差分情報符号化回路１１１が生成したＨＤＲ差分情報ストリームＤ１０４と、を複合して外部に送出する（ステップＳ１０９）。
【００２８】
次に、図１に示した構成を有する装置でもって、図３に示したフローチャートに従った処理でもって符号化されたＨＤＲ画像を復号する装置（復号装置）について説明する。図２は、復号装置の機能構成例を示すブロック図である。また、図４は、復号装置が１フレーム分のＨＤＲ画像を復号する処理のフローチャートである。以下では、図２，４を用いて、図２に示した各部の動作について説明する。
【００２９】
ストリーム分離回路２０１は、複合回路１０４から出力された複合情報を、ＨＤＲ差分情報ストリームＤ１０４と、ＳＤＲストリームＤ１０３とに分離する（ステップＳ２０１）。
【００３０】
ＳＤＲ復号回路２０２は、ストリーム分離回路２０１により分離されたＳＤＲストリームＤ１０３を復号し、再構築ＳＤＲ画像Ｓｒｅｃ（ｘ、ｙ）（Ｄ２０１）、動きベクトル情報Ｄ２０２を生成する（ステップＳ２０２）。ＳＤＲ復号回路２０２は、ＳＤＲ画像を出力することも可能である。
【００３１】
ＨＤＲ変換回路２０３は、低周波成分抽出回路２０４から供給された再構築低周波画像Ｌｒｅｃ（ｘ、ｙ）と、ＳＤＲ復号回路２０２から供給された再構築ＳＤＲ画像Ｓｒｅｃ（ｘ、ｙ）と、を用いて上記式２に従った計算処理を行う（ステップＳ２０４）。係る計算処理により、ダイナミックレンジを拡大した再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）を生成する（第２の生成）。
【００３２】
ＨＤＲ差分情報復号回路２０８は、ストリーム分離回路２０１により分離されたＨＤＲ差分情報ストリームＤ１０４を復号し、再構築ＨＤＲ差分画像ｅ’（ｘ、ｙ）を生成する（ステップＳ２０３）。
【００３３】
画像合成回路２０６は、ＨＤＲ差分情報復号回路２０８により生成された再構築ＨＤＲ差分画像ｅ’（ｘ、ｙ）と、ＨＤＲ変換回路２０３により生成された再伸張ＨＤＲ画像Ｈｅｘ（ｘ、ｙ）と、を用いて上記式４に従った計算処理を行う（ステップＳ２０５）。係る計算により再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）を生成する。そして生成した再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）を、フレームバッファ２０７に送出する。
【００３４】
フレームバッファ１０９は、再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）をバッファリングし、動き補償回路２０５へ出力するフレームを１フレーム分遅らせる。動き補償回路２０５は、ＳＤＲ復号回路２０２により生成された動きベクトル情報Ｄ２０２と、フレームバッファ２０７に遅延した再構築ＨＤＲ画像Ｈｒｅｃ（ｘ、ｙ）と、を用いて動き補償ＨＤＲ画像Ｈｍｃ（ｘ、ｙ）を生成する（ステップＳ２０６）。
【００３５】
低周波成分抽出回路２０４は、動き補償回路２０５により生成された動き補償ＨＤＲ画像Ｈｍｃ（ｘ、ｙ）から、低周波成分抽出回路１０１と同様の処理でもって、再構築低周波画像Ｌ’ｒｅｃ’（ｘ、ｙ）を生成する（ステップＳ２０７）。この生成された再構築低周波画像Ｌ’ｒｅｃ’（ｘ、ｙ）は、ＨＤＲ変換回路２０３が次のフレームについて処理を行う場合に、ＨＤＲ変換回路２０３に供給するものである。
【００３６】
以上説明した処理により、作成される復号ストリームは、ＨＤＲ復元機構を持たないデコーダであっても、ＨＤＲ差分情報ストリーム情報をスキップすることにより、ＳＤＲ画像として復号可能である。また、ＨＤＲ変換に必要な低周波画像を前フレームの再構築ＨＤＲ画像から生成することにより、単純に、低周波画像を個別に符号化する場合として、符号効率が高くなる。とくに、静止シーンでは、符号量がほとんど発生しない。
【００３７】
なお、本実施形態におけるＳＤＲ画像符号化・復号化の為の回路は、Ｈ．２６４，ＭＰＥＧ２などの動き補償を利用した符号化・復号化を行う回路であれば、その種類を問わない。また、本実施形態におけるＨＤＲ差分情報符号化・復号化の方式は、Ｈ．２６４、ＭＰＥＧ２などの方式に加えて、ＪＰＥＧ、ＪＰＥＧ２０００などの静止画符号化方式でもよい。また、本実施形態では、ＳＤＲ変換、ＨＤＲ変換に、式１、式２を用いているが、係る式を用いることに限定するものではない。
【００３８】
また、本実施形態では、低周波成分抽出回路では、低周波成分抽出のためにガウシアンカーネルによる畳み込み積分を行っている。しかし、他のフィルタカーネルによる畳み込み積分に加えて、バイラテラルフィルタなど、単純な畳み込み積分以外の低周波成分抽出処理に置き換えることも可能である。
【００３９】
また、本実施形態では、Ｐフレームのみの処理として説明しているが、Ｂフレーム処理としても実装可能である。その際には、動きベクトル情報の参照フレーム番号と再構築ＨＤＲ画像のフレーム番号が同一となるように動き補償を行うために、フレームバッファに複数の画像を記憶できるような形態をとる。
【００４０】
また、本実施形態では、低周波成分抽出回路１０１と低周波成分抽出回路１０６とは別個の回路しておるが、それぞれに与えるデータが異なるのみで、その動作は同じであるので、これらを１つの回路として設計しても良い。
【００４１】
また、本実施形態では、図１に示した構成は１つの装置の構成としているが、複数の装置から図１に示す構成を有する装置を実現しても良い。これは図２についても同じである。また、本実施形態では、符号化を行う装置（図１）と、復号を行う装置（図２）とは別個の装置であるとしているが、同じ装置内でこれらの装置の機能を実現しても良い。
【００４２】
また、図３，４に示した処理ステップは必ずしもこの順に実行することに限定するものではない。また、これらの処理は何れもフレーム毎の処理として説明したが、スライス単位、ブロック単位、画素単位で処理してもよい。例えば、ステップＳ１０１、Ｓ１０２は画素単位、ステップＳ１０３〜ステップＳ１０９はフレーム単位といったように、全ての処理が同一の処理単位で行われる必要もない。
【００４３】
［第２の実施形態］
図１，２に示したそれぞれの各部は何れもハードウェアでもって構成されているが、フレームバッファ１０９、２０７を除く各部をコンピュータプログラムの形態でもって構成しても良い。
【００４４】
図５は、図１，２に示した各部（フレームバッファ１０９、２０７は除く）をコンピュータプログラムの形態で実現した場合に、このようなコンピュータプログラムを実行するコンピュータのハードウェア構成例を示すブロック図である。
【００４５】
ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いて本コンピュータ全体の制御を行うと共に、図１，２に示した各部の機能を実現する。
【００４６】
ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から受信したデータ、を一時的に記憶するためのエリアを有する。例えば、ＲＡＭ５０２は、上記フレームバッファ１０９，２０７として機能する。更にＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、各種のエリアを適宜提供することができる。
【００４７】
ＲＯＭ５０３には、本コンピュータの設定データやブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。
【００４８】
外部記憶装置５０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１，２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラム、符号化対象のＨＤＲ画像などが保存されている。また、第１の実施形態における説明で既知の情報として説明したものについても、この外部記憶装置５０６に保存されている。外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。
【００４９】
なお、本コンピュータでもって図１に示した構成と図２に示した構成とを実現する場合には、図１に示した構成でもって符号化した結果は、例えばこの外部記憶装置５０６に保存しても良い。
【００５０】
Ｉ／Ｆ５０７は、本コンピュータをネットワークや外部機器に接続するためのものであり、例えば、符号化対象のＨＤＲ画像をこのＩ／Ｆ５０７を介して取得したり、復号済みの画像をこのＩ／Ｆ５０７を介して外部に送出したりしても良い。
【００５１】
５０８は上述の各部を繋ぐバスである。
【００５２】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011019126.tif 000011
【図２】
2011019126.tif 000012
【図３】
2011019126.tif 000013
【図４】
2011019126.tif 000014
【図５】
2011019126.tif 000015