(57)【要約】【課題】多視点画像の符号化における符号化効率を改善する。【解決手段】特徴量生成部４１は、視点の異なる画像間の相関を示す特徴量を生成する。参照インデックス割り当て部４５は、特徴量に基づいて、視点の異なる画像間の相関を利用する視差予測の参照ピクチャと時間方向の画像間の相関を利用する時間予測の参照ピクチャに対する参照インデックスの割り当てを行う。例えば、特徴量に基づいて相関が予め設定した閾値より低いと判別した場合に、参照インデックスの割り当てを変更して、視差予測の参照ピクチャに割り当てる参照インデックスを、時間予測の参照ピクチャに付け替える。【選択図】        図３
2012023652.tif 000002
【特許請求の範囲】
【請求項１】
視点の異なる画像間の相関を示す特徴量を生成する特徴量生成部と、
前記特徴量生成部により生成された特徴量に基づいて前記相関が予め設定した閾値より低いと判別した場合に、前記視点の異なる画像間の相関を利用する視差予測の参照ピクチャに割り当てる参照インデックスを、時間方向の画像間の相関を利用する時間予測の参照ピクチャに付け替える参照インデックス割り当て部と
を有する画像処理装置。
【請求項２】
前記特徴量生成部は、ＧＯＰの先頭ピクチャの符号化処理に基づいて前記特徴量の生成を行い、
前記参照インデックス割り当て部は、前記ＧＯＰ内の前記先頭ピクチャに続く後続ピクチャに対して、前記特徴量に基づいた前記参照インデックスの割り当てを行う請求項１記載の画像処理装置。
【請求項３】
前記特徴量生成部は、ＧＯＰの先頭ピクチャの符号化処理において、視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値、画像内におけるイントラマクロブロックの割合、符号化対象ピクチャと視点の異なる参照ピクチャとの画像の複雑度の比の少なくともいずれかを算出して前記特徴量とする
請求項２記載の画像処理装置。
【請求項４】
前記参照インデックス割り当て部は、前記相関が予め設定した閾値より低いと判別した場合、時間方向に近接した非参照ピクチャを参照ピクチャとしたＧＯＰ構造とする
請求項２記載の画像処理装置。
【請求項５】
前記特徴量生成部は、動き検出によって動きベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値を算出して前記特徴量として、
前記参照インデックス割り当て部は、前記特徴量の算出に用いたピクチャに続く後続ピクチャに対して、前記特徴量に基づいた前記参照インデックスの割り当てを行う請求項１記載の画像処理装置。
【請求項６】
視点の異なる画像間の相関を示す特徴量を生成する特徴量生成工程と、
前記特徴量生成工程で生成された特徴量に基づいて前記相関が予め設定した閾値より低いと判別した場合に、前記視点の異なる画像間の相関を利用する視差予測の参照ピクチャに割り当てる参照インデックスを、時間方向の画像間の相関を利用する時間予測の参照ピクチャに付け替える参照インデックス割り当て工程と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置と画像処理方法に関する。詳しくは、多視点画像の符号化における符号化効率を改善することを目的とする。
【背景技術】
【０００２】
近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。さらに、ＭＰＥＧ２といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現できるＨ．２６４およびＭＰＥＧ−４  Ｐａｒｔ１０  （以下「Ｈ．２６４／ＡＶＣ(Advanced Video Coding)」と記す）という画像符号化方式が標準化されている。
【０００４】
このような画像符号化方式では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行っている。例えば、空間的な冗長性の削減を目的とした画面内予測符号化を行うＩピクチャでは、画素間の相関を利用して予測画像の生成が行われている。また、時間的な冗長性の削減を目的とする画面間予測符号化を行うＰピクチャでは、前方の画像を参照してブロック単位で動きベクトルを検出して、検出した動きベクトルを用いて予測画像の生成が行われている。さらに、Ｂピクチャでは、前方や後方のピクチャを参照してブロック単位で動きベクトルを検出して、検出した動きベクトルを用いて予測画像の生成が行われている。なお、Ｂピクチャにおいて、１枚目の参照ピクチャをＬ０予測の参照ピクチャ、２枚目の参照ピクチャをＬ１予測の参照ピクチャと呼ぶ。
【０００５】
Ｈ．２６４／ＡＶＣ方式は、既に符号化した複数のピクチャから参照ピクチャを選択することができるようになされている。また、選択された参照ピクチャは、参照インデックスで管理されている。参照インデックスは、検出した動きベクトルがどのピクチャを参照した動きベクトルであるかを示す情報と用いられて、検出した動きベクトルを示す情報とともに符号化される。
【０００６】
参照インデックスは、０以上の値が設定される。また、参照インデックスは、値が小さいほど符号化後の情報量（符号量）が少ない。さらに、参照ピクチャへの参照インデックスの割り当ては、自由に設定することができる。そのため、参照される動きベクトルの本数が多い参照ピクチャに番号の小さい参照インデックスを割り当てることで、参照インデックスを符号化したときの符号量を少なくして、符号化効率を向上させることが可能となる。
【０００７】
また、特許文献１では、インタレース走査方式の２Ｄ画像に対してフィールド符号化を行う場合、符号化対象ピクチャとの時間的な距離が近い参照ピクチャに、小さい値の参照インデックスを割り当てることが行われている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−６３０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、フレームシーケンシャル(ＦＳ:Frame Sequential）−ＡＶＣやマルチビュービデオ符号化（ＭＶＣ:Multiview Video Coding）では、時間方向の画像間での相関を利用する時間予測だけでなく、視点の異なる画像間での相関を利用する視差予測が行われる。
【００１０】
図１は、従来の参照インデックス割り当て方法、例えば２視点の動画像データをＭＶＣで符号化するときの参照インデックス割り当て方法を示している。なお、Ｃａｍ０は左目画像の画像データ、Ｃａｍ１は右目画像の画像データとする。Ｃａｍ１の画像データは、Ｃａｍ０の画像データを参照ピクチャの画像データとして用いて符号化を行うディペンデントビュー（Dependent View）の画像データとする。また、ディペンデントビューの画像データを符号化するときに参照されるＣａｍ０の画像データを、ベースビュー（Base View）の画像データという。
【００１１】
また、Ｃａｍ１の画像データにおけるＰピクチャは、例えば実線の矢印で示すように時間予測で参照するＣａｍ１のＰピクチャと、点線の矢印で示すように視差予測で参照するＣａｍ０のＩピクチャやＰピクチャを参照ピクチャとする。参照ピクチャは、参照インデックスｒｅｆ＿ｉｄｘという番号で管理されており、０以上の値が割り当てられる。例えば、時間予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝０、視差予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝１が割り当てられる。
【００１２】
また、視点の異なる画像間で相関が著しく低下する場合、参照ピクチャに対して図１に示すように参照インデックスを割り当てて、複数画像の参照を行うようにしても、実質的に単一の画像を参照した場合と同等の性能しか得られない。すなわち、左目画像と右目画像の相関が著しく低いとき、視点の異なる画像を用いた予測方法は効率が悪いことから、参照インデックスｒｅｆ＿ｉｄｘ＝１の視差予測は非効率である。したがって、参照インデックスｒｅｆ＿ｉｄｘ＝０の時間予測のみが行われるようになり、実質的に単一の画像を参照した場合と同等の性能しか得られない。
【００１３】
そこで、この発明では、多視点画像の符号化における符号化効率を改善できる画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
この発明の第１の側面は、視点の異なる画像間の相関を示す特徴量を生成する特徴量生成部と、前記特徴量生成部により生成された特徴量に基づいて前記相関が予め設定した閾値より低いと判別した場合に、前記視点の異なる画像間の相関を利用する視差予測の参照ピクチャに割り当てる参照インデックスを、時間方向の画像間の相関を利用する時間予測の参照ピクチャに付け替える参照インデックス割り当て部とを有する画像処理装置にある。
【００１５】
この発明においては、特徴量生成部によって、視点の異なる画像間の相関を示す特徴量、例えばＧＯＰの先頭ピクチャの符号化処理において、視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値、画像内におけるイントラマクロブロックの割合、符号化対象ピクチャと視点の異なる参照ピクチャとの画像の複雑度の比の少なくともいずれかが特徴量として算出される。この特徴量に基づいて、視点の異なる画像間の相関を利用する視差予測の参照ピクチャと時間方向の画像間の相関を利用する時間予測の参照ピクチャに対する参照インデックスの割り当てが行われる。例えば、相関が予め設定した閾値より低いと判別した場合に、参照インデックスの割り当てを変更して、視差予測の参照ピクチャに割り当てる参照インデックスが、時間予測の参照ピクチャに付け替えられる。また、相関が予め設定した閾値より低いと判別した場合に、時間方向に近接した非参照ピクチャを参照ピクチャとするＧＯＰ構造への変更が行われる。
【００１６】
この発明の第２の側面は、視点の異なる画像間の相関を示す特徴量を生成する特徴量生成工程と、前記特徴量生成工程で生成された特徴量に基づいて前記相関が予め設定した閾値より低いと判別した場合に、前記視点の異なる画像間の相関を利用する視差予測の参照ピクチャに割り当てる参照インデックスを、時間方向の画像間の相関を利用する時間予測の参照ピクチャに付け替える参照インデックス割り当て工程とを具備する画像処理方法にある。
【発明の効果】
【００１７】
この発明によれば、視点の異なる画像間の相関を示す特徴量が生成されて、この特徴量に基づいて、相関が予め設定した閾値より低いと判別した場合に、視点の異なる画像間の相関を利用する視差予測の参照ピクチャに割り当てる参照インデックスが、時間方向の画像間の相関を利用する時間予測の参照ピクチャに付け替えられる。したがって、多視点画像の符号化において、視点の異なる画像間での相関が低い場合の符号化効率を改善できる。
【図面の簡単な説明】
【００１８】
【図１】従来の参照インデックス割り当て方法を説明するための図である。
【図２】符号化システムの構成例を示す図である。
【図３】画像処理装置の構成を示す図である。
【図４】画像処理装置の動作を示すフローチャートである。
【図５】相関が低い場合の参照インデックス割り当て方法を示す図である。
【図６】Ｂピクチャを含む場合の参照インデックス割り当て方法を示す図である。
【図７】ＧＯＰ構造の変更を行った場合の動作を説明するための図である。
【図８】コンピュータ装置の構成を示す図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．符号化システムの構成例
２．画像処理装置の構成例
３．参照インデックスの割り当て動作
４．ソフトウェア処理で画像符号化を行う場合の構成
【００２０】
＜１．符号化システムの構成例＞
図２は、本発明を適用した符号化システムの構成例を示す図である。符号化システム１０は、左視点画像生成装置１１Ｌ、右視点画像生成装置１１Ｒ、および多視点符号化装置２０を有している。
【００２１】
左視点画像生成装置１１Ｌは、左目画像の画像データを生成する撮像装置や画像データ生成装置である。右視点画像生成装置１１Ｒは、右目画像を生成する撮像装置や画像データ生成装置である。左視点画像生成装置１１Ｌと右視点画像生成装置１１Ｒは、同期して動作を行う。
【００２２】
多視点符号化装置２０には、左視点画像生成装置１１Ｌで生成された左目画像の画像データと、右視点画像生成装置１１Ｒで生成された右目画像の画像データが入力される。多視点符号化装置２０は、左目画像の画像データの符号化と右目画像の画像データの符号化を行い、得られた符号化データを多重化して、１つのビットストリームとして出力する。
【００２３】
多視点符号化装置２０は、例えば左視点画像生成装置１１Ｌから入力される左目画像の画像データを、ベースビューの画像データとして符号化する画像処理装置を有している。また、多視点符号化装置２０は、例えば右視点画像生成装置１１Ｒから入力される右目画像の画像データを、ディペンデントビューの画像データとして符号化する本発明の画像処理装置を有している。なお、ベースビューの画像データは、他視点の画像を参照ピクチャとして用いることなく時間予測を行い、ディペンデントビューの画像データは、時間予測とベースビューの画像を参照ピクチャとして用いる視差予測を行う。
【００２４】
＜２．画像処理装置の構成＞
次に、本発明の画像処理装置について説明する。なお、本発明の画像処理装置では、左目画像と右目画像の画像データが独立しており、ディペンデントビューの画像データの符号化を行う画像処理装置は、ベースビューの画像データを符号化する画像処理装置から、視差予測に用いる参照ピクチャの画像データ等を取得する場合を説明する。
【００２５】
ディペンデントビューの画像データを符号化する画像処理装置は、視点の異なる画面間すなわちディペンデントビューの画像と参照ピクチャとして用いるベースビューの画像との相関に応じた特徴量を生成する。さらに、生成した特徴量に基づいて、視点の異なる画像間の相関を利用する視差予測の参照ピクチャと時間方向の画像間の相関を利用する時間予測の参照ピクチャに対する参照インデックスの割り当てを行う。
【００２６】
図３は、ディペンデントビューの画像データを符号化する画像処理装置である画像符号化装置２０ｄｖの構成を示している。画像符号化装置２０ｄｖは、アナログ／ディジタル変換部（Ａ／Ｄ変換部）２１、画面並び替えバッファ２２、減算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、蓄積バッファ２７、レート制御部２８を備えている。また、画像符号化装置２０ｄｖは、逆量子化部３１、逆直交変換部３２、加算部３３、デブロッキングフィルタ３４、フレームメモリ３５を有している。さらに画像符号化装置２０ｄｖは、参照インデックス割り当て部４５、イントラ予測部５１、動き・視差予測補償部５２、予測画像・最適モード選択部５３を備えている。
【００２７】
Ａ／Ｄ変換部２１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ２２に出力する。
【００２８】
画面並べ替えバッファ２２は、Ａ／Ｄ変換部２１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ２２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部２３とイントラ予測部５１と動き・視差予測補償部５２に出力する。
【００２９】
減算部２３には、画面並べ替えバッファ２２から出力された画像データと、後述する予測画像・最適モード選択部５３で選択された予測画像データが供給される。減算部２３は、画面並べ替えバッファ２２から出力された画像データと予測画像・最適モード選択部５３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部２４に出力する。
【００３０】
直交変換部２４は、減算部２３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部２４は、直交変換処理を行うことにより得られた変換係数データを量子化部２５に出力する。
【００３１】
量子化部２５には、直交変換部２４から出力された変換係数データと、後述するレート制御部２８からレート制御信号が供給されている。量子化部２５は変換係数データの量子化を行い、量子化データを可逆符号化部２６と逆量子化部３１に出力する。また、量子化部２５は、レート制御部２８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【００３２】
可逆符号化部２６には、量子化部２５から出力された量子化データと、後述するイントラ予測部５１と動き・視差予測補償部５２および予測画像・最適モード選択部５３から予測モード情報が供給される。なお、予測モード情報には、符号化対象ピクチャのブロックサイズを示すマクロブロックタイプ、予測モード、参照インデックス等が含まれる。可逆符号化部２６は、量子化データに対して例えば可変長符号化または算術符号化等により符号化処理を行い、符号化ストリームを生成して蓄積バッファ２７に出力する。また、可逆符号化部２６は、予測モード情報を可逆符号化して、符号化ストリームの例えばヘッダ情報に付加する。
【００３３】
蓄積バッファ２７は、可逆符号化部２６からの符号化ストリームを蓄積する。また、蓄積バッファ２７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００３４】
レート制御部２８は、蓄積バッファ２７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部２５に出力する。レート制御部２８は、例えば蓄積バッファ２７から空き容量を示す情報を取得する。レート制御部２８は空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部２８は蓄積バッファ２７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。
【００３５】
逆量子化部３１は、量子化部２５から供給された量子化データの逆量子化処理を行う。逆量子化部３１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部３２に出力する。
【００３６】
逆直交変換部３２は、逆量子化部３１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部３３に出力する。
【００３７】
加算部３３は、逆直交変換部３２から供給されたデータと予測画像・最適モード選択部５３から供給された予測画像データを加算して参照ピクチャの画像データを生成して、この画像データをデブロッキングフィルタ３４とイントラ予測部５１に出力する。
【００３８】
デブロッキングフィルタ３４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ３４は、加算部３３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ３５に出力する。
【００３９】
フレームメモリ３５は、デブロッキングフィルタ３４から供給されたフィルタ処理後の画像データと、ベースビューの符号化を行う画像符号化装置２０ｂｖから供給された参照ピクチャの画像データを保持する。
【００４０】
特徴量生成部４１は、特徴量の生成を行う。特徴量は、ディペンデントビューの画像データを符号化する場合、視点の異なる画像間で相関が低いか判別するための情報である。特徴量生成部４１は、例えばＧＯＰ内の先頭ピクチャの符号化処理を行うときに得られた情報から特徴量を生成する。特徴量生成部４１は、特徴量として例えば視差ベクトルを検出したときの符号化対象ピクチャのブロック（符号化対象ブロック）と参照ピクチャのブロック（参照ブロック）との誤差の画像内における合計値（例えばＳＡＤ：Sum of Absolute Differences）を用いる。また、特徴量生成部４１は、特徴量として例えば画像内におけるイントラマクロブロックの割合または符号化対象ピクチャと視点の異なる参照ピクチャとの画像の複雑度の比等を用いてもよい。
【００４１】
特徴量として符号化対象ブロックと参照ブロックとの誤差を用いる場合、特徴量生成部４１は、後述する動き・視差予測補償部５２において算出されている誤差を画像内で合計して特徴量とする。
【００４２】
特徴量としてイントラマクロブロックの割合を用いる場合、特徴量生成部４１は、後述する予測画像・最適モード選択部５３において視差予測における最適モードがイントラ予測であると判別されたマクロブロックの画像内における割合を算出して特徴量とする。
【００４３】
特徴量として符号化済みのピクチャの複雑度の比を用いる場合、特徴量生成部４１は、ＧＯＰの符号化済みである先頭ピクチャの複雑度を算出して、算出した複雑度の比を特徴量とする。すなわち、特徴量生成部４１は、Ｉピクチャ（Ｉbv1）とＰピクチャ（Ｐdv1）の複雑度Ｘi，Ｘpを例えば式（１）〜（２）に基づいて算出して、算出した複雑度の比（Ｘi／Ｘp）を特徴量とする。
Ｘi＝ＳiＱi        ・・・（１）
Ｘp＝ＳpＱp        ・・・（２）
【００４４】
式（１）において、ＸiはＩピクチャの複雑度、ＳiはＩピクチャの発生符号量、ＱiはＩピクチャの符号化時における平均量子化スケールコード（量子化パラメータ）である。同様に、式（２）において、ＸpはＰピクチャの複雑度、ＳpはＰピクチャの発生符号量、ＱpはＰピクチャの符号化時における平均量子化スケールコード（量子化パラメータ）である。
【００４５】
このように、特徴量生成部４１は、符号化対象ブロックと参照ブロックとの誤差の画像内における合計値、画像内におけるイントラマクロブロックの割合、符号化対象ピクチャと視点の異なる参照ピクチャとの画像の複雑度の比の少なくともいずれかを特徴量として、生成した特徴量を参照インデックス割り当て部４５に出力する。
【００４６】
参照インデックス割り当て部４５は、特徴量生成部４１で生成された特徴量に基づいて、視差予測の参照ピクチャと時間予測の参照ピクチャに対する参照インデックスの割り当て方法を決定する。例えば、参照インデックス割り当て部４５は、ＧＯＰ内の先頭ピクチャの符号化処理を行うときに得られた情報から特徴量が生成される場合、ＧＯＰ内の後続ピクチャ（先頭ピクチャを除く他のピクチャ）における参照インデックスの割り当て方法を決定する。参照インデックス割り当て部４５は、決定した割り当て方法で、フレームメモリ３５に記憶されている参照ピクチャに対して参照インデックスの割り当てを行う。
【００４７】
参照インデックス割り当て部４５は、特徴量として符号化対象ブロックと参照ブロックとの誤差の合計値が生成されている場合、合計値が予め設定されている閾値よりも大きいときは、相関が低いと判別する。また、参照インデックス割り当て部４５は、特徴量としてイントラマクロブロックの割合が生成されている場合、割合が予め設定されている閾値よりも大きいときは相関が低いと判別する。また、参照インデックス割り当て部４５は、特徴量として複雑度の比が生成されて場合、複雑度の比（Ｘi／Ｘp）が予め設定されている閾値よりも小さいときは、相関が低いと判別する。
【００４８】
参照インデックス割り当て部４５は、相関が予め設定した閾値より低いと判別した場合に、参照インデックスの割り当てを変更して、視差予測の参照ピクチャに割り当てる参照インデックスを、時間予測の参照ピクチャに付け替える。
【００４９】
イントラ予測部５１は、画面並べ替えバッファ２２から出力された符号化対象ピクチャの画像データと加算部３３から供給された画像データを用いて、候補となるすべてのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部５１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部５１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、イントラ予測部５１は、コスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部２６に出力する。なお、コスト関数値の算出としては、例えばＪＭ（Joint Model）と呼ばれるＨ．２６４ＡＶＣの参照ソフトウェアに実装されている方法を挙げることができる。
【００５０】
動き・視差予測補償部５２は、符号化対象ブロックのブロックサイズ毎に動き・視差予測補償処理を行う。動き・視差予測補償部５２は、画面並べ替えバッファ２２から読み出された画像における各符号化対象ブロックの画像毎に、フレームメモリ３５から読み出されたデブロックフィルタ処理後の画像データを用いて動きベクトル、ベースビューの画像データを用いて視差ベクトルをそれぞれ検出する。さらに、動き・視差予測補償部５２は、検出したベクトルに基づいて参照ピクチャの補償処理を施して予測画像を生成する。
【００５１】
また、動き・視差予測補償部５２は、符号化対象ピクチャのブロックサイズおよび参照ピクチャ毎にコスト関数値を算出して、コスト関数値が最小となるブロックサイズと参照ピクチャを、最適インター予測モードとして選択する。動き・視差予測補償部５２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、動き・視差予測補償部５２は、コスト関数値の算出で用いる発生符号量を得るため、各ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部２６に出力する。さらに、動き・視差予測補償部５２は、特徴量生成部４１において特徴量として符号化対象ブロックと参照ブロックとの誤差の合計値を生成する場合、符号化対象ブロック毎に、視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差を算出して、特徴量生成部４１に出力する。
【００５２】
予測画像・最適モード選択部５３は、イントラ予測部５１から供給されたコスト関数値と動き・視差予測補償部５２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部５３は、最適モードで生成した予測画像データを減算部２３と加算部３３に出力する。さらに、予測画像・最適モード選択部５３は、最適モードの予測モード情報（マクロブロックタイプ、予測モード、参照インデックス等）を可逆符号化部２６に出力する。さらに、予測画像・最適モード選択部５３は、特徴量生成部４１において特徴量としてイントラマクロブロックの割合を生成する場合、符号化対象ピクチャにおいて、イントラ予測モードを選択したマクロブロックの情報を特徴量生成部４１に出力する。
【００５３】
＜３．画像処理装置の動作＞
図４は、画像符号化装置２０ｄｖの動作を示すフローチャートである。ステップＳＴ１で画像符号化装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像符号化装置２０ｄｖは、符号化対象ピクチャがディペンデントビューのピクチャである場合ステップＳＴ２に進み、ベースビューのピクチャである場合はステップＳＴ９に進む。
【００５４】
ステップＳＴ２で画像符号化装置２０ｄｖは、符号化対象ピクチャがＧＯＰの先頭であるか判別する。画像符号化装置２０ｄｖは、符号化対象ピクチャが先頭ピクチャであるときステップＳＴ３に進む。また、画像符号化装置２０ｄｖは、ＧＯＰ内の後続ピクチャであるときステップＳＴ６に進む。
【００５５】
ステップＳＴ３で画像符号化装置２０ｄｖは、符号化対象ピクチャの符号化処理を行いステップＳＴ４に進む。また、符号化処理において、参照インデックス割り当て部４５は、予め設定されている割り当て方法で参照インデックスを設定する。
【００５６】
ステップＳＴ４で画像符号化装置２０ｄｖは、特徴量を生成する。画像符号化装置２０ｄｖの特徴量生成部４１は、先頭ピクチャの符号化処理を行うときに得られた情報から特徴量を生成してステップＳＴ５に進む。例えば、特徴量生成部４１は、視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値、または画像内におけるイントラマクロブロックの割合、あるいは画像の複雑度の比等を特徴量として生成する。
【００５７】
ステップＳＴ５で画像符号化装置２０ｄｖは、参照インデックス割り当て方法を決定する。画像符号化装置２０ｄｖの参照インデックス割り当て部４５は、ステップＳＴ４で生成した特徴量に基づき、後続ピクチャの符号化処理における参照インデックスの割り当て方法を決定する。参照インデックス割り当て部４５は、特徴量に基づきディペンデントビューとベースビューとの画面間の相関が低いと判別したとき、視野予測に対して割り当てる参照インデックスを時間予測の他の参照ピクチャに割り当てる割り当て方法とする。参照インデックス割り当て部４５は、例えば特徴量として符号化対象ブロックと参照ブロックとの誤差の画像内における合計値が生成されている場合、合計値が予め設定されている閾値よりも大きいとき相関が低いと判別する。また、参照インデックス割り当て部４５は、例えば特徴量として画像内のイントラマクロブロックの割合が生成されている場合、割合が予め設定されている閾値よりも大きいとき相関が低いと判別する。また、参照インデックス割り当て部４５は、例えば特徴量として画像内のイントラマクロブロックの割合が生成されている場合、割合が予め設定されている閾値よりも大きいとき相関が低いと判別する。さらに、参照インデックス割り当て部４５は、特徴量として複雑度の比が用いられている場合、複雑度の比が予め設定されている閾値よりも小さいとき相関が低いと判別する。参照インデックス割り当て部４５は、相関が低いと判別したとき、後続ピクチャでは、視野予測に対して割り当てる参照インデックスを時間予測の他の参照ピクチャに割り当てる方法とする。
【００５８】
ステップＳＴ２で符号化対象ピクチャがＧＯＰの先頭でないと判別されてステップＳＴ６に進むと、画像符号化装置２０ｄｖは、割り当て方法の変更が必要か判別する。画像符号化装置２０ｄｖは、ＧＯＰの先頭ピクチャに対して予め設定されている割り当て方法と、ステップＳＴ５で決定した後続ピクチャに対する割り当て方法が異なる場合にステップＳＴ７に進み、等しい場合にステップＳＴ８に進む。
【００５９】
ステップＳＴ７で画像符号化装置２０ｄｖは、ＲＰＬＲ（Reference Picture List Reordering）コマンドの発行を行う。画像符号化装置２０ｄｖの参照インデックス割り当て部４５は、後続ピクチャに対して参照インデックスの割り当てを変更しても、画像復号化装置で参照インデックスに基づき正しい参照ピクチャを用いることができるようにＲＰＬＲコマンドの発行を行う。すなわち、参照インデックス割り当て部４５は、シンタックス要素であるＲＬＰＲを可逆符号化部２６に供給して、画像データの符号化ストリームの例えばヘッダに含めてステップＳＴ８に進む。
【００６０】
ステップＳＴ８で画像符号化装置２０ｄｖは、符号化対象ピクチャの符号化処理を行う。また、符号化処理において、参照インデックス割り当て部４５は、ステップＳＴ５で決定された後続ピクチャに対する割り当て方法で参照インデックスを設定する。
【００６１】
ステップＳＴ１で符号化対象ピクチャがディペンデントビューのピクチャでないと判別されてステップＳＴ９に進むと、画像符号化装置２０ｄｖは、予め設定されている割り当て方法で参照インデックスを割り当てて符号化処理を行う。
【００６２】
このような処理を符号化対象ピクチャ毎に行うと、ＧＯＰの先頭ピクチャでディペンデントビューとベースビューとの画像間の相関が低いと判別された場合は、視差予測の参照ピクチャに割り当てる参照インデックスが時間予測の他の参照ピクチャに付け替えられる。
【００６３】
図５は、ディペンデントビューとベースビューの画像間の相関が低い場合の参照インデックス割り当て方法を示している。ＧＯＰの後続ピクチャでは、先頭ピクチャによってディペンデントビューとベースビューの画像間の相関が低いと判別された場合、参照インデックスの割り当て方法を変更する。例えば１フレーム前の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝０、２フレーム前の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。したがって、図５に示す場合、Ｃａｍ１（ディペンデントビュー）の画像データにおける例えばＰピクチャ（Ｐdv3）の符号化処理において、視差予測の参照ピクチャであるＣａｍ０（ベースビュー）の画像データのＰピクチャ（Ｐbv3）に対して割り当てる参照インデックスｒｅｆ＿ｉｄｘ＝１は、ディペンデントビューのＰピクチャ（Ｐdv1）に付け替えられる。
【００６４】
このように、特徴量に基づいて、視差予測の参照ピクチャと時間予測の参照ピクチャに対する参照インデックスの割り当てを行うことで、画像間の相関が低いと判別された場合、参照インデックスの割り当て方法が変更されて、相関の低い視差の異なるベースピクチャが参照ピクチャとして用いられることがない。さらに、時間予測において複数の参照ピクチャから符号化効率の高い参照ピクチャを選択して符号化を行うことができるので、多視点画像の符号化における符号化効率を改善できる。
【００６５】
ところで、図５では、ディペンデントビューのＧＯＰがＩピクチャとＰピクチャで構成されている場合を示したが、Ｂピクチャが含まれているＧＯＰ構造でも同様に、相関が低いと判別された場合は、参照インデックスの割り当てを変更する。
【００６６】
図６は、ＧＯＰがＢピクチャを含む場合の参照インデックス割り当て方法を示している。なお、図６の（Ａ）は割り当て変更前、図６の（Ｂ）は割り当て変更後を示している。
【００６７】
Ｃａｍ１の画像データにおけるＢピクチャは、例えばＬ０予測（ＬＩＳＴ＿０）において、前方向予測で参照するＣａｍ１のＰピクチャと視差予測で参照するＣａｍ０の画像データにおけるＢｓピクチャのいずれかを参照ピクチャとする。また、Ｂピクチャは、例えばＬ１予測（ＬＩＳＴ＿１）において、後方向予測で参照するＣａｍ１のＰピクチャを参照ピクチャとする。さらに、ＬＩＳＴ＿Ｘ（Ｘは０または１）で使用可能なピクチャは、上述のように参照インデックスｒｅｆ＿ｉｄｘで管理されている。なお、図６の（Ａ）では、時間予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝０、視差予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝１を割り当てた場合を例示している。
【００６８】
ＧＯＰの先頭ピクチャでディペンデントビューとベースビューとの画像間の相関が低いと判別された場合、参照インデックス割り当て部４５は、図６の（Ｂ）に示すように、参照インデックスの付け替えを行う。参照インデックス割り当て部４５は、例えばＢピクチャ（Ｂdv4）の符号化処理において、視差予測の参照ピクチャであるＢｓピクチャ（Ｂｓbv4）に対して割り当てている参照インデックスｒｅｆ＿ｉｄｘ＝１を、ディペンデントビューのＰピクチャ（Ｐdv1）に付け替える。
【００６９】
このように、ＧＯＰの先頭ピクチャでディペンデントビューとベースビューとの画像間の相関が低いと判別された場合、参照インデックスの割り当て方法が変更されて、Ｂピクチャの符号化処理においても、相関の低い視差の異なるベースピクチャが参照ピクチャとして用いられることがない。また、時間予測において複数の参照ピクチャから符号化効率の高い参照ピクチャを選択して符号化を行うことができるので、多視点画像の符号化における符号化効率を改善できる。
【００７０】
また、上述の実施の形態では、ＧＯＰの先頭ピクチャを用いてディペンデントビューとベースビューとの画像間の相関を判別した。しかし、特徴量として符号化対象ブロックと参照ブロックとの誤差の合計値を用いる場合、ＧＯＰの途中でも画像間の相関が低いか判別できる。したがって、特徴量に基づきＧＯＰの途中で画像間の相関が低いと判別されたとき、参照インデックスの割り当て方法を変更することもできる。
【００７１】
また、上述の実施の形態では、画像間の相関が低いと判別された場合、参照インデックスの割り当て方法を変更しているが、ＧＯＰ構造の変更もあわせて行うことで、多視点画像の符号化における符号化効率を改善できる。
【００７２】
図６の（Ｂ）に示すように参照インデックスを付け替えた場合、ディペンデントビューのＰピクチャ（Ｐdv1）は、Ｂピクチャ（Ｂdv4）から時間的に離れている。そこで、ＧＯＰの先頭ピクチャでディペンデントビューとベースビューとの画像間の相関が低いと判別された場合、ＧＯＰ構造の変更も行い、符号化対象ピクチャと時間的に近接した非参照ピクチャを参照ピクチャとして参照インデックスを割り当てることができるようにする。
【００７３】
図７は、ＧＯＰ構造の変更を行った場合を示している。なお、図７の（Ａ）は、割り当て変更前、図７の（Ｂ），（Ｃ）は割り当ての変更とＧＯＰ構造の変更を行った場合を示している。
【００７４】
図７の（Ａ）では、時間予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝０、視差予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝１を割り当てた場合を例示している。
【００７５】
ＧＯＰの先頭ピクチャでディペンデントビューとベースビューとの画像間の相関が低いと判別された場合は、図７の（Ｂ）に示すように、ＧＯＰ構造の変更を行い例えば非参照ピクチャであるＢピクチャ（Ｂdv2）をＰピクチャ（Ｐdv2）とする。この場合、Ｂピクチャ（Ｂdv4）の符号化処理において、視差予測の参照ピクチャであるＢｓピクチャ（Ｂｓbv4）に対して割り当てている参照インデックスｒｅｆ＿ｉｄｘ＝１を、図６の（Ｂ）の場合よりも時間的に近接しているＰピクチャ（Ｐdv2）に付け替えることができる。なお、図７の（Ｂ）では、Ｂピクチャ（Ｂdv2）をＰピクチャ（Ｐdv2）に変更したが、ＧＯＰ内のＢピクチャを全てＰピクチャとする変更を行うようにしてもよい。
【００７６】
また、ＧＯＰの先頭ピクチャでディペンデントビューとベースビューとの画像間の相関が低いと判別された場合は、図７の（Ｃ）に示すように、ＧＯＰ構造の変更を行い例えば非参照ピクチャであるＢピクチャ（Ｂdv2）を参照可能なＢｓピクチャ（Ｂｓdv2）とする。この場合、Ｂピクチャ（Ｂdv4）の符号化処理において、視差予測の参照ピクチャであるＢｓピクチャ（Ｂｓbv4）に対して割り当てている参照インデックスｒｅｆ＿ｉｄｘ＝１を、図６の（Ｂ）の場合よりも時間的に近接しているＢｓピクチャ（Ｂｓdv2）に付け替えることができる。
【００７７】
このように、ＧＯＰの先頭ピクチャでディペンデントビューとベースビューとの画像間の相関が低いと判別された場合、ＧＯＰ構造の変更を行い時間方向に近接したピクチャに参照インデックスを割り当てる。すなわち、時間方向に近接しているＢピクチャを、ＰピクチャやＢｓピクチャとすることで、符号化対象ピクチャから参照可能とする。このようにＧＯＰ構造の変更を行えば、時間方向に近接したピクチャを参照ピクチャとして符号化を行うことができるので、ＧＯＰ構造の変更を行わない場合に比べて予測精度を高めることが可能となる。したがって多視点画像の符号化における符号化効率を改善できる。
【００７８】
なお、視点の異なる画像が例えばフレーム単位で切り替えられるＦＳ−ＡＶＣの画像データを符号化する場合、特徴量生成部４１は、入力された画像データから抽出した他視点の画像データを用いて特徴量の生成を行う。また、フレームメモリ３５には、入力された画像データから抽出した他視点の画像データ、または他視点の画像データの符号化によって生成された参照ピクチャの画像データを記憶させる。このような処理を行うことで、ＦＳ−ＡＶＣの画像データの符号化も可能である。
【００７９】
＜４．ソフトウェア処理で画像符号化を行う場合の構成＞
さらに、画像処理装置は、上述した一連の処理をプログラムにより実行するコンピュータ装置であってもよい。
【００８０】
図８は、上述した一連の処理をプログラムにより実行するコンピュータ装置の構成を例示した図である。コンピュータ装置６０のＣＰＵ(Central Processing Unit)６１は、ＲＯＭ(Read Only Memory)６２、または記録部６８に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。
【００８１】
ＲＡＭ(Random Access Memory)６３には、ＣＰＵ６１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３は、バス６４により相互に接続されている。
【００８２】
ＣＰＵ６１にはまた、バス６４を介して入出力インターフェース６５が接続されている。入出力インターフェース６５には、タッチパネルやキーボード、マウス、マイクロフォンなどの入力部６６、ディスプレイなどよりなる出力部６７が接続されている。ＣＰＵ６１は、入力部６６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ６１は、処理の結果を出力部６７に出力する。
【００８３】
入出力インターフェース６５に接続されている記録部６８は、例えばハードディスクやＳＳＤ（Solid State Drive）からなり、ＣＰＵ６１が実行するコンピュータ・プログラムや各種のデータを記録する。通信部６９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置６０は、通信部６９を介してコンピュータ・プログラムを取得し、ＲＯＭ６２や記録部６８に記録してもよい。
【００８４】
ドライブ７０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア７２が装着されたとき、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてＲＯＭ６２やＲＡＭ６３または記録部６８に転送される。
【００８５】
ＣＰＵ６１は、上述した一連の処理を行うコンピュータ・プログラムを読み出して実行して、記録部６８やリムーバブルメディア７２に記録されている多視点画像の画像データや、通信部６９を介して供給された多視点画像の画像データに対する符号化処理を行う。
【００８６】
なお、本発明は、上述した実施の形態に限定して解釈されるべきではない。例えば多視点画像は左目画像と右目画像の２つの画像に限らず、３視点以上の画像であってもよい。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【００８７】
この発明の画像処理装置と画像処理方法では、視点の異なる画像間の相関を示す特徴量が生成されて、この特徴量に基づいて、相関が予め設定した閾値より低いと判別した場合に、視点の異なる画像間の相関を利用する視差予測の参照ピクチャに割り当てる参照インデックスが、時間方向の画像間の相関を利用する時間予測の参照ピクチャに付け替えられる。したがって、多視点画像の符号化において、視点の異なる画像間での相関が低い場合の符号化効率を改善できる。このため、多視点画像の生成および符号化を行う撮像装置や、多視点画像の編集や符号化を行う編集装置、多視点画像の符号化を行って記録媒体に記録する記録装置等に適用できる。
【符号の説明】
【００８８】
１０・・・符号化システム、１１Ｌ・・・左視点画像生成装置、１１Ｒ・・・右視点画像生成装置、２０・・・多視点符号化装置、２０ｂｖ，２０ｄｖ・・・画像符号化装置、２１・・・Ａ／Ｄ変換部、２２・・・画面並べ替えバッファ、２３・・・減算部、２４・・・直交変換部、２５・・・量子化部、２６・・・可逆符号化部、２７・・・蓄積バッファ、２８・・・レート制御部、３１・・・逆量子化部、３２・・・逆直交変換部、３３・・・加算部、３４・・・デブロッキングフィルタ、３５・・・フレームメモリ、４１・・・特徴量生成部、４５・・・参照インデックス割り当て部、５１・・・イントラ予測部、５２・・・動き・視差予測補償部、５３・・・予測画像・最適モード選択部、６０・・・コンピュータ装置、６１・・・ＣＰＵ(Central Processing Unit)、６２・・・ＲＯＭ(Read Only Memory)、６３・・・ＲＡＭ(Random Access Memory)、６４・・・バス、６５・・・入出力インターフェース、６６・・・入力部、６７・・・出力部、６８・・・記録部、６９・・・通信部、７０・・・ドライブ、７２・・・リムーバブルメディア
【図１】
2012023652.tif 000003
【図２】
2012023652.tif 000004
【図３】
2012023652.tif 000005
【図４】
2012023652.tif 000006
【図５】
2012023652.tif 000007
【図６】
2012023652.tif 000008
【図７】
2012023652.tif 000009
【図８】
2012023652.tif 000010