(57)【要約】【課題】画像データの符号化において参照インデックスの符号化効率を高める。【解決手段】特徴量生成部４１-1は、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれかが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量を生成する。参照インデックス割り当て部４５-1は、特徴量に基づき、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスが割り当てる。したがって、参照インデックスの符号量を少なくすることが可能となり、多視点画像の符号化における符号化効率を改善することができる。【選択図】        図３
2012023651.tif 000002
【特許請求の範囲】
【請求項１】
時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量を生成する特徴量生成部と、
前記特徴量生成部により生成された特徴量に基づき前記予測で用いる参照ピクチャに対して参照インデックスの割り当てを行う参照インデックス割り当て部と
を有する画像処理装置。
【請求項２】
前記参照インデックス割り当て部は、前記支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる請求項１記載の画像処理装置。
【請求項３】
前記特徴量生成部は、前記予測によって得られる情報から前記特徴量を生成する請求項２記載の画像処理装置。
【請求項４】
前記特徴量生成部は、画像切り替え位置の検出を行い、検出結果を前記特徴量として用いる請求項３記載の画像処理装置。
【請求項５】
前記特徴量生成部は、符号化対象ピクチャの符号化前に該符号化対象ピクチャと参照ピクチャを用いて動きベクトルと視差ベクトルの検出を行い、該検出されたベクトルまたはベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差から前記特徴量を生成する請求項３記載の画像処理装置。
【請求項６】
前記特徴量生成部は、符号化対象ピクチャの符号化前に行われた画像の符号化における前記予測によって得られている情報から前記特徴量を生成する請求項３記載の画像処理装置。
【請求項７】
前記特徴量生成部は、符号化対象ピクチャと参照ピクチャを用いて検出した動きベクトルと視差ベクトル、該ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差、コスト関数値、参照インデックスの割合を示す統計値のいずれかから前記特徴量を生成する請求項６記載の画像処理装置。
【請求項８】
前記特徴量生成部は、前記画像切り替え位置の検出としてシーンチェンジ検出を行い、検出結果を前記特徴量として用い、
前記参照インデックス割り当て部は、シーンチェンジが検出された場合、視差予測で用いる参照ピクチャに対して、時間予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる請求項４記載の画像処理装置。
【請求項９】
前記特徴量生成部は、前記画像切り替え位置の検出として、多視点画像から他の画像への画像切り替え検出を行い、検出結果を前記特徴量として用い、
前記参照インデックス割り当て部は、多視点画像から他の画像への切り替えが検出された場合、視差予測で用いる参照ピクチャに対して、時間予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる請求項４記載の画像処理装置。
【請求項１０】
前記参照インデックス割り当て部は、Ｌ０予測とＬ１予測のそれぞれで、時間予測と視差予測で用いる参照ピクチャに対して参照インデックスを割り当てる場合、時間予測と視差予測のそれぞれで参照インデックスを等しくする請求項２記載の画像処理装置。
【請求項１１】
時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量を生成する特徴量生成工程と、
前記特徴量生成工程で生成された特徴量に基づき前記予測で用いる参照ピクチャに対して参照インデックスの割り当てを行う参照インデックス割り当て工程と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置と画像処理方法に関する。詳しくは、多視点画像の符号化における符号化効率を改善することを目的とする。
【背景技術】
【０００２】
近年、画像情報をディジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。さらに、ＭＰＥＧ２といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現できるＨ．２６４およびＭＰＥＧ−４  Ｐａｒｔ１０  （以下「Ｈ．２６４／ＡＶＣ(Advanced Video Coding)」と記す）という画像符号化方式が標準化されている。
【０００４】
このような画像符号化方式では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行っている。例えば、空間的な冗長性の削減を目的とした画面内予測符号化を行うＩピクチャでは、画素間の相関を利用して予測画像の生成が行われている。また、時間的な冗長性の削減を目的とする画面間予測符号化を行うＰピクチャでは、前方の画像を参照してブロック単位で動きベクトルを検出して、検出した動きベクトルを用いて予測画像の生成が行われている。さらに、Ｂピクチャでは、前方や後方のピクチャを参照してブロック単位で動きベクトルを検出して、検出した動きベクトルを用いて予測画像の生成が行われている。なお、Ｂピクチャにおいて、１枚目の参照ピクチャをＬ０予測の参照ピクチャ、２枚目の参照ピクチャをＬ１予測の参照ピクチャと呼ぶ。
【０００５】
Ｈ．２６４／ＡＶＣ方式は、既に符号化した複数のピクチャから参照ピクチャを選択することができるようになされている。また、選択された参照ピクチャは、参照インデックスで管理されている。参照インデックスは、検出した動きベクトルがどのピクチャを参照した動きベクトルであるかを示す情報と用いられて、検出した動きベクトルを示す情報とともに符号化される。
【０００６】
参照インデックスは、０以上の値が設定される。また、参照インデックスは、値が小さいほど符号化後の情報量（符号量）が少ない。さらに、参照ピクチャへの参照インデックスの割り当ては、自由に設定することができる。そのため、参照される動きベクトルの本数が多い参照ピクチャに番号の小さい参照インデックスを割り当てることで、参照インデックスを符号化したときの符号量を少なくして、符号化効率を向上させることが可能となる。
【０００７】
また、特許文献１では、インタレース走査方式の２Ｄ画像に対してフィールド符号化を行う場合、符号化対象ピクチャとの時間的な距離が近い参照ピクチャに、小さい値の参照インデックスを割り当てることが行われている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−６３０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、フレームシーケンシャル(ＦＳ:Frame Sequential）−ＡＶＣやマルチビュービデオ符号化（ＭＶＣ:Multiview Video Coding）では、時間方向の画像間での相関を利用する時間予測だけでなく、視点の異なる画像間での相関を利用する視差予測が行われる。
【００１０】
図１は、例えば３視点の動画像データを符号化する場合の予測の参照関係を示している。なお、Ｃａｍ０は左側からの視点の画像データ、Ｃａｍ１は中央の視点の画像データ、Ｃａｍ２は右側からの視点の画像データとする。また、Ｃａｍ１の画像データは、Ｃａｍ０およびＣａｍ２の画像データを参照ピクチャの画像データとして用いて符号化を行うディペンデントビュー（Dependent View）の画像データとする。さらに、ディペンデントビューの画像データを符号化するときに参照される画像データを、ベースビュー（Base View）の画像データという。
【００１１】
また、Ｃａｍ１の画像データにおけるＢピクチャは、例えばＬ０予測（Ｌｉｓｔ＿０）において、一点鎖線の矢印で示すように前方向予測で参照するＣａｍ１のＰピクチャと視差予測で参照するＣａｍ０のＢｓピクチャのいずれかを参照ピクチャとする。また、Ｂピクチャは、例えばＬ１予測（ＬＩＳＴ＿１）において、点線の矢印で示すように後方向予測で参照するＣａｍ１のＰピクチャと視差予測で参照するＣａｍ２のＢｓピクチャのいずれかを参照ピクチャとする。
【００１２】
ＬＩＳＴ＿Ｘ（Ｘは０または１）で使用可能な２枚のピクチャは、参照インデックスｒｅｆ＿ｉｄｘという番号で管理されており、０以上の値が割り当てられる。また、参照インデックスｒｅｆ＿ｉｄｘは、可変長符号化されて符号化後の画像データに含められる。なお、図１では、時間予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝０、視差予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝１を割り当てた場合を例示している。また、参照インデックスｒｅｆ＿ｉｄｘの可変長符号化では、例えば参照インデックスｒｅｆ＿ｉｄｘ＝１よりも参照インデックスｒｅｆ＿ｉｄｘ＝０の符号長が短くされている。
【００１３】
このような参照インデックスの割り当ては、通常、シーケンス全体にわたって割り当てが固定とされている。したがって、ディペンデントビューであるＣａｍ１の画像データの符号化において、符号長の長い参照インデックスの参照ピクチャが多く用いられると、参照インデックスの情報量が多くなって高い符号化効率を得ることができない。
【００１４】
そこで、この発明では、多視点画像の符号化における符号化効率を改善できる画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
この発明の第１の側面は、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量を生成する特徴量生成部と、前記特徴量生成部により生成された特徴量に基づき前記予測で用いる参照ピクチャに対して参照インデックスの割り当てを行う参照インデックス割り当て部とを有する画像処理装置にある。
【００１６】
この発明においては、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量が、予測により得られる情報例えば動きベクトルや視差ベクトルまたは符号化対象ブロックと参照ブロックとの誤差から生成される。この特徴量に基づき、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスが割り当てられる。また、画像切り替え位置の検出、例えばシーンチェンジ検出や多視点画像から他の画像への画像切り替え検出が行われて、シーンチェンジが検出された場合や、多視点画像から他の画像への切り替えが検出された場合、視差予測で用いる参照ピクチャに対して、時間予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスが割り当てられる。さらに、Ｌ０予測とＬ１予測のそれぞれで、時間予測と視差予測で用いる参照ピクチャに対して参照インデックスを割り当てる場合、時間予測と視差予測のそれぞれで等しい参照インデックスが割り当てられる。
【００１７】
この発明の第２の側面は、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量を生成する特徴量生成工程と、前記特徴量生成工程で生成した特徴量に基づき前記予測で用いる参照ピクチャに対して参照インデックスの割り当てを行う参照インデックス割り当て工程とを具備する画像処理方法にある。
【発明の効果】
【００１８】
この発明によれば、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量が生成されて、この特徴量に基づき、予測で用いる参照ピクチャに対して参照インデックスの割り当てが行われる。例えば、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスが割り当てられる。したがって、参照インデックスの符号量を少なくすることが可能となり、多視点画像の符号化における符号化効率を改善することができる。
【図面の簡単な説明】
【００１９】
【図１】３視点の動画像データを符号化する場合の予測の参照関係を示した図である。
【図２】符号化システムの構成例を示す図である。
【図３】第１の実施の形態の構成を示す図である。
【図４】第１の実施の形態の動作を示すフローチャートである。
【図５】第２の実施の形態の構成を示す図である。
【図６】特徴量として複雑度を用いる場合を示す図である。
【図７】第２の実施の形態の動作を示すフローチャートである。
【図８】第３の実施の形態の構成を示す図である。
【図９】第３の実施の形態の動作を示すフローチャートである。
【図１０】第４の実施の形態の構成を示す図である。
【図１１】第４の実施の形態の動作を示すフローチャートである。
【図１２】コンピュータ装置の構成を示す図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態について説明する。なお、説明は以下の順で行う。
１．符号化システムの構成例
２．第１の実施の形態（プレ処理で特徴量を生成する場合）
３．第２の実施の形態（フィードバック情報を特徴量として用いる場合）
４．第３の実施の形態（シーンチェンジ検出結果を特徴量として用いる場合）
５．第４の実施の形態（２Ｄ画像の検出結果を特徴量として用いる場合）
６．第５の実施の形態（双方向予測を考慮した場合）
７．ソフトウェア処理で画像符号化を行う場合の構成
【００２１】
＜１．符号化システムの構成例＞
図２は、本発明を適用した符号化システムの構成例を示す図である。符号化システム１０は、左視点画像生成装置１１Ｌ、右視点画像生成装置１１Ｒ、中央視点画像生成装置１１Ｃ、および多視点符号化装置２０を有している。
【００２２】
左視点画像生成装置１１Ｌは、左視点画像の画像データを生成する撮像装置や画像データ生成装置である。右視点画像生成装置１１Ｒは、右視点画像を生成する撮像装置や画像データ生成装置である。中央視点画像生成装置１１Ｃは、中央視点画像を生成する撮像装置や画像データ生成装置である。左視点画像生成装置１１Ｌと右視点画像生成装置１１Ｒと中央視点画像生成装置１１Ｃは、同期して動作を行う。
【００２３】
多視点符号化装置２０には、左視点画像生成装置１１Ｌで生成された左視点画像の画像データと、右視点画像生成装置１１Ｒで生成された右視点画像の画像データと中央視点画像生成装置１１Ｃで生成された中央視点画像が入力される。多視点符号化装置２０は、左視点画像の画像データと右視点画像の画像データと中央視点画像の画像データの符号化を行い、得られた符号化データを多重化して、１つのビットストリームとして出力する。
【００２４】
多視点符号化装置２０は、例えば左視点画像生成装置１１Ｌから入力される左視点画像の画像データを、ベースビューの画像データとして符号化する画像処理装置を有している。また、多視点符号化装置２０は、例えば右視点画像生成装置１１Ｒから入力される右視点画像の画像データを、ベースビューの画像データとして符号化する画像処理装置を有している。さらに、多視点符号化装置２０は、例えば中央視点画像生成装置１１Ｃから入力される中央視点画像の画像データを、ディペンデントビューの画像データとして符号化する本発明の画像処理装置を有している。なお、ベースビューの画像データは、他視点の画像を参照ピクチャとして用いることなく時間予測を行い、ディペンデントビューの画像データは、時間予測とベースビューの画像を参照ピクチャとして用いる視差予測を行う。
【００２５】
＜２．第１の実施の形態＞
次に、本発明の画像処理装置について説明する。なお、本実施の形態および後述する他の実施の形態では、各視点の画像データが独立しており、ディペンデントビューの画像データの符号化を行う画像処理装置は、ベースビューの画像データを符号化する画像処理装置から、視差予測に用いる参照ピクチャの画像データ等を取得する場合を説明する。
【００２６】
第１の実施の形態では、ディペンデントビューの画像データを符号化する場合、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像内で支配的であるかを判別する場合に判別基準として用いる特徴量を生成する。さらに、生成した特徴量に基づき参照インデックスの割り当てを決定する。また、第１の実施の形態では、符号化対象ピクチャに対するプレ処理を行って特徴量を生成する場合を示している。
【００２７】
［第１の実施の形態の構成］
図３は、第１の実施の形態の構成を示している。画像符号化装置２０ｄｖ-1は、ディペンデントビューの画像データの符号化を行う画像処理装置である。画像符号化装置２０ｄｖ-1は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ２２、減算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、蓄積バッファ２７、レート制御部２８を備えている。また、画像符号化装置２０ｄｖ-1は、逆量子化部３１、逆直交変換部３２、加算部３３、デブロッキングフィルタ３４、フレームメモリ３５を有している。さらに画像符号化装置２０ｄｖ-1は、特徴量生成部４１-1、参照インデックス割り当て部４５-1、イントラ予測部５１、動き・視差予測補償部５２、予測画像・最適モード選択部５３を備えている。
【００２８】
Ａ／Ｄ変換部２１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ２２に出力する。
【００２９】
画面並べ替えバッファ２２は、Ａ／Ｄ変換部２１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ２２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部２３と特徴量生成部４１-1とイントラ予測部５１および動き・視差予測補償部５２に出力する。
【００３０】
減算部２３には、画面並べ替えバッファ２２から出力された画像データと、後述する予測画像・最適モード選択部５３で選択された予測画像データが供給される。減算部２３は、画面並べ替えバッファ２２から出力された画像データと予測画像・最適モード選択部５３から供給された予測画像データとの差分を示す予測誤差データを算出して、直交変換部２４に出力する。
【００３１】
直交変換部２４は、減算部２３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部２４は、直交変換処理を行うことにより得られた変換係数データを量子化部２５に出力する。
【００３２】
量子化部２５には、直交変換部２４から出力された変換係数データと、後述するレート制御部２８からレート制御信号が供給されている。量子化部２５は変換係数データの量子化を行い、量子化データを可逆符号化部２６と逆量子化部３１に出力する。また、量子化部２５は、レート制御部２８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【００３３】
可逆符号化部２６には、量子化部２５から出力された量子化データと、後述するイントラ予測部５１と動き・視差予測補償部５２および予測画像・最適モード選択部５３から予測モード情報が供給される。なお、予測モード情報には、符号化対象ブロックのブロックサイズを示すマクロブロックタイプ、予測モード、参照インデックス等が含まれる。可逆符号化部２６は、量子化データに対して例えば可変長符号化または算術符号化等により符号化処理を行い、符号化ストリームを生成して蓄積バッファ２７に出力する。また、可逆符号化部２６は、予測モード情報を可逆符号化して、符号化ストリームの例えばヘッダ情報に付加する。
【００３４】
蓄積バッファ２７は、可逆符号化部２６からの符号化ストリームを蓄積する。また、蓄積バッファ２７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００３５】
レート制御部２８は、蓄積バッファ２７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部２５に出力する。レート制御部２８は、例えば蓄積バッファ２７から空き容量を示す情報を取得する。レート制御部２８は、空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部２８は蓄積バッファ２７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。
【００３６】
逆量子化部３１は、量子化部２５から供給された量子化データの逆量子化処理を行う。逆量子化部３１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部３２に出力する。
【００３７】
逆直交変換部３２は、逆量子化部３１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部３３に出力する。
【００３８】
加算部３３は、逆直交変換部３２から供給されたデータと予測画像・最適モード選択部５３から供給された予測画像データを加算して参照ピクチャの画像データを生成して、この画像データをデブロッキングフィルタ３４とイントラ予測部５１に出力する。
【００３９】
デブロッキングフィルタ３４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ３４は、加算部３３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ３５に出力する。
【００４０】
フレームメモリ３５は、デブロッキングフィルタ３４から供給されたフィルタ処理後の画像データと、ベースビューの符号化を行う画像符号化装置２０ｂｖから供給された参照ピクチャの画像データを保持する。
【００４１】
特徴量生成部４１-1は、特徴量の生成を行う。特徴量は、ディペンデントビューの画像データを符号化する場合、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像内で支配的であるか、すなわち多く行われるかを判別する判別基準として用いる情報である。特徴量生成部４１-1は、時間予測や視差予測を行うことにより得た情報から特徴量を生成する。
【００４２】
特徴量生成部４１-1は、参照ピクチャを用いて符号化対象ブロック毎に動きベクトルや視差ベクトルを検出して、検出されたベクトルの長さの画像内における平均値や分散を特徴量とする。例えば、特徴量生成部４１-1は、画面並べ替えバッファ２２から出力された画像データにおいて、符号化対象ピクチャに対して時間方向が異なる画像の画像データを時間予測で用いる参照ピクチャの画像データとする。特徴量生成部４１-1は、時間予測の参照ピクチャを用いて符号化ブロック毎に動きベクトルを検出して、検出された動きベクトルの長さの画像内における平均値や分散を特徴量とする。また、特徴量生成部４１-1は、画像符号化装置２０ｂｖから供給された他視点の画像データを視差予測で用いる参照ピクチャの画像データとする。特徴量生成部４１-1は、視差予測の参照ピクチャを用いて符号化対象ブロック毎に視差ベクトルを検出して、検出された視差ベクトルの長さの画像内における平均値や分散を特徴量とする。
【００４３】
また、特徴量生成部４１-1は、動きベクトルや視差ベクトルを検出したときの符号化対象ピクチャのブロック（符号化対象ブロック）と参照ピクチャのブロック（参照ブロック）との誤差の画像内の合計値（例えばＳＡＤ：Sum of Absolute Differences）または平均値を特徴量としてもよい。例えば、特徴量生成部４１-1は、画面並べ替えバッファ２２から出力された画像データを時間予測で用いる参照ピクチャの画像データとして用いて符号化対象ブロック毎に動きベクトルを検出する。特徴量生成部４１-1は、動きベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値または平均値を特徴量とする。また、特徴量生成部４１-1は、画像符号化装置２０ｂｖから供給された他視点の画像データを用いて符号化対象ブロック毎に視差ベクトルを検出する。特徴量生成部４１-1は、視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値または平均値を特徴量とする。
【００４４】
このようにして特徴量生成部４１-1は特徴量の生成を行い、生成した特徴量を参照インデックス割り当て部４５-1に出力する。
【００４５】
参照インデックス割り当て部４５-1は、特徴量生成部４１-1で生成された特徴量に基づき、フレームメモリ３５に記憶されている参照ピクチャに対して参照インデックスの割り当てを行う。参照インデックス割り当て部４５-1は、特徴量に基づき、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる。
【００４６】
参照インデックス割り当て部４５-1は、特徴量としてベクトル（動きベクトルと視差ベクトル）の画像内の平均値が生成されている場合、時間予測の参照ピクチャを用いた場合の平均値と視差予測の参照ピクチャを用いた場合の平均値を比較する。参照インデックス割り当て部４５-1は、平均値の小さい参照ピクチャに符号長の短い参照インデックスを割り当てる。また、参照インデックス割り当て部４５-1は、特徴量としてベクトルの画像内の分散が生成されている場合、時間予測の参照ピクチャを用いた場合の分散と視差予測の参照ピクチャを用いた場合の分散を比較する。参照インデックス割り当て部４５-1は、分散の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。さらに、参照インデックス割り当て部４５-1は、特徴量として符号化対象ピクチャのブロック毎に参照ブロックとの誤差が生成されている場合、時間予測の参照ピクチャを用いた場合の誤差と視差予測の参照ピクチャを用いた場合の誤差を比較する。参照インデックス割り当て部４５-1は、誤差の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。
【００４７】
イントラ予測部５１は、画面並べ替えバッファ２２から出力された符号化対象ピクチャの画像データと加算部３３から供給された画像データを用いて、候補となるすべてのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部５１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部５１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、イントラ予測部５１は、コスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部２６に出力する。なお、コスト関数値の生成としては、例えばＪＭ（Joint Model）と呼ばれるＨ．２６４ＡＶＣの参照ソフトウェアに実装されている方法を挙げることができる。
【００４８】
動き・視差予測補償部５２は、符号化対象ブロックのブロックサイズ毎に動き・視差予測補償処理を行う。動き・視差予測補償部５２は、画面並べ替えバッファ２２から読み出された画像における各符号化対象ブロックの画像毎に、フレームメモリ３５から読み出されたデブロックフィルタ処理後の画像データを用いて動きベクトル、ベースビューの画像データを用いて視差ベクトルをそれぞれ検出する。さらに、動き・視差予測補償部５２は、検出したベクトルに基づいて参照ピクチャの補償処理を施して予測画像の生成を行う。
【００４９】
また、動き・視差予測補償部５２は、符号化対象ブロックのブロックサイズおよび参照ピクチャ毎にコスト関数値を生成して、コスト関数値が最小となるブロックサイズと参照ピクチャを、最適インター予測モードとして選択する。動き・視差予測補償部５２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、動き・視差予測補償部５２は、コスト関数値の生成で用いる発生符号量を得るため、各ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部２６に出力する。
【００５０】
予測画像・最適モード選択部５３は、イントラ予測部５１から供給されたコスト関数値と動き・視差予測補償部５２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部５３は、最適モードで生成した予測画像データを減算部２３と加算部３３に出力する。さらに、予測画像・最適モード選択部５３は、最適モードの予測モード情報（マクロブロックタイプ、予測モード、参照インデックス等）を可逆符号化部２６に出力する。なお、予測画像・最適モード選択部５３は、ピクチャ単位やスライス単位でイントラ予測またはインター予測を行う。
【００５１】
なお、視点の異なる画像がフレーム単位で切り替えられるフレームシーケンシャル−ＡＶＣ方式の画像データを符号化する場合、特徴量生成部４１-1は、入力された画像データから抽出した他の視点の画像データを用いて特徴量の生成を行う。また、フレームメモリ３５には、入力された画像データから抽出した他の視点の画像データ、または他視点の画像データの符号化によって生成された参照ピクチャの画像データを記憶させる。このような処理を行うことで、ＦＳ（Frame Sequential）方式の画像データの符号化も可能である。
【００５２】
［第１の実施の形態の動作］
図４は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像符号化装置２０ｄｖ-1は、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像符号化装置２０ｄｖ-1は、符号化対象ピクチャがディペンデントビューのピクチャである場合はステップＳＴ２に進み、ベースビューのピクチャである場合はステップＳＴ１１に進む。
【００５３】
ステップＳＴ２で画像符号化装置２０ｄｖ-1は、符号化対象ピクチャが視差と時間の複数面を参照するピクチャであるか判別する。画像符号化装置２０ｄｖ-1は、符号化対象ピクチャが視差と時間の少なくともいずれかで複数面を参照するピクチャである場合にステップＳＴ６に進む。また、画像符号化装置２０ｄｖ-1は、符号化対象ピクチャが１つの参照ピクチャのみを参照するピクチャである場合にステップＳＴ１１に進む。
【００５４】
ステップＳＴ６で画像符号化装置２０ｄｖ-1は特徴量を生成する。画像符号化装置２０ｄｖ-1の特徴量生成部４１-1は、ブロック毎に、異なる視差の参照ピクチャを用いて検出された視差ベクトルと、時間方向の参照ピクチャを用いて検出された動きベクトルの画像内平均値を生成して特徴量とする。また、特徴量生成部４１-1は、画像内のベクトルの分散を特徴量としてもよい。さらに、特徴量生成部４１-1は、ブロック毎に時間予測と視差予測を行い、符号化対象ブロックと参照ブロックとの誤差の画像内の合計値または平均値を特徴量として生成してもよい。このように、特徴量生成部４１-1は、特徴量を生成してステップＳＴ７に進む。
【００５５】
ステップＳＴ７で画像符号化装置２０ｄｖ-1は、参照インデックスの割り当て方法を決定する。画像符号化装置２０ｄｖ-1の参照インデックス割り当て部４５-1は、ステップＳＴ６で生成した特徴量に基づき参照インデックスの割り当て方法を決定してステップＳＴ８に進む。参照インデックス割り当て部４５-1は、例えば平均値や分散が少ないベクトルを算出したときに用いた参照ピクチャに対して、符号長が短い参照インデックスを割り当てるように割り当て方法を決定する。また、参照インデックス割り当て部４５-1は、例えば時間予測や視野予測において誤差が少ない方の予測で用いた参照ピクチャに対して、符号長が短い参照インデックスを割り当てるように割り当て方法を決定する。
【００５６】
ステップＳＴ８で画像符号化装置２０ｄｖ-1は、割り当て方法の変更が必要か判別する。画像符号化装置２０ｄｖ-1は、ステップＳＴ７決定された割り当て方法が、現在の割り当て方法と異なる場合にステップＳＴ９に進み、割り当て方法が等しい場合はステップＳＴ１０に進む。
【００５７】
ステップＳＴ９で画像符号化装置２０ｄｖ-1は、ＲＰＬＲ（Reference Picture List Reordering）コマンドの発行を行う。画像符号化装置２０ｄｖ-1の参照インデックス割り当て部４５-1は、参照インデックスの割り当てを変更しても、画像復号化装置で参照インデックスに基づき正しい参照ピクチャを用いることができるようにＲＰＬＲコマンドの発行を行う。すなわち、参照インデックス割り当て部４５-1は、シンタックス要素であるＲＬＰＲを可逆符号化部２６に供給して、画像データの符号化ストリームの例えばヘッダに含めてステップＳＴ１０に進む。
【００５８】
ステップＳＴ１０で画像符号化装置２０ｄｖ-1は、符号化対象ピクチャの符号化処理を行う。また、符号化処理において、参照インデックス割り当て部４５-1は、ステップＳＴ７で決定された後続ピクチャに対する割り当て方法で参照インデックスを設定する。
【００５９】
ステップＳＴ１１で画像符号化装置２０ｄｖ-1は、符号化対象ピクチャがベースビューのピクチャである場合および参照ピクチャが１つである場合、予め設定されている割り当て方法で参照インデックスを割り当てて符号化処理を行う。例えば、図１に示すように、時間予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝０、視差予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。また、ピクチャがベースビューのピクチャである場合、シーケンス全体にわたって参照インデックスの割り当てを固定する。このような処理を符号化ピクチャ毎に行う。
【００６０】
この第１の実施の形態によれば、ディペンデントビューに対する符号化処理において時間予測または視差予測を行う場合、多く行われる予測方式で用いる参照ピクチャに対して符号長の短い参照インデックスを割り当てることができる。したがって、ディペンデントビューの符号化効率を高めることができる。
【００６１】
＜３．第２の実施の形態＞
第１の実施の形態では、符号化対象ピクチャに対するプレ処理によって特徴量を生成した場合について説明したが、第２の実施の形態では、予測画像の生成において生成した情報を特徴量として利用して参照インデックスの割り当てを行う場合について説明する。
【００６２】
［第２の実施の形態の構成］
図５は、第２の実施の形態の構成を示している。なお、第１の実施の形態の画像符号化装置２０ｄｖ-1と対応する部分については、同一符号を付している。
【００６３】
画像符号化装置２０ｄｖ-2は、ディペンデントビューの画像データの符号化を行う画像処理装置である。画像符号化装置２０ｄｖ-2は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ２２ａ、減算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、蓄積バッファ２７、レート制御部２８を備えている。また、画像符号化装置２０ｄｖ-2は、逆量子化部３１、逆直交変換部３２、加算部３３、デブロッキングフィルタ３４、フレームメモリ３５を有している。さらに画像符号化装置２０ｄｖ-2は、参照インデックス割り当て部４５-2、イントラ予測部５１、動き・視差予測補償部５２ａ、予測画像・最適モード選択部５３を備えている。
【００６４】
Ａ／Ｄ変換部２１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ２２ａに出力する。
【００６５】
画面並べ替えバッファ２２ａは、Ａ／Ｄ変換部２１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ２２ａは、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部２３とイントラ予測部５１と動き・視差予測補償部５２ａに出力する。
【００６６】
減算部２３には、画面並べ替えバッファ２２ａから出力された画像データと、後述する予測画像・最適モード選択部５３で選択された予測画像データが供給される。減算部２３は、画面並べ替えバッファ２２ａから出力された画像データと予測画像・最適モード選択部５３から供給された予測画像データとの差分を示す予測誤差データを算出して、直交変換部２４に出力する。
【００６７】
直交変換部２４は、減算部２３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部２４は、直交変換処理を行うことにより得られた変換係数データを量子化部２５に出力する。
【００６８】
量子化部２５には、直交変換部２４から出力された変換係数データと、後述するレート制御部２８からレート制御信号が供給されている。量子化部２５は変換係数データの量子化を行い、量子化データを可逆符号化部２６と逆量子化部３１に出力する。また、量子化部２５は、レート制御部２８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【００６９】
可逆符号化部２６には、量子化部２５から出力された量子化データと、後述するイントラ予測部５１と動き・視差予測補償部５２ａおよび予測画像・最適モード選択部５３から予測モード情報が供給される。なお、予測モード情報には、符号化対象ブロックのブロックサイズを示すマクロブロックタイプ、予測モード、参照インデックス等が含まれる。可逆符号化部２６は、量子化データに対して例えば可変長符号化または算術符号化等により符号化処理を行い、符号化ストリームを生成して蓄積バッファ２７に出力する。また、可逆符号化部２６は、予測モード情報を可逆符号化して、符号化ストリームの例えばヘッダ情報に付加する。
【００７０】
蓄積バッファ２７は、可逆符号化部２６からの符号化ストリームを蓄積する。また、蓄積バッファ２７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００７１】
レート制御部２８は、蓄積バッファ２７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部２５に出力する。レート制御部２８は、例えば蓄積バッファ２７から空き容量を示す情報を取得する。レート制御部２８は、空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部２８は蓄積バッファ２７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。
【００７２】
逆量子化部３１は、量子化部２５から供給された量子化データの逆量子化処理を行う。逆量子化部３１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部３２に出力する。
【００７３】
逆直交変換部３２は、逆量子化部３１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部３３に出力する。
【００７４】
加算部３３は、逆直交変換部３２から供給されたデータと予測画像・最適モード選択部５３から供給された予測画像データを加算して参照ピクチャの画像データを生成して、この画像データをデブロッキングフィルタ３４とイントラ予測部５１に出力する。
【００７５】
デブロッキングフィルタ３４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ３４は、加算部３３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ３５に出力する。
【００７６】
フレームメモリ３５は、デブロッキングフィルタ３４から供給されたフィルタ処理後の画像データと、ベースビューの符号化を行う画像符号化装置２０ｂｖから供給された参照ピクチャの画像データを保持する。
【００７７】
特徴量生成部４１-2は、特徴量の生成を行う。特徴量は、ディペンデントビューの画像データを符号化する場合、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像内で支配的であるか、すなわち多く行われるかを判別する判別基準として用いる情報である。特徴量生成部４１-2は、動き・視差予測補償を行うことにより得た情報から特徴量を生成する。特徴量生成部４１-2は、動き・視差予測によって検出した動きベクトルや視差ベクトルの長さの画像内における平均値や分散、動きベクトル（視差ベクトル）を検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内の合計値または平均値の少なくともいずれかを特徴量とする。また、特徴量生成部４１-2は、コスト関数値、画像の複雑度、符号化済みピクチャにおける参照インデックスの割合を示す統計量等のいずれかを特徴量としてもよい。
【００７８】
特徴量としてベクトルの長さの画像内における平均値や分散を特徴量として用いる場合、特徴量生成部４１-2は、動き・視差予測補償部５２ａで時間予測を行うために検出したブロック毎の動きベクトルを用いて平均値や分散を算出する。また、特徴量生成部４１-2は、動き・視差予測補償部５２ａで視差予測を行うために検出したブロック毎の視差ベクトルを用いて、画像内における視差ベクトルの長さの平均値や分散を算出して特徴量とする。なお、動きベクトル（視差ベクトル）は、マクロブロック毎または予測モードのブロックサイズ毎に検出されている動きベクトル（視差ベクトル）を用いる。
【００７９】
特徴量として符号化対象ブロックと参照ブロックとの誤差を用いる場合、特徴量生成部４１-2は、動き・視差予測補償部５２ａにおいて、時間予測のための参照ピクチャを用いた動き検出によって動きベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差を用いる。また、特徴量生成部４１-2は、動き・視差予測補償部５２ａにおいて、視差予測のための参照ピクチャを用いて視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画面内の合計値を特徴量とする。
【００８０】
特徴量としてコスト関数値を用いる場合、特徴量生成部４１-2は、動き・視差予測補償部５２ａにおいて、時間予測を行った場合のコスト関数値と、視差予測を行った場合のコスト関数値の画像内の合計値または平均値を特徴量とする。
【００８１】
特徴量として符号化済みのピクチャの複雑度を用いる場合、特徴量生成部４１-2は、符号化済みのピクチャの複雑度を例えば式（１）〜（３）に基づいて算出して特徴量とする。
Ｘi＝ＳiＱi        ・・・（１）
Ｘp＝ＳpＱp        ・・・（２）
Ｘb＝ＳbＱb        ・・・（３）
【００８２】
式（１）において、ＳiはＩピクチャの発生符号量、ＱiはＩピクチャの符号化時における平均量子化スケールコード（量子化パラメータ）である。同様に、式（２）（３）において、Ｓp，ＳbはＰ，Ｂピクチャの発生符号量、Ｑp，ＱbはＰ，Ｂピクチャの符号化時における平均量子化スケールコード（量子化パラメータ）である。また、例えばディペンデントビューのピクチャにおいて、ベースビューのＩピクチャを単一の参照ピクチャとするＰピクチャの複雑度をＸpdとする。
【００８３】
特徴量として参照インデックスの割合を示す統計量を用いる場合、特徴量生成部４１-2は、符号化対象ピクチャと等しいピクチャタイプであって符号化済みのピクチャから、ブロック毎に設定された参照インデックスの割合を示す統計量を算出して特徴量とする。
【００８４】
このようにして特徴量生成部４１-2は特徴量の生成を行い、生成した特徴量を参照インデックス割り当て部４５-2に出力する。
【００８５】
参照インデックス割り当て部４５-2は、特徴量生成部４１-2で生成された特徴量に基づき、フレームメモリ３５に記憶されている参照ピクチャに対して参照インデックスの割り当てを行う。参照インデックス割り当て部４５-2は、特徴量に基づき、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる。
【００８６】
参照インデックス割り当て部４５-2は、特徴量としてベクトルの画像内の平均値が生成されている場合、時間予測の参照ピクチャを用いた場合の平均値と視差予測の参照ピクチャを用いた場合の平均値を比較する。参照インデックス割り当て部４５-2は、平均値の小さい参照ピクチャに符号長の短い参照インデックスを割り当てる。また、参照インデックス割り当て部４５-2は、特徴量として動きベクトルの画像内の分散が生成されている場合、時間予測の参照ピクチャを用いた場合の分散と視差予測の参照ピクチャを用いた場合の分散を比較する。参照インデックス割り当て部４５-2は、分散の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。また、参照インデックス割り当て部４５-2は、特徴量として符号化対象ブロック毎に誤差が生成されている場合、時間予測の参照ピクチャを用いた場合の誤差と視差予測の参照ピクチャを用いた場合の誤差を比較する。参照インデックス割り当て部４５-2は、誤差の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。また、参照インデックス割り当て部４５-2は、特徴量としてコスト関数値が生成されている場合、時間予測の参照ピクチャを用いた場合のコスト関数値と視差予測の参照ピクチャを用いた場合のコスト関数値を比較する。参照インデックス割り当て部４５-2は、コスト関数値の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。
【００８７】
さらに、参照インデックス割り当て部４５-2は、特徴量として複雑度が生成されている場合、時間的な複雑度の比と視差間の複雑度の比との比較結果に応じて参照インデックスを割り当てる。図６に示すように、複雑度の比（Ｘi／Ｘp）や比（Ｘi／Ｘb）は時間的な難しさを表しており、複雑度の比（Ｘi／Ｘpd)は視差間の難しさを表している。なお、複雑度ＸiはＩピクチャ（Ｉb1）の複雑度、複雑度ＸpはＰピクチャ（Ｐb1）の複雑度、複雑度（Ｘb）はＢピクチャ（Ｂｓb1）の複雑度、複雑度（Ｘpd）はＰピクチャ（Ｐdv1）の複雑度をそれぞれ示している。
【００８８】
したがって、参照インデックス割り当て部４５-2は、時間的な難しさと視差間の難しさを比較して、複雑度が低い参照ピクチャに対して、符号長の短い参照インデックスを割り当てる。例えば、複雑度ＸpであるＰピクチャ（Ｐb3）と複雑度ＸdpであるＰピクチャ（Ｐdv1）を参照ピクチャとするＰピクチャ（Ｐdv3）を符号化する場合、比（Ｘi／Ｘpd）が比（Ｘi／Ｘp）よりも大きいと複雑度Ｘpdは複雑度Ｘpよりも複雑度が低いことがわかる。例えば、Ｐピクチャ（Ｐdv3）の視差予測をＰピクチャ（Ｐdv1）の視差予測と同等の難しさとして、Ｐピクチャ（Ｐdv3）の時間予測をＰピクチャ（Ｐb3）の時間予測と同等の難しさとする。この場合、Ｐピクチャ（Ｐdv3）は時間予測よりも視差予測を用いることで複雑度が低くなると推定される。したがって、参照インデックス割り当て部４５-2は、視差予測に用いる参照ピクチャに対して、符号長の短い参照インデックスを割り当てる。また、Ｂピクチャ（Ｂdv2）についても比（Ｘi／Ｘpd）と比（Ｘi／Ｘb）に基づき、Ｐピクチャ（Ｐdv3）と同様にして複雑度に応じて参照インデックスを割り当てることができる。例えば、複雑度Ｘpdが複雑度Ｘbよりも複雑度が低い場合、視差予測に用いる参照ピクチャに対して、符号長の短い参照インデックスを割り当てる。
【００８９】
さらに、参照インデックス割り当て部４５-2は、特徴量として参照インデックスの割合を示す統計量が用いられている場合、割合の多い予測で用いられる参照ピクチャに符号長の短い参照インデックスを割り当てる。例えば符号化対象ピクチャの画像内において、時間予測で用いる参照ピクチャを示す参照インデックスの割合が、視差予測で用いる参照ピクチャよりも多い場合、時間予測で用いる参照ピクチャに対して符号長の短い参照インデックスを割り当てる。
【００９０】
イントラ予測部５１は、画面並べ替えバッファ２２ａから出力された符号化対象ピクチャの画像データと加算部３３から供給された画像データを用いて、候補となるすべてのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部５１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部５１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、イントラ予測部５１は、コスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部２６に出力する。なお、コスト関数値の算出としては、例えばＪＭ（Joint Model）と呼ばれるＨ．２６４ＡＶＣの参照ソフトウェアに実装されている方法を挙げることができる。
【００９１】
動き・視差予測補償部５２ａは、符号化対象ブロックのブロックサイズ毎に動き・視差予測補償処理を行う。動き・視差予測補償部５２ａは、画面並べ替えバッファ２２ａから読み出された画像における各符号化対象ブロックの画像毎に、フレームメモリ３５から読み出されたデブロックフィルタ処理後の画像データやベースビューの画像データを用いて動きベクトルや視差ベクトルを検出する。さらに、動き・視差予測補償部５２ａは、検出した動きベクトルや視差ベクトルに基づいて参照ピクチャの補償処理を施して予測画像の生成を行う。
【００９２】
また、動き・視差予測補償部５２ａは、符号化対象ブロックのブロックサイズおよび参照ピクチャ毎にコスト関数値を算出して、コスト関数値が最小となるブロックサイズと参照ピクチャを、最適インター予測モードとして選択する。動き・視差予測補償部５２ａは、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、動き・視差予測補償部５２ａは、コスト関数値の算出で用いる発生符号量を得るため、各ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部２６に出力する。
【００９３】
さらに、動き・視差予測補償部５２ａは、特徴量を生成するための情報を特徴量生成部４１-2に出力する。特徴量を生成するための情報は、検出した動きベクトルや視差ベクトル、動きベクトルや視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差である。また、コスト関数値、発生符号量と量子化スケールコード、最適インター予測モードにおける時間予測と視差予測が行われるブロックの情報等を用いることもできる。
【００９４】
予測画像・最適モード選択部５３は、イントラ予測部５１から供給されたコスト関数値と動き・視差予測補償部５２ａから供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部５３は、最適モードで生成した予測画像データを減算部２３と加算部３３に出力する。さらに、予測画像・最適モード選択部５３は、最適モードの予測モード情報（マクロブロックタイプ、予測モード、参照インデックス等）を可逆符号化部２６に出力する。なお、予測画像・最適モード選択部５３は、ピクチャ単位やスライス単位でイントラ予測またはインター予測を行う。
【００９５】
なお、フレームシーケンシャル−ＡＶＣ方式の画像データを符号化する場合、特徴量生成部４１-2は、動き・視差予測補償部５２ａにおいてディペンデントビューの画像データに対する予測画像の生成が行われたときの情報を用いて特徴量の生成を行う。また、フレームメモリ３５には、入力された画像データから抽出した他の視点の画像データ、または他視点の画像データの符号化によって生成された参照ピクチャの画像データを記憶させる。このような処理を行うことで、フレームシーケンシャル−ＡＶＣ方式の画像データの符号化も可能である。
【００９６】
［第２の実施の形態の動作］
図７は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で画像符号化装置２０ｄｖ-2は、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像符号化装置２０ｄｖ-2は、符号化対象ピクチャがディペンデントビューのピクチャである場合にステップＳＴ２２に進み、ベースビューのピクチャである場合はステップＳＴ２８に進む。
【００９７】
ステップＳＴ２２で画像符号化装置２０ｄｖ-2は、符号化対象ピクチャが視差と時間の複数面を参照するピクチャであるか判別する。画像符号化装置２０ｄｖ-2は、符号化対象ピクチャが視差と時間の少なくともいずれかで複数面を参照するピクチャである場合にステップＳＴ２３に進み、１つの参照ピクチャのみを参照するピクチャである場合にステップＳＴ２８に進む。例えば、図６のディペンデントビューの画像データにおいて、最初のＰピクチャは、参照ピクチャがベースビューの画像データのＩピクチャのみであることからステップＳＴ２８に進む。また、その後のＢピクチャやＰピクチャは、参照ピクチャが複数であることからステップＳＴ２３に進む。
【００９８】
ステップＳＴ２３で画像符号化装置２０ｄｖ-2は、参照インデックスの割り当て方法を決定する。画像符号化装置２０ｄｖ-2の参照インデックス割り当て部４５-2は、既に行われている符号化対象ピクチャの符号化処理において生成された情報に基づき参照インデックスの割り当て方法を決定してステップＳＴ２４に進む。参照インデックス割り当て部４５-2は、例えば、ベクトルの長さの平均値や分散が少ない参照ピクチャや、時間予測や視野予測において誤差が少ない参照ピクチャに対して、符号長の短い参照インデックスを割り当てるように割り当て方法を決定する。また、参照インデックス割り当て部４５-2は、例えば、コスト関数値が少ない参照ピクチャに対して、符号長の短い参照インデックスを割り当てるように割り当て方法を決定する。
【００９９】
ステップＳＴ２４で画像符号化装置２０ｄｖ-2は、割り当て方法の変更が必要か判別する。画像符号化装置２０ｄｖ-2は、ステップＳＴ２３で決定された割り当て方法が、現在の割り当て方法と異なる場合にステップＳＴ２５に進み、割り当て方法が等しい場合はステップＳＴ２６に進む。
【０１００】
ステップＳＴ２５で画像符号化装置２０ｄｖ-2は、ＲＰＬＲ（Reference Picture List Reordering）コマンドの発行を行う。画像符号化装置２０ｄｖ-2の参照インデックス割り当て部４５-2は、参照インデックスの割り当てを変更しても、画像復号化装置で参照インデックスに基づき正しい参照ピクチャを用いることができるようにＲＰＬＲコマンドの発行を行う。すなわち、参照インデックス割り当て部４５-2は、シンタックス要素であるＲＬＰＲを可逆符号化部２６に供給して、画像データの符号化ストリームの例えばヘッダに含めてステップＳＴ２６に進む。
【０１０１】
ステップＳＴ２６で画像符号化装置２０ｄｖ-2は、符号化対象ピクチャの符号化処理を行う。また、符号化処理において、参照インデックス割り当て部４５-2は、ステップＳＴ２３で決定された割り当て方法で参照インデックスを設定する。
【０１０２】
ステップＳＴ２７で画像符号化装置２０ｄｖ-2は特徴量を生成する。画像符号化装置２０ｄｖ-2の特徴量生成部４１-2は、特徴量生成部４１-2は、ステップＳＴ２６の符号化処理で生成された情報、例えばベクトル（動きベクトルと視差ベクトル）や符号化対象ブロックと参照ブロックとの誤差等から特徴量を生成する。
【０１０３】
ステップＳＴ２８で画像符号化装置２０ｄｖ-2は、ピクチャがベースビューのピクチャである場合および視差と時間の複数面が参照ピクチャとして用いられていない場合、予め設定されている割り当て方法で参照インデックスを割り当てて符号化処理を行う。例えば、図１に示すように、時間予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝０、視差予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ＝１を割り当てる。また、ピクチャがベースビューのピクチャである場合、シーケンス全体にわたって参照インデックスの割り当てを固定する。このような処理を符号化対象ピクチャ毎に行う。
【０１０４】
この第２の実施の形態によれば、ディペンデントビューに対する符号化処理において時間予測または視差予測を行う場合、多く行われる予測方式で用いる参照ピクチャに対して符号長の短い参照インデックスが割り当てられる。したがって、第１の実施の形態と同様にディペンデントビューの符号化効率を高めることができる。また、第２の実施の形態は、第１の実施の形態のように特徴量生成部で動き検出を行う必要がないので、参照インデックスの割り当てを容易に行うことができる。
【０１０５】
＜４．第３の実施の形態＞
次に、第３の実施の形態について説明する。動画像データにおいて画像切り替えが行われている場合は、画像切り替え前の画像と画像切り替え後の画像とで画像の相違が大きいと、時間予測の性能が著しく低下してしまう。例えば、動画像データにおいてシーン切り替えが行われている場合、シーン切り替え前の画像とシーン切り替え後の画像とで画像の相違が大きいと、時間予測の性能が著しく低下してしまう。このため、画像切り替えが生じた場合は、視差予測が選択されて予測性能の著しい低下が防止される。すなわち、画像切り替えの検出結果は、時間予測と視差予測のいずれが画像内で支配的であるかを判別する場合に判別基準として用いる特徴量に相当する。したがって、第３の実施の形態では、特徴量としてシーンチェンジ検出結果を用いる場合について説明する。
【０１０６】
［第３の実施の形態の構成］
図８は、第３の実施の形態の構成を示している。なお、図８は、第１の実施の形態に対して、シーンチェンジが検出されたとき、参照インデックスの割り当て方法を予め指定した方法とする機能を設けた場合を示している。また、図８において、第１の実施の形態の画像符号化装置２０ｄｖ-1と対応する部分については、同一符号を付している。
【０１０７】
画像符号化装置２０ｄｖ-3は、ディペンデントビューの画像データの符号化を行う画像処理装置である。画像符号化装置２０ｄｖ-3は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ２２、減算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、蓄積バッファ２７、レート制御部２８を備えている。また、画像符号化装置２０ｄｖ-3は、逆量子化部３１、逆直交変換部３２、加算部３３、デブロッキングフィルタ３４、フレームメモリ３５を有している。さらに画像符号化装置２０ｄｖ-3は、特徴量生成部４１-3、シーンチェンジ検出部４２、参照インデックス割り当て部４５-3、イントラ予測部５１、動き・視差予測補償部５２、予測画像・最適モード選択部５３を備えている。
【０１０８】
Ａ／Ｄ変換部２１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ２２に出力する。
【０１０９】
画面並べ替えバッファ２２は、Ａ／Ｄ変換部２１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ２２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部２３と特徴量生成部４１-3とイントラ予測部５１および動き・視差予測補償部５２に出力する。
【０１１０】
減算部２３には、画面並べ替えバッファ２２から出力された画像データと、後述する予測画像・最適モード選択部５３で選択された予測画像データが供給される。減算部２３は、画面並べ替えバッファ２２から出力された画像データと予測画像・最適モード選択部５３から供給された予測画像データとの差分を示す予測誤差データを算出して、直交変換部２４に出力する。
【０１１１】
直交変換部２４は、減算部２３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部２４は、直交変換処理を行うことにより得られた変換係数データを量子化部２５に出力する。
【０１１２】
量子化部２５には、直交変換部２４から出力された変換係数データと、後述するレート制御部２８からレート制御信号が供給されている。量子化部２５は変換係数データの量子化を行い、量子化データを可逆符号化部２６と逆量子化部３１に出力する。また、量子化部２５は、レート制御部２８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【０１１３】
可逆符号化部２６には、量子化部２５から出力された量子化データと、後述するイントラ予測部５１と動き・視差予測補償部５２および予測画像・最適モード選択部５３から予測モード情報が供給される。なお、予測モード情報には、符号化対象ブロックのブロックサイズを示すマクロブロックタイプ、予測モード、参照インデックス等が含まれる。可逆符号化部２６は、量子化データに対して例えば可変長符号化または算術符号化等により符号化処理を行い、符号化ストリームを生成して蓄積バッファ２７に出力する。また、可逆符号化部２６は、予測モード情報を可逆符号化して、符号化ストリームの例えばヘッダ情報に付加する。
【０１１４】
蓄積バッファ２７は、可逆符号化部２６からの符号化ストリームを蓄積する。また、蓄積バッファ２７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【０１１５】
レート制御部２８は、蓄積バッファ２７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部２５に出力する。レート制御部２８は、例えば蓄積バッファ２７から空き容量を示す情報を取得する。レート制御部２８は、空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部２８は蓄積バッファ２７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。
【０１１６】
逆量子化部３１は、量子化部２５から供給された量子化データの逆量子化処理を行う。逆量子化部３１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部３２に出力する。
【０１１７】
逆直交変換部３２は、逆量子化部３１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部３３に出力する。
【０１１８】
加算部３３は、逆直交変換部３２から供給されたデータと予測画像・最適モード選択部５３から供給された予測画像データを加算して参照ピクチャの画像データを生成して、この画像データをデブロッキングフィルタ３４とイントラ予測部５１に出力する。
【０１１９】
デブロッキングフィルタ３４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ３４は、加算部３３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ３５に出力する。
【０１２０】
フレームメモリ３５は、デブロッキングフィルタ３４から供給されたフィルタ処理後の画像データと、ベースビューの符号化を行う画像符号化装置２０ｂｖから供給された参照ピクチャの画像データを保持する。
【０１２１】
特徴量生成部４１-3は、特徴量の生成を行う。特徴量は、ディペンデントビューの画像データを符号化する場合、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像内で支配的であるか、すなわち多く行われるかを判別する判別基準として用いる情報である。特徴量生成部４１-3は、時間予測や視差予測を行うことにより得た情報から特徴量を生成する。
【０１２２】
特徴量生成部４１-3は、参照ピクチャを用いて符号化対象ブロック毎に動きベクトルや視差ベクトルを検出して、検出されたベクトルの長さの画像内における平均値や分散を特徴量とする。例えば、特徴量生成部４１-3は、画面並べ替えバッファ２２から出力された画像データにおいて、符号化対象ピクチャに対して時間方向が異なる画像の画像データを時間予測で用いる参照ピクチャの画像データとする。特徴量生成部４１-3は、時間予測の参照ピクチャを用いて符号化ブロック毎に動きベクトルを検出して、検出された動きベクトルの長さの画像内における平均値や分散を特徴量とする。また、特徴量生成部４１-3は、画像符号化装置２０ｂｖから供給された他視点の画像データを視差予測で用いる参照ピクチャの画像データとする。特徴量生成部４１-3は、視差予測の参照ピクチャを用いて符号化対象ブロック毎に視差ベクトルを検出して、検出された視差ベクトルの長さの画像内における平均値や分散を特徴量とする。
【０１２３】
また、特徴量生成部４１-3は、動きベクトルや視差ベクトルを検出したときの符号化対象ピクチャのブロック（符号化対象ブロック）と参照ピクチャのブロック（参照ブロック）との誤差の画像内の合計値（例えばＳＡＤ：Sum of Absolute Differences）または平均値を特徴量としてもよい。例えば、特徴量生成部４１-3は、画面並べ替えバッファ２２から出力された画像データを時間予測で用いる参照ピクチャの画像データとして用いて符号化対象ブロック毎に動きベクトルを検出する。特徴量生成部４１-3は、動きベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値または平均値を特徴量とする。また、特徴量生成部４１-3は、画像符号化装置２０ｂｖから供給された他視点の画像データを用いて符号化対象ブロック毎に視差ベクトルを検出する。特徴量生成部４１-3は、視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値または平均値を特徴量とする。
【０１２４】
このようにして特徴量生成部４１-3は特徴量の生成を行い、生成した特徴量を参照インデックス割り当て部４５-3に出力する。
【０１２５】
シーンチェンジ検出部４２は、シーンチェンジの検出を行い、検出結果を参照インデックス割り当て部４５-3に出力する。
【０１２６】
参照インデックス割り当て部４５-3は、特徴量生成部４１-3で生成された特徴量に基づき、フレームメモリ３５に記憶されている参照ピクチャに対して参照インデックスの割り当てを行う。参照インデックス割り当て部４５-3は、特徴量に基づき、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる。
【０１２７】
参照インデックス割り当て部４５-3は、特徴量としてベクトル（動きベクトルと視差ベクトル）の画像内の平均値が生成されている場合、時間予測の参照ピクチャを用いた場合の平均値と視差予測の参照ピクチャを用いた場合の平均値を比較する。参照インデックス割り当て部４５-3は、平均値の小さい参照ピクチャに符号長の短い参照インデックスを割り当てる。また、参照インデックス割り当て部４５-3は、特徴量としてベクトルの画像内の分散が生成されている場合、時間予測の参照ピクチャを用いた場合の分散と視差予測の参照ピクチャを用いた場合の分散を比較する。参照インデックス割り当て部４５-3は、分散の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。さらに、参照インデックス割り当て部４５-3は、特徴量として符号化対象ピクチャのブロック毎に参照ブロックとの誤差が生成されている場合、時間予測の参照ピクチャを用いた場合の誤差と視差予測の参照ピクチャを用いた場合の誤差を比較する。参照インデックス割り当て部４５-3は、誤差の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。
【０１２８】
また、参照インデックス割り当て部４５-3は、シーンチェンジ検出部４２からのシーンチェンジ検出結果に応じて、参照インデックスの割り当て方法を設定する。参照インデックス割り当て部４５-3は、シーンチェンジが検出されたとき、視差予測で用いる参照ピクチャに対して、時間予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる。
【０１２９】
イントラ予測部５１は、画面並べ替えバッファ２２から出力された符号化対象ピクチャの画像データと加算部３３から供給された画像データを用いて、候補となるすべてのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部５１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部５１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、イントラ予測部５１は、コスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部２６に出力する。なお、コスト関数値の生成としては、例えばＪＭ（Joint Model）と呼ばれるＨ．２６４ＡＶＣの参照ソフトウェアに実装されている方法を挙げることができる。
【０１３０】
動き・視差予測補償部５２は、符号化対象ブロックのブロックサイズ毎に動き・視差予測補償処理を行う。動き・視差予測補償部５２は、画面並べ替えバッファ２２から読み出された画像における各符号化対象ブロックの画像毎に、フレームメモリ３５から読み出されたデブロックフィルタ処理後の画像データを用いて動きベクトル、ベースビューの画像データを用いて視差ベクトルをそれぞれ検出する。さらに、動き・視差予測補償部５２は、検出したベクトルに基づいて参照ピクチャの補償処理を施して予測画像の生成を行う。
【０１３１】
また、動き・視差予測補償部５２は、符号化対象ブロックのブロックサイズおよび参照ピクチャ毎にコスト関数値を生成して、コスト関数値が最小となるブロックサイズと参照ピクチャを、最適インター予測モードとして選択する。動き・視差予測補償部５２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、動き・視差予測補償部５２は、コスト関数値の生成で用いる発生符号量を得るため、各ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部２６に出力する。
【０１３２】
予測画像・最適モード選択部５３は、イントラ予測部５１から供給されたコスト関数値と動き・視差予測補償部５２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部５３は、最適モードで生成した予測画像データを減算部２３と加算部３３に出力する。さらに、予測画像・最適モード選択部５３は、最適モードの予測モード情報（マクロブロックタイプ、予測モード、参照インデックス等）を可逆符号化部２６に出力する。なお、予測画像・最適モード選択部５３は、ピクチャ単位やスライス単位でイントラ予測またはインター予測を行う。
【０１３３】
［第３の実施の形態の動作］
図９は、第３の実施の形態の動作を示すフローチャートである。なお、図９において、第１の実施の形態と対応する処理については、同一の番号を付している。
【０１３４】
ステップＳＴ１で画像符号化装置２０ｄｖ-3は、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像符号化装置２０ｄｖ-3は、符号化対象ピクチャがディペンデントビューのピクチャである場合にステップＳＴ２に進み、ベースビューのピクチャである場合はステップＳＴ１１に進む。
【０１３５】
ステップＳＴ２で画像符号化装置２０ｄｖ-3は、符号化対象ピクチャが視差と時間の複数面を参照するピクチャであるか判別する。画像符号化装置２０ｄｖ-3は、符号化対象ピクチャが視差と時間の少なくともいずれかで複数面を参照するピクチャである場合にステップＳＴ３に進む。また、画像符号化装置２０ｄｖ-3は、符号化対象ピクチャが１つの参照ピクチャのみを参照するピクチャである場合にステップＳＴ１１に進む。
【０１３６】
ステップＳＴ３で画像符号化装置２０ｄｖ-3は、シーンチェンジが検出されたが判別する。画像符号化装置２０ｄｖ-3のシーンチェンジ検出部４２で、シーンチェンジが検出されたとき、判別符号化対象ピクチャがシーンチェンジ後の最初の画像である場合にステップＳＴ５に進む。また、判別符号化対象ピクチャがシーンチェンジ後の最初の画像ではない場合はステップＳＴ６に進む。
【０１３７】
ステップＳＴ５で画像符号化装置２０ｄｖ-3は、参照インデックスの割り当て方法を予め指定した方法、すなわち、視差予測に対して符号長が短い参照インデックスを割り当てる方法としてステップＳＴ８に進む。
【０１３８】
ステップＳＴ６で画像符号化装置２０ｄｖ-3は特徴量を生成する。画像符号化装置２０ｄｖ-3の特徴量生成部４１-3は、ブロック毎に、異なる視差の参照ピクチャを用いて検出された視差ベクトルと、時間方向の参照ピクチャを用いて検出された動きベクトルの画像内平均値を生成して特徴量とする。また、特徴量生成部４１-3は、画像内のベクトルの分散を特徴量としてもよい。さらに、特徴量生成部４１-3は、ブロック毎に時間予測と視差予測を行い、符号化対象ブロックと参照ブロックとの誤差の画像内の合計値または平均値を特徴量として生成してもよい。このように、特徴量生成部４１-3は、特徴量を生成してステップＳＴ７に進む。
【０１３９】
ステップＳＴ７で画像符号化装置２０ｄｖ-3は、参照インデックスの割り当て方法を決定する。画像符号化装置２０ｄｖ-3の参照インデックス割り当て部４５-3は、ステップＳＴ６で生成した特徴量に基づき参照インデックスの割り当て方法を決定してステップＳＴ８に進む。参照インデックス割り当て部４５-3は、例えば平均値や分散が少ないベクトルを算出した場合に用いた参照ピクチャに対して、符号長が短い参照インデックスを割り当てるように割り当て方法を決定する。また、参照インデックス割り当て部４５-3は、例えば時間予測や視野予測において誤差が少ない方の予測で用いた参照ピクチャに対して、符号長が短い参照インデックスを割り当てるように割り当て方法を決定する。
【０１４０】
ステップＳＴ８で画像符号化装置２０ｄｖ-3は、割り当て方法の変更が必要か判別する。画像符号化装置２０ｄｖ-3は、ステップＳＴ５またはステップＳＴ７決定された割り当て方法が、現在の割り当て方法と異なる場合にステップＳＴ９に進み、割り当て方法が等しい場合はステップＳＴ１０に進む。
【０１４１】
ステップＳＴ９で画像符号化装置２０ｄｖ-3は、ＲＰＬＲ（Reference Picture List Reordering）コマンドの発行を行う。画像符号化装置２０ｄｖ-3の参照インデックス割り当て部４５-3は、参照インデックスの割り当てを変更しても、画像復号化装置で参照インデックスに基づき正しい参照ピクチャを用いることができるようにＲＰＬＲコマンドの発行を行う。すなわち、参照インデックス割り当て部４５-3は、シンタックス要素であるＲＬＰＲを可逆符号化部２６に供給して、画像データの符号化ストリームの例えばヘッダに含めてステップＳＴ１０に進む。
【０１４２】
ステップＳＴ１０で画像符号化装置２０ｄｖ-3は、符号化対象ピクチャの符号化処理を行う。また、符号化処理において、参照インデックス割り当て部４５-3は、ステップＳＴ５またはステップＳＴ７で決定された後続ピクチャに対する割り当て方法で参照インデックスを設定する。
【０１４３】
ステップＳＴ１１で画像符号化装置２０ｄｖ-3は、符号化対象ピクチャがベースビューのピクチャである場合および参照ピクチャが１つである場合、予め設定されている割り当て方法で参照インデックスを割り当てて符号化処理を行う。このような処理を符号化対象ピクチャ毎に行う。
【０１４４】
この第３の実施の形態によれば、ディペンデントビューに対する符号化において時間予測または視差予測を行う場合、多く行われる予測方式で用いる参照ピクチャに対して符号長の短い参照インデックスが割り当てられる。したがって、ディペンデントビューの符号化効率を高めることができる。さらに、シーンチェンジが検出された場合、予測性能の著しい低下を防止するため視差予測が選択されて、視差予測で用いる参照ピクチャに対して符号長の短い参照インデックスが割り当てられる。したがって、ディペンデントビューでシーンチェンジが生じても、ディペンデントビューの符号化効率を高めることができる。
【０１４５】
＜５．第４の実施の形態＞
次に、第４の実施の形態について説明する。動画像データでは、多視点の画像を示す場合だけでなく同じ視点の画像（２Ｄ画像）を示すことも可能である。ディペンデントピクチャとベースピクチャが等しい視点の画像である場合、時間予測に比べて視差予測の性能が非常に高いことから、視差予測が選択される。すなわち、多視点画像から他の画像（２Ｄ画像）への画像切り替え検出結果は、時間予測と視差予測のいずれが画像内で多く行われるかの判別に用いることができる特徴量である。したがって、第４の実施の形態では、特徴量として画像切り替え検出結果を用いる場合について説明する。
【０１４６】
［第４の実施の形態の構成］
図１０は、第４の実施の形態の構成を示している。なお、図１０は、第１の実施の形態に対して、多視点画像から他の画像への切り替えが検出されたとき、参照インデックスの割り当て方法を予め指定した方法とする機能を設けた場合を示している。また、図１０において、第１の実施の形態の画像符号化装置２０ｄｖ-1と対応する部分については、同一符号を付している。
【０１４７】
画像符号化装置２０ｄｖ-4は、ディペンデントビューの画像データの符号化を行う画像処理装置である。画像符号化装置２０ｄｖ-4は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画像並び替えバッファ２２、減算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、蓄積バッファ２７、レート制御部２８を備えている。また、画像符号化装置２０ｄｖ-4は、逆量子化部３１、逆直交変換部３２、加算部３３、デブロッキングフィルタ３４、フレームメモリ３５を有している。さらに画像符号化装置２０ｄｖ-4は、特徴量生成部４１-4、２Ｄ画像検出部４３、参照インデックス割り当て部４５-4、イントラ予測部５１、動き・視差予測補償部５２、予測画像・最適モード選択部５３を備えている。
【０１４８】
Ａ／Ｄ変換部２１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ２２に出力する。
【０１４９】
画面並べ替えバッファ２２は、Ａ／Ｄ変換部２１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ２２は、符号化処理に係るＧＯＰ構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部２３と特徴量生成部４１-4とシーンチェンジ検出部４２とイントラ予測部５１および動き・視差予測補償部５２に出力する。
【０１５０】
減算部２３には、画面並べ替えバッファ２２から出力された画像データと、後述する予測画像・最適モード選択部５３で選択された予測画像データが供給される。減算部２３は、画面並べ替えバッファ２２から出力された画像データと予測画像・最適モード選択部５３から供給された予測画像データとの差分を示す予測誤差データを算出して、直交変換部２４に出力する。
【０１５１】
直交変換部２４は、減算部２３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部２４は、直交変換処理を行うことにより得られた変換係数データを量子化部２５に出力する。
【０１５２】
量子化部２５には、直交変換部２４から出力された変換係数データと、後述するレート制御部２８からレート制御信号が供給されている。量子化部２５は変換係数データの量子化を行い、量子化データを可逆符号化部２６と逆量子化部３１に出力する。また、量子化部２５は、レート制御部２８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【０１５３】
可逆符号化部２６には、量子化部２５から出力された量子化データと、後述するイントラ予測部５１と動き・視差予測補償部５２および予測画像・最適モード選択部５３から予測モード情報が供給される。なお、予測モード情報には、符号化対象ブロックのブロックサイズを示すマクロブロックタイプ、予測モード、参照インデックス等が含まれる。可逆符号化部２６は、量子化データに対して例えば可変長符号化または算術符号化等により符号化処理を行い、符号化ストリームを生成して蓄積バッファ２７に出力する。また、可逆符号化部２６は、予測モード情報を可逆符号化して、符号化ストリームの例えばヘッダ情報に付加する。
【０１５４】
蓄積バッファ２７は、可逆符号化部２６からの符号化ストリームを蓄積する。また、蓄積バッファ２７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【０１５５】
レート制御部２８は、蓄積バッファ２７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部２５に出力する。レート制御部２８は、例えば蓄積バッファ２７から空き容量を示す情報を取得する。レート制御部２８は、空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部２８は蓄積バッファ２７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。
【０１５６】
逆量子化部３１は、量子化部２５から供給された量子化データの逆量子化処理を行う。逆量子化部３１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部３２に出力する。
【０１５７】
逆直交変換部３２は、逆量子化部３１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部３３に出力する。
【０１５８】
加算部３３は、逆直交変換部３２から供給されたデータと予測画像・最適モード選択部５３から供給された予測画像データを加算して参照ピクチャの画像データを生成して、この画像データをデブロッキングフィルタ３４とイントラ予測部５１に出力する。
【０１５９】
デブロッキングフィルタ３４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ３４は、加算部３３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ３５に出力する。
【０１６０】
フレームメモリ３５は、デブロッキングフィルタ３４から供給されたフィルタ処理後の画像データと、ベースビューの符号化を行う画像符号化装置２０ｂｖから供給された参照ピクチャの画像データを保持する。
【０１６１】
特徴量生成部４１-4は、特徴量の生成を行う。特徴量は、ディペンデントビューの画像データを符号化する場合、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像内で支配的であるか、すなわち多く行われるかを判別する判別基準として用いる情報である。特徴量生成部４１-4は、時間予測や視差予測を行うことにより得た情報から特徴量を生成する。
【０１６２】
特徴量生成部４１-4は、参照ピクチャを用いて符号化対象ブロック毎に動きベクトルや視差ベクトルを検出して、検出されたベクトルの長さの画像内における平均値や分散を特徴量とする。例えば、特徴量生成部４１-4は、画面並べ替えバッファ２２から出力された画像データにおいて、符号化対象ピクチャに対して時間方向が異なる画像の画像データを時間予測で用いる参照ピクチャの画像データとする。特徴量生成部４１-4は、時間予測の参照ピクチャを用いて符号化ブロック毎に動きベクトルを検出して、検出された動きベクトルの長さの画像内における平均値や分散を特徴量とする。また、特徴量生成部４１-4は、画像符号化装置２０ｂｖから供給された他視点の画像データを視差予測で用いる参照ピクチャの画像データとする。特徴量生成部４１-4は、視差予測の参照ピクチャを用いて符号化対象ブロック毎に視差ベクトルを検出して、検出された視差ベクトルの長さの画像内における平均値や分散を特徴量とする。
【０１６３】
また、特徴量生成部４１-4は、動きベクトルや視差ベクトルを検出したときの符号化対象ピクチャのブロック（符号化対象ブロック）と参照ピクチャのブロック（参照ブロック）との誤差の画像内の合計値（例えばＳＡＤ：Sum of Absolute Differences）または平均値を特徴量としてもよい。例えば、特徴量生成部４１-4は、画面並べ替えバッファ２２から出力された画像データを時間予測で用いる参照ピクチャの画像データとして用いて符号化対象ブロック毎に動きベクトルを検出する。特徴量生成部４１-4は、動きベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値または平均値を特徴量とする。また、特徴量生成部４１-4は、画像符号化装置２０ｂｖから供給された他視点の画像データを用いて符号化対象ブロック毎に視差ベクトルを検出する。特徴量生成部４１-4は、視差ベクトルを検出したときの符号化対象ブロックと参照ブロックとの誤差の画像内における合計値または平均値を特徴量とする。
【０１６４】
このようにして特徴量生成部４１-4は特徴量の生成を行い、生成した特徴量を参照インデックス割り当て部４５-4に出力する。
【０１６５】
２Ｄ画像検出部４３は、符号化対象ピクチャが２Ｄ画像であるか判別する。例えば、２Ｄ画像検出部４３は、ベースビューの画像データと符号化対象ピクチャの画像データが等しいか判別して、等しくない場合は多視点画像、等しい場合は２Ｄ画像として検出結果を参照インデックス割り当て部４５-4に出力する。また、２Ｄ画像検出部４３は、画像データの属性情報として２Ｄ画像であるか多視点画像であるかがフラグ等によって示されている場合、この属性情報を検出結果として用いるようにしてもよい。
【０１６６】
参照インデックス割り当て部４５-4は、特徴量生成部４１-4で生成された特徴量に基づき、フレームメモリ３５に記憶されている参照ピクチャに対して参照インデックスの割り当てを行う。参照インデックス割り当て部４５-4は、特徴量に基づき、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる。
【０１６７】
参照インデックス割り当て部４５-4は、特徴量としてベクトル（動きベクトルと視差ベクトル）の画像内の平均値が生成されている場合、時間予測の参照ピクチャを用いた場合の平均値と視差予測の参照ピクチャを用いた場合の平均値を比較する。参照インデックス割り当て部４５-4は、平均値の小さい参照ピクチャに符号長の短い参照インデックスを割り当てる。また、参照インデックス割り当て部４５-4は、特徴量としてベクトルの画像内の分散が生成されている場合、時間予測の参照ピクチャを用いた場合の分散と視差予測の参照ピクチャを用いた場合の分散を比較する。参照インデックス割り当て部４５-4は、分散の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。さらに、参照インデックス割り当て部４５-4は、特徴量として符号化対象ピクチャのブロック毎に参照ブロックとの誤差が生成されている場合、時間予測の参照ピクチャを用いた場合の誤差と視差予測の参照ピクチャを用いた場合の誤差を比較する。参照インデックス割り当て部４５-4は、誤差の小さい参照ピクチャに対して符号長の短い参照インデックスを割り当てる。
【０１６８】
また、参照インデックス割り当て部４５-4は、２Ｄ画像検出部４３からの検出結果に応じて、参照インデックスの割り当て方法を設定する。参照インデックス割り当て部４５-4は、多視点画像から他の画像への切り替えが検出された場合、視差予測で用いる参照ピクチャに対して、時間予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスを割り当てる。
【０１６９】
イントラ予測部５１は、画面並べ替えバッファ２２から出力された符号化対象ピクチャの画像データと加算部３３から供給された画像データを用いて、候補となるすべてのイントラ予測モードでイントラ予測処理を行う。さらに、イントラ予測部５１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部５１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、イントラ予測部５１は、コスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部２６に出力する。なお、コスト関数値の生成としては、例えばＪＭ（Joint Model）と呼ばれるＨ．２６４ＡＶＣの参照ソフトウェアに実装されている方法を挙げることができる。
【０１７０】
動き・視差予測補償部５２は、符号化対象ブロックのブロックサイズ毎に動き・視差予測補償処理を行う。動き・視差予測補償部５２は、画面並べ替えバッファ２２から読み出された画像における各符号化対象ブロックの画像毎に、フレームメモリ３５から読み出されたデブロックフィルタ処理後の画像データを用いて動きベクトル、ベースビューの画像データを用いて視差ベクトルをそれぞれ検出する。さらに、動き・視差予測補償部５２は、検出したベクトルに基づいて参照ピクチャの補償処理を施して予測画像の生成を行う。
【０１７１】
また、動き・視差予測補償部５２は、符号化対象ブロックのブロックサイズおよび参照ピクチャ毎にコスト関数値を生成して、コスト関数値が最小となるブロックサイズと参照ピクチャを、最適インター予測モードとして選択する。動き・視差予測補償部５２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部５３に出力する。また、動き・視差予測補償部５２は、コスト関数値の生成で用いる発生符号量を得るため、各ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部２６に出力する。
【０１７２】
予測画像・最適モード選択部５３は、イントラ予測部５１から供給されたコスト関数値と動き・視差予測補償部５２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部５３は、最適モードで生成した予測画像データを減算部２３と加算部３３に出力する。さらに、予測画像・最適モード選択部５３は、最適モードの予測モード情報（マクロブロックタイプ、予測モード、参照インデックス等）を可逆符号化部２６に出力する。なお、予測画像・最適モード選択部５３は、ピクチャ単位やスライス単位でイントラ予測またはインター予測を行う。
【０１７３】
［第４の実施の形態の動作］
図１１は、第４の実施の形態の動作を示すフローチャートである。なお、図１１において、第１の実施の形態と対応する処理については、同一の番号を付している。
【０１７４】
ステップＳＴ１で画像符号化装置２０ｄｖ-4は、符号化対象ピクチャがディペンデントビューのピクチャであるか判別する。画像符号化装置２０ｄｖ-4は、符号化対象ピクチャがディペンデントビューのピクチャである場合はステップＳＴ２に進み、ベースビューのピクチャである場合はステップＳＴ１１に進む。
【０１７５】
ステップＳＴ２で画像符号化装置２０ｄｖ-4は、符号化対象ピクチャが視差と時間の複数面を参照するピクチャであるか判別する。画像符号化装置２０ｄｖ-4は、符号化対象ピクチャが視差と時間の少なくともいずれかで複数面を参照するピクチャである場合にステップＳＴ４に進む。また、画像符号化装置２０ｄｖ-4は、符号化対象ピクチャが１つの参照ピクチャのみを参照するピクチャである場合にステップＳＴ１１に進む。
【０１７６】
ステップＳＴ４で画像符号化装置２０ｄｖ-4は、２Ｄ画像であることが検出されたか判別する。画像符号化装置２０ｄｖ-4は、２Ｄ画像であることが検出された場合にステップＳＴ５に進み、２Ｄ画像であることが検出されていない場合、すなわち多視点画像である場合はステップＳＴ６に進む。
【０１７７】
ステップＳＴ５で画像符号化装置２０ｄｖ-4は、参照インデックスの割り当て方法を予め指定した方法、すなわち、視差予測で用いる参照ピクチャに対して符号長が短い参照インデックスを割り当てる方法としてステップＳＴ８に進む。
【０１７８】
ステップＳＴ６で画像符号化装置２０ｄｖ-4は特徴量を生成する。画像符号化装置２０ｄｖ-4の特徴量生成部４１-4は、ブロック毎に、異なる視差の参照ピクチャを用いて検出された視差ベクトルと、時間方向の参照ピクチャを用いて検出された動きベクトルの画像内平均値を生成して特徴量とする。また、特徴量生成部４１-4は、画像内のベクトルの分散を特徴量としてもよい。さらに、特徴量生成部４１-4は、ブロック毎に時間予測と視差予測を行い、符号化対象ブロックと参照ブロックとの誤差の画像内の合計値または平均値を特徴量として生成してもよい。このように、特徴量生成部４１-4は、特徴量を生成してステップＳＴ７に進む。
【０１７９】
ステップＳＴ７で画像符号化装置２０ｄｖ-4は、参照インデックスの割り当て方法を決定する。画像符号化装置２０ｄｖ-4の参照インデックス割り当て部４５-4は、ステップＳＴ６で生成した特徴量に基づき参照インデックスの割り当て方法を決定してステップＳＴ８に進む。参照インデックス割り当て部４５-4は、例えば平均値や分散が少ないベクトルを算出したときに用いた参照ピクチャに対して、符号長が短い参照インデックスを割り当てるように割り当て方法を決定する。また、参照インデックス割り当て部４５-4は、例えば時間予測や視野予測において誤差が少ない方の予測で用いた参照ピクチャに対して、符号長が短い参照インデックスを割り当てるように割り当て方法を決定する。
【０１８０】
ステップＳＴ８で画像符号化装置２０ｄｖ-4は、割り当て方法の変更が必要か判別する。画像符号化装置２０ｄｖ-4は、ステップＳＴ５またはステップＳＴ７決定された割り当て方法が、現在の割り当て方法と異なる場合にステップＳＴ９に進み、割り当て方法が等しい場合はステップＳＴ１０に進む。
【０１８１】
ステップＳＴ９で画像符号化装置２０ｄｖ-4は、ＲＰＬＲ（Reference Picture List Reordering）コマンドの発行を行う。画像符号化装置２０ｄｖ-4の参照インデックス割り当て部４５-4は、参照インデックスの割り当てを変更しても、画像復号化装置で参照インデックスに基づき正しい参照ピクチャを用いることができるようにＲＰＬＲコマンドの発行を行う。すなわち、参照インデックス割り当て部４５-4は、シンタックス要素であるＲＬＰＲを可逆符号化部２６に供給して、画像データの符号化ストリームの例えばヘッダに含めてステップＳＴ１０に進む。
【０１８２】
ステップＳＴ１０で画像符号化装置２０ｄｖ-4は、符号化対象ピクチャの符号化処理を行う。また、符号化処理において、参照インデックス割り当て部４５-4は、ステップＳＴ５またはステップＳＴ７で決定された後続ピクチャに対する割り当て方法で参照インデックスを設定する。
【０１８３】
ステップＳＴ１１で画像符号化装置２０ｄｖ-4は、符号化対象ピクチャがベースビューのピクチャである場合および参照ピクチャが１つである場合、予め設定されている割り当て方法で参照インデックスを割り当てて符号化処理を行う。このような処理を符号化対象ピクチャ毎に行う。
【０１８４】
この第４の実施の形態によれば、ディペンデントビューに対する符号化処理において時間予測または視差予測を行う場合、多く行われる予測方式で用いる参照ピクチャに対して符号長の短い参照インデックスが割り当てられる。したがって、ディペンデントビューの符号化効率を高めることができる。さらに、多視点画像と２Ｄ画像の切り替えが行われても、２Ｄ画像である場合は、視差予測で用いる参照ピクチャに対して符号長の短い参照インデックスが割り当てられる。したがって、ディペンデントビューが２Ｄ画像とされても、ディペンデントビューの符号化効率を高めることができる。
【０１８５】
＜６．第５の実施の形態＞
図１におけるＣａｍ１のＢピクチャのように、Ｌ０予測（ＬＩＳＴ＿０）およびＬ１予測（ＬＩＳＴ＿１）で、それぞれ時間予測と視差予測の参照ピクチャを示している場合、各リストに対して独立に参照インデックスの割り当てを行うと、Ｌ０予測とＬ１予測で等しい参照インデックスが割り当てられた参照ピクチャは、予測方式が異なる場合が生じる。例えば、Ｌ０予測（ＬＩＳＴ＿０）では時間予測の参照ピクチャに参照インデックスｒｅｆ＿ｉｄｘ=０が割り当てられて、Ｌ１予測（ＬＩＳＴ＿１）では視差予測の参照ピクチャに対して参照インデックスｒｅｆ＿ｉｄｘ=０が割り当てられる場合が生じる。
【０１８６】
また、Ｂピクチャにおける双方向予測では、Ｌ０予測（ＬＩＳＴ＿０）とＬ１予測（ＬＩＳＴ＿１）の等しい参照インデックスの参照ピクチャを用いて、この参照ピクチャの平均値を予測画像とすることが行われる。
【０１８７】
このため、Ｂピクチャにおける双方向予測において、等しい参照インデックスで予測方式が異なると、符号化効率が低下してしまうおそれがある。例えばベースビューとディペンデントビューで輝度差が生じた状態である場合、予測画像には輝度差の影響が現れて符号化効率が低下するおそれがある。また、例えばフラッシュが発光されてディペンデントビューの輝度が時間の経過に応じて変化する状態である場合、予測画像にはフラッシュの発光による影響が現れて符号化効率が低下するおそれがある。
【０１８８】
そこで、上述の参照インデックス割り当て部４５-1〜４５-4は、Ｌ０予測（ＬＩＳＴ＿０）およびＬ１予測（ＬＩＳＴ＿１）で、それぞれ時間予測と視差予測の参照ピクチャを示す場合、等しい参照インデックスのピクチャは等しい予測方式の参照ピクチャを示すように、参照インデックスの割り当てを行う。
【０１８９】
このようにすれば、双方向予測において等しい参照インデックスの参照ピクチャを用いて予測画像を生成する場合、異なる予測方式の参照ピクチャが用いられてしまうことによる符号化効率の低下を防止できる。
【０１９０】
＜７．ソフトウェア処理で画像符号化を行う場合の構成＞
さらに、画像処理装置は、上述した一連の処理をプログラムにより実行するコンピュータ装置であってもよい。
【０１９１】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータ装置の構成を例示した図である。コンピュータ装置６０のＣＰＵ(Central Processing Unit)６１は、ＲＯＭ(Read Only Memory)６２、または記録部６８に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。
【０１９２】
ＲＡＭ(Random Access Memory)６３には、ＣＰＵ６１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３は、バス６４により相互に接続されている。
【０１９３】
ＣＰＵ６１にはまた、バス６４を介して入出力インターフェース６５が接続されている。入出力インターフェース６５には、タッチパネルやキーボード、マウス、マイクロフォンなどの入力部６６、ディスプレイなどよりなる出力部６７が接続されている。ＣＰＵ６１は、入力部６６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ６１は、処理の結果を出力部６７に出力する。
【０１９４】
入出力インターフェース６５に接続されている記録部６８は、例えばハードディスクやＳＳＤ（Solid State Drive）からなり、ＣＰＵ６１が実行するコンピュータ・プログラムや各種のデータを記録する。通信部６９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置６０は、通信部６９を介してコンピュータ・プログラムを取得し、ＲＯＭ６２や記録部６８に記録してもよい。
【０１９５】
ドライブ７０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア７２が装着されたとき、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてＲＯＭ６２やＲＡＭ６３または記録部６８に転送される。
【０１９６】
ＣＰＵ６１は、上述した一連の処理を行うコンピュータ・プログラムを読み出して実行して、記録部６８やリムーバブルメディア７２に記録されている多視点画像の画像データや、通信部６９を介して供給された多視点画像の画像データに対する符号化処理を行う。
【０１９７】
なお、本発明は、上述した実施の形態に限定して解釈されるべきではない。例えば多視点画像は３つの画像に限らず、２視点の画像であってもよい。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１９８】
この発明の画像処理装置と画像処理方法では、時間方向の画像間での相関を利用する時間予測と視点の異なる画像間での相関を利用する視差予測のいずれが画像の符号化において支配的であるかを判別する場合に判別基準として用いる特徴量が生成されて、この特徴量に基づき、予測で用いる参照ピクチャに対して参照インデックスの割り当てが行われる。例えば、支配的である予測で用いる参照ピクチャに対して、他の予測で用いる参照ピクチャに対して割り当てる参照インデックスよりも短い符号長の参照インデックスが割り当てられる。したがって、参照インデックスの符号量を少なくすることが可能となり、多視点画像の符号化における符号化効率を改善することができる。このため、多視点画像の生成および符号化を行う撮像装置や、多視点画像の編集や符号化を行う編集装置、多視点画像の符号化を行って記録媒体に記録する記録装置等に適用できる。
【符号の説明】
【０１９９】
１０・・・符号化システム、１１Ｌ・・・左視点画像生成装置、１１Ｒ・・・右視点画像生成装置、１１Ｃ・・・中央視点画像生成装置、２０・・・多視点符号化装置、２０ｂｖ，２０ｄｖ-1，２０ｄｖ-2，２０ｄｖ-3，２０ｄｖ-4・・・画像符号化装置、２１・・・Ａ／Ｄ変換部、２２，２２ａ・・・画面並べ替えバッファ、２３・・・減算部、２４・・・直交変換部、２５・・・量子化部、２６・・・可逆符号化部、２７・・・蓄積バッファ、２８・・・レート制御部、３１・・・逆量子化部、３２・・・逆直交変換部、３３・・・加算部、３４・・・デブロッキングフィルタ、３５・・・フレームメモリ、４１-1，４１-2，４１-3，４１-4・・・特徴量生成部、４２・・・シーンチェンジ検出部、４３・・・２Ｄ画像検出部、４５-1，４５-2，４５-3，４５-4・・・参照インデックス割り当て部、５１・・・イントラ予測部、５２，５２ａ・・・動き・視差予測補償部、５３・・・予測画像・最適モード選択部、６０・・・コンピュータ装置、６１・・・ＣＰＵ(Central Processing Unit)、６２・・・ＲＯＭ(Read Only Memory)、６３・・・ＲＡＭ(Random Access Memory)、６４・・・バス、６５・・・入出力インターフェース、６６・・・入力部、６７・・・出力部、６８・・・記録部、６９・・・通信部、７０・・・ドライブ、７２・・・リムーバブルメディア
【図１】
2012023651.tif 000003
【図２】
2012023651.tif 000004
【図３】
2012023651.tif 000005
【図４】
2012023651.tif 000006
【図５】
2012023651.tif 000007
【図６】
2012023651.tif 000008
【図７】
2012023651.tif 000009
【図８】
2012023651.tif 000010
【図９】
2012023651.tif 000011
【図１０】
2012023651.tif 000012
【図１１】
2012023651.tif 000013
【図１２】
2012023651.tif 000014