"第1の視点のピクチャに対して、時間方向に相違する前記第1の視点のピクチャと、前記第1の視点と相違する第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する特徴量生成部と、前記第1の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する参照ピクチャリスト生成部とを備える画像符号化装置。前記参照ピクチャリスト生成部は、前記第1の視点のピクチャがGOPにおける先頭ピクチャであるときの特徴量に基づく判別値が閾値以下である場合、次のピクチャでは前記参照ピクチャリストに前記第2の視点の参照ピクチャを含め、前記判別値が閾値よりも大きい場合、次のピクチャでは前記参照ピクチャリストを前記時間方向の参照ピクチャのみとする請求項1記載の画像符号化装置。前記参照ピクチャリスト生成部は、前記第1の視点のピクチャがGOPにおける先頭ピクチャであるときに得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持する請求項1記載の画像符号化装置。前記参照ピクチャリスト生成部は、前記参照ピクチャリストに前記第2の視点の参照ピクチャを含めた場合、該第2の視点の参照ピクチャを含めた場合の特徴量を保持し、所定期間前記参照ピクチャリストが前記時間方向の参照ピクチャのみである場合、GOPにおける先頭フレームのピクチャまたはフィールド毎の先頭ピクチャで算出した特徴量で前記保持している特徴量を更新する請求項1記載の画像符号化装置。前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストが前記時間方向のみの参照ピクチャである場合、当該ピクチャで算出した特徴量と前記保持されている特徴量を比較して、比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う請求項4記載の画像符号化装置。前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストに前記第2の視点の参照ピクチャを含む場合、前記時間方向の参照ピクチャのみの特徴量を推定した推定特徴量と前記第2の視点の参照ピクチャを含む場合の特徴量の比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う請求項1記載の画像符号化装置。前記特徴量生成部は、前記第1の視点のピクチャに対する参照ピクチャリストが前記時間方向の参照ピクチャのみ場合の特徴量と前記第2の視点のピクチャに対する特徴量とを用いて推定処理情報を生成しておき、前記特徴量を推定する前記第1の視点のピクチャに対応する前記第2の視点のピクチャの特徴量と前記推定処理情報から前記推定特徴量を算出する請求項6記載の画像符号化装置。前記参照ピクチャリスト生成部は、所定期間前記参照ピクチャリストが前記第2の視点の参照ピクチャを含む状態が継続した場合、前記参照ピクチャリストを前記時間方向の参照ピクチャのみとし、前記特徴量生成部は、前記参照ピクチャリストが前記時間方向の参照ピクチャのみとされたことにより前記推定処理情報の更新を行う請求項7記載の画像符号化装置。前記特徴量生成部は、SATD値またはSAD値を用いて前記特徴量の生成を行う請求項1記載の画像符号化装置。前記特徴量生成部は、前記特徴量として参照インデックスの割合を用いる請求項1記載の画像符号化装置。前記第1と第2のピクチャは、インタレース素材であり、前記参照ピクチャリスト生成部は、前記参照ピクチャリストが前記第2の視点の参照ピクチャを含む場合、前記特徴量に基づき前記時間方向の参照ピクチャから同相または逆相の参照ピクチャを選択する請求項1記載の画像符号化装置。第1の視点のピクチャに対して、時間方向に相違する前記第1の視点のピクチャと、前記第1の視点と相違する第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する工程と、前記第1の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する工程とを含む画像符号化方法。第1と第2の視点のピクチャの符号化処理を参照ピクチャリストを用いてコンピュータで実行させるプログラムであって、前記第1の視点のピクチャに対して、時間方向に相違する前記第1の視点のピクチャと、前記第1の視点と相違する前記第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する手順と、前記第1の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して前記参照ピクチャリストを生成する手順とを前記コンピュータで実行させるプログラム。ところで、動画像の圧縮符号化では、1視点に限らず多視点の動画像の圧縮符号化も行われている。多視点の動画像の圧縮符号化では、何れか1つ視点の動画像をベースビューとし、他の視点の動画像をディペンデントビューとして、ディペンデントビューは、ベースビューのピクチャや多視点の符号化済みのピクチャを参照ピクチャとして用いることが行われている。ここで、時間方向のみの参照ピクチャを用いるベースビューと、時間方向と視差方向の参照ピクチャを用いることが可能なディペンデントビューで参照ピクチャ数と等しくすると、ベースビューとディペンデントビューの処理量を同等にできる。したがって、エンコーダをベースビューとディペンデントビューで交互に利用して符号化を行う場合、処理量が同等とされていることから切り替え等の制御が容易となる。また、エンコーダをベースビューとディペンデントビューのそれぞれに設けて符号化を行う場合、処理量が同等とされていることからベースビューの符号化を行うエンコーダに比べて処理能力の高いエンコーダをディペンデントビューの符号化に用いる必要がない。しかし、ディペンデントビューの参照ピクチャ数を制限してベースビューの参照ピクチャ数と等しくすると、どのように参照ピクチャの選択を行うべきかという問題が生じる。そこで、この技術では、時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるように他視点の参照ピクチャ数分を選択して参照ピクチャリストを生成できる、画像符号化装置と画像符号化方法およびプログラムを提供することを目的とする。この技術の第1の側面は、第1の視点のピクチャに対して、時間方向に相違する前記第1の視点のピクチャと、前記第1の視点と相違する第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する特徴量生成部と、前記第1の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する参照ピクチャリスト生成部とを備える画像符号化装置にある。この技術の画像符号化装置では、第1の視点のピクチャ例えばディペンデントビューのピクチャに対して、時間方向に相違する参照ピクチャと、第1の視点と相違する第2の視点のピクチャ例えばベースビューの参照ピクチャの候補として、参照ピクチャの候補毎にピクチャの相関を示す特徴量、例えばSAD値やSATD値が算出される。また、ディペンデントビューのピクチャに対する参照ピクチャを、特徴量に基づき参照ピクチャの候補からベースビューのピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストが生成される。ここで、ディペンデントビューのピクチャがGOPの先頭であるアンカーピクチャであるときの特徴量に基づく判別値が閾値以下である場合、次のピクチャでは参照ピクチャリストにベースビューのピクチャすなわち視差方向の参照ピクチャが含められる。また、閾値よりも大きい場合、次のピクチャでは参照ピクチャリストが時間方向の参照ピクチャのみとされる。また、他の方法では、第1の視点のピクチャが先頭ピクチャであるときに得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンの更新または直前の参照ピクチャのパターンの維持が行われる。また、参照ピクチャリストにベースビューの参照ピクチャを含める場合、ベースビューの参照ピクチャを含めるときの特徴量が保持されて、所定期間参照ピクチャリストが時間方向の参照ピクチャのみとされた場合、保持されている特徴量がアンカーピクチャで算出した特徴量で更新される。また、当該ピクチャの参照ピクチャリストが時間方向の参照ピクチャのみである場合は、当該ピクチャで算出した特徴量と保持されている特徴量が比較されて、比較結果に基づき次のピクチャに対する参照ピクチャの選択が行われる。さらに、当該ピクチャの参照ピクチャリストにベースビューの参照ピクチャが含まれる場合、時間方向の参照ピクチャのみの特徴量が推定されて、推定特徴量とベースビューの参照ピクチャを含む場合の特徴量の比較結果に基づき次のピクチャに対する参照ピクチャの選択が行われる。推定特徴量は、ディペンデントビューのピクチャに対する参照ピクチャリストが時間方向の参照ピクチャのみ場合の特徴量とベースビューのピクチャの特徴量とを用いて推定処理情報を生成しておき、特徴量を推定するディペンデントビューのピクチャに対応するベースビューのピクチャの特徴量と推定処理情報を用いて算出される。推定処理情報は、所定期間参照ピクチャリストがベースビューの参照ピクチャを含む状態が継続した場合、参照ピクチャリストを時間方向の参照ピクチャのみとすることで更新される。さらに第1と第2のピクチャがインタレース素材であり、参照ピクチャリストがベースビューの参照ピクチャを含む場合、特徴量に基づき時間方向の参照ピクチャから同相または逆相の参照ピクチャが選択される。また、特徴量として参照インデックスの割合等も用いられる。この技術の第2の側面は、第1の視点のピクチャに対して、時間方向に相違する前記第1の視点のピクチャと、前記第1の視点と相違する第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する工程と、前記第1の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する工程とを含む画像符号化方法にある。この技術の第3の側面は、第1と第2の視点のピクチャの符号化処理を参照ピクチャリストを用いてコンピュータで実行させるプログラムであって、前記第1の視点のピクチャに対して、時間方向に相違する前記第1の視点のピクチャと、前記第1の視点と相違する前記第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する手順と、前記第1の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して前記参照ピクチャリストを生成する手順とを前記コンピュータで実行させるプログラムにある。なお、本技術のプログラムは、例えば、様々なプログラムコードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。この技術によれば、特徴量生成部では、第1の視点のピクチャに対して、時間方向に相違する第1の視点のピクチャと、第1の視点と相違する第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量が算出される。また、参照ピクチャリスト生成部では、第1の視点のピクチャに対する参照ピクチャを、特徴量に基づき参照ピクチャの候補から第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストが生成される。したがって、時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるようにピクチャを選択して第2の視点のピクチャと参照ピクチャ数の等しい参照ピクチャリストを生成できる。以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。1.画像符号化装置の構成2.画像符号化装置の動作3.特徴量生成部の構成と動作4.参照ピクチャリスト生成部の構成と動作5.プログレッシブ素材の場合の動作6.インタレース素材の場合の動作7.参照パターンの他の判定動作8.ソフトウェア処理の場合9.応用例<1.画像符号化装置の構成>図1は、本技術の画像符号化装置の一実施の形態の構成を示している。画像符号化装置10は、アナログ/ディジタル変換部A/D変換部11、画面並べ替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18を備えている。さらに、画像符号化装置10は、逆量子化部21、逆直交変換部22、加算部23、デブロッキングフィルタ処理部24、フレームメモリ25、セレクタ26、イントラ予測部31、動き予測補償部32、予測画像最適モード選択部33、特徴量生成部35、参照ピクチャリスト生成部36を備えている。A/D変換部11は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ12に出力する。画面並べ替えバッファ12は、A/D変換部11から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ12は、符号化処理に係るGOPGroupofPictures構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部13とイントラ予測部31と動き予測補償部32に出力する。減算部13には、画面並べ替えバッファ12から出力された画像データと、後述する予測画像最適モード選択部33で選択された予測画像データが供給される。減算部13は、画面並べ替えバッファ12から出力された画像データと予測画像最適モード選択部33から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部14に出力する。直交変換部14は、減算部13から出力された予測誤差データに対して、離散コサイン変換DCT;DiscreteCosineTransform、カルーネンレーベ変換等の直交変換処理を行う。直交変換部14は、直交変換処理を行うことにより得られた変換係数データを量子化部15に出力する。量子化部15には、直交変換部14から出力された変換係数データと、後述するレート制御部18からレート制御信号が供給されている。量子化部15は変換係数データの量子化を行い、量子化データを可逆符号化部16と逆量子化部21に出力する。また、量子化部15は、レート制御部18からのレート制御信号に基づき量子化パラメータ量子化スケールを切り替えて、量子化データのビットレートを変化させる。可逆符号化部16には、量子化部15から出力された量子化データと、後述するイントラ予測部31と動き予測補償部32および予測画像最適モード選択部33から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするマクロブロックタイプ、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部16は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ17に出力する。また、可逆符号化部16は、予測モード情報や後述する参照ピクチャリスト生成部36から供給された参照ピクチャリストの情報等を可逆符号化して、符号化ストリームに含める。蓄積バッファ17は、可逆符号化部16からの符号化ストリームを蓄積する。また、蓄積バッファ17は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。レート制御部18は、蓄積バッファ17の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部15に出力する。レート制御部18は、例えば蓄積バッファ17から空き容量を示す情報を取得する。レート制御部18は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部18は蓄積バッファ17の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。逆量子化部21は、量子化部15から供給された量子化データの逆量子化処理を行う。逆量子化部21は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部22に出力する。逆直交変換部22は、逆量子化部21から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部23に出力する。加算部23は、逆直交変換部22から供給されたデータと予測画像最適モード選択部33から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ処理部24とフレームメモリ25に出力する。デブロッキングフィルタ処理部24は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ処理部24は、加算部23から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ25に出力する。フレームメモリ25は、加算部23から供給された復号画像データとデブロッキングフィルタ処理部24から供給されたフィルタ処理後の復号画像データを参照画像の画像データとして保持する。セレクタ26は、イントラ予測を行うためにフレームメモリ25から読み出されたフィルタ処理前の参照画像データをイントラ予測部31に供給する。また、セレクタ26は、インター予測を行うためフレームメモリ25から読み出されたフィルタ処理後の参照画像データを動き予測補償部32に供給する。イントラ予測部31は、画面並べ替えバッファ12から出力された符号化対象画像の画像データとフレームメモリ25から読み出したフィルタ処理前の参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部31は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部31は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像最適モード選択部33に出力する。また、イントラ予測部31は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部16に出力する。動き予測補償部32は、マクロブロックに対応する全ての予測ブロックサイズで動き予測補償処理を行う。動き予測補償部32は、画面並べ替えバッファ12から読み出された符号化対象画像における各予測ブロックサイズの画像毎に、フレームメモリ25から読み出されたフィルタ処理後の参照画像データを用いて動きベクトルを検出する。さらに、動き予測補償部32は、検出した動きベクトルに基づいて参照画像に動き補償処理を施して予測画像の生成を行う。また、動き予測補償部32は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測補償部32は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像最適モード選択部33に出力する。また、動き予測補償部32は、コスト関数値の算出で用いる発生符号量を得るため、各予測ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部16に出力する。なお、動き予測補償部32は、インター予測モードとして、スキップドマクロブロックやダイレクトモードでの予測も行う。予測画像最適モード選択部33は、イントラ予測部31から供給されたコスト関数値と動き予測補償部32から供給されたコスト関数値を、マクロブロック単位で比較して、コスト関数値が少ないほうを、符号化効率が最良となる最適モードとして選択する。また、予測画像最適モード選択部33は、最適モードで生成した予測画像データを減算部13と加算部23に出力する。さらに、予測画像最適モード選択部33は、最適モードの予測モード情報を可逆符号化部16に出力する。特徴量生成部35は、符号化対象ピクチャと参照ピクチャとの相関を表す特徴量を生成する。特徴量の生成では、動き予測補償部32で動きベクトルの検出のために算出した例えば差分絶対値和であるSADSumofAbsoluteDifference値、または符号化ピクチャと参照ピクチャとの差分データに対して、アダマール変換をかけたものの差分絶対値和であるSATDSumofAbsoluteTransformedDifference値を利用して特徴量を生成する。また、動き予測補償部32で検出された動きベクトルに基づきグローバル動きベクトルを算出して特徴量として用いてもよい。さらに、レート制御部で得られるComplexityや予測画像最適モード選択部33で得られる参照インデックスの割合、およびカメラワークや視差情報や奥行情報などを用いることもできる。参照ピクチャリスト生成部36は、特徴量生成部35で生成された特徴量に基づき、視差方向のピクチャを参照ピクチャリストに含めるかどうかを判定する。参照ピクチャリスト生成部36は、所定単位毎に判定を行う。例えば、参照ピクチャリスト生成部36は、シーン単位毎に判定を行う場合、シーン判別を行い同一シーン内全体の特徴量を生成して判定を行う。また、参照ピクチャリスト生成部36は、GOP単位毎に判定を行う場合、GOP内の全体の特徴量を生成して判別を行う。さらに、参照ピクチャリスト生成部36は、ピクチャ単位毎に判定を行う場合、ピクチャタイプ別に特徴量を分けて生成して判定を行う。参照ピクチャリスト生成部36は、所定単位毎に判定を行うことにより得られた判定結果に基づき参照ピクチャリストを生成して可逆符号化部16に出力する。また、参照ピクチャリスト生成部36は、参照ピクチャリストで示された参照ピクチャをフレームメモリ25から動き予測補償部32に供給して符号化処理を行うようにする。<2.画像符号化装置の動作>図2は、画像符号化処理動作を示すフローチャートである。ステップST11において、A/D変換部11は入力された画像信号をA/D変換する。ステップST12において画面並べ替えバッファ12は、画面並べ替えを行う。画面並べ替えバッファ12は、A/D変換部11より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。ステップST13において減算部13は、予測誤差データの生成を行う。減算部13は、ステップST12で並べ替えられた画像の画像データと予測画像最適モード選択部33で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。なお、予測画像最適モード選択部33でイントラ予測部31から供給された予測画像と動き予測補償部32からの予測画像の選択がスライス単位で行われるとき、イントラ予測部31から供給された予測画像が選択されたスライスでは、イントラ予測が行われる。また、動き予測補償部32からの予測画像が選択されたスライスでは、インター予測が行われる。ステップST14において直交変換部14は、直交変換処理を行う。直交変換部14は、減算部13から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネンレーベ変換等の直交変換が行われ、変換係数データを出力する。ステップST15において量子化部15は、量子化処理を行う。量子化部15は、変換係数データを量子化する。量子化に際しては、後述するステップST25の処理で説明されるように、レート制御が行われる。ステップST16において逆量子化部21は、逆量子化処理を行う。逆量子化部21は、量子化部15により量子化された変換係数データを量子化部15の特性に対応する特性で逆量子化する。ステップST17において逆直交変換部22は、逆直交変換処理を行う。逆直交変換部22は、逆量子化部21により逆量子化された変換係数データを直交変換部14の特性に対応する特性で逆直交変換する。ステップST18において加算部23は、復号画像データの生成を行う。加算部23は、予測画像最適モード選択部33から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号画像データを生成する。ステップST19においてデブロッキングフィルタ処理部24は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部24は、加算部23より出力された復号画像データをフィルタリングしてブロック歪みを除去する。また、デブロッキングフィルタ処理部24は、画像データを記憶するラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようする。具体的には、デブロッキングフィルタ処理部24は、垂直方向のブロック間の境界検出によって検出された境界に応じて、境界の上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御する。ステップST20においてフレームメモリ25は、復号画像データを記憶する。フレームメモリ25は、デブロッキングフィルタ処理前の復号画像データを記憶する。ステップST21においてイントラ予測部31と動き予測補償部32は、それぞれ予測処理を行う。すなわち、イントラ予測部31は、イントラ予測モードのイントラ予測処理を行い、動き予測補償部32は、インター予測モードの動き予測補償処理を行う。この処理により、候補となる予測モードでの予測処理がそれぞれ行われ、候補となる予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像最適モード選択部33に供給される。また、予測処理において、動き予測補償部32は、参照ピクチャリスト生成部36で生成された参照ピクチャリストで示された参照ピクチャを用いて予測画像の生成を行う。ステップST22において予測画像最適モード選択部33は、予測画像データの選択を行う。予測画像最適モード選択部33は、イントラ予測部31および動き予測補償部32より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像最適モード選択部33は、決定した最適モードの予測画像データを選択して、減算部13と加算部23に供給する。この予測画像が、上述したように、ステップST13,ST18の演算に利用される。ステップST23において可逆符号化部16は、可逆符号化処理を行う。可逆符号化部16は、量子化部15より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップST22において可逆符号化部16に入力された予測モード情報や参照ピクチャリストの情報等も可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。ステップST24において蓄積バッファ17は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ17に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。ステップST25においてレート制御部18は、レート制御を行う。レート制御部18は、蓄積バッファ17で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ17で発生しないように、量子化部15の量子化動作のレートを制御する。<3.特徴量生成部の構成と動作>図3は、特徴量生成部の構成を示している。以下、ディペンデントビューの参照ピクチャリストの生成に用いる特徴量の生成について説明する。また、特徴量生成部35は、例えばピクチャ内で各ブロックの最適モードとして選択されたときのSATD値のピクチャ内の平均値を用いて特徴量の生成を行う。特徴量生成部35は、ディペンデントビューのピクチャに対して、時間方向に相違する参照ピクチャと、ベースビューの参照ピクチャを候補として、参照ピクチャの候補毎にピクチャの相関を示す特徴量の生成を行い、生成した特徴量を参照ピクチャリスト生成部36に出力する。また、特徴量生成部35は、特徴量を推定するための推定処理情報を生成して参照ピクチャリスト生成部36に出力する。さらに、特徴量生成部35は、参照ピクチャリスト生成部36で生成された参照ピクチャリストに基づき記憶している特徴量や推定処理情報の更新等を行う。特徴量生成部35は、視差有り特徴量更新部351、視差有り特徴量記憶部352、推定処理情報更新部353、推定処理情報記憶部354を有している。視差有り特徴量更新部351は、時間予測と視差予測が行われる場合において、視差方向の参照ピクチャを動き予測で利用した場合の特徴量を視差有り特徴量SATDivとして視差有り特徴量記憶部352に記憶する。また、視差有り特徴量更新部351は、その後、視差有り特徴量SATDivが算出される毎に、視差有り特徴量記憶部352に記憶されている視差有り特徴量SATDivを更新する。さらに、視差有り特徴量更新部351は、所定期間例えば1または複数GOP期間で一度も視差有り特徴量SATDivが更新されない場合、後述するようにピクチャタイプ毎に視差有り特徴量SATDivの更新を行う。視差有り特徴量更新部351は、更新後の視差有り特徴量SATDivを参照ピクチャリスト生成部36に出力する。このように、視差有り特徴量更新部351は、視差有り特徴量SATDivの更新を行うことで、視差有り特徴量SATDivが更新されないために相関のない特徴量となってしまうことを防止する。推定処理情報更新部353は、時間予測のみが行われる場合の特徴量を推定するために用いる推定処理情報Pscを算出して推定処理情報記憶部354に記憶させる。また、推定処理情報更新部353は、その後、推定処理情報記憶部354に記憶されている推定処理情報Pscの更新を行う。推定処理情報更新部353は、式1に示すように、ディペンデントビューが時間予測のみの場合に、ディペンデントビューの特徴量SATDdvとベースビューの特徴量SATDbvの比率を計算して推定処理情報Pscとする。また、時間予測と視差予測がある場合は、既に算出されている推定処理情報Pscn-1を用いる。時間的な距離が近ければ、異なる時刻の画像であっても推定処理情報Pscが似たような値となることが、実験的に明らかとなっているからである。さらに、推定処理情報更新部353は、視差予測を含む状態が継続すると、推定処理情報Pscの更新が行われないため、時間的な距離が離れていくほど推定処理情報Pscの相関が低くなる。そのため、所定期間、参照ピクチャリストに視差方向の参照ピクチャが含まれる状態が継続した場合は、後述する時間方向強制符号化判定部362で強制的に、参照ピクチャリストを時間方向の参照ピクチャのみとして推定処理情報Pscを更新させる。推定処理情報更新部353は、このようにして推定処理情報Pscの更新を行い、更新された推定処理情報Pscを用いて、時間予測のみを行うものとして推定する特徴量である推定特徴量SATDtmを式2に基づき算出して参照ピクチャリスト生成部36に出力する。SATDtm=Psc×SATDbv2また、視差有り特徴量更新部351や推定処理情報更新部353は、過去の情報を考慮して更新を行うようにしてもよい。例えば式34で示すようにIIRフィルタで過去の情報を考慮して更新を行うことにより、更新後の視差有り特徴量SATDivn’や推定処理情報Pscn’を算出できる。ただし、GOP単位で一度も視差有り特徴量が更新されない場合や複数GOP期間で一度も推定処理情報が更新されない場合を除く。また、k1,k2は係数である。SATDivn’=k1×SATDivn-11-k1×SATDivn3Pscn’=k2×Pscn-11-k2×Pscn4<4.参照ピクチャリスト生成部の構成と動作>図4は、参照ピクチャリスト生成部の構成を示している。参照ピクチャリスト生成部36は、参照パターン判定部361、時間方向強制符号化判定部362、参照ピクチャリスト記憶部363を有している。参照パターン判定部361は、参照ピクチャリストに視差方向の参照ピクチャを含めるかどうかを判定する。参照パターン判定部361は、GOP先頭ピクチャで後述するように視差予測のみを行うことから、参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、参照パターン判定部361は、ディペンデントビューがプログレッシブ素材の場合、GOP先頭ピクチャの特徴量に基づく判別値と閾値の比較結果に基づき、GOP先頭の次のピクチャの参照パターンを判別する。参照パターン判定部361は、例えば式5のように先頭ピクチャの特徴量SATDdvに基づく判別値1/SATDdvが閾値TH0よりも大きい場合、次のPピクチャやBピクチャの参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、参照パターン判定部361は、判別値が閾値TH0以下である場合、参照パターンを時間方向の参照ピクチャのみのパターンとする。1/SATDdv>TH05参照パターン判定部361は、インタレース素材の場合、ディペンデントビューのGOP先頭の次のピクチャ、すなわちGOPにおける次のフィールドの先頭ピクチャは後述するように常に時間予測と視差予測を行うことから、参照パターンを視差方向の参照ピクチャを含めたパターンとする。さらに、参照パターン判定部361は、ディペンデントビューにおける当該ピクチャの特徴量SATDdvとベースビューの特徴量SATDbvとの比較結果に基づきディペンデントビューにおける各ピクチャタイプの参照パターンを判別する。例えば、式6のように、特徴量SATDdvに対する特徴量SATDbvの割合を示す判別値SATDbv/SATDdvが閾値TH1よりも大きい場合、参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値TH1以下である場合、参照パターンを時間方向の参照ピクチャのみのパターンとする。SATDbv/SATDdv>TH16また、参照パターン判定部361は、ディペンデントビューの特徴量SATDdvとベースビューの特徴量SATDbvの差分を判別値として参照パターンを判別することもできる。例えば式7に示すように、判別値SATDbv-SATDdvが閾値TH2よりも大きい場合、参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値TH2以下である場合、参照パターンを時間方向の参照ピクチャのみのパターンとする。SATDbv-SATDdv>TH27参照パターン判定部361は、その後のピクチャにおいて参照パターンが視差方向の参照ピクチャを含めたパターンである場合、式8に示すように、視差有り特徴量SATDivに対する推定特徴量SATDtmの割合を閾値TH3と比較する。参照パターン判定部361は、比較結果に基づき参照パターンを判定する。SATDtm/SATDiv≦TH38ここで、参照パターン判定部361は、視差有り特徴量SATDivに対する推定特徴量SATDtmの割合が閾値TH3以下である場合、現ピクチャタイプの参照パターンを時間方向の参照ピクチャのみのパターンとする。また、割合が閾値TH3よりも大きい場合、視差方向の参照ピクチャを含めたパターンを維持する。また、参照パターン判定部361は、その後のピクチャにおいて参照パターンが時間方向の参照ピクチャのみのパターンである場合、式9に示すように、直近の視差有り特徴量SATDiveに対する特徴量SATDdvの割合を閾値TH4と比較する。参照パターン判定部361は、比較結果に基づき参照パターンを判定する。SATDdv/SATDive>TH49ここで、参照パターン判定部361は、直近の視差有り特徴量SATDiveに対するディペンデントビューの特徴量SATDdvの割合が閾値TH4よりも大きい場合、現ピクチャタイプの参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、割合が閾値TH4以下である場合、時間方向の参照ピクチャのみのパターンを維持する。直近の視差有り特徴量とは、ピクチャ毎に視差有り特徴量が更新されている場合、最後に更新された視差有り特徴量である。ピクチャタイプ別に視差有り特徴量が更新されている場合、最後に更新された同一のピクチャタイプの視差有り特徴量である。推定処理情報Pscも同様に、ピクチャ毎に更新したものでも、ピクチャタイプ別に更新したものでもよい。また、式89のように比率による判定だけでなく、推定特徴量SATDtmと視差有り特徴量SATDivとの差分、ディペンデントビューの特徴量SATDdvと直近の視差有り特徴量SATDiveとの差分を判別値としてもよい。すなわち、特徴量の比較結果に基づいて、参照パターンの判定を行う。さらに、参照パターン判定部361は、参照パターンの他の判別方法として、ディペンデントビューの先頭ピクチャにおいて得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持するようにしてもよい。例えば、ディペンデントビューのGOP先頭ピクチャすなわちトップフィールドの先頭ピクチャでは、時間方向の参照ピクチャを利用できないので、参照ピクチャは常に視差方向の参照ピクチャのみとなる。次に、GOP先頭ピクチャの次のフィールドの先頭ピクチャ、すなわちGOPにおけるボトムフィールドの先頭ピクチャでは、特徴量SATDdvに対する特徴量SATDbvの割合を示す判別値SATDbv/SATDdvが閾値よりも大きい場合、参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値よりも小さい場合、ピクチャタイプ毎にパターンを判定する。ピクチャタイプ毎のパターンの判定において、直前の参照ピクチャのパターンが視差方向の参照ピクチャを含めたパターンである場合、視差有り特徴量SATDivに対する推定特徴量SATDtmの割合SATDtm/SATDivを閾値と比較して、割合が閾値以下である場合、現ピクチャタイプの参照パターンを時間方向の参照ピクチャのみのパターンとする。また、割合が閾値よりも大きい場合、直前の参照ピクチャのパターンを維持する。また、ピクチャタイプ毎のパターンの判定において、直前の参照ピクチャのパターンが時間方向の参照ピクチャのみのパターンである場合、直近の視差有り特徴量SATDiveに対する特徴量SATDdvの割合SATDdv/SATDiveを閾値と比較して、割合が閾値よりも大きい場合、現ピクチャタイプの参照パターンを視差方向の参照ピクチャを含むパターンとする。また、割合が閾値以下である場合、直前の参照ピクチャのパターンを維持する。このようにして、参照パターンを判別するようにしてもよい。さらに、シーン別に判定する場合は、シーン全体の時間予測のみの特徴量SATDと視差有りのSATDをピクチャ毎に集計して正規化し、2つのSATDを比較して参照ピクチャリストパターンを決める。またシーンチェンジ先頭ピクチャなどの常に視差予測が利用できるピクチャのSATDとベースビューのSATDを比較してシーン全体の参照パターンを判定してもよい。さらに、GOP単位の判定も同様にして行うことができる。時間方向強制符号化判定部362は、参照パターン判定部361の判別結果に係らず、所定のピクチャを時間予測のみを行うパターンとして設定する処理を行う。時間方向強制符号化判定部362は、強制的に時間予測のみを行うように設定するピクチャとして、複数GOP期間の最後のピクチャを指定する。また、ピクチャタイプ別に判定する場合は、複数GOP期間の最後のピクチャを強制的に時間予測に設定してもよいし、ピクチャタイプ別に複数GOP期間の最後のピクチャを強制的に時間予測に設定してもよい。参照ピクチャリスト記憶部363は、参照パターン判定部361で判別された参照パターンおよび時間方向強制符号化判定部362で強制的に設定された参照パターンに基づく参照ピクチャリストを記憶する。図5は、特徴量生成部と参照ピクチャリスト生成部の動作を示すフローチャートである。ステップST31で画像符号化装置10は、シーケンス先頭ピクチャであるか判別する。画像符号化装置10の参照ピクチャリスト生成部36は、ピクチャがシーケンス先頭ピクチャである場合、ステップST32に進み、シーケンス先頭ピクチャでない場合、ステップST34に進む。ステップST32で画像符号化装置10は、参照パターンの初期化を行う。参照ピクチャリスト生成部36は、参照パターンを時間方向の参照ピクチャのみのパターンに初期化してステップST33に進む。ステップST33で画像符号化装置10は、視差有り特徴量の初期化を行う。画像符号化装置10の特徴量生成部35は、視差有り特徴量SATDivを初期値に設定してステップST31に戻る。ステップST34で画像符号化装置10は、GOP先頭ピクチャであるか判別する。インタレース素材の場合、画像符号化装置10は、ピクチャがGOP先頭である場合にステップST46に進み、GOP先頭でない場合にステップST35に進む。また、プログレッシブ素材の場合、画像符号化装置10は、ピクチャがGOP先頭である場合に破線で示すようにステップST36に進み、GOP先頭でない場合に破線で示すようにステップST37に進む。プログレッシブ素材の場合、GOP先頭のピクチャは常に視差方向の参照ピクチャを含むが、GOP先頭の次のピクチャは参照できる参照ピクチャの枚数が2枚以上ない限り、必ずしも視差方向の参照ピクチャを含むパターンで符号化されるとは限らない。つまり、参照ピクチャの枚数が1枚である場合、時間方向のみの参照ピクチャで符号化されると後述するステップST36の処理を正しく行うことができないが、GOP先頭のピクチャは、必ず視差方向の参照ピクチャを含むパターンで符号化されるので、ステップST36の処理を正しく行うことができるからである。ステップST35で画像符号化装置10は、GOP先頭の次のピクチャであるか判別する。画像符号化装置10は、ピクチャがGOP先頭の次のピクチャである場合にステップST36に進み、GOP先頭の次のピクチャでない場合にステップST37に進む。ステップST36で画像符号化装置10は、所定期間更新されていない視差有り特徴量の更新を行う。視差有り特徴量SATDivは、更新が長期間行われないと相関が低下する。また、インタレース素材の場合、GOP先頭の次のピクチャでは、後述するように参照パターンが視差方向の参照ピクチャを含めたパターンとされる。したがって、特徴量生成部35は、所定期間例えば直前のGOP間で一度も更新されていないピクチャタイプの視差有り特徴量SATDivを、GOP先頭の次のピクチャの特徴量を用いて更新してステップST46に進む。ステップST37で画像符号化装置10は、参照パターンは時間予測のみであるか判別する。参照ピクチャリスト生成部36は、参照パターンが時間予測のみであるか判別して、参照パターンが時間方向の参照ピクチャのみのパターンである場合にステップST38に進み、参照パターンが視差方向の参照ピクチャを含むパターンである場合にステップST39に進む。ステップST38で画像符号化装置10は、推定処理情報の更新を行う。特徴量生成部35は、ベースビューの特徴量SATDbvとディペンデントビューの特徴量SATDdvを用いて推定処理情報Pscの更新を行ってステップST40に進む。ステップST39で画像符号化装置10は、視差有り特徴量SATDivの更新を行う。特徴量生成部35は、参照パターンが視差方向の参照ピクチャを含めたパターンであることから、ディペンデントビューの特徴量SATDdvを用いて視差有り特徴量SATDivの更新を行ってステップST40に進む。ステップST40で画像符号化装置10は、参照パターンの判定を行う。参照ピクチャリスト生成部36は、当該ピクチャの参照パターンが視差方向の参照ピクチャを含めたパターンである場合、視差有り特徴量SATDivと推定特徴量SATDtmに基づく判定値を閾値と比較して、比較結果に基づき次のピクチャの参照パターンを判定する。また、参照ピクチャリスト生成部36は、当該ピクチャの参照パターンが時間方向の参照ピクチャのみのパターンである場合、直近の視差有り特徴量SATDiveとディペンデントビューの特徴量SATDdvに基づく判定値と閾値を比較する。参照ピクチャリスト生成部36は、比較結果に基づき次のピクチャの参照パターンを判定する。このように、参照ピクチャリスト生成部36は、当該ピクチャの参照パターンに応じた特徴量の比較を行い、比較結果に基づいて次のピクチャの参照パターンを判定してステップST41に進む。ステップST41で画像符号化装置10は、所定期間の最後のピクチャであるか判定する。参照ピクチャリスト生成部36は、ピクチャが所定期間例えば複数GOPの最後のピクチャである場合にステップST42に進み、最後のピクチャでない場合にステップST46に進む。ステップST42で画像符号化装置10は、所定期間中に参照パターンが時間予測のみと判定されていないか判別する。参照ピクチャリスト生成部36は、所定期間例えば複数GOP期間で一度も参照パターンが時間方向の参照ピクチャのみのパターンと判定されていない場合にステップST43に進む。また、参照ピクチャリスト生成部36は、少なくとも一度、時間方向の参照ピクチャのみのパターンと判定されている場合にステップST46に進む。ステップST43で画像符号化装置10は、参照パターンを時間予測のみに設定する。参照ピクチャリスト生成部36は、参照パターンを強制的に時間方向の参照ピクチャのみのパターンに設定してステップST44に進む。ステップST44で画像符号化装置10は、推定処理情報Pscの更新を行う。特徴量生成部35は、参照パターンを強制的に時間方向の参照ピクチャのみのパターンに設定されたことから、所定期間例えば複数GOP中に一度も更新されていないピクチャタイプの推定処理情報Pscの更新を行ってステップST45に進む。ステップST45で画像符号化装置10は、参照パターンを元に戻す。参照ピクチャリスト生成部36は、参照パターンを強制的に時間方向の参照ピクチャのみで符号化する前に決まっていた参照パターンに戻してステップST31に戻り、次のピクチャの判定を行う。ステップST46で画像符号化装置10は、所定ピクチャの参照パターン設定処理を行う。プログレッシブ素材である場合、参照ピクチャリスト生成部36は、後述するようにアンカーピクチャであるGOP先頭のピクチャの参照パターンを視差有りのパターンに設定する。さらに、参照パターン判定部361は、GOP先頭ピクチャの特徴量に基づく判別値と閾値の比較結果に基づき、GOP先頭の次のピクチャの参照パターンを判別する。参照パターン判定部361は、例えば先頭ピクチャの特徴量SATDdvに基づく判別値1/SATDdvが閾値TH0以下である場合、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。また、参照パターン判定部361は、判別値が閾値よりも大きい場合、次のピクチャの参照パターンを視差方向の参照ピクチャを含めたパターンとしてステップST31に戻る。ピクチャタイプ毎の参照パターンの判別において、参照パターンが視差方向の参照ピクチャを含めたパターンである場合、上述のように判別値SATDtm/SATDivと閾値TH3との比較結果に基づき、現ピクチャタイプの参照パターンを時間方向の参照ピクチャのみのパターン、または視差方向の参照ピクチャが含まれている直前のパターンと判別する。また、参照パターンが時間方向の参照ピクチャのみのパターンである場合、上述のように判別値SATDdv/SATDiveと閾値TH4との比較結果に基づき、視差方向の参照ピクチャを含めたパターン、または時間方向の参照ピクチャのみである直前のパターンと判別する。また、インタレース素材である場合、後述するようにGOP先頭のピクチャがアンカーピクチャであることから、参照ピクチャリスト生成部36は、GOP先頭のピクチャと次のピクチャGOP先頭とフィールドが相違するの参照パターンを視差方向の参照ピクチャを含めたパターンに設定する。さらに、参照パターン判定部361は、GOP先頭の次のピクチャ、すなわちGOPにおける次フィールドの先頭ピクチャで算出した特徴量SATDdvとベースビューの特徴量SATDbvを比較する。参照パターン判定部361は、比較結果に基づきディペンデントビューにおける次のピクチャタイプの参照パターンを判別する。すなわち、参照パターン判定部361は、特徴量SATDdvと特徴量SATDbvに基づく判別値と閾値との比較結果に基づきディペンデントビューにおける次のピクチャタイプの参照パターンを判別してステップST31に戻る。このようにして、参照ピクチャリスト生成部36は、ディペンデントビューの各ピクチャについて参照パターンの判定を行い、判定結果に基づいて参照ピクチャリストを生成する。なお、参照パターンの判定は、上述の他の方法を用いてもよい。参照ピクチャリストにおいて、参照ピクチャに対する参照インデックスの割り当ては、例えば特徴量SATDが小さい方の参照ピクチャに対して符号長の短い参照インデックスを割り当てる。また、参照インデックスの割り当ては、他の方法として参照インデックスの割合を利用する方法も考えられる。すなわち、次のピクチャの参照パターンが視差方向の参照ピクチャを含む場合は、時間方向と視差方向の参照ピクチャのインター予測時に選ばれる参照インデックスの割合の多い方を、次のピクチャの参照リストの符号長の短い参照インデックスに割り当てる。また、次のピクチャの参照パターンが時間方向の参照ピクチャのみの場合は、時間方向の参照ピクチャのインター予測時に選ばれる参照インデックスの割合の多い方を、次のピクチャの参照リストの符号長の短い参照インデックスに割り当てる。このように、参照インデックスの割合を利用して参照インデックスの割り当てを行うこともできる。<5.プログレッシブ素材の場合の動作>次に、プログレッシブ素材の場合の動作について具体的に説明する。図6は、ベースビューとディペンデントビューの一般的な参照関係を示している。ディペンデントビューの参照ピクチャ数は、ベースビューの参照ピクチャ数に対してベースビュー方向のピクチャが参照可能であることから、図6に示す参照関係の場合、ベースビューよりも1枚多い枚数となる。具体的には、ベースビューにおけるPピクチャの参照ピクチャは1枚でBピクチャの参照ピクチャは2枚となり、ディペンデントビューにおけるPピクチャの参照ピクチャは2枚でBピクチャの参照ピクチャは3枚となる。なお、最初のピクチャはアンカーピクチャである。図7は、ベースビューとディペンデントビューで参照ピクチャ数を等しくした場合の参照関係を例示している。具体的には、ベースビューにおけるPピクチャの参照ピクチャは1枚でBピクチャの参照ピクチャは2枚、ディペンデントビューにおけるPピクチャの参照ピクチャは1枚でBピクチャの参照ピクチャは2枚とする。この図7から明らかなように、ディペンデントビューでは、時間方向または視差方向の何れかの参照ピクチャを削減しなければならない。次に、ベースビューとディペンデントビューで参照ピクチャ数を等しくした場合の参照ピクチャリストの生成動作を説明する。図8は、最初のピクチャの参照関係を示している。ベースビューとディペンデントビューにおけるGOPの最初のピクチャはアンカーピクチャanchorI,anchorPである。したがって、参照ピクチャリスト生成部36は、ディペンデントビューの先頭のPピクチャPd0では、ベースビューのIピクチャIb0のみを参照ピクチャとする。図9は、ディペンデントビューの処理において、判別値が閾値よりも大きい場合、図10はディペンデントビューの処理において、判別値が閾値以下である場合をそれぞれ示している。判別値1/SATDdvが閾値よりも大きい場合、参照ピクチャリスト生成部36は、図9に示すように、ディペンデントビューの2番目以降のBピクチャBd1やPピクチャPd2の参照パターンを、視差方向の参照ピクチャを含めたパターンとする。なお、特徴量1/SATDdvが閾値よりも大きい場合、上述のように、視差方向の参照ピクチャを含めたパターンとする。参照ピクチャリスト生成部36は、判別値1/SATDdvが閾値以下である場合、図10に示すように、ディペンデントビューの2番目以降のBピクチャBd1やPピクチャPd2の参照パターンを、時間方向の参照ピクチャのみのパターンとする。また、図11に示すように、直前の所定期間において1度も参照パターンが視差方向の参照ピクチャを含めたパターンとされていない場合、特徴量生成部35は、当該ピクチャの特徴量SATDdvを視差有り特徴量SATDivとする。例えば、直前の1GOPの期間において、ディペンデントビューにおけるアンカーピクチャ以外、1度も視差方向の参照ピクチャを含めたパターンとされていない場合、特徴量生成部35は、当該GOPのディペンデントビューにおけるアンカーピクチャで求めた特徴量、すなわちPピクチャPd0で求めた特徴量SATDdvを、以降のピクチャの視差有り特徴量SATDivとしてピクチャのタイプ別に保存する。参照ピクチャリスト生成部36は、次のPピクチャにおいて、現Pピクチャが時間予測のみである場合、保存されている直近の視差有り特徴量SATDiveと現Pピクチャで算出した特徴量SATDdvを比較して、比較結果に基づき参照ピクチャを決定する。特徴量の比較は、2つの特徴量の差分または比率を判別値として閾値と比較する。ここで、判別値SATDdv-SATDiveが閾値THaよりも大きい場合、または判別値SATDdv/SATDiveが閾値THbよりも大きい場合、参照ピクチャリスト生成部36は、次のPピクチャの参照パターンを視差方向の参照ピクチャを含めたパターン、もしくは直前のパターンを維持する。また、閾値THa,THb以下である場合、参照ピクチャリスト生成部36は、次のPピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。図12は、現ピクチャが時間予測のみである場合を示している。参照ピクチャリスト生成部36は、例えば現PピクチャPd2の参照パターンが時間方向の参照ピクチャのみのパターンである場合、保存されている直近の視差有り特徴量SATDiveとPピクチャPd2で算出した特徴量SATDdvを比較する。参照ピクチャリスト生成部36は、判別値SATDdv-SATDiveが閾値THaよりも大きい場合、PピクチャPd2の次のPピクチャPd4の参照パターンを、一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDdv/SATDiveが閾値THbよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部36は、判別値が閾値以下である場合、次のPピクチャPd4の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、特徴量生成部35は、ベースビューとディペンデントビューの特徴量から推定処理情報PscPsc=SATDdv/SATDbvを算出しておく。特徴量生成部35は、現Pピクチャが視差予測を含む場合、推定特徴量SATDtmを算出する。推定特徴量SATDtmは、ベースビューの特徴量SATDbvに推定処理情報Pscを乗算することで算出する。さらに、参照ピクチャリスト生成部36は、推定特徴量SATDtmと視差有り特徴量SATDivを比較して、比較結果に基づき参照パターンを設定する。特徴量の比較は、上述のように2つの特徴量の差分または比率を判別値として閾値と比較する。判別値SATDtm-SATDivが閾値THcよりも大きい場合、または判別値SATDtm/SATDivが閾値THdよりも大きい場合、参照ピクチャリスト生成部36は、次のPピクチャの参照パターンを引き続き視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値以下である場合、参照ピクチャリスト生成部36は、次のPピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。図13は、現ピクチャが視差予測を含む場合を示している。特徴量生成部35は、例えば現PピクチャPd4の参照パターンが視差方向の参照ピクチャを含むパターンである場合、ベースビューのPピクチャPb4の特徴量SATDbvに推定処理情報Pscを乗算して推定特徴量SATDtmを算出する。参照ピクチャリスト生成部36は、算出された推定特徴量SATDtmとPピクチャPd4で算出した視差有り特徴量SATDivを比較する。参照ピクチャリスト生成部36は、判別値SATDtm-SATDivが閾値THcよりも大きい場合、次のPピクチャPd6の参照パターンを一点鎖線の矢印で示すように引き続き視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDtm/SATDivが閾値THdよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部36は、判別値が閾値以下である場合、次のPピクチャPd6の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、現Pピクチャで算出された視差有り特徴量SATDivを次のPピクチャの視差有り特徴量とみなして保存する。特徴量生成部35と参照ピクチャリスト生成部36は、BピクチャにおいてもPピクチャと同様に処理を行う。参照ピクチャリスト生成部36は、視差方向の参照ピクチャを含めた場合の特徴量と時間方向の参照ピクチャのみの場合の特徴量に基づく判別値と閾値との比較結果に基づき、参照パターンとして視差方向のピクチャを参照ピクチャに含めるか判定する。図14は、Bピクチャにおいて現ピクチャが時間予測のみである場合を示している。参照ピクチャリスト生成部36は、例えば現BピクチャPd1の参照パターンが時間方向の参照ピクチャのみのパターンである場合、保存されている直近の視差有り特徴量SATDiveと現ピクチャすなわちBピクチャBd1の特徴量SATDdvを用いて比較を行い、比較結果に基づいて次のBピクチャBd3の参照パターンを決定する。特徴量の比較は、2つの特徴量の差分または比率を判別値として閾値と比較する。判別値SATDdv-SATDiveが閾値THeよりも大きい場合、参照ピクチャリスト生成部36は、次のBピクチャBd3の参照パターンを一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDdv/SATDiveが閾値THfよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部36は、判別値が閾値以下である場合、次のBピクチャBd3の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。ところで、視差予測を含める場合の特徴量である視差有り特徴量SATDivは、ディペンデントビューにおけるGOP先頭のPピクチャで少なくとも1回は更新される。しかし、視差方向の参照ピクチャを含めたパターンが続くと、時間方向の参照ピクチャのみのパターンを用いた参照パターンにおける特徴量SATDdvが算出されないため、推定処理情報Pscの更新されない期間は長くなってしまう。推定特徴量SATDtmは、上述のようにベースビューの特徴量SATDbvに推定処理情報Pscを乗算して算出していることから、推定処理情報Pscが更新されない期間が長くなることにより、推定特徴量SATDtmの信頼度が低くなる。したがって、参照ピクチャリスト生成部36は、参照パターンの判定を適切に行うことができなくなってしまうおそれがある。そこで、参照ピクチャリスト生成部36は、所定期間例えば数GOPの期間中に、参照パターンが時間方向の参照ピクチャのみのパターンとされていない場合、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。このように、参照パターンを時間方向の参照ピクチャのみのパターンとすることで、特徴量生成部35は推定処理情報Pscを更新できる。図15は、参照パターンを時間方向の参照ピクチャのみのパターンに設定して推定処理情報Pscを更新する場合を示している。例えば、視差方向の参照ピクチャを含めた参照パターンが所定期間継続された場合、参照ピクチャリスト生成部36は、次のBピクチャBdrの参照パターンを時間方向の参照ピクチャのみのパターンとする。また、参照ピクチャリスト生成部36は、ピクチャタイプが異なるPピクチャPdsについても、参照パターンを時間方向の参照ピクチャのみのパターンとする。このように本技術では、ディペンデントビューにおいて、符号化効率が高くなるように時間方向の参照ピクチャ、または視差方向を含めたピクチャがベースビューと同じ枚数だけ参照ピクチャとして選択できるので、ベースビューよりも符号化効率を改善できる。また、ベースビューとディペンデントビューで参照ピクチャの枚数が等しいことから、既存のエンコーダを流用して、交互にベースビューとディペンデントビューを符号化してMVCを実現する場合、ベースビューとディペンデントビューの処理量を同等にできる。また、既存のエンコーダを2つ使って、一方のエンコーダでベースビューの圧縮符号化、他方のエンコーダでディペンデントビューの圧縮符号化を行いMVCを実現する場合、ベースビューとディペンデントビューの処理量を同等とすることができるので、ディペンデントビューのために処理能力の高いエンコーダを用いる必要がない。<6.インタレース素材の場合の動作>ところで、上述の実施の形態では、プログレッシブ素材の場合について説明したが、インタレース素材に対しても、同様な処理を行うことで、符号化効率を良好とすることができる。なお、本技術の理解を容易とするため、画像はIピクチャとPピクチャで構成されているとする。図16は、ベースビューとディペンデントビューがインタレース素材である場合の参照関係を示している。ベースビューにおけるトップフィールドの先頭のIピクチャは、アンカーピクチャである。また、このIピクチャは、ベースビューのボトムフィールドとディペンデントビューにおけるトップフィールドの先頭のPピクチャ、およびベースビューにおけるトップフィールドの次のPピクチャで参照される。ベースビューにおけるボトムフィールドの先頭のPピクチャは、アンカーピクチャ直後のピクチャであり、トップフィールドのIピクチャを参照する。また、このピクチャは、ディペンデントビューのボトムフィールドの先頭のPピクチャ、およびベースビューにおけるトップフィールドおよびボトムフィールドの次のPピクチャで参照される。ディペンデントビューにおけるトップフィールドの先頭のPピクチャは、アンカーピクチャであり、ベースビューのトップフィールドのIピクチャを参照する。また、このアンカーピクチャは、ディペンデントビューのボトムフィールドにおける先頭のPピクチャと、ディペンデントビューにおけるトップフィールドの次のPピクチャで参照される。ディペンデントビューにおけるボトムフィールドの先頭のPピクチャは、アンカーピクチャ直後のピクチャであり、ディペンデントビューにおけるトップフィールドの先頭のPピクチャを参照する。また、このピクチャは、ディペンデントビューのトップフィールドやボトムフィールドの次のPピクチャで参照される。また、2枚目以降のPピクチャは、直前の同じフィールドと異なるフィールドのピクチャを参照ピクチャとする。さらに、ディペンデントビューでは、ベースビューの例えば同じフィールドのピクチャを参照ピクチャに含める。ここで、ベースビューの各フィールドの2枚目以降では参照ピクチャ数が2枚である。しかし、ディペンデントビューの各フィールドの2枚目以降では、参照ピクチャ数が3枚である。したがって、図17に示すように、参照ピクチャリスト生成部36は、ディペンデントビューの各フィールドの2枚目以降の参照ピクチャ数を2枚として、ベースビューにおける参照ピクチャ数を等しくする。また、参照ピクチャリスト生成部36は、ディペンデントビューの各フィールドの2枚目以降の参照ピクチャ数を2枚とする際に、符号化効率が良好となるように視差方向の参照ピクチャを参照パターンに含めるか否かの判定を行う。図18は、ディペンデントビューにおけるトップフィールドの先頭ピクチャの参照関係を示している。ベースビューとディペンデントビューにおけるトップフィールドの最初のピクチャIb0,Pd0はアンカーピクチャである。また、ディペンデントビューにおけるトップフィールドの先頭のPピクチャPd0は、ベースビューにおけるトップフィールドのIピクチャIb0のみを参照ピクチャとする。図19は、ディペンデントビューにおけるボトムフィールドの先頭ピクチャの参照関係を示している。ディペンデントビューにおけるボトムフィールドの先頭のPピクチャPd1は、ベースビューにおけるボトムフィールドのPピクチャPb1とディペンデントビューにおけるトップフィールドのPピクチャPd0を参照ピクチャとする。次に、参照ピクチャリスト生成部36は、ディペンデントビューのGOP先頭の次のピクチャ、すなわちボトムフィールドの先頭のPピクチャPd1の特徴量SATDdvとベースビューにおけるボトムフィールドの先頭のPピクチャPb1の特徴量SATDbvを比較して次のPピクチャPd2の参照パターンを判別する。図20は、ディペンデントビューにおけるボトムフィールドの先頭ピクチャの処理を示す図である。参照ピクチャリスト生成部36は、判別値SATDbv-SATDdvが閾値THgよりも大きい場合、PピクチャPd1の次のPピクチャPd2の参照パターンを、一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDbv/SATDdvが閾値THhよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部36は、閾値THg,THh以下である場合、次のPピクチャPd2の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、パターンの判別では、上述したように他の判別方法、すなわち判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持するようにしてもよい。また、所定期間中に1度もディペンデントビューのトップフィールドおよびボトムフィールドのそれぞれで、先頭のアンカーピクチャ以外のピクチャの参照パターンが視差方向の参照ピクチャを含めたパターンとなっていない場合、現ピクチャで求めた特徴量をそれ以降のピクチャの視差有り特徴量SATDivとみなして、ピクチャタイプ別に保存する。その後、保存されている視差有り特徴量や現ピクチャで算出した特徴量、推定特徴量を用いて比較を行い、比較結果からディペンデントビューにおける次のピクチャの参照パターンを判別する。なお、トップフィールドとボトムフィールドを個別に判定する場合、例えば現ピクチャがトップフィールドのピクチャのときはトップフィールドの次のピクチャの判定が行われる。また、トップフィールドとボトムフィールドを区別しない場合、例えば現ピクチャがトップフィールドのピクチャのときは次のボトムフィールドのピクチャの判定が行われる。参照ピクチャリスト生成部36は、現ピクチャが時間予測のみである場合、保存されている直近の視差有り特徴量SATDiveと現ピクチャで計算した特徴量SATDdvを比較する。参照ピクチャリスト生成部36は、比較結果に基づき参照ピクチャを決定する。図21は、現ピクチャが時間予測のみである場合を示す図である。なお、図21および後述する図22では、トップフィールドとボトムフィールドを個別に判定する場合を示している。特徴量の比較は、2つの特徴量の差分または比率を判別値として閾値と比較する。ここで、判別値SATDdv-SATDiveが閾値THiよりも大きい場合、参照ピクチャリスト生成部36は、次のPピクチャの参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDdv/SATDiveが閾値THjよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部36は、判別値が閾値以下である場合、参照ピクチャリスト生成部36は、次のPピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。例えば、PピクチャPd2の参照パターンが時間方向の参照ピクチャのみのパターンである場合、参照ピクチャリスト生成部36は、保存されている直近の視差有り特徴量SATDiveとPピクチャPd2で算出した特徴量SATDdvを比較する。参照ピクチャリスト生成部36は、判別値SATDdv-SATDiveが閾値THiよりも大きい場合、PピクチャPd2の次のPピクチャPd4の参照パターンを、図21の一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDdv/SATDiveが閾値THjよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部36は、判別値が閾値以下である場合、次のPピクチャPd4の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、ベースビューとディペンデントビューの特徴量から推定処理情報PscPsc=SATDdv/SATDbvを算出しておく。図22は、現ピクチャが視差予測を含む場合を示す図である。特徴量生成部35は、現ピクチャの参照パターンが視差方向の参照ピクチャを含むパターンである場合、推定特徴量SATDtmを算出する。推定特徴量SATDtmは、ベースビューの特徴量SATDbvに推定処理情報Pscを乗算することで算出する。さらに、参照ピクチャリスト生成部36は、推定特徴量SATDtmと視差有り特徴量SATDivを比較して、比較結果に基づき参照パターンを設定する。特徴量の比較は、上述のように2つの特徴量の差分または比率を判別値として閾値と比較する。ここで、判別値SATDtm-SATDivが閾値THkよりも大きい場合、参照ピクチャリスト生成部36は、次のピクチャの参照パターンを引き続き視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDtm/SATDivが閾値THmよりも大きい場合も同様とする。さらに、判別値が閾値以下である場合、参照ピクチャリスト生成部36は、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。例えば、PピクチャPd4の参照パターンが視差方向の参照ピクチャを含むパターンである場合、特徴量生成部35は、ベースビューのPピクチャPb4の特徴量SATDbvに推定処理情報Pscを乗算して推定特徴量SATDtmを算出する。参照ピクチャリスト生成部36は、算出した推定特徴量SATDtmとPピクチャPd4で算出した視差有り特徴量SATDivを比較する。参照ピクチャリスト生成部36は、判別値SATDtm-SATDivが閾値THkよりも大きい場合、次のPピクチャPd6の参照パターンを、図22の一点鎖線の矢印で示すように引き続き視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部36は、判別値SATDtm/SATDivが閾値THmよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部36は、判定値が閾値以下である場合、次のPピクチャPd6の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、現Pピクチャで算出された視差有り特徴量SATDivを次のPピクチャの視差有り特徴量とみなして保存する。以上の説明は、Bピクチャが含まれていない場合を説明したが、Bピクチャが含まれる場合、BピクチャにおいてもPピクチャと同様の処理を行う。すなわち、参照ピクチャリスト生成部36は、保存されている視差有り特徴量や現ピクチャで算出した特徴量、推定特徴量を用いて比較を行い、比較結果からディペンデントビューにおける次のピクチャの参照パターンを判別する。なお、図23に、インタレース素材においてBピクチャを含めてベースビューとディペンデントビューの参照ピクチャ数を等しくした場合の参照関係を例示している。なお、図23では、ベースビューとディペンデントビューにおいて、Pピクチャにおける参照ピクチャ数を2枚、Bピクチャにおける参照ピクチャ数を4枚としている。ところで、視差有り特徴量SATDivは、ディペンデントビューにおけるGOP先頭のPピクチャで少なくとも1回は更新される。しかし、視差方向の参照ピクチャを含めたパターンが続くと、時間方向の参照ピクチャのみのパターンを用いた参照パターンにおける特徴量SATDdvが算出されないため、推定処理情報Pscの更新されない期間は長くなってしまう。推定特徴量SATDtmは、上述のようにベースビューの特徴量SATDbvに推定処理情報Pscを乗算して算出していることから、推定処理情報Pscが更新されない期間が長くなることにより、推定特徴量SATDtmの信頼度が低くなる。したがって、参照ピクチャリスト生成部36は、参照パターンの判定を適切に行うことができなくなってしまうおそれがある。そこで、参照ピクチャリスト生成部36は、インタレース素材の場合でも、所定期間参照パターンが時間方向の参照ピクチャのみのパターンとされていない場合、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。このように、参照ピクチャリスト生成部36は、参照パターンを時間方向の参照ピクチャのみのパターンとすることで、特徴量生成部35で推定処理情報Pscの更新を行わせる。以上のように、インタレース素材の場合もプログレッシブ素材の場合と同様に処理を行うことで、符号化効率が高くなるように時間方向の参照ピクチャ、または視差方向を含めたピクチャがベースビューと同じ枚数だけ参照ピクチャとして選択できる。また、ベースビューとディペンデントビューで参照ピクチャの枚数が等しいことから、ベースビューとディペンデントビューの処理量を同等にできる。<7.参照パターンの他の判定動作>上述の実施の形態では、特徴量としてSATDを用いる場合について説明したが、特徴量は動き予測補償部32で算出されるSATDに限られない。例えば、特徴量としてSADや、予測画像最適モード選択部33で得られる参照インデックスの割合、グローバル動きベクトル、レート制御部18で得られるComplexity、カメラワークや視差情報や奥行情報等を特徴量として用いることもできる。図24は、特徴量として参照インデックスの割合を用いた場合の動作を示すフローチャートである。ステップST51で参照ピクチャリスト生成部36は、シーケンス先頭ピクチャであるか判別する。参照ピクチャリスト生成部36は、ピクチャがシーケンス先頭である場合にステップST52に進み、シーケンス先頭でない場合にステップST53に進む。ステップST52で参照ピクチャリスト生成部36は、参照パターンの初期化を行う。参照ピクチャリスト生成部36は、参照パターンを時間方向の参照ピクチャのみのパターンに初期化してステップST53に進む。ステップST53で参照ピクチャリスト生成部36は、GOP先頭ピクチャであるか判別する。参照ピクチャリスト生成部36は、ピクチャがGOP先頭である場合にステップST57に進み、GOP先頭でない場合にステップST54に進む。ステップST54で参照ピクチャリスト生成部36は、GOP先頭の次のピクチャであるか判別する。参照ピクチャリスト生成部36は、ピクチャがGOP先頭の次のピクチャでない場合にステップST55に進み、GOP先頭の次のピクチャである場合にステップST56に進む。ステップST55で参照ピクチャリスト生成部36は、参照パターンは時間予測のみであるか判別する。参照ピクチャリスト生成部36は、参照パターンが時間方向の参照ピクチャのみのパターンである場合にステップST51に戻り、参照パターンが視差方向の参照ピクチャを含むパターンである場合にステップST56に進む。ステップST56で参照ピクチャリスト生成部36は、参照パターンの判定を行う。参照ピクチャリスト生成部36は、時間方向のおよび視差方向の参照インデックスの割合を比較して、比較結果に基づき、参照パターンを時間方向の参照パターンのみパターンまたは視差方向の参照パターンを含むパターンの何れであるか判定する。例えば時間方向に対する視差方向の参照インデックスの割合が閾値よりも大きい場合は視差方向の参照パターンを含むパターンと判別し、割合が閾値以下である場合は時間方向の参照パターンのみパターンと判定してステップST51に戻る。ステップST57で参照ピクチャリスト生成部36は、所定ピクチャの参照パターン設定処理を行う。参照ピクチャリスト生成部36は、所定ピクチャすなわちGOP先頭ピクチャを視差方向の参照パターンを含むパターンとしてステップST51に戻る。このように、参照インデックスの割合を利用して判定する場合、常に時間予測と視差予測を利用できるピクチャにおいて、時間予測を示す参照インデックスよりも視差予測を示す参照インデックスの割合が多い場合は、参照パターンを視差予測ありとする。それ以降のピクチャでも時間予測を示す参照インデックスと視差予測を示す参照インデックスを比較して、比較結果に基づき参照ピクチャリストを生成してもよい。画像符号化装置10は、このようにして生成された参照ピクチャリストに基づいて画像符号化処理を行う。また、インタレース素材の場合、一般に同相および逆相の時間方向の参照ピクチャを参照できる。この条件下で参照パターンを視差予測ありにすると、同相逆相の時間方向の参照ピクチャの中から1枚削らなければならない。つまり、参照パターンとして同相視差または逆相視差の何れかを選択する必要がある。どちらの時間方向の参照ピクチャを使用するかを判定する方法として、参照インデックスの割合やグローバル動きベクトル、カメラワークの情報利用できる。以下参照インデックスの割合を利用した方法を説明する。具体的には、ベースビューの参照インデックスの割合を利用する。ベースビューの参照ピクチャは同相逆相なので、より多く予測に利用されているほうの参照ピクチャと同じ位相の参照ピクチャを参照ピクチャリストに含める。図25は、参照インデックスの割合を用いて、視差と同相/逆相の何れの参照ピクチャを選択するか判定する動作を示すフローチャートである。ステップST61で参照ピクチャリスト生成部36は、参照パターンの判定を行う。参照ピクチャリスト生成部36は、図24と同様にして、参照インデックスの割合に応じて、参照パターンを判定してステップST62に進む。ステップST62で参照ピクチャリスト生成部36は、参照パターンが視差有りであるか判別する。参照ピクチャリスト生成部36は、参照パターンが視差方向の参照ピクチャを含むパターンと判定されている場合にステップST63に進み、時間方向の参照ピクチャのみのパターンと判定されている場合に処理を終了する。ステップST63で参照ピクチャリスト生成部36は、ベースビューにおける参照インデックスの割合を算出する。参照ピクチャリスト生成部36は、ベースビューの参照ピクチャリストにおける参照インデックスに基づき、同相すなわち同じフィールドのピクチャを参照している割合と逆相すなわち異なるフィールドのピクチャを参照している割合を算出してステップST64に進む。ステップST64で参照ピクチャリスト生成部36は、同相の割合が大きいか判別する。参照ピクチャリスト生成部36は、同相のピクチャを参照する割合が逆相のピクチャを参照する割合よりも大きい場合にステップST65に進み、大きくない場合にステップST66に進む。ステップST65で参照ピクチャリスト生成部36は、参照ピクチャリストに同相を含める。参照ピクチャリスト生成部36は、視差予測を行う参照パターンにおいて、時間方向に参照するピクチャが同相のピクチャとなるように、参照ピクチャリストに同相のピクチャを含めて処理を終了する。ステップST66で参照ピクチャリスト生成部36は、参照ピクチャリストに逆相を含める。参照ピクチャリスト生成部36は、視差予測を行う参照パターンにおいて、時間方向に参照するピクチャが逆相のピクチャとなるように、参照ピクチャリストに逆相のピクチャを含めて処理を終了する。なお、時間方向のみの参照パターンでは、同相と逆相のピクチャが参照ピクチャリストに含められる。このようにして、参照ピクチャリストを生成すれば、視差予測を含む参照パターンにおいて、ベースビューに基づき同相または逆相のピクチャが選択されて、参照ピクチャリストに含められることから、参照ピクチャを最適に選択できるようになり、符号化効率を改善できる。また、特徴量としてSAD値やSATD値を用いる場合、参照ピクチャリスト生成部36は、同相と逆相の何れかSAD値やSATD値が小さいピクチャを選択すればよい。さらに、特徴量としてグローバル動きベクトルやカメラワークを用いることもできる。カメラが固定されている場合は背景が静止しているので、静止している部分の画像が一致する同相の参照ピクチャを参照ピクチャリストに含めたほうがよい。逆にカメラが常に動いているときは、時間的距離が近接している逆相のピクチャのほうが類似性が高いので、逆相のピクチャを参照ピクチャリストに含めたほうがよい。つまり、グローバル動きベクトルの値が0に近い値だったり、カメラワーク情報が固定の場合は参照パターンを同相視差とする。それ以外は、参照パターンを逆相視差とする。このようにグローバル動きベクトルやカメラワークを特徴量として用いることで、参照ピクチャを最適に選択できるようになる。さらに、本技術では、足りない特徴量は同時刻のベースビューの特徴量や過去のディペンデントビューの特徴量から推定した。しかし、足りない特徴量として未来の特徴量を利用してもよい。例えば、符号化対象ピクチャよりも未来のピクチャで簡易的に画像を縮小して動き予測を行ったときに計算される、縮小画像のSATDなどを利用することも可能である。<8.ソフトウェア処理の場合>明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。例えば、プログラムは記録媒体としてのハードディスクやROMReadOnlyMemoryに予め記録しておくことができる。または、プログラムはフレキシブルディスク、CD-ROM,MOディスク,DVD、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納記録しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。<9.応用例>本技術の画像処理装置を用いた上述の実施形態に係る画像符号化装置10は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信等における送信機、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録する記録装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。[第1の応用例]図26は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置94は、例えば、受信した放送番組の音声データおよび映像データを符号化して記録媒体に記録する。また、記録再生装置94は、例えば、他の装置から取得される音声データおよび映像データを符号化して記録媒体に記録してもよい。また、記録再生装置94は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタおよびスピーカ上で再生する。このとき、記録再生装置94は、音声データおよび映像データを復号する。記録再生装置94は、チューナ941、外部インタフェース部942、エンコーダ943、HDDHardDiskDrive944、ディスクドライブ945、セレクタ946、デコーダ947、OSDOnScreenDisplay部948、制御部949、およびユーザインタフェース部950を備える。チューナ941は、アンテナ図示せずを介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。すなわち、チューナ941は、記録再生装置94における伝送手段としての役割を有する。外部インタフェース部942は、記録再生装置94と外部機器またはネットワークとを接続するためのインタフェースである。外部インタフェース部942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、またはフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部942を介して受信される映像データおよび音声データは、エンコーダ943へ入力される。すなわち、外部インタフェース部942は、記録再生装置94における伝送手段としての役割を有する。エンコーダ943は、外部インタフェース部942から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。HDD944は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD944は、映像および音声の再生時に、これらデータをハードディスクから読み出す。ディスクドライブ945は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスクDVD-Video、DVD-RAM、DVD-R、DVD-RW、DVDR、DVDRW等またはBlu-ray登録商標ディスクなどであってよい。セレクタ946は、映像および音声の記録時には、チューナ941またはエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944またはディスクドライブ945へ出力する。また、セレクタ946は、映像および音声の再生時には、HDD944またはディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。デコーダ947は、符号化ビットストリームを復号し、映像データおよび音声データを生成する。そして、デコーダ947は、生成した映像データをOSD部948へ出力する。また、デコーダ947は、生成した音声データを外部のスピーカへ出力する。OSD部948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD部948は、表示する映像に、例えばメニュー、ボタンまたはカーソルなどのGUIの画像を重畳してもよい。制御部949は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置94の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部950から入力される操作信号に応じて、記録再生装置94の動作を制御する。ユーザインタフェース部950は、制御部949と接続される。ユーザインタフェース部950は、例えば、ユーザが記録再生装置94を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。このように構成された記録再生装置94において、エンコーダ943は、上述した実施形態に係る画像符号化装置10の機能を有する。それにより、記録再生装置94で多視点のピクチャの符号化に際して、符号化効率が良好となるようにピクチャを選択して参照ピクチャリストを生成できる。[第2の応用例]図27は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置96は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。撮像装置96は、光学ブロック961、撮像部962、カメラ信号処理部963、画像処理部964、表示部965、外部インタフェース部966、メモリ967、メディアドライブ968、OSD部969、制御部970、ユーザインタフェース部971、およびバス972を備える。光学ブロック961は、フォーカスレンズおよび絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号をカメラ信号処理部963へ出力する。カメラ信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。画像処理部964は、カメラ信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース部966またはメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース部966またはメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、カメラ信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD部969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。OSD部969は、例えばメニュー、ボタンまたはカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。外部インタフェース部966は、例えばUSB入出力端子として構成される。外部インタフェース部966は、例えば、画像の印刷時に、撮像装置96とプリンタとを接続する。また、外部インタフェース部966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスクまたは光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置96にインストールされ得る。さらに、外部インタフェース部966は、LANまたはインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。すなわち、外部インタフェース部966は、撮像装置96における伝送手段としての役割を有する。メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブまたはSSDSolidStateDriveのような非可搬性の記憶部が構成されてもよい。制御部970は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置96の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部971から入力される操作信号に応じて、撮像装置96の動作を制御する。ユーザインタフェース部971は、制御部970と接続される。ユーザインタフェース部971は、例えば、ユーザが撮像装置96を操作するためのボタンおよびスイッチなどを有する。ユーザインタフェース部971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。バス972は、画像処理部964、外部インタフェース部966、メモリ967、メディアドライブ968、OSD部969、および制御部970を相互に接続する。このように構成された撮像装置96において、画像処理部964は、上述した実施形態に係る画像符号化装置10の機能を有する。それにより、撮像装置96で多視点のピクチャの符号化に際して、符号化効率が良好となるようにピクチャを選択して参照ピクチャリストを生成できる。なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。また、本技術は以下のような構成も取ることができる。1第1の視点のピクチャに対して、時間方向に相違する前記第1の視点のピクチャと、前記第1の視点と相違する第2の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する特徴量生成部と、前記第1の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第2の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する参照ピクチャリスト生成部とを備える画像符号化装置。2前記参照ピクチャリスト生成部は、前記第1の視点のピクチャがGOPにおける先頭フレームのピクチャまたはフィールド毎の先頭ピクチャであるときの特徴量に基づく判別値が閾値以下である場合、次のピクチャでは前記参照ピクチャリストに前記第2の視点の参照ピクチャを含める1に記載の画像符号化装置。3前記参照ピクチャリスト生成部は、前記第1の視点のピクチャがGOPにおける先頭ピクチャであるときに得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持する1記載の画像符号化装置。4前記参照ピクチャリスト生成部は、前記参照ピクチャリストに前記第2の視点の参照ピクチャを含めた場合、該第2の視点の参照ピクチャの含めた場合の特徴量を保持し、所定期間前記参照ピクチャリストが前記時間方向の参照ピクチャのみである場合、GOPにおける先頭フレームのピクチャまたはフィールド毎の先頭ピクチャで算出した特徴量で前記保持している特徴量を更新する1乃至3の何れかに記載の画像符号化装置。5前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストが前記時間方向のみの参照ピクチャである場合、当該ピクチャで算出した特徴量と前記保持されている特徴量を比較して、比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う4に記載の画像符号化装置。6前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストに前記第2の視点の参照ピクチャを含む場合、前記時間方向の参照ピクチャのみの特徴量を推定して、推定特徴量と前記第2の視点の参照ピクチャを含む場合の特徴量の比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う1乃至5の何れかに記載の画像符号化装置。7前記参照ピクチャリスト生成部は、前記第1の視点のピクチャに対する参照ピクチャリストが前記時間方向の参照ピクチャのみ場合の特徴量と前記第2の視点のピクチャに対する特徴量とを用いて推定処理情報を生成しておき、前記特徴量を推定する前記第1の視点のピクチャに対応する前記第2の視点のピクチャの特徴量と前記推定処理情報から前記推定特徴量を算出する6に記載の画像符号化装置。8前記参照ピクチャリスト生成部は、所定期間前記参照ピクチャリストが前記第2の視点の参照ピクチャを含む状態が継続した場合、前記参照ピクチャリストを前記時間方向の参照ピクチャのみとして前記推定処理情報の更新を行う7に記載の画像符号化装置。9前記参照ピクチャリスト生成部は、前記特徴量としてSATD値またはSAD値を用いる1乃至8の何れかに記載の画像符号化装置。10前記参照ピクチャリスト生成部は、前記特徴量として参照インデックスの割合を用いる1に記載の画像符号化装置。11前記第1と第2のピクチャは、インタレース素材であり、前記参照ピクチャリストが前記第2の視点の参照ピクチャを含む場合、前記特徴量に基づき前記時間方向の参照ピクチャから同相または逆相の参照ピクチャを選択する1乃至10の何れかに記載の画像符号化装置。"