"第1視点の映像信号である第1視点映像信号と、当該第1視点とは異なる第2視点の映像信号である第2視点映像信号と、を符号化する立体映像符号化装置であって、前記第1視点映像信号と前記第2視点映像信号との視差に関する情報である視差情報を取得する視差取得部と、前記第1信号映像信号および前記第2視点映像信号を符号化する際に使用する参照ピクチャを設定する参照ピクチャ設定部と、前記参照ピクチャ設定部において設定した参照ピクチャを基に、前記第1視点映像信号と前記第2視点映像信号との符号化を行い、符号化ストリームを生成する符号化部と、を備え、前記参照ピクチャ設定部は、前記第2視点映像信号を符号化する際、前記第1視点映像信号に含まれるピクチャおよび前記第2視点映像信号に含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第1の設定モードと、前記第2視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第2の設定モードとを有し、前記参照ピクチャ設定部は、前記視差取得部で取得した視差情報の変更に応じて、前記第1の設定モードと前記第2の設定モードとを切り換えることを特徴とする立体映像符号化装置。前記参照ピクチャ設定部は、前記第2視点映像信号を符号化する際、前記第1の設定モードにおいては、第1視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定することを特徴とする請求項1記載の立体映像符号化装置。前記視差情報は、前記第1視点映像信号と前記第2視点映像信号との画素または複数の画素を有する画素ブロック毎の視差を表す視差ベクトルのばらつき状態を示す情報であって、前記参照ピクチャ設定部は、前記視差情報が大きくなると前記第2の設定モードに切り替え、前記視差情報が小さくなると前記第1の設定モードに切り替えることを特徴とする請求項1記載の立体映像符号化装置。前記視差情報は、前記視差ベクトルの分散値である、ことを特徴とする請求項3に記載の立体映像符号化装置。前記視差情報は、各視差ベクトルの絶対値の和である、ことを特徴とする請求項3に記載の立体映像符号化装置。前記視差情報は、前記視差ベクトルにおける最大視差と最小視差との差分の絶対値である、ことを特徴とする請求項3に記載の立体映像符号化装置。前記参照ピクチャ設定部は、少なくとも2つ以上の参照ピクチャを設定可能とされ、前記視差情報が切り換わることにより、参照ピクチャの参照インデックスを切り換え可能に構成されていることを特徴とする請求項1に記載の立体映像符号化装置。前記参照ピクチャ設定部は、前記視差情報が大きいと判断した場合に、前記前記第2視点映像信号に含まれる参照ピクチャに、現在割り当てている参照インデクスの値以下となる参照インデクスを割り当て変更可能に構成され、前記視差情報が大きくないと判断した場合に、前記第1視点映像信号に含まれる参照ピクチャに、現在割り当てている参照インデクスの値以下となる参照インデクスを割り当て変更可能に構成されていることを特徴とする請求項7に記載の立体映像符号化装置。被写体を第1視点と、当該第1視点とは異なる第2視点と、から撮像し、当該第1視点における映像信号である第1視点映像信号と、当該第2視点における映像信号である第2視点映像信号と、を撮影する立体映像撮影装置において、前記被写体の光学像を形成するとともに、当該光学像を撮影し、デジタル信号として前記第1視点映像信号及び前記第2視点映像信号を取得する撮影部と、前記第1視点映像信号と前記第2視点映像信号との視差に関する情報である視差情報を算出する視差取得部と、前記第1視点映像信号および前記第2視点映像信号を符号化する際に使用する参照ピクチャを設定する参照ピクチャ設定部と、前記参照ピクチャ設定部において設定した参照ピクチャを基に、前記第1視点映像信号と前記第2視点映像信号との符号化を行い、符号化ストリームを生成する符号化部と、前記符号化部からの出力結果を記録する記録媒体と、前記撮影部における撮影条件パラメータを設定する設定部と、を備え、前記参照ピクチャ設定部は、前記第2視点映像信号を符号化する際、前記第1視点映像信号に含まれるピクチャおよび前記第2視点映像信号に含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第1の設定モードと、前記第2視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第2の設定モードとを有し、前記参照ピクチャ設定部は、前記撮影条件パラメータ、または前記視差情報の変更に応じて、前記第1の設定モードと前記第2の設定モードとを切り換えることを特徴とする立体映像撮影装置。前記撮影条件パラメータは前記第1視点の撮影方向と前記第2視点の撮影方向との角度であることを特徴とする請求項9に記載の立体映像撮影装置。前記撮影条件パラメータは前記第1視点または前記第2視点から前記被写体までの距離であることを特徴とする請求項9に記載の立体映像撮影装置。映像信号の画像が大きな動きを含む画像であるかどうかを判断する動き情報判断部を有し、前記動き情報に応じて前記第1の設定モードでの選択する参照ピクチャを切り換え可能に構成したことを特徴とする請求項1に記載の立体映像撮影装置。前記動き情報判断部により動きが大きいと判断した場合に、前記第1視点映像信号に含まれるピクチャを参照ピクチャとして設定することを特徴とする請求項12に記載の立体映像撮影装置。第1視点の映像信号である第1視点映像信号と、当該第1視点とは異なる第2視点の映像信号である第2視点映像信号と、を符号化する立体映像符号化方法であって、前記第2視点映像信号を符号化する際に使用する参照ピクチャを、前記第1視点映像信号に含まれるピクチャと、前記第2視点映像信号に含まれるピクチャと、から選択するに際し、算出した前記視差情報の変更に伴って参照ピクチャを変更することを特徴とする立体映像符号化方法。H264圧縮符号化では、既に符号化した複数のピクチャから参照ピクチャを選択している。しかしながら、従来は、視差のばらつきなどに関係なく、参照ピクチャを選択しているので、符号化効率の高くない参照ピクチャを選択することがあり、符号化効率が低下することがあった。例えば、符号化対象となる入力画像において、視差が飛び出し側から奥側まで広く分布する場合、一方の視点から見えているが、他方の視点からは見えない、いわゆるオクルージョン領域が拡大する。このオクルージョン領域は、他方の視点の画像では画像データが存在しないため、マッチング処理により、一方の視点から見えている部分に対応する箇所を見つけることができなくなって、動きベクトルを求める精度が低下し、その結果、符号化効率が低下していた。本発明はかかる問題を解決するためになされたものであり、視差のばらつきなどがあった場合でも符号化効率の低減を抑えることができて、ひいては符号化効率を向上させることができる画像符号化方式装置および画像符号化方法を提供することを目的とする。上記目的を達成するために、本発明の立体映像符号化装置は、第1視点の映像信号である第1視点映像信号と、当該第1視点とは異なる第2視点の映像信号である第2視点映像信号と、を符号化する立体映像符号化装置であって、前記第1視点映像信号と前記第2視点映像信号との視差に関する情報である視差情報を取得算出する視差取得部と、前記第1信号映像信号および前記第2視点映像信号を符号化する際に使用する参照ピクチャを設定する参照ピクチャ設定部と、前記参照ピクチャ設定部において設定した参照ピクチャを基に、前記第1視点映像信号と前記第2視点映像信号との符号化を行い、符号化ストリームを生成する符号化部と、を備え、前記参照ピクチャ設定部は、前記第2視点映像信号を符号化する際、前記第1視点映像信号に含まれるピクチャおよび前記第2視点映像信号に含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第1の設定モードと、前記第2視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第2の設定モードとを有し、前記参照ピクチャ設定部は、前記視差取得部で取得した視差情報の変更に応じて、前記第1の設定モードと前記第2の設定モードとを切り換えることを特徴とする。上記構成により、取得した前記視差情報の変更に伴って参照ピクチャを変更するので、符号化効率の高い参照ピクチャを選択できて、符号化効率を向上させることが可能となる。また、本発明は、上記構成において、さらに、前記参照ピクチャ設定部は、前記第2視点映像信号を符号化する際、前記第1の設定モードにおいては、第1視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定することを特徴とする。前記視差情報は、前記第1視点映像信号と前記第2視点映像信号との画素または複数の画素を有する画素ブロック毎の視差を表す視差ベクトルのばらつき状態を示す情報とすることが好ましく、前記参照ピクチャ設定部は、前記視差情報が大きくなると前記第2の設定モードに切り替え、前記視差情報が小さくなると前記第1の設定モードに切り替えるように構成する。このように、前記第1視点映像信号と前記第2視点映像信号との画素または複数の画素を有する画素ブロック毎の視差を表す視差ベクトルのばらつき状態が大きくなった際に前記第2の設定モードに切り替えることで、オクルージョン領域が拡大する第1視点の映像信号である第1視点映像信号を参照ピクチャとして選択しないので、動きベクトルを求める精度が向上して符号化効率が向上する。さらには、前記視差情報としては、前記視差ベクトルの分散値、各視差ベクトルの絶対値の和、前記視差ベクトルにおける最大視差と最小視差との差分の絶対値が好ましい。視差情報を、前記視差ベクトルの分散値や各視差ベクトルの絶対値の和とすることで、視差ベクトルのばらつき状態を比較的正確に判定できて、信頼性が向上する利点がある。また、視差情報を、前記視差ベクトルにおける最大視差と最小視差との差分の絶対値とすることで、2つの値だけから視差の大小を判定できるため、判定処理が極めて簡単に計算できて計算量や処理時間を最小限に抑えることができる利点がある。また、上記構成によれば、より適した参照ピクチャに変更することができるので、符号化効率を向上することができる。また、本発明は、前記参照ピクチャ設定部は、少なくとも2つ以上の参照ピクチャを設定可能とされ、前記視差情報が切り換わることにより、参照ピクチャの参照インデックスを切り換え可能に構成されていることを特徴とする。そして、前記参照ピクチャ設定部は、前記視差情報から視差が大きいと判断した場合に、前記第1視点映像信号に含まれる参照ピクチャに、現在割り当てている参照インデクスの値以下となる参照インデクスを割り当て変更可能に構成されていることを特徴とする。この構成によれば、参照インデクスの符号化量を最小限に抑えることができて、符号化効率を向上することができる。また、本発明の立体映像撮影装置は、被写体を第1視点と、当該第1視点とは異なる第2視点と、から撮像し、当該第1視点における映像信号である第1視点映像信号と、当該第2視点における映像信号である第2視点映像信号と、を撮影する立体映像撮影装置において、前記被写体の光学像を形成するとともに、当該光学像を撮影し、デジタル信号として前記第1視点映像信号及び前記第2視点映像信号を取得する撮影部と、前記第1視点映像信号と前記第2視点映像信号との視差に関する情報である視差情報を算出する視差取得部と、前記第1視点映像信号および前記第2視点映像信号を符号化する際に使用する参照ピクチャを設定する参照ピクチャ設定部と、前記参照ピクチャ設定部において設定した参照ピクチャを基に、前記第1視点映像信号と前記第2視点映像信号との符号化を行い、符号化ストリームを生成する符号化部と、前記符号化部からの出力結果を記録する記録媒体と、前記撮影部における撮影条件パラメータを設定する設定部と、を備え、前記参照ピクチャ設定部は、前記第2視点映像信号を符号化する際、前記第1視点映像信号に含まれるピクチャおよび前記第2視点映像信号に含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第1の設定モードと、前記第2視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第2の設定モードとを有し、前記参照ピクチャ設定部は、前記撮影条件パラメータ、または前記視差情報の変更に応じて、前記第1の設定モードと前記第2の設定モードとを切り換えることを特徴とする。この場合に、前記撮影条件パラメータは前記第1視点の撮影方向と前記第2視点の撮影方向との角度であることが好ましい。また、これに代えて、前記撮影条件パラメータは前記第1視点または前記第2視点から前記被写体までの距離であってもよい。また、本発明の立体映像撮影装置として、映像信号の画像が大きな動きを含む画像であるかどうかを判断する動き情報判断部を有し、前記動き情報に応じて前記第1の設定モードでの選択する参照ピクチャを切り換え可能に構成してもよい。この場合に、前記動き情報判断部により動きが大きいと判断した場合に、前記第1視点映像信号に含まれるピクチャを参照ピクチャとして設定するよう構成してもよい。また、本発明の立体映像符号化方法は、第1視点の映像信号である第1視点映像信号と、当該第1視点とは異なる第2視点の映像信号である第2視点映像信号と、を符号化する立体映像符号化方法であって、前記第2視点映像信号を符号化する際に使用する参照ピクチャを、前記第1視点映像信号に含まれるピクチャと、前記第2視点映像信号に含まれるピクチャと、から選択するに際し、算出した前記視差情報の変更に伴って参照ピクチャを変更することを特徴とする。本発明によれば、視差取得部で取得した視差情報の変更に応じて、前記第1視点映像信号に含まれるピクチャおよび前記第2視点映像信号に含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する前記第1の設定モードと、前記第2視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する前記第2の設定モードとを切り換えるので、符号化したストリームの画質および符号化効率を向上させることが可能となる。以下、本実施の形態について、図面を参照しながら説明する。実施の形態1図1は、本実施の形態1に係る立体映像符号化装置の構成を示すブロック図である。本実施の形態1に係る立体映像符号化装置においては、第1視点映像信号と第2視点映像信号とが入力され、H264圧縮方式で符号化されたストリームとして出力される。H264圧縮方式による符号化においては、1つのピクチャを、1つのスライス、または複数のスライスに分割し、そのスライスを処理単位としている。本実施の形態1におけるH264圧縮方式による符号化では、1つのピクチャが1つのスライスであるとする。なお、このことは、後述する本実施の形態2および3においても同様である。図1に示すように、立体映像符号化装置100は、視差取得部101と、参照ピクチャ設定部102と、符号化部103とを備える。視差取得部101は、第1視点映像信号と第2視点映像信号との視差情報を視差マッチング等の手段を用いて算出し、参照ピクチャ設定部102に対して出力する。前記視差マッチング等の手段とは、具体的には、ステレオマッチングまたはブロックマッチングと言われる方式である。また、別の視差情報取得方法としては、外部から視差情報が与えられる場合に、この視差情報を取得してもかまわない。例えば、放送波で第1視点映像信号と第2視点映像信号とが放送され、この際に、視差情報が付加されて放送されている場合に、前記視差情報を取得する構成としてもかまわない。参照ピクチャ設定部102は、視差取得部101が出力する視差情報から、符号化対象ピクチャを符号化する際に参照する参照ピクチャを設定する。さらに、参照ピクチャ設定部102は、前記視差情報に基づいて、設定する参照ピクチャへどのように参照インデクスを割り当てるかといった参照方式を決定する。したがって、参照ピクチャ設定部102は、算出した視差情報の変更に伴って参照ピクチャを変更する。より具体的には、参照ピクチャ設定部102は、第2視点映像信号を符号化する際、第1視点映像信号に含まれるピクチャおよび第2視点映像信号に含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第1の設定モードと、前記第2視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第2の設定モードとを有する。そして、視差取得部101で取得した視差情報の変更に応じて、前記第1の設定モードと前記第2の設定モードとを切り換える。そして、参照ピクチャ設定部102は、決定したそれらの情報以下、参照ピクチャ設定情報と称すを符号化部103に対して出力する。参照ピクチャ設定部102の具体的な動作については後述する。符号化部103は、参照ピクチャ設定部102で決定された参照ピクチャ設定情報に基づいて動きベクトル検出、動き補償、面内予測、直交変換、量子化およびエントロピー符号化等の一連の符号化処理を実行する。本実施の形態1においては、符号化部103は、参照ピクチャ設定部102が出力した参照ピクチャ設定情報に従って、符号化対象ピクチャの画像データをH264圧縮方式による符号化により圧縮符号化する。次に、図2を用いて、符号化部103の詳細な構成について説明する。なお、図2は、本実施の形態1に係る立体映像符号化装置100における符号化部103の詳細な構成を示すブロック図である。図2に示すように、符号化部103は、入力画像データメモリ201、参照画像データメモリ202、動きベクトル検出部203、動き補償部204、面内予測部205、予測モード判定部206、差分演算部207、直交変換部208、量子化部209、逆量子化部210、逆直交変換部211、加算部212、およびエントロピー符号化部213を備えている。入力画像データメモリ201は、第1視点映像信号と第2視点映像信号との画像データを格納している。なお、入力画像データメモリ201が保持している情報は、面内予測部205、動きベクトル検出部203、予測モード判定部206、および差分演算部207により参照される。参照画像データメモリ202は、ローカルデコード画像を格納している。動きベクトル検出部203は、参照画像データメモリ202に格納されているローカルデコード画像を探索対象とし、参照ピクチャ設定部102から入力される参照ピクチャ設定情報にしたがって、最も入力画像に近い画像領域を検出してその位置を示す動きベクトルを決定する。さらに、動きベクトル検出部203は、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定し、決定したそれらの情報を動き補償部204およびエントロピー符号化部213に送信する。動き補償部204は、動きベクトル検出部203から受信した情報に含まれる動きベクトルと、参照ピクチャ設定部102から入力される参照ピクチャ設定情報とにしたがって、参照画像データメモリ202に格納されているローカルデコード画像から予測画像に最適な画像領域を取り出し、面間予測の予測画像を生成し、生成した予測画像を予測モード判定部206に出力する。面内予測部205は、参照画像データメモリ202に格納されているローカルデコード画像から同一画面内の符号化後の画素を用いて面内予測を行い、面内予測の予測画像を生成し、生成した予測画像を予測モード判定部206に出力する。予測モード判定部206は、予測モードを判定してその判定結果に基づき、面内予測部205からの面内予測で生成された予測画像と、動き補償部204からの面間予測で生成された予測画像とを切り替えて出力する。予測モード判定部206において予測モードを判定する方法としては、例えば、面間予測と面内予測について、それぞれ入力画像と予測画像との各画素の差分絶対値和を求め、この値が小さい方を予測モードと判定する。差分演算部207は、入力画像データメモリ201から符号化対象となる画像データを取得し、取得した入力画像と予測モード判定部206から出力された予測画像との画素差分値を計算し、計算した画素差分値を直交変換部208に出力する。直交変換部208は、差分演算部207から入力された画素差分値を周波数係数に変換し、変換した周波数係数を量子化部209に出力する。量子化部209は、直交変換部208から入力された周波数係数を量子化し、量子化した値、すなわち量子化値を符号化データとしてエントロピー符号化部213および逆量子化部210に出力する。逆量子化部210は、量子化部209から入力された量子化値を逆量子化して周波数係数に復元し、復元した周波数係数を逆直交変換部211に出力する。逆直交変換部211は、逆量子化部210から入力された周波数係数を画素差分値に逆周波数変換し、逆周波数変換した画素差分値を加算部212に出力する。加算部212は、逆直交変換部211から入力される画素差分値と、予測モード判定部206から出力された予測画像を加算してローカルデコード画像とし、そのローカルデコード画像を参照画像データメモリ202に出力する。ここで、参照画像データメモリ202に記憶されるローカルデコード画像は、入力画像データメモリ201に記憶される入力画像と基本的には同じ画像であるが、直交変換部208および量子化部209などで一旦直交変換および量子化処理をされた後、逆量子化部210および逆直交変換部211などで逆量子化および逆直交変換処理をされるため、量子化歪みなどの歪み成分を有している。参照画像データメモリ202は、加算部212から入力されるローカルデコード画像を格納する。エントロピー符号化部213は、量子化部209から入力された量子化値および動きベクトル検出部203から入力された動きベクトル等をエントロピー符号化し、その符号化したデータを出力ストリームとして出力する。次に、以上のように構成された立体映像符号化装置100が実行する処理について説明する。まず、第1視点映像信号と第2視点映像信号とが視差取得部101と符号化部103とにそれぞれ入力される。第1視点映像信号と第2視点映像信号とは、符号化部103の入力画像データメモリ201に格納され、例えば、それぞれが1920画素×1080画素の信号によって構成されている。次に、視差取得部101が、第1視点映像信号と第2視点映像信号との視差情報を視差マッチング等の手段を用いて算出し、参照ピクチャ設定部102に対して出力する。この場合に算出する視差情報としては、例えば、第1視点映像信号と第2視点映像信号の画素または画素ブロックごとの視差を表す視差ベクトルの情報以下、デプスマップと称すなどがある。次に、参照ピクチャ設定部102が、符号化モードにおいて、視差取得部101から出力した視差情報から、符号化対象ピクチャを符号化する際に参照ピクチャをどのように設定するか、さらには参照ピクチャへどのように参照インデクスを割り当てるかといった参照方式を決定し、参照ピクチャ設定情報として符号化部103に対して出力する。第1視点映像信号を符号化する際には、使用する参照ピクチャを、第1視点映像信号に含まれるピクチャである第1参照ピクチャから設定する。一方、第2視点映像信号を符号化する際には、使用する参照ピクチャを、第1視点映像信号に含まれるピクチャである第2視点View間参照ピクチャと、第2視点映像信号に含まれるピクチャである第2視点View内参照ピクチャとから設定する。そして、この第2視点映像信号を符号化する際に、視差取得部101から出力した視差情報の変更に応じて、第1視点映像信号に含まれるピクチャである第2視点View間参照ピクチャおよび前記第2視点映像信号に含まれるピクチャである第2視点View内参照ピクチャのうち、少なくとも1つのピクチャを参照ピクチャとして設定する第1の設定モードと、前記第2視点映像信号のみに含まれるピクチャのうち少なくとも1つのピクチャを参照ピクチャとして設定する第2の設定モードとを切り替えながら、参照ピクチャを設定する。すなわち、算出した視差情報の変更に伴って参照ピクチャを変更する。ここで、第2視点映像信号を符号化する際に、視差取得部101で取得した視差情報に基づいて、参照ピクチャ設定部102が設定する符号化構造の決定方式について説明する。図3は、視差情報に基づいて参照ピクチャ設定部102が実行する動作を示すフローチャートである。図3において、参照ピクチャ設定部102は、第2視点映像信号を符号化するに際して、視差取得部101から入力された視差情報を用いて第1視点映像信号と第2視点映像信号との視差に関する視差情報が大きいかどうかを判断するステップS301。ステップS301において視差情報が大きいと判断された場合ステップS301においてYesの場合、参照ピクチャ設定部102は第2視点映像信号に含まれているView内参照ピクチャの中から参照ピクチャを選択するステップS302:第2の設定モード。ステップS801において視差情報が大きくないと判断された場合すなわち、ステップS301においてNoの場合、参照ピクチャ設定部102は第1視点映像信号に含まれているView間参照ピクチャおよび第2視点映像信号に含まれているView内参照ピクチャの中から参照ピクチャを選択するステップS303:第1の設定モード。ここで、視差情報が大きいかどうかの判断は、例えば、第1視点映像信号と第2視点映像信号との画素または画素ブロックごとの各視差ベクトルがばらついているかどうかで判断する。具体的な判断の方法としては、例えば、デプスマップの分散値が閾値以上であるかどうかを判断の条件とするなどが考えられる。デプスマップの分散値を求めることにより、画素または画素ブロックごとの各視差ベクトルがばらついているかどうかで判断できるため、視差情報が大きいかどうかを判断することができる。また、例えば、デプスマップの各視差ベクトルの絶対値の和が閾値以上であるかどうか、という条件から画素または画素ブロック毎の各視差ベクトルがばらついているかどうかを判断してもよい。また、例えば、デプスマップのヒストグラムを用いた統計処理を行うなど、分散値以外の統計情報を用いて、画素または画素ブロックごとの各視差ベクトルがばらついているかどうかという条件から判断してもよい。さらには、例えば、またはデプスマップから得られた最大視差と最小視差とから、画素または画素ブロックごとの各視差ベクトルがばらついているかどうか、という条件から判断してもよい。なお、最大視差や最小視差は、正負の区別を含んだ値である。この場合、前記視差ベクトルにおける最大視差と最小視差との差分の絶対値、すなわち、最大視差の絶対値と最小視差の絶対値との和最大視差が正で、最小視差が負の場合または、最大視差と最小視差の差の絶対値最大視差および最小視差が何れも正の場合、または負の場合などを特徴量とし、この特徴量が判定用差分絶対値である閾値以上であるかどうか、によって画素または画素ブロックごとの各視差ベクトルがばらついているかどうかを判断してもよい。前記視差情報を、前記視差ベクトルの分散値や各視差ベクトルの絶対値の和に基づいて判断することで、視差ベクトルのばらつき状態を比較的正確に判定できて、信頼性が向上する利点がある。また、前記視差ベクトルにおける最大視差と最小視差との差分の絶対値が、予め定めた判定用差分絶対値以上である場合に、視差が大きいと判断することで、2つの値だけから視差の大小を判定できるため、分散値を求める場合と比較して、判定処理が極めて簡単に計算できて計算量や処理時間を最小限に抑えることができる利点がある。次に、図4A、図4Bを参照して、参照ピクチャ設定部102がどのように参照ピクチャの設定情報を決定するかについてより具体的に説明する。なお、図4A、図4Bは参照ピクチャ設定部102が、符号化対象ピクチャをPピクチャとして1つの参照ピクチャを選択して符号化する場合における、視差が大きいと判断された場合の参照ピクチャの選択方法と図4A、視差が大きくないと判断された場合の参照ピクチャの選択方法図4Bとを示す。また、図中の矢印の意味は、図13における場合と同様である。ここでは符号化対象ピクチャをP7とし、Pピクチャとして符号化する場合を説明する。視差情報が大きいと判断された場合の参照ピクチャの選択方法では、例えば、図4Aに示すように、ピクチャP7は、第2視点映像信号に含まれているView内参照ピクチャであるピクチャP1を参照ピクチャとして選択する第2の設定モード。一方、視差が大きくないと判断された場合の参照ピクチャの選択方法では、例えば、図4Bに示すように、ピクチャP7は、第1視点映像信号に含まれているView間参照ピクチャであるピクチャP6、または第2視点映像信号に含まれているView内参照ピクチャであるピクチャP1を参照ピクチャとして選択する第1の設定モード。そして、算出した視差情報の変更に伴って参照ピクチャを変更する。この方法を用いることにより、動きベクトルの検出精度を保ちつつ、複数の参照ピクチャを用いて符号化する場合に比べて符号化に必要なデータ量を減らすことができるため、符号化効率を維持しつつ、回路面積を削減することが可能となる。つまり、このように、視差ベクトルのばらつき状態などを示す視差情報が大きくなった際に前記第2の設定モードに切り替えることで、オクルージョン領域が拡大する第1視点の映像信号である第1視点映像信号を参照ピクチャとして選択しないので、動きベクトルを求める精度が向上して符号化効率が向上する。なお、この実施の形態においては、視差情報が大きくないと判断されたときに、第1視点映像信号に含まれているView間参照ピクチャおよび第2視点映像信号に含まれているView内参照ピクチャの中から参照ピクチャを選択する場合第1の設定モードを述べたが、これに限るものではない。つまり、図5のステップS304に示すように、第1の設定モードにおいて、視差情報が大きくないと判断されたときに、第2視点映像信号に含まれているView内参照ピクチャの中から参照ピクチャを選択できるように構成してもよい。この構成によっても、視差が大きいと判断された場合には、第2の設定モードにおいては、参照ピクチャ設定部102は第1視点映像信号に含まれているView間参照ピクチャの中から参照ピクチャを選択することがないので、第2視点映像信号に含まれているView内参照ピクチャと第1視点映像信号に含まれているView間参照ピクチャとの中から参照ピクチャを選択できる場合と比較して、計算量を少なめに抑えることができて、電力の削減にも寄与できる。ところで、上記の方式で符号化方式を割り当てた場合、参照インデックスの割り当て方によっては符号化効率が悪くなる可能性がある。つまり、H264圧縮符号化では、既に符号化した複数のピクチャから参照ピクチャを選択することができる。選択された各参照ピクチャはReferenceIndex参照インデクスという変数で管理されており、動きベクトルを符号化する時は、動きベクトルがどのピクチャを参照するかという情報として、参照インデクスを同時に符号化する。参照インデクスは0以上の値を取り、値が小さいほど符号化後の情報量が少なくなる。各参照ピクチャへの参照インデクスの割り当ては自由に設定することができる。このため、参照される動きベクトルの本数が多い参照ピクチャに番号の小さい参照インデクスを割り当てることにより符号化効率を向上させることが可能である。例えば、H264圧縮符号化方式で採用される算術符号化の一種であるCABACContextbasedAdaptiveBinaryArithmeticCodingでは、符号化対象のデータを2値化し、算術符号化する。従って、参照インデクスも2値化および算術符号化されることになる。ここで、参照インデクスが2である場合の2値化後の符号長2値信号長は、3ビットであり、参照インデクスが1である場合の2値信号長は、2ビットである。また。参照インデクスが0である場合、2値化後の符号長2値信号長は、1ビットである。このように、参照インデクスの値が小さいほど、2値信号長は短い。そのため、参照インデクスを符号化して得られる最終的な符号量も、参照インデクスの値が小さいほど、小さくなる傾向にある。ここで、符号化する時に参照インデクスの割り当て方を設定しない場合、H264規格で決められたデフォルトの割り当て方が適用される。デフォルトの参照インデクスの割り当て方法では、番号の小さな参照インデクスをView内参照ピクチャに割り当てており、View間参照ピクチャに割り当てる参照インデクスは、View内参照ピクチャに割り当てる参照インデクスよりも大きくなる。符号化対象となっているピクチャとView間参照ピクチャとの相関が低い場合、デフォルトの参照インデクスの割り当て方法が望ましい。これは、View間参照ピクチャよりも、View内参照ピクチャの方が符号化対象ピクチャとの相関が高く、View内参照ピクチャを参照する動きベクトルが多く検出されるためである。一方、符号化対象ピクチャとView間参照ピクチャの相関が高い場合、View内参照ピクチャよりもView間参照ピクチャの方が符号化対象ピクチャとの相関が高く、View間参照ピクチャを参照する動きベクトルが多く検出される。例えば、図6に示すように符号化対象ピクチャP7をPピクチャとして符号化する場合に、符号化対象ピクチャP7とView間参照ピクチャP6の相関が高い場合、参照インデクス1図6ではRefIdx1と記載を割り当てたView間参照ピクチャP6を参照する動きベクトルが、参照インデクス0図6ではRefIdx0と記載を割り当てたView内参照ピクチャP1を参照する動きベクトルよりも多く選ばれる。このため、デフォルトの参照インデクスの割り当て方法では符号化対象ピクチャとView間参照ピクチャの相関が高い場合に符号化効率が低下する。したがって、以下のような方式を採用して、参照インデックスの割り当て方法を適切に設定する必要がある。図7、図8A、図8Bを用いて、参照ピクチャ設定部102が実行する参照インデックスの割り当て方法の動作について説明する。なお、図7は、参照ピクチャ設定部102が、符号化モードにおいて実行する参照インデックスの割り当て方法の一例を示すフローチャートである。図7において、参照ピクチャ設定部102は、視差取得部101から入力された視差情報が大きいかどうかを判断するステップS601。ステップS601において視差情報が大きいと判断された場合ステップS601においてYesの場合、参照ピクチャ設定部102は第2視点View内参照ピクチャ以下、View内参照ピクチャと略すに小さい参照インデクスを割り当てるステップS602。ステップS601において視差情報が大きくないすなわち、同じか小さいと判断された場合ステップS601においてNoの場合、参照ピクチャ設定部102は第2視点View間参照ピクチャ以下、View間参照ピクチャと略すに小さい参照インデクスを割り当てるステップS603。図8A、図8Bを用いて、具体例を説明する。図8A、図8Bは、符号化対象ピクチャをPピクチャとして符号化する場合における、視差が大きいと判断された場合の参照インデクスの割当方法図8Aと、視差が大きくないと判断された場合の参照インデクスの割当方法図8Bとを示す図である。また、図中の矢印の意味は、図13における場合と同様である。ここでは符号化対象ピクチャをP7とし、Pピクチャとして符号化する場合を説明する。視差が大きいと判断された場合の参照インデクスの割当方法では、例えば、図8Aに示すように、ピクチャP7は動きベクトルの参照ピクチャをピクチャP1、ピクチャP6から選び、ピクチャP1に参照インデクス0を、ピクチャP6に参照インデクス1を割り当てる。一方、視差が大きくないと判断された場合の参照インデクスの割当方法では、例えば、図8Bに示すように、ピクチャP7は動きベクトルの参照ピクチャをピクチャP1、ピクチャP6から選び、ピクチャP1に参照インデクス1を、ピクチャP6に参照インデクス0を割り当てる。以上のように、第1視点映像信号と第2視点映像信号との視差情報が大きいと判断されたときに、View内参照ピクチャに番号の小さい参照インデクスを割り当て、第1視点映像信号と第2視点映像信号との視差情報が大きくないと判断されたときに、View間参照ピクチャに番号の小さい参照インデクスを割り当てるように参照ピクチャを設定する。すなわち、参照ピクチャ設定部102は、符号化モードにおいて、視差情報に応じて参照インデクスの割り当て方を変更可能に構成されている。したがって、前記視差情報が大きいと判断した場合には、View内参照ピクチャに、現在割り当てている参照インデクスの値以下となる参照インデクスを割り当て変更可能にする例えば、現在割り当てている参照インデクスが1の場合には、参照インデクスを0に変更可能とし、現在割り当てている参照インデクスが0の場合には、参照インデクスを0のままとすることができるよう構成されている。また、このように、View内参照ピクチャでの参照インデクスが割り当て変更された際には、View間参照ピクチャに、現在割り当てている参照インデクスの値以上となる参照インデクスを割り当て変更可能にする例えば、現在割り当てている参照インデクスが0の場合には、参照インデクスを1に変更可能にし、現在割り当てている参照インデクスが1の場合には、参照インデクスを1のままとすることができるよう構成されている。また、視差情報が大きくないと判断した場合には、View間参照ピクチャに、現在割り当てている参照インデクスの値以下となる参照インデクスを割り当て変更可能にする例えば、現在割り当てている参照インデクスが1の場合には、参照インデクスを0に変更可能にし、現在割り当てている参照インデクスが0の場合には、参照インデクスを0のままとすることができるよう構成されている。また、このように、View間参照ピクチャでの参照インデクスが割り当て変更された際には、View内参照ピクチャに、現在割り当てている参照インデクスの値以上となる参照インデクスを割り当て変更可能にする例えば、現在割り当てている参照インデクスが0の場合には、参照インデクスを1に変更可能にし、現在割り当てている参照インデクスが1の場合には、参照インデクスを1のままとすることができるよう構成されている。このようにすることにより、参照する動きベクトルの多い参照ピクチャの参照インデクスを小さい値に設定することができるため、符号化効率を高めることができる。したがって、画質および符号化効率を向上させることが可能となる。実施の形態2本発明は、例えば立体映像撮影カメラといった、撮影装置としても実現することができる。本実施の形態2では、立体映像符号化装置を搭載した立体映像撮影装置が実行する処理について説明する。図9は、本実施の形態2に係る立体映像撮影装置の構成を示すブロック図である。図9に示すように、立体映像撮影装置A000は、光学系A110a及び、A110b、ズームモータA120、手ぶれ補正用のアクチュエータA130、フォーカスモータA140、CCDイメージセンサA150a、A150b、前処理部A160a、A160b、立体映像符号化装置A170、角度設定部A200、コントローラA210、ジャイロセンサA220、カードスロットA230、メモリカードA240、操作部材A250、ズームレバーA260、液晶モニタA270、内部メモリA280、撮影モード設定ボタンA290、測距部A300を備える。光学系A110aは、ズームレンズA111a、光学式手ぶれ補正機構A112a、フォーカスレンズA113aを含む。また、光学系A110bは、ズームレンズA111b、光学式手ぶれ補正機構A112b、フォーカスレンズA113bを含む。具体的には、光学式手ぶれ補正機構A112a,A112bとしては、OISOpticalImageStabilizerとして知られている手ぶれ補正機構などを使用できる。この場合、アクチュエータA130には、OISアクチュエータを使用する。なお、光学系A110aは、第1視点における被写体像を形成する。また、光学系A110bは、第1視点とは異なる第2視点における被写体像を形成する。ズームレンズA111a、A111bは、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小することが可能である。ズームレンズA111a、A111bは、ズームモータA120によって制御されながら駆動される。光学式手ぶれ補正機構A112a、A112bは、内部に光軸に垂直な面内で移動可能な補正レンズを有する。光学式手ぶれ補正機構A112a、A112bは、立体映像撮影装置A100のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、光学式手ぶれ補正機構A112a、A112b内において最大Lだけ中心から移動することが出来る。光学式手ぶれ補正機構A112a、A112bは、アクチュエータA130によって制御されながら駆動される。フォーカスレンズA113a、A113bは、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズA113a、A113bは、フォーカスモータA140によって制御されながら駆動される。ズームモータA120は、ズームレンズA111a、A111bを駆動制御する。ズームモータA120は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータA120は、カム機構やボールネジなどの機構を介してズームレンズA111a、A111bを駆動するようにしてもよい。また、ズームレンズA111aと、ズームレンズA111bと、を同じ動作で制御する構成にしても良い。アクチュエータA130は、光学式手ぶれ補正機構A112a、A112b内の補正レンズを光軸と垂直な面内で駆動制御する。アクチュエータA130は、平面コイルや超音波モータなどで実現できる。フォーカスモータA140は、フォーカスレンズA113a、A113bを駆動制御する。フォーカスモータA140は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータA140は、カム機構やボールネジなどの機構を介してフォーカスレンズA113a、A113bを駆動するようにしてもよい。CCDイメージセンサA150a、A150bは、光学系A110a、A110bで形成された被写体像を撮影して、第1視点映像信号及び、第2視点映像信号を生成する。CCDイメージセンサA150a、A150bは、露光、転送、電子シャッタなどの各種動作を行う。前処理部A160a、A160bは、それぞれ、CCDイメージセンサA150a、A150bで生成された第1視点映像信号及び第2視点映像信号に対して各種の処理を施す。例えば、映像処理部A160a、A160bは、第1視点映像信号及び第2視点映像信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像補正処理を行う。立体映像符号化装置A170は、前処理部A160a、A160bで映像補正処理された第1視点映像信号及び第2視点映像信号を、H264圧縮符号化方式に準拠した圧縮形式等により圧縮する。圧縮符号化して得られる符号化ストリームはメモリカードA240に記録される。角度設定部A200は、光学系A110aと光学系A110bとの光軸の交わる角度を調整するため、光学系A110aと光学系A110bとを制御する。コントローラA210は、全体を制御する制御手段である。コントローラA210は、半導体素子などで実現可能である。コントローラA210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。また、コントローラA210は、マイクロコンピュータなどで実現できる。ジャイロセンサA220は、圧電素子等の振動材等で構成される。ジャイロセンサA220は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサA220から角速度情報を得、この揺れを相殺する方向にOIS内の補正レンズを駆動させることにより、使用者によって立体映像撮影装置A000に与えられる手振れは補正される。カードスロットA230は、メモリカードA240を着脱可能である。カードスロットA230は、機械的及び電気的にメモリカードA240と接続可能である。メモリカードA240は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。操作部材A250は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラA210を介してAFAutoFocus制御及び、AEAutoExposure制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。ズームレバーA260は、使用者からズーム倍率の変更指示を受け付ける部材である。液晶モニタA270は、CCDイメージセンサA150a、A150bで生成した第1視点映像信号又は第2視点映像信号や、メモリカードA240から読み出した第1視点映像信号及び第2視点映像信号を、2D表示若しくは3D表示可能な表示デバイスである。また、液晶モニタA270は、立体映像撮影装置A000の各種の設定情報を表示可能である。例えば、液晶モニタA270は、撮影時における撮影条件である、EV値、F値、シャッタースピード、ISO感度等を表示可能である。内部メモリA280は、立体映像撮影装置A000全体を制御するための制御プログラム等を格納する。また、内部メモリA280は、立体映像符号化装置A170及びコントローラA210のワークメモリとして機能する。内部メモリA280は、撮影時における光学系A110a、A110b、CCDイメージセンサA150a、A150bの撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ISO感度、シャッタースピード、EV値、F値、レンズ間距離、撮影時刻、OISシフト量、光学系A110aと光学系A110bとの光軸の交わる角度などがある。モード設定ボタンA290は、立体映像撮影装置A000で撮影する際の撮影モードを設定するボタンである。撮影モードとは、ユーザが想定する撮影シーンを示すものであり、例えば、1人物モード、2子供モード、3ペットモード、4マクロモード、5風景モードを含む2D撮影モードと、63D撮影モードなどがある。なお、1~5それぞれに対しての3D撮影モードを持ってもよい。立体映像撮影装置A000は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、立体映像撮影装置A000が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。また、撮影モード設定ボタンA290は、メモリカードA240に記録される映像信号の再生モードを設定するボタンである。測距部A300は、立体映像撮影装置A000から撮影を行う被写体までの距離を測定する機能を有する。測距部A300は、例えば、赤外線信号を照射した後、照射した赤外線信号の反射信号を測定することにより測距を行なう。なお、測距部A300における測距方法は、上記の方法に限定されるものではなく、一般的に用いられる方法であれば、どのような方法を使用しても構わない。次に、以上のように構成された立体映像撮影装置A000が実行する処理について説明する。まず、撮影モード設定ボタンA290が使用者により操作されると、立体映像撮影装置A000は操作後の撮影モードを取得する。コントローラA210は、レリーズボタンが全押しされるまで待機する。レリーズボタンが全押しされると、CCDイメージセンサA150a、A150bは、撮影モードから設定される撮影条件を基に撮影動作を行い、第1視点映像信号及び第2視点映像信号を生成する。第1視点映像信号と第2視点映像信号とが生成されると、前処理部A160a、A160bは、生成された2つ映像信号に対して、撮影モードに則した各種映像処理を行う。前処理部A160a、A160bで各種映像処理を実行した後、立体映像符号化装置A170は第1視点映像信号と第2視点映像信号とを圧縮符号化し、符号化ストリームを生成する。符号化ストリームが生成されると、コントローラA210は、符号化ストリームをカードスロットA230に接続されるメモリカードA240に記録する。次に、図10を用いて、立体映像符号化装置A170の構成について説明する。なお、図10は、本実施の形態2に係る立体映像符号化装置A170の構成を示すブロック図である。図10において、立体映像符号化装置A170は、参照ピクチャ設定部A102と、符号化部103とを備える。参照ピクチャ設定部A102は、内部メモリA280に保持されている被写体距離、光学系A110aと光学系A110bとの光軸の交わる角度といった撮影条件パラメータから、符号化対象ピクチャを符号化する際に参照ピクチャをどのように設定するか、さらには参照ピクチャへどのように参照インデクスを割り当てるかといった参照方式を決定する。そして、参照ピクチャ設定部A102は、決定したそれらの情報以下、参照ピクチャ設定情報と称すを符号化部103に対して出力する。参照ピクチャ設定部A102における具体的な動作に関する詳細については後述する。符号化部103の動作は、実施の形態1と同様であるため、ここでの説明は省略する。次に、参照ピクチャ設定部A102が実行する処理の一例について説明する。参照ピクチャ設定部A102が実行する処理のフローチャートは、実施の形態1で説明した図3、図7と同様であるが、視差が大きいかどうかを判断する方法が異なる。実施の形態2では、視差が大きいかどうかを判断する方法としては、例えば、1光学系A110aと光学系A110bとの光軸の交わる角度が予め定めた第3の閾値以上であるかどうか、2被写体距離が予め定めた第4の閾値以下であるかどうか、などがある。なお、第1視点映像信号と第2視点映像信号とで視差が大きな領域が多いかどうかを判断する方法であれば、他の方法であってもよい。このように、本形態2における立体映像撮影装置A000は、測距部A300において得られた距離情報、または2つの光学系の光軸の交わる角度を基に、参照ピクチャを設定する。このため、実施の形態1とは異なり、第1視点映像信号及び第2視点映像信号から視差情報を検出することなく、参照ピクチャを設定することが可能となる。以上のように、本実施の形態1、2に係る立体映像符号化装置は、視差取得部101によって算出された視差情報、または撮影条件パラメータに応じて、第1視点映像信号と第2視点映像信号との間の視差に基づく視差情報が大きいかどうかを判断して、参照ピクチャの選択方法、もしくは参照インデクスの割り当て方の選択方法を変更することにより、入力画像データの特性にあわせた符号化処理を行う。このため、入力画像データの符号化効率を高めることができる。したがって、立体映像符号化装置の符号化効率、ならびに立体映像符号化装置を用いて符号化した符号化ストリームの画質向上させることが可能である。以上、本実施の形態1、2について説明したが、本発明はこれに限定されるものではない。例えば、入力画像データの符号化における参照インデクスの設定方法や割り当て方法を決定する方法として、本実施の形態1においては、視差情報を用いて視差が大きいかどうかを判断する方法を説明した。本実施の形態2においては、撮像パラメータを用いて視差が大きいかどうかを判断する方法を説明したが、視差情報と撮像パラメータとの両方を組み合わせて視差が大きいかどうかを判断してもよい。また、本実施の形態1においては、視差のばらつきなどの視差情報が大きいかどうかのみを判断して参照ピクチャを設定しているが、これに加えて、例えば、撮影シーンが動きの大きいシーンかどうかといった情報を加えて参照ピクチャを決定してもよい。図11、図12は、本実施の形態1に係る立体映像撮影装置における参照ピクチャ設定部が実行する設定動作の他の変形例を示すフローチャートである。第2視点映像信号を符号化する際に、図3に示す場合と同様に、視差取得部101から入力された視差情報を用いて第1視点映像信号と第2視点映像信号との視差に関する視差情報視差ベクトルのばらつき状態などが大きいかどうかを判断するステップS301。また、図3に示す場合と同様に、視差情報が大きいと判断された場合ステップS301においてYesの場合、参照ピクチャ設定部102は第2視点映像信号に含まれているView内参照ピクチャの中から参照ピクチャを選択するステップS302:第2の設定モード。一方、ステップS301において視差情報が大きくないと判断された場合ステップS301においてNoの場合、ステップS301からステップS305に進んで、撮影シーン第1視点映像信号や第2視点映像信号の動きが大きいかどうかを判断する。撮影シーンの動きが大きいと判断した場合には、ステップS306に進んで、第1視点映像信号に含まれているView間参照ピクチャの中から参照ピクチャを選択する。ステップS305において、撮影シーンの動きが大きくないと判断した場合には、ステップS307に進んで、第1視点映像信号に含まれているView間参照ピクチャおよび第2視点映像信号に含まれているView内参照ピクチャの中から参照ピクチャを選択する図11参照。また、図12に示すように、ステップS305において、撮影シーンの動きが大きくないと判断した場合には、ステップS308に進んで、第2視点映像信号に含まれているView内参照ピクチャの中から参照ピクチャを選択してもよい。なお、撮影シーンの動きが大きいかどうかを判断する方法としては、1フレーム前の画像の動きベクトルの結果から統計処理するなどして平均値を求めて判断するとよい。また、これに代えて、予め前処理で映像を縮小して情報量を縮小した上で、縮小画像から動きベクトルを検出し、動きベクトルの結果から統計するなどして平均値を求めて判断してもよいが、これに限るものではない。これらの方式によっても、視差ベクトルのばらつき状態などを示す視差情報が大きいと判断された場合には、オクルージョン領域が拡大する第1視点の映像信号である第1視点映像信号を参照ピクチャとして選択しないので、動きベクトルを求める精度が向上して符号化効率が向上する。また、これらの方式によれば、動きが大きい場合には、第2視点映像信号に含まれているView内参照ピクチャを選択せずに、視差ベクトルのばらつき状態などを示す視差情報が大きくなく、動きも大きくない第1視点映像信号に含まれているView間参照ピクチャを選択しているので、入力画像データの符号化効率をさらに高めることができる。また、本実施の形態1、2においては、符号化対象ピクチャが、Pピクチャである場合について説明した。しかし、Bピクチャの場合についても同様のやり方で適応的に切り替えることにより符号化効率を向上させることが可能である。また、本実施の形態1、2においては、符号化対象ピクチャが、フレーム構造で符号化するある場合について説明した。しかし、フィールド構造で符号化する場合、またはフレーム構造とフィールド構造とを適応的に切り替える場合についても、同様のやり方で適応的に切り替えることにより、符号化効率を向上させることが可能である。また、本実施の形態1、2においては、圧縮符号化方式としてH264を用いた場合を例に挙げたが、これに限るものではない。例えば、参照ピクチャを複数のピクチャの中から設定することができる圧縮符号化方式、特に参照インデクスを割り当てて参照ピクチャを管理する機能を持つ圧縮符号化方式に対して本発明を適用してもよい。なお、本発明は、本実施の形態1、2における各構成要素を備える立体映像符号化装置として提供することができるばかりではない。例えば、立体映像符号化装置が具備する各構成要素を各ステップとする立体映像符号化方法や、立体映像符号化装置が具備する各構成要素を備える立体映像符号化集積回路、および立体映像符号化方法を実現することができる立体映像符号化プログラムとして用いることも可能である。そして、この立体映像符号化プログラムは、CD-ROMCompactDiscReadOnlyMemory等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。また、立体映像符号化集積回路は、典型的な集積回路であるLSIとして実現することができる。この場合、LSIは、1チップで構成しても良いし、複数チップで構成しても良い。例えば、メモリ以外の機能ブロックを1チップLSIで構成しても良い。なお、ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSIまたはウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよいし、LSI製造後に、プログラムすることが可能なFPGAFieldProgrammableGateArrayや、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサーを利用してもよい。さらに、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを1チップ化構成に取り込まず、別構成としても良い。"