撮影対象を一の視点から表した第1種画像の列と、他の視点から表した第2種画像の列とからなるマルチストリームを符号化する符号化装置であって、前記マルチストリームから符号化対象画像を逐次取得する画像取得手段と、前記符号化対象画像が第2種画像である場合に、当該第2種画像と所定の順序関係を有する、既に符号化された別の第2種画像と、当該別の第2種画像に対応する前記第1種画像とから得られる第1相違量を取得する第1相違量取得手段と、前記符号化対象画像が第2種画像である場合に、当該第2種画像に対応する第1種画像と、当該第1種画像と所定の順序関係を有する、既に符号化された別の第1種画像とから得られる第2相違量を取得する第2相違量取得手段と、前記第1相違量及び前記第2相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき1つ以上の参照画像を決定する決定手段と、前記決定手段で決定された1つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化手段とを備えることを特徴とする符号化装置。前記第1相違量は、前記別の第2種画像が前記第1種画像を参照して符号化した際のイントラマクロブロック数であり、前記第2相違量は、前記第1種画像が前記別の第1種画像を参照して符号化した際のイントラマクロブロック数であることを特徴とする請求項1に記載の符号化装置。前記第1相違量は、前記第1種画像と、前記別の第2種画像とから得られる動きベクトル量であり、前記第2相違量は、前記第1種画像と、前記別の第1種画像とから得られる動きベクトル量であることを特徴とする請求項1に記載の符号化装置。前記決定手段は、第1の閾値と前記第1の閾値より大きい値である第2の閾値とを用いた、前記第1相違量との大小関係及び前記第2相違量との大小関係から、当該符号化対象画像について符号化する際の参照方向を1つ以上決定し、決定した1つ以上の参照方向それぞれから参照画像を特定することを特徴とする請求項1に記載の符号化装置。前記符号化装置は、さらに、前記マルチストリームの符号化時点でのビットレートが高く、且つフレームレートが低い場合には前記第1及び前記第2の閾値それぞれの値を大きくし、符号化時点でのビットレートが低く、且つフレームレートが高い場合には前記第1及び前記第2の閾値それぞれの値を小さくする閾値変更手段を備えることを特徴とする請求項4に記載の符号化装置。前記符号化対象画像が第2種画像であり、且つ種別がPピクチャーである場合において、前記決定手段は、前記第2相違量が前記第1の閾値以下である場合、及び前記第2相違量が前記第1の閾値より大きく且つ前記第2の閾値以下であり、前記第1相違量が前記第2の閾値以下である場合には、参照方向を前記第2種画像の列の前方のみと決定し、前記第2相違量が前記第1の閾値より大きく且つ前記第2の閾値以下であり、前記第1相違量が前記第2の閾値以下である場合、及び前記第2相違量が前記第2の閾値より大きく且つ前記第1相違量が前記第2の閾値以下である場合には、参照方向を前記第1種画像の列の方向のみと決定し、前記第1相違量及び前記第2相違量とも前記第2の閾値より大きい場合には、参照方向を前記第2種画像の列の前方、及び前記第1種画像の列の方向2方向と決定することを特徴とする請求項4に記載の符号化装置。前記符号化対象画像が第2種画像であり、かつ種別がBピクチャーである場合において、前記第2相違量取得手段は、前記符号化対象画像に対応する第1種画像と、当該第1種画と所定の順序関係を有し、且つ前方に存在する前方第1種画像とから得られる前方用第2相違量を前記第2相違量として取得し、さらに前記第1種画像と、当該第1種画像と所定の順序関係を有し、且つ後方に存在する後方第1種画像とから得られる後方用第2相違量を取得し、前記決定手段は、第1相違量が前記第1の閾値以下である場合には前記符号化対象画像の参照方向を、前記第1種画像の列の方向のみを参照方向と決定し、前記前方用第2相違量が第1の閾値以下である場合には参照方向を前記第2種画像の列の前方のみと決定し、前記後方用第2相違量が第1の閾値以下である場合には参照方向を前記第2種画像の列の後方のみと決定し、前記第1相違量及び前記前方用第2相違量の双方ともが前記第1の閾値以上前記第2の閾値以下である場合には参照方向を前記第2種画像の前方、及び前記第1種画像の列の方向の2方向と決定し、前記第1相違量及び前記後方用第2相違量の双方ともが前記第1の閾値以上前記第2の閾値以下である場合には参照方向を前記第2種画像の列の後方、及び前記第1種画像の列の方向の2方向と決定し、前記第1相違量が前記第2の閾値以上であって、且つ前記前方第2相違量及び前記後方第2相違量の双方が前記第1の閾値以上前記第2の閾値以下である場合には参照方向を前記第2種画像の列の前方及び後方の2方向と決定し、その他の組み合わせにおいては、参照方向を前記第2種画像の列の前方と後方、及び前記第1種画像の列の方向の3方向と決定することを特徴とする請求項6に記載の符号化装置。前記第1相違量取得手段は、前記符号化対象画像が第2種画像である場合に、当該第2種画像と所定の順序関係を有する、既に符号化された別の第2種画像と、当該別の第2種画像に対応する第1種画像とから得られる第1相違量を取得する代わりに、前記符号化対象画像における画像周波数と、当該符号化対象画像で表される一時点の再生対象について前記第1動画ストリームから取得される第1種画像の周波数との差分を前記第1相違量として取得することを特徴とする請求項1に記載の符号化装置。前記第2相違量取得手段は、前記符号化対象画像が第2種画像である場合に、当該第2種画像に対応する第1種画像と、当該第1種画像と所定の順序関係を有する別の第1種画像とから得られる第2相違量を取得する代わりに、当該符号化対象画像における代表点の位置と、当該符号化対象画像と所定の順序関係を有する他の第2種画像における前記代表点の位置とから得られる画素移動量を前記第2相違量として取得することを特徴とする請求項1に記載の符号化装置。撮影対象を一の視点から表した第1種画像の列と、他の視点から表した第2種画像の列とからなるマルチストリームを符号化する、画像取得手段と第1相違量取得手段と第2相違量取得手段と決定手段と符号化手段とを備える符号化装置で用いられる符号化方法であって、前記画像取得手段が、前記マルチストリームから符号化対象画像を逐次取得する画像取得ステップと、前記第1相違量取得手段が、前記符号化対象画像が第2種画像である場合に、当該第2種画像と所定の順序関係を有する、既に符号化された別の第2種画像と、当該別の第2種画像に対応する前記第1種画像とから得られる第1相違量を取得する第1取得ステップと、前記第2相違量取得手段が、前記符号化対象画像が第2種画像である場合に、当該第2種画像に対応する第1種画像と、当該第1種画像と所定の順序関係を有する、既に符号化された別の第1種画像とから得られる第2相違量を取得する第2取得ステップと、前記決定手段が、前記第1相違量及び前記第2相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき1つ以上の参照画像を決定する決定ステップと、前記符号化手段が、前記決定ステップで決定された1つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化ステップとを含むことを特徴とする符号化方法。撮影対象を一の視点から表した第1種画像の列と、他の視点から表した第2種画像の列とからなるマルチストリームを符号化する、画像取得手段と第1相違量取得手段と第2相違量取得手段と決定手段と符号化手段とを備える符号化装置で用いられるコンピュータ読み取り可能なプログラムであって、前記画像取得手段に、前記マルチストリームから符号化対象画像を逐次取得させる画像取得ステップと、前記第1相違量取得手段に、前記符号化対象画像が第2種画像である場合に、当該第2種画像と所定の順序関係を有する、既に符号化された別の第2種画像と、当該別の第2種画像に対応する前記第1種画像とから得られる第1相違量を取得させる第1取得ステップと、前記第2相違量取得手段に、前記符号化対象画像が第2種画像である場合に、当該第2種画像に対応する第1種画像と、当該第1種画像と所定の順序関係を有する、既に符号化された別の第1種画像とから得られる第2相違量を取得させる第2取得ステップと、前記決定手段に、前記第1相違量及び前記第2相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき1つ以上の参照画像を決定させる決定ステップと、前記符号化手段に、前記決定ステップで決定された1つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行わせる符号化ステップとを含むことを特徴とするプログラム。しかしながら、前記のような符号化を行った場合、従来のシングルストリームの符号化時に比べて多くの参照アクセスが発生してしまう。なぜなら、シングルストリームの符号化ではView内参照のみでよいが、マルチストリーム、特にNonBaseViewのシーケンスを符号化する際には、View間参照及びView内参照の双方を行う必要があるからである。そこで、NonBaseViewのシーケンスをView間参照することで、NonBaseView側の参照画像の出力を無くし、メモリアクセス処理量を削減するという方法もあるが、空間変化量が大きいシーンでは、View間参照がView内参照するよりも低効率となることがあるため、一意にView間参照すると、符号化効率が低下し従来のストリームと比べ著しい画質劣化を引き起こしてしまう。そこで、本発明は、上記の問題に鑑みて、マルチストリームの符号化の際においてメモリアクセスを軽減することのできる符号化装置、符号化方法及びプログラムを提供することを目的とする。上記目的を達成するために、本発明は、撮影対象を一の視点から表した第1種画像の列と、他の視点から表した第2種画像の列とからなるマルチストリームを符号化する符号化装置であって、前記マルチストリームから符号化対象画像を逐次取得する画像取得手段と、前記符号化対象画像が第2種画像である場合に、当該第2種画像と所定の順序関係を有する、既に符号化された別の第2種画像と、当該別の第2種画像に対応する前記第1種画像とから得られる第1相違量を取得する第1相違量取得手段と、前記符号化対象画像が第2種画像である場合に、当該第2種画像に対応する第1種画像と、当該第1種画像と所定の順序関係を有する、既に符号化された別の第1種画像とから得られる第2相違量を取得する第2相違量取得手段と、前記第1相違量及び前記第2相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき1つ以上の参照画像を決定する決定手段と、前記決定手段で決定された1つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化手段とを備えることを特徴とする。上記構成によると、符号化装置は、決定手段で決定された1つ以上の参照画像を用いて符号化対象の画像を符号化するので、メモリへは決定された1つ以上の参照画像のみを読み込めばよい。そのため、従来と比較してメモリへの読み込み回数を削減することができる。以下、本発明の実施の形態について、図面を参照しながら説明する。1.実施の形態1.1画像処理装置1について画像処理装置1は、符号化装置10とメモリ20とを有している。符号化装置10は、BaseViewとNonBaseViewとならなるマルチストリームに含まれる画像の符号化を行う。また、メモリ20は、符号化前の画像、符号化された画像や符号化処理の結果等の符号化処理に係る情報を格納するものである。ここで、マルチストリームにおいて、BaseViewは各時点における撮影対象を一の視点から表した画像の列からなり、NonBaseViewは当該撮影対象を他の視点から表した画像の列からなるものである。以下、符号化装置10及びメモリ20について詳細に説明する。1.2符号化装置10の構成図1は、本実施の形態に係る符号化装置10の構成を示す図である。符号化装置10は、画像入力部101、空間変化量判断部102、時間変化量判断部103、参照判断部104、参照画像アクセス部105及び符号化部106から構成されている。1画像入力部101画像入力部101は、符号化対象となる画像の入力を受け付けるものである。画像入力部101は、受け付けた符号化対象の画像をメモリ20へ格納する。2空間変化量判断部102空間変化量判断部102は、空間的な画像の変化量、つまりView間での画像の変化量を判断するものである。具体的には、空間変化量判断部102は、NonBaseViewに属する符号化対象の画像について、NonBaseViewに属し、且つ所定の順序関係を有する既に符号化された種別がPピクチャーである画像参照候補の画像と、当該画像に対応するBaseViewに属する画像との間における画像の変化量画像の空間変化量を取得する。ここで、所定の順序関係とは、符号化を行う際の符号化順序である。ここでは、画像の変化量としてイントラマクロブロック数を用いる。イントラマクロブロックとは、フレーム間予測が行えずフレーム内予測による符号化を行ったマクロブロックである。イントラ符号化を選択されるということは、参照画像との変化量が大きい、かつ符号効率が悪いことを示す。また、空間変化量判断部102は、図2に示すように、上限閾値G102と下限閾値G103を用いて、取得した空間変化量の度合を大、中、小に切り分ける。その結果をメモリ20へ格納する。ここで、変化量が大とは、変化量が上限閾値G102より大きい、変化量が中とは、変化量が下限閾値G103以上上限閾値G102以下である、変化量が小とは、変化量が下限閾値G103より小さい、ことをいう。ここで、上限閾値G102と下限閾値G103とは、符号化装置10の製造時点で、設計者等により予め定められた値である。3時間変化量判断部103時間変化量判断部103は、時間的な画像の変化量、つまりView内での画像の変化量を判断するものである。具体的には、時間変化量判断部103は、NonBaseViewに属する符号化対象の画像について、BaseViewに属し、且つ符号化対象の画像に対応する種別がPピクチャーである画像と、当該画像と所定の順序関係を有する既に符号化された種別がPピクチャーである画像との間における画像の変化量画像の時間変化量を取得する。ここでは、空間変化量の場合と同様に、画像の変化量としてイントラマクロブロック数を用いる。また、時間変化量判断部103は、図2に示す上限閾値G102と下限閾値G103を用いて、取得した時間変化量の度合を大、中、小に切り分ける。その結果をメモリ20へ格納する。なお、符号化対象の画像がBピクチャーである場合には、時間変化量は2つ取得される。なぜなら、種別がPピクチャーであるNonBaseViewに属する参照候補の画像は前方と、後方の2つ存在するため、これら画像それぞれについて時間変化量を取得する。以降において、前方の画像との時間変化量を前方時間変化量と、後方の画像との時間変化量を後方時間変化量という。4参照判断部104参照判断部104は、符号化対象の画像について取得した空間変化量及び時間変化量を基に、当該符号化対象の画像が参照すべき参照方向と参照枚数とを決定するものである。具体的には、参照判断部104は、メモリ20に格納された空間変化量及び時間変化量それぞれの度合の組み合わせにより、度合の小さい変化量に基づいて参照すべき参照方向と参照枚数とを決定する。5参照画像アクセス部105参照画像アクセス部105は、参照判断部104による判断結果参照すべき参照方向と参照枚数で特定される1つ以上の参照画像をメモリ20に読み書きするものである。6符号化部106符号化部106は、画像入力部101で受け付け、メモリ20に格納された符号化対象画像を、参照画像アクセス部105でアクセスした1つ以上の参照画像を用いて符号化するものである。符号化部106は、符号化された画像及び符号化処理の結果等の符号化処理に係る情報をメモリに格納する。1.3メモリ20についてメモリ20には、符号化対象の画像が画像入力部101により格納される。また、図3に示すように、符号化された画像毎に、符号化データ格納領域201、符号化結果格納領域202及び変化量判断結果格納領域203を有する格納領域が割り当てられている。符号化データ格納領域201には、符号化部106で符号化された画像が格納される。符号化結果格納領域202には、符号化データ格納領域201に格納された符号化された画像について、当該画像がNonBaseViewの画像であって、View間参照による符号化がされた場合には当該View間参照におけるイントラマクロブロック数と、直近にView内参照がされた場合のイントラマクロブロック数とが格納される。また、View内参照による符号化がされた場合には当該画像と対応するBaseViewに属する画像のView内参照におけるイントラマクロブロック数と、直近にView間参照がされた場合のイントラマクロブロック数とが格納される。つまり、符号化に用いられなかった一のView参照については過去のイントラマクロブロック数が引き継がれていく。NonBaseViewの一の符号化対象画像を符号化する際において空間変化量を取得する場合に、取得対象となるNonBaseViewの一の画像について引き継がれたイントラマクロブロック数が対応付いているときには、当該イントラマクロブロック数を当該一の画像と当該一の画像に対するBaseViewの画像とのView間におけるイントラマクロブロック数として扱う。なお、BaseView内における画像の符号化では、View内参照しか行われないため、View内参照時のイントラマクロブロック数が格納される。変化量判断結果格納領域203には、符号化対象の画像を符号化する際に空間変化量判断部102及び時間変化量判断部103それぞれで判断された空間変化量及び時間変化量の度合大、中、小が格納される。1.4動作1符号化処理ここでは、符号化装置10が行う符号化に係る処理について、図4に示す流れ図を用いて説明する。参照判断部104は、符号化対象の画像がNonBaseViewシーケンスのものであるか否かを判断するステップS5。符号化対象の画像がNonBaseViewシーケンスのものであると判断する場合ステップS5におけるYes、参照判断部104は、符号化対象の画像の種別を判断するステップS10。符号化対象の画像の種別がPピクチャーであると判断する場合ステップS10におけるPピクチャー、参照判断部104は、Pピクチャー参照判断処理を行い、当該符号化対象の画像を符号化する際に参照すべき参照方向及び参照枚数を決定するステップS15。符号化対象の画像の種別がBピクチャーであると判断する場合ステップS10におけるBピクチャー、参照判断部104は、Bピクチャー参照判断処理を行い、当該符号化対象の画像を符号化する際に参照すべき参照方向及び参照枚数を決定するステップS20。符号化対象の画像の種別がIピクチャーであると判断する場合ステップS10におけるIピクチャー、Pピクチャー参照判断処理の実行後、及びBピクチャー参照判断処理の実行後において、符号化部106は、符号化対象の画像について符号化を行うステップS25。具体的には、符号化対象の画像がIピクチャーである場合には従来と同様にIピクチャーの符号化を行う。また、Pピクチャー参照判断処理の実行後、及びBピクチャー参照判断処理の実行後においては、参照判断部104で決定した参照方向及び参照枚数に基づいて特定される1つ以上の参照画像を用いて符号化する。符号化部106は、符号化した画像を、当該画像に割り当てられたメモリ20内の格納領域200の符号化データ格納領域201へ書き込むステップS30。なお、このとき、符号化処理の結果等の符号化処理に係る情報イントラマクロブロック数についても符号化結果格納領域202へ書き込む。2Pピクチャー参照判断処理ここでは、図4のステップS15で行われるPピクチャー参照判断処理について、図5に示す流れ図を用いて説明する。参照判断部104は、時間変化量判断部103で判断された時間変化量の度合が大中小の何れであるかを判断するステップS100。時間変化量が小であると判断する場合ステップS100における変化量小、参照判断部104は、空間変化量判断部102で判断された空間変化量の度合が小であるか否かを判断するステップS105。空間変化量が小であると判断する場合ステップS105におけるYes、参照判断部104は、View内参照のみで符号化すると決定するステップS120。なお、この場合、符号化対象の画像は、以降の符号化において非被参照画像として扱う。ここで、非被参照画像とは、符号化時において本来であれば参照すべき画像であるが、参照しない画像のことをいう。符号化部106は、符号化対象の画像が非被参照画像である画像を本来なら参照する場合には、当該画像の代わりに当該画像が参照する別の画像を参照して、符号化対象の画像を符号化する。また、符号化対象の画像が非被参照画像である場合には、符号化部106は、上述したステップS30において、符号化結果の情報として当該画像が非被参照画像である旨を符号化結果格納領域202へ格納する。空間変化量が小でないと判断する場合ステップS105におけるNo、参照判断部104は、View内参照のみで符号化すると決定するステップS125。なお、この場合、符号化対象の画像は、以降の符号化において被参照画像として扱う。時間変化量が中であると判断する場合ステップS100における変化量中、参照判断部104は、空間変化量の度合が大であるか否かを判断するステップS110。空間変化量が大であると判断する場合ステップS110におけるYes、参照判断部104はステップS125を実行する。空間変化量が大でないと判断する場合ステップS110におけるNo、参照判断部104は、View間参照のみで符号化すると決定するステップS130。なお、この場合、符号化対象の画像は、以降の符号化において被参照画像として扱う。時間変化量が大であると判断する場合ステップS100における変化量大、参照判断部104は、空間変化量の度合が大であるか否かを判断するステップS115。空間変化量が大でないと判断する場合ステップS115におけるNo、参照判断部104はステップS130を実行する。空間変化量が大であると判断する場合ステップS115におけるYes、参照判断部104は、View間参照及びView内参照の双方を用いて符号化すると決定するステップS135。なお、この場合、符号化対象の画像は、以降の符号化において被参照画像として扱う。3Bピクチャー参照判断処理ここでは、図4のステップS20で行われるBピクチャー参照判断処理について、図6に示す流れ図を用いて説明する。参照判断部104は、空間変化量判断部102で取得された空間変化量の度合が小であるか否かを判断するステップS200。空間変化量が小であると判断する場合ステップS200におけるYes、参照判断部104は、View間参照のみで符号化すると決定するステップS225。空間変化量が小でないと判断する場合ステップS200におけるNo、参照判断部104は、前方時間変化量が小であるか否かを判断するステップS205。前方時間変化量が小であると判断する場合ステップS205におけるYes、参照判断部104は、本来参照すべき画像ここでは前方の画像が非被参照画像であるか否かを判断するステップS210。非被参照画像でないと判断する場合にはステップS210におけるNo、参照判断部104は、View内参照であって且つ本来参照すべき前方の画像以下、第1前方画像という。のみを参照して符号化すると決定するステップS230。非被参照画像であると判断する場合にはステップS210におけるYes、参照判断部104は、View内参照であって且つ本来参照すべき画像が参照する前方の画像以下、第2前方画像のみを参照して符号化すると決定するステップS235。前方時間変化量が小でないと判断する場合ステップS205におけるNo、参照判断部104は、後方時間変化量が小であるか否かを判断するステップS215。後方時間変化量が小であると判断する場合ステップS215におけるYes、参照判断部104は、本来参照すべき画像ここでは後方の画像が非被参照画像であるか否かを判断するステップS220。非被参照画像でないと判断する場合にはステップS220におけるNo、参照判断部104は、View内参照であって且つ本来参照すべき後方の画像以下、第1後方画像という。のみを参照して符号化すると決定するステップS245。非被参照画像であると判断する場合にはステップS220におけるYes、参照判断部104は、View内参照であって且つ本来参照すべき画像が参照する後方の画像以下、第2後方画像のみを参照して符号化すると決定するステップS240。後方時間変化量が小でないと判断する場合ステップS215におけるNo、参照判断部104は、複数枚決定処理を行い、参照すべき参照方向と参照枚数とを決定するステップS250。4複数枚決定処理ここでは、図6のステップS250で行われる複数枚決定処理について、図7から図9に示す流れ図を用いて説明する。参照判断部104は、空間変化量判断部102で取得された空間変化量の度合が中であるか否かを判断するステップS300。空間変化量が中であると判断する場合ステップS300におけるYes、参照判断部104は、前方時間変化量が中であるか否かを判断するステップS305。前方時間変化量が中であると判断する場合ステップS305におけるYes、参照判断部104は、本来参照すべき画像ここでは前方の画像が非被参照画像であるか否かを判断するステップS315。前方の画像が非被参照画像であると判断する場合にはステップS315におけるYes、参照判断部104は、View間及び第2前方画像による2画面参照により符号化すると決定するステップS365。前方の画像が非被参照画像でないと判断する場合にはステップS315におけるNo、参照判断部104は、View間及び第1前方画像による2画面参照により符号化すると決定するステップS370。前方時間変化量が中でないと判断する場合ステップS305におけるNo、参照判断部104は、後方時間変化量が中であるか否かを判断するステップS320。後方時間変化量が中であると判断する場合ステップS320におけるYes、参照判断部104は、本来参照すべき画像ここでは後方の画像が非被参照画像であるか否かを判断するステップS330。後方の画像が非被参照画像であると判断する場合にはステップS330におけるYes、参照判断部104は、View間及び第2後方画像による2画面参照により符号化すると決定するステップS375。後方の画像が非被参照画像でないと判断する場合にはステップS330におけるNo、参照判断部104は、View間及び第1後方画像による2画面参照により符号化すると決定するステップS380。後方時間変化量が中でないと判断する場合ステップS320におけるNo、参照判断部104は、本来参照すべき前方の画像が非被参照画像であるか否かを判断するステップS335。前方の画像が非被参照画像であると判断する場合にはステップS335におけるYes、参照判断部104は、本来参照すべき後方の画像が非被参照画像であるか否かを判断するステップS345。後方の画像が非被参照画像であると判断する場合にはステップS345におけるYes、参照判断部104は、View間、第2前方画像及び第2後方画像による3画面参照により符号化すると決定するステップS385。後方の画像が非被参照画像でないと判断する場合にはステップS345におけるNo、参照判断部104は、View間、第2前方画像及び第1後方画像による3画面参照により符号化すると決定するステップS390。前方の画像が非被参照画像でないと判断する場合にはステップS335におけるNo、参照判断部104は、本来参照すべき後方の画像が非被参照画像であるか否かを判断するステップS350。後方の画像が非被参照画像であると判断する場合にはステップS350におけるYes、参照判断部104は、View間、第1前方画像及び第2後方画像による3画面参照により符号化すると決定するステップS395。後方の画像が非被参照画像でないと判断する場合にはステップS350におけるNo、参照判断部104は、View間、第1前方画像及び第1後方画像による3画面参照により符号化すると決定するステップS400。空間変化量が中でないと判断する場合ステップS300におけるNo、参照判断部104は、前方時間変化量が大であるか否かを判断するステップS310。前方時間変化量が大であると判断する場合ステップS310におけるYes、参照判断部104の処理は、ステップS335に移行する。前方時間変化量が大でないと判断する場合ステップS310におけるNo、参照判断部104は、後方時間変化量が大であるか否かを判断するステップS325。後方時間変化量が大であると判断する場合ステップS325におけるYes、参照判断部104の処理は、ステップS335に移行する。後方時間変化量が大でないと判断する場合ステップS325におけるNo、参照判断部104は、本来参照すべき前方の画像が非被参照画像であるか否かを判断するステップS340。前方の画像が非被参照画像であると判断する場合にはステップS340におけるYes、参照判断部104は、本来参照すべき後方の画像が非被参照画像であるか否かを判断するステップS355。後方の画像が非被参照画像であると判断する場合にはステップS355におけるYes、参照判断部104は、第2前方画像及び第2後方画像による2画面参照により符号化すると決定するステップS405。後方の画像が非被参照画像でないと判断する場合にはステップS355におけるNo、参照判断部104は、第2前方画像及び第1後方画像による2画面参照により符号化すると決定するステップS410。前方の画像が非被参照画像でないと判断する場合にはステップS340におけるNo、参照判断部104は、本来参照すべき後方の画像が非被参照画像であるか否かを判断するステップS360。後方の画像が非被参照画像であると判断する場合にはステップS360におけるYes、参照判断部104は、第1前方画像及び第2後方画像による2画面参照により符号化すると決定するステップS415。後方の画像が非被参照画像でないと判断する場合にはステップS360におけるNo、参照判断部104は、第1前方画像及び第1後方画像による2画面参照により符号化すると決定するステップS420。1.5具体例1Pピクチャーの符号化についてここでは、Pピクチャーである画像P-11を符号化対象として、図10を用いて本実施の形態の具体例を説明する。従来、画像P-11を符号化する場合には、BaseViewの画像P-4及びNonBaseViewの画像P-8の双方を参照している。本実施の形態では、View間参照及びView内参照の双方を行う代わりに、先ず画像P-1と画像P-8との空間変化量、及び画像P-4と画像P-1との時間変化量を取得する。これは、符号化対象の画像P-11と画像P-8との画像の変化量、及び画像P-11と画像P-4との画像の変化量はともに少ないという前提の基、画像P-1と画像P-8との空間変化量と、画像P-4と画像P-11との空間変化量は同様の変化量であると推測されるためである。また、画像P-1と画像P-4における時間変化量と、画像P-8と画像P-11とにおける時間変化量は同様の変化量であると推測されるためである。このとき、符号化装置10の参照判断部104は、既に符号化された複数のPピクチャー画像についての空間変化量及び時間変化量を用いて、変化量の小さい方を特定する。参照判断部104は、特定した変化量に係るView参照、例えば、時間変化量の方が小さい場合には、View内参照のみを行うとし、符号化対象の画像について符合化に用いる1つの画像を特定することができる。また、ともに変化量が大きい場合には従来と同様にView内参照及びView間参照の双方を行って符号化が行われる。2Bピクチャーの符号化についてここでは、Bピクチャーである画像B-9を符号化対象として、図11を用いて本実施の形態の具体例を説明する。従来、画像B-9を符号化する場合には、BaseViewの画像B-2及びNonBaseViewの2つの画像P-8、P-11を参照している。本実施の形態では、View間参照及びView内参照の双方を行う代わりに、画像P-1と画像P-8との空間変化量、画像B-2と画像P-1との時間変化量前方、及び画像B-2と画像P-4との時間変化量後方を取得する。これは、Pピクチャーの符号化と同様に、画像P-1と画像P-8との空間変化量と、画像B-2と画像B-9との空間変化量は同様の変化量であると推測されるためである。また、画像P-1と画像B-2における時間変化量と、画像P-8と画像B-9とにおける時間変化量は同様の変化量、及び画像P-4と画像B-2における時間変化量と、画像P-11と画像B-9とにおける時間変化量は同様の変化量であると推測されるためである。このとき、符号化装置10の参照判断部104は、Pピクチャーの符号化と同様に、既に符号化された複数のPピクチャー画像についての空間変化量及び時間変化量を用いて、変化量の小さい方を特定する。参照判断部104は、特定した変化量に係るView参照を行うとし、符号化対象の画像について符合化に用いる1つの画像を特定することができる。また、ともに変化量が大きい場合には従来と同様にView内参照における前方参照及び後方参照と、View間参照の全てを行って符号化が行われる。2.変形例以上、実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。1上記実施の形態において、上限閾値G102と下限閾値G103とは固定的な値としたが、これに限定されない。これら閾値は、1フレームに割り当てられる符号量に応じて変更するようにしてもよい。1フレームに割り当てられる符号量が大きい場合、多少の符号化効率が悪くても、高圧縮する必要がなく画質劣化に繋がらない。そのため、図2に示す上限閾値G102及び下限閾値G103それぞれの値を大きくし、空間変化量を小と判定されやすくすることで、少ない参照枚数で符号化を行えるようになる。これにより、画質劣化することなく、省電力を図ることが可能となる。この1フレームに割り当てられる符号量は符号化時のモードビットレート、フレームレートによって変わるため、モードによって閾値を変えることで、システムに応じた省電力を実現できる。また、消費電力削減を優先させたい場合には、空間変化量判断部102、時間変化量判断部103の変化量判定に用いる上限閾値G102及び下限閾値G103の双方を上げることで複数面参照になりにくくすることで実現可能である。また、符号化効率を優先させたい場合には、空間変化量判断部102、時間変化量判断部103の変化量判定に用いる上限閾値G102及び下限閾値G103の双方を下げることで複数面数参照になりやすくすることで実現可能である。また、参照判断部104での判定方法を変えることで同様の効果を得ることも可能である。2上記実施の形態において、空間変化量及び時間変化量の判断にイントラマクロブロック数を使用したが、これに限定されない。例えば、符号化部106から出力される符号化結果にある動きベクトル量で判断するとしてもよい。この動きベクトル量についてもイントラマクロブロック数を使用する場合と同様に、符号化対象の画像が従来参照すべき第1参照画像と、当該第1参照画像が参照すべき第2参照画像との変化量、つまり動きベクトル量を用いる。ここで、動きベクトル量とは、フレーム間予測した場合の動き量を示すものである。動きベクトル量が大きいことは、参照画像の変化量が大きいと判断でき、また符号化効率が悪いと判断することができる。動きベクトル量を使用することで、イントラマクロブロック数を用いた判定と同様の効果を得ることができる。また、符号化部106からの符号化情報以外に、空間変化量の判断に用いる情報として、画像入力部101から出力される画像周波数情報を用いてもよい。画像周波数情報は、図12aの領域300に示すように隣接する画素に差分が多い場合を高周波図12b参照。、図12aの領域301に示すように隣接する画素に差分が少ない場合を低周波図12b参照。とする。符号化処理では、高周波であればあるほど符号化効率が悪くなるという特徴があるため、周波数情報を空間変化量符号化効率として使用することで、イントラマクロブロック数を用いた判定と同様の効果を得ることが可能である。また、空間変化量と同様に、時間変化量の判断情報に対しても同様に、画像周波数情報を用いてもよい。または、画像入力部101から出力される画素移動量を用いてもよい。画素移動量とは、あるブロック枠の代表点を1点定め、その点が次のフレームにおいて、どれだけ移動したかを表したものである。図13aは、フレームF100と次フレームF101とにおいて、代表点P100の移動を示すものである。参照判断部104は、まずフレームF100における代表点P100の情報を保持する。そして次フレームF101における代表点P100の位置を取得し、保持している情報と取得した情報とから移動した距離を算定する。図13bは、フレームF100とフレームF101とを重ねたものであり、フレームF100で定めた代表点P100が、P101まで移動していることがわかる。この移動した距離を画素移動量とする。そして、参照判断部104は、View内参照する場合の参照画像と、符号化画像の画素移動量を時間変化量として使用する。画素移動量が大きい場合、符号化時にイントラマクロブロックとなる可能性が高く、かつイントラ符号化したとしても符号効率が悪くなる。3上記実施の形態では、空間変化量及び時間変化量について、一つの情報イントラマクロブロック数で判断しているが、空間変化量及び時間変化量のそれぞれについて、複数の情報を組み合わせて判断するとしてもよい。例えば、イントラマクロブロックは周波数によって符号化効率が大きく変わる。低周波なイントラマクロブロックは高効率、高周波なイントラマクロブロックは低効率という符号化の特性がある。この特徴を生かして、イントラマクロブロック数と、画像周波数情報との組み合わせにより変化量を判断することで、より判定精度をあげることができる。イントラマクロブロック数と、画像周波数情報との組み合わせた場合の変化量判定方法について、図14に示す流れ図を用いて説明する。参照判断部104は、イントラマクロブロック数が大、中、小の何れであるかを判断するステップS500。イントラマクロブロック数が小と判断する場合ステップS500における少ない、参照判断部104は、変化量は小と判断するステップS515。イントラマクロブロック数が中であると判断する場合ステップS500における中間値、参照判断部104は、さらに画像周波数が低周波であるか否かを判断するステップS505。低周波であると判断する場合ステップS505におけるYes、参照判断部104は、変化量は小と判断するステップS515。低周波でないと判断する場合ステップS505におけるNo、参照判断部104は、変化量は中と判断するステップS520。イントラマクロブロック数が大であると判断する場合ステップS500における多い、参照判断部104は、さらに画像周波数が低周波であるか否かを判断するステップS510。低周波であると判断する場合ステップS510におけるYes、参照判断部104は、変化量は中と判断するステップS520。低周波でないと判断する場合ステップS510におけるNo、参照判断部104は、変化量は大と判断するステップS525。4上記実施の形態において、時間変化量及び空間変化量とも小さい場合、参照判断部104は、View間参照のみで符号化すると決定したが、これに限定されない。時間変化量及び空間変化量とも小さい場合、参照判断部104は、View内参照のみで符号化してもよい。5上記実施の形態において、メモリ20に対して、符号化データ格納領域201、符号化結果格納領域202及び変化量判断結果格納領域203を1つの組として、画像単位毎に領域を割り当てが、これに限定されない。全ての画像についての符号化データを格納する領域、全ての画像についての符号化結果を画像と対応付けて格納する領域、及び全ての画像についての変化量判断結果を画像と対応付けて格納する領域に分けてもよい。つまり、一の画像に対して、当該画像についての符号化結果及び変化量判断結果が特定できるようになっていればよい。6上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、CPUCentralProcessingUnitなどがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。7上記実施の形態及び変形例を組み合わせるとしてもよい。8なお、本発明における第1種画像とは、実施の形態におけるBaseViewの画像に相当するものであり、第2種画像とは、実施の形態におけるNonBaseViewの画像に相当するものである。3.補足1本発明の一実施態様である、撮影対象を一の視点から表した第1種画像の列と、他の視点から表した第2種画像の列とからなるマルチストリームを符号化する符号化装置は、前記マルチストリームから符号化対象画像を逐次取得する画像取得手段と、前記符号化対象画像が第2種画像である場合に、当該第2種画像と所定の順序関係を有する、既に符号化された別の第2種画像と、当該別の第2種画像に対応する前記第1種画像とから得られる第1相違量を取得する第1相違量取得手段と、前記符号化対象画像が第2種画像である場合に、当該第2種画像に対応する第1種画像と、当該第1種画像と所定の順序関係を有する、既に符号化された別の第1種画像とから得られる第2相違量を取得する第2相違量取得手段と、前記第1相違量及び前記第2相違量に応じて、前記符号化対象画像の符号化を行う際に参照すべき1つ以上の参照画像を決定する決定手段と、前記決定手段で決定された1つ以上の参照画像を用いて、取得された前記符号化対象画像の符号化を行う符号化手段とを備えることを特徴とする。この構成によると、符号化装置は、決定手段で決定された1つ以上の参照画像を用いて符号化対象の画像を符号化するので、メモリへは決定された1つ以上の参照画像のみを読み込めばよい。そのため、従来と比較してメモリへの読み込み回数を削減することができる。2ここで、前記第1相違量は、前記別の第2種画像が前記第1種画像を参照して符号化した際のイントラマクロブロック数であり、前記第2相違量は、前記第1種画像が前記別の第1種画像を参照して符号化した際のイントラマクロブロック数であるとしてもよい。また、前記第1相違量は、前記第1種画像と、前記別の第2種画像とから得られる動きベクトル量であり、前記第2相違量は、前記第1種画像と、前記別の第1種画像とから得られる動きベクトル量であるとしてもよい。この構成によると、符号化装置は、画像の変化量として、イントラマクロブロック数、又は動きベクトル量を用いることができる。これら情報は、符号化された画像から取得可能なものであるので、符号化対象の画像の変化量として代用することができる。3ここで、前記決定手段は、第1の閾値と前記第1の閾値より大きい値である第2の閾値とを用いた、前記第1相違量との大小関係及び前記第2相違量との大小関係から、当該符号化対象画像について符号化する際の参照方向を1つ以上決定し、決定した1つ以上の参照方向それぞれから参照画像を特定するとしてもよい。この構成によると、符号化装置は、第1の閾値及び第2の閾値を用いた変化量の度合に応じて、参照方向を決定するので、変化量に応じた参照画像を決定することができる。4ここで、前記符号化装置は、さらに、前記マルチストリームの符号化時点でのビットレートが高く、且つフレームレートが低い場合には前記第1及び前記第2の閾値それぞれの値を大きくし、符号化時点でのビットレートが低く、且つフレームレートが高い場合には前記第1及び前記第2の閾値それぞれの値を小さくする閾値変更手段を備えるとしてもよい。この構成によると、符号化装置は、第1の閾値及び第2の閾値を変更するので、例えば、符号化時のモードビットレート、フレームレートに応じた適切な値を設定することができる。5ここで、前記符号化対象画像が第2種画像であり、且つ種別がPピクチャーである場合において、前記決定手段は、前記第2相違量が前記第1の閾値以下である場合、及び前記第2相違量が前記第1の閾値より大きく且つ前記第2の閾値以下であり、前記第1相違量が前記第2の閾値以下である場合には、参照方向を前記第2種画像の列の前方のみと決定し、前記第2相違量が前記第1の閾値より大きく且つ前記第2の閾値以下であり、前記第1相違量が前記第2の閾値以下である場合、及び前記第2相違量が前記第2の閾値より大きく且つ前記第1相違量が前記第2の閾値以下である場合には、参照方向を前記第1種画像の列の方向のみと決定し、前記第1相違量及び前記第2相違量とも前記第2の閾値より大きい場合には、参照方向を前記第2種画像の列の前方、及び前記第1種画像の列の方向2方向と決定するとしてもよい。この構成によると、符号化装置は、符号化対象の画像の種別がPピクチャーである場合において、当該画像について1つ以上の参照画像を決定することができる。6ここで、前記符号化対象画像が第2種画像であり、かつ種別がBピクチャーである場合において、前記第2相違量取得手段は、前記符号化対象画像に対応する第1種画像と、当該第1種画と所定の順序関係を有し、且つ前方に存在する前方第1種画像とから得られる前方用第2相違量を前記第2相違量として取得し、さらに前記第1種画像と、当該第1種画像と所定の順序関係を有し、且つ後方に存在する後方第1種画像とから得られる後方用第2相違量を取得し、前記決定手段は、第1相違量が前記第1の閾値以下である場合には前記符号化対象画像の参照方向を、前記第1種画像の列の方向のみを参照方向と決定し、前記前方用第2相違量が第1の閾値以下である場合には参照方向を前記第2種画像の列の前方のみと決定し、前記後方用第2相違量が第1の閾値以下である場合には参照方向を前記第2種画像の列の後方のみと決定し、前記第1相違量及び前記前方用第2相違量の双方ともが前記第1の閾値以上前記第2の閾値以下である場合には参照方向を前記第2種画像の前方、及び前記第1種画像の列の方向の2方向と決定し、前記第1相違量及び前記後方用第2相違量の双方ともが前記第1の閾値以上前記第2の閾値以下である場合には参照方向を前記第2種画像の列の後方、及び前記第1種画像の列の方向の2方向と決定し、前記第1相違量が前記第2の閾値以上であって、且つ前記前方第2相違量及び前記後方第2相違量の双方が前記第1の閾値以上前記第2の閾値以下である場合には参照方向を前記第2種画像の列の前方及び後方の2方向と決定し、その他の組み合わせにおいては、参照方向を前記第2種画像の列の前方と後方、及び前記第1種画像の列の方向の3方向と決定するとしてもよい。この構成によると、符号化装置は、符号化対象の画像の種別がBピクチャーである場合において、当該画像について1つ以上の参照画像を決定することができる。7ここで、前記第1相違量取得手段は、前記符号化対象画像が第2種画像である場合に、当該第2種画像と所定の順序関係を有する、既に符号化された別の第2種画像と、当該別の第2種画像に対応する第1種画像とから得られる第1相違量を取得する代わりに、前記符号化対象画像における画像周波数と、当該符号化対象画像で表される一時点の再生対象について前記第1動画ストリームから取得される第1種画像の周波数との差分を前記第1相違量として取得するとしてもよい。この構成によると、符号化装置は、第1相違量として、空間周波数を用いることができる。通常、隣接する画素に差分が多い場合には出力される空間周波数は高周波となり、隣接する画素に差分が少ない場合には空間周波数は低周波となる。そこで、符号化装置は、この特性を用いることで、符号化対象画像の空間変化量を取得することができる。8ここで、前記第2相違量取得手段は、前記符号化対象画像が第2種画像である場合に、当該第2種画像に対応する第1種画像と、当該第1種画像と所定の順序関係を有する別の第1種画像とから得られる第2相違量を取得する代わりに、当該符号化対象画像における代表点の位置と、当該符号化対象画像と所定の順序関係を有する他の第2種画像における前記代表点の位置とから得られる画素移動量を前記第2相違量として取得するとしてもよい。この構成によると、符号化装置は、第2相違量として、画素移動量を用いることができる。通常、符号化対象の画像と、参照画像とにおいて、ある代表点の移動量が大きいと、これらの画像間における画像の相違が大きいと考えられる。そこで、符号化装置は、この特性を用いることで、同列中の画像の変化量を取得することができる。