(57)【要約】  圧縮された動画像を対象とした対応点の検出に係る演算量を低減することを目的とする。この目的を達成するために、基準フレームと、他のフレームを基準とした動き情報によって各画素が示される予測フレームと、をそれぞれ有する第１および第２圧縮動画像が取得される。また、第１圧縮動画像と第２圧縮動画像との間におけるフレームの各組を対象として、第２圧縮動画像に含まれている一のフレームから、第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理が行われる。そして、一組の予測フレームを対象とした検出処理が、該一組の予測フレームを示す動き情報を用いて行われる。
2011129361.tif 000002
【特許請求の範囲】
【請求項１】
基準フレームと、他のフレームを基準とした動き情報によって各画素が示されている予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する取得部と、
前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う演算部と、を備え、
前記演算部が、
一組の前記予測フレームを対象とした前記検出処理を、該一組の前記予測フレームを示す動き情報を用いて行うことを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記演算部が、
一組の前記予測フレームを対象とした前記検出処理を、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて行うことを特徴とする画像処理システム。
【請求項３】
請求項２に記載の画像処理システムであって、
一組の前記予測フレームに係る前記検出処理において一方の予測フレームに含まれている一の基準点に対して他方の予測フレームから検出される一の対応点について、該一の基準点との類似度に係る評価値を算出する算出部と、
前記評価値と予め設定されている閾値との比較によって前記一の対応点に係る信頼性を判定する判定部と、
を更に備えることを特徴とする画像処理システム。
【請求項４】
請求項１に記載の画像処理システムであって、
前記演算部が、
一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、
前記一方の予測フレームにおいて前記一の基準点を包含する領域と、前記他方の予測フレームにおいて前記一の仮対応点を包含する領域との比較によって、前記他方の予測フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、
を有することを特徴とする画像処理システム。
【請求項５】
請求項１に記載の画像処理システムであって、
前記演算部が、
一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、
前記一方の予測フレームを伸長して一方の伸長後フレームを生成するとともに、前記他方の予測フレームを伸長して他方の伸長後フレームを生成する伸長部と、
前記他方の伸長後フレームにおいて前記一の仮対応点を包含する領域を基準として、前記他方の伸長後フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、
を有することを特徴とする画像処理システム。
【請求項６】
請求項１から請求項５の何れか１つの請求項に記載の画像処理システムであって、
各前記基準フレームが、
所定帯域の周波数に係る情報を削除する圧縮処理が施されたフレームであり、
前記演算部が、
前記所定帯域について残余の帯域よりも周波数成分を低減する重み付けを行いつつ位相限定相関法を用いた演算を行うことで、一組のフレームを対象とした前記検出処理を行うことを特徴とする画像処理システム。
【請求項７】
請求項１から請求項５の何れか１つの請求項に記載の画像処理システムであって、
各前記基準フレームが、
所定サイズのブロック単位で圧縮処理が施されたフレームであり、
前記演算部が、
前記第１圧縮動画像の第１フレームに対して一の基準点を包含する第１領域を前記ブロックに合わせて設定し、前記第２圧縮動画像の第２フレームに対して第２領域を前記ブロックに合わせて設定し、前記第１領域と前記第２領域とを対象とした位相限定相関法を用いた演算を行うことで、前記第１フレームと前記第２フレームとの組を対象とした前記検出処理を行うことを特徴とする画像処理システム。
【請求項８】
請求項１から請求項７の何れか１つの請求項に記載の画像処理システムであって、
前記演算部が、
前記基準フレームと前記予測フレームとの組については、前記基準フレームおよび前記予測フレームのうちの何れか一方のフレームの形式に合わせるようにフレームの変換を行った上で、前記検出処理を行うことを特徴とする画像処理システム。
【請求項９】
請求項８に記載の画像処理システムであって、
前記演算部が、
前記基準フレームと前記予測フレームとの組については、前記予測フレームを伸長した上で、前記基準フレームと伸長後の前記予測フレームとを対象とした前記検出処理を行うことを特徴とする画像処理システム。
【請求項１０】
請求項１に記載の画像処理システムであって、
前記一組の予測フレームが、
第１予測フレームと第２予測フレームとを含み、
前記演算部が、
前記第１予測フレームにおいて一の基準点を包含する基準領域に係る前記動き情報と、前記第２予測フレームにおいて一の仮対応点を包含する比較領域に係る前記動き情報との比較によって、前記第２予測フレームから前記一の基準点に対応する一の対応点を検出することを特徴とする画像処理システム。
【請求項１１】
請求項１０に記載の画像処理システムであって、
前記基準領域に係る前記動き情報が、
一方向に係る動き情報の２次元的な一方基準分布と前記一方向とは異なる他方向に係る動き情報の２次元的な他方基準分布とを有し、
前記比較領域に係る前記動き情報が、
前記一方向に係る動き情報の２次元的な一方比較分布と前記他方向に係る動き情報の２次元的な他方比較分布とを有し、
前記演算部が、
前記一方基準分布および前記他方基準分布を含むボクセル情報と、前記一方比較分布および前記他方比較分布を含むボクセル情報との比較によって、前記第２予測フレームから前記一の基準点に対応する前記一の対応点を検出することを特徴とする画像処理システム。
【請求項１２】
請求項１から請求項１１の何れか１つの請求項に記載の画像処理システムであって、
被写体を対象とした第１の一連の撮像によって第１動画像を得る第１撮像部と、
前記第１の一連の撮像と同一のタイミングにおける前記被写体を対象とした第２の一連の撮像によって第２動画像を得る第２撮像部と、
前記第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、
前記第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、
を更に備えることを特徴とする画像処理システム。
【請求項１３】
請求項１から請求項７の何れか１つの請求項に記載の画像処理システムであって、
第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、
第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、
を更に備え、
前記第１および第２圧縮部が、
第１動画像と第２動画像との間における各組のフレームが、一組の前記基準フレームおよび一組の前記予測フレームのうちの何れか一方の組となるように動作することを特徴とすることを特徴とする画像処理システム。
【請求項１４】
(a)基準フレームと、他のフレームを基準とした動き情報によって各画素が示される予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する工程と、
(b)前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う工程と、を備え、
前記(b)工程において、
一組の前記予測フレームを対象とした前記検出処理が、該一組の前記予測フレームを示す動き情報を用いて行われることを特徴とする画像処理方法。
【請求項１５】
画像処理システムに含まれる制御部において実行されることにより、前記画像処理システムを、請求項１から請求項１３の何れか１つの請求項に記載の画像処理システムとして機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対応点の検出に係る画像処理技術に関する。
【背景技術】
【０００２】
従来から、ステレオカメラによって同じ被写体を異なる視点から撮影して得たステレオ画像が対象とされて、被写体の同じ部分が捉えられた画素が検出される処理（対応点検出処理とも言う）が知られている。そして、被写体の経時的な変化を捉えた各ステレオ画像が対象とされて対応点検出を行う技術も知られている（例えば、特許文献１等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３０１６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画的な態様を有するステレオ画像については、データ量が大きいため、データの送信や保存等を考慮すると、ＭＰＥＧ(Moving Picture Experts Group)等の方式によって動画圧縮が施されることが好ましい。そして、この動画圧縮が施される場合、伸長処理によって動画的な態様を有するステレオ画像が復元された上で対応点検出が行われる態様が考えられる。しかしながら、伸長処理に要する演算量の増大に因る対応点検出の長時間化等といった不具合が生じる。【０００５】
本発明は、上記課題に鑑みてなされたものであり、圧縮された動画像を対象とした対応点の検出に係る演算量を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、第１の態様に係る画像処理システムは、基準フレームと、他のフレームを基準とした動き情報によって各画素が示されている予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する取得部と、前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う演算部と、を備える。そして、該画像処理システムでは、前記演算部が、一組の前記予測フレームを対象とした前記検出処理を、該一組の前記予測フレームを示す動き情報を用いて行う。【０００７】
第２の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記演算部が、一組の前記予測フレームを対象とした前記検出処理を、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて行う。【０００８】
第３の態様に係る画像処理システムは、第２の態様に係る画像処理システムであって、一組の前記予測フレームに係る前記検出処理において一方の予測フレームに含まれている一の基準点に対して他方の予測フレームから検出される一の対応点について、該一の基準点との類似度に係る評価値を算出する算出部と、前記評価値と予め設定されている閾値との比較によって前記一の対応点に係る信頼性を判定する判定部と、を更に備える。【０００９】
第４の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記演算部が、一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、前記一方の予測フレームにおいて前記一の基準点を包含する領域と、前記他方の予測フレームにおいて前記一の仮対応点を包含する領域との比較によって、前記他方の予測フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、を有する。【００１０】
第５の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記演算部が、一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、前記一方の予測フレームを伸長して一方の伸長後フレームを生成するとともに、前記他方の予測フレームを伸長して他方の伸長後フレームを生成する伸長部と、前記他方の伸長後フレームにおいて前記一の仮対応点を包含する領域を基準として、前記他方の伸長後フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、を有する。【００１１】
第６の態様に係る画像処理システムは、第１から第５の何れか１つの態様に係る画像処理システムであって、各前記基準フレームが、所定帯域の周波数に係る情報を削除する圧縮処理が施されたフレームであり、前記演算部が、前記所定帯域について残余の帯域よりも周波数成分を低減する重み付けを行いつつ位相限定相関法を用いた演算を行うことで、一組のフレームを対象とした前記検出処理を行う。【００１２】
第７の態様に係る画像処理システムは、第１から第５の何れか１つの態様に係る画像処理システムであって、各前記基準フレームが、所定サイズのブロック単位で圧縮処理が施されたフレームであり、前記演算部が、前記第１圧縮動画像の第１フレームに対して一の基準点を包含する第１領域を前記ブロックに合わせて設定し、前記第２圧縮動画像の第２フレームに対して第２領域を前記ブロックに合わせて設定し、前記第１領域と前記第２領域とを対象とした位相限定相関法を用いた演算を行うことで、前記第１フレームと前記第２フレームとの組を対象とした前記検出処理を行う。【００１３】
第８の態様に係る画像処理システムは、第１から第７の何れか１つの態様に係る画像処理システムであって、前記演算部が、前記基準フレームと前記予測フレームとの組については、前記基準フレームおよび前記予測フレームのうちの何れか一方のフレームの形式に合わせるようにフレームの変換を行った上で、前記検出処理を行う。【００１４】
第９の態様に係る画像処理システムは、第８の態様に係る画像処理システムであって、前記演算部が、前記基準フレームと前記予測フレームとの組については、前記予測フレームを伸長した上で、前記基準フレームと伸長後の前記予測フレームとを対象とした前記検出処理を行う。【００１５】
第１０の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記一組の予測フレームが、第１予測フレームと第２予測フレームとを含み、前記演算部が、前記第１予測フレームにおいて一の基準点を包含する基準領域に係る前記動き情報と、前記第２予測フレームにおいて一の仮対応点を包含する比較領域に係る前記動き情報との比較によって、前記第２予測フレームから前記一の基準点に対応する一の対応点を検出する。【００１６】
第１１の態様に係る画像処理システムは、第１０の態様に係る画像処理システムであって、前記基準領域に係る前記動き情報が、一方向に係る動き情報の２次元的な一方基準分布と前記一方向とは異なる他方向に係る動き情報の２次元的な他方基準分布とを有し、前記比較領域に係る前記動き情報が、前記一方向に係る動き情報の２次元的な一方比較分布と前記他方向に係る動き情報の２次元的な他方比較分布とを有し、前記演算部が、前記一方基準分布および前記他方基準分布を含むボクセル情報と、前記一方比較分布および前記他方比較分布を含むボクセル情報との比較によって、前記第２予測フレームから前記一の基準点に対応する前記一の対応点を検出する。【００１７】
第１２の態様に係る画像処理システムは、第１から第１１の何れか１つの態様に係る画像処理システムであって、被写体を対象とした第１の一連の撮像によって第１動画像を得る第１撮像部と、前記第１の一連の撮像と同一のタイミングにおける前記被写体を対象とした第２の一連の撮像によって第２動画像を得る第２撮像部と、前記第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、前記第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、を更に備える。【００１８】
第１３の態様に係る画像処理システムは、第１から第７の何れか１つの態様に係る画像処理システムであって、第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、を更に備え、前記第１および第２圧縮部が、第１動画像と第２動画像との間における各組のフレームが、一組の前記基準フレームおよび一組の前記予測フレームのうちの何れか一方の組となるように動作することを特徴とする。【００１９】
第１４の態様に係る画像処理方法は、(a)基準フレームと、他のフレームを基準とした動き情報によって各画素が示される予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する工程と、(b)前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う工程と、を備える。そして、該画像処理方法では、前記(b)工程において、一組の前記予測フレームを対象とした前記検出処理が、該一組の前記予測フレームを示す動き情報を用いて行われる。【００２０】
第１５の態様に係るプログラムは、画像処理システムに含まれる制御部において実行されることにより、前記画像処理システムを、第１から第１３の何れか１つの態様に係る画像処理システムとして機能させる。
【発明の効果】
【００２１】
第１から第１３の何れの態様に係る画像処理システムによっても、圧縮された動画像を対象とした対応点の検出に係る演算量が低減される。【００２２】
特に、第２の態様に係る画像処理システムによれば、予測フレームに係る対応点の検出に要する演算量が低減される。【００２３】
また、第３の態様に係る画像処理システムによれば、信頼性が低い対応点について、様々な対応を講ずることが可能となる。【００２４】
また、第４および第５の何れの態様に係る画像処理システムによっても、仮対応点を用いることで対応点が容易に検出されるため、対応点の検出精度が維持されつつ、対応点の検出に係る演算量が低減される。【００２５】
また、第６の態様に係る画像処理システムによれば、不要な演算の削減によって、対応点の検出に係る演算量が低減される。【００２６】
また、第７の態様に係る画像処理システムによれば、対応点の検出に係る精度の低下が抑制される。【００２７】
また、第８の態様に係る画像処理システムによれば、異なる形態のフレームの組についても対応点の検出が可能となる。【００２８】
また、第９の態様に係る画像処理システムによれば、演算量の増大が抑制されつつ異なる形態のフレームの組についても対応点の検出が可能となる。【００２９】
また、第１３の態様に係る画像処理システムによれば、フレームの形態を整合させる演算が削減されるため、対応点の検出に係る演算量が低減される。【００３０】
また、第１４の態様に係る画像処理方法および第１５の態様に係るプログラムの何れによっても、圧縮された動画像を対象とした対応点の検出に係る演算量が低減される。
【図面の簡単な説明】
【００３１】
【図１】図１は、各実施形態および第３変形例に係る情報処理システムの概略を示す図である。
【図２】図２は、第１および第２実施形態に係る情報処理システムの機能的な構成を示す図である。
【図３】図３は、第１および第２圧縮動画像の一態様を例示する図である。
【図４】図４は、第１実施形態に係る対応点の検出処理の原理を説明するための図である。
【図５】図５は、各フレームの形態を例示する模式図である。
【図６】図６は、各第１縮小後フレームの形態を例示する模式図である。
【図７】図７は、各第２縮小後フレームの形態を例示する模式図である。
【図８】図８は、各第３縮小後フレームの形態を例示する模式図である。
【図９】図９は、各フレームに対する基準点の設定態様を例示する模式図である。
【図１０】図１０は、第３縮小後フレームにおける基準点と処理対象点の設定例を示す図である。
【図１１】図１１は、第３縮小後フレームに対するウインドウの設定例を示す模式図である。
【図１２】図１２は、第２縮小後フレームに対するウインドウの設定例を示す模式図である。
【図１３】図１３は、第１縮小後フレームに対するウインドウの設定例を示す模式図である。
【図１４】図１４は、第１縮小後フレームに対するウインドウの設定例を示す模式図である。
【図１５】図１５は、各フレームに対するウインドウの設定例を示す模式図である。
【図１６】図１６は、各フレームに対するウインドウの設定例を示す模式図である。
【図１７】図１７は、ＰＯＣ法を用いたＩ検出処理に係る機能的な構成を例示する図である。
【図１８】図１８は、ＰＯＣ値の分布を例示する図である。
【図１９】図１９は、Ｐ検出処理の原理を説明するための図である。
【図２０】図２０は、Ｐ検出処理の原理を説明するための図である。
【図２１】図２１は、ＰＯＣ法を用いたＰ検出処理に係る機能的な構成を例示する図である。
【図２２】図２２は、情報処理システムの動作フローを示すフローチャートである。
【図２３】図２３は、情報処理システムの動作フローを示すフローチャートである。
【図２４】図２４は、情報処理システムの動作フローを示すフローチャートである。
【図２５】図２５は、第２実施形態に係る情報処理システムの機能的な構成を示す図である。
【図２６】図２６は、第２実施形態に係る圧縮態様および検出処理を説明するための図である。
【図２７】図２７は、情報処理システムの動作フローを示すフローチャートである。
【図２８】図２８は、情報処理システムの動作フローを示すフローチャートである。
【図２９】図２９は、第３実施形態に係るＰ検出処理の原理を説明するための図である。
【図３０】図３０は、第３実施形態に係るＰ検出処理の原理を説明するための図である。
【図３１】図３１は、第４実施形態に係る情報処理システムの機能的な構成を示す図である。
【図３２】図３２は、第４実施形態に係る信頼性の判定方法を説明するための図である。
【図３３】図３３は、情報処理システムの動作フローを示すフローチャートである。
【図３４】図３４は、第５実施形態に係る情報処理システムの機能的な構成を示す図である。
【図３５】図３５は、第５実施形態に係るＰ検出処理の原理を説明するための図である。
【図３６】図３６は、情報処理システムの動作フローを示すフローチャートである。
【図３７】図３７は、第１変形例に係る重み付け係数の分布を例示する図である。
【図３８】図３８は、第１変形例に係る重み付け係数の分布を例示する図である。
【図３９】図３９は、第２変形例に係るウインドウの設定例を示す模式図である。
【図４０】図４０は、第２変形例に係るウインドウの設定例を示す模式図である。
【図４１】図４１は、第３変形例に係る情報処理システムの機能的な構成を示す図である。
【図４２】図４２は、情報処理システムの動作フローを示すフローチャートである。
【図４３】図４３は、第４変形例に係る対応点の検出処理の原理を説明するための図である。
【図４４】図４４は、第４変形例に係る対応点の検出処理の原理を説明するための図である。
【発明を実施するための形態】
【００３２】
以下、各実施形態を図面に基づいてそれぞれ説明する。なお、図面においては同様な構成および機能を有する部分には同一符号が付され、重複説明が省略される。
【００３３】
＜(1)第１実施形態＞
＜(1-1)画像処理システムの概要＞
図１は、本発明の第１実施形態に係る情報処理システム１の概略構成を示す図である。
【００３４】
情報処理システム１は、ステレオカメラ２と、通信回線３ａ，３ｂと、情報処理装置４とを備えている。ステレオカメラ２と情報処理装置４とは、通信回線３ａ，３ｂを介して各種信号の送受信が可能に接続されている。
【００３５】
ステレオカメラ２は、第１および第２カメラ２ａ，２ｂを備えている。各カメラ２ａ，２ｂは、例えば、ＣＣＤ等の撮像素子を有するデジタルカメラの構成を有し、被写体からの光を受光しつつ光電変換によって被写体に係る輝度情報の分布をこの被写体に係る画像データ（画像とも言う）として取得する撮像を行う。また、各カメラ２ａ，２ｂは、所定時間（例えば１秒）毎に所定回数（例えば６０回）の撮像（一連の撮像とも言う）を行うことで被写体の経時的な変化を捉えた動画像データ（動画像とも言う）を取得する。
【００３６】
また、第１および第２カメラ２ａ，２ｂは、所定方向に離隔して配置され、同時期において同じタイミングで同じ被写体を異なる視点から撮像する処理を順次に行う。第１および第２カメラ２ａ，２ｂによって同じタイミングで撮像される各組の画像は、いわゆるステレオ画像となる。
【００３７】
また、第１カメラ２ａは、撮像で得られた動画像（第１動画像とも言う）に動画圧縮を施して圧縮動画像（第１圧縮動画像とも言う）Ｍａを生成し、この第１圧縮動画像Ｍａを通信回線３ａを介して情報処理装置４に送信する。第２カメラ２ｂは、撮像で得られた動画像（第２動画像とも言う）に動画圧縮を施して圧縮動画像（第２圧縮動画像とも言う）Ｍｂを生成し、この第２圧縮動画像Ｍｂを通信回線３ｂを介して情報処理装置４に送信する。なお、動画圧縮としては、例えば、所謂ＭＰＥＧ４等の各種規格に従ったものが採用可能であり、以下では、ＭＰＥＧ４に従った動画圧縮が採用されているものとする。
【００３８】
また、第１および第２圧縮動画像Ｍａ，Ｍｂは、ともにＮ枚（Ｎは２以上の自然数）の画像（フレームとも言う）を有する。以下、各フレームを示すデータおよび各フレームそのものがフレームと総称される。また、説明の簡略化のために、第１および第２カメラ２ａ，２ｂによって同じタイミングで得られた一組のフレームについては、同じ被写体の部分を捉えた画素の座標がＹ方向には同一で且つＸ方向に異なるように、第１および第２カメラ２ａ，２ｂが設定されているものとして説明する。
【００３９】
通信回線３ａ，３ｂは、各種信号の送受信が可能なケーブル等を用いた有線回線であっても良いし、無線通信等を用いた無線回線であっても良い。
【００４０】
情報処理装置４は、例えばパーソナルコンピュータ（パソコン）で構成され、操作部４０１、表示部４０２、インターフェース(Ｉ／Ｆ)部４０３、記憶部４０４、入出力部４０５、および制御部４０６を備えている。
【００４１】
操作部４０１は、例えば、マウスやキーボード等を有している。表示部４０２は、例えば、液晶ディスプレイ等を有している。Ｉ／Ｆ部４０３は、ステレオカメラ２からの信号の受信およびステレオカメラ２への信号の送信を行う。記憶部４０４は、例えばハードディスク等を有し、各種のデータおよびプログラムＰＧ等を記憶する。入出力部４０５は、光ディスク等の記憶媒体９の装着が可能なディスクドライブを有しており、記憶媒体９から情報を読み取って制御部４０６に出力し、制御部４０６から出力されるデータを記憶媒体９に書き込む。
【００４２】
制御部４０６は、プロセッサーとして働くＣＰＵ４０６ａと、データを一時的に記憶するメモリ４０６ｂとを有し、情報処理装置４の各部を統括的に制御する。制御部４０６では、記憶部４０４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。ここでは、プログラムＰＧに応じた制御部４０６の制御によって、情報処理装置４が画像処理装置として機能し、情報処理システム１が画像処理システムとして機能する。
【００４３】
＜(1-2)画像処理システムの機能的な構成＞
図２は、情報処理システム１の機能的な構成を示す図である。
【００４４】
＜(1-2-1)ステレオカメラの機能的な構成＞
第１カメラ２ａは、撮像部２１ａと圧縮部２２ａと送信部２３ａとを備え、第２カメラ２ｂは、撮像部２１ｂと圧縮部２２ｂと送信部２３ｂとを備える。ここでは、撮像部２１ａと撮像部２１ｂとが同様な構成を有し、圧縮部２２ａと圧縮部２２ｂとが同様な構成を有し、送信部２３ａと送信部２３ｂとが同様な構成を有しているため、説明の重複を避ける目的で、撮像部２１ａと圧縮部２２ａと送信部２３ａとについて主に説明する。
【００４５】
撮像部２１ａは、撮像素子と信号処理部とを備えている。撮像素子は、例えばＣＣＤ等を有し、信号処理部は、例えばＣＤＳ回路とＡＧＣ回路とＡ／Ｄ変換回路とを有している。撮像素子から出力されるアナログ信号には、ＣＤＳ回路によるノイズ低減処理と、ＡＧＣ回路によるレベル調整処理と、Ａ／Ｄ変換回路によるデジタル信号への変換とが順に施される。
【００４６】
これらの機能によって、撮像部２１ａは、一連の撮像（第１の一連の撮像とも言う）によってデジタル信号で示された複数のフレームを含む第１動画像を得る。また、撮像部２１ｂは、撮像部２１ａと同期しつつ撮像を行う。具体的には、撮像部２１ｂは、第１の一連の撮像と同一のタイミングにおいて、第１の一連の撮像と同じ被写体を対象とした一連の撮像（第２の一連の撮像とも言う）によってデジタル信号で示された複数のフレームを含む第２動画像を得る。撮像部２１ａ，２１ｂにおける撮像のタイミングは、例えば、制御部４０６からの信号に応じて制御されれば良い。
【００４７】
圧縮部２２ａは、第１動画像に動画圧縮を施して第１圧縮動画像Ｍａを生成する。具体的には、圧縮部２２ａでは、離散コサイン変換（ＤＣＴ）や量子化等の各種処理が含まれるＭＰＥＧ４に従った動画圧縮が行われる。なお、ＤＣＴや量子化では、所定サイズの画像領域（ブロックとも言う）が一つの処理単位とされつつデータの圧縮処理が行われ、所定帯域（主に高周波帯域）の周波数に係る情報が削除される。所定サイズの各ブロックは、一辺が所定数（８または１６個）の画素からなる正方形の画像領域等であれば良い。なお、圧縮部２２ｂは、圧縮処理２２ａと同様に、第２動画像に動画圧縮を施して第２圧縮動画像Ｍｂを生成する。
【００４８】
この動画圧縮では、動画像に含まれる複数のフレームのうちの１以上のフレームが基準のフレーム（基準フレームともＩピクチャとも言う）とされ、基準フレーム以外の他のフレームが、基準フレームを基準とした動き情報によって各画素が示されている予測のフレーム（予測フレームとも言う）となる。各画素に係る動き情報は、動画像を構成するｉ−１番目（ｉは上記Ｎ以下の自然数）のフレームとｉ番目のフレームとの間において、被写体の各部分を捉えた画素の座標の変化を示す情報であり、ｉ番目のフレームの各画素を示す。換言すれば、基準フレームは画素毎に画素値（輝度値等）を有し、予測フレームは各画素に対応する動き情報を有している。
【００４９】
本実施形態では、各フレームを構成する画素の位置が、直交するＸＹの２軸に係る座標（Ｘ座標の値とＹ座標の値）で示され、動き情報に相当する座標の変化は、Ｘ座標の値とＹ座標の値とで示される動きベクトルの形式で表現されれば良い。つまり、動き情報には、Ｘ方向の動き情報とＹ方向の動き情報とが含まれる。
【００５０】
なお、ｉ番目のフレームが予測フレームであれば、予測フレームは、ｉ番目のフレームとｉ−１番目のフレームとの比較から得られた動き情報で各画素が示されているフレーム（Ｐピクチャとも言う）であっても良いし、ｉ番目のフレームとｉ−１番目およびｉ＋１番目のフレームとの比較から得られた動き情報で各画素が示されているフレーム（Ｂピクチャとも言う）であっても良い。以下、予測フレームがＰピクチャである場合を例にとって説明する。
【００５１】
図３は、第１および第２圧縮動画像Ｍａ，Ｍｂの一態様を例示する図である。図３では、第１圧縮動画像Ｍａを構成するｉ番目のフレームが時刻Ｔｉの撮像に係るフレームＭａｉと記載され、第２圧縮動画像Ｍｂを構成するｉ番目のフレームが時刻Ｔｉの撮像に係るフレームＭｂｉと記載されている。
【００５２】
図３で示されるように、第１圧縮動画像Ｍａは、Ｎ枚のフレームＭａ１〜ＭａＮを有している。そして、１，５，９番目の各フレームＭａ１，Ｍａ５，Ｍａ９が、Ｉピクチャであり、２〜４，６〜８，１０，Ｎ番目の各フレームＭａ２〜Ｍａ４，Ｍａ６〜Ｍａ８，Ｍａ１０，ＭａＮが、Ｐピクチャである。また、第２圧縮動画像Ｍｂは、Ｎ枚のフレームＭｂ１〜ＭｂＮを有している。そして、３，７番目の各フレームＭｂ３，Ｍｂ７が、Ｉピクチャであり、１，２，４〜６，８〜１０，Ｎ番目の各フレームＭｂ１，Ｍｂ２，Ｍｂ４〜Ｍｂ６，Ｍｂ８〜Ｍｂ１０，ＭａＮが、Ｐピクチャである。
【００５３】
ここでは、図３の矢印で示されるように、Ｉピクチャの直後のＰピクチャは、直前のＩピクチャを基準とした動き情報によって各画素が示されている。また、Ｐピクチャの直後のＰピクチャは、直前のＰピクチャを基準とした動き情報によって各画素が示されていることで、間接的にＩピクチャを基準とした動き情報によって各画素が示されている。なお、全てのＰピクチャが、Ｉピクチャを基準とした動き情報によって直接的に各画素が示されていても良い。
【００５４】
送信部２３ａは、第１圧縮動画像Ｍａを情報処理装置４に対して送信する。また、送信部２３ｂは、第２圧縮動画像Ｍｂを情報処理装置４に対して送信する。
【００５５】
＜(1-2-2)画像処理装置の機能的な構成＞
図２で示されるように、画像処理装置としての情報処理装置４は、受信部４１ａ，４１ｂと演算部４２とを備えている。
【００５６】
受信部４１ａ，４１ｂは、取得部としてのＩ／Ｆ部４０３によって実現される。受信部４１ａは、第１カメラ２ａから出力される第１圧縮動画像Ｍａを受信することで第１圧縮動画像Ｍａを取得する。受信部４１ｂは、第２カメラ２ｂから出力される第２圧縮動画像Ｍｂを受信することで第２圧縮動画像Ｍｂを取得する。
【００５７】
演算部４２は、制御部４０６でプログラムＰＧが実行されることで実現され、機能的な構成として伸長部４２１と探索部４２２と測距部４２３とを備えている。
【００５８】
伸長部４２１は、第１および第２圧縮動画像Ｍａ，Ｍｂに含まれているＰピクチャを必要に応じて伸長することで、Ｉピクチャと同様に画素毎に画素値の情報を有する伸長後のＰピクチャ（Ｄピクチャとも言う）を生成して、探索部４２２に出力する。なお、Ｉピクチャと同様な形態を有するＤピクチャは、基準フレームに相当する。また、伸長部４２１は、Ｉピクチャと伸長を要さないＰピクチャとをそのまま探索部４２２に出力する。
【００５９】
具体的には、図３で示されるように、１番目の一組のフレームＭａ１，Ｍｂ１と、３番目の一組のフレームＭａ３，Ｍｂ３と、５番目の一組のフレームＭａ５，Ｍｂ５と、７番目の一組のフレームＭａ７，Ｍｂ７と、９番目の一組のフレームＭａ９，Ｍｂ９とが、それぞれＩピクチャとＰピクチャとの組である。これらの各組のフレームについては、図４で示されるように、伸長部４２１によってＰピクチャＭｂ１，Ｍａ３，Ｍｂ５，Ｍａ７，Ｍｂ９が伸長されてＤピクチャＭｄ１，Ｍｄ３，Ｍｄ５，Ｍｄ７，Ｍｄ９が生成されることで、ＩピクチャとＤピクチャとの組とされる。なお、第１および第２圧縮動画像Ｍａ，ＭｂにはＩピクチャどうしの組となるフレームが含まれていても良い。
【００６０】
上述したように、伸長部４２１によって一部のＰピクチャがＤピクチャに変換されることで、第１および第２圧縮動画像Ｍａ，Ｍｂが、第１および第２圧縮動画像Ｍａａ，Ｍｂｂとなる。以下、第１圧縮動画像Ｍａａに含まれる各フレームを「一方フレーム」とも言い、第２圧縮動画像Ｍｂｂに含まれる各フレームを「他方フレーム」とも言う。
【００６１】
探索部４２２は、第１圧縮動画像Ｍａａと第２圧縮動画像Ｍｂｂとの間で、同時刻の撮像に係る各組のフレームを対象として、被写体の同じ部分を捉えた画素の対応関係を検出する。探索部４２２では、第１圧縮動画像Ｍａａに含まれている一方フレームに対して検出の基準となる点（基準点とも言う）が順次に設定され、基準点毎に、第２圧縮動画像Ｍｂｂに含まれている他方フレームから基準点に対応する点（対応点とも言う）が検出される処理（検出処理とも言う）が行われる。
【００６２】
この検出処理には、Ｉピクチャどうしの組およびＩピクチャとＤピクチャとの組を対象とした検出処理（Ｉ検出処理とも言う）と、Ｐピクチャどうしの組を対象とした検出処理（Ｐ検出処理とも言う）とが含まれる。つまり、演算部４２では、対応点の検出処理の対象がＩピクチャとＰピクチャとの組であれば、伸長部４２１によってＰピクチャが伸長されてＤピクチャとされた上で、ＩピクチャとＤピクチャとを対象としたＩ検出処理が行われる。また、対応点の検出処理の対象がＰピクチャどうしの組であれば、Ｐピクチャの伸長等が行われずにＰ検出処理が行われる。
【００６３】
本実施形態では、Ｉ検出処理およびＰ検出処理の何れの処理においても、各組のフレームをベースとして解像度が所定数（例えば、３つ）の段階に低減されたフレームの組が生成され、解像度が低いフレームの組から順に被写体の同じ部分を捉えた基準点と対応点との関係が検出される。このとき、解像度が相対的に１段階低いフレームの組を対象とした検出結果が、解像度が相対的に１段階高いフレームの組を対象とした次段の検出に利用される。
【００６４】
ここで、一組のフレームを対象とした検出処理における、［Ａ］複数段階の解像度に係るフレームの組の生成、［Ｂ］基準点の設定、および［Ｃ］各基準点に対応する対応点の検出、について順に説明する。
【００６５】
［Ａ］複数段階の解像度に係るフレームの組の生成：
図５は、第１および第２圧縮動画像Ｍａａ，Ｍｂｂに含まれている各フレームの形態を例示する模式図である。各フレームでは、多数の画素がマトリックス状に配列されている。具体的には、縦方向（Ｙ方向）に第１所定数（ここでは４８０個）の画素が配列され、横方向（Ｘ方向）に第２所定数（ここでは６４０個）の画素が配列されている。各フレームでは左上の位置が原点とされ、各フレームを構成する各画素の横方向における位置がＸ座標で示され、縦方向における位置がＹ座標で示されている。つまり、各フレームでは、各画素の位置が座標（Ｘ，Ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。
【００６６】
図６は、各フレームの解像度が１段階低減されて生成されるフレーム（第１縮小後フレームとも言う）の形態を例示する図である。１段階の解像度の低減は、例えば、各フレームを構成している複数の縦方向の画素の列（垂直ラインとも言う）および複数の横方向の画素の行（水平ラインとも言う）のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで実現される。ここでは、第１縮小後フレームが、縦方向に２４０個および横方向に３２０個の画素がマトリックス状に配列された構成を有している。
【００６７】
例えば、一方フレームＭａ１から第１縮小後フレーム（一方第１縮小後フレームとも言う）Ｍａ１S1が生成され、他方フレームＭｄ１から第１縮小後フレーム（他方第１縮小後フレームとも言う）Ｍｄ１S1が生成される。また、一方フレームＭａ２から一方第１縮小後フレームＭａ２S1が生成され、他方フレームＭｂ２から他方第１縮小後フレームＭｂ２S1が生成される。
【００６８】
図７は、各フレームの解像度が２段階低減されて生成されるフレーム（第２縮小後フレームとも言う）の形態を例示する図である。２段階の解像度の低減は、例えば、各第１縮小後フレームを構成している複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで実現される。ここでは、第２縮小後フレームが、縦方向に１２０個および横方向に１６０個の画素がマトリックス状に配列された構成を有している。
【００６９】
例えば、一方フレームＭａ１から第２縮小後フレーム（一方第２縮小後フレームとも言う）Ｍａ１S2が生成され、他方フレームＭｄ１から第２縮小後フレーム（他方第２縮小後フレームとも言う）Ｍｄ１S2が生成される。また、一方フレームＭａ２から一方第２縮小後フレームＭａ２S2が生成され、他方フレームＭｂ２から他方第２縮小後フレームＭｂ２S2が生成される。
【００７０】
図８は、各フレームの解像度が３段階低減されて生成されるフレーム（第３縮小後フレームとも言う）の形態を例示する図である。３段階の解像度の低減は、例えば、各第２縮小後フレームを構成している複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで実現される。ここでは、第３縮小後フレームが、縦方向に６０個および横方向に８０個の画素がマトリックス状に配列された構成を有している。
【００７１】
例えば、一方フレームＭａ１から第３縮小後フレーム（一方第３縮小後フレームとも言う）Ｍａ１S3が生成され、他方フレームＭｄ１から第３縮小後フレーム（他方第３縮小後フレームとも言う）Ｍｄ１S3が生成される。また、一方フレームＭａ２から一方第３縮小後フレームＭａ２S3が生成され、他方フレームＭｂ２から他方第３縮小後フレームＭｂ２S3が生成される。
【００７２】
［Ｂ］基準点の設定：
図９で示されるように、一方フレームに対して、対応点の検出の基準となる点（基準点とも言う）Ｓｐ１が設定される。ここでは、一方フレームの左上端の画素が始点とされ、図９の矢印で示されるように、一方フレームに対して、１つの水平ラインに沿って基準点Ｓｐ１が左端から右端にかけて１画素ずつずらされながら順に設定され、１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１つ下側（＋Ｙ側）の水平ラインに沿って基準点Ｓｐ１が左端から右端にかけて１画素ずつずらされながら順に設定される動作が繰り返される。また、ここでは、１つの基準点Ｓｐ１に対応する対応点が、他方フレーム上で検出される度に、次の基準点Ｓｐ１が設定される。
【００７３】
［Ｃ］各基準点に対応する対応点の検出：
各基準点Ｓｐ１に対応する対応点の検出では、次の工程（C1）〜（C12）が行われる。
【００７４】
（C1）一組の第３縮小後フレームを対象とした対応点の検出の基準となる初期視差が仮に設定される。初期視差は、例えば零等に設定される。詳細には、図１０で示されるように、基準点Ｓｐ１に対応する点（基準点）Ｓｐ１S3が、一方第３縮小後フレーム（例えばフレームＭａ１S3，Ｍａ２S3）に設定される。また、他方第３縮小後フレーム（例えばフレームＭｄ１S3，Ｍｂ２S3）に、演算処理の対象となる点（処理対象点とも言う）Ｐｐ１S3が設定される。所定の初期視差は、一方第３縮小後フレームにおける基準点Ｓｐ１S3の位置と、他方第３縮小後フレームにおける処理対象点Ｐｐ１S3の位置との間におけるＸ座標のずれ量である。
【００７５】
（C2）図１１で示されるように、一方第３縮小後フレーム（例えば一方第３縮小後フレームＭａ１S3，Ｍａ２S3）において基準点Ｓｐ１S3を中心として包含するウインドウ（基準領域とも言う）ＷａS3が設定される。また、他方第３縮小後フレーム（例えば他方第３縮小後フレームＭｄ１S3，Ｍｂ２S3）において処理対象点Ｐｐ１S3を中心として包含するウインドウ（比較領域とも言う）ＷｂS3が設定される。なお、基準領域ＷａS3および比較領域ＷｂS3は、同一サイズで且つ同一形状（ここでは、正方形）の領域であり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成されている。
【００７６】
（C3）後述する位相限定相関法（ＰＯＣ法）が用いられて、基準領域ＷａS3と比較領域ＷｂS3との相関が算出されて、他方第３縮小後フレーム上で対応点が検出される。
【００７７】
（C4）一組の第２縮小後フレームを対象とした対応点の検出において基準となる視差（基準視差）が仮に設定される。この基準視差は、工程(C3)における検出結果に基づいて設定される。詳細には、この基準視差は、一方第３縮小後フレームにおける基準点Ｓｐ１S3の位置と、工程(C3)において検出された他方第３縮小後フレームにおける対応点の位置との間におけるＸ座標のずれ量に対応する。具体的には、図１２で示されるように、基準点Ｓｐ１に対応する基準点Ｓｐ１S2が、一方第２縮小後フレーム（例えばフレームＭａ１S2，Ｍａ２S2）に設定される。また、他方第２縮小後フレーム（例えばフレームＭｄ１S2，Ｍｂ２S2）に、工程(C3)において検出された対応点に対応する処理対象点Ｐｐ１S2が設定される。
【００７８】
（C5）図１２で示されるように、一方第２縮小後フレーム（例えば一方第２縮小後フレームＭａ１S2，Ｍａ２S2）において基準点Ｓｐ１S2を中心として包含するウインドウ（基準領域とも言う）ＷａS2が設定される。また、他方第２縮小後フレーム（例えば他方第２縮小後フレームＭｄ１S2，Ｍｂ２S2）において処理対象点Ｐｐ１S2を中心として包含するウインドウ（比較領域とも言う）ＷｂS2が設定される。なお、基準領域ＷａS2および比較領域ＷｂS2は、基準領域ＷａS3および比較領域ＷｂS3と同一の形状で且つ同一のサイズの領域とされる。
【００７９】
（C6）ＰＯＣ法が用いられて、基準領域ＷａS2と比較領域ＷｂS2との相関が算出されて、他方第２縮小後フレーム上で対応点が検出される。
【００８０】
（C7）一組の第１縮小後フレームに対して基準視差が仮に設定される。この基準視差は、工程(C6)における検出結果に基づいて設定される。詳細には、この基準視差は、一方第２縮小後フレームにおける基準点Ｓｐ１S2の位置と、工程(C6)において検出された他方第２縮小後フレームにおける対応点の位置との間におけるＸ座標のずれ量に対応する。具体的には、図１３で示されるように、基準点Ｓｐ１に対応する基準点Ｓｐ１S1が、一方第１縮小後フレーム（例えばフレームＭａ１S1，Ｍａ２S1）に設定される。また、図１４で示されるように、他方第１縮小後フレーム（例えばフレームＭｄ１S1，Ｍｂ２S1）に、工程(C6)において検出された対応点に対応する処理対象点Ｐｐ１S1が設定される。
【００８１】
（C8）図１３で示されるように、一方第１縮小後フレーム（例えば一方第１縮小後フレームＭａ１S1，Ｍａ２S1）において基準点Ｓｐ１S1を中心として包含するウインドウ（基準領域とも言う）ＷａS1が設定される。また、図１４で示されるように、他方第１縮小後フレーム（例えば他方第１縮小後フレームＭｄ１S1，Ｍｂ２S1）において処理対象点Ｐｐ１S1を中心として包含するウインドウ（比較領域とも言う）ＷｂS1が設定される。なお、基準領域ＷａS1および比較領域ＷｂS1は、基準領域ＷａS2，ＷａS3および比較領域ＷｂS2，ＷｂS3と同一の形状で且つ同一のサイズの領域とされる。
【００８２】
（C9）ＰＯＣ法が用いられて、基準領域ＷａS1と比較領域ＷｂS1との相関が算出されて、他方第１縮小後フレーム上で対応点が検出される。
【００８３】
（C10）一組のフレームに対して基準視差が仮に設定される。この基準視差は、工程(C9)における検出結果に基づいて設定される。詳細には、この基準視差は、一方第１縮小後フレームにおける基準点Ｓｐ１S2の位置と、工程(C9)において検出された他方第１縮小後フレームにおける対応点の位置との間におけるＸ座標のずれ量に対応する。具体的には、図１５で示されるように、基準点Ｓｐ１が、一方フレーム（例えばフレームＭａ１，Ｍａ２）に設定される。また、図１６で示されるように、他方フレーム（例えばフレームＭｄ１，Ｍｂ２）に、工程(C9)において検出された対応点に対応する処理対象点Ｐｐ１が設定される。
【００８４】
（C11）図１５で示されるように、一方フレーム（例えば一方フレームＭａ１，Ｍａ２）において基準点Ｓｐ１を中心として包含するウインドウ（基準領域とも言う）Ｗａが設定される。また、他方フレーム（例えば他方フレームＭｄ１，Ｍｂ２）において処理対象点Ｐｐ１を中心として包含するウインドウ（比較領域とも言う）Ｗｂが設定される。なお、基準領域Ｗａおよび比較領域Ｗｂは、基準領域ＷａS1，ＷａS2，ＷａS3および比較領域ＷｂS1，ＷｂS2，ＷｂS3と同一の形状で且つ同一のサイズの領域とされる。
【００８５】
（C12）ＰＯＣ法が用いられて、基準領域Ｗａと比較領域Ｗｂとの相関が算出されて、他方フレーム上で対応点が検出される。
【００８６】
図２に戻って、測距部４２３は、各組のフレームについて、基準点毎に、三角測量の原理を用いて、探索部４２２によって検出された基準点と対応点の座標から求まる視差Δｄに基づき、ステレオカメラ２（すなわち視点）から被写体までの距離Ｄを導出する。ここでは、距離Ｄと、第１および第２カメラ２ａ，２ｂの光軸の離隔距離Ｂと、ステレオカメラ２のレンズの焦点距離ｆと、視差Δｄとが、Ｄ＝ｆ×Ｂ／Δｄの関係を有することが利用され、離隔距離Ｂと焦点距離ｆは、設計によって一義的に設定される。測距部４２３で導出される各基準点に係る距離Ｄの情報は、演算部４２から出力され、記憶部４０４等に記憶される。
【００８７】
＜(1-3)ＰＯＣ法を用いた対応点の検出方法＞
探索部４２２で実行されるＰＯＣ法を用いた対応点の検出方法には、Ｉ検出処理に係る検出方法と、Ｐ検出処理に係る検出方法とが含まれる。
【００８８】
＜(1-3-1)Ｉ検出処理に係るＰＯＣ法を用いた対応点の検出方法＞
図１７は、Ｉ検出処理に係るＰＯＣ法を用いた対応点の検出方法を具体的に説明するための図である。ここでは、一方フレームと他方フレームとの間における対応点の検出方法を例に挙げて説明する。
【００８９】
まず、一方フレームに対するウインドウ（基準領域）Ｗａの設定処理Ｔ１ａと、他方フレームに対するウインドウ（比較領域）Ｗｂの設定処理Ｔ１ｂとが行われる。このとき、基準領域Ｗａおよび比較領域Ｗｂにそれぞれ相当する画像領域が、次の数１で表される。
【００９０】
【数１】
2011129361.tif 000003
【００９１】
ここで、上記数１におけるｆ(ｎ1,ｎ2)は、一方フレーム上の基準領域Ｗａを示し、上記数１におけるｇ(ｎ1,ｎ2)は、他方フレーム上の比較領域Ｗｂを示す。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００９２】
次に、一方フレームおよび他方フレームの基準領域Ｗａおよび比較領域Ｗｂに相当する各画像領域に対し、次の数２で示される演算式を用いた２次元のフーリエ変換処理Ｔ２ａ、Ｔ２ｂが行われる。
【００９３】
【数２】
2011129361.tif 000004
【００９４】
なお、上記の数２のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【００９５】
このようなフーリエ変換処理Ｔ２ａ、Ｔ２ｂが施された各画像領域に対しては、次の数３で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ３ａ、Ｔ３ｂがそれぞれ行われる。
【００９６】
【数３】
2011129361.tif 000005
【００９７】
規格化処理Ｔ３ａ、Ｔ３ｂが完了すると、次の数４で示される演算式を用いた合成処理Ｔ４が行われるとともに、下記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｔ５が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値）が出力される。
【００９８】
【数４】
2011129361.tif 000006
【００９９】
【数５】
2011129361.tif 000007
【０１００】
以上の処理により、図１８で示されるように、基準領域Ｗａと比較領域Ｗｂとの相関を示す演算結果（ＰＯＣ値の分布）が得られる。
【０１０１】
図１８においては、ウインドウ（Ｎ1×Ｎ2）内で相関が高い箇所のＰＯＣ値が大きくなっており、他方フレーム上の比較領域Ｗｂ内のうち、ＰＯＣ値のピークＪｃに対応する位置が、一方フレーム上の基準領域Ｗａの中心点（基準点）Ｓｐ１に対応した他方フレーム上の対応点に相当する。このため、ＰＯＣ値のピークＪｃが検出されることで、一方フレーム上の基準点Ｓｐ１に対応した他方フレーム上の対応点が検出される。
【０１０２】
このようなＰＯＣ法を用いた対応点の検出処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制され、対応点が精度良く検出される。
【０１０３】
＜(1-3-2)Ｐ検出処理に係るＰＯＣ法を用いた対応点の検出方法＞
Ｐ検出処理では、一組のＰピクチャに含まれる動き情報が用いられて、基準点に対応する対応点が検出される。以下、具体的に説明する。
【０１０４】
Ｐピクチャは、画素毎に、Ｘ方向の動き情報（動き情報Ｘとも言う）とＹ方向の動き情報（動き情報Ｙとも言う）とを有する。つまり、Ｐピクチャは、動き情報Ｘの分布と、動き情報Ｙの分布とを有する。このため、Ｐピクチャに設定された基準領域Ｗａは、図１９で示されるように、基準領域Ｗａに係る動き情報Ｘの２次元的な分布（Ｘ分布とも、一方基準分布とも言う）Ｗａｕと、基準領域Ｗａに係る動き情報Ｙの２次元的な分布（Ｙ分布とも、他方基準分布とも言う）Ｗａｖとを有する。従って、図１９で示されるように、基準領域Ｗａに係るデータは、Ｘ分布ＷａｕとＹ分布Ｗａｖとが積層されて形成される直方体の画像領域（ボクセル情報とも言う）Ｖｘａとして取り扱い可能である。なお、ここでは、Ｘ分布ＷａｕとＹ分布Ｗａｖとが積層される方向がＸＹ平面に垂直なＬ方向であるものする。
【０１０５】
また、Ｐピクチャに設定された比較領域Ｗｂは、図２０で示されるように、比較領域Ｗｂに係る動き情報Ｘの２次元的な分布（Ｘ分布とも、一方比較分布とも言う）Ｗｂｕと、比較領域Ｗｂに係る動き情報Ｙの２次元的な分布（Ｙ分布とも、他方比較分布とも言う）Ｗｂｖとを有する。従って、図２０で示されるように、比較領域Ｗｂに係るデータは、Ｘ分布ＷｂｕとＹ分布ＷｂｖとがＬ方向に積層されて形成される直方体の画像領域（ボクセル情報とも言う）Ｖｘｂとして取り扱い可能である。
【０１０６】
そして、ボクセル情報Ｖｘａとボクセル情報Ｖｘｂとの相関を示すＰＯＣ値の分布が求められ、ＰＯＣ値が最大となる点がＸＹ平面上に投影された点の座標が、対応点として検出される。
【０１０７】
図２１は、Ｐ検出処理におけるＰＯＣ値の分布の求め方を具体的に説明するための図である。
【０１０８】
ここでは、ボクセル情報Ｖｘａおよびボクセル情報Ｖｘｂは、それぞれＸ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列され、Ｌ方向に沿って所定数Ｎ3（ここでは２つ）の画素が配列される直方体の画像領域（ボクセル情報）として取り扱われる。これらのボクセル情報は、次の数６で表される。
【０１０９】
【数６】
2011129361.tif 000008
【０１１０】
上記の数６におけるｆ(ｎ1,ｎ2,ｎ3)は、ボクセル情報Ｖｘａを示し、上記の数６におけるｇ(ｎ1,ｎ2,ｎ3)は、ボクセル情報Ｖｘｂに係る画像領域を示す。また、Ｎ1、Ｎ2、Ｎ3は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１、Ｎ3＝２Ｍ3＋１と設定されている。
【０１１１】
そして、まず、ボクセル情報Ｖｘａおよびボクセル情報Ｖｘｂに対して、次の数７で示される演算式を用いた３次元のフーリエ変換処理ＴＶ２ａ，ＴＶ２ｂが行われる。
【０１１２】
【数７】
2011129361.tif 000009
【０１１３】
なお、上記の数７のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2、Ｎ3が代入され、またｋの添字ｓには、１、２、３が代入される。
【０１１４】
このようなフーリエ変換処理ＴＶ２ａ，ＴＶ２ｂが施された各画像領域に対しては、次の数８で示される演算式を用いて、画像の振幅成分を除去するための規格化処理ＴＶ３ａ，ＴＶ３ｂが行われる。
【０１１５】
【数８】
2011129361.tif 000010
【０１１６】
規格化処理ＴＶ３ａ，ＴＶ３ｂが完了すると、次の数９で示される演算式を用いた合成処理ＴＶ４が行われるとともに、数１０で示される演算式を用いた３次元の逆フーリエ変換処理ＴＶ５が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値の分布）が出力される。
【０１１７】
【数９】
2011129361.tif 000011
【０１１８】
【数１０】
2011129361.tif 000012
【０１１９】
このようにして、ＰＯＣ値の分布が求められるが、ボクセル情報Ｖｘａとボクセル情報ＶｘｂとからＰＯＣ値の分布が求められる演算は、Ｉ検出処理においてＰＯＣ値の分布が求められる演算よりも、演算量が増加してしまう。このため、演算量の増加を抑制する観点から、Ｐ検出処理ではＩ検出処理よりもウインドウ（基準領域および比較領域）のサイズ（上記Ｎ1、Ｎ2）が小さく設定されることが好ましい。例えば、Ｎ2を半分にすれば良い。
【０１２０】
なお、一方第１縮小後フレームと他方第１縮小後フレームとの組、一方第２縮小後フレームと他方第２縮小後フレームとの組、および一方第３縮小後フレームと他方第３縮小後フレームとの組、の何れの組に係る対応点の検出についても、上述した一方フレームと他方フレームとの組に係る対応点の検出と同様な方法で実現可能である。
【０１２１】
例えば、基準領域ＷａS1に係るデータも、Ｘ分布ＷａｕS1とＹ分布ＷａｖS1とがＬ方向に積層された直方体のボクセル情報ＶｘａS1として取り扱い可能であり、比較領域ＷｂS1に係るデータも、Ｘ分布ＷｂｕS1とＹ分布ＷｂｖS1とがＬ方向に積層された直方体のボクセル情報ＶｘｂS1として取り扱い可能である。また、基準領域ＷａS2に係るデータも、Ｘ分布ＷａｕS2とＹ分布ＷａｖS2とがＬ方向に積層された直方体のボクセル情報ＶｘａS2として取り扱い可能であり、比較領域ＷｂS2に係るデータも、Ｘ分布ＷｂｕS2とＹ分布ＷｂｖS2とがＬ方向に積層された直方体のボクセル情報ＶｘｂS2として取り扱い可能である。更に、基準領域ＷａS3に係るデータも、Ｘ分布ＷａｕS3とＹ分布ＷａｖS3とがＬ方向に積層された直方体のボクセル情報ＶｘａS3として取り扱い可能であり、比較領域ＷｂS3に係るデータも、Ｘ分布ＷｂｕS3とＹ分布ＷｂｖS3とがＬ方向に積層された直方体のボクセル情報ＶｘｂS3として取り扱い可能である。
【０１２２】
＜(1-4)情報処理システムの動作＞
図２２から図２４は、情報処理システム１における動作フローを示すフローチャートである。本動作フローは、制御部４０６がプログラムＰＧを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部４０１からの指示に応じて開始されて、図２２のステップＳ１に進む。
【０１２３】
ステップＳ１では、撮像部２１ａ，２１ｂによる撮像によって、第１および第２動画像が取得される。
【０１２４】
ステップＳ２では、圧縮部２２ａ，２２ｂによって、第１および第２動画像に動画圧縮が施されることで第１および第２圧縮動画像Ｍａ，Ｍｂが生成され、送信部２３ａ，２３ｂに出力される。
【０１２５】
ステップＳ３では、送信部２３ａ，２３ｂによって、第１および第２圧縮動画像Ｍａ，Ｍｂが、情報処理装置４に対して送信される。
【０１２６】
ステップＳ４では、受信部４１ａ，４１ｂによって、第１および第２圧縮動画像Ｍａ，Ｍｂが受信され、伸長部４２１に出力される。
【０１２７】
ステップＳ５では、伸長部４２１によって、第１および第２圧縮動画像Ｍａ，Ｍｂに含まれるＰピクチャが必要に応じて伸長されてＤピクチャが生成される。このステップＳ５では、図２３で示される動作フローが行われることで、第１および第２圧縮動画像Ｍａａ，Ｍｂｂが生成される。
【０１２８】
ステップＳ５１では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちの処理の対象となるフレームの組の順番を示す数値ｉが１に設定される。
【０１２９】
ステップＳ５２では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちのｉ番目の一組のフレームが処理の対象として設定される。
【０１３０】
ステップＳ５３では、ｉ番目の一組のフレームがＩピクチャの組であるか否かが判定される。ここで、ｉ番目の一組のフレームがＩピクチャの組でなければステップＳ５４に進み、Ｉピクチャの組であればステップＳ５５に進む。
【０１３１】
ステップＳ５４では、ｉ番目の一組のフレームがＰピクチャの組か否か判定される。ここで、ｉ番目の一組のフレームがＰピクチャの組であればステップＳ５５に進み、Ｐピクチャの組でなければステップＳ５６に進む。
【０１３２】
ステップＳ５５では、ｉ番目の一組のフレームに対する伸長が禁止される。すなわち、伸長部４２１によって、ｉ番目の一組のフレームが全く伸長されることなく、このｉ番目の一組のフレームが、そのまま探索部４２２に対して出力される。
【０１３３】
ステップＳ５６では、ｉ番目の一組のフレームに含まれるＰピクチャが伸長される。
【０１３４】
ステップＳ５７では、数値ｉがＮであるか否かが判定される。なお、Ｎは、第１および第２圧縮動画像Ｍａ，Ｍｂをそれぞれ構成するフレームの数を示す。ここで、数値ｉがＮでなければステップＳ５８に進んで数値ｉが１つ増加されてステップＳ５２に進む。一方、数値ｉがＮであれば本動作フローが終了される。
【０１３５】
次に、図２２のステップＳ６では、探索部４２２によって、対応点の検出が行われる。このステップＳ６では、図２４で示される動作フローが行われる。
【０１３６】
ステップＳ６１では、第１および第２圧縮動画像Ｍａａ，Ｍｂｂのうちの処理の対象となるフレームの組の順番を示す数値ｉが１に設定される。
【０１３７】
ステップＳ６２では、第１および第２圧縮動画像Ｍａａ，Ｍｂｂのうちのｉ番目のフレームの組が処理の対象として設定される。
【０１３８】
ステップＳ６３では、ｉ番目のフレームの組が、Ｉピクチャの組であるかまたはＩピクチャとＤピクチャとの組であるか否かが判定される。ここで、ｉ番目のフレームの組がＩピクチャの組またはＩピクチャとＤピクチャとの組であればステップＳ６４に進み、Ｉピクチャの組でもＩピクチャとＤピクチャとの組でもなければステップＳ６５に進む。
【０１３９】
ステップＳ６４では、Ｉ検出処理が行われる。
【０１４０】
ステップＳ６５では、Ｐ検出処理が行われる。
【０１４１】
ステップＳ６６では、数値ｉがＮであるか否かが判定される。Ｎは、第１および第２圧縮動画像Ｍａａ，Ｍｂｂをそれぞれ構成するフレームの数を示す。ここで、数値ｉがＮでなければステップＳ６７に進んで数値ｉが１つ増加されてステップＳ６２に進む。一方、数値ｉがＮであれば本動作フローが終了される。
【０１４２】
次に、図２２のステップＳ７では、測距部４２３によって、ステップＳ６で検出された対応点に基づき、第１および第２圧縮動画像Ｍａａ，Ｍｂｂに含まれる各組のフレームについて、被写体までの距離Ｄが導出される。
【０１４３】
＜(1-5)第１実施形態のまとめ＞
以上のように、第１実施形態に係る情報処理システム１では、Ｐピクチャどうしの組についてはＰピクチャが伸長されずにＰ検出処理が行われる。このため、圧縮された動画像を対象とした対応点の検出に係る演算量が低減される。また、ＩピクチャとＰピクチャとの組に含まれたＰピクチャが伸長されることでＤピクチャとされてＩ検出処理が行われる。このため、演算量の増大が抑制されつつ異なる形態のフレームの組についても対応点の検出が可能となる。
【０１４４】
＜(2)第２実施形態＞
第１実施形態に係る情報処理システム１では、ＩピクチャとＰピクチャとの組については、Ｐピクチャが伸長されてＤピクチャとされた上で、Ｉ検出処理が行われた。これに対して、第２実施形態に係る情報処理システム１Ａでは、ＩピクチャとＰピクチャとの組が生じない動画圧縮が行われる。これにより、フレームの形態を整合させる演算が削減され、対応点の検出に係る演算量が低減される。以下、第２実施形態に係る情報処理システム１Ａのうち、上記第１実施形態に係る情報処理システム１と異なる点について説明する。
【０１４５】
＜(2-1)情報処理システムの機能的な構成＞
図２５は、情報処理システム１Ａの機能的な構成を示す図である。
【０１４６】
情報処理システム１Ａは、上記第１実施形態に係る情報処理システム１をベースとして、ステレオカメラ２が、圧縮部２２ａ，２２ｂにおける動画圧縮が同期するステレオカメラ２Ａに変更され、演算部４２が、伸長部４２１が取り除かれ且つ探索部４２２が探索部４２２Ａに置換された演算部４２Ａに変更されたものである。
【０１４７】
ステレオカメラ２Ａでは、圧縮部２２ａ，２２ｂが、第１動画像と第２動画像との間における各組のフレームが、Ｉピクチャどうしの組およびＰピクチャどうしの組のうちの何れか一方の組となるように動作することで、第１および第２圧縮動画像Ｍａ，Ｍａを生成する。なお、圧縮部２２ａ，２２ｂにおける同期した動画圧縮の動作は、ステレオカメラ２Ａに内蔵されている制御部や制御部４０６による制御等によって実現可能である。
【０１４８】
図２６は、ステレオカメラ２Ａで生成される第１および第２圧縮動画像Ｍａ，Ｍｂが例示されている。ここでは、１番目の一組のフレームＭａ１，Ｍｂ１、５番目の一組のフレームＭａ５，Ｍｂ５、および９番目の一組のフレームＭａ９，Ｍｂ９といった４フレーム置きのフレームの組がＩピクチャの組であり、残余のフレームの各組がＰピクチャの組である。
【０１４９】
このように、フレームの各組が、Ｉピクチャどうしの組またはＰピクチャどうしの組となっている。このため、演算部４２Ａでは、Ｐピクチャの伸長が不要である。
【０１５０】
演算部４２Ａの機能（具体的には、探索部４２２Ａおよび測距部４２３）は、記憶部４０４内に格納されているプログラムＰＧＡが制御部４０６で実行されることで実現される。そして、探索部４２２Ａで行われる検出処理には、Ｉ検出処理とＰ検出処理とが含まれる。
【０１５１】
＜(2-2)情報処理システムの動作＞
図２７および図２８は、情報処理システム１Ａにおける動作フローを示すフローチャートである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＡを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部４０１からの指示に応じて開始されて、図２７のステップＳ１に進む。
【０１５２】
図２７で示される動作フローは、図２２で示された上記第１実施形態に係る情報処理システム１における動作フローのうち、ステップＳ２の処理がステップＳ２Ａに置換され、ステップＳ５の処理が取り除かれ、ステップＳ６の処理がステップＳ６Ａに置換されたものである。但し、ステップＳ４では、受信部４１ａ，４１ｂから第１および第２圧縮動画像Ｍａ，Ｍｂが探索部４２２Ａに出力される。
【０１５３】
ステップＳＡ２では、圧縮部２２ａ，２２ｂによって、第１および第２動画像に対して動画圧縮が施されて、第１および第２圧縮動画像Ｍａ，Ｍｂが生成され、送信部２３ａ，２３ｂに出力される。ここでは、第１および第２圧縮動画像Ｍａ，Ｍｂに含まれるフレームの各組が、Ｉピクチャどうしの組またはＰピクチャどうしの組となる。
【０１５４】
ステップＳＡ６では、探索部４２２Ａによって、対応点の検出処理が行われる。このステップＳＡ６では、図２８で示される動作フローが行われる。
【０１５５】
ステップＳＡ６１では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちの処理の対象となるフレームの組の順番を示す数値ｉが１に設定される。
【０１５６】
ステップＳＡ６２では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちのｉ番目のフレームの組が処理の対象として設定される。
【０１５７】
ステップＳＡ６３では、ｉ番目のフレームの組がＩピクチャどうしの組であるか否かが判定される。ここで、ｉ番目のフレームの組がＩピクチャどうしの組であればステップＳＡ６４に進み、Ｉピクチャどうしの組でなければステップＳＡ６５に進む。
【０１５８】
ステップＳＡ６４では、Ｉ検出処理が行われる。
【０１５９】
ステップＳＡ６５では、Ｐ検出処理が行われる。
【０１６０】
ステップＳＡ６６では、数値ｉがＮであるか否かが判定される。Ｎは、第１および第２圧縮動画像Ｍａ，Ｍｂをそれぞれ構成するフレームの数を示す。ここで、数値ｉがＮでなければステップＳＡ６７に進んで数値ｉが１つ増加されてステップＳＡ６２に進む。一方、数値ｉがＮであれば本動作フローが終了される。
【０１６１】
＜(2-3)第２実施形態のまとめ＞
以上のように、第２実施形態に係る情報処理システム１Ａでは、第１および第２動画像に対する動画圧縮の同期によって、Ｐピクチャの伸長が不要となる。このため、フレームの形態を整合させる演算が削減され、対応点の検出に係る演算量が低減される。
【０１６２】
＜(3)第３実施形態＞
第１および第２実施形態に係る情報処理システム１，１Ａでは、Ｐピクチャの組については、一方のＰピクチャの動き情報と他方のＰピクチャの動き情報との間における相関に基づいて対応点が検出された。これに対して、第３実施形態に係る情報処理システム１Ｂでは、Ｉ検出処理の結果とＰピクチャが有する動き情報とに基づき、Ｐピクチャの組について対応点が検出される。つまり、Ｐ検出処理の内容が異なる。これにより、Ｐ検出処理に必要な演算量が顕著に削減され、Ｐピクチャに係る対応点の検出に要する演算量が大幅に低減される。以下、第３実施形態に係る情報処理システム１Ｂのうち、第１実施形態に係る情報処理システム１と異なる点について説明する。
【０１６３】
情報処理システム１Ｂは、図２で示されるように、上記第１実施形態に係る情報処理システム１をベースとして、演算部４２が、探索部４２２が探索部４２２Ｂに置換された演算部４２Ｂに変更されたものである。なお、演算部４２Ｂの機能（具体的には、伸長部４２１と探索部４２２Ｂと測距部４２３）は、記憶部４０４内に格納されるプログラムＰＧＢが制御部４０６で実行されることで実現される。
【０１６４】
探索部４２２Ｂでは、一組のＰピクチャを対象としたＰ検出処理が、Ｉピクチャどうしの組またはＩピクチャとＤピクチャとの組が対象とされたＩ検出処理の検出結果と、一組のＰピクチャに含まれる動き情報とに基づいて行われる。換言すれば、Ｐピクチャどうしの組については、Ｉ検出処理の検出結果と動き情報とに基づいて、基準点と当該基準点に対応する対応点とが間接的に求められる。
【０１６５】
図２９および図３０は、本実施形態に係るＰ検出処理の原理を説明するための図である。図２９では、Ｉ検出処理の検出結果の一例が示されている。ここでは、ＩピクチャＭａ１とＤピクチャＭｄ１との組について、基準点Ｐａ１（Ｘ座標がＸａ１、Ｙ座標がＹａ１）に対応する対応点Ｐｄ１（Ｘ座標がＸｄ１、Ｙ座標がＹｄ１）が示されている。
【０１６６】
図３０で示されるように、探索部４２２Ｂでは、第１圧縮動画像Ｍａａについて、ＩピクチャＭａ１の次のフレームであるＰピクチャＭａ２に含まれる動き情報に基づき、ＰピクチャＭａ２のうち、ＩピクチャＭａ１の基準点Ｐａ１に対応する基準点Ｐａ２が導出される。例えば、基準点Ｐａ２の動き情報が、Ｘ座標の値ｕａとＹ座標の値ｖａとで示される動きベクトルの形式を有していれば、基準点Ｐａ２のＸ座標の値が、基準点Ｐａ１のＸ座標の値Ｘａ１に動き情報のＸ座標の値ｕａが加えられたＸａ１＋ｕａとなり、基準点Ｐａ２のＹ座標の値が、基準点Ｐａ１のＹ座標の値Ｙａ１に動き情報のＹ座標の値ｖａが加えられたＹａ１＋ｖａとなる。
【０１６７】
また、図３０で示されるように、探索部４２２Ｂでは、第２圧縮動画像Ｍｂｂについて、ＤピクチャＭｄ１の次のフレームであるＰピクチャＭｂ２に含まれる動き情報に基づき、ＰピクチャＭｂ２のうち、ＤピクチャＭｄ１の対応点Ｐｄ１に対応する対応点Ｐｂ２が導出される。例えば、対応点Ｐｂ２の動き情報が、Ｘ座標の値ｕｂとＹ座標の値ｖｂとで示される動きベクトルの形式を有していれば、対応点Ｐｂ２のＸ座標の値が、対応点Ｐｄ１のＸ座標の値Ｘｄ１に動き情報のＸ座標の値ｕｂが加えられたＸｄ１＋ｕｂとなり、対応点Ｐｂ２のＹ座標の値が、対応点Ｐｄ１のＹ座標の値Ｙｄ１に動き情報のＹ座標の値ｖｂが加えられたＹｄ１＋ｖｂとなる。
【０１６８】
なお、演算部４２では、或るＰピクチャどうしの組の次のフレームの組がＰピクチャどうしの組である場合、次のフレームのＰピクチャどうしの組に係るＰ検出処理が、その或るＰピクチャどうしの組を対象としたＰ検出処理の検出結果と、次のフレームのＰピクチャどうしの組に含まれる動き情報とに基づいて行われる。
【０１６９】
つまり、第１圧縮動画像Ｍａａと第２圧縮動画像ＭｂｂとにおいてＰピクチャどうしの組が連続する場合、Ｐピクチャどうしの各組に係るＰ検出処理が、Ｉピクチャの組およびＩピクチャとＤピクチャとの組のうちの最も直前の組を対象としたＩ検出処理の検出結果と、この最も直前の組からＰ検出処理の対象である一組のＰピクチャに至るまでの動き情報とに基づいて行われる。すなわち、Ｐピクチャの各組を対象としたＰ検出処理が、Ｉピクチャの組またはＩピクチャとＤピクチャとの組が対象とされたＩ検出処理の検出結果と、Ｐピクチャに含まれる動き情報とに基づいて行われる。
【０１７０】
なお、本実施形態に係る情報処理システム１Ｂの動作フローは、上記第１実施形態に係る情報処理システム１の動作フローをベースとして、図２４のステップＳ６５が、Ｐ検出処理の内容が変更されたステップＳＢ６５に置換され、それに伴って、図２２で示されるステップＳ６が、対応点の検出処理の内容が変更されたステップＳＢ６に置換されたものである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＢを読み込んで実行することで実現される。
【０１７１】
以上のように、第３実施形態に係る情報処理システム１Ｂでは、Ｉ検出処理の結果とＰピクチャが有する動き情報とに基づいて、Ｐピクチャの組について対応点が検出される。このため、Ｐ検出処理に必要な演算量が顕著に削減され、Ｐピクチャに係る対応点の検出に要する演算量が大幅に低減される。
【０１７２】
＜(4)第４実施形態＞
第３実施形態に係る情報処理システム１Ｂでは、Ｐピクチャの組については、Ｉ検出処理の検出結果と動き情報とに基づいて、基準点とこの基準点に対応する対応点とが間接的に求められた。これに対して、第４実施形態に係る情報処理システム１Ｃでは、間接的に求められた基準点と対応点とについて、その対応関係の信頼性が判定される。これにより、信頼性が低い対応点について、対応を講ずることが可能となる。以下、第４実施形態に係る情報処理システム１Ｃのうち、第３実施形態に係る情報処理システム１Ｂと異なる点について説明する。
【０１７３】
＜(4-1)情報処理システムの機能的な構成＞
図３１は、情報処理システム１Ｃの機能的な構成を示す図である。
【０１７４】
情報処理システム１Ｃは、上記第３実施形態に係る情報処理システム１Ｂをベースとして、演算部４２Ｂが、評価値算出部４２４と信頼性判定部４２５とが追加されるとともに測距部４２３が測距部４２３Ｃに置換された演算部４２Ｃに変更されたものである。
【０１７５】
評価値算出部４２４は、探索部４２２ＢにおけるＰ検出処理でＰピクチャの組について求められた基準点と対応点との組について、基準点と対応点との間における類似度を評価するための値（評価値とも言う）を算出する。類似度は、一致している度合いであり、同じ被写体の部分を捉えている可能性の高さを示す。
【０１７６】
この評価値は、例えば、図３２で示されるように、一方のＰピクチャにおいて基準点を中心として包含する領域（一方評価領域とも言う）Ｒ１と、他方のＰピクチャにおいて対応点を中心として包含する領域（他方評価領域とも言う）Ｒ２との相関を示す分布のうち、対応点に係る相関を示す値であれば良い。この相関を示す値は、例えば、Ｐ検出処理と同様なＰＯＣ法を用いた処理によって算出されたＰＯＣ値の分布から求められれば良い。なお、一方評価領域Ｒ１および他方評価領域Ｒ２は、同一サイズで且つ同一形状（ここでは、正方形）の領域であれば良い。
【０１７７】
信頼性判定部４２５は、評価値算出部４２４によって算出された評価値と、予め設定された閾値との比較によって、評価値の算出対象となった基準点と対応点との組に係る信頼性を判定する。信頼性は、基準点に対する対応点としての確からしさを示す。例えば、評価値が閾値以上であれば、基準点と対応点との組に係る信頼性が高いものと判定され、評価値が閾値未満であれば、基準点と対応点との組に係る信頼性が低いものと判定されるような態様が考えられる。閾値は、例えば、記憶部４０４に予め記憶されていれば良い。
【０１７８】
測距部４２３Ｃは、信頼性判定部４２５による判定結果に応じて、基準点と対応点の座標から求まる視差Δｄに基づき、ステレオカメラ２から被写体までの距離Ｄを導出する。具体的には、例えば、信頼性判定部４２５によって信頼性が低いものと判定された基準点と対応点との各組については、距離Ｄが求められず、信頼性判定部４２５によって信頼性が高いものと判定された基準点と対応点との各組については、距離Ｄが求められるような態様が考えられる。これにより、演算量の低減と、距離Ｄの算出精度の確保とが実現される。なお、距離Ｄの導出方法は、例えば、上記第１〜３実施形態に係る測距部４２３における導出方法と同様なものであれば良い。
【０１７９】
＜(4-2)情報処理システムの動作＞
図３３は、情報処理システム１Ｃにおける動作フローを示すフローチャートである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＣを読み込んで実行することで実現される。本動作フローでは、まず、図２２で示された上記第３実施形態に係るステップＳ１〜Ｓ５，ＳＢ６と同様な処理が行われ、その後、ステップＳＣ６１，ＳＣ６２，ＳＣ７の処理が順に行われる。
【０１８０】
ステップＳＣ６１では、評価値算出部４２４によって、ステップＳＢ６のＰ検出処理で求められた基準点と対応点との各組について、評価値が算出される。
【０１８１】
ステップＳＣ６２では、信頼性判定部４２５によって、ステップＳＢ６のＰ検出処理で求められた基準点と対応点との各組について、ステップＳＣ６１で算出された評価値と閾値とが比較されて、信頼性が判定される。
【０１８２】
ステップＳＣ７では、測距部４２３Ｃによって、ステップＳＢ６のＰ検出処理で求められた基準点と対応点との各組について、ステップＳＣ６２における判定結果に応じて、ステレオカメラ２から被写体までの距離Ｄが導出される。例えば、信頼性が閾値未満の基準点と対応点との各組については、距離Ｄが導出されず、信頼性が閾値以上の基準点と対応点との各組については、距離Ｄが導出される。
【０１８３】
＜(4-3)第４実施形態のまとめ＞
以上のように、第４実施形態に係る情報処理システム１Ｃでは、Ｐ検出処理で求められた基準点と対応点との各組について、信頼性が判定される。このため、信頼性が低い対応点について、対応を講ずることが可能となる。
【０１８４】
＜(5)第５実施形態＞
第３実施形態に係る情報処理システム１Ｂでは、Ｐピクチャの組については、Ｉ検出処理の検出結果と動き情報とに基づき、基準点とこの基準点に対応する対応点とが間接的に求められた。これに対して、第５実施形態に係る情報処理システム１Ｄでは、間接的に求められた対応点が仮の対応点（仮対応点とも言う）とされ、この仮対応点を処理対象点として、Ｐピクチャの組を対象とした対応点の検出処理が行われる。このような２段階の処理を有するＰ検出処理により、対応点の検出精度の低下が抑制されつつ、対応点の検出に係る演算量が低減される。以下、第５実施形態に係る情報処理システム１Ｄのうち、第３実施形態に係る情報処理システム１Ｂと異なる点について説明する。
【０１８５】
＜(5-1)情報処理システムの機能的な構成＞
図３４は、情報処理システム１Ｄの機能的な構成を示す図である。
【０１８６】
情報処理システム１Ｄは、上記第３実施形態に係る情報処理システム１Ｂをベースとして、演算部４２Ｂが、探索部４２２Ｂが探索部４２２Ｄに置換された演算部４２Ｄに変更されたものである。
【０１８７】
探索部４２２Ｄは、Ｉ検出部４２２１Ｄと仮検出部４２２２ＤとＰ検出部４２２３Ｄとを備える。
【０１８８】
Ｉ検出部４２２１Ｄは、上記第３実施形態に係るＩ検出処理と同様な処理を行う。
【０１８９】
第１検出部としての仮検出部４２２２Ｄは、上記第３実施形態に係るＰ検出処理と同様な処理によって、Ｐピクチャの組について、一方のＰピクチャに含まれる基準点に対応する対応点を他方のＰピクチャから求める。つまり、一組のＰピクチャが対象とされて、Ｉピクチャの組またはＩピクチャとＤピクチャとの組が対象とされたＩ検出処理の検出結果と、この一組のＰピクチャに含まれる動き情報とに基づいて、一方のＰピクチャ上の各基準点に対応する仮対応点が他方のＰピクチャから求められる。
【０１９０】
第２検出部としてのＰ検出部４２２３Ｄは、一組のＰピクチャが対象とされて、一方のＰピクチャに含まれる基準点を包含する領域（基準領域とも言う）と、他方のＰピクチャに含まれる仮対応点を包含する領域（比較領域とも言う）との比較によって、一方のＰピクチャの基準点に対応する対応点を他方のＰピクチャから検出する。
【０１９１】
具体的には、例えば、図３５で示されるように、一方のＰピクチャ（例えば、ＰピクチャＭａ２）に基準点（例えば、基準点Ｐａ２）を中心として包含する基準領域Ｗ１が設定され、他方のＰピクチャ（例えば、ＰピクチャＭｂ２）に仮対応点（例えば、仮対応点Ｐｂ２）を中心として包含する比較領域Ｗ２が設定される。そして、上記第１実施形態に係るＰ検出処理で基準領域Ｗａと比較領域Ｗｂとの相関値の分布が求められた方法と同様な方法によって、基準領域Ｗ１と比較領域Ｗ２との相関値の分布が求められ、該分布において相関値の最大値に対応する点が対応点として検出される。
【０１９２】
＜(5-2)情報処理システムの動作＞
情報処理システム１Ｄにおける動作フローは、上記第３実施形態に係る動作フローのステップＳＢ６５（図２４）が、図３６で示される動作フローが実行されるステップＳＤ６５に置換され、それに伴って、ステップＳＢ６（図２２）が、処理内容が変更されたステップＳＤ６に置換されたものとなる。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＤを読み込んで実行することで実現される。以下では、上記第３実施形態に係る動作フローと異なるステップＳＤ６５について説明する。
【０１９３】
動作フローが、ステップＳＤ６５に移行すると、図３６で示されるステップＳＤ６５１，ＳＤ６５２の処理が順に行われる。
【０１９４】
ステップＳＤ６５１では、仮検出部４２２２Ｄによって、Ｐピクチャの組について、一方のＰピクチャに含まれる基準点に対応する対応点が他方のＰピクチャから検出される。
【０１９５】
ステップＳＤ６５２では、Ｐ検出部４２２３Ｄによって、Ｐピクチャの組について、一方のＰピクチャに含まれる基準点を中心に包含する基準領域と、ステップＳＤ６５１において検出された他方のＰピクチャに含まれる仮対応点を包含する比較領域との比較によって、一方のＰピクチャの基準点に対応する対応点が他方のＰピクチャから検出される。
【０１９６】
＜(5-3)第５実施形態のまとめ＞
以上のように、第５実施形態に係る情報処理システム１Ｄでは、Ｐ検出処理において、Ｉ検出処理と動き情報とから求められる仮対応点が用いられることで、多段階の解像度のフレーム間における対応点の検出が行われずとも、対応点が容易に検出される。このため、対応点の検出精度の低下が抑制されつつ、対応点の検出に係る演算量が低減される。
【０１９７】
＜(6)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。以下、第１〜５変形例について順に説明した後に、その他の変形例について説明する。
【０１９８】
＜(6-1)第１変形例＞
圧縮部２２ａ，２２ｂで実行される動画圧縮では、上述したように、所定帯域（主に高周波帯域）の周波数に係る情報が削除される。つまり、各Ｉピクチャは、所定帯域の周波数に係る情報を削除する圧縮処理が施されたフレームである。このため、第１〜５実施形態に係る演算部４２，４２Ａ〜４２Ｄで実行されるＩ検出処理において、所定帯域を軽視したＰＯＣ法を用いた演算が行われても良い。ここで、所定帯域を軽視したＰＯＣ法を用いた演算では、所定帯域について、残余の帯域よりも周波数成分が低減されるような重み付けが行われる。
【０１９９】
例えば、ＰＯＣ法において、合成処理Ｔ４が行われた後であって２次元の逆フーリエ変換処理Ｔ５が行われる前に、周波数毎に設定された重み付け係数が合成処理Ｔ４後の値に乗じられることで、所定の周波数の成分が制限される処理（帯域制限処理とも言う）が施される態様が考えられる。この重み付け係数としては、図３７で示されるような高周波に係る成分を完全にカットする矩形形状に分布する重み付け係数が採用されても良いし、図３８で示されるようなガウシアン（Gaussian）形状に分布する重み付け係数が採用されても良い。この帯域制限処理によって、高周波成分に関して発生する所謂エイリアシングの影響等が低減される。
【０２００】
なお、帯域制限処理で軽視される周波数は、圧縮部２２ａ，２２ｂで実行される動画圧縮で削除される周波数の情報に応じて設定されれば良い。すなわち、帯域制限処理で軽視される周波数は、動画圧縮における圧縮率に応じて設定されれば良い。
【０２０１】
以上のような帯域制御処理が行われることで、Ｉ検出処理において所定帯域の周波数に係る演算量を低減させることも可能となる。このため、不要な演算の削減によって、対応点の検出に係る演算量が低減される。そして、所謂エイリアシングの影響等が低減されることで、Ｉ検出処理における対応点の検出精度の向上が図られる。なお、Ｐ検出処理についても、上記Ｉ検出処理と同様な帯域制限処理が行われれば、上記Ｉ検出処理と同様な作用および効果が得られる。
【０２０２】
＜(6-2)第２変形例＞
圧縮部２２ａ，２２ｂで実行される動画圧縮では、上述したように、ＤＣＴや量子化が所定サイズのブロック単位で行われる。このため、動画圧縮後の各フレームには、所謂ブロックノイズが存在する。そこで、ブロックノイズの影響による対応点の検出精度の低下が抑制される観点から言えば、Ｉ検出処理およびＰ検出処理において各フレームに対して設定される基準領域Ｗａおよび比較領域Ｗｂは、ブロックに合わせた領域として設定されることが好ましい。
【０２０３】
図３９および図４０は、ブロックに合わせた基準領域Ｗａおよび比較領域Ｗｂの設定態様を例示する図である。図３９および図４０では、破線で囲まれた正方形の各領域が、各フレームにおけるブロックに相当する。図３９で示されるように、１つのブロックに相当する領域に合致するように基準領域Ｗａおよび比較領域Ｗｂが設定されれば、基準領域Ｗａおよび比較領域Ｗｂがブロックどうしの境界線を跨がない。このため、対応点の検出精度の低下が顕著に抑制される。但し、基準領域Ｗａの中心点が基準点とされるため、各フレームの離散的な位置に基準点が順に設定される。
【０２０４】
ところで、各ブロックのサイズが小さな場合、図４０で示されるように、複数（例えば４つ）のブロックからなるブロック群に相当する領域に合致するように基準領域Ｗａおよび比較領域Ｗｂが設定されれば、基準領域Ｗａおよび比較領域Ｗｂに含まれるブロック間の境界線が少なくなる。このため、対応点の検出精度の低下が抑制される。
【０２０５】
特に、複数段階で解像度が低下されたフレームの組については、１つのブロックに相当する領域が小さいため、図４０で示されるように、ブロック群に相当する各領域に合わせて基準領域ＷａS1〜ＷａS3および比較領域ＷｂS1〜ＷｂS3が設定される態様が好適である。すなわち、ブロックの外縁と、基準領域Ｗａおよび比較領域Ｗｂの外縁とが合致するようにすれば良い。
【０２０６】
なお、ブロックに合わせて、基準領域Ｗａ，ＷａS1〜ＷａS3および比較領域Ｗｂ，ＷｂS1〜ＷｂS3が設定される態様では、基準点が離散的に設定され、処理対象点を中心から少し外れた点として包含する比較領域Ｗｂ，ＷｂS1〜ＷｂS3が設定される傾向にある。
【０２０７】
しかしながら、図４０で示されるようなブロック群に相当する領域に合わせて基準領域Ｗａ，ＷａS1〜ＷａS3および比較領域Ｗｂ，ＷｂS1〜ＷｂS3が設定される態様であれば、ブロックの中心以外の位置に基準点を設定すること、および比較領域Ｗｂ，ＷｂS1〜ＷｂS3の中心のより近くに処理対象点を存在させることが可能となる。
【０２０８】
＜(6-3)第３変形例＞
上記第５実施形態に係る情報処理システム１Ｄでは、動き情報に基づいて間接的に仮対応点が求められ、この仮対応点が処理対象点とされて、Ｐピクチャの組を対象とした対応点の検出処理が行われたが、これに限られない。
【０２０９】
例えば、動き情報が用いられて間接的に仮対応点が求められた際に、Ｐピクチャの組が伸長されてＤピクチャの組とされ、このＤピクチャの組を対象として、仮対応点が基準とされつつ対応点が検出されても良い。このような態様では、Ｄピクチャの組について、多段階の解像度のフレームを生成して対応点を検出するような煩雑な処理が不要となるとともに、対応点の検出精度が維持される。すなわち、この２段階の処理を有するＰ検出処理により、対応点の検出精度の低下が抑制されつつ、対応点の検出に係る演算量が低減される。以下、第３変形例に係る情報処理システム１Ｅのうち、第５実施形態に係る情報処理システム１Ｄと異なる点について説明する。
【０２１０】
図４１は、情報処理システム１Ｅの機能的な構成を示す図である。
【０２１１】
情報処理システム１Ｅは、上記第５実施形態に係る情報処理システム１Ｄをベースとして、演算部４２Ｄが、探索部４２２Ｄが探索部４２２Ｅに置換されるとともに伸長部４２６Ｅが追加された演算部４２Ｅに変更されたものである。そして、探索部４２２Ｅは、上記第５実施形態に係る探索部４２２ＤをベースとしてＰ検出部４２２３ＤがＩ検出部４２２３Ｅに置換されたものである。
【０２１２】
伸長部４２６Ｅは、Ｐピクチャの組のうちの一方のＰピクチャを伸長して伸長後のフレーム（すなわちＤピクチャ）を生成するとともに、他方のＰピクチャを伸長して伸長後のフレーム（すなわちＤピクチャ）を生成する。
【０２１３】
第２検出部としてのＩ検出部４２２３Ｅは、一組のＤピクチャが対象とされ、一方のＤピクチャに含まれる基準点を包含する領域（基準領域とも言う）と、他方のＤピクチャに含まれる仮対応点（つまり処理基準点）を包含する領域（比較領域とも言う）との比較によって、一方のＤピクチャの基準点に対応する対応点を他方のＤピクチャから検出する。具体的には、上記第１実施形態に係るＩ検出処理で基準領域Ｗａと比較領域Ｗｂとの相関値の分布が求められた方法と同様な方法によって、基準領域と比較領域との相関値の分布が求められ、該分布において相関値の最大値に対応する点が対応点として検出される態様が考えられる。
【０２１４】
情報処理システム１Ｅにおける動作フローは、上記第５実施形態に係る動作フローをベースとして、ステップＳＤ６５（図２４）が、図４２で示される動作フローが実行されるステップＳＥ６５に置換され、それに伴って、ステップＳＤ６（図２２）が、処理内容が変更されたステップＳＥ６に置換されたものである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＥを読み込んで実行することで実現される。以下では、上記第５実施形態に係る動作フローと異なるステップＳＥ６５について説明する。
【０２１５】
本動作フローが、ステップＳＥ６５に移行すると、図４２で示されるステップＳＥ６５１〜ＳＥ６５３の処理が順に行われる。
【０２１６】
ステップＳＥ６５１では、上記第５実施形態に係るステップＳＤ６５１と同様に、仮検出部４２２２Ｄによって、Ｐピクチャの組が対象とされて、一方のＰピクチャに含まれる基準点に対応する対応点が他方のＰピクチャから検出される。
【０２１７】
ステップＳＥ６５２では、伸長部４２６Ｅにより、一組のＰピクチャのうちの一方のＰピクチャが伸長されて一方のＤピクチャが生成されるとともに、他方のＰピクチャが伸長されて他方のＤピクチャが生成される。これにより、一組のＤピクチャが生成される。
【０２１８】
ステップＳＥ６５３では、Ｉ検出部４２２３Ｅにより、ステップＳＥ６５２で生成された一組のＤピクチャが対象とされて、一方のＤピクチャ上の基準点を包含する基準領域と、ステップＳＥ６５１において検出された他方のＤピクチャ上の仮対応点（つまり処理基準点）を包含する比較領域との比較によって、一方のＤピクチャの基準点に対応する対応点が他方のＤピクチャから検出される。
【０２１９】
＜(6-4)第４変形例＞
上記第１〜５実施形態では、ＩピクチャとＰピクチャとの組については、Ｐピクチャが伸長されることでＤピクチャとされた上で、ＩピクチャとＤピクチャとの組を対象としたＩ検出処理が行われたが、これに限られない。例えば、ＩピクチャとＰピクチャとの組について、Ｉピクチャが動画圧縮によってＰピクチャに変換された上で、Ｐピクチャの組を対象としたＰ検出処理が行われても良い。すなわち、伸長部４２１によって、ＩピクチャとＰピクチャとの組については、ＩピクチャおよびＰピクチャのうちの何れか一方のピクチャのデータ形式に合わせられるように、フレームのデータ形式の変換が行われれば良い。これによれば、異なる形態のフレームの組についても対応点の検出が可能となる。
【０２２０】
図４３および図４４は、第１圧縮動画像Ｍａの各フレームのデータ形式に合わせるように、第２圧縮動画像Ｍａの各フレームが必要に応じて変換される一態様を示す図である。
【０２２１】
図４３で示されるように、１，３，９番目のフレームの組が、ＩピクチャとＰピクチャの組である場合に、図４４で示されるように、第１圧縮動画像Ｍａはそのままで第１圧縮動画像Ｍａａとして扱われ、第２圧縮動画像Ｍｂについては、１，３，９番目のフレームＭｂ１，Ｍｂ３，Ｍｂ９のデータ形式が変換されて、第２圧縮動画像Ｍｂｂが生成される。具体的には、１，９番目のフレームＭｂ１，Ｍｂ９については、Ｐピクチャが伸長されてＤピクチャＭｄ１，Ｍｄ９に変換される。一方、３番目のフレームＭｂ３については、Ｉピクチャが圧縮されてＰピクチャと同様に動き情報によって示されるフレーム（Ｅピクチャとも言う）Ｍｅ３が生成される。この場合、ＰピクチャＭａ３とＥピクチャＭｅ３との組については、Ｐ検出処理が行われれば良い。
【０２２２】
なお、ＥピクチャＭｅ３については、例えば、１つ前のＰピクチャＭｂ２が伸長されてＤピクチャとされ、このＤピクチャとＩピクチャＭｂ３との比較から得られた動き情報で各画素が示されるＥピクチャＭｅ３が生成されれば良い。但し、Ｅピクチャの生成に要する演算量の増加の影響を考えれば、本変形例に係る処理は、例えば、各圧縮動画像を構成する多数のフレームにおいてＩピクチャが占める割合が少なく、Ｅピクチャが生成される頻度が少ない場合等に採用されることが好ましい。
【０２２３】
＜(6-5)その他の変形例＞
◎例えば、上記第４実施形態では、信頼性判定部４２５によって信頼性が低いものと判定された基準点と対応点との各組については距離Ｄが求められなかったが、これに限られない。例えば、信頼性判定部４２５による判定結果に応じて、その他の処理が行われても良い。その他の処理としては、例えば、測距部４２３Ｃが、信頼性が低いものと判定された基準点と対応点との各組について求めた距離Ｄに対して信頼度が低い旨を示すフラグを付する処理等が挙げられる。
【０２２４】
また、信頼性が低いものと判定された基準点と対応点との各組については、探索部４２２Ｂによって、基準点と対応点との組が、基準点と処理対象点の組とされて更なる対応点の検出処理が行われても良い。更なる対応点の検出処理としては、例えば、Ｐ検出処理と同様な方法で、一方のＰピクチャにおいて基準点を中心として包含する基準領域Ｗａと他方のＰピクチャにおいて処理対象点を中心として包含する比較領域Ｗｂとの相関値の分布が求められ、該分布において相関値の最大値に対応する点が対応点として検出される処理が挙げられる。
【０２２５】
また、信頼性が低いものと判定された基準点と対応点との各組について、一方および他方のＰピクチャが伸長されてＤピクチャの組とされ、この一組のＤピクチャが対象とされたＩ検出処理が行われることで対応点が検出されても良い。
【０２２６】
以上のように、対応点に係る信頼性が判定されれば、信頼性が低い対応点について、様々な対応を講ずることが可能となる。
【０２２７】
◎上記第１〜５実施形態および第１〜４変形例では、予測フレームとしてＰピクチャが採用されたが、これに限られない。例えば、予測フレームとしてＰピクチャおよびＢピクチャのうちの何れが採用されても良い。
【０２２８】
◎上記第１〜５実施形態および第１〜４変形例では、ステレオカメラ２から被写体までの距離Ｄが求められたが、これに限られない。例えば、ステレオ画像の各画素に係る距離Ｄと各画素の輝度情報とに基づいて、ステレオカメラ２の視点とは異なる視点から撮像したならば得られると予測される被写体の画像が擬似的に生成されても良い。
【０２２９】
◎上記第１〜５実施形態および第３，４変形例では、Ｉ検出処理がＰＯＣ法を用いたものであったが、これに限られない。例えば、所謂ＳＡＤ法を用いたものであっても良い。なお、第３変形例では、Ｉ検出処理にＳＡＤ法が採用されれば、Ｄピクチャの組を対象としたＩ検出処理において、仮対応点が基準とされつつ対応点が検出される。
【０２３０】
◎上記第１〜５実施形態および第１〜４変形例では、ステレオの動画像について、基準点と対応点との各組合せが検出される。このような検出結果が、多視点映像符号化（ＭＶＣ：Multiview Video Coding）の形式で記憶部４０４に記憶されても良い。これにより、得られる情報の汎用性が高まる。なお、ＭＶＣは、ＩＴＵ−Ｔ勧告Ｈ．２６４やＩＳＯ／ＩＥＣ標準ＭＰＥＧ４ ＡＶＣ（正式名称：ＩＳＯ／ＩＥＣ  １４４９６−１０）のＡｎｎｅｘ Ｈとして発行されているものである。このＭＶＣでは、１つの視点に係る画像がベースの画像とされ、他の視点に係る画像が、ベースの画像に対する視差情報によって表現される。そして、各画像は、動き補償による圧縮が施されたものとなる。
【０２３１】
◎上記第１〜５実施形態および第１〜４変形例では、第１および第２圧縮動画像といった２つの圧縮動画像の間で基準点に対応する対応点が検出されたが、これに限られない。例えば、３以上の圧縮動画像の間で基準点に対応する対応点が検出されても良い。すなわち、複数の圧縮動画像の間で基準点に対応する対応点が検出されても良い。
【０２３２】
◎上記第１〜５実施形態および第１〜４変形例では、第１および第２圧縮部２２ａ，２２ｂが別々に存在したが、これに限られず、１つの圧縮部であっても良い。
【０２３３】
◎上記第１〜５実施形態および第１〜４変形例では、Ｉピクチャの組およびＩピクチャとＤピクチャとの組を対象としたＩ検出処理が行われたが、これに限られない。例えば、各圧縮動画像においてＰピクチャが占める割合が多ければ、１組以上のＰピクチャが伸長されてＤピクチャの組とされ、Ｄピクチャの各組が対象とされたＩ検出処理が行われても良い。
【０２３４】
◎なお、上記各実施形態および各変形例をそれぞれ構成する全部または一部は、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０２３５】
１，１Ａ〜１Ｅ  情報処理システム
４  情報処理装置
２１ａ，２１ｂ  撮像部
２２ａ，２２ｂ  圧縮部
２３ａ，２３ｂ  送信部
４１ａ，４１ｂ  受信部
４２，４２Ａ〜４２Ｅ  演算部
４０４  記憶部
４０６  制御部
４２１，４２６Ｅ  伸長部
４２２，４２２Ａ，４２２Ｂ，４２２Ｄ，４２２Ｅ  探索部
４２４  評価値算出部
４２５  信頼性判定部
４２２１Ｄ，４２２３Ｅ  Ｉ検出部
４２２２Ｄ  仮検出部
４２２３Ｄ  Ｐ検出部
ＰＧ，ＰＧＡ〜ＰＧＥ  プログラム
【図１】
2011129361.tif 000013
【図２】
2011129361.tif 000014
【図３】
2011129361.tif 000015
【図４】
2011129361.tif 000016
【図５】
2011129361.tif 000017
【図６】
2011129361.tif 000018
【図７】
2011129361.tif 000019
【図８】
2011129361.tif 000020
【図９】
2011129361.tif 000021
【図１０】
2011129361.tif 000022
【図１１】
2011129361.tif 000023
【図１２】
2011129361.tif 000024
【図１３】
2011129361.tif 000025
【図１４】
2011129361.tif 000026
【図１５】
2011129361.tif 000027
【図１６】
2011129361.tif 000028
【図１７】
2011129361.tif 000029
【図１８】
2011129361.tif 000030
【図１９】
2011129361.tif 000031
【図２０】
2011129361.tif 000032
【図２１】
2011129361.tif 000033
【図２２】
2011129361.tif 000034
【図２３】
2011129361.tif 000035
【図２４】
2011129361.tif 000036
【図２５】
2011129361.tif 000037
【図２６】
2011129361.tif 000038
【図２７】
2011129361.tif 000039
【図２８】
2011129361.tif 000040
【図２９】
2011129361.tif 000041
【図３０】
2011129361.tif 000042
【図３１】
2011129361.tif 000043
【図３２】
2011129361.tif 000044
【図３３】
2011129361.tif 000045
【図３４】
2011129361.tif 000046
【図３５】
2011129361.tif 000047
【図３６】
2011129361.tif 000048
【図３９】
2011129361.tif 000049
【図４０】
2011129361.tif 000050
【図４１】
2011129361.tif 000051
【図４２】
2011129361.tif 000052
【図４３】
2011129361.tif 000053
【図４４】
2011129361.tif 000054
【図３７】
2011129361.tif 000055
【図３８】
2011129361.tif 000056
【国際調査報告】
2011129361.tif 000057
2011129361.tif 000058