(57)【要約】【課題】遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化を図ることが可能な技術を提供する。【解決手段】画像処理装置が、第１視点から被写体を時間順次に撮像することで得られる複数の第１画像と、第２視点から被写体を時間順次に撮像することで得られる複数の第２画像とを取得する部分と、各第１画像に対して基準点を含む基準領域を同一配置となるように各々設定するとともに、各第２画像に対して基準領域の形状に対応する比較領域を同一配置となるように各々設定する部分と、複数の基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の基準分布を生成するとともに、複数の比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の比較分布を生成する部分と、画素値の基準分布と画素値の比較分布とを用いて、基準点に対応する複数の第２画像における対応点を検出する部分とを備える。【選択図】図４
2011028605.tif 000002
【特許請求の範囲】
【請求項１】
第１視点から被写体を時間順次に撮像することで得られる複数の第１画像と、前記第１視点とは異なる第２視点から前記被写体を時間順次に撮像することで得られる複数の第２画像とを取得する画像取得手段と、
各前記第１画像に対して基準点を含む基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２画像に対して前記基準領域の形状に対応する比較領域を同一配置となるようにそれぞれ設定する領域設定手段と、
前記領域設定手段によって前記複数の第１画像に対してそれぞれ設定される複数の基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の基準分布を生成するとともに、前記領域設定手段によって前記複数の第２画像に対してそれぞれ設定される複数の比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の比較分布を生成する画素値分布生成手段と、
前記画素値の基準分布と前記画素値の比較分布とを用いて、前記基準点に対応する前記複数の第２画像における対応点を検出する対応点検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画素値の基準分布に係る空間の次元数が、
前記複数の基準領域に係る空間の次元数よりも大きく、
前記画素値の比較分布に係る空間の次元数が、
前記複数の比較領域に係る空間の次元数よりも大きいことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
各前記基準領域および各前記比較領域が、
画素列に係る１次元の領域であり、
前記画素値の基準分布が、
前記複数の基準領域に係る画素値の分布が配列ルールに従って並べられることで生成される２次元の分布であり、
前記画素値の比較分布が、
前記複数の比較領域に係る画素値の分布が前記配列ルールに従って並べられることで生成される２次元の分布であることを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
各前記基準領域および各前記比較領域が、
２次元の領域であり、
前記画素値の基準分布が、
前記複数の基準領域に係る画素値の分布が配列ルールに従って積層されることで生成される３次元の分布であり、
前記画素値の比較分布が、
前記複数の比較領域に係る画素値の分布が前記配列ルールに従って積層されることで生成される３次元の分布であることを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
各前記基準領域および各前記比較領域が、
２次元の領域であり、
前記画素値の基準分布が、
前記複数の基準領域に係る画素値の分布が配列ルールに従って並べられることで生成される２次元の分布であり、
前記画素値の比較分布が、
前記複数の比較領域に係る画素値の分布が前記配列ルールに従って並べられることで生成される２次元の分布であることを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
前記領域設定手段が、
前記第１視点と前記第２視点とが少なくとも一方向に離間される配置条件に応じて、前記複数の基準領域および前記複数の比較領域の長手方向が該一方向に対応するように、該複数の基準領域および該複数の比較領域を設定し、
前記画像処理装置が、
前記複数の第１画像における前記基準点の位置と、前記対応点検出手段によって検出される前記複数の第２画像における前記対応点の位置との関係が、前記一方向とは異なる方向に変化したことに応じて、前記配置条件の変化を検知する検知手段、
を更に備えることを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６の何れか１つの請求項に記載の画像処理装置であって、
前記基準点と前記対応点検出手段によって検出される前記対応点とに基づいて、前記複数の第１画像および前記複数の第２画像を撮像した撮像装置から、前記被写体のうちの前記基準点に対応する部分までの距離を導出する距離導出手段、
を更に備えることを特徴とする画像処理装置。
【請求項８】
第１視点から被写体を時間順次に撮像することで得られる複数の第１画像と、前記第１視点から一方向および他方向にずれた第２視点から前記被写体を時間順次に撮像することで得られる複数の第２画像とを取得する画像取得手段と、
各前記第１および第２画像において生じている前記他方向に係る視差をそれぞれ抑制することで、複数の第１および第２一方視差抑制画像を生成する第１画像生成手段と、
各前記第１および第２画像において生じている前記一方向に係る視差をそれぞれ抑制することで、複数の第１および第２他方視差抑制画像を生成する第２画像生成手段と、
各前記第１一方視差抑制画像に対して、一方基準点を含み且つ前記一方向に対応する長手方向を有する一方基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２一方視差抑制画像に対して、前記一方基準領域の形状に対応する一方比較領域を同一配置となるようにそれぞれ設定する第１領域設定手段と、
各前記第１他方視差抑制画像に対して、前記一方基準点に対応する他方基準点を含み且つ前記他方向に対応する長手方向を有する他方基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２他方視差抑制画像に対して、前記他方基準領域の形状に対応する他方比較領域を同一配置となるようにそれぞれ設定する第２領域設定手段と、
前記第１領域設定手段によって前記複数の第１一方視差抑制画像に対してそれぞれ設定される複数の一方基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の一方基準分布を生成するとともに、前記第１領域設定手段によって前記複数の第２一方視差抑制画像に対してそれぞれ設定される複数の一方比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の一方比較分布を生成する第１画素値分布生成手段と、
前記第２領域設定手段によって前記複数の第１他方視差抑制画像に対してそれぞれ設定される複数の他方基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の他方基準分布を生成するとともに、前記第２領域設定手段によって前記複数の第２他方視差抑制画像に対してそれぞれ設定される複数の他方比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の他方比較分布を生成する第２画素値分布生成手段と、
前記画素値の一方基準分布と前記画素値の一方比較分布とを用いて、前記一方基準点に対応する前記複数の第２一方視差抑制画像における一方対応点と該一方対応点に係る一方信頼度とを導出する第１導出手段と、
前記画素値の他方基準分布と前記画素値の他方比較分布とを用いて、前記他方基準点に対応する前記複数の第２他方視差抑制画像における他方対応点と該他方対応点に係る他方信頼度とを導出する第２導出手段と、
前記一方基準点と前記一方対応点との組合せ、および前記他方基準点と前記他方対応点との組合せのうち、前記一方信頼度が前記他方信頼度よりも高い場合には、前記一方基準点と前記一方対応点との組合せを採用し、前記他方信頼度が前記一方信頼度よりも高い場合には、前記他方基準点と前記他方対応点との組合せを採用する対応点検出手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記対応点検出手段によって採用された前記一方基準点と前記一方対応点との組合せ、または前記他方基準点と前記他方対応点との組合せに基づいて、前記複数の第１画像および前記複数の第２画像を撮像した撮像装置から、前記被写体のうちの前記一方基準点に対応する部分までの距離を導出する距離導出手段、
を更に備えることを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９の何れか１つの請求項に記載の画像処理装置と、
第１および第２カメラを有し、該第１および第２カメラが相互に同じタイミングで時間順次に撮像を行うことで、該第１カメラによって前記複数の第１画像を時間順次に撮像するとともに、該第２カメラによって前記複数の第２画像を時間順次に撮像する撮像装置と、
前記第１および第２カメラにおける撮像のタイミング毎に異なる模様を前記被写体に対して投影する投影装置と、
を備えることを特徴とする情報処理システム。
【請求項１１】
第１視点から被写体を時間順次に撮像することで得られる複数の第１画像と、前記第１視点とは異なる第２視点から前記被写体を時間順次に撮像することで得られる複数の第２画像とを取得する画像取得ステップと、
各前記第１画像に対して基準点を含む基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２画像に対して前記基準領域の形状に対応する比較領域を同一配置となるようにそれぞれ設定する領域設定ステップと、
前記領域設定ステップにおいて前記複数の第１画像に対してそれぞれ設定される複数の基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の基準分布を生成するとともに、前記領域設定ステップにおいて前記複数の第２画像に対してそれぞれ設定される複数の比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の比較分布を生成する画素値分布生成ステップと、
前記画素値の基準分布と前記画素値の比較分布とを用いて、前記基準点に対応する前記複数の第２画像における対応点を検出する対応点検出ステップと、
を備えることを特徴とする画像処理方法。
【請求項１２】
プログラムを実行可能な制御部を備える装置を、請求項１から請求項９の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
従来、いわゆるステレオカメラを用いて同一の被写体を異なる視点から撮像した結果として得られる２つの画像の各画素を、テンプレートマッチング等の２次元的な画像領域の比較によって相互に対応付ける技術（対応点探索技術）が知られている。
【０００３】
このような２次元的な画像領域を用いる対応点探索技術では、例えば、一方の画像が基準（基準画像）とされるとともに、他方の画像が参照の対象（参照画像）とされる。該対応点探索技術では、まず、基準画像の注目点が略重心位置となるようにウインドウ領域が該基準画像に対して設定されるとともに、参照画像の処理対象点が略重心位置となるように同サイズのウインドウ領域が該参照画像に対して設定される。そして、両ウインドウ領域間の相関が評価されることで、基準画像と参照画像との間において画素の対応付けが行われる（例えば、非特許文献１）。
【０００４】
また、このような対応点探索技術については、対応点の探索に要する計算量を大幅に減らし、短時間でかつ高精度に、対応付けの結果が得られる技術が提案されている（例えば、特許文献１）。この技術では、ウインドウ領域の形状が１次元のものとされる。更に、ノイズの影響を低減し、対象物体の３次元位置を高い精度で計測することが可能な技術も提案されている（例えば、特許文献２）。この技術では、時間的に連続して撮像された複数の画像が画素毎に積分されることで得られる積分画像について対応点探索が行われる。
【０００５】
このような対応点探索技術では、ステレオカメラを基準として、基準画像および参照画像に設定される両ウインドウ領域で捉えられた被写体までの距離が略均一であれば、基準画像と参照画像との間における各画素に係る視差が略均一となり、対応点探索の高精度な結果が得られる。そして、ウインドウ領域のサイズを増大させると、対応点探索に用いられる情報量が増加するため、対応点探索の精度の確保が図られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１２３１４１号公報
【特許文献２】特開２００８−１５７７８０号公報
【非特許文献】
【０００７】
【非特許文献１】A Sub-Pixel Correspondence Search Technique for Computer Vision Appilications, Kenji TAKITA, Mohammad abdul MUQUIT, Takafumi AOKI, and Tatsuo HIGUCHI, IEICE TRANS. FUNDAMENTALS, VOL.E87-A, NO.8 AUGUST 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１の技術では、基準画像と参照画像とが、遠くの被写体と近くの被写体とが混在して捉えられている状態（遠近競合状態）にあれば、対応点探索の精度の確保のためにウインドウ領域のサイズを増大させると、対応点探索の精度低下を招く虞がある。
【０００９】
また、特許文献１の技術では、ウインドウ領域が１次元とされて該ウインドウ領域のサイズが低減されているが、情報量の確保を目的として隣接する複数ラインに係る評価結果を用いた統計処理によって対応点探索が行われるため、遠近競合状態に起因する対応点探索の精度低下を招く虞がある。
【００１０】
なお、特許文献２の技術では、対応点探索における遠近競合状態に対する対策については、全く考慮されていない。
【００１１】
本発明は、上記課題を鑑みてなされたものであり、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化を図ることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、第１の態様に係る画像処理装置は、第１視点から被写体を時間順次に撮像することで得られる複数の第１画像と、前記第１視点とは異なる第２視点から前記被写体を時間順次に撮像することで得られる複数の第２画像とを取得する画像取得手段と、各前記第１画像に対して基準点を含む基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２画像に対して前記基準領域の形状に対応する比較領域を同一配置となるようにそれぞれ設定する領域設定手段と、前記領域設定手段によって前記複数の第１画像に対してそれぞれ設定される複数の基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の基準分布を生成するとともに、前記領域設定手段によって前記複数の第２画像に対してそれぞれ設定される複数の比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の比較分布を生成する画素値分布生成手段と、前記画素値の基準分布と前記画素値の比較分布とを用いて、前記基準点に対応する前記複数の第２画像における対応点を検出する対応点検出手段とを備える。
【００１３】
第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記画素値の基準分布に係る空間の次元数が、前記複数の基準領域に係る空間の次元数よりも大きく、前記画素値の比較分布に係る空間の次元数が、前記複数の比較領域に係る空間の次元数よりも大きい。
【００１４】
第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、各前記基準領域および各前記比較領域が、画素列に係る１次元の領域であり、前記画素値の基準分布が、前記複数の基準領域に係る画素値の分布が配列ルールに従って並べられることで生成される２次元の分布であり、前記画素値の比較分布が、前記複数の比較領域に係る画素値の分布が前記配列ルールに従って並べられることで生成される２次元の分布である。
【００１５】
第４の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、各前記基準領域および各前記比較領域が、２次元の領域であり、前記画素値の基準分布が、前記複数の基準領域に係る画素値の分布が配列ルールに従って積層されることで生成される３次元の分布であり、前記画素値の比較分布が、前記複数の比較領域に係る画素値の分布が前記配列ルールに従って積層されることで生成される３次元の分布である。
【００１６】
第５の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、各前記基準領域および各前記比較領域が、２次元の領域であり、前記画素値の基準分布が、前記複数の基準領域に係る画素値の分布が配列ルールに従って並べられることで生成される２次元の分布であり、前記画素値の比較分布が、前記複数の比較領域に係る画素値の分布が前記配列ルールに従って並べられることで生成される２次元の分布である。
【００１７】
第６の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記領域設定手段が、前記第１視点と前記第２視点とが少なくとも一方向に離間される配置条件に応じて、前記複数の基準領域および前記複数の比較領域の長手方向が該一方向に対応するように、該複数の基準領域および該複数の比較領域を設定し、前記画像処理装置が、前記複数の第１画像における前記基準点の位置と、前記対応点検出手段によって検出される前記複数の第２画像における前記対応点の位置との関係が、前記一方向とは異なる方向に変化したことに応じて、前記配置条件の変化を検知する検知手段、を更に備える。
【００１８】
第７の態様に係る画像処理装置は、第１から第６の何れか１つの態様に係る画像処理装置であって、前記基準点と前記対応点検出手段によって検出される前記対応点とに基づいて、前記複数の第１画像および前記複数の第２画像を撮像した撮像装置から、前記被写体のうちの前記基準点に対応する部分までの距離を導出する距離導出手段を更に備える。
【００１９】
第８の態様に係る画像処理装置は、第１視点から被写体を時間順次に撮像することで得られる複数の第１画像と、前記第１視点から一方向および他方向にずれた第２視点から前記被写体を時間順次に撮像することで得られる複数の第２画像とを取得する画像取得手段と、各前記第１および第２画像において生じている前記他方向に係る視差をそれぞれ抑制することで、複数の第１および第２一方視差抑制画像を生成する第１画像生成手段と、各前記第１および第２画像において生じている前記一方向に係る視差をそれぞれ抑制することで、複数の第１および第２他方視差抑制画像を生成する第２画像生成手段と、各前記第１一方視差抑制画像に対して、一方基準点を含み且つ前記一方向に対応する長手方向を有する一方基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２一方視差抑制画像に対して、前記一方基準領域の形状に対応する一方比較領域を同一配置となるようにそれぞれ設定する第１領域設定手段と、各前記第１他方視差抑制画像に対して、前記一方基準点に対応する他方基準点を含み且つ前記他方向に対応する長手方向を有する他方基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２他方視差抑制画像に対して、前記他方基準領域の形状に対応する他方比較領域を同一配置となるようにそれぞれ設定する第２領域設定手段と、前記第１領域設定手段によって前記複数の第１一方視差抑制画像に対してそれぞれ設定される複数の一方基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の一方基準分布を生成するとともに、前記第１領域設定手段によって前記複数の第２一方視差抑制画像に対してそれぞれ設定される複数の一方比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の一方比較分布を生成する第１画素値分布生成手段と、前記第２領域設定手段によって前記複数の第１他方視差抑制画像に対してそれぞれ設定される複数の他方基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の他方基準分布を生成するとともに、前記第２領域設定手段によって前記複数の第２他方視差抑制画像に対してそれぞれ設定される複数の他方比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の他方比較分布を生成する第２画素値分布生成手段と、前記画素値の一方基準分布と前記画素値の一方比較分布とを用いて、前記一方基準点に対応する前記複数の第２一方視差抑制画像における一方対応点と該一方対応点に係る一方信頼度とを導出する第１導出手段と、前記画素値の他方基準分布と前記画素値の他方比較分布とを用いて、前記他方基準点に対応する前記複数の第２他方視差抑制画像における他方対応点と該他方対応点に係る他方信頼度とを導出する第２導出手段と、前記一方基準点と前記一方対応点との組合せ、および前記他方基準点と前記他方対応点との組合せのうち、前記一方信頼度が前記他方信頼度よりも高い場合には、前記一方基準点と前記一方対応点との組合せを採用し、前記他方信頼度が前記一方信頼度よりも高い場合には、前記他方基準点と前記他方対応点との組合せを採用する対応点検出手段とを備える。
【００２０】
第９の態様に係る画像処理装置は、第８の態様に係る画像処理装置であって、前記対応点検出手段によって採用された前記一方基準点と前記一方対応点との組合せ、または前記他方基準点と前記他方対応点との組合せに基づいて、前記複数の第１画像および前記複数の第２画像を撮像した撮像装置から、前記被写体のうちの前記一方基準点に対応する部分までの距離を導出する距離導出手段を更に備える。
【００２１】
第１０の態様に係る画像処理システムは、第１から第９の何れか１つの態様に係る画像処理装置と、第１および第２カメラを有し、該第１および第２カメラが相互に同じタイミングで時間順次に撮像を行うことで、該第１カメラによって前記複数の第１画像を時間順次に撮像するとともに、該第２カメラによって前記複数の第２画像を時間順次に撮像する撮像装置と、前記第１および第２カメラにおける撮像のタイミング毎に異なる模様を前記被写体に対して投影する投影装置とを備える。
【００２２】
第１１の態様に係る画像処理方法は、第１視点から被写体を時間順次に撮像することで得られる複数の第１画像と、前記第１視点とは異なる第２視点から前記被写体を時間順次に撮像することで得られる複数の第２画像とを取得する画像取得ステップと、各前記第１画像に対して基準点を含む基準領域を同一配置となるようにそれぞれ設定するとともに、各前記第２画像に対して前記基準領域の形状に対応する比較領域を同一配置となるようにそれぞれ設定する領域設定ステップと、前記領域設定ステップにおいて前記複数の第１画像に対してそれぞれ設定される複数の基準領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の基準分布を生成するとともに、前記領域設定ステップにおいて前記複数の第２画像に対してそれぞれ設定される複数の比較領域に係る画素値の分布から１つの２次元以上の空間に係る画素値の比較分布を生成する画素値分布生成ステップと、前記画素値の基準分布と前記画素値の比較分布とを用いて、前記基準点に対応する前記複数の第２画像における対応点を検出する対応点検出ステップとを備える。
【００２３】
第１２の態様に係るプログラムであって、プログラムを実行可能な制御部を備える装置を、第１から第９の何れか１つの態様に係る画像処理装置として機能させる。
【発明の効果】
【００２４】
第１から第９の何れの態様に係る画像処理装置によっても、各画像について、対応点探索に係る演算に用いる画像領域の大きさを抑えつつ、対応点探索に係る演算に用いる情報量を確保することができるため、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化を図ることができる。
【００２５】
第３の態様に係る画像処理装置によれば、対応点の探索に係る演算に用いる画像領域に、遠景と近景とが混在する状況を抑制することができる。
【００２６】
第４および第５の何れの態様に係る画像処理装置によっても、複数の画像に係る視点にズレが多少生じた場合でも、対応点探索を行うことができる。
【００２７】
第６の態様に係る画像処理装置によれば、経年劣化や衝撃等によって複数の視点の間の関係がずれた場合に、配置条件に応じた調整作業を行うことができる。
【００２８】
第７および第９の何れの態様に係る画像処理装置によっても、遠景と近景とが共存する同一の被写体をとらえた複数の画像に基づいて、撮像装置から被写体までの距離をより正確に求めることができる。
【００２９】
第８の態様に係る画像処理装置によれば、遠景と近景の共存がより少ない画像領域に基づいて対応点探索を行うことができるため、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化を更に図ることができる。
【００３０】
第１０の態様に係る情報処理システムによれば、時間順次に異なる模様を被写体に投影して複数の画像を撮像することで、対応点探索に係る演算に用いる情報量をより多くすることができるため、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索をより安定かつ精度良く行うことができる。
【００３１】
第１１の態様に係る画像処理方法によれば、各画像について、対応点探索に係る演算に用いる画像領域の大きさを抑えつつ、対応点探索に係る演算に用いる情報量を確保することができるため、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化を図ることができる。
【００３２】
第１２の態様に係るプログラムによれば、第１から第９の態様に係る画像処理装置と同様な効果を得ることができる。
【図面の簡単な説明】
【００３３】
【図１】第１および第２実施形態ならびに第１および第２変形例に係る情報処理システムの概略構成を示す図である。
【図２】第１および第２実施形態ならびに第１および第２変形例に係る情報処理システムの要部構成を示すブロック図である。
【図３】第１実施形態ならびに第１〜３変形例に係るステレオカメラの構成例を示す模式図である。
【図４】第１実施形態ならびに第１〜３変形例に係る画像処理装置の制御部で実現される機能的な構成を示すブロック図である。
【図５】基準画像群の具体例を示す模式図である。
【図６】参照画像群の具体例を示す模式図である。
【図７】基準画像に対する基準領域の設定態様を例示する模式図である。
【図８】参照画像に対する比較領域の設定態様を例示する模式図である。
【図９】基準画像群に対する基準領域の設定態様を例示する模式図である。
【図１０】参照画像群に対する比較領域の設定態様を例示する模式図である。
【図１１】画素値の基準分布を生成する方法を説明するための図である。
【図１２】画素値の比較分布を生成する方法を説明するための図である。
【図１３】位相限定相関法を用いた対応点探索を説明するための図である。
【図１４】基準領域と比較領域との相関を示すＰＯＣ値の分布を例示する図である。
【図１５】対応点の検出態様を説明するための図である。
【図１６】第１カメラにおける撮像レンズと撮像素子との関係を示す図である。
【図１７】第２カメラにおける撮像レンズと撮像素子との関係を示す図である。
【図１８】画像処理装置における動作フローを示すフローチャートである。
【図１９】基準画像に対して基準点が順次に設定される態様を示す模式図である。
【図２０】第２実施形態に係るステレオカメラの構成例の外観を示す模式図である。
【図２１】第２実施形態に係る画像処理装置の制御部で実現される機能的な構成を示すブロック図である。
【図２２】基準Ｘ方向および基準Ｙ方向視差抑制画像群の具体例を示す模式図である。
【図２３】参照Ｘ方向および参照Ｙ方向視差抑制画像群の具体例を示す模式図である。
【図２４】第２実施形態に係る基準領域の設定態様を例示する模式図である。
【図２５】第２実施形態に係る比較領域の設定態様を例示する模式図である。
【図２６】第２実施形態に係る基準分布を生成する方法を説明するための図である。
【図２７】第２実施形態に係る比較分布を生成する方法を説明するための図である。
【図２８】第２実施形態に係る対応点探索を説明するための図である。
【図２９】第２実施形態に係る対応点の導出態様を説明するための図である。
【図３０】第２実施形態に係る基準領域の設定態様を例示する模式図である。
【図３１】第２実施形態に係る比較領域の設定態様を例示する模式図である。
【図３２】第２実施形態に係る基準分布を生成する方法を説明するための図である。
【図３３】第２実施形態に係る比較分布を生成する方法を説明するための図である。
【図３４】第２実施形態に係る対応点探索を説明するための図である。
【図３５】第２実施形態に係る対応点の導出態様を説明するための図である。
【図３６】第２実施形態に係る画像処理装置における動作フローを示すフローチャートである。
【図３７】第２実施形態に係る画像処理装置における動作フローを示すフローチャートである。
【図３８】第２実施形態に係る画像処理装置における動作フローを示すフローチャートである。
【図３９】第１および第２変形例に係る基準領域の設定態様を例示する模式図である。
【図４０】第１および第２変形例に係る比較領域の設定態様を例示する模式図である。
【図４１】第１変形例に係る基準分布を生成する方法を説明するための図である。
【図４２】第１変形例に係る比較分布を生成する方法を説明するための図である。
【図４３】第１変形例に係る対応点探索を説明するための図である。
【図４４】第１変形例に係る対応点の検出態様を説明するための図である。
【図４５】第２変形例に係る基準分布を生成する方法を説明するための図である。
【図４６】第２変形例に係る比較分布を生成する方法を説明するための図である。
【図４７】第２変形例に係る基準分布を生成する方法を説明するための図である。
【図４８】第２変形例に係る比較分布を生成する方法を説明するための図である。
【図４９】第３変形例に係る情報処理システムの概略構成を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明の実施形態を図面に基づいて説明する。
【００３５】
＜(1)第１実施形態＞
＜(1-1)情報処理システムの構成＞
図１は、本発明の第１実施形態に係る情報処理システム１Ａの概略構成を示す図であり、図２は、情報処理システム１Ａの要部構成を示すブロック図である。情報処理システム１Ａは、２眼のステレオカメラ２Ａと、該ステレオカメラ２Ａに対してデータ伝送可能に接続する画像処理装置３Ａとを備える。
【００３６】
２眼のステレオカメラ２Ａは、それぞれ撮像素子を有する第１および第２カメラ２１，２２が設けられた撮像装置である。第１および第２カメラ２１，２２は、所定方向（ここでは、Ｘ方向）に離隔配置される。具体的には、図３で示されるように、第１カメラ２１の撮像レンズ２１Ｌの光軸と、第２カメラ２２の撮像レンズ２２Ｌの光軸との離隔距離（すなわち基線長）が、ｘ方向の距離Ｌaxに設定される。なお、図３では、被写体ＯＢの３次元の位置を示すための直交するｘ，ｙ，ｚの３軸が示されている。
【００３７】
そして、第１および第２カメラ２１，２２は、カメラ正面において静止中の被写体ＯＢを、同じタイミングで異なる視点から撮像する。なお、被写体ＯＢとしては、例えば、ステレオカメラ２Ａから比較的近距離に設置される金属加工製品等が想定される。第１および第２カメラ２１，２２によって同じタイミングで撮像される２つの画像は、いわゆるステレオ画像であり、適宜「画像セット」と称する。
【００３８】
ここでは、ステレオ画像を構成する２画像のうち、第１カメラ２１によって撮像されて取得される画像を、適宜「第１撮像画像」と称し、第２カメラ２２によって撮像されて取得される画像を、適宜「第２撮像画像」と称する。また、第１カメラ２１の撮像に係る視点を、適宜「第１の視点」と称し、第２カメラ２２の撮像に係る視点を、適宜「第２の視点」と称する。
【００３９】
このような２眼のステレオカメラ２Ａでは、第１および第２カメラ２１，２２の撮像タイミングが同期されつつ、更に時間順次に撮像が行われることで、複数の画像セットが得られる。つまり、第１カメラ２１によって複数の第１撮像画像からなる第１撮像画像群Ｇ１が得られるとともに、第２カメラ２２によって複数の第２撮像画像からなる第２撮像画像群Ｇ２が得られる。そして、該複数の画像セットに係るデータは、データ線ＣＢを介して画像処理装置３Ａに送信される。
【００４０】
画像処理装置３Ａは、例えばパーソナルコンピュータ（パソコン）で構成され、マウスやキーボードを含む操作部３０１と、例えば液晶ディスプレイ等で構成される表示部３０２と、ステレオカメラ２Ａからのデータを受信するインターフェース(Ｉ／Ｆ)部３０３とを備える。また、画像処理装置３Ａは、記憶部３０４と入出力部３０５と制御部３００Ａとを有する。
【００４１】
記憶部３０４は、例えばハードディスク等で構成され、後述する対応点探索処理、配置変化検知処理、および測距処理を行うためのプログラムＰＧａ等が格納される。
【００４２】
入出力部３０５は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部３００Ａとの間でデータの授受を行う。
【００４３】
制御部３００Ａは、プロセッサーとして働くＣＰＵ、および情報を一時的に記憶するメモリを有し、画像処理装置３Ａの各部を統括的に制御する。制御部３００Ａでは、記憶部３０４内のプログラムＰＧａが読み込まれて実行されることで、各種機能や情報処理等が実現される。
【００４４】
具体的には、制御部３００Ａは、ステレオカメラ２Ａで取得されたステレオ画像を構成する第１撮像画像と第２撮像画像との間において対応点を探索する処理（対応点探索処理）を行う。また、制御部３００Ａは、第１および第２カメラ２１，２２の配置関係に変化が生じたことを検知する処理（配置変化検知処理）を行う。更に、制御部３００Ａは、対応点探索処理の結果を用いて被写体ＯＢの３次元位置を導出し、ステレオカメラ２Ａから被写体ＯＢまでの距離を測定する処理（測距処理）を行う。対応点探索処理、配置変化検知処理、および測距処理については、更に後述する。
【００４５】
なお、制御部３００Ａのメモリには、記憶媒体９に記憶されているプログラムデータを入出力部３０５を介して格納させることができる。これにより、この格納したプログラムを画像処理装置３Ａの動作に反映させることができる。
【００４６】
表示部３０２では、制御部３００Ａの制御により、配置変化検知処理における第１および第２カメラ２１，２２の配置関係の変化の検知に応じて、配置関係の変化に対する調整作業（キャリブレーション）を実行すべき旨を示す表示要素が表示部３０２において可視的に出力される。なお、表示部３０２では、測距処理によって得られた結果が可視的に出力されても良いし、測距処理において導出される被写体ＯＢの３次元位置に基づく被写体ＯＢの３次元画像が可視的に出力されても良い。
【００４７】
なお、本実施形態では、説明を簡素化するために、ステレオカメラ２Ａの収差は良好に補正されており、且つ第１および第２カメラ２１，２２は、略平行（好ましくは完全に平行）に設定されている。つまり、第１および第２カメラ２１，２２の光軸が略平行（好ましくは完全に平行）に設定され、第１および第２撮像画像で捉えられた被写体は、第１および第２撮像画像の外縁に対して略同一の角度関係（好ましくは完全に同一の角度関係）を有する。また、実際のステレオカメラ２Ａの構成が、このような条件にない場合は、画像処理によって同等の条件下で撮像されたステレオ画像に変換されても良い。
【００４８】
＜(1-2)画像処理装置の機能＞
画像処理装置３Ａでは、第１撮像画像が基準画像とされるとともに、第２撮像画像が参照画像とされて、基準画像上で順次に設定される基準点に対応する参照画像上の対応点が検出される対応点探索処理が行われる。
【００４９】
この対応点探索処理では、主に次の(１)〜(３)の処理によって、各画像について、対応点探索に係る演算に用いられる画像領域の大きさが抑えられつつ、対応点探索に係る演算に用いられる情報量が確保される。このため、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化が図られる。
【００５０】
(１)時間順次の撮影によって得られる第１撮像画像群（以下「基準画像群」とも称する）Ｇ１を構成する複数の基準画像にそれぞれ設けられる小さなウインドウについて、画素値の分布が合体されることで、小さなウインドウよりも大きなウインドウに係る画素値の分布(以下「基準分布」と称する)が擬似的に生成される。
【００５１】
(２)時間順次の撮影によって得られる第２撮像画像群（以下「参照画像群」とも称する）Ｇ２を構成する複数の参照画像にそれぞれ設けられる小さなウインドウについて、画素値の分布が合体されることで、小さなウインドウよりも大きなウインドウに係る画素値の分布(以下「比較分布」と称する)が擬似的に生成される。
【００５２】
(３)基準分布と比較分布とから、基準点に対応する参照画像上の対応点が検出される。
【００５３】
以下、画像処理装置３Ａの対応点探索処理、配置変化検知処理、および測距処理に係る機能的な構成について説明する。
【００５４】
図４は、画像処理装置３Ａの制御部３００Ａで実現される機能的な構成を示すブロック図である。図４で示されるように、制御部３００Ａは、機能的な構成として、画像取得部３１０、領域設定部３２０Ａ、画素値分布生成部３３０Ａ、対応点検出部３４０Ａ、配置変化検知部３５０、および距離導出部３６０を有する。ここで、各機能的な構成について順次に説明する。
【００５５】
＜(1-2-1)画像取得部３１０＞
画像取得部３１０は、第１カメラ２１によって第１視点から被写体ＯＢを時間順次に撮像することで得られる基準画像群Ｇ１と、第２カメラ２２によって第２視点から被写体ＯＢを時間順次に撮像することで得られる参照画像群Ｇ２とを取得する。別の観点から言えば、画像取得部３１０は、ステレオカメラ２Ａによって時間順次に撮像される複数の画像セットを取得する。そして、この各画像セットには、被写体ＯＢを異なる視点から捉えた基準画像と参照画像とが含まれる。
【００５６】
図５は、第１撮像画像群（基準画像群）Ｇ１の具体例を示す図であある。図５で示されるように、基準画像群Ｇ１は、時間順次に撮像された基準画像Ｇ１１〜Ｇ１７からなる。各基準画像Ｇ１１〜Ｇ１７は、それぞれ相互に直交するＸ方向およびＹ方向に沿って多数の画素がマトリックス状に配置されて形成され、それぞれ同一の長方形の形状を有するものとする。そして、各基準画像Ｇ１１〜Ｇ１７では、Ｘ方向に沿って所定数（Ｎ個）の画素が配列されることで長辺が形成され、Ｘ方向とは異なるＹ方向に沿って所定数（Ｍ個）の画素が配列されることで短辺が形成されているものとする。
【００５７】
なお、基準画像Ｇ１１〜Ｇ１７では、左上の画素が基準（例えば原点）とされるとともに、各画素の位置がＸＹの座標（Ｘ，Ｙ）で示され、例えば、Ｘ方向に１画素ずれるとＸ座標の値が１増加し、Ｙ方向に１画素ずれるとＹ座標の値が１増加するものとする。
【００５８】
また、図５では、直交するＸ方向およびＹ方向を示す座標軸が示されている。この２次元画像に係るＸ，Ｙの２軸のうちのＸ軸の方向が、被写体ＯＢに係る３次元の位置を示すｘ，ｙ，ｚの３軸のうちのｘ軸の方向に対応し、２次元画像に係るＹ軸の方向が、被写体ＯＢに係る３次元の位置を示すｙ軸の方向に対応する。
【００５９】
また、図５では、基準画像Ｇ１１〜Ｇ１７が、撮像された時刻の順番にならべられ、撮像時刻が座標軸Ｔで示されている。なお、図６以降の図においても、座標軸Ｘ，Ｙ，Ｔからなる直交する３軸が適宜示される。
【００６０】
図６は、第２撮像画像群（参照画像群）Ｇ２の具体例を示す図である。図６で示されるように、参照画像群Ｇ２は、時間順次に撮像された参照画像Ｇ２１〜Ｇ２７からなる。そして、各参照画像Ｇ２１〜Ｇ２７は、各基準画像Ｇ１１〜Ｇ１７と同様な形状と同様な画素配列と同様な画素に係る座標の表現とを有する。
【００６１】
＜(1-2-2)領域設定部３２０Ａ＞
領域設定部３２０Ａは、基準領域設定部３２１Ａと比較領域設定部３２２Ａとを有する。基準領域設定部３２１Ａは、各基準画像Ｇ１１〜Ｇ１７に対して、１次元のウインドウである基準領域をそれぞれ設定する。また、比較領域設定部３２２Ａは、各参照画像Ｇ２１〜Ｇ２７に対して、１次元のウインドウである比較領域をそれぞれ設定する。
【００６２】
具体的には、図７で示されるように、基準画像Ｇ１１に対して、基準点Ｐbase１を中心点として包含し且つＸ方向に沿った画素列によって構成される１次元の基準領域ＢＲ１１が設定される。また、図８で示されるように、参照画像Ｇ２１に対して、Ｘ方向に沿った画素列によって構成される１次元の比較領域ＣＲ２１が設定される。
【００６３】
また、基準領域ＢＲ１１と比較領域ＣＲ２１とが対応する形状およびサイズ（同じ形状およびサイズ）を有するとともに、基準画像Ｇ１１に対する基準領域ＢＲ１１の設定位置と、参照画像Ｇ２１に対する比較領域ＣＲ２１の設定位置とが、基線長Ｌaxに応じた分だけＸ方向にずれた位置関係を有する。
【００６４】
このようにして、領域設定部３２０Ａは、複数の画像セットに含まれる１番目の画像セットを対象として、該１番目の画像セットに含まれる基準画像Ｇ１１に対して基準点Ｐbase１を含む基準領域ＢＲ１１を設定するとともに、該１番目の画像セットに含まれる参照画像Ｇ２１に対して比較領域ＣＲ２１を設定する。
【００６５】
また、図９で示されるように、各基準画像Ｇ１２〜Ｇ１７に対して、基準領域ＢＲ１２〜ＢＲ１７がそれぞれ設定されるとともに、図１０で示されるように、各参照画像Ｇ２２〜Ｇ２７に対して、比較領域ＣＲ２２〜ＣＲ２７がそれぞれ設定される。
【００６６】
ここでは、基準領域ＢＲ１２〜ＢＲ１７は、基準領域ＢＲ１１と同一の形状およびサイズを有し、基準画像Ｇ１１に対する基準領域ＢＲ１１の位置関係と、各基準画像Ｇ１２〜Ｇ１７に対する基準領域ＢＲ１２〜ＢＲ１７の位置関係とが同一の位置関係を有する。また、比較領域ＣＲ２２〜ＣＲ２７は、比較領域ＣＲ２１と同一の形状およびサイズを有し、参照画像Ｇ２１に対する比較領域ＣＲ２１の位置関係と、各参照画像Ｇ２２〜Ｇ２７に対する比較領域ＣＲ２２〜ＣＲ２７の位置関係とが同一の位置関係を有する。
【００６７】
このようにして、領域設定部３２０Ａは、各基準画像Ｇ１１〜Ｇ１７に対して基準点Ｐbase１を含む基準領域ＢＲ１１〜ＢＲ１７を同一配置となるようにそれぞれ設定するとともに、各参照画像Ｇ２１〜Ｇ２７に対して基準領域ＢＲ１１〜ＢＲ１７の形状およびサイズに対応する比較領域ＣＲ２１〜ＣＲ２７を同一配置となるようにそれぞれ設定する。
【００６８】
そして、ここでは、ｘ方向に離間される第１視点と第２視点の配置条件に応じて、複数の基準領域ＢＲ１１〜ＢＲ１７および複数の比較領域ＣＲ２１〜ＣＲ２７の長手方向が、ｘ方向に対応するＸ方向に設定される。
【００６９】
＜(1-2-3)画素値分布生成部３３０Ａ＞
画素値分布生成部３３０Ａは、複数の基準領域ＢＲ１１〜ＢＲ１７に係る画素値の分布から１つの２次元の空間に係る画素値の分布（基準分布）を生成するとともに、複数の比較領域ＣＲ２１〜ＣＲ２７に係る画素値の分布から１つの２次元の空間に係る画素値の分布（比較分布）を生成する。
【００７０】
具体的には、図１１で示されるように、まず、各基準画像Ｇ１１〜Ｇ１７から基準領域ＢＲ１１〜ＢＲ１７に係る各画素列Ｂｉ１１〜Ｂｉ１７が抽出される。ここでは、各画素列Ｂｉ１１〜Ｂｉ１７は、各基準領域ＢＲ１１〜ＢＲ１７に係る画素値の分布（以下「画素値分布」とも称する）を示す。詳細には、基準画像Ｇ１１から基準領域ＢＲ１１に係る画素値分布Ｂｉ１１が抽出され、基準画像Ｇ１２から基準領域ＢＲ１２に係る画素値分布Ｂｉ１２が抽出され、基準画像Ｇ１３から基準領域ＢＲ１３に係る画素値分布Ｂｉ１３が抽出され、基準画像Ｇ１４から基準領域ＢＲ１４に係る画素値分布Ｂｉ１４が抽出され、基準画像Ｇ１５から基準領域ＢＲ１５に係る画素値分布Ｂｉ１５が抽出され、基準画像Ｇ１６から基準領域ＢＲ１６に係る画素値分布Ｂｉ１６が抽出され、基準画像Ｇ１７から基準領域ＢＲ１７に係る画素値分布Ｂｉ１７が抽出される。
【００７１】
次に、画素値分布Ｂｉ１１〜Ｂｉ１７が所定の配列ルールに従って並べられることで、画素値の２次元の分布（以下「基準分布」とも称する）ＤPV１が生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｂｉ１１〜Ｂｉ１７が、相互に平行に並べられ、且つ画素値分布Ｂｉ１１、画素値分布Ｂｉ１２、画素値分布Ｂｉ１３、画素値分布Ｂｉ１４、画素値分布Ｂｉ１５、画素値分布Ｂｉ１６、および画素値分布Ｂｉ１７の順番に敷き詰められるように並べられて合体されることで、長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の基準分布ＤPV１が生成される。
【００７２】
また、図１２で示されるように、まず、各参照画像Ｇ２１〜Ｇ２７から比較領域ＣＲ２１〜ＣＲ２７に係る各画素列Ｃｉ２１〜Ｃｉ２７が抽出される。ここでは、各画素列Ｃｉ２１〜Ｃｉ２７は、各比較領域ＣＲ２１〜ＣＲ２７に係る画素値の分布（以下「画素値分布」とも称する）を示す。詳細には、参照画像Ｇ２１から比較領域ＣＲ２１に係る画素値分布Ｃｉ２１が抽出され、参照画像Ｇ２２から比較領域ＣＲ２２に係る画素値分布Ｃｉ２２が抽出され、参照画像Ｇ２３から比較領域ＣＲ２３に係る画素値分布Ｃｉ２３が抽出され、参照画像Ｇ２４から比較領域ＣＲ２４に係る画素値分布Ｃｉ２４が抽出され、参照画像Ｇ２５から比較領域ＣＲ２５に係る画素値分布Ｃｉ２５が抽出され、参照画像Ｇ２６から比較領域ＣＲ２６に係る画素値分布Ｃｉ２６が抽出され、参照画像Ｇ２７から比較領域ＣＲ２７に係る画素値分布Ｃｉ２７が抽出される。
【００７３】
次に、画素値分布Ｃｉ２１〜Ｃｉ２７が所定の配列ルールに従って並べられることで、画素値の２次元の分布（以下「比較分布」とも称する）ＤPV２が生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｃｉ２１〜Ｃｉ２７が、相互に平行に並べられ、且つ画素値分布Ｃｉ２１、画素値分布Ｃｉ２２、画素値分布Ｃｉ２３、画素値分布Ｃｉ２４、画素値分布Ｃｉ２５、画素値分布Ｃｉ２６、および画素値分布Ｃｉ２７の順番に敷き詰められるように並べられて合体されることで、長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の比較分布ＤPV２が生成される。
【００７４】
なお、基準分布ＤPV１および比較分布ＤPV２が生成される際に、例えば、画素値分布Ｂｉ１１〜Ｂｉ１７の配列順と画素値分布Ｃｉ２１〜Ｃｉ２７の配列順が対応していれば、その他の配列順が採用されても良い。
【００７５】
＜(1-2-4)対応点検出部３４０Ａ＞
対応点検出部３４０Ａは、基準分布ＤPV１と比較分布ＤPV２とを用いて、参照画像群Ｇ２のうちの基準点Ｐbase１に対応する対応点を検出する。
【００７６】
この対応点を検出する対応点探索の手法としては、例えば、振幅成分を抑制した相関法が知られており、位相限定相関法（ＰＯＣ；Phase Only Correlation）やＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）等がある。これらの相関法では、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算が行われる。なお、本実施形態では、位相限定相関法を用いた対応点探索が行われるものとする。
【００７７】
図１３は、位相限定相関法を用いた対応点探索を説明するための図である。
【００７８】
ここでは、基準分布ＤPV１および比較分布ＤPV２は、それぞれＸ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列される画像領域として取り扱われる。そして、これらの画像領域については、次の数１で表されるものとする。
【００７９】
【数１】
2011028605.tif 000003
【００８０】
ここで、上記の数１におけるｆ(ｎ1,ｎ2)は、基準分布ＤPV１に係る画像領域を示し、上記の数１におけるｇ(ｎ1,ｎ2)は、比較分布ＤPV２に係る画像領域を示す。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００８１】
そして、まず、基準分布ＤPV１および比較分布ＤPV２に係る各画像領域に対し、次の数２で示される演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂが行われる。
【００８２】
【数２】
2011028605.tif 000004
【００８３】
なお、上記の数２のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【００８４】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像領域に対しては、次の数３で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【００８５】
【数３】
2011028605.tif 000005
【００８６】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数４で示される演算式を用いた合成処理Ｔ３が行われるとともに、数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【００８７】
【数４】
2011028605.tif 000006
【００８８】
【数５】
2011028605.tif 000007
【００８９】
以上の処理により、基準分布ＤPV１と比較分布ＤPV２との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図１４で示されるような結果（ＰＯＣ値）が得られる。
【００９０】
図１４においては、画像領域(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、比較分布ＤPV２に係る画像領域内のうち、ＰＯＣ値のピークＪｃに対応する位置が、基準画像Ｇ１１上の基準領域ＢＲ１１の中心点(基準点)Ｐbase１に対応した参照画像Ｇ２１上の対応点となる。
【００９１】
なお、ＰＯＣ値は、離散的に求められるため、隣接画素間で補間演算を行い、ピークＪｃの位置を１画素のサイズよりも細かいサブピクセルのサイズで推定することで、更に細かく対応点の検出を行うこともできる。補間演算の手法としては、離散的に求められたＰＯＣ値の分布から放物線の関数を求める手法等が考えられる。
【００９２】
このような位相限定相関法を用いた対応点探索によって、例えば、図１５で示されるように、比較分布ＤPV２の中心点Ｐcent２からずれた点Ｐcor２がＰＯＣ値のピークＪｃに対応する点として検出される。このとき、参照画像Ｇ２１〜Ｇ２７において、比較領域ＣＲ２１〜ＣＲ２７の中心点を基準として、中心点Ｐcent２と点Ｐcor２との位置関係と同様な位置関係に係る点が対応点として検出される。
【００９３】
＜(1-2-5)配置変化検知部３５０＞
配置変化検知部３５０は、複数の基準画像Ｇ１１〜Ｇ１７における基準点Ｐbase１の位置と、複数の参照画像Ｇ２１〜Ｇ２７における点Ｐcor２に対応する位置との関係が、基線長に係るＸ方向とは異なるＹ方向に変化したことを認識することで、第１カメラ２１および第２カメラ２２の配置条件の変化を検知する。すなわち、配置変化検知部３５０Ｂでは、第１視点と第２視点との相対的な配置に係る配置条件の変化が検知される。
【００９４】
例えば、図１５で示されるように、比較分布ＤPV２について、中心点Ｐcent２と点Ｐcor２との間におけるＹ方向へのずれ量が、予め設定される基準のずれ量（基準ずれ量）から変化していれば、配置変化検知部３５０によって配置条件の変化が検知される。このとき、配置関係の変化に対する調整作業（キャリブレーション）を実行すべき旨を示す表示要素が表示部３０２において可視的に出力される。なお、基準ずれ量は、キャリブレーションが行われた際の中心点Ｐcent２と点Ｐcor２との間におけるＹ方向へのずれ量であり、キャリブレーションが行われる度に更新されて、記憶部３０４に記憶される。
【００９５】
以下、キャリブレーションについて簡単に説明する。
【００９６】
図１６は、第１カメラ２１における撮像レンズ２１Ｌと撮像素子Ｓｅ１との関係を示す図であり、図１７は、第２カメラ２２における撮像レンズ２２Ｌと撮像素子Ｓｅ２との関係を示す図である。
【００９７】
ここでは、まず、空間の３次元点の座標Ｍが、第１カメラ２１で撮像されて得られる基準画像において２次元点の座標ｍ1で捉えられるとともに、第２カメラ２２で撮像されて得られる参照画像において２次元点の座標ｍ2で捉えられるものとすると、射影行列Ｐ1，Ｐ2を用いて、下式(１)，(２)の関係が成立する。
【００９８】
【数６】
2011028605.tif 000008
【００９９】
なお、第１および第２カメラ２１，２２におけるスキューを考慮しない場合には、スキューファクターの値γ1，γ2は、０となる。そして、上式(１)，(２)の射影行列Ｐ1，Ｐ2が求められると、第１カメラ２１と第２カメラ２２との配置関係が求められる。
【０１００】
ここで、射影行列Ｐ1，Ｐ2を求める最も簡単な方法としては、３次元的な大きさが既知であるキャリブレーション用の物体をステレオカメラ２Ａで撮影することで得られる基準画像と参照画像とを用いる方法が挙げられる。具体的には、射影行列Ｐ1，Ｐ2は、それぞれ３行×４列の行列であり且つ１２個のパラメータを有する。そして、この１２個のパラメータのうちの１個のパラメータが１に正規化されると、１２個のパラメータが１１個のパラメータに低減される。このため、基準画像と参照画像とについて、それぞれ空間の３次元点の座標Ｍと、それに対応する２次元点の座標ｍ1，ｍ2との組が、６組以上与えられれば、射影行列Ｐ1，Ｐ2が一義的に求められる。なお、３次元点の座標Ｍに対応する２次元点の座標ｍ1，ｍ2の検出方法としては、例えば、キャリブレーション用の物体の特徴的な形状に係る座標Ｍの部分を、基準画像と参照画像とにおいて検出する方法が考えられる。
【０１０１】
このようにして、第１カメラ２１と第２カメラ２２との配置関係を示す射影行列Ｐ1，Ｐ2が導出される作業が、キャリブレーションに相当する。キャリブレーションの際には、導出された射影行列Ｐ1，Ｐ2が、変換用データＤtransとして記憶部３０４に記憶され、測距処理に利用される。
【０１０２】
以上のようなキャリブレーションにおける各種情報処理については、ステレオカメラ２Ａとキャリブレーション用の物体とが配置されて、操作部３０１がユーザーによって適宜操作されることで開始され、制御部３００Ａの制御によって実行される。
【０１０３】
＜(1-2-6)距離導出部３６０＞
距離導出部３６０は、基準画像Ｇ１１における基準点Ｐbase１の座標と、対応点検出部３４０Ａによって検出された参照画像Ｇ２１における対応点の座標とに基づいて、ステレオカメラ２Ａから、被写体ＯＢのうちの基準点Ｐbase１に対応する部分までの距離を導出する。
【０１０４】
具体的には、上記キャリブレーションによって求められて記憶部３０４に記憶された変換用データＤtrans（具体的には、射影行列Ｐ1，Ｐ2）が、上式(１)，(２)に代入され、更に、基準点Ｐbase１の座標の値が上式(１)の座標ｍ1の値として代入されるとともに、基準点Ｐbase１に対応する対応点の座標の値が上式(２)の座標ｍ2の値として代入される。そして、この２式が解かれることで、被写体ＯＢのうちの基準点Ｐbase１に対応する部分に係る３次元点の座標Ｍが求まる。このとき、例えば、ステレオカメラ２Ａの３次元の座標が原点とされていれば、求められた座標Ｍに基づいて、ステレオカメラ２Ａから被写体ＯＢのうちの基準点Ｐbase１に対応する部分までの距離が容易に導出される。
【０１０５】
なお、ここで導出される距離のデータＬdataは、対応する３次元点の座標Ｍと関連付けられて、記憶部３０４に記憶される。
【０１０６】
＜(1-3)画像処理装置の動作＞
図１８は、画像処理装置３Ａにおける対応点探索処理、配置変化検知処理、および測距処理に係る動作フローを示すフローチャートである。本動作フローは、制御部３００ＡにおいてプログラムＰＧａが実行されることで実現され、ユーザーが操作部３０１を種々操作することで、本動作フローが開始されて、図１８のステップＳＴ１に進む。
【０１０７】
ステップＳＴ１では、画像取得部３１０によって、基準画像群Ｇ１と参照画像群Ｇ２とが取得される。
【０１０８】
ステップＳＴ２では、領域設定部３２０Ａによって、基準画像Ｇ１１を構成する１つの画素が基準点Ｐbase１として設定される。
【０１０９】
ステップＳＴ３では、領域設定部３２０Ａによって、１セット目の画像を構成する基準画像Ｇ１１および参照画像Ｇ２１に対してウインドウが設定される。ここでは、基準画像Ｇ１１に対して１次元のウインドウである基準領域ＢＲ１１が設定されるとともに、参照画像Ｇ２１に対して基準領域ＢＲ１１の形状およびサイズが同じである比較領域ＣＲ２１が設定される。
【０１１０】
ステップＳＴ４では、領域設定部３２０Ａによって、２セット目以降の画像を構成する各基準画像Ｇ１２〜Ｇ１７および参照画像Ｇ２２〜Ｇ２７に対してウインドウが設定される。ここでは、基準画像Ｇ１２〜Ｇ１７に対して、基準領域ＢＲ１１の形状、サイズ、および配設位置に対応する比較領域ＢＲ１２〜ＢＲ１７が設定されるとともに、参照画像Ｇ２２〜Ｇ２７に対して、比較領域ＣＲ２１の形状、サイズ、および配設位置に対応する比較領域ＣＲ２２〜ＣＲ２７が設定される。
【０１１１】
ステップＳＴ５では、画素値分布生成部３３０Ａによって、複数の基準領域ＢＲ１１〜ＢＲ１７に係る画素値の分布から１つの２次元の空間に係る基準分布ＤPV１が生成されるとともに、複数の比較領域ＣＲ２１〜ＣＲ２７に係る画素値の分布から１つの２次元の空間に係る比較分布ＤPV２が生成される。
【０１１２】
ステップＳＴ６では、対応点検出部３４０Ａによって、基準分布ＤPV１と比較分布ＤPV２とに基づいて、参照画像群Ｇ２から基準点Ｐbase１に対応する対応点が検出される。
【０１１３】
ステップＳＴ７では、距離導出部３６０によって、基準画像Ｇ１１における基準点Ｐbase１の座標と、ステップＳＴ６で検出された参照画像Ｇ２１における対応点の座標とに基づいて、被写体ＯＢのうちの基準点Ｐbase１に対応する部分の３次元座標と、ステレオカメラ２Ａを基準とした被写体ＯＢのうちの基準点Ｐbase１に対応する部分までの距離とが導出される。なお、ここで導出される３次元座標および距離を示すデータは、基準点Ｐbase１を示す情報と関連付けられて、記憶部３０４に記憶される。
【０１１４】
ステップＳＴ８では、配置変化検知部３５０によって、複数の基準画像Ｇ１１〜Ｇ１７における基準点Ｐbase１の位置と、複数の参照画像Ｇ２１〜Ｇ２７における点Ｐcor２に係る位置との関係が、基線長に係るＸ方向とは異なるＹ方向に変化したか否かが判定される。ここで、基準点Ｐbase１と点Ｐcor２に係る位置との間におけるＹ方向へのずれ量が、予め設定される基準ずれ量から変化すれば、ステップＳＴ９に進み、基準点Ｐbase１と点Ｐcor２に係る位置との間におけるＹ方向へのずれ量が、予め設定される基準ずれ量から変化していなければ、ステップＳＴ１０に進む。
【０１１５】
ステップＳＴ９では、配置変化検知部３５０からの信号の出力によって、調整作業（キャリブレーション）を実行すべきである旨を示す表示要素が、表示部３０２において可視的に出力される。なお、このキャリブレーションを実行すべきである旨を示す表示要素の可視的な出力は、例えば、キャリブレーションが実行されるまで継続されても良い。また、キャリブレーションを実行すべき旨は、音声で報知されても良い。
【０１１６】
ステップＳＴ１０では、領域設定部３２０Ａによって、基準画像Ｇ１１において基準点Ｐbase１として設定すべき点（処理対象点）が残存しているか否か判定される。例えば、基準画像Ｇ１１を構成する全画素が基準点Ｐbase１として設定されたか否か判定される。ここで、処理対象点が残存していれば、ステップＳＴ２に戻り、基準画像Ｇ１１における別の画素が基準点Ｐbase１として設定されて、ステップＳＴ３〜ＳＴ９の処理が行われる。一方、処理対象点が残存していなければ、本動作フローが終了される。
【０１１７】
以上のような動作フローによって、例えば、基準画像Ｇ１１に対して、図１９の矢印で示されるように、基準点Ｐbase１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って１画素ずつずらされながら時間順次に設定され、各基準点Ｐbase１に対応する対応点が、参照画像Ｇ２１〜Ｇ２７上で検出される。なお、基準画像Ｇ１１における所定画素ごとの基準点について対応点が検出されても良い。
【０１１８】
以上のように、第１実施形態に係る画像処理装置３Ａでは、基準画像Ｇ１１〜Ｇ１７に設定される基準領域ＢＲ１１〜ＢＲ１７、および参照画像Ｇ２１〜Ｇ２７に設定される比較領域ＣＲ２１〜ＣＲ２７が、Ｘ方向に沿った画素列に係る比較的小さな領域である。このため、対応点探索に係る演算に用いられる基準領域ＢＲ１１〜ＢＲ１７および比較領域ＣＲ２１〜ＣＲ２７に係る画像領域に、遠景と近景とが混在する状況が抑制される。
【０１１９】
その一方で、時間順次に得られる基準画像Ｇ１１〜Ｇ１７に設定される基準領域ＢＲ１１〜ＢＲ１７に係る情報、および時間順次に得られる参照画像Ｇ２１〜Ｇ２７に設定される比較領域ＣＲ２１〜ＣＲ２７に係る情報が利用されることで、対応点探索に使用される情報量の維持が図られる。すなわち、各基準画像および各参照画像について、対応点探索に係る演算に用いる画像領域の大きさが抑制されつつ、対応点探索に係る演算に用いる情報量が確保される。また、画像上のノイズの影響も低減される。
【０１２０】
したがって、各画像について、対応点探索に係る演算に用いる画像領域の大きさが抑えられつつ、対応点探索に係る演算に用いる情報量が確保されるため、遠景と近景とが混在する状態（遠近競合）の影響が抑制されつつ、対応点探索の精度の向上が図られる。すなわち、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化が図られる。
【０１２１】
なお、このような対応点探索では、従来と同様な２つの擬似的な２次元領域が演算に利用されることになるため、演算量の増大を招くことなく、対応点探索の高精度化が図られる。
【０１２２】
そして、対応点探索の高精度化の結果として、遠景と近景とが共存する同一の被写体をとらえた基準画像Ｇ１１〜Ｇ１７と参照画像Ｇ２１〜Ｇ２７とから被写体ＯＢまでの距離がより正確に求められる。
【０１２３】
また、ステレオカメラ２Ａにおいて、経年劣化や衝撃等によって第１および第２視点の間の配置関係がずれた場合には、キャリブレーションを実行すべきである旨が報知される。このため、ユーザーは、配置条件に応じた調整作業を行うことができる。
【０１２４】
＜(2)第２実施形態＞
＜(2-1)第１実施形態との相違点＞
上記第１実施形態に係る情報処理システム１Ａでは、ステレオカメラ２Ａにおける撮像レンズ２１Ｌの光軸と撮像レンズ２２Ｌの光軸とのずれ量が、ｘ方向の距離Ｌaxであるとともに、対応点探索処理において、基準領域ＢＲ１１〜ＢＲ１７および比較領域ＣＲ２１〜ＣＲ２７の長手方向がＸ方向に設定された。
【０１２５】
これに対して、第２実施形態に係る情報処理システム１Ｂでは、図２０で示されるように、ステレオカメラ２Ｂにおける撮像レンズ２１Ｌの光軸と撮像レンズ２２Ｌの光軸とのずれ量が、ｘ方向の距離Ｌbxおよびｙ方向の距離Ｌbyに設定される。また、第２実施形態に係る画像処理装置３Ｂでは、各基準点について、長手方向がＸ方向に設定される基準領域および比較領域を用いた対応点探索と、長手方向がＹ方向に設定される基準領域および比較領域を用いた対応点探索とが行われ、信頼度が高い対応点探索の結果が、基準点に対応する対応点として決定される。これにより、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の更なる高精度化が図られる。
【０１２６】
具体的には、第２実施形態に係る情報処理システム１Ｂは、上記第１実施形態に係る情報処理システム１Ａと比較して、ステレオカメラ２Ａが、第１および第２カメラ２１，２２の配置が変更されたステレオカメラ２Ｂに変更され、画像処理装置３Ａが、制御部３００Ａが機能の異なる制御部３００Ｂに置換された画像処理装置３Ｂに変更されたものとなっている。なお、制御部３００Ｂでは、記憶部３０４に記憶されるプログラムＰＧｂが読み込まれて実行されることで、各種機能が実現される。そして、第２実施形態に係る情報処理システム１Ｂのその他の構成については、上記第１実施形態に係る情報処理システム１Ａのものと同様な構成となる。このため、同様な構成については、同じ符号を付して説明を省略する。
【０１２７】
＜(2-2)画像処理装置の機能＞
図２１は、画像処理装置３Ｂの制御部３００Ｂで実現される機能的な構成を示すブロック図である。図２１で示されるように、制御部３００Ｂは、機能的な構成として、画像取得部３１０Ｂ、第１平行化部３１１Ｂ、第２平行化部３１２Ｂ、第１領域設定部３２１Ｂ、第２領域設定部３２２Ｂ、第１画素値分布生成部３３１Ｂ、第２画素値分布生成部３３２Ｂ、第１対応点導出部３４１Ｂ、第２対応点導出部３４２Ｂ、信頼度比較部３４３Ｂ、対応点検出部３４４Ｂ、配置変化検知部３５０Ｂ、および距離導出部３６０Ｂを有する。ここで、各機能的な構成について順次に説明する。
【０１２８】
＜(2-2-1)画像取得部３１０Ｂ＞
画像取得部３１０Ｂは、第１実施形態に係る画像取得部３１０と同様に、第１カメラ２１によって第１視点から被写体ＯＢを時間順次に撮像することで得られる基準画像群Ｇ１と、第２カメラ２２によって第２視点から被写体ＯＢを時間順次に撮像することで得られる参照画像群Ｇ２とを取得する。
【０１２９】
＜(2-2-2)第１平行化部３１１Ｂ＞
第１平行化部３１１Ｂは、基準画像群Ｇ１を構成する複数の基準画像Ｇ１１〜Ｇ１７から、Ｙ方向に係る視差がそれぞれ抑制された複数の画像（基準Ｙ方向視差抑制画像）Ｇ１１ｘ〜Ｇ１７ｘを生成する。図２２は、複数の基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘによって構成される画像群（基準Ｙ方向視差抑制画像群）Ｇ１ｘの具体例を示す図である。
【０１３０】
また、第１平行化部３１１Ｂは、参照画像群Ｇ２を構成する複数の参照画像Ｇ２１〜Ｇ２７から、Ｙ方向に係る視差がそれぞれ抑制された複数の画像（参照Ｙ方向視差抑制画像）Ｇ２１ｘ〜Ｇ２７ｘを生成する。図２３は、複数の参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘによって構成される画像群（参照Ｙ方向視差抑制画像群）Ｇ２ｘの具体例を示す図である。
【０１３１】
なお、以下では、第１平行化部３１１Ｂにおいて複数の基準画像Ｇ１１〜Ｇ１７から複数の基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘが生成され、複数の参照画像Ｇ２１〜Ｇ２７から複数の参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘが生成される処理を、適宜「第１平行化処理」と称する。
【０１３２】
ここで、複数の基準画像Ｇ１１〜Ｇ１７および複数の参照画像Ｇ２１〜Ｇ２７について、Ｙ方向に係る視差を抑制する方法の一例について簡単に説明する。
【０１３３】
仮に、第１カメラ２１と第２カメラ２２とがｘ方向にのみ離間するステレオカメラ（平行化ステレオカメラ）については、下式(３),(４)で示されるように、上式(１)の右辺に平行化行列Ｓ1が追加され、上式(２)の右辺に平行化行列Ｓ2が追加された関係を有する。
【０１３４】
【数７】
2011028605.tif 000009
【０１３５】
なお、上式(３)で示されるように、平行化行列Ｓ1と射影行列Ｐ1の積を、射影行列Ｐ1aとすると、該射影行列Ｐ1aは、上式(５)で示される。また、上式(４)で示されるように、平行化行列Ｓ2と射影行列Ｐ2の積を、射影行列Ｐ2aとすると、該射影行列Ｐ2aは、上式(６)で示される。上式(５)，(６)では、Ｒは、直交する３軸を基準とした第１および第２カメラ２１，２２の配置に係る回転成分を示し、Ｂは、第１カメラ２１と第２カメラ２２との間のｘ方向に係る基線長に対応する並進のｘ成分を示す。また、第１カメラ２１と第２カメラ２２の内部的な設定条件が同一であるものとして、上式(５)，(６)では、α1とα2とが同一値のαとされ、β1とβ2とが同一値のβとされ、γ1とγ2とが同一値のγとされ、ｕ1とｕ2とが同一値のｕとされ、ｖ1とｖ2とが同一値のｖとされている。
【０１３６】
そして、射影行列Ｐ1aと射影行列Ｐ2aとの間には、第１および第２カメラ２１，２２に係る外部パラメータの並進のｘ成分Ｂのみの相違点がある。
【０１３７】
ここで、外部パラメータの回転成分が単位行列になるように３次元座標を回転させると、平行化ステレオカメラの第１カメラ２１に係る射影行列Ｐ1aaが、下式(７)で示されるとともに、平行化ステレオカメラの第２カメラ２２に係る射影行列Ｐ2aaが、下式(８)で示される。
【０１３８】
【数８】
2011028605.tif 000010
【０１３９】
そして、上記第１実施形態において説明されたキャリブレーションによって求まる３行×４列の射影行列Ｐ1，Ｐ2を用いて、平行化行列Ｓ1，Ｓ2が算出される。
【０１４０】
具体的には、平行化行列Ｓ1が３行×３列の９つのパラメータｓ１11，ｓ１12，ｓ１13，ｓ１21，ｓ１22，ｓ１23，ｓ１31，ｓ１32，ｓ１33からなる行列であり、平行化行列Ｓ2が３行×３列の９つのパラメータｓ２11，ｓ２12，ｓ２13，ｓ２21，ｓ２22，ｓ２23，ｓ２31，ｓ２32，ｓ２33からなる行列であれば、下式(９)，(１０)の関係が成立する。
【０１４１】
【数９】
2011028605.tif 000011
【０１４２】
ここでは、平行化行列Ｓ1の未知のパラメータが９個であり、平行化行列Ｓ2の未知のパラメータが９個であり、その他の未知のパラメータ（α，β，γ，ｕ，ｖ，Ｂ）が６個であるため、未知のパラメータの個数が合計で２４個となる。これに対して、上式(９)，(１０)に、キャリブレーションによって求められた３行×４列の射影行列Ｐ1，Ｐ2を適用すると、２４個の式が得られ、該２４個の式が解かれることで、２４個の未知のパラメータの数値が導出される。これにより、平行化行列Ｓ1，Ｓ2が求められる。
【０１４３】
このようにして求められた平行化行列Ｓ1，Ｓ2を用いることで、基準画像Ｇ１１〜Ｇ１７における２次元の座標（ｘ1，ｙ1）と、基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘにおける２次元の座標（Ｘ1，Ｙ1）とが、下式(１１)の関係を有する。また、参照画像Ｇ２１〜Ｇ２７における２次元の座標（ｘ2，ｙ2）と、参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘにおける２次元の座標（Ｘ2，Ｙ2）とが、下式(１２)の関係を有する。
【０１４４】
【数１０】
2011028605.tif 000012
【０１４５】
したがって、上式(１１)，(１２)を用いて、基準画像Ｇ１１〜Ｇ１７からＹ方向に係る視差が抑制された基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘが生成され、参照画像Ｇ２１〜Ｇ２７からＹ方向に係る視差が抑制された参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘが生成される。
【０１４６】
＜(2-2-3)第２平行化部３１２Ｂ＞
第２平行化部３１２Ｂは、基準画像群Ｇ１を構成する複数の基準画像Ｇ１１〜Ｇ１７から、Ｘ方向に係る視差がそれぞれ抑制された複数の画像（基準Ｘ方向視差抑制画像）Ｇ１１ｙ〜Ｇ１７ｙを生成する。そして、図２２で示されるように、複数の基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙによって画像群（基準Ｘ方向視差抑制画像群）Ｇ１ｙが構成される。
【０１４７】
また、第２平行化部３１２Ｂは、参照画像群Ｇ２を構成する複数の参照画像Ｇ２１〜Ｇ２７から、Ｘ方向に係る視差がそれぞれ抑制された複数の画像（参照Ｘ方向視差抑制画像）Ｇ２１ｙ〜Ｇ２７ｙを生成する。そして、図２３で示されるように、複数の参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙによって画像群（参照Ｘ方向視差抑制画像群）Ｇ２ｙが構成される。
【０１４８】
なお、以下では、第２平行化部３１２Ｂにおいて複数の基準画像Ｇ１１〜Ｇ１７から複数の基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙが生成され、複数の参照画像Ｇ２１〜Ｇ２７から複数の参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙが生成される処理を、適宜「第２平行化処理」と称する。
【０１４９】
複数の基準画像Ｇ１１〜Ｇ１７および複数の参照画像Ｇ２１〜Ｇ２７について、Ｘ方向に係る視差を抑制する方法としては、例えば、上述したＹ方向に係る視差を抑制する方法と同様な方法が採用されれば良い。但し、Ｙ方向に係る視差を抑制する方法では、上式(６)のうちの外部パラメータの並進のｘ成分がＢであったが、Ｘ方向に係る視差を抑制する方法では、上式(６)のうちの外部パラメータの並進のｙ成分がＢに変更されるとともにｘ成分が０に変更される必要がある。
【０１５０】
＜(2-2-4)第１領域設定部３２１Ｂ＞
第１領域設定部３２１Ｂは、基準領域設定部３２１１Ｂと比較領域設定部３２１２Ｂとを有する。基準領域設定部３２１１Ｂは、第１平行化部３１１Ｂで生成された各基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘに対して、１次元のウインドウである基準領域をそれぞれ設定する。また、比較領域設定部３２１２Ｂは、第１平行化部３１１Ｂで生成された各参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘに対して、１次元のウインドウである比較領域をそれぞれ設定する。
【０１５１】
具体的には、図２４で示されるように、基準Ｙ方向視差抑制画像Ｇ１１ｘに対して、基準点Ｐbase１ｘを中心点として包含し且つＸ方向に沿った画素列に係る１次元の基準領域ＢＲ１１ｘが設定される。また、図２５で示されるように、参照Ｙ方向視差抑制画像Ｇ２１ｘに対して、Ｘ方向に沿った画素列に係る１次元の比較領域ＣＲ２１ｘが設定される。
【０１５２】
また、基準領域ＢＲ１１ｘと比較領域ＣＲ２１ｘとが対応する形状およびサイズ（同じ形状およびサイズ）を有するとともに、基準Ｙ方向視差抑制画像Ｇ１１ｘに対する基準領域ＢＲ１１ｘの設定位置と、参照Ｙ方向視差抑制画像Ｇ２１ｘに対する比較領域ＣＲ２１ｘの設定位置とが、撮像レンズ２１Ｌの光軸と撮像レンズ２２Ｌの光軸との間におけるｘ方向に係るずれ量Ｌbxに応じた分だけＸ方向にずれた位置関係を有する。
【０１５３】
このようにして、第１領域設定部３２１Ｂは、基準Ｙ方向視差抑制画像Ｇ１１ｘと参照Ｙ方向視差抑制画像Ｇ２１ｘとからなる１番目の画像セットを対象として、基準領域ＢＲ１１ｘと比較領域ＣＲ２１ｘとを設定する。
【０１５４】
また、図２４で示されるように、各基準Ｙ方向視差抑制画像Ｇ１２ｘ〜Ｇ１７ｘに対して、基準領域ＢＲ１２ｘ〜ＢＲ１７ｘがそれぞれ設定されるとともに、図２５で示されるように、各参照Ｙ方向視差抑制画像Ｇ２２ｘ〜Ｇ２７ｘに対して、比較領域ＣＲ２２ｘ〜ＣＲ２７ｘがそれぞれ設定される。
【０１５５】
ここでは、基準領域ＢＲ１２ｘ〜ＢＲ１７ｘは、基準領域ＢＲ１１ｘと同一の形状およびサイズを有し、基準Ｙ方向視差抑制画像Ｇ１１ｘに対する基準領域ＢＲ１１ｘの位置関係と、各基準Ｙ方向視差抑制画像Ｇ１２ｘ〜Ｇ１７ｘに対する基準領域ＢＲ１２ｘ〜ＢＲ１７ｘの位置関係とが同一の位置関係を有する。また、比較領域ＣＲ２２ｘ〜ＣＲ２７ｘは、比較領域ＣＲ２１ｘと同一の形状およびサイズを有し、参照Ｙ方向視差抑制画像Ｇ２１ｘに対する比較領域ＣＲ２１ｘの位置関係と、各参照Ｙ方向視差抑制画像Ｇ２２ｘ〜Ｇ２７ｘに対する比較領域ＣＲ２２ｘ〜ＣＲ２７ｘの位置関係とが同一の位置関係を有する。
【０１５６】
このようにして、第１領域設定部３２１Ｂは、各基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘに対して基準点Ｐbase１ｘを含む基準領域ＢＲ１１ｘ〜ＢＲ１７ｘを同一配置となるようにそれぞれ設定するとともに、各参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘに対して基準領域ＢＲ１１ｘ〜ＢＲ１７ｘの形状およびサイズに対応する比較領域ＣＲ２１ｘ〜ＣＲ２７ｘを同一配置となるようにそれぞれ設定する。
【０１５７】
なお、基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘおよび参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘについては、平行化によって、第１視点と第２視点とが擬似的にｘ方向にのみ離間される配置条件となるため、複数の基準領域ＢＲ１１ｘ〜ＢＲ１７ｘおよび複数の比較領域ＣＲ２１ｘ〜ＣＲ２７ｘの長手方向が、ｘ方向に対応するＸ方向に設定される。
【０１５８】
＜(2-2-5)第１画素値分布生成部３３１Ｂ＞
第１画素値分布生成部３３１Ｂは、複数の基準領域ＢＲ１１ｘ〜ＢＲ１７ｘに係る画素値の分布から１つの２次元の空間に係る画素値の分布（基準分布）を生成するとともに、複数の比較領域ＣＲ２１ｘ〜ＣＲ２７ｘに係る画素値の分布から１つの２次元の空間に係る画素値の分布（比較分布）を生成する。
【０１５９】
具体的には、図２６で示されるように、まず、各基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘから基準領域ＢＲ１１ｘ〜ＢＲ１７ｘに係る各画素列Ｂｉ１１ｘ〜Ｂｉ１７ｘが抽出される。ここでは、各画素列Ｂｉ１１ｘ〜Ｂｉ１７ｘは、各基準領域ＢＲ１１ｘ〜ＢＲ１７ｘに係る画素値の分布（画素値分布）を示す。詳細には、基準Ｙ方向視差抑制画像Ｇ１１ｘから基準領域ＢＲ１１ｘに係る画素値分布Ｂｉ１１ｘが抽出され、基準Ｙ方向視差抑制画像Ｇ１２ｘから基準領域ＢＲ１２ｘに係る画素値分布Ｂｉ１２ｘが抽出され、基準Ｙ方向視差抑制画像Ｇ１３ｘから基準領域ＢＲ１３ｘに係る画素値分布Ｂｉ１３ｘが抽出され、基準Ｙ方向視差抑制画像Ｇ１４ｘから基準領域ＢＲ１４ｘに係る画素値分布Ｂｉ１４ｘが抽出され、基準Ｙ方向視差抑制画像Ｇ１５ｘから基準領域ＢＲ１５ｘに係る画素値分布Ｂｉ１５ｘが抽出され、基準Ｙ方向視差抑制画像Ｇ１６ｘから基準領域ＢＲ１６ｘに係る画素値分布Ｂｉ１６ｘが抽出され、基準Ｙ方向視差抑制画像Ｇ１７ｘから基準領域ＢＲ１７ｘに係る画素値分布Ｂｉ１７ｘが抽出される。
【０１６０】
次に、画素値分布Ｂｉ１１ｘ〜Ｂｉ１７ｘが所定の配列ルールに従って並べられることで、画素値の２次元の分布（基準分布）ＤPV１ｘが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｂｉ１１ｘ〜Ｂｉ１７ｘが相互に平行に並べられ、且つ画素値分布Ｂｉ１１ｘ、画素値分布Ｂｉ１２ｘ、画素値分布Ｂｉ１３ｘ、画素値分布Ｂｉ１４ｘ、画素値分布Ｂｉ１５ｘ、画素値分布Ｂｉ１６ｘ、および画素値分布Ｂｉ１７ｘの順番に敷き詰められて合体されることで長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の基準分布ＤPV１ｘが生成される。
【０１６１】
また、図２７で示されるように、まず、各参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘから比較領域ＣＲ２１ｘ〜ＣＲ２７ｘに係る各画素列Ｃｉ２１ｘ〜Ｃｉ２７ｘが抽出される。ここでは、各画素列Ｃｉ２１ｘ〜Ｃｉ２７ｘは、各比較領域ＣＲ２１ｘ〜ＣＲ２７ｘに係る画素値の分布（画素値分布）を示す。詳細には、参照Ｙ方向視差抑制画像Ｇ２１ｘから比較領域ＣＲ２１ｘに係る画素値分布Ｃｉ２１ｘが抽出され、参照Ｙ方向視差抑制画像Ｇ２２ｘから比較領域ＣＲ２２ｘに係る画素値分布Ｃｉ２２ｘが抽出され、参照Ｙ方向視差抑制画像Ｇ２３ｘから比較領域ＣＲ２３ｘに係る画素値分布Ｃｉ２３ｘが抽出され、参照Ｙ方向視差抑制画像Ｇ２４ｘから比較領域ＣＲ２４ｘに係る画素値分布Ｃｉ２４ｘが抽出され、参照Ｙ方向視差抑制画像Ｇ２５ｘから比較領域ＣＲ２５ｘに係る画素値分布Ｃｉ２５ｘが抽出され、参照Ｙ方向視差抑制画像Ｇ２６ｘから比較領域ＣＲ２６ｘに係る画素値分布Ｃｉ２６ｘが抽出され、参照Ｙ方向視差抑制画像Ｇ２７ｘから比較領域ＣＲ２７ｘに係る画素値分布Ｃｉ２７ｘが抽出される。
【０１６２】
次に、画素値分布Ｃｉ２１ｘ〜Ｃｉ２７ｘが所定の配列ルールに従って並べられることで、画素値の２次元の分布（比較分布）ＤPV２ｘが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｃｉ２１ｘ〜Ｃｉ２７ｘが相互に平行に並べられ、且つ画素値分布Ｃｉ２１ｘ、画素値分布Ｃｉ２２ｘ、画素値分布Ｃｉ２３ｘ、画素値分布Ｃｉ２４ｘ、画素値分布Ｃｉ２５ｘ、画素値分布Ｃｉ２６ｘ、および画素値分布Ｃｉ２７ｘの順番に敷き詰められて合体されることで長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の比較分布ＤPV２ｘが生成される。
【０１６３】
なお、基準分布ＤPV１ｘおよび比較分布ＤPV２ｘが生成される際には、例えば、画素値分布Ｂｉ１１ｘ〜Ｂｉ１７ｘの配列順と画素値分布Ｃｉ２１ｘ〜Ｃｉ２７ｘの配列順が対応していれば、その他の配列順が採用されても良い。
【０１６４】
＜(2-2-6)第１対応点導出部３４１Ｂ＞
第１対応点導出部３４１Ｂは、基準分布ＤPV１ｘと比較分布ＤPV２ｘとを用いて、参照Ｙ方向視差抑制画像Ｇ２１ｘのうちの基準点Ｐbase１ｘに対応する対応点と、該対応点に係る信頼度とを導出する。
【０１６５】
図２８は、第１対応点導出部３４１Ｂにおける位相限定相関法を用いた対応点探索を説明するための図である。第１対応点導出部３４１Ｂにおける対応点探索は、第１実施形態に係る位相限定相関法を用いた対応点探索と比較して、該対応点探索に用いられる画像領域の組合せ（具体的には、基準分布ＤPV１の画像領域と比較分布ＤPV２の画像領域との組合せ）が、異なる画像領域の組合せ（具体的には、基準分布ＤPV１ｘの画像領域と比較分布ＤPV２ｘの画像領域との組合せ）に変更されたものである。
【０１６６】
第１対応点導出部３４１Ｂにおける対応点探索では、基準分布ＤPV１ｘと比較分布ＤPV２ｘとの相関を示すＰＯＣ値の分布が得られる。そして、比較分布ＤPV２ｘに係る画像領域内のうち、ＰＯＣ値のピークに対応する位置が、基準Ｙ方向視差抑制画像Ｇ１１ｘ上の基準領域ＢＲ１１ｘの中心点(基準点)Ｐbase１ｘに対応した参照Ｙ方向視差抑制画像Ｇ２１ｘ上の対応点であるものとして導出される。
【０１６７】
そして、このような位相限定相関法を用いた対応点探索によって、例えば、図２９で示されるように、比較分布ＤPV２ｘの中心点Ｐcent２ｘからずれた点Ｐcor２ｘがＰＯＣ値のピークに対応する点として検出される。このとき、参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘにおいて、比較領域ＣＲ２１ｘ〜ＣＲ２７ｘの中心点を基準として、中心点Ｐcent２ｘと点Ｐcor２ｘとの位置関係と同様な位置関係に係る点が対応点として導出される。また、点Ｐcor２ｘに係るＰＯＣ値のピークの値が、対応点としての確からしさを示す指標（信頼度）とされる。
【０１６８】
なお、以下では、第１対応点導出部３４１Ｂで導出される対応点を、適宜「第１対応点」と称し、該第１対応点に係る信頼度を、適宜「第１信頼度」と称する。また、第１領域設定部３２１Ｂ、第１画素値分布生成部３３１Ｂ、および第１対応点導出部３４１Ｂによる一連の処理によって対応点が探索される処理を、適宜「第１対応点探索処理」と称する。
【０１６９】
＜(2-2-7)第２領域設定部３２２Ｂ＞
第２領域設定部３２２Ｂは、基準領域設定部３２２１Ｂと比較領域設定部３２２２Ｂとを有する。基準領域設定部３２２１Ｂは、第２平行化部３１２Ｂで生成された各基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙに対して、１次元のウインドウである基準領域をそれぞれ設定する。また、比較領域設定部３２２２Ｂは、第２平行化部３１２Ｂで生成された各参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙに対して、１次元のウインドウである比較領域をそれぞれ設定する。
【０１７０】
具体的には、図３０で示されるように、基準Ｘ方向視差抑制画像Ｇ１１ｙに対して、基準点Ｐbase１ｙを中心点として包含し且つＹ方向に沿った画素列に係る１次元の基準領域ＢＲ１１ｙが設定される。また、図３１で示されるように、参照Ｘ方向視差抑制画像Ｇ２１ｙに対して、Ｙ方向に沿った画素列に係る１次元の比較領域ＣＲ２１ｙが設定される。
【０１７１】
また、基準領域ＢＲ１１ｙと比較領域ＣＲ２１ｙとが対応する形状およびサイズ（同じ形状およびサイズ）を有するとともに、基準Ｘ方向視差抑制画像Ｇ１１ｙに対する基準領域ＢＲ１１ｙの設定位置と、参照Ｘ方向視差抑制画像Ｇ２１ｙに対する比較領域ＣＲ２１ｙの設定位置とが、撮像レンズ２１Ｌの光軸と撮像レンズ２２Ｌの光軸とのｙ方向に係るずれ量Ｌbyに応じた分だけＹ方向にずれた位置関係を有する。
【０１７２】
このようにして、第２領域設定部３２２Ｂは、基準Ｘ方向視差抑制画像Ｇ１１ｙと参照Ｘ方向視差抑制画像Ｇ２１ｙとからなる１番目の画像セットを対象として、基準領域ＢＲ１１ｙと比較領域ＣＲ２１ｙとを設定する。
【０１７３】
また、図３０で示されるように、各基準Ｘ方向視差抑制画像Ｇ１２ｙ〜Ｇ１７ｙに対して、基準領域ＢＲ１２ｙ〜ＢＲ１７ｙがそれぞれ設定されるとともに、図３１で示されるように、各参照Ｘ方向視差抑制画像Ｇ２２ｙ〜Ｇ２７ｙに対して、比較領域ＣＲ２２ｙ〜ＣＲ２７ｙがそれぞれ設定される。
【０１７４】
ここでは、基準領域ＢＲ１２ｙ〜ＢＲ１７ｙは、基準領域ＢＲ１１ｙと同一の形状およびサイズを有し、基準Ｘ方向視差抑制画像Ｇ１１ｙに対する基準領域ＢＲ１１ｙの位置関係と、各基準Ｘ方向視差抑制画像Ｇ１２ｙ〜Ｇ１７ｙに対する基準領域ＢＲ１２ｙ〜ＢＲ１７ｙの位置関係とが同一の位置関係を有する。また、比較領域ＣＲ２２ｙ〜ＣＲ２７ｙは、比較領域ＣＲ２１ｙと同一の形状およびサイズを有し、参照Ｘ方向視差抑制画像Ｇ２１ｙに対する比較領域ＣＲ２１ｙの位置関係と、各参照Ｘ方向視差抑制画像Ｇ２２ｙ〜Ｇ２７ｙに対する比較領域ＣＲ２２ｙ〜ＣＲ２７ｙの位置関係とが同一の位置関係を有する。
【０１７５】
このようにして、第２領域設定部３２２Ｂは、各基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙに対して基準点Ｐbase１ｙを含む基準領域ＢＲ１１ｙ〜ＢＲ１７ｙを同一配置となるようにそれぞれ設定するとともに、各参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙに対して基準領域ＢＲ１１ｙ〜ＢＲ１７ｙの形状およびサイズに対応する比較領域ＣＲ２１ｙ〜ＣＲ２７ｙを同一配置となるようにそれぞれ設定する。
【０１７６】
なお、基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙおよび参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙについては、平行化によって、第１視点と第２視点とが擬似的にｙ方向にのみ離間される配置条件となるため、複数の基準領域ＢＲ１１ｙ〜ＢＲ１７ｙおよび複数の比較領域ＣＲ２１ｙ〜ＣＲ２７ｙの長手方向が、ｙ方向に対応するＹ方向に設定される。
【０１７７】
＜(2-2-8)第２画素値分布生成部３３２Ｂ＞
第２画素値分布生成部３３２Ｂは、複数の基準領域ＢＲ１１ｙ〜ＢＲ１７ｙに係る画素値の分布から１つの２次元の空間に係る画素値の分布（基準分布）を生成するとともに、複数の比較領域ＣＲ２１ｙ〜ＣＲ２７ｙに係る画素値の分布から１つの２次元の空間に係る画素値の分布（比較分布）を生成する。
【０１７８】
具体的には、図３２で示されるように、まず、各基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙから基準領域ＢＲ１１ｙ〜ＢＲ１７ｙに係る各画素列Ｂｉ１１ｙ〜Ｂｉ１７ｙが抽出される。ここでは、各画素列Ｂｉ１１ｙ〜Ｂｉ１７ｙは、各基準領域ＢＲ１１ｙ〜ＢＲ１７ｙに係る画素値の分布（画素値分布）を示す。詳細には、基準Ｘ方向視差抑制画像Ｇ１１ｙから基準領域ＢＲ１１ｙに係る画素値分布Ｂｉ１１ｙが抽出され、基準Ｘ方向視差抑制画像Ｇ１２ｙから基準領域ＢＲ１２ｙに係る画素値分布Ｂｉ１２ｙが抽出され、基準Ｘ方向視差抑制画像Ｇ１３ｙから基準領域ＢＲ１３ｙに係る画素値分布Ｂｉ１３ｙが抽出され、基準Ｘ方向視差抑制画像Ｇ１４ｙから基準領域ＢＲ１４ｙに係る画素値分布Ｂｉ１４ｙが抽出され、基準Ｘ方向視差抑制画像Ｇ１５ｙから基準領域ＢＲ１５ｙに係る画素値分布Ｂｉ１５ｙが抽出され、基準Ｘ方向視差抑制画像Ｇ１６ｙから基準領域ＢＲ１６ｙに係る画素値分布Ｂｉ１６ｙが抽出され、基準Ｘ方向視差抑制画像Ｇ１７ｙから基準領域ＢＲ１７ｙに係る画素値分布Ｂｉ１７ｙが抽出される。
【０１７９】
次に、画素値分布Ｂｉ１１ｙ〜Ｂｉ１７ｙが所定の配列ルールに従って並べられることで、画素値の２次元の分布（基準分布）ＤPV１ｙが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｂｉ１１ｙ〜Ｂｉ１７ｙが相互に平行に並べられ、且つ画素値分布Ｂｉ１１ｙ、画素値分布Ｂｉ１２ｙ、画素値分布Ｂｉ１３ｙ、画素値分布Ｂｉ１４ｙ、画素値分布Ｂｉ１５ｙ、画素値分布Ｂｉ１６ｙ、および画素値分布Ｂｉ１７ｙの順番に敷き詰められて合体されることで長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の基準分布ＤPV１ｙが生成される。
【０１８０】
また、図３３で示されるように、まず、各参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙから比較領域ＣＲ２１ｙ〜ＣＲ２７ｙに係る各画素列Ｃｉ２１ｙ〜Ｃｉ２７ｙが抽出される。ここでは、各画素列Ｃｉ２１ｙ〜Ｃｉ２７ｙは、各比較領域ＣＲ２１ｙ〜ＣＲ２７ｙに係る画素値の分布（画素値分布）を示す。詳細には、参照Ｘ方向視差抑制画像Ｇ２１ｙから比較領域ＣＲ２１ｙに係る画素値分布Ｃｉ２１ｙが抽出され、参照Ｘ方向視差抑制画像Ｇ２２ｙから比較領域ＣＲ２２ｙに係る画素値分布Ｃｉ２２ｙが抽出され、参照Ｘ方向視差抑制画像Ｇ２３ｙから比較領域ＣＲ２３ｙに係る画素値分布Ｃｉ２３ｙが抽出され、参照Ｘ方向視差抑制画像Ｇ２４ｙから比較領域ＣＲ２４ｙに係る画素値分布Ｃｉ２４ｙが抽出され、参照Ｘ方向視差抑制画像Ｇ２５ｙから比較領域ＣＲ２５ｙに係る画素値分布Ｃｉ２５ｙが抽出され、参照Ｘ方向視差抑制画像Ｇ２６ｙから比較領域ＣＲ２６ｙに係る画素値分布Ｃｉ２６ｙが抽出され、参照Ｘ方向視差抑制画像Ｇ２７ｙから比較領域ＣＲ２７ｙに係る画素値分布Ｃｉ２７ｙが抽出される。
【０１８１】
次に、画素値分布Ｃｉ２１ｙ〜Ｃｉ２７ｙが所定の配列ルールに従って並べられることで、画素値の２次元の分布（比較分布）ＤPV２ｙが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｃｉ２１ｙ〜Ｃｉ２７ｙが相互に平行に並べられ、且つ画素値分布Ｃｉ２１ｙ、画素値分布Ｃｉ２２ｙ、画素値分布Ｃｉ２３ｙ、画素値分布Ｃｉ２４ｙ、画素値分布Ｃｉ２５ｙ、画素値分布Ｃｉ２６ｙ、および画素値分布Ｃｉ２７ｙの順番に敷き詰められて合体されることで長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の比較分布ＤPV２ｙが生成される。
【０１８２】
なお、基準分布ＤPV１ｙおよび比較分布ＤPV２ｙが生成される際に、例えば、画素値分布Ｂｉ１１ｙ〜Ｂｉ１７ｙの配列順と画素値分布Ｃｉ２１ｙ〜Ｃｉ２７ｙの配列順が対応していれば、その他の配列順が採用されても良い。
【０１８３】
＜(2-2-9)第２対応点導出部３４２Ｂ＞
第２対応点導出部３４２Ｂは、基準分布ＤPV１ｙと比較分布ＤPV２ｙとを用いて、参照Ｘ方向視差抑制画像Ｇ２１ｙのうちの基準点Ｐbase１ｙに対応する対応点と、該対応点に係る信頼度とを導出する。
【０１８４】
図３４は、第２対応点導出部３４２Ｂにおける位相限定相関法を用いた対応点探索を説明するための図である。第２対応点導出部３４２Ｂにおける対応点探索は、第１実施形態に係る位相限定相関法を用いた対応点探索と比較して、該対応点探索に用いられる画像領域の組合せ（具体的には、基準分布ＤPV１の画像領域と比較分布ＤPV２の画像領域との組合せ）が、異なる画像領域の組合せ（具体的には、基準分布ＤPV１ｙの画像領域と比較分布ＤPV２ｙの画像領域との組合せ）に変更されたものである。
【０１８５】
第２対応点導出部３４２Ｂにおける対応点探索では、基準分布ＤPV１ｙと比較分布ＤPV２ｙとの相関を示すＰＯＣ値の分布が得られる。そして、比較分布ＤPV２ｙに係る画像領域内のうち、ＰＯＣ値のピークに対応する位置が、基準Ｘ方向視差抑制画像Ｇ１１ｙ上の基準領域ＢＲ１１ｙの中心点(基準点)Ｐbase１ｙに対応した参照Ｘ方向視差抑制画像Ｇ２１ｙ上の対応点であるものとして導出される。
【０１８６】
そして、このような位相限定相関法を用いた対応点探索によって、例えば、図３５で示されるように、比較分布ＤPV２ｙの中心点Ｐcent２ｙからずれた点Ｐcor２ｙがＰＯＣ値のピークに対応する点として検出される。このとき、参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙにおいて、比較領域ＣＲ２１ｙ〜ＣＲ２７ｙの中心点を基準として、中心点Ｐcent２ｙと点Ｐcor２ｙとの位置関係と同様な位置関係に係る点が対応点として導出される。また、点Ｐcor２ｙに係るＰＯＣ値のピークの値が、対応点としての確からしさを示す指標（信頼度）とされる。
【０１８７】
なお、以下では、第２対応点導出部３４２Ｂで導出される対応点を、適宜「第２対応点」と称し、該第２対応点に係る信頼度を、適宜「第２信頼度」と称する。また、第２領域設定部３２２Ｂ、第２画素値分布生成部３３２Ｂ、および第２対応点導出部３４２Ｂによる一連の処理によって対応点が探索される処理を、適宜「第２対応点探索処理」と称する。
【０１８８】
＜(2-2-10)信頼度比較部３４３Ｂ＞
信頼度比較部３４３Ｂは、第１対応点導出部３４１Ｂで導出される第１信頼度と、第２対応点導出部３４２Ｂで導出される第２信頼度とを比較して、相対的に大きな信頼度を認識する。ここで、比較の対象となる第１信頼度と第２信頼度の組合せは、基準画像Ｇ１１における１つの画素に対応する基準点Ｐbase１ｘの対応点に係る第１信頼度と、該１つの画素に対応する基準点Ｐbase１ｙの対応点に係る第２信頼度との組合せである。
【０１８９】
＜(2-2-11)対応点検出部３４４Ｂ＞
対応点検出部３４４Ｂは、信頼度比較部３４３Ｂにおける比較結果に基づいて、基準点Ｐbase１ｘと第１対応点との組合せ、および基準点Ｐbase１ｙと第２対応点との組合せのうちの一方の組合せを採用する。例えば、第１信頼度が第２信頼度よりも高い場合には、基準点Ｐbase１ｘと第１対応点との組合せが採用される。一方、第２信頼度が第１信頼度よりも高い場合には、基準点Ｐbase１ｙと第２対応点との組合せが採用される。
【０１９０】
なお、対応点検出部３４４Ｂでは、基準点Ｐbase１ｘと第１対応点との組合せが採用されれば、上式(１１)，(１２)に従って座標変換が行われることで、基準画像群Ｇ１における基準点と、該基準点に対応する参照画像群Ｇ２における対応点との関係が求められる。一方、基準点Ｐbase１ｙと第２対応点との組合せが採用されれば、上式(１１)，(１２)に従って座標変換が行われることで、基準画像群Ｇ１における基準点と、該基準点に対応する参照画像群Ｇ２における対応点との関係が求められる。これにより、複数の基準画像Ｇ１１〜Ｇ１７上の基準点に対応する複数の参照画像Ｇ２１〜Ｇ２７上の対応点が検出される。
【０１９１】
＜(2-2-12)配置変化検知部３５０Ｂ＞
配置変化検知部３５０Ｂは、複数の基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘにおける基準点Ｐbase１ｘの位置と、複数の参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘにおける第１対応点の位置との関係が、Ｙ方向に変化したことを認識することで、第１カメラ２１および第２カメラ２２の配置条件の変化を検知する。また、配置変化検知部３５０Ｂは、複数の基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙにおける基準点Ｐbase１ｙの位置と、複数の参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙにおける第２対応点の位置との関係が、Ｘ方向に変化したことを認識することで、第１カメラ２１および第２カメラ２２の配置条件の変化を検知する。すなわち、配置変化検知部３５０Ｂでは、第１視点と第２視点との相対的な配置に係る配置条件の変化が検知される。
【０１９２】
例えば、図２９で示されるように、比較分布ＤPV２ｘについて、中心点Ｐcent２ｘと点Ｐcor２ｘとの間におけるＹ方向へのずれ量が、予め設定される基準のずれ量（基準ずれ量）から変化していれば、配置変化検知部３５０Ｂによって配置条件の変化が検知される。また、図３５で示されるように、比較分布ＤPV２ｙについて、中心点Ｐcent２ｙと点Ｐcor２ｙとの間におけるＸ方向へのずれ量が、予め設定される基準のずれ量（基準ずれ量）から変化していれば、配置変化検知部３５０Ｂによって配置条件の変化が検知される。
【０１９３】
配置変化検知部３５０Ｂによって配置条件の変化が検知されると、配置関係の変化に対する調整作業（キャリブレーション）を実行すべき旨を示す表示要素が表示部３０２において可視的に出力される。なお、Ｙ方向に係る基準ずれ量は、キャリブレーションが行われた際の中心点Ｐcent２ｘと点Ｐcor２ｘとの間におけるＹ方向へのずれ量であり、Ｘ方向に係る基準ずれ量は、キャリブレーションが行われた際の中心点Ｐcent２ｙと点Ｐcor２ｙとの間におけるＸ方向へのずれ量である。このＸ方向およびＹ方向に係る基準ずれ量については、キャリブレーションが行われる度に更新されて、記憶部３０４に記憶される。なお、キャリブレーションの内容については、上記第１実施形態で説明したものと同様である。
【０１９４】
＜(2-2-13)距離導出部３６０Ｂ＞
距離導出部３６０Ｂは、対応点検出部３４４Ｂで検出された基準画像Ｇ１１における基準点の座標と参照画像Ｇ２１における対応点の座標との組合せに基づいて、ステレオカメラ２Ｂから、被写体ＯＢのうちの基準点に対応する部分までの距離を導出する。
【０１９５】
具体的には、上記キャリブレーションによって求められて記憶部３０４に記憶された変換用データＤtrans（具体的には、射影行列Ｐ1，Ｐ2）が、上式(１)，(２)に代入され、更に、基準点の座標の値が上式(１)の座標ｍ1の値として代入されるとともに、基準点に対応する対応点の座標の値が上式(２)の座標ｍ2の値として代入される。そして、この２式が解かれることで、被写体ＯＢのうちの基準点に対応する部分に係る３次元点の座標Ｍが求まる。このとき、例えば、ステレオカメラ２Ｂの３次元の座標が原点とされていれば、求められた座標Ｍに基づいて、ステレオカメラ２Ｂから被写体ＯＢのうちの基準点に対応する部分までの距離が容易に導出される。
【０１９６】
なお、ここで導出される距離のデータＬdataは、対応する３次元点の座標Ｍと関連付けられて、記憶部３０４に記憶される。
【０１９７】
このようにして、対応点検出部３４４Ｂで採用された基準点と対応点との組合せ（具体的には、基準点Ｐbase１ｘと第１対応点との組合せ、または基準点Ｐbase１ｙと第２対応点との組合せ）に基づいて、ステレオカメラ２Ｂから被写体ＯＢのうちの基準点に対応する部分までの距離が導出される。
【０１９８】
＜(2-3)画像処理装置の動作＞
図３６から図３８は、画像処理装置３Ｂにおける対応点探索処理、配置変化検知処理、および測距処理に係る動作フローを示すフローチャートである。本動作フローは、制御部３００ＢにおいてプログラムＰＧｂが実行されることで実現され、ユーザーが操作部３０１を種々操作することで、本動作フローが開始されて、図３６のステップＳＰ１に進む。
【０１９９】
ステップＳＰ１では、画像取得部３１０Ｂによって、基準画像群Ｇ１と参照画像群Ｇ２とが取得される。
【０２００】
ステップＳＰ２では、第１および第２平行化部３１１Ｂ，３１２Ｂによって、第１および第２平行化処理が行われる。つまり、基準画像群Ｇ１および参照画像群Ｇ２から、複数の基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘ、複数の参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘ、複数の基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙ、および複数の参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙが生成される。
【０２０１】
ステップＳＰ３では、第１領域設定部３２１Ｂ、第１画素値分布生成部３３１Ｂ、および第１対応点導出部３４１Ｂによって、第１対応点探索処理が行われる。このステップＳＰ３では、図３７で示される動作フローが実行される。
【０２０２】
図３７のステップＳＰ３１では、第１領域設定部３２１Ｂによって、基準Ｙ方向視差抑制画像Ｇ１１ｘを構成する１つの画素が基準点Ｐbase１ｘとして設定される。
【０２０３】
ステップＳＰ３２では、第１領域設定部３２１Ｂによって、１セット目の画像を構成する基準Ｙ方向視差抑制画像Ｇ１１ｘおよび参照Ｙ方向視差抑制画像Ｇ２１ｘに対してウインドウが設定される。ここでは、基準Ｙ方向視差抑制画像Ｇ１１ｘに対して１次元のウインドウである基準領域ＢＲ１１ｘが設定されるとともに、参照Ｙ方向視差抑制画像Ｇ２１ｘに対して１次元のウインドウである比較領域ＣＲ２１ｘが設定される。
【０２０４】
ステップＳＰ３３では、第１領域設定部３２１Ｂによって、２セット目以降の画像を構成する各基準Ｙ方向視差抑制画像Ｇ１２ｘ〜Ｇ１７ｘおよび各参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘに対してウインドウが設定される。ここでは、基準Ｙ方向視差抑制画像Ｇ１２ｘ〜Ｇ１７ｘに対して、基準領域ＢＲ１１ｘの形状、サイズ、および配設位置に対応する基準領域ＢＲ１２ｘ〜ＢＲ１７ｘが設定されるとともに、参照Ｙ方向視差抑制画像Ｇ２２ｘ〜Ｇ２７ｘに対して、比較領域ＣＲ２１ｘの形状、サイズ、および配設位置に対応する比較領域ＣＲ２２ｘ〜ＣＲ２７ｘが設定される。
【０２０５】
ステップＳＰ３４では、第１画素値分布生成部３３１Ｂによって、複数の基準領域ＢＲ１１ｘ〜ＢＲ１７ｘにおける画素値の分布から１つの２次元の空間に係る基準分布ＤPV１ｘが生成されるとともに、複数の比較領域ＣＲ２１ｘ〜ＣＲ２７ｘにおける画素値の分布から１つの２次元の空間に係る比較分布ＤPV２ｘが生成される。
【０２０６】
ステップＳＰ３５では、第１対応点導出部３４１Ｂによって、基準分布ＤPV１ｘと比較分布ＤPV２ｘとに基づいて、参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘのうちの基準点Ｐbase１ｘに対応する第１対応点と、該第１対応点に係る第１信頼度とが導出される。
【０２０７】
ステップＳＰ４では、第２領域設定部３２２Ｂ、第２画素値分布生成部３３２Ｂ、および第２対応点導出部３４２Ｂによって、第２対応点探索処理が行われる。このステップＳＰ４では、図３８で示される動作フローが実行される。
【０２０８】
図３８のステップＳＰ４１では、第２領域設定部３２２Ｂによって、基準Ｘ方向視差抑制画像Ｇ１１ｙを構成する１つの画素が基準点Ｐbase１ｙとして設定される。ここで設定される基準点Ｐbase１ｙは、ステップＳＰ３１で設定される基準点Ｐbase１ｘに対応する点である。より具体的には、ステップＳＰ３１で設定される基準点Ｐbase１ｘと、ステップＳＰ４１で設定される基準点Ｐbase１ｙは、基準画像Ｇ１１の同一画素に係る点である。
【０２０９】
ステップＳＰ４２では、第２領域設定部３２２Ｂによって、１セット目の画像を構成する基準Ｘ方向視差抑制画像Ｇ１１ｙおよび参照Ｘ方向視差抑制画像Ｇ２１ｙに対してウインドウが設定される。ここでは、基準Ｘ方向視差抑制画像Ｇ１１ｙに対して１次元のウインドウである基準領域ＢＲ１１ｙが設定されるとともに、参照Ｘ方向視差抑制画像Ｇ２１ｙに対して１次元のウインドウである比較領域ＣＲ２１ｙが設定される。
【０２１０】
ステップＳＰ４３では、第２領域設定部３２２Ｂによって、２セット目以降の画像を構成する各基準Ｘ方向視差抑制画像Ｇ１２ｙ〜Ｇ１７ｙおよび各参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙに対してウインドウが設定される。ここでは、基準Ｘ方向視差抑制画像Ｇ１２ｙ〜Ｇ１７ｙに対して、基準領域ＢＲ１１ｙの形状、サイズ、および配設位置に対応する基準領域ＢＲ１２ｙ〜ＢＲ１７ｙが設定されるとともに、参照Ｘ方向視差抑制画像Ｇ２２ｙ〜Ｇ２７ｙに対して、比較領域ＣＲ２１ｙの形状、サイズ、および配設位置に対応する比較領域ＣＲ２２ｙ〜ＣＲ２７ｙが設定される。
【０２１１】
ステップＳＰ４４では、第２画素値分布生成部３３２Ｂによって、複数の基準領域ＢＲ１１ｙ〜ＢＲ１７ｙにおける画素値の分布から１つの２次元の空間に係る基準分布ＤPV１ｙが生成されるとともに、複数の比較領域ＣＲ２１ｙ〜ＣＲ２７ｙにおける画素値の分布から１つの２次元の空間に係る比較分布ＤPV２ｙが生成される。
【０２１２】
ステップＳＰ４５では、第２対応点導出部３４２Ｂによって、基準分布ＤPV１ｙと比較分布ＤPV２ｙとに基づいて、参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙのうちの基準点Ｐbase１ｙに対応する第２対応点と、該第２対応点に係る第２信頼度とが導出される。
【０２１３】
ステップＳＰ５では、信頼度比較部３４３Ｂによって、ステップＳＰ３で導出された第１信頼度と、ステップＳＰ４で導出された第２信頼度とが比較されて、相対的に大きな信頼度が認識される。
【０２１４】
ステップＳＰ６では、対応点検出部３４４Ｂによって、信頼度比較部３４３Ｂにおける比較結果に基づき、基準点Ｐbase１ｘと第１対応点との組合せ、および基準点Ｐbase１ｙと第２対応点との組合せのうちの一方の組合せが採用され、該採用された一方の組合せから、複数の基準画像Ｇ１１〜Ｇ１７上の基準点に対応する複数の参照画像Ｇ２１〜Ｇ２７上の対応点が検出される。
【０２１５】
ステップＳＰ７では、距離導出部３６０Ｂによって、ステップＳＰ６で検出された基準点および対応点の座標に基づいて、被写体ＯＢのうちの基準点に対応する部分の３次元座標と、ステレオカメラ２Ｂを基準とした被写体ＯＢのうちの基準点に対応する部分までの距離とが導出される。なお、ここで導出される３次元座標および距離を示すデータは、基準点を示す情報と関連付けられて、記憶部３０４に記憶される。
【０２１６】
ステップＳＰ８では、配置変化検知部３５０Ｂによって、第１視点と第２視点との相対的な配置に係る配置条件の変化が検知されたか否かが判定される。ここでは、複数の基準Ｙ方向視差抑制画像Ｇ１１ｘ〜Ｇ１７ｘにおける基準点Ｐbase１ｘの位置と、複数の参照Ｙ方向視差抑制画像Ｇ２１ｘ〜Ｇ２７ｘにおける第１対応点の位置との間におけるＹ方向へのずれ量が、予め設定される基準ずれ量から変化していれば、第１カメラ２１および第２カメラ２２の配置条件の変化が検知される。また、複数の基準Ｘ方向視差抑制画像Ｇ１１ｙ〜Ｇ１７ｙにおける基準点Ｐbase１ｙの位置と、複数の参照Ｘ方向視差抑制画像Ｇ２１ｙ〜Ｇ２７ｙにおける第２対応点の位置との間におけるＸ方向へのずれ量が、予め設定される基準ずれ量から変化していれば、第１カメラ２１および第２カメラ２２の配置条件の変化が検知される。そして、配置条件の変化が検知されれば、ステップＳＰ９に進み、配置条件の変化が検知されなければ、ステップＳＰ１０に進む。
【０２１７】
ステップＳＰ９では、配置変化検知部３５０Ｂからの信号の出力によって、調整作業（キャリブレーション）を実行すべきである旨を示す表示要素が、表示部３０２において可視的に出力される。なお、このキャリブレーションを実行すべきである旨を示す表示要素の可視的な出力は、例えば、キャリブレーションが実行されるまで継続されても良い。また、キャリブレーションを実行すべき旨は、音声で報知されても良い。
【０２１８】
ステップＳＰ１０では、第１および第２領域設定部３２１Ｂ，３２２Ｂによって、基準Ｙ方向視差抑制画像Ｇ１１ｘにおいて基準点Ｐbase１ｘとして設定すべき点（処理対象点）が残存しているか否か、および基準Ｘ方向視差抑制画像Ｇ１１ｙにおいて基準点Ｐbase１ｙとして設定すべき点（処理対象点）が残存しているか否か判定される。例えば、基準Ｙ方向視差抑制画像Ｇ１１ｘを構成する全画素が基準点Ｐbase１ｘとして設定されたか否か判定される。ここで、処理対象点が残存していれば、ステップＳＰ２に戻り、ステップＳＰ３において、基準Ｙ方向視差抑制画像Ｇ１１ｘにおける別の画素が基準点Ｐbase１ｘとして設定されて、ステップＳＰ３の処理が行われるとともに、ステップＳＰ４において、基準Ｘ方向視差抑制画像Ｇ１１ｙにおける別の画素が基準点Ｐbase１ｙとして設定されて、ステップＳＰ４の処理が行われる。一方、処理対象点が残存していなければ、本動作フローが終了される。
【０２１９】
以上のような動作フローによって、基準画像Ｇ１１〜Ｇ１７上の基準点に対応する複数の参照画像Ｇ２１〜Ｇ２７上の対応点が検出されることになる。なお、基準画像Ｇ１１における所定画素ごとの基準点について対応点が検出されても良い。
【０２２０】
以上のように、第２実施形態に係る画像処理装置３Ｂでは、遠景と近景との共存がより少ない画像領域に基づいた対応点探索が行われる。このため、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索の高精度化が更に図られる。
【０２２１】
＜(3)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０２２２】
＜(3-1)第１変形例＞
上記第１および第２実施形態では、複数の基準領域における１次元の空間に係る画素値の分布から１つの２次元の空間に係る基準分布が生成されるとともに、複数の比較領域における１次元の空間に係る画素値の分布から１つの２次元の空間に係る比較分布が生成されたが、これに限られない。
【０２２３】
例えば、複数の基準領域における２次元の空間に係る画素値の分布から１つの３次元の空間に係る基準分布が生成されるとともに、複数の比較領域における２次元の空間に係る画素値の分布から１つの３次元の空間に係る比較分布が生成されるようにしても良い。すなわち、画素値の基準分布に係る空間の次元数が、複数の基準領域に係る空間の次元数よりも大きく、画素値の比較分布に係る空間の次元数が、複数の比較領域に係る空間の次元数よりも大きければ良い。
【０２２４】
ここで、各基準領域および各比較領域が、Ｘ方向およびＹ方向の双方に複数の画素が配列される２次元の領域であるとともに、画素値の基準分布が、複数の基準領域における画素値の分布が所定の配列ルールに従って積層されることで生成される３次元の画素値の分布であり、且つ画素値の比較分布が、複数の比較領域における画素値の分布が所定の配列ルールに従って積層されることで生成される３次元の画素値の分布である場合の対応点探索処理の具体例について説明する。
【０２２５】
第１変形例に係る情報処理システム１Ｃは、上記第１実施形態に係る情報処理システム１Ａと比較して、画像処理装置３Ａが、制御部３００Ａが機能の異なる制御部３００Ｃに置換された画像処理装置３Ｃに変更されたものとなっている。具体的には、図４で示されるように、上記第１実施形態に係る領域設定部３２０Ａが、領域設定部３２０Ｃに変更され、上記第１実施形態に係る画素値分布生成部３３０Ａが、画素値分布生成部３３０Ｃに変更され、上記第１実施形態に係る対応点検出部３４０Ａが、対応点検出部３４０Ｃに変更される。
【０２２６】
なお、制御部３００Ｃでは、記憶部３０４に記憶されるプログラムＰＧｃが読み込まれて実行されることで、各種機能が実現される。そして、第１変形例に係る情報処理システム１Ｃのその他の構成については、上記第１実施形態に係る情報処理システム１Ａのものと同様な構成となる。
【０２２７】
このため、以下では、第１変形例に係る情報処理システム１Ｃのうち、第１実施形態に係る情報処理システム１Ａと同様な構成については、同じ符号を付して説明を省略しつつ、第１実施形態に係る情報処理システム１Ａと異なる構成について説明する。
【０２２８】
領域設定部３２０Ｃは、基準領域設定部３２１Ｃと比較領域設定部３２２Ｃとを有する。基準領域設定部３２１Ｃは、各基準画像Ｇ１１〜Ｇ１７に対して、２次元のウインドウである基準領域をそれぞれ設定する。また、比較領域設定部３２２Ｃは、各参照画像Ｇ２１〜Ｇ２７に対して、２次元のウインドウである比較領域をそれぞれ設定する。
【０２２９】
具体的には、図３９で示されるように、基準画像Ｇ１１に対して、基準点Ｐbase１を中心点として包含し且つＸ方向に延設される略長方形の基準領域ＢＲ１１ｃが設定される。また、図４０で示されるように、参照画像Ｇ２１に対して、Ｘ方向に延設される略長方形の比較領域ＣＲ２１ｃが設定される。なお、基準領域ＢＲ１１ｃおよび比較領域ＣＲ２１ｃのＹ方向でのサイズとしては、２画素分などが考えられる。
【０２３０】
また、基準領域ＢＲ１１ｃと比較領域ＣＲ２１ｃとが対応する形状およびサイズ（同じ形状およびサイズ）を有するとともに、基準画像Ｇ１１に対する基準領域ＢＲ１１ｃの設定位置と、参照画像Ｇ２１に対する比較領域ＣＲ２１ｃの設定位置とが、基線長Ｌaxに応じた分だけＸ方向にずれた位置関係を有する。
【０２３１】
このようにして、領域設定部３２０Ｃは、複数の画像セットに含まれる１番目の画像セットを対象として、該１番目の画像セットに含まれる基準画像Ｇ１１に対して基準点Ｐbase１を含む基準領域ＢＲ１１ｃを設定するとともに、参照画像Ｇ２１に対して比較領域ＣＲ２１ｃを設定する。
【０２３２】
また、図３９で示されるように、各基準画像Ｇ１２〜Ｇ１７に対して、基準領域ＢＲ１２ｃ〜ＢＲ１７ｃがそれぞれ設定されるとともに、図４０で示されるように、各参照画像Ｇ２２〜Ｇ２７に対して、比較領域ＣＲ２２ｃ〜ＣＲ２７ｃがそれぞれ設定される。
【０２３３】
ここでは、基準領域ＢＲ１２ｃ〜ＢＲ１７ｃは、基準領域ＢＲ１１ｃと同一の形状およびサイズを有し、基準画像Ｇ１１に対する基準領域ＢＲ１１ｃの位置関係と、各基準画像Ｇ１２〜Ｇ１７に対する基準領域ＢＲ１２ｃ〜ＢＲ１７ｃの位置関係とが同一の位置関係を有する。また、比較領域ＣＲ２２ｃ〜ＣＲ２７ｃは、比較領域ＣＲ２１ｃと同一の形状およびサイズを有し、参照画像Ｇ２１に対する比較領域ＣＲ２１ｃの位置関係と、各参照画像Ｇ２２〜Ｇ２７に対する比較領域ＣＲ２２ｃ〜ＣＲ２７ｃの位置関係とが同一の位置関係を有する。
【０２３４】
このようにして、領域設定部３２０Ｃは、各基準画像Ｇ１１〜Ｇ１７に対して基準点Ｐbase１を含む基準領域ＢＲ１１ｃ〜ＢＲ１７ｃを同一配置となるようにそれぞれ設定するとともに、各参照画像Ｇ２１〜Ｇ２７に対して基準領域ＢＲ１１ｃ〜ＢＲ１７ｃの形状およびサイズに対応する比較領域ＣＲ２１ｃ〜ＣＲ２７ｃを同一配置となるようにそれぞれ設定する。
【０２３５】
そして、ここでは、ｘ方向に離間される第１視点と第２視点の配置条件に応じて、複数の基準領域ＢＲ１１ｃ〜ＢＲ１７ｃおよび複数の比較領域ＣＲ２１ｃ〜ＣＲ２７ｃの長手方向が、ｘ方向に対応するＸ方向に設定される。
【０２３６】
画素値分布生成部３３０Ｃは、複数の基準領域ＢＲ１１ｃ〜ＢＲ１７ｃに係る画素値の分布から１つの３次元の空間に係る画素値の分布（基準分布）を生成するとともに、複数の比較領域ＣＲ２１ｃ〜ＣＲ２７ｃに係る画素値の分布から１つの３次元の空間に係る画素値の分布（比較分布）を生成する。
【０２３７】
具体的には、図４１で示されるように、まず、各基準画像Ｇ１１〜Ｇ１７から基準領域ＢＲ１１ｃ〜ＢＲ１７ｃに係る各画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃが抽出される。次に、画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃが所定の配列ルールに従って並べられることで、画素値の３次元の分布（基準分布）ＤPV１ｃが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃが相互に平行に並べられ、且つ画素値分布Ｂｉ１１ｃ、画素値分布Ｂｉ１２ｃ、画素値分布Ｂｉ１３ｃ、画素値分布Ｂｉ１４ｃ、画素値分布Ｂｉ１５ｃ、画素値分布Ｂｉ１６ｃ、および画素値分布Ｂｉ１７ｃの順番に積層されるように並べられることで直方体の領域に係る画素値の分布が形成されるような配列ルールである。これにより、直方体の基準分布ＤPV１ｃが生成される。
【０２３８】
また、図４２で示されるように、まず、各参照画像Ｇ２１〜Ｇ２７から比較領域ＣＲ２１ｃ〜ＣＲ２７ｃに係る各画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃが抽出される。次に、画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃが所定の配列ルールに従って並べられることで、画素値の３次元の分布（比較分布）ＤPV２ｃが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃが相互に平行に並べられ、且つ画素値分布Ｃｉ２１ｃ、画素値分布Ｃｉ２２ｃ、画素値分布Ｃｉ２３ｃ、画素値分布Ｃｉ２４ｃ、画素値分布Ｃｉ２５ｃ、画素値分布Ｃｉ２６ｃ、および画素値分布Ｃｉ２７ｃの順番に積層されるように並べられることで直方体の領域に係る画素値の分布が形成されるような配列ルールである。これにより、直方体の比較分布ＤPV２ｃが生成される。
【０２３９】
なお、基準分布ＤPV１ｃおよび比較分布ＤPV２ｃが生成される際に、例えば、画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃの配列順と画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃの配列順が対応していれば、その他の配列順が採用されても良い。
【０２４０】
対応点検出部３４０Ｃは、基準分布ＤPV１ｃと比較分布ＤPV２ｃとを用いて、参照画像群Ｇ２のうちの基準点Ｐbase１に対応する対応点を検出する。
【０２４１】
図４３は、対応点検出部３４０Ｃにおける位相限定相関法を用いた対応点探索を説明するための図である。対応点検出部３４０Ｃにおける対応点探索では、上記第１実施形態に係る位相限定相関法を用いた対応点探索と比較して、該対応点探索に用いられる画像領域の組合せ（具体的には、基準分布ＤPV１の画像領域と比較分布ＤPV２の画像領域との組合せ）が、異なる画像領域の組合せ（具体的には、基準分布ＤPV１ｃの画像領域と比較分布ＤPV２ｃの画像領域との組合せ）に変更される。
【０２４２】
対応点検出部３４０Ｃにおける対応点探索では、基準分布ＤPV１ｃと比較分布ＤPV２ｃとの相関を示すＰＯＣ値の分布が得られる。そして、比較分布ＤPV２ｃに係る画像領域内のうち、ＰＯＣ値のピークに対応する位置が、基準画像Ｇ１１上の基準領域ＢＲ１１ｃの中心点(基準点)Ｐbase１に対応した参照画像Ｇ２１ｘ上の対応点として検出される。
【０２４３】
そして、このような位相限定相関法を用いた対応点探索によって、例えば、図４４で示されるように、比較分布ＤPV２ｃの中心点Ｐcent２ｃからずれた点Ｐcor２ｃがＰＯＣ値のピークに対応する点として検出される。このとき、参照画像Ｇ２１〜Ｇ２７において、比較領域ＣＲ２１ｃ〜ＣＲ２７ｃの中心点を基準として、中心点Ｐcent２ｃと点Ｐcor２ｃとの位置関係と同様な位置関係に係る点が対応点として検出される。
【０２４４】
なお、上記第１実施形態に係る対応点探索では、２次元の領域に係る位相限定相関法が採用されたが、本変形例に係る対応点探索では、３次元の領域に係る位相限定相関法が採用される。ここで、本変形例に係る対応点検出部３４０Ｃにおける対応点検索においてＰＯＣ値を導出するための方法について説明する。
【０２４５】
ここでは、基準分布ＤPV１ｃおよび比較分布ＤPV２ｃは、それぞれＸ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列され、Ｔ方向に沿って所定数Ｎ3の画素が配列される直方体の画像領域として取り扱われる。そして、これらの画像領域については、次の数１１で表されるものとする。
【０２４６】
【数１１】
2011028605.tif 000013
【０２４７】
上記の数１１におけるｆ(ｎ1,ｎ2,ｎ3)は、基準分布ＤPV１ｃに係る画像領域を示し、上記の数１１におけるｇ(ｎ1,ｎ2,ｎ3)は、比較分布ＤPV２ｃに係る画像領域を示す。また、Ｎ1、Ｎ2、Ｎ3は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１、Ｎ3＝２Ｍ3＋１と設定されている。
【０２４８】
そして、まず、基準分布ＤPV１ｃおよび比較分布ＤPV２ｃに係る各画像領域に対し、次の数１２で示される演算式を用いた３次元のフーリエ変換処理Ｔ１ａｃ、Ｔ１ｂｃが行われる。
【０２４９】
【数１２】
2011028605.tif 000014
【０２５０】
なお、上記の数１２のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2、Ｎ3が代入され、またｋの添字ｓには、１、２、３が代入される。
【０２５１】
このようなフーリエ変換処理Ｔ１ａｃ、Ｔ１ｂｃが施された各画像領域に対しては、次の数１３で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａｃ、Ｔ２ｂｃが行われる。
【０２５２】
【数１３】
2011028605.tif 000015
【０２５３】
規格化処理Ｔ２ａｃ、Ｔ２ｂｃが完了すると、次の数１４で示される演算式を用いた合成処理Ｔ３ｃが行われるとともに、数１５で示される演算式を用いた３次元の逆フーリエ変換処理Ｔ４ｃが行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０２５４】
【数１４】
2011028605.tif 000016
【０２５５】
【数１５】
2011028605.tif 000017
【０２５６】
以上のように、第１変形例に係る画像処理装置３Ｃでは、基準領域ＢＲ１１ｃ〜ＢＲ１７ｃ、および比較領域ＣＲ２１ｃ〜ＣＲ２７ｃが、長手方向がＸ方向に沿った比較的小さな長方形の領域である。このため、基準点に対応する対応点が比較領域から外れ難くなる。その結果、複数の画像に係る視点にズレが多少生じた場合でも、対応点探索の実行が可能となる。
【０２５７】
なお、本変形例の対応点探索の方法が、第２実施形態に係る画像処理装置３Ｂの第１および第２対応点探索処理に適用されても良い。
【０２５８】
＜(3-2)第２変形例＞
上記第１および第２実施形態、ならびに第１変形例では、画素値の基準分布に係る空間の次元数が、複数の基準領域に係る空間の次元数よりも大きく、画素値の比較分布に係る空間の次元数が、複数の比較領域に係る空間の次元数よりも大きかったが、これに限られない。
【０２５９】
例えば、各基準領域および各比較領域が、２次元の領域であるとともに、画素値の基準分布が、複数の基準領域に係る画素値の分布が所定の配列ルールに従って並べられることで生成される２次元の画素値の分布であり、且つ画素値の比較分布が、複数の比較領域に係る画素値の分布が所定の配列ルールに従って並べられることで生成される２次元の画素値の分布であっても良い。このような場合の基準分布と比較分布の生成方法について、以下説明する。
【０２６０】
第２変形例に係る情報処理システム１Ｄは、上記第１変形例に係る情報処理システム１Ｃと比較して、画像処理装置３Ｃが、制御部３００Ｃが機能の異なる制御部３００Ｄに置換された画像処理装置３Ｄに変更されたものとなっている。具体的には、図４で示されるように、上記第１変形例に係る画素値分布生成部３３０Ｃが、画素値分布生成部３３０Ｄに変更され、上記第１変形例に係る対応点検出部３４０Ｃが、対応点検出部３４０Ｄに変更される。
【０２６１】
なお、制御部３００Ｄでは、記憶部３０４に記憶されるプログラムＰＧｄが読み込まれて実行されることで、各種機能が実現される。そして、制御部３００Ｄで実現される機能のうち、第１変形例と同様な機能については、同じ符号を付して説明を省略しつつ、第１変形例に係る情報処理システム１Ｃと異なる構成である画素値分布生成部３３０Ｄおよび対応点検出部３４０Ｄについて説明する。
【０２６２】
画素値分布生成部３３０Ｄは、複数の基準領域ＢＲ１１ｃ〜ＢＲ１７ｃに係る画素値の分布から１つの２次元の空間に係る画素値の分布（基準分布）を生成するとともに、複数の比較領域ＣＲ２１ｃ〜ＣＲ２７ｃに係る画素値の分布から１つの２次元の空間に係る画素値の分布（比較分布）を生成する。
【０２６３】
具体的には、図４５で示されるように、画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃが所定の配列ルールに従って並べられることで、画素値の２次元の分布（基準分布）ＤPV１ｄが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃが相互に平行に並べられ、且つ画素値分布Ｂｉ１１ｃ、画素値分布Ｂｉ１２ｃ、画素値分布Ｂｉ１３ｃ、画素値分布Ｂｉ１４ｃ、画素値分布Ｂｉ１５ｃ、画素値分布Ｂｉ１６ｃ、および画素値分布Ｂｉ１７ｃの順番に敷き詰められるように並べられることで長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の基準分布ＤPV１ｄが生成される。
【０２６４】
また、図４６で示されるように、画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃが所定の配列ルールに従って並べられることで、画素値の２次元の分布（比較分布）ＤPV２ｄが生成される。ここでは、所定の配列ルールは、例えば、画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃが相互に平行に並べられ、且つ画素値分布Ｃｉ２１ｃ、画素値分布Ｃｉ２２ｃ、画素値分布Ｃｉ２３ｃ、画素値分布Ｃｉ２４ｃ、画素値分布Ｃｉ２５ｃ、画素値分布Ｃｉ２６ｃ、および画素値分布Ｃｉ２７ｃの順番に敷き詰められるように並べられることで長方形の領域に係る画素値の分布が形成されるような配列ルールである。これにより、長方形の比較分布ＤPV２ｄが生成される。
【０２６５】
対応点検出部３４０Ｄにおける位相限定相関法を用いた対応点探索の方法については、第１実施形態に係る対応点検出部３４０Ａにおける対応点探索と同様な方法が採用される。但し、該対応点探索に用いられる画像領域の組合せ（具体的には、基準分布ＤPV１の画像領域と比較分布ＤPV２の画像領域との組合せ）が、異なる画像領域の組合せ（具体的には、基準分布ＤPV１ｄの画像領域と比較分布ＤPV２ｄの画像領域との組合せ）に変更される。
【０２６６】
なお、基準分布ＤPV１ｄおよび比較分布ＤPV２ｄが生成される際に、例えば、画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃの配列順と画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃの配列順が対応していれば、その他の配列順が採用されても良い。
【０２６７】
また、図４５で示されるように、画素値分布Ｂｉ１１ｃ〜Ｂｉ１７ｃが一列に並べられることで、基準分布ＤPV１ｄが生成され、図４６で示されるように、画素値分布Ｃｉ２１ｃ〜Ｃｉ２７ｃが一列に並べられることで、比較分布ＤPV２ｄが生成されたが、これに限られない。例えば、図４７で示されるように、画素値分布Ｂｉ１１ｃ〜Ｂｉ１３ｃが一列目を成し、画素値分布Ｂｉ１４ｃ〜Ｂｉ１６ｃが二列目を成すように並べられることで、基準分布ＤPV１ｄｄが生成され、図４８で示されるように、画素値分布Ｃｉ２１ｃ〜Ｃｉ２３ｃが一列目を成し、画素値分布Ｃｉ２４ｃ〜Ｃｉ２６ｃが二列目を成すように並べられることで、比較分布ＤPV２ｄｄが生成されても良い。
【０２６８】
＜(3-3)第３変形例＞
上記第１および第２実施形態ならびに第１および第２変形例では、ステレオカメラ２Ａ，２Ｂによって被写体ＯＢをそのまま時間順次に撮像したが、これに限られない。例えば、第１および第２カメラ２１，２２における撮像のタイミング毎に異なる模様を被写体ＯＢに対して投影する投影装置を更に設けても良い。
【０２６９】
図４９は、第１実施形態に係る情報処理システム１Ａに、投影装置２３が更に設けられた第３変形例に係る情報処理システム１Ｅの概略構成を示す図である。
【０２７０】
投影装置２３は、画像処理装置３Ａによって、被写体ＯＢに対する投影タイミングが制御される。例えば、投影装置２３は、第１および第２カメラ２１，２２の撮像タイミングと同期して、撮像のタイミング毎に異なる模様を被写体ＯＢに対して投影する。なお、投影装置２３によって投影される模様としては、ドットがランダムに配置されるパターン（ランダムドットパターン）や、正規分布のノイズのパターン（ガウスノイズパターン）等が挙げられる。
【０２７１】
以上のように、本変形例に係る情報処理システム１Ｅでは、時間順次に異なる模様が被写体に投影されて複数の画像が撮像されることで、対応点探索に係る演算に用いる情報量がより増大する。このため、遠景と近景とが共存する同一の被写体をとらえた複数の画像を対象とした対応点探索がより安定かつ精度良く行われる。
【０２７２】
＜(3-4)その他の変形例＞
上記第１および第２実施形態ならびに第１〜３変形例に係る情報処理システム１Ａ〜１Ｅでは、基準画像群Ｇ１における基準点に対応する参照画像群Ｇ２における対応点が１段階の処理によって検出されたが、これに限られない。例えば、次の工程(Ｉ)〜(III)を含む多段階の処理によって基準点に対応する対応点が検出されても良い。
【０２７３】
(Ｉ)まず、基準画像群Ｇ１について、所定間隔の画素ラインが採用されることで、複数段階の解像度に係る基準画像群が生成されるとともに、参照画像群Ｇ２について、所定間隔の画素ラインが採用されることで、複数段階の解像度に係る参照画像群が生成される。
【０２７４】
(II)次に、低解像度の基準画像と参照画像との間で、基準点に対応する対応点が検出される。
【０２７５】
(III)更に、相対的に解像度が高い基準画像と参照画像との間で、低解像度の基準画像と参照画像との間における基準点と対応点とが基準とされて、基準領域と比較領域とが設定されるとともに、該基準領域と該比較領域との間で、基準点に対応する対応点が検出される。
【０２７６】
このような構成では、第２および第３変形例に係る基準領域ＢＲ１１ｃ〜ＢＲ１７ｃおよび比較領域ＣＲ２１ｃ〜ＣＲ２７ｃのように、若干なりとも基準領域および比較領域が２次元空間において拡がりを有する方が、比較領域から対応点が外れることで対応点探索の精度が低下するような不具合が生じ難い。
【０２７７】
また、上記第１および第２実施形態ならびに第１〜３変形例に係る情報処理システム１Ａ〜１Ｅでは、直交するＸ方向およびＹ方向を基準として基準領域および比較領域が設定されるとともに、基準分布および比較分布が生成されたが、これに限られない。例えば、Ｘ方向およびＸ方向に対して鋭角を成して交わる方向を基準として基準領域および比較領域が設定されるとともに、基準分布および比較分布が生成されても良い。
【０２７８】
また、上記第１および第２実施形態ならびに第１〜３変形例に係る情報処理システム１Ａ〜１Ｅでは、基準画像と参照画像とが各画像セットに含まれる複数の画像セットが対象とされて、基準点に対応する対応点が検出されたが、これに限られない。例えば、各画像セットが、３以上の画像を含み、該３以上の画像の間で、基準点に対応する対応点が検出されても良い。すなわち、各画像セットが、２以上の画像を含み、該２以上の画像の間で、基準点に対応する対応点が検出されれば良い。
【０２７９】
なお、上記第１および第２実施形態、第１〜３変形例、ならびにその他の変形例の全部または一部については、勿論、矛盾を生じない範囲で適宜組合せられても良い。
【符号の説明】
【０２８０】
１Ａ〜１Ｅ  情報処理システム
２Ａ，２Ｂ  ステレオカメラ
２１  第１カメラ
２２  第２カメラ
３００Ａ〜３００Ｄ  制御部
３１０，３１０Ｂ  画像取得部
３２０Ａ，３２０Ｃ  領域設定部
３１１Ｂ，３１２Ｂ  平行化部
３２０Ａ，３２０Ｃ  領域設定部
３２１Ｂ  第１領域設定部
３２２Ｂ  第２領域設定部
３２１Ａ，３２１Ｃ，３２１１Ｂ，３２２１Ｂ  基準領域設定部
３２２Ａ，３２２Ｃ，３２１２Ｂ，３２２２Ｂ  比較領域設定部
３３０Ａ，３３０Ｃ，３３０Ｄ  画素値分布生成部
３３１Ｂ  第１画素値分布生成部
３３２Ｂ  第２画素値分布生成部
３４０Ａ，３４０Ｃ，３４０Ｄ，３４４Ｂ  対応点検出部
３４１Ｂ  第１対応点導出部
３４２Ｂ  第２対応点導出部
３４３Ｂ  信頼度比較部
３５０，３５０Ｂ  配置変化検知部
３６０，３６０Ｂ  距離導出部
ＰＧａ〜ＰＧｄ  プログラム
【図１】
2011028605.tif 000018
【図２】
2011028605.tif 000019
【図３】
2011028605.tif 000020
【図４】
2011028605.tif 000021
【図５】
2011028605.tif 000022
【図６】
2011028605.tif 000023
【図７】
2011028605.tif 000024
【図８】
2011028605.tif 000025
【図９】
2011028605.tif 000026
【図１０】
2011028605.tif 000027
【図１１】
2011028605.tif 000028
【図１２】
2011028605.tif 000029
【図１３】
2011028605.tif 000030
【図１４】
2011028605.tif 000031
【図１５】
2011028605.tif 000032
【図１６】
2011028605.tif 000033
【図１７】
2011028605.tif 000034
【図１８】
2011028605.tif 000035
【図１９】
2011028605.tif 000036
【図２０】
2011028605.tif 000037
【図２１】
2011028605.tif 000038
【図２２】
2011028605.tif 000039
【図２３】
2011028605.tif 000040
【図２４】
2011028605.tif 000041
【図２５】
2011028605.tif 000042
【図２６】
2011028605.tif 000043
【図２７】
2011028605.tif 000044
【図２８】
2011028605.tif 000045
【図２９】
2011028605.tif 000046
【図３０】
2011028605.tif 000047
【図３１】
2011028605.tif 000048
【図３２】
2011028605.tif 000049
【図３３】
2011028605.tif 000050
【図３４】
2011028605.tif 000051
【図３５】
2011028605.tif 000052
【図３６】
2011028605.tif 000053
【図３７】
2011028605.tif 000054
【図３８】
2011028605.tif 000055
【図３９】
2011028605.tif 000056
【図４０】
2011028605.tif 000057
【図４１】
2011028605.tif 000058
【図４２】
2011028605.tif 000059
【図４３】
2011028605.tif 000060
【図４４】
2011028605.tif 000061
【図４５】
2011028605.tif 000062
【図４６】
2011028605.tif 000063
【図４７】
2011028605.tif 000064
【図４８】
2011028605.tif 000065
【図４９】
2011028605.tif 000066