(57)【要約】【課題】  対象物と撮像装置との距離に応じて、高精度、高速に対象物の３次元情報を取得する。【解決手段】  対象物を撮像する撮像装置と、同一の対象物を複数の方向から撮像した複数の高解像度画像を取得する画像取得部と、低解像度画像を生成する低解像度画像生成部と、基準画像上の点に対応する比較画像上の対応点を探索する対応点探索部と、対応点の探索結果に基づいて３次元情報を演算する３次元情報演算部と、低解像度画像に基づく３次元情報から高解像度画像における探索点の距離範囲を決定する距離範囲決定部と、距離範囲に基づいて高解像度画像における探索ウィンドウサイズを決定するウィンドウサイズ決定部と、距離範囲により定まる視差範囲に基づいて高解像度画像における前記対応点の探索範囲を限定する探索範囲限定部と、を備える。【選択図】  図１
2012002683.tif 000002
【特許請求の範囲】
【請求項１】
同一の対象物を複数の方向から撮像した複数の撮像画像を取得する画像取得ステップと、
前記撮像画像から低解像度画像を生成する低解像度画像生成ステップと、
前記低解像度画像の１つを第１基準画像、他を第１比較画像とし、該第１基準画像から予め定められた第１探索ウィンドウサイズにて第１基準座標点を含む第１基準領域を選択し、前記第１比較画像から前記第１探索ウィンドウサイズにて複数の第１比較領域を選択し、前記第１基準領域と前記第１比較領域との類似関係を求め、前記類似関係に基づいて前記第１基準座標点に対応する前記第１比較画像上の第１対応座標点を探索する第１の対応点探索ステップと、
前記第１の対応点探索ステップの探索結果に基づいて前記低解像度画像の３次元情報を演算する第１の３次元情報演算ステップと、
前記低解像度画像の３次元情報から、前記撮像画像の３次元情報を演算する撮像装置からの距離範囲を決定する距離範囲決定ステップと、
前記距離範囲に基づいて第２探索ウィンドウサイズを決定するウィンドウサイズ決定ステップと、
前記距離範囲により定まる視差範囲に基づいて第２対応座標点の探索範囲を限定する探索範囲限定ステップと、
前記撮像画像の１つを第２基準画像、他を第２比較画像とし、前記第２基準画像の前記距離範囲にある領域から前記第２探索ウィンドウサイズにて第２基準座標点を含む第２基準領域を選択し、前記第２比較画像の前記探索範囲にある領域から前記第２探索ウィンドウサイズにて複数の第２比較領域を選択し、前記第２基準領域と前記第２比較領域との類似関係を求め、該類似関係に基づいて前記第２基準座標点に対応する前記第２比較画像上の前記第２対応座標点を探索する第２の対応点探索ステップと、
前記第２の対応点探索ステップの探索結果に基づいて前記撮像画像の３次元情報を演算する第２の３次元情報演算ステップと、
からなるステレオ画像処理方法。
【請求項２】
対象物を撮像する撮像装置と、
前記撮像装置にて同一の前記対象物を複数の方向から撮像した複数の撮像画像を取得する画像取得部と、
前記低解像度画像の１つを第１基準画像、他を第１比較画像とし、該第１基準画像から予め定められた第１探索ウィンドウサイズにて第１基準座標点を含む第１基準領域を選択し、前記第１比較画像から前記第１探索ウィンドウサイズにて複数の第１比較領域を選択し、前記第１基準領域と前記第１比較領域との類似関係を求め、前記類似関係に基づいて前記第１基準座標点に対応する前記第１比較画像上の第１対応座標点を探索する第１の対応点探索部と、
前記第１の対応点探索部の探索結果に基づいて前記低解像度画像の３次元情報を演算する第１の３次元情報演算部と、
前記低解像度画像の３次元情報から、前記撮像画像の３次元情報を演算する撮像装置からの距離範囲を決定する距離範囲決定部と、
前記距離範囲に基づいて第２探索ウィンドウサイズを決定するウィンドウサイズ決定部と、
前記距離範囲により定まる視差範囲に基づいて第２対応座標点の探索範囲を限定する探索範囲限定部と、
前記撮像画像の１つを第２基準画像、他を第２比較画像とし、前記第２基準画像の前記距離範囲にある領域から前記第２探索ウィンドウサイズにて第２基準座標点を含む第２基準領域を選択し、前記第２比較画像の前記探索範囲にある領域から前記第２探索ウィンドウサイズにて複数の第２比較領域を選択し、前記第２基準領域と前記第２比較領域との類似関係を求め、該類似関係に基づいて前記第２基準座標点に対応する前記第２比較画像上の前記第２対応座標点を探索する第２の対応点探索部と、
前記第２の対応点探索部の探索結果に基づいて前記撮像画像の３次元情報を演算する第２の３次元情報演算部と、
を備えたステレオ画像処理装置
【請求項３】
前記ウィンドウサイズ決定部は、前記距離範囲が撮像装置から遠いほど前記探索ウィンドウサイズを小さくする、請求項２に記載のステレオ画像処理装置。
【請求項４】
前記距離範囲決定部は、前記低解像度画像の３次元情報から１つ以上の距離範囲を決定する、請求項２または３に記載のステレオ画像処理装置。
【請求項５】
前記距離範囲決定部は、前記低解像度画像の３次元情報から複数の前記対象物の距離を特定し、前記特定された対象部の距離ごとに対象物の大きさから複数の前記距離範囲を決定する、
請求項４に記載のステレオ画像処理装置。
【請求項６】
前記距離範囲決定部は、前記低解像度画像の３次元情報から前記対象物の距離を特定し、前記特定された対象物の距離と対象物の大きさとから前記距離範囲を決定する、
請求項４に記載のステレオ画像処理装置。
【請求項７】
前記距離範囲決定部は、前記低解像度画像の３次元情報から距離が最も近い前記対象物の距離を特定し、前記特定された対象物の距離と前記対象物の大きさとから前記距離範囲を決定する、
請求項６に記載のステレオ画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物をステレオ画像により３次元測定するに際し、３次元データ算出の高速化および高精度化を可能にするステレオ画像処理方法およびステレオ画像処理装置に関する。
【背景技術】
【０００２】
従来から、所定の対象物の３次元データを取得する方法として三角測量の原理を利用したステレオ法が知られている。ステレオ法とは、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影し、測定対象物の３次元空間における位置を算出するものである。
【０００３】
図１３にステレオ法の概略を示す。この図が示すように、ステレオ法では、異なる視点Ｃ，Ｃ’から同一対象物を撮像した基準画像と比較画像の２つの画像により、３次元空間中で同一点の基準画像上の座標（u,v）と比較画像上の座標（u',v'）とを対応づけ、三角測量の原理に基づいて測定しようとする対象点の３次元座標（X, Y, Z）を求める。
【０００４】
例えば、ステレオ法を用いた所定の対象物の３次元データ（距離画像）を生成する装置として、特許文献１に記載の距離画像生成装置が知られている。
図１４は特許文献１に記載の距離画像生成装置である。特許文献１に記載の距離画像生成装置は、基準画像と比較画像（参照画像）とを取得する撮像装置２ａ，２ｂと、基準画像及び比較画像（参照画像）について解像度の異なる複数の階層画像を生成する多重解像度画像生成部１３と、少なくとも最低解像度の階層画像に対して対応点探索を行うＳＡＤ（Sum  of  Absolute  Difference）演算部６と、少なくとも最高解像度の階層画像に対して対応点探索を行うＰＯＣ（Phase-Only  Correlation）演算部７を備え、低解像度の階層画像から対応点探索を開始し、順次解像度の高い階層画像について対応点探索を行い、最高解像度の階層画像に至るまで順に対応点探索を繰り返す対応点探索部１５と、直前の階層についての探索結果に基づいて次の階層の階層画像の探索領域を設定する探索領域設定部１４と、探索結果に基づいて距離画像を生成する距離画像生成部１６とを備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１６１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来は、処理装置の処理速度等の問題から、ある限られた距離範囲にある対象物の３次元データを取得することを目的としたものが多く、対応点を探索する処理においては、基準画像から予め定められた領域（以下、ウィンドウサイズとする。）を基準領域として選択し、基準領域と比較画像の同じウィンドウサイズの類似している領域（比較領域）とを比較することで対応点の検索を行っていた。
【０００７】
しかし、山積み部品の３次元データを取得する場合やコンベアを流れてくる製品の３次元データを取得する場合等の対象物から撮像装置までの距離が対象物ごとに大きく異なる場合、ウィンドウサイズを距離の遠い対象物に合わせたウィンドウサイズとすると、距離が近い対象物において基準領域と比較領域との特徴の差異が減少するため対応点の探索精度が低下してしまう。一方、ウィンドウサイズを距離の近い対象物に合わせたウィンドウサイズとすると、距離が遠い対象物においてはウィンドウサイズが必要以上大きいために探索に要する処理時間が増えることとなる。
【０００８】
そこで、本発明は上記課題に鑑みてなされたものであり、対象物と撮像装置との距離に応じて、高精度、高速に対象物の３次元情報を取得するものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係るステレオ画像処理方法は、
同一の対象物を複数の方向から撮像した複数の撮像画像を取得する画像取得ステップと、
前記撮像画像から低解像度画像を生成する低解像度画像生成ステップと、
前記低解像度画像の１つを第１基準画像、他を第１比較画像とし、該第１基準画像から予め定められた第１探索ウィンドウサイズにて第１基準座標点を含む第１基準領域を選択し、前記第１比較画像から前記第１探索ウィンドウサイズにて複数の第１比較領域を選択し、前記第１基準領域と前記第１比較領域との類似関係を求め、前記類似関係に基づいて前記第１基準座標点に対応する前記第１比較画像上の第１対応座標点を探索する第１の対応点探索ステップと、
前記第１の対応点探索ステップの探索結果に基づいて前記低解像度画像の３次元情報を演算する第１の３次元情報演算ステップと、
前記低解像度画像の３次元情報から、前記撮像画像の３次元情報を演算する撮像装置からの距離範囲を決定する距離範囲決定ステップと、
前記距離範囲に基づいて第２探索ウィンドウサイズを決定するウィンドウサイズ決定ステップと、
前記距離範囲により定まる視差範囲に基づいて第２対応座標点の探索範囲を限定する探索範囲限定ステップと、
前記撮像画像の１つを第２基準画像、他を第２比較画像とし、前記第２基準画像の前記距離範囲にある領域から前記第２探索ウィンドウサイズにて第２基準座標点を含む第２基準領域を選択し、前記第２比較画像の前記探索範囲にある領域から前記第２探索ウィンドウサイズにて複数の第２比較領域を選択し、前記第２基準領域と前記第２比較領域との類似関係を求め、該類似関係に基づいて前記第２基準座標点に対応する前記第２比較画像上の前記第２対応座標点を探索する第２の対応点探索ステップと、
前記第２の対応点探索ステップの探索結果に基づいて前記撮像画像の３次元情報を演算する第２の３次元情報演算ステップと、
から処理されることを特徴とする。
【００１０】
さらに、本発明に係るステレオ画像処理装置は、
対象物を撮像する撮像装置と、
前記撮像装置にて同一の前記対象物を複数の方向から撮像した複数の撮像画像を取得する画像取得部と、
前記低解像度画像の１つを第１基準画像、他を第１比較画像とし、該第１基準画像から予め定められた第１探索ウィンドウサイズにて第１基準座標点を含む第１基準領域を選択し、前記第１比較画像から前記第１探索ウィンドウサイズにて複数の第１比較領域を選択し、前記第１基準領域と前記第１比較領域との類似関係を求め、前記類似関係に基づいて前記第１基準座標点に対応する前記第１比較画像上の第１対応座標点を探索する第１の対応点探索部と、
前記第１の対応点探索部の探索結果に基づいて前記低解像度画像の３次元情報を演算する第１の３次元情報演算部と、
前記低解像度画像の３次元情報から、前記撮像画像の３次元情報を演算する撮像装置からの距離範囲を決定する距離範囲決定部と、
前記距離範囲に基づいて第２探索ウィンドウサイズを決定するウィンドウサイズ決定部と、
前記距離範囲により定まる視差範囲に基づいて第２対応座標点の探索範囲を限定する探索範囲限定部と、
前記撮像画像の１つを第２基準画像、他を第２比較画像とし、前記第２基準画像の前記距離範囲にある領域から前記第２探索ウィンドウサイズにて第２基準座標点を含む第２基準領域を選択し、前記第２比較画像の前記探索範囲にある領域から前記第２探索ウィンドウサイズにて複数の第２比較領域を選択し、前記第２基準領域と前記第２比較領域との類似関係を求め、該類似関係に基づいて前記第２基準座標点に対応する前記第２比較画像上の前記第２対応座標点を探索する第２の対応点探索部と、
前記第２の対応点探索部の探索結果に基づいて前記撮像画像の３次元情報を演算する第２の３次元情報演算部と、
を備えていることを特徴とする。
【発明の効果】
【００１１】
本発明に係るステレオ画像処理方法およびステレオ画像処理装置によれば、３次元データを取得する対象物の撮像装置からの距離に応じたウィンドウサイズを用いて対応点探索を行うことで対象物の３次元データを高速、高精度に取得することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係るステレオ画像処理装置の一実施形態の概略構成図である。
【図２】対応点の探索原理を説明する図である。
【図３】平行化処理の原理図である。
【図４】高解像度画像と低解像度画像の対応付けの説明図である。
【図５】ウィンドウを用いた対応点探索を説明する図である。
【図６】探索範囲限定部の有無による探索範囲の差異を示す図である。
【図７】撮像装置とコンベアと対象物との位置関係を表した図である。
【図８】図７の状態を撮像装置で撮像した画像である。
【図９】撮像装置と山積みされた対象物との位置関係を表した図である。
【図１０】本発明の実施形態に係るステレオ画像処理装置のフロー図である。
【図１１】山積みされた対象物に本実施形態を適用した場合に、最上段にある対象物を認識するための距離範囲を示す図である。
【図１２】山積みされた対象物に本実施形態を適用した場合に、距離範囲を複数に分割した場合を示した図である。
【図１３】ステレオ法の原理を説明する概略図である。
【図１４】特許文献１に記載の距離画像生成装置である。
【発明を実施するための形態】
【００１３】
以下、図を用いて本発明に係るステレオ画像処理方法およびステレオ画像処理装置の実施形態について説明する。
図１は本発明に係るステレオ画像処理装置の一実施形態の概略構成図である。
【００１４】
図１に示すように、ステレオ画像処理装置１００は、対象物を撮像する２つの撮像装置２０１，２０２と、画像処理部３００と、を備えている。さらに、ステレオ画像処理装置とオペレーターとのインターフェース部として、キーボード４０１、マウス４０２、ディスプレー４０３とが、画像処理部３００に接続されている。
【００１５】
撮像装置２０１，２０２は、同一の対象物を異なる２つの視点から撮像した画像データを取得するものである。撮像装置２０１と２０２とは、視点位置、視線方向、レンズ歪補正値等の撮像装置パラメーターが把握されている。なお、撮像装置パラメーターはステレオカメラのキャリブレーション方法として各種の周知な方法で求めることができ、かつ本発明の主要部ではないので、撮像装置パラメーターの取得方法について説明は省略する。
【００１６】
撮像装置２０１で撮像した画像を基準となる基準画像、撮像装置２０２で撮像した画像を比較対象となる比較画像とする。なお、本実施形態では２つの撮像装置を利用しているが、基準画像と比較画像が撮像された際の撮像装置パラメーターが把握できれば、１つの撮像装置を用いて異なる２つの視点から基準画像と比較画像を取得してもよい。さらに、撮像パラメーターが把握できれば、１つの基準画像と２つ以上の比較画像を取得しても良い。係る場合、撮像装置を３つ以上用いても良いし、撮像装置を１つとして異なる３つ以上の視点から撮像するようにしても良い。
【００１７】
画像処理部３００は、ＣＰＵ、ＭＰＵ、ＤＳＰ等の処理装置と、ＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶装置とからなるコンピューターである。画像処理部３００は、記憶装置に記憶されたプログラムを処理装置にて実行することで、下記に詳細に説明する各部を実現している。
【００１８】
以下、画像処理部３００の処理内容について説明する。
画像取得部３１０は、撮像装置２０１で撮像した画像を基準画像として記憶し、撮像装置２０２で撮像した画像を比較画像として記憶する。
【００１９】
なお、基準画像および比較画像は、撮像装置２０１，２０２で撮像したそのものではなく平行化処理を施した画像とすることができる。後に説明する対応点探索部３３０では、図２のように基準画像上のある点（画素）に対応する比較画像上の対応点（対応画素）がエピポーラ線と呼ばれる線上にあることを利用し、エピポーラ線上で最も類似している点（画素）が対応点（対応画素）として探索する。ここで、このエピポーラ線が水平になるように、図３のように基準画像、比較画像をそれぞれ平行カメラで撮影した場合の平面へ射影し、仮想基準画像および仮想比較画像を生成する。これにより、探索範囲を横方向に限定できるため、対応点（対応画素）の探索を容易にすることができる。これが画像の平行化処理である。
【００２０】
低解像度画像生成部３２０は、画像取得部３１０で取得した基準画像および比較画像について画像データサイズを削減する画像圧縮処理を行い、低解像度画像を生成する。ここで、画像取得部３１０で取得した基準画像および比較画像を高解像度画像と呼ぶ事にする。例として、高解像度画像の解像度が1200×1600であったら、300×400の解像度の画像を生成するといったものである。この時、低解像度画像をどの程度の解像度とするかは制限されない。
【００２１】
さらに、高解像度画像と低解像度画像の各画素は対応付けがなされているものとする。図４は高解像度画像と低解像度画像の対応付けの説明図である。図４のように、1200×1600の高解像度画像から300×400の低解像度画像を生成した場合には、高解像度画像の４×４画素が低解像度画像の１画素に対応付けられ、低解像度画像の画素（m,n）は高解像度画像の画素（4m-3,4n-3）・・・（4m,4n）の１６画素が対応付けられる。
【００２２】
対応点探索部３３０は、同じ解像度の画像を用い、図５に示すように基準画像から所定の大きさ（以下、ウィンドウサイズという。）にて基準点（基準画素）を含む基準領域（以下、探索ウィンドウという場合もある。）を選択し、比較画像における基準点（基準画素）のエピポーラ線上にある同じウィンドウサイズの領域（以下、ウィンドウという場合もある。）との類似関係を求め、前記類似関係から基準点（基準画素）の対応点（対応画素）として求める。ここで、類似関係は周知のＳＡＤ演算法やＰＯＣ演算法等を用いて求める事ができる。例えば、基準画像のウィンドウと比較画像のウィンドウの類似度を示す相関値を求め、最も類似度が高くなる相関値を有するウィンドウ同士の中心点（画素）が基準点（基準画素）と対応点（対応画素）として探索できる。勿論、対応点を求める他の方法を利用することができる。
【００２３】
対応点探索部３３０は、第１対応点探索部３３１と第２対応点探索部３３２とから構成されている。第１対応点探索部３３１が低解像度画像における対応点探索を行い、第２対応点探索部３３２が高解像度画像における対応点探索を行う。
【００２４】
第１対応点探索部３３１は、予め定められたウィンドウサイズを用い、基準画像の全領域について探索ウィンドウを選択し、探索ウィンドウの比較画像のエピポーラ線上にあるウィンドウと探索ウィンドウとの類似関係から、基準点（基準画素）と対応点（対応画素）とを求める。なお、基準画像と比較画像の外周縁部の近傍の点（画素）は、理論的に基準点（基準画素）に対応する対応点（対応画素）が存在しない。そのため、第１対応点探索部３３１では、前記の基準点（基準画素）に対応する対応点（対応画素）が存在しなし領域を除く全画像（全画素）の対応関係を求める。ただし、予め対象物が存在する画像領域が限定される場合には、限定された領域の基準点（基準画素）の対応点（対応画素）を求めることとしても良い。
【００２５】
第２対応点探索部３３２は、基本的に第１対応点探索部３３２と同じ処理を行うが、取り扱う画像が高解像度画像である点、探索する基準点（基準画素）を制限する機能を有する点、比較画像におけるウィンドウの探索範囲を制限する機能も有する点、探索のウィンドウサイズを変更する機能をも有する点で異なる。
【００２６】
第２対応点探索部３３２は、探索する基準点（基準画素）を制限する機能により、後に詳細に説明する距離範囲決定部３５０から出力される距離範囲を用いて、高解像度画像における当該距離範囲にある画素についてのみ対応点探索を行う。
【００２７】
さらに、第２対応点探索部３３２は、比較画像におけるウィンドウの探索範囲を制限する機能により、後に詳細に説明する探索範囲限定部３７０から出力される視差範囲を用いて、高解像度画像における当該視差範囲となるウィンドウについてのみ類似度を演算して対応点探索を行う。具体的には、図６に示すように探索範囲限定部の有無により探索範囲に差異が生じる。
【００２８】
なおさらに、第２対応点探索部３３２は、探索のウィンドウサイズを変更する機能により、後に詳細に説明するウィンドウサイズ決定部３６０から出力されるウィンドウサイズを用いて対応点探索を行う場合に利用する。
【００２９】
３次元情報演算部３４０は、対応点探索部３３０にて得られた基準点（基準画素）と対応点（対応画素）との位置ずれ量に基づいて点（画素）ごとに三角測量の原理を利用したステレオ法により３次元データを求める。なお、３次元情報演算部３４０は、低解像度画像の３次元データを求める第１の３次元情報演算部３４１と、高解像度画像の３次元データを求める第２の３次元情報演算部３４２とを有している。なお、第１の３次元情報演算部３４１と第２の３次元情報演算部３４２とは、取り扱う画像が異なるのみで、処理内容は全く同じである。
【００３０】
距離範囲決定部３５０は、低解像度画像から得られた３次元データから対象物の距離範囲を把握し、高解像度画像にて対応点探索する基準点（基準画素）の距離範囲を決定する。ここで、距離範囲とは、画像の奥行き方向（以下、Ｚ方向とする。）の範囲のことである。なお、以下の説明に際し、Ｚ方向は近い方が小さく、遠い方が大きくなるものとして記載するが、勿論逆の関係であっても良い。
【００３１】
距離範囲決定部３５０の処理内容をより詳細に説明するため、図７および図８の具体例を用いて説明する。図７は、撮像装置２０１，２０２とコンベアと対象物ａ，ｂ，ｃとの位置関係を表した図である。図８は、図７の状態を撮像装置２０１で撮像した画像である。なお、図８の画像において点（画素）ごとの３次元データが得られ、対象物ａ，ｂ，ｃは同一形状の円柱であり、直径Ｄは予め把握している。係る場合、事前に対象物がコンベア上にない状態で撮像された画像と比較することでコンベアの領域（画素領域）を排除し、対象物ａ，ｂ，ｃの領域を抽出する。対象物ａ，ｂ，ｃの領域ごとのＺ方向の最小値Ｚａ，Ｚｂ，Ｚｃと直径Ｄとから、対象物ａ，ｂ，ｃごとに距離範囲をＺａｓ〜Ｚａｅ，Ｚｂｓ〜Ｚｂｅ，Ｚｃｓ〜Ｚｃｅと決定する。なお各範囲は、低解像度画像による３次元データの精度の問題からＤよりも大きな範囲とし、Ｚａｓ＜Ｚａ，Ｚｂｓ＜Ｚｂ，Ｚｃｓ＜Ｚｃとすることが望ましい。また、係る具体例において距離範囲決定部３５０が出力する距離範囲は、予め定められた条件を満たす１つの距離範囲、例えば最も撮像装置２０１，２０２に近い対象物の距離範囲Ｚａｓ〜Ｚａｅを出力するようしても良いし、距離範囲Ｚａｓ〜Ｚａｅ，Ｚｂｓ〜Ｚｂｅ，Ｚｃｓ〜Ｚｃｅを順次出力するようにしても良い。いずれにしても、低解像度画像に基づいて得られた３次元データから対象物の領域を特定し、特定された対象物の距離範囲を決定するものであれば各種変形は自由である。
【００３２】
ウィンドウサイズ決定部３６０は、距離範囲決定部３５０で決定された距離範囲に応じて、対応点探索部３３０の探索処理に用いるウィンドウサイズを決定する。対応点探索におけるウィンドウサイズは、画像における対象物の大きさやテクスチャに応じて決定すべきであるが、対象物が所定の距離範囲に存在する条件であれば特に変更する必要がなかった。しかし、図７のコンベア上の対象物の距離範囲や、図９の山積みされた対象物の距離範囲は、対象物ごとの距離範囲が大きく変わるため、ウィンドウサイズを一定とすると、ウィンドウサイズが適切である距離範囲においては精度良く対応点の探索が可能となるが、ウィンドウサイズが不適切である距離範囲においては著しく対応点の探索精度が悪化したり、本来よりも詳細に対応点検索をすることとなるために探索の時間が多くなる。そこで、対応点探索を行うＺ方向の距離に応じてウィンドウサイズを変更し、決定することとした。
【００３３】
ウィンドウサイズの決定方向は、各種方法を採用する事ができる。例えば、Ｚ方向を複数の範囲に分割し、分割された範囲ごとにウィンドウサイズを定めておく。ウィンドウサイズは、Ｚ方向が小さくなるほどウィンドウサイズが大きくなるように定めておくことが望ましい。対応点探索部３３０で用いるウィンドウサイズは、距離範囲決定部３５０で決定された距離範囲が該当するウィンドウサイズとすることができる。また、距離範囲決定部３５０で決定された距離範囲とウィンドウサイズとを関数で関連付け、距離範囲決定部３５０で決定された距離範囲を入力するとウィンドウサイズを出力するようにしても良い。例えば、距離範囲とウィンドウサイズとが比例する関数により関係付けすることができる。勿論、関数は比例だけではなく、各種関数を用いることができる。
【００３４】
探索範囲限定部３７０は、距離範囲決定部３５０にて決定された距離範囲から、基準画像と比較画像において生じる視差の範囲を求め、求めた視差範囲に基づいて対応点探索部３３０の比較画像におけるウィンドウの探索範囲を限定する。
【００３５】
探索範囲限定部３７０の処理内容を詳細に説明するため、具体例を用いて説明する。例えば、ある距離範囲においてのみ対応点探索を行うことを考える。ここで基準画像、比較画像は平行化処理がなされた画像である場合、対応点のｘ座標の差が視差ｄとなる。画像上の点（画素）P(u,v)におけるＺ方向の距離がZPの場合、視差d(ZP)の値は撮像装置パラメーターから一義的に求められ、対応点（対応画素）はP'(u+d(ZP)、v)となる。つまり距離範囲がZmin＜Z＜Zmaxである基準画像の点（画素）P(u,v)は、視差dがd(Zmin)＜d＜d(Zmax)となる。基準画像の基準点（基準画素）P(u,v)に対応する比較画像の対応点（対応画素）をP'(u',v)とすると、対応点（対応画素）P'はｘ座標値がu+ d(Zmin)＜u'＜u+ d(Zmax)の範囲に限定できる。つまり従来の対応点探索は、図６に示すように比較画像の端から端まで探索を行っていたが、本実施の形態では距離範囲から対応点探索範囲を視差から把握される範囲に限定できる。
【００３６】
次に、図１０を用いてステレオ画像処理装置の処理の流れについて説明する。
まず、画像取得ステップＳ１０は、撮像装置２０１，２０２を用いて基準画像および比較画像を取得する。画像取得ステップＳ１０はステレオ画像処理装置１００において画像取得部３１０にて行われる処理である。なお、画像取得ステップＳ１０では、撮像装置２０１，２０２にて撮像した画像を平行化処理して仮想基準画像および仮想比較画像を生成し、仮想基準画像を基準画像、仮想比較画像を比較画像として記憶しても良い。
【００３７】
低解像度画像生成ステップＳ２０は、画像取得ステップＳ１０にて取得した基準画像および比較画像から、画像圧縮処理を行い、低解像度画像を生成する。なお、基準画像および比較画像のそれぞれについて低解像度画像を生成する。低解像度画像生成ステップＳ２０はステレオ画像処理装置１００において低解像度画像生成部３２０にて行われる処理である。以下、画像取得ステップＳ１０で取得した画像を高解像度画像という。なお、低解像度画像の生成する際に、低解像度画像の画素の高解像度画像の画素が対応付けられる。
【００３８】
第１の対応点探索ステップＳ３０は、低解像度画像生成ステップＳ２０にて生成した低解像度基準画像と低解像度比較画像を用いて、低解像度基準画像の基準点（基準画素）に対応する低解像度比較画像の対応点（対応画素）を求める。第１の対応点探索ステップＳ３０はステレオ画像処理装置１００において第１対応点探索部３３１にて行われる処理である。
【００３９】
第１の対応点探索ステップＳ３０では、対応点探索に際し、原則的には低解像度基準画像の全画素について対応点探索を行い、比較画像におけるウィンドウの探索範囲は、原則的にエピポーラ線上にある全範囲を行い、ウィンドウサイズは予め与えられたサイズとする。これは、低解像度画像において３次元データを取得していないためである。
【００４０】
第１の３次元情報演算ステップＳ４０は、第１の対応点探索ステップＳ３０にて得られた低解像度画像の基準点（基準画素）と低解像度画像の対応点（対応画素）との位置ずれ量に基づいて点（画素）ごとに三角測量の原理を利用したステレオ法により３次元データを求める。これにより、低解像度画像の画素ごとの３次元データを取得できる。第１の３次元情報演算ステップＳ４０はステレオ画像処理装置１００において第１の３次元情報演算部３４１にて行われる処理である。
【００４１】
距離範囲決定ステップＳ５０は、第１の３次元情報演算ステップＳ４０にて得られた低解像度画像の３次元データから対象物の距離範囲を把握し、高解像度画像にて対応点探索する基準点（基準画素）の距離範囲を決定する。距離範囲決定ステップＳ５０はステレオ画像処理装置１００において距離範囲決定部３５０にて行われる処理である。
【００４２】
ウィンドウサイズ決定ステップＳ６０は、距離範囲決定ステップＳ５０で決定された距離範囲に応じて、第２の対応点探索ステップＳ８０の探索処理に用いるウィンドウサイズを決定する。ウィンドウサイズ決定ステップＳ６０はステレオ画像処理装置１００においてウィンドウサイズ決定部３６０にて行われる処理である。
【００４３】
探索範囲限定ステップＳ７０は、距離範囲決定ステップＳ５０にて決定された距離範囲から、高解像度の基準画像と高解像度の比較画像において生じる視差の範囲を求め、第２の対応点探索ステップＳ８０にて高解像度の比較画像にてウィンドウの探索する範囲を限定する。探索範囲限定ステップＳ７０はステレオ画像処理装置１００において探索範囲限定部３７０にて行われる処理である。
【００４４】
第２の対応点探索ステップＳ８０は、高解像度基準画像の基準点（基準画素）を中心としたウィンドウを選択し、高解像度比較画像における基準点のエピポーラ線上にある最も類似したウィンドウを探索し、最も類似したウィンドウの中心点（画素）を、基準点（基準画素）の対応点（対応画素）として求める。ただし、高解像度基準画像の基準点（基準画素）は、距離範囲決定ステップＳ５０で得た距離範囲に該当する基準点（画素）のみである。また、ウィンドウサイズは、ウィンドウ決定ステップＳ６０で得たウィンドウサイズを用いる。さらに、高解像度比較画像のウィンドウ探索範囲は、探索範囲限定ステップＳ７０にて得られた範囲である。第２の対応点探索ステップＳ８０はステレオ画像処理装置１００において第２対応点探索部３３２にて行われる処理である。
【００４５】
第２の３次元情報演算ステップＳ９０は、第２の対応点探索ステップＳ８０にて得られた高解像度基準画像の基準点（基準画素）と高解像度比較画像の対応点（対応画素）との位置ずれ量に基づいて点（画素）ごとに三角測量の原理を利用したステレオ法により３次元データを求める。これにより、高解像度画像の画素ごとの３次元データを取得できる。第２の３次元情報演算ステップＳ９０はステレオ画像処理装置１００において第２の３次元情報演算部３４１にて行われる処理である。
【００４６】
例えば、山積みされた対象物に本実施形態を適用する場合、図１１のように低解像度画像による３次元データから山積みの最上段にある対象物のＺ方向距離ＺＴを求め、求められたＺ方向距離および対象物のサイズに基づいて距離範囲Ｚｓ〜Ｚｅを決定し、その距離範囲に基づいて最上段近傍の対象物のみについて高精度に対象物の３次元データを取得できる。
【００４７】
また、図１２のように低解像度画像による３次元データから山積みの最上段にある対象物のＺ方向距離ＺＴと、山積みの最下段のＺ方向距離ＺＢを求め、求められたＺ方向距離ＺＴ，ＺＢおよび対象物のサイズに基づいて山積みされた領域を距離範囲Ｚ１〜Ｚ２，Ｚ２〜Ｚ３，Ｚ３〜Ｚ４と分割して対応点探索する距離範囲を決定し、決定した距離範囲にある対象物のみについて高精度に対象物の３次元データを取得できる。
【００４８】
以上より、本実施形態においては、低解像度画像より大まかなＺ方向の距離を求めた後、低解像度画像の特定の対象物の距離範囲を求め、距離範囲に該当する基準点（基準画素）のみについて距離範囲に応じた探索範囲に限定して対応点（対応画素）を検索するため高速な処理が可能となると共に、探索のウィンドウを距離に応じた適切なウィンドウサイズを用いる事で距離範囲に依存しない高精度な対応点探索を可能とした。
【符号の説明】
【００４９】
１００            ステレオ画像処理装置
２０１，２０２    撮像装置
３００            画像処理部
４０１            キーボード
４０２            マウス
４０３            ディスプレー
【図１】
2012002683.tif 000003
【図２】
2012002683.tif 000004
【図３】
2012002683.tif 000005
【図４】
2012002683.tif 000006
【図５】
2012002683.tif 000007
【図６】
2012002683.tif 000008
【図７】
2012002683.tif 000009
【図８】
2012002683.tif 000010
【図９】
2012002683.tif 000011
【図１０】
2012002683.tif 000012
【図１１】
2012002683.tif 000013
【図１２】
2012002683.tif 000014
【図１３】
2012002683.tif 000015
【図１４】
2012002683.tif 000016