(57)【特許請求の範囲】
【請求項１】
ステレオ画像法に従った三次元形状の計測において測定対象に投光する投光パターンを生成するランダムパターン生成装置において、
乱数を用いた異なる複数の非周期的投光パターンを生成可能な投光パターン生成手段と、
前記投光パターン生成手段において生成された投光パターンの評価を実行する投光パターン評価手段とを有し、
前記投光パターン評価手段は、前記投光パターン生成手段の生成した投光パターンのパターンとしての適性度を示すパターン適性度指標値を該生成投光パターンに基づいて算出し、算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用の投光パターンとして適性を持つか否かを判定する構成を有し、
前記投光パターン評価手段は、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を前記パターン適性度指標値として算出し、算出値と予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用の投光パターンとして適性を持つか否かを判定する構成であることを特徴とするランダムパターン生成装置。
【請求項２】
前記投光パターン生成手段は、正規乱数を規定する標準偏差ｓを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンが前記投光パターン評価手段において、三次元形状計測用の投光パターンとしての適性を持たないと判定された場合に、前記標準偏差ｓを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする請求項１に記載のランダムパターン生成装置。
【請求項３】
前記投光パターン生成手段は、正規乱数からなる画像を閾値Ｔを用いて二値化した二値画像を生成する構成を有するとともに、前記閾値Ｔを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンが前記投光パターン評価手段において、三次元形状計測用の投光パターンとしての適性を持たないと判定された場合に、前記閾値Ｔを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする請求項１に記載のランダムパターン生成装置。
【請求項４】
前記投光パターン生成手段は、正規乱数に基づく濃淡画像を生成する構成を有し、生成した投光パターンが前記投光パターン評価手段において、三次元形状計測用の投光パターンとしての適性を持たないと判定された場合に、正規乱数を規定するパラメータを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする請求項１に記載のランダムパターン生成装置。
【請求項５】
前記投光パターン評価手段は、前記投光パターン生成手段の生成した投光パターンから部分領域であるウィンドーを少なくとも１以上抽出して前記パターン適性度指標値を算出する構成であることを特徴とする請求項１に記載のランダムパターン生成装置。
【請求項６】
ステレオ画像法に従った三次元形状の計測において測定対象に投光する投光パターンを生成するランダムパターン生成方法において、
（ａ）乱数を用いた非周期的投光パターンを生成する投光パターン生成ステップと、
（ｂ）前記投光パターン生成ステップにおいて生成された投光パターンを評価する評価ステップであり、
（ｃ）前記投光パターン生成ステップにおいて生成した投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を、前記生成投光パターンに基づいて算出するパターン適性度指標値算出ステップと、
（ｄ）算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する適性判定ステップと、
を含む評価ステップと、を有し、
前記適性判定ステップにおいて適正ありとの判定がでるまで、前記ステップ（ａ）において異なる投光パターンを生成し、（ａ）〜（ｄ）のステップを繰り返し実行し、
前記評価ステップ中の適性判定ステップにおいて適正ありと判定された投光パターンを三次元形状計測用投光パターンとすることを特徴とするランダムパターン生成方法。
【請求項７】
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成装置において、
乱数を用いた異なる複数の非周期的投光パターンを生成可能な投光パターン生成手段と、
前記測定対象の投光パターン画像を撮り込む基準カメラと、
前記基準カメラと異なる視点において投光パターン画像を撮り込む参照カメラと、
前記基準カメラまたは参照カメラによって撮り込まれた投光パターン画像の少なくともいずれかの投光パターン画像におけるパターン適性を評価し、距離画像生成用の投光パターン画像として適性を有するか否かを評価する投光パターン評価手段であり、投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を算出して、算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する投光パターン評価手段と、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付け手段と、
前記画像間対応付け手段の出力する視差データに基づいて距離画像を生成する距離画像生成手段とを有し、
前記投光パターン生成手段は、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段によって距離画像生成用投光パターン画像として適性なしと判定された場合、新たな非周期的投光パターンを生成し、
前記画像間対応付け手段および前記距離画像生成手段は、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段によって距離画像生成用投光パターン画像として適性ありと判定されたことを条件として処理を実行する構成であることを特徴とする距離画像生成装置。
【請求項８】
前記投光パターン生成手段は、正規乱数を規定する標準偏差ｓを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段において、距離画像生成用投光パターンとして適性をなしと判定された場合に、前記標準偏差ｓを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする請求項７に記載の距離画像生成装置。
【請求項９】
前記投光パターン生成手段は、正規乱数からなる画像を閾値Ｔを用いて二値化した二値画像を生成する構成を有するとともに、前記閾値Ｔを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段において、距離画像生成用投光パターンとして適性をなしと判定された場合に、前記閾値Ｔを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする請求項７に記載の距離画像生成装置。
【請求項１０】
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成装置において、
測定対象に対して投光するパターンを生成する投光パターン生成手段であり、乱数を用いた異なる複数の非周期的投光パターンを生成可能であるとともに、パターンとしての適性度を示すパターン適性度指標値を生成投光パターンに基づいて算出し、算出したパターン適性度指標値を予め定めた閾値と比較することで距離画像生成用投光パターンとしての適性を判定し、適性ありと判定されたパターンのみを投光パターンとして設定する投光パターン生成手段と、
前記測定対象の投光パターン画像を撮り込む基準カメラと、
前記基準カメラと異なる視点において投光パターン画像を撮り込む参照カメラと、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付け手段と、
前記画像間対応付け手段の出力する視差データに基づいて距離画像を生成する距離画像生成手段と、
前記距離画像生成手段の生成した距離画像中のミスマッチング領域を検出するミスマッチング領域検出手段と、
を有し、
前記投光パターン生成手段は、前記ミスマッチング領域検出手段が予め定めた閾値以上のミスマッチング領域を検出した場合に新たな非周期的投光パターンを生成する構成を有することを特徴とする距離画像生成装置。
【請求項１１】
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成方法において、
乱数を用いた非周期的投光パターンを生成する投光パターン生成ステップと、
前記測定対象の投光パターン画像を、基準カメラと参照カメラを適用して、異なる視点から、同期したタイミングで撮り込む画像撮り込みステップと、
前記基準カメラまたは参照カメラによって撮り込まれた投光パターン画像の少なくともいずれかの投光パターン画像におけるパターン適性を評価し、距離画像生成用の投光パターン画像として適性を有するか否かを評価する投光パターン評価ステップであり、投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を算出して、算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する投光パターン評価ステップと、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付けステッップと、
前記画像間対応付け手段の出力する視差データに基づいて距離画像を生成する距離画像生成ステップとを有し、
前記投光パターン生成ステップは、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価ステップにおいて距離画像生成用投光パターン画像として適性なしと判定された場合、新たな非周期的投光パターンを繰り返し生成し、
前記画像間対応付けステップおよび前記距離画像生成ステップは、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価ステップにおいて距離画像生成用投光パターン画像として適性ありと判定されたことを条件として処理を実行することを特徴とする距離画像生成方法。
【請求項１２】
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成方法において、
乱数を用いた非周期的投光パターンを生成するとともに、パターンとしての適性度を示すパターン適性度指標値を生成投光パターンに基づいて算出し、算出したパターン適性度指標値を予め定めた閾値と比較することで距離画像生成用投光パターンとしての適性を判定し、適性ありと判定されたパターンのみを投光パターンとして設定する投光パターン生成ステップと、
前記測定対象の投光パターン画像を、基準カメラと参照カメラを適用して、異なる視点から同期したタイミングで撮り込む画像撮り込みステップと、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付けステップと、
前記画像間対応付けステップにおいて出力される視差データに基づいて距離画像を生成する距離画像生成ステップと、
前記距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、
を有し、
前記投光パターン生成ステップは、生成した投光パターンに基づいて得られる距離画像について前記ミスマッチング領域検出ステップにおいて予め定めた閾値以上のミスマッチング領域が検出された場合に新たな非周期的投光パターンを生成することを特徴とする距離画像生成方法。
【請求項１３】
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測を実行するために用いられる投光パターン生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
（ａ）乱数を用いた非周期的投光パターンを生成する投光パターン生成ステップと、
（ｂ）前記投光パターン生成ステップにおいて生成された投光パターンを評価する評価ステップであり、
（ｃ）前記投光パターン生成ステップにおいて生成した投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を、前記生成投光パターンに基づいて算出するパターン適性度指標値算出ステップと、
（ｄ）算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する適性判定ステップと、
を含む評価ステップと、を有し、
前記適性判定ステップにおいて適正ありとの判定がでるまで、前記ステップ（ａ）において異なる投光パターンを生成し、（ａ）〜（ｄ）のステップを繰り返し実行し、
前記評価ステップ中の適性判定ステップにおいて適正ありと判定された投光パターンを三次元形状計測用投光パターンとして決定するステップと、を含むことを特徴とするプログラム提供媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体の三次元形状を求めるためのランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体に関する。特に三次元空間上である距離範囲に存在する物体を複数の異なる位置から撮影した画像を用いて被写体表面の三次元形状を計測する方法、すなわちステレオ画像法において好適なランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体に関する。
【０００２】
【従来の技術】
物体の三次元形状を求める従来手法として、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各測定対象物体までの距離を求める方法や、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。
【０００３】
また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ画像法であり、これは２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。
【０００４】
ステレオ画像法について、その原理を簡単に説明する。ステレオ画像法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで測定対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと参照カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の測定対象物の距離を三角測量の原理により測定する。
【０００５】
図１は、ステレオ画像法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ  １）と参照カメラ（Ｃａｍｅｒａ  ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【０００６】
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している参照カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ  ｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】
基準カメラにおけるポイント「ｍｂ」の位置は、参照カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、参照カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【０００８】
図１には、エピポーラ・ラインと、参照画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、参照画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ画像法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００１０】
上述のステレオ画像法は１台の基準カメラと１台の参照カメラとを用いた構成としたが、参照カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ  Ｂａｓｅｌｉｎｅ  Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の参照カメラによって撮影される画像を用い、複数の参照カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ  Ｎｏ．８  ｐｐ．１３１７−１３２７  １９９２年８月、に記載されている。
【００１１】
上述のように、ステレオ画像法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで測定対象物の三次元空間における位置を求めようとするものである。
【００１２】
従来、よく使われている「対応点付け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒｅｎｃｅ  Ｚｉｔｎｉｃｋ  ａｎｄ  Ｊｏｎ  Ａ．  Ｗｅｂｂ：  Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ  Ｓｔｅｒｅｏ  Ｕｓｉｎｇ  Ｓｕｒｆａｃｅ  Ｅｘｔｒａｃｔｉｏｎ，  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，  ＣＭＵ−ＣＳ−９６−１９６，
（１９９６）参照）。
【００１３】
Ａｒｅａ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である（奥富、金出：  複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ，  Ｎｏ．８，  ｐｐ．１３１７−１３２７，  （１９９２）、横山、三輪、芦ヶ原、小柳津、林、後：  Ｓｔｅｒｅｏ  Ｃａｍｅｒａ  Ｓｙｓｔｅｍ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ、  ＳＲＦ’９７、（１９９７）、金出、木村：  ビデオレート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．１３，  Ｎｏ．３，  ｐｐ．３２２〜３２６，  （１９９５）、金出、蚊野、木村、川村、吉田、織田：  ビデオレートステレオマシンの開発、日本ロボット学会誌、Ｖｏｌ．１５，  Ｎｏ．２，  ｐｐ．２６１〜２６７，  （１９９７）、山口、高地、井口：  適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Ｖｏｌ．３２，  Ｎｏ．１０，  ｐｐ．５５〜６０，  （１９９６）、横矢：  最近の信号処理総合特集号  コンピュータビジョンの最近の話題、システム／制御／情報、Ｖｏｌ．３８，  Ｎｏ．８，  ｐｐ．４３６〜４４１，  （１９９４）参照）。
【００１４】
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．Ｂａｋｅｒ  ａｎｄ  Ｔ．Ｏ．Ｂｉｎｆｏｒｄ：  Ｄｅｐｔｈ  ｆｒｏｍ  ｅｄｇｅａｎｄ  ｉｎｔｅｎｓｉｔｙ  ｂａｓｅｄ  ｓｔｅｒｅｏ，  Ｉｎ  Ｐｒｏｃ．  ＩＪＣＡＩ’８１，  （１９８１）、石山、角保、河井、植芝、富田：  セグメントベーストステレオにおける対応候補探索、信学技報、Ｖｏｌ．９６，  Ｎｏ．１３６，  （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：  Ｃｏｍｐｕｔａｔｉｏｎａｌ  ｅｘｐｅｒｉｍｅｎｔｓ  ｗｉｔｈ  ａ  ｆｅａｔｕｒｅ  ｂａｓｅｄ  ｓｔｅｒｅｏ  ａｌｇｏｒｉｔｈｍ，  ＩＥＥＥ  Ｔｒａｎｓ．  ＰＡＭＩ，  Ｖｏｌ．７，  Ｎｏ．１，  ｐｐ．１７〜３４，  （１９８５））。
【００１５】
上記の各手法の特徴を整理すると、次のようになる。
（１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−ｂａｓｅｄマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
【００１６】
（２）Ａｒｅａ−ｂａｓｅｄマッチングは、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
【００１７】
（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
【００１８】
上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であり、よく使われている。
【００１９】
上述の各種の方法により、ステレオ画像法における対応点付け処理が行なわれる。しかしながら、白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しては、上述のいずれの方法を使用しても、３次元形状を計測するために必要となる対応点付け処理が困難となる。これが、ステレオ画像法による処理における一つの大きな課題となっている。
【００２０】
白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しての対応付け処理をより正確に行なうため、チェッカや周波数変調された正弦波などの周期的なパターンを投光することによって、マルチベースラインステレオシステムによる画像マッチングのエラーを低減する手法が、いくつか開示されている（Ｓ．Ｂ．Ｋａｎｇ，  Ｊ．Ａ．Ｗｅｂｂ，  Ｃ．Ｌ．Ｚｉｔｎｉｃｋ  ａｎｄ  Ｔ．Ｋａｎａｄｅ：  Ａ  Ｍｕｌｔｉｂａｓｅｌｉｎｅ  Ｓｔｅｒｅｏ  Ｓｙｓｔｅｍ  ｗｉｔｈ  Ａｃｔｉｖｅ  Ｉｌｌｕｍｉｎａｔｉｏｎ  ａｎｄ  Ｒｅａｌ−ｔｉｍｅ  Ｉｍａｇｅ  Ａｃｑｕｉｓｉｔｉｏｎ，  Ｐｒｏｃ  ＩＥＥＥ  Ｉｎｔ  Ｃｏｎｆ．  Ｃｏｍｐｕｔ．  Ｖｉｓ．，  Ｖｏｌ．５，  ｐｐ．８８〜９３，  （１９９５）、Ｍ．Ｎｏｇｕｃｈｉ  ａｎｄ  Ｓ．Ｋ．Ｎａｙａｒ：  Ｍｉｃｒｏｓｃｏｐｉｃ  Ｓｈａｐｅ  ｆｒｏｍ  Ｆｏｃｕｓ  Ｕｓｉｎｇ  Ａｃｔｉｖｅ  Ｉｌｌｕｍｉｎａｔｉｏｎ，  Ｐｒｏｃ  Ｉｎｔ．  Ｃｏｎｆ．  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎ．，  Ｖｏｌ．１２，  Ｎｏ．Ｖｏｌ  １，  ｐｐ．１４７〜１５２，  （１９９４）参照）。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述した従来手法では、対応付け処理におけるエラー、すなわちミスマッチングの完全な除去を達成することはできなかった。また、上述の周波数変調された周期的なパターンを投光して対応付け処理を実行する構成は、複数台（３台以上）のカメラを用いるマルチベースラインステレオマシンにおいては、ミスマッチング領域減少に対して効果があるが、２台のカメラを用いる２眼ステレオ視に対しては、生成される模様が周期的であるために類似する模様同士の対応付けにエラーが発生する可能性があり、必ずしも有効とはならないという欠点がある。
【００２２】
そこで、我々は、例えば乱数を用いた非周期的な投光パターンを生成して、このランダムパターンを測定対象に投光することで、高精度な距離画像生成を可能とする構成を提案（特願平１１−２６９８３８にて出願済み）した。
【００２３】
このように、模様のない被写体に非周期のランダムパターンを投光して対応付け処理を行なう測定方法によれば、白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しての対応付け処理がより正確になされ、距離画像生成が高精度に行なわれる。
【００２４】
しかしながら、非周期的なパターンを投光した場合でも、測定対象の形状、あるいは、測定対象とランダムパターン投光手段および撮像装置との位置関係等によっては、撮影画面上で一定の周期を持つ繰り返しパターンが生成されてしまう場合があり、このような場合は対応付け処理が困難になり、距離画像生成に支障をきたす場合がある。非周期的なランダムパターンを投影した場合でも、その投影した結果が繰り返しパターンを含むかどうかは、実際に投影しないと確定できない。
【００２５】
複数種類のランダムパターンを順番に投影して測定を行うシステムもある。この場合にも、複数のランダムパターンを用いることによりうまく測定できない部分が減少することは期待できるが、予め決められた数種類の模様では、全てのうまく測定できない部分を補うことはできない。また、カメラの配置などを含む様々な環境の変化に追随することも難しい。
【００２６】
本発明は、上述の問題点に鑑みてなされたものであり、ステレオ画像法に従った距離画像生成方法における、ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体を提供するものであり、対応点付け処理においてミスマッチング領域の発生しにくいランダムテクスチャ、例えば二値または濃淡のランダム点群からなる非周期ランダム画像パターン構成およびその生成方法を提供するものである。
【００２７】
さらに、本発明は測定対象上のパターンが適切になるよう、すなわち対応点付け処理においてミスマッチングが発生しないように、パターン投光により撮影された画像に基づいて、さらに投光すべき新たなランダムパターンを決定してミスマッチング領域の発生を低下させた距離画像生成装置とその方法を提供するものである。
【００２８】
さらに、本発明は測定対象上のパターンが適切になるよう、すなわち対応点付け処理においてミスマッチングが発生しないようなパターンを、パターン投光により撮影された画像に基づいて生成する構成。具体的には、たとえばステレオカメラは等間隔で繰り返される模様を苦手とするので、投影した結果が繰り返しの成分を持たないように計算し、適切なランダムパターンを作成し、投光して距離画像の生成を行なう構成を提供する。
【００２９】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
ステレオ画像法に従った三次元形状の計測において測定対象に投光する投光パターンを生成するランダムパターン生成装置において、
乱数を用いた異なる複数の非周期的投光パターンを生成可能な投光パターン生成手段と、
前記投光パターン生成手段において生成された投光パターンの評価を実行する投光パターン評価手段とを有し、
前記投光パターン評価手段は、前記投光パターン生成手段の生成した投光パターンのパターンとしての適性度を示すパターン適性度指標値を該生成投光パターンに基づいて算出し、算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用の投光パターンとして適性を持つか否かを判定する構成を有し、
前記投光パターン評価手段は、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を前記パターン適性度指標値として算出し、算出値と予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用の投光パターンとして適性を持つか否かを判定する構成であることを特徴とするランダムパターン生成装置にある。
【００３０】
さらに、本発明のランダムパターン生成装置の一実施態様において、前記投光パターン生成手段は、正規乱数を規定する標準偏差ｓを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンが前記投光パターン評価手段において、三次元形状計測用の投光パターンとしての適性を持たないと判定された場合に、前記標準偏差ｓを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする。
【００３１】
さらに、本発明のランダムパターン生成装置の一実施態様において、前記投光パターン生成手段は、正規乱数からなる画像を閾値Ｔを用いて二値化した二値画像を生成する構成を有するとともに、前記閾値Ｔを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンが前記投光パターン評価手段において、三次元形状計測用の投光パターンとしての適性を持たないと判定された場合に、前記閾値Ｔを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする。
【００３２】
さらに、本発明のランダムパターン生成装置の一実施態様において、前記投光パターン生成手段は、正規乱数に基づく濃淡画像を生成する構成を有し、生成した投光パターンが前記投光パターン評価手段において、三次元形状計測用の投光パターンとしての適性を持たないと判定された場合に、正規乱数を規定するパラメータを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする。
【００３７】
さらに、本発明のランダムパターン生成装置の一実施態様において、前記投光パターン評価手段は、前記投光パターン生成手段の生成した投光パターンから部分領域であるウィンドーを少なくとも１以上抽出して前記パターン適性度指標値を算出する構成であることを特徴とする。
【００３８】
さらに、本発明の第２の側面は、
ステレオ画像法に従った三次元形状の計測において測定対象に投光する投光パターンを生成するランダムパターン生成方法において、
（ａ）乱数を用いた非周期的投光パターンを生成する投光パターン生成ステップと、
（ｂ）前記投光パターン生成ステップにおいて生成された投光パターンを評価する評価ステップであり、
（ｃ）前記投光パターン生成ステップにおいて生成した投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を、前記生成投光パターンに基づいて算出するパターン適性度指標値算出ステップと、
（ｄ）算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する適性判定ステップと、
を含む評価ステップと、を有し、
前記適性判定ステップにおいて適正ありとの判定がでるまで、前記ステップ（ａ）において異なる投光パターンを生成し、（ａ）〜（ｄ）のステップを繰り返し実行し、
前記評価ステップ中の適性判定ステップにおいて適正ありと判定された投光パターンを三次元形状計測用投光パターンとすることを特徴とするランダムパターン生成方法にある。
【００４７】
さらに、本発明の第３の側面は、
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成装置において、
乱数を用いた異なる複数の非周期的投光パターンを生成可能な投光パターン生成手段と、
前記測定対象の投光パターン画像を撮り込む基準カメラと、
前記基準カメラと異なる視点において投光パターン画像を撮り込む参照カメラと、
前記基準カメラまたは参照カメラによって撮り込まれた投光パターン画像の少なくともいずれかの投光パターン画像におけるパターン適性を評価し、距離画像生成用の投光パターン画像として適性を有するか否かを評価する投光パターン評価手段であり、投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を算出して、算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する投光パターン評価手段と、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付け手段と、
前記画像間対応付け手段の出力する視差データに基づいて距離画像を生成する距離画像生成手段とを有し、
前記投光パターン生成手段は、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段によって距離画像生成用投光パターン画像として適性なしと判定された場合、新たな非周期的投光パターンを生成し、
前記画像間対応付け手段および前記距離画像生成手段は、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段によって距離画像生成用投光パターン画像として適性ありと判定されたことを条件として処理を実行する構成であることを特徴とする距離画像生成装置にある。
【００４９】
さらに、本発明の距離画像生成装置の一実施態様において、前記投光パターン生成手段は、正規乱数を規定する標準偏差ｓを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段において、距離画像生成用投光パターンとして適性をなしと判定された場合に、前記標準偏差ｓを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする。
【００５０】
さらに、本発明の距離画像生成装置の一実施態様において、前記投光パターン生成手段は、正規乱数からなる画像を閾値Ｔを用いて二値化した二値画像を生成する構成を有するとともに、前記閾値Ｔを変更することによって、異なる非周期的投光パターンを生成する構成を有し、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価手段において、距離画像生成用投光パターンとして適性をなしと判定された場合に、前記閾値Ｔを変更した新たな非周期的投光パターンを生成する構成を有することを特徴とする。
【００５７】
さらに、本発明の第４の側面は、
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成装置において、
測定対象に対して投光するパターンを生成する投光パターン生成手段であり、乱数を用いた異なる複数の非周期的投光パターンを生成可能であるとともに、パターンとしての適性度を示すパターン適性度指標値を生成投光パターンに基づいて算出し、算出したパターン適性度指標値を予め定めた閾値と比較することで距離画像生成用投光パターンとしての適性を判定し、適性ありと判定されたパターンのみを投光パターンとして設定する投光パターン生成手段と、
前記測定対象の投光パターン画像を撮り込む基準カメラと、
前記基準カメラと異なる視点において投光パターン画像を撮り込む参照カメラと、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付け手段と、
前記画像間対応付け手段の出力する視差データに基づいて距離画像を生成する距離画像生成手段と、
前記距離画像生成手段の生成した距離画像中のミスマッチング領域を検出するミスマッチング領域検出手段と、
を有し、
前記投光パターン生成手段は、前記ミスマッチング領域検出手段が予め定めた閾値以上のミスマッチング領域を検出した場合に新たな非周期的投光パターンを生成する構成を有することを特徴とする距離画像生成装置にある。
【００６６】
さらに、本発明の第５の側面は、
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成方法において、
乱数を用いた非周期的投光パターンを生成する投光パターン生成ステップと、
前記測定対象の投光パターン画像を、基準カメラと参照カメラを適用して、異なる視点から、同期したタイミングで撮り込む画像撮り込みステップと、
前記基準カメラまたは参照カメラによって撮り込まれた投光パターン画像の少なくともいずれかの投光パターン画像におけるパターン適性を評価し、距離画像生成用の投光パターン画像として適性を有するか否かを評価する投光パターン評価ステップであり、投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を算出して、算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する投光パターン評価ステップと、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付けステッップと、
前記画像間対応付け手段の出力する視差データに基づいて距離画像を生成する距離画像生成ステップとを有し、
前記投光パターン生成ステップは、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価ステップにおいて距離画像生成用投光パターン画像として適性なしと判定された場合、新たな非周期的投光パターンを繰り返し生成し、
前記画像間対応付けステップおよび前記距離画像生成ステップは、生成した投光パターンに基づいて得られる投光パターン画像が前記投光パターン評価ステップにおいて距離画像生成用投光パターン画像として適性ありと判定されたことを条件として処理を実行することを特徴とする距離画像生成方法にある。
【００７６】
さらに、本発明の第６の側面は、
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測して距離画像を生成する距離画像生成方法において、
乱数を用いた非周期的投光パターンを生成するとともに、パターンとしての適性度を示すパターン適性度指標値を生成投光パターンに基づいて算出し、算出したパターン適性度指標値を予め定めた閾値と比較することで距離画像生成用投光パターンとしての適性を判定し、適性ありと判定されたパターンのみを投光パターンとして設定する投光パターン生成ステップと、
前記測定対象の投光パターン画像を、基準カメラと参照カメラを適用して、異なる視点から同期したタイミングで撮り込む画像撮り込みステップと、
前記基準カメラおよび参照カメラによって撮り込まれた各投光パターン画像間の対応を検出し視差データを出力する画像間対応付けステップと、
前記画像間対応付けステップにおいて出力される視差データに基づいて距離画像を生成する距離画像生成ステップと、
前記距離画像生成ステップにおいて生成された投光パターン画像に基づく距離画像中のミスマッチング領域を検出するミスマッチング領域検出ステップと、
を有し、
前記投光パターン生成ステップは、生成した投光パターンに基づいて得られる距離画像について前記ミスマッチング領域検出ステップにおいて予め定めた閾値以上のミスマッチング領域が検出された場合に新たな非周期的投光パターンを生成することを特徴とする距離画像生成方法にある。
【００８５】
さらに、本発明の第７の側面は、
測定対象を異なる視点から撮影した画像を用いて前記測定対象の三次元形状を計測する三次元形状計測を実行するために用いられる投光パターン生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
（ａ）乱数を用いた非周期的投光パターンを生成する投光パターン生成ステップと、
（ｂ）前記投光パターン生成ステップにおいて生成された投光パターンを評価する評価ステップであり、
（ｃ）前記投光パターン生成ステップにおいて生成した投光パターンのパターンとしての適性度を示すパターン適性度指標値として、
（１）投光パターンを構成する画素値の周期的変化を示す変化率、
（２）投光パターンを構成する画像の画素値に基づく特徴行列の固有値から算出される特徴量、
（３）投光パターンを構成する異なる部分領域の類似度を示す領域間相関値、
（４）投光パターンを構成する画像の分散値、
上記（１）〜（４）のいずれかの値を、前記生成投光パターンに基づいて算出するパターン適性度指標値算出ステップと、
（ｄ）算出したパターン適性度指標値を予め定めた閾値と比較することによって、生成投光パターンが三次元形状計測用投光パターンとして適性を持つか否かを判定する適性判定ステップと、
を含む評価ステップと、を有し、
前記適性判定ステップにおいて適正ありとの判定がでるまで、前記ステップ（ａ）において異なる投光パターンを生成し、（ａ）〜（ｄ）のステップを繰り返し実行し、
前記評価ステップ中の適性判定ステップにおいて適正ありと判定された投光パターンを三次元形状計測用投光パターンとして決定するステップと、を含むことを特徴とするプログラム提供媒体にある。
【００８６】
本発明の第７の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００８７】
このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００８８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００８９】
【発明の実施の形態】
［ランダムパターン生成装置−実施例１］
まず、本発明のランダムパターン生成装置を適用した距離画像生成装置の構成例を図２に示し、距離画像生成装置の概要について説明する。距離画像生成装置は、先に説明したステレオ画像法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被測定対象物に対して角度の異なる位置に配置した２つのカメラ、いわゆる基準カメラと参照カメラを用いて像を撮り込み、これら２つのカメラの撮影する画像に基づいて図１で説明したステレオ画像法に基づいて被測定対象物の表面形状を計測するものである。
【００９０】
本発明のランダムパターン生成装置によって生成されたランダムパターンは、距離画像生成装置の投光パターン生成及び照射手段２２０において照射される。この投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンである。投光パターン生成及び照射手段２２０で計測対象２００に対して投光される非周期投光パターンは、例えばドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たないパターンであり、例えば図３（ａ）、（ｂ）に示すようなパターンである。これらのパターン生成手法については、後段で詳細に説明する。
【００９１】
本発明のランダムパターン生成装置によって生成された非周期的パターンは例えば予めスライド等に形成され、フラッシュ光をスライドを介して照射することによって測定対象に対してパターンの投影が可能となる。あるいは、透過型液晶表示素子等を用いて動的にランダムパターンを生成して投影することができる。動的なランダムパターン生成手法については後段で詳細に説明する。計測対象２００の表面に形成された非周期パターンを計測対象とともに撮像することにより、距離画像生成時の基準カメラと参照カメラの撮像データの対応付けを容易にすることができる。
【００９２】
本発明の距離画像生成装置の構成について説明を続ける。基準カメラ２０１と参照カメラ２０２は、計測対象２００に対して異なる視線方向に配置されて、各視線方向の画像、すなわちランダムパターンの投影された計測対象２００を撮影する。基準カメラ２０１、参照カメラ２０２によって撮影される画像は、同期したタイミングで撮り込まれる。基準カメラ２０１、参照カメラ２０２から撮り込まれた画像はそれぞれＡ／Ｄ変換部を介してフレームメモリ２０３、２０４に格納される。
【００９３】
画像間対応付け手段２０５は、フレームメモリ１ａ，２０３とフレームメモリ２ａ，２０４の基準カメラ及び参照カメラ各々の投光パターン画像間の対応付け処理を行なう。すなわち、基準カメラ２０１の撮影した画像の各画素に対する参照カメラ２０２の撮影した参照画像の画素の対応付け処理を行ない、基準画像に対する参照画像の視差データを距離画像生成手段２０６に出力する。
【００９４】
投光パターン生成及び照射手段２２０の照射する投光パターンは、先に説明したように非周期的なパターンであり、各カメラによって撮影した画像の対応付けが比較的容易に行われる。距離画像生成手段２０６は、画像間対応付け手段２０５の生成した視差データに基づいて距離画像を生成し、画像メモリ２０７に格納する。画像メモリ２０７に格納された距離画像は、出力手段２０８を介して出力される。
【００９５】
なお、図２に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。
【００９６】
図４に投光パターン生成及び照射手段２２０の具体的構成例、すなわちランダム点群からなる画像パターンの投光装置の構成と、画像撮影装置との関係を示す。
【００９７】
一般に、テクスチャ画像パターンを対象に投光すると、画像の明るさが問題となる。ここでは、十分な光量を得るために、ストロボ投光系を光源として用いている。一方、撮影装置側では、背景光の影響を抑え、投光パターンのコントラストを向上す得るために、基準カメラ４０２と参照カメラ４０３の電子シャッターを調整することによって、ＣＣＤ蓄積時間をコントロールする。また、投光装置と投光パターン生成及び照射手段２２０との間において、制御手段４０１を共有することによって、投光パターン生成及び照射手段２２０によってテクスチャ画像パターンが投光される瞬間、基準カメラ４０２と参照カメラ４０３により計測対象を同時に撮り込む構成としている。各カメラによって撮り込まれた画像は、画像メモリ４０４（図２におけるフレームメモリ２０３，２０４に対応）に別々に格納されて、各画像間の対応付け処理、さらに距離画像生成処理に使用される。
【００９８】
図４に示す投光パターン生成及び照射手段２２０中のスライドは、非周期的パターンが記録されたスライドである。上述のようにドットのサイズ、線の長さ、太さ、位置、濃度等に周期性がない、いわゆる非周期的な投光パターン、例えば図３（ａ）、（ｂ）に示すようなパターンが記録されたスライドである。
【００９９】
以下、非周期的な投光パターンの生成処理構成の詳細について説明する。図５に本発明のランダムパターン生成装置の機能構成を示すブロック図、図６に本発明のランダムパターン生成装置において、非周期的な投光パターンであるランダムテクスチャパターンを生成する処理フロー示す。以下、図５および図６を用いて本発明のランダムパターン生成装置について説明する。
【０１００】
図５における一様乱数発生手段５０１において発生した一様乱数に基づいて正規乱数発生手段５０２は、予め設定された標準偏差ｓ、平均値ａｍに基づいて正規乱数Ｒｋを発生する。標準偏差ｓは、標準偏差設定手段５０７において様々な値を設定可能であり、設定された標準偏差に基づいて様々な正規乱数が正規乱数発生手段５０２において発生可能である。
【０１０１】
画像生成手段５０３は、正規乱数発生手段５０２において発生された正規乱数Ｒｋに基づいて画像ｒｄ＿ｉｍ［ｋ］を生成する。
【０１０２】
次に二値画像生成手段５０４は、予め定めた閾値Ｔにより画像ｒｄ＿ｉｍ［ｋ］の二値化処理を行ない、二値画像ｆ（ｉ，ｊ）を生成する。閾値Ｔは、閾値設定手段５０８において様々な値を設定可能であり、設定された閾値に基づいて様々な二値画像が二値画像生成手段５０４において生成可能である。
【０１０３】
次に、変化率検出手段５０５は、二値画像生成手段５０４の生成した二値画像ｆ（ｉ，ｊ）の変化率ｒを求め、さらに、変化率判定手段５０６が、変化率検出手段５０５の検出した変化率ｒと、予め定めた閾値Ｔ１との比較を実行する。変化率ｒは、生成された二値画像が周期性を持たない場合、値が大きくなり、周期性がある場合、例えば画素値が０１０１０１等の繰り返しを含む場合に低下する値であるパターン適性度指標値である。変化率ｒについての算出式については図６のフローについての説明中で詳述する。
【０１０４】
変化率判定手段５０６の閾値Ｔ１との比較処理において、変化率ｒが閾値Ｔ１を上回っている場合は、十分な非周期性が保持されたランダムパターンであると判定され、二値画像生成手段５０４で生成された二値画像が投光用パターンとして使用される。
【０１０５】
次に、図６のフローに従って、より具体的な処理について説明する。図６のステップ６０１では、０−１間一様乱数の発生処理が行われ、配列ａ［ｎ］に格納される。これらは２値（０または１）、あるいは濃淡値（０〜１間の値を持ち得る）のいずれかの一様乱数である。
【０１０６】
ステップ６０２では標準偏差ｓ、平均値ａｍとなる正規乱数（ｇａｕｓｓ）の発生処理がなされる。正規乱数Ｒｋは以下の式によって０−１一様乱数に基づいて発生される。
【０１０７】
【数１】
0004110501.tif 000002
【０１０８】
次に、ステップ６０３において、正規乱数に基づくランダムテクスチャ画像ｒｄ＿ｉｍ［ｋ］が生成される。ここで、ｋ＝０〜Ｋ−１，ｒｄ＿ｉｍ［ｋ］＝Ｒｋ，Ｋ＝ＸＳＩＺＥ×ＹＳＩＺＥ（画像サイズ）である。
【０１０９】
さらに、ステップ６０４で、ステップ６０３で生成された正規乱数に基づくランダムテクスチャ画像ｒｄ＿ｉｍ［ｋ］の二値化処理を行なう、これは予め定められた閾値Ｔに基づいて実行され。この結果得られる二値画像がｆ（ｉ，ｊ）とされる。
【０１１０】
次に、ステップ６０５において、二値画像ｆ（ｉ，ｊ）のパターン適性度指標値としての変化率ｒが算出される。変化率ｒの算出は、以下の式に基づいて実行される。
【０１１１】
【数２】
0004110501.tif 000003
【０１１２】
なお、上記式においてＡは、正規化係数である。
【０１１３】
次に、ステップ６０６において、変化率ｒと、予め定めた閾値Ｔ１との比較処理が行なわれ、変化率ｒが閾値Ｔ１より大であれば、十分なランダム性を有する二値画像であると判定され、ステップ６０７において投光パターン画像生成処理を終了する。
【０１１４】
ステップ６０６における判定がＮｏ、すなわち変化率ｒが予め定めた閾値Ｔ１より大でないと判定された場合には、生成された二値画像が投光に不適切な周期成分を含むと判定され、ステップ６０８に進み、標準偏差ｓまたは、閾値Ｔの少なくともいずけか一方の値を変更して、ステップ６０２以下、少なくともステップ６０４以下の処理を繰り返して、新たな二値画像ｆ（ｉ，ｊ）を生成する。
【０１１５】
最終的にステップ６０６において、変化率ｒ＞閾値Ｔ１がＹｅｓとなった時点で、その二値画像が十分なランダム性を有する二値画像であると判定され、ステップ６０７に進み、投光パターン画像生成処理を終了する。
【０１１６】
以上、図５、図６を用いて説明した本発明のランダムパターン生成装置、およびランダムパターン生成方法によれば、一様乱数に基づいて生成された二値画像の変化率ｒを予め定めた閾値Ｔより大となること保証して投光用ランダム画像パターンを生成するように構成したので、ステレオ画像処理における対応付け処理において問題となる、すなわちミスマッチングの原因となる周期成分が十分取り除かれた良好なランダムパターンの生成が可能となる。
【０１１７】
［ランダムパターン生成装置−その他の実施例］
以下、本発明のランダムパターン生成装置、およびランダムパターン生成方法における二値画像パターンの評価方法の異なる態様について、図７、図８、図９を用いて説明する。図５、図６における生成された二値画像パターンの評価は、図６におけるステップ６０５，６０６において示されるように、生成した二値画像全体からパターン適性度指標値としての変化率ｒを算出して、この変化率ｒと閾値Ｔ１を比較することによって行なっていた。図７〜９では、二値画像ｆ（ｘ，ｙ）から一部領域を抽出して、その一部領域についてのパターン適性度指標値として変化率、特徴量による判定、さらにパターンマッチングによる判定処理を行なう態様である。
【０１１８】
まず、図７を用いて、二値画像ｆ（ｘ，ｙ）から一部領域（ウィンドー）のパターンを抽出して、パターン変化率パラメータを用いるランダム画像パターンの評価方法を説明する。
【０１１９】
図７のステップ７０１において、サイズがＸＳＩＺＥ×ＹＳＩＺＥの二値画像ｆ（ｘ，ｙ）を取得する。例えば図７右上に示すランダムパターンである。
【０１２０】
ステップ７０２では、評価基準サイズとして適用されるウィンドーのサイズ：Ｎｘ×Ｎｙを設定する。例えば図７右下に示すＮｘ×Ｎｙのウィンドーである。ステップ７０３では、ウィンドーの位置を設定する座標ｘｍ，ｙｍを設定する。これらの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙｍ＝Ｎｙ／２として設定される。
【０１２１】
次に、ステップ７０４において、（ｘｍ，ｙｍ）によって定義されるウィンドーの変化率γｍを以下の式に従って求める。
【０１２２】
【数３】
0004110501.tif 000004
【０１２３】
次に、ステップ７０５において、（ｘｍ，ｙｍ）によって定義されるウィンドーのパターン適性度指標値としての変化率γｍと予め定めた閾値Ｔ２との比較を実行して、変化率γｍが閾値Ｔ２より大であれば、そのウィンドーは十分なランダム性を有する二値画像であると判定され、ステップ７０６において、さらに比較すべきウインドゥ領域があるか否かを判定して、ある場合は、ステップ７０８に進み、ｘｍ，ｙｍを更新して、新たなウィンドー領域の変化率の算出および閾値との比較を実行する。
【０１２４】
ステップ７０５における判定がＮｏ、すなわち変化率γｍが予め定めた閾値Ｔ２より大でないと判定された場合には、生成された二値画像における当該ウィンドーが投光に不適切な周期成分を含むと判定され、ステップ７０７に進み、投光パターンとして不適切であると判定し、ステップ７０９において評価処理を終了する。
【０１２５】
このように投光パターンとして不適切であるとの判定がなされた場合において、新たなランダムパターンが必要である場合は、先に説明した図６のステップ６０８において標準偏差ｓ、または閾値Ｔを変更して新たな二値画像ｆ’（ｘ，ｙ）の生成処理を行なうことになる。
【０１２６】
図７のフローにおいて、ステップ７０５の評価判定がすべてＹｅｓとなり、評価ウィンドーが終了した場合は、ステップ７０９に進み、評価が終了し、生成された二値画像ｆ（ｘ，ｙ）が投光パターンとして適切であると判定する。
【０１２７】
次に、図８を用いて、二値画像ｆ（ｘ，ｙ）から一部領域（ウィンドー）のパターンを抽出して、パターンの特徴量パラメータを用いるランダム画像パターンの評価方法を説明する。
【０１２８】
図８のステップ８０１において、サイズがＸＳＩＺＥ×ＹＳＩＺＥの二値画像ｆ（ｘ，ｙ）を取得する。例えば図８右上に示すランダムパターンである。
【０１２９】
ステップ８０２では、評価基準サイズとして適用されるウィンドーのサイズ：Ｎｘ×Ｎｙを設定する。例えば図８右下に示すＮｘ×Ｎｙのウィンドーである。ステップ８０３では、ウィンドーの位置を設定する座標ｘｍ，ｙｍを設定する。これらの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙｍ＝Ｎｎ／２として設定される。
【０１３０】
次に、ステップ８０４において、（ｘｍ，ｙｍ）によって定義されるウィンドーの特徴行列Ｒを以下の式に従って求める。
【０１３１】
【数４】
0004110501.tif 000005
【０１３２】
次に、ステップ８０５において、特徴行列Ｒの固有値：λｍ１、λｍ２を求め、ステップ８０６において、（ｘｍ，ｙｍ）によって定義されるウィンドーの特徴行列Ｒの固有値：λｍ１、λｍ２から求められるパターン適性度指標値としての特徴量：λ＝ｍｉｎ（λｍ１，λｍ２）と予め定めた閾値λＴとの比較を実行して、特徴量：λが閾値λＴより大であれば、そのウィンドーは十分なランダム性を有する二値画像であると判定され、ステップ８０７において、さらに比較すべきウインドー領域があるか否かを判定して、ある場合は、ステップ８０９に進み、ｘｍ，ｙｍを更新して、新たなウィンドー領域の特徴量の算出および閾値との比較を実行する。
【０１３３】
ステップ８０６における判定がＮｏ、すなわち特徴量：λが予め定めた閾値λＴより大でないと判定された場合には、生成された二値画像における当該ウィンドーが投光に不適切な周期成分を含むと判定され、ステップ８０８に進み、投光パターンとして不適切であると判定し、ステップ８１０において評価処理を終了する。
【０１３４】
このように投光パターンとして不適切であるとの判定がなされた場合において、新たなランダムパターンが必要である場合は、先に説明した図６のステップ６０８において標準偏差ｓ、または閾値Ｔを変更して新たな二値画像ｆ’（ｘ，ｙ）の生成処理を行なうことになる。
【０１３５】
図８のフローにおいて、ステップ８０６の評価判定がすべてＹｅｓとなり、評価ウィンドーが終了した場合は、ステップ８１０に進み、評価が終了し、生成された二値画像ｆ（ｘ，ｙ）が投光パターンとして適切であると判定する。
【０１３６】
次に、図９を用いて、二値画像ｆ（ｘ，ｙ）から一部領域（ウィンドー）のパターンを複数抽出して、ウィンドー間のマッチングスコアを用いてランダム画像パターンの評価を行なう方法を説明する。前述の図７、図８の処理フローでは１つの部分領域における画像の特徴について評価していたが、ここでは、異なる部分領域間において、類似するパターンが存在するか否かを判定して、類似パターンがあると判定された場合は、投光パターンとしては不適切であるとの判定を行なうものである。
【０１３７】
図９のステップ９０１において、サイズがＸＳＩＺＥ×ＹＳＩＺＥの二値画像ｆ（ｘ，ｙ）を取得する。
【０１３８】
ステップ９０２では、評価基準サイズとして適用されるウィンドーのサイズ：Ｎｘ×Ｎｙを設定する。例えば図９右下に示すＮｘ×Ｎｙのウィンドーである。この場合比較対象となるウィンドーも同一サイズのウィンドーとして設定される。ステップ９０３では、ウィンドーの位置を設定する座標ｘｍ，ｙｍを設定する。これらの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙｍ＝Ｎｎ／２として設定される。
【０１３９】
次に、ステップ９０４において、画像内の２つのウィンドーのパターンＰ１（ｉ，ｊ）とＰ２（ｉ，ｊ）との領域間相関値がパターン適性度指標値として以下の式に従って求められる。
【０１４０】
【数５】
0004110501.tif 000006
【０１４１】
次に、ステップ９０５において、上記式に従って求められるパターン適性度指標値としての相関値ｒｍと予め定めた閾値Ｔ３との比較を実行して、相関値ｒｍが閾値Ｔ３より小であれば、ステップ９０４で比較した２つのウィンドーは不適切な類似パターンを有さない画像であると判定され、ステップ９０６において、さらに比較すべきウインドゥ領域があるか否かを判定して、ある場合は、ステップ９０８に進み、ｘｍ，ｙｍを更新して、新たなウィンドー領域を設定してステップ９０４以下のパターンマッチング処理を行なう。
【０１４２】
ステップ９０５における判定がＮｏ、すなわち相関値ｒｍが予め定めた閾値Ｔ３より小でないと判定された場合には、ステップ９０４で比較した２つのウィンドーは不適切な類似パターンを有すると判定され、ステップ９０７に進み、投光パターンとして不適切であると判定し、ステップ９０９において評価処理を終了する。
【０１４３】
このように投光パターンとして不適切であるとの判定がなされた場合において、新たなランダムパターンが必要である場合は、先に説明した図６のステップ６０８において標準偏差ｓ、または閾値Ｔを変更して新たな二値画像ｆ’（ｘ，ｙ）の生成処理を行なうことになる。
【０１４４】
図９のフローにおいて、ステップ９０５の評価判定がすべてＹｅｓとなり、評価ウィンドーが終了した場合は、ステップ９０９に進み、評価が終了し、生成された二値画像ｆ（ｘ，ｙ）が投光パターンとして適切であると判定する。
【０１４５】
以上では、主として二値画像によるパターンを投光する例について説明したが、二値画像ではなく濃淡パターンを投光する場合におけるパターン生成処理とそのパターン評価方法の例について、以下説明する。
【０１４６】
まず、濃淡画像によるランダムパターンの生成処理フローを図１０に示す。図１０のフローの各ステップについて説明する。まず、ステップ１００１、ステップ１００２において濃淡パターンを生成する画像領域の座標値の初期値をｉ＝０，ｊ＝０として設定する。
【０１４７】
次に、ステップ１００３において、０−１間の一様乱数を発生し、これを配列ａ［ｎ］として格納する。さらに、ステップ１００４において、ステップ１００３で発生した一様乱数の配列ａ［ｎ］に基づいて標準偏差ｓ、平均値ａｍとなる正規乱数Ｒを発生し、設定した座標（ｉ，ｊ）に対応する濃淡データをＲ＝ｆ（ｉ，ｊ）として設定する。これが座標（ｉ，ｊ）の濃淡値となる。
【０１４８】
ステップ１００５、ステップ１００６では、濃淡値を設定した座標と、投光パターン画像の設定サイズとの比較を実行して濃淡値の未設定領域の有無を判定する。未設定領域がある場合は、それぞれステップ１００７、ステップ１００８で座標を更新し、さらに、ステップ１００３以降の処理を繰り返し実行して、各座標の濃淡値を乱数に基づいて設定する。ＸＳＩＺＥ×ＹＳＩＺＥの領域に含まれる座標すべての濃淡値が決定されると、ステップ１００９に進み、濃淡データからなる投光パターンの生成処理が終了する。
【０１４９】
なお、乱数の発生方法としては様々な手法が適用可能である。図１０のフロー中に示す方法は一例を示しているにすぎず、本発明に適用される乱数発生方法は図１０に示した方法に限定されるものではない。
【０１５０】
図１０のフローにしたがって生成されたランダムパターンは、二値画像パターンではなく、濃淡値をもっているので、濃淡パターン画像としてのパターンとしての適性度を評価することが必要となる。
【０１５１】
濃淡値を有する投光パターンの評価処理フローを図１１に示す。図１１は、図１１の右上に示す濃淡画像ｆ（ｘ，ｙ）から、例えば図１１の右下に示す一部領域（ウィンドー）のパターンを抽出して分散値を求めて濃淡画像パターンを評価する方法を示したものである。
【０１５２】
図１１のステップ１１０１において、サイズがＸＳＩＺＥ×ＹＳＩＺＥの濃淡画像ｆ（ｘ，ｙ）を取得する。例えば図１１右上に示す濃淡パターンである。
【０１５３】
ステップ１１０２では、評価基準サイズとして適用されるウィンドーのサイズ：Ｎｘ×Ｎｙを設定する。例えば図１１右下に示すＮｘ×Ｎｙのウィンドーである。ステップ１１０３では、ウィンドーの位置を設定する座標ｘｍ，ｙｍを設定する。これらの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙｍ＝Ｎｙ／２として設定される。
【０１５４】
次に、ステップ１１０４において、（ｘｍ，ｙｍ）によって定義されるウィンドー内の分散値σｍを以下の式に従って求める。
【０１５５】
【数６】
0004110501.tif 000007
【０１５６】
次に、ステップ１１０５において、（ｘｍ，ｙｍ）によって定義されるウィンドーのパターンとしての適性度を示すパターン適性度指標値としての分散値σｍと予め定めた閾値σＴとの比較を実行して、分散値σｍが閾値σＴより大であれば、そのウィンドーは十分なランダム性を有する濃淡画像であると判定され、ステップ１１０６において、さらに比較すべきウインドゥ領域があるか否かを判定して、ある場合は、ステップ１１０８に進み、ｘｍ，ｙｍを更新して、新たなウィンドー領域の分散値の算出および閾値との比較を実行する。
【０１５７】
ステップ１１０５における判定がＮｏ、すなわち分散値σｍが予め定めた閾値σＴより大でないと判定された場合には、生成された濃淡画像における当該ウィンドーが投光に不適切であると判定され、ステップ１１０７に進み、投光パターンとして不適切であると判定し、ステップ１１０９において評価処理を終了する。
【０１５８】
このように投光パターンとして不適切であるとの判定がなされた場合において、新たなランダムパターンが必要である場合は、先に説明した図１０のステップ１００４において標準偏差ｓを変更して新たな濃淡画像の生成処理を行なうことが可能である。
【０１５９】
図１１のフローにおいて、ステップ１１０５の評価判定がすべてＹｅｓとなり、評価ウィンドーが終了した場合は、ステップ１１０９に進み、評価が終了し、生成された濃淡画像ｆ（ｘ，ｙ）が投光パターンとして適切であると判定する。
【０１６０】
図１２は、上述した方法によって生成された投光用画像パターンを対象（平面）に投光し、観測された２枚の画像から距離画像を求めた例を示した図である。図１２（ａ）は、上述した本発明のランダムパターン生成方法に従って生成したランダム点群からなる投光用画像パターンを示す。図１２（ｂ）（ｃ）は、そのパターンを測定対象である無地の壁に投光し、それぞれカメラ１とカメラ２（例えば、基準カメラと参照カメラ）により観測された画像である。
【０１６１】
図１２（ｄ）は、結果として得られる測定対象である無地の壁の距離画像である。この距離画像は、基準カメラ画像における任意のＮｘ×Ｎｙウィンドー内のパターンを用いて、参照カメラ画像におけるエピポーラライン上の対応付け、すなわち基準カメラ画像における任意のＮｘ×Ｎｙウィンドー内のパターンと同様のパターンが参照カメラ画像のエピポーラライン上のどの部分に表れるかを求めることによって視差データを取得し、その視差データに基づいて得られる距離画像である。図１２（ｄ）の距離画像は、測定対象である無地の壁に一律の距離データが反映されており、この結果は測定対象が無地の壁でも、本発明のランダムパターン生成方法に従って生成したランダム点群からなる投光用画像パターンを投光することによって、カメラとの距離を精度良く計測することを示している。
【０１６２】
図１３は、上述のランダム点群からなる画像パターンを顔に投光し、基準カメラと参照カメラにより観測されたステレオ画像から求められた距離画像の計測結果の例を模式的に示した概念図である。
【０１６３】
図１３（ａ）は、上述した本発明のランダムパターン生成方法に従って生成したランダム点群からなる投光用画像パターンを示す。図１３（ｂ）は、そのパターンを測定対象である顔に投光した模式図である。
【０１６４】
図１３（ｃ）（ｄ）は、測定対象である顔に投光用画像パターン投光し、それぞれ基準カメラと参照カメラにより観測された画像である。
【０１６５】
図１３（ｅ）は、結果として得られる測定対象である顔の距離画像である。この距離画像は、説明のために抽象的に示す概念図であり、実際のものとは異なるが本発明のランダムパターン生成方法に従って生成したランダム点群からなる投光用画像パターンを投光した場合の対応点付け処理においてはミスマッチングの発生可能性が低減され、測定対象のほぼ全ての面で正確な距離が求められる。すなわち基準カメラから測定対象である顔の各部位までの距離に応じた濃淡が示される精度の高い距離画像が得られる。本発明のランダムパターン生成方法を用いることにより、測定対象が人の顔のような特徴がはっきりしない対象であっても、基準カメラ画像と参照カメラ画像との対応点付け処理においてミスマッチングが発生する可能性が低減され、距離画像（または３次元形状）を高精度に生成することができる。
【０１６６】
なお、上述の実施例では、画像撮り込みを行なうカメラを２台として、２つの投光パターン画像から距離画像を求める構成について説明したが、さらに３台以上のカメラを用いたマルチベースラインステレオシステム（例えば特開平１０−２８９３１５号に開示）において本実施例を適用することも可能である。また、固定されたカメラ装置群ではなく、一台一台を自由に動かすことの出来るカメラ群を用いてステレオ撮影するような場合にも、本発明のランダムパターン生成装置とその方法は適用可能である。
【０１６７】
［距離画像生成装置−実施例１］
次に、上述のランダムパターン生成装置、方法を適用した距離画像生成装置および距離画像生成方法について説明する。
【０１６８】
図１４に、本発明の距離画像生成装置の構成ブロック図を示す。距離画像生成装置は、先に説明したステレオ画像法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被測定対象物に対して角度の異なる位置に配置した２つのカメラ、いわゆる基準カメラと参照カメラを用いて像を撮り込み、これら２つのカメラの撮影する画像に基づいて図１で説明したステレオ画像法に基づいて被測定対象物の表面形状を計測する。
【０１６９】
前述した本発明のランダムパターン生成装置は、図１４における投光パターン生成装置１２１１に相当する。投光パターン生成装置１２１１において生成されたランダムパターンは、投光パターン照射手段１２１２において照射される。この投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンである。
【０１７０】
投光パターン評価手段１２１０は、基準カメラ２０１、参照カメラ２０４によって撮影された投光パターン画像の少なくともいずれか一方の画像の評価を実行する。この画像評価は、前述のランダムパターン生成装置に関する説明中で述べた図５の構成、および図６〜図９の評価フローにおける評価を基準カメラ２０１、または参照カメラ２０４によって撮影された投光パターン画像に適用して実行される。または、投光パターンとして濃淡画像を使用することも可能であり、図１０、図１１の処理にしたがって、投光パターンの生成、および評価を実行してもよい。
【０１７１】
すなわち、例えば、投光パターン評価手段１２１０が、図１４の基準カメラ２０１の撮り込んだ投光パターン画像について図６の評価フローに従って評価を行なう場合は、フレームメモリ１ａ，２０３からの画像を図６の評価フローのステップ６０５に従って、撮り込み画像ｐ（ｉ，ｊ）、または撮り込み画像ｐ（ｉ，ｊ）を所定の閾値Ｔｐで処理して得られる二値画像ｐ’（ｉ，ｊ）の変化率ｒをパターンとしての適性度を示すパターン適性度指標値として算出して、ステップ６０６の閾値との比較を実行して適切な投光パターンであるか否かの判定を行なう。
【０１７２】
また、先に説明した図７の評価フローに従って基準カメラ２０１、または参照カメラ２０４によって撮影された投光パターン画像の評価を行なう場合は、撮り込み画像ｐ（ｉ，ｊ）、または撮り込み画像ｐ（ｉ，ｊ）を所定の閾値Ｔｐで処理して得られる二値画像ｐ’（ｉ，ｊ）をステップ７０１に示される二値画像として、図７に示す以下のステップ７０２〜７０９を実行して、各ウィンドーの変化率ｒｍをパターンとしての適性度を示すパターン適性度指標値として算出して評価を行なう。
【０１７３】
また、先に説明した図８の評価フローに従って基準カメラ２０１、または参照カメラ２０４によって撮影された投光パターン画像の評価を行なう場合は、撮り込み画像ｐ（ｉ，ｊ）、または撮り込み画像ｐ（ｉ，ｊ）を所定の閾値Ｔｐで処理して得られる二値画像ｐ’（ｉ，ｊ）をステップ８０１に示される二値画像として、図８に示す以下のステップ８０２〜８１０を実行して、各ウィンドーの特徴行列Ｒの固有値をパターンとしての適性度を示すパターン適性度指標値として求め、これを閾値と比較して評価を行なう。
【０１７４】
また、先に説明した図９の評価フローに従って基準カメラ２０１、または参照カメラ２０４によって撮影された投光パターン画像の評価を行なう場合は、撮り込み画像ｐ（ｉ，ｊ）、または撮り込み画像ｐ（ｉ，ｊ）を所定の閾値Ｔｐで処理して得られる二値画像ｐ’（ｉ，ｊ）をステップ９０１に示される二値画像として、図９に示す以下のステップ９０２〜９０９を実行して、異なるウィンドー間のマッチング率を求め、これをパターンとしての適性度を示すパターン適性度指標値として閾値と比較して評価を行なう。
【０１７５】
また、上記以外にもパターン画像の分散値（図１１参照）を使用した評価も可能であり、さらに投光パターンとして濃淡画像を使用する場合には、図１０、図１１の処理にしたがって、投光パターンの生成、および評価処理を実行する。
【０１７６】
なお、投光パターン評価手段１２１０は、基準カメラ２０１の撮り込み画像、参照カメラ２０２の撮り込み画像のいずれか一方を評価する構成であっても、あるいは両画像の評価を行なう構成としてもよい。
【０１７７】
上述の各種評価方法によって投光パターンとして不適切であると判定された場合は、図１４の投光パターン生成手段１２１１において、当該パターンの使用を中止し、新たな投光パターンを選択、または生成して測定対象に照射する。
【０１７８】
投光パターン生成装置１２１１は、異なる非周期パターンを予めスライド等に形成した投光パターンスライドを複数有し、これら複数の投光パターンから順次投光パターンを選択して照射し、投光パターン評価手段１２１０において投光パターンとして適切であると認められたものを最終的な投光パターン、すなわち距離画像を生成するためのパターンとして選択する。あるいは、投光パターン照射手段１２１２が透過型液晶表示素子を有し、投光パターン生成装置１２１１が透過型液晶表示素子を制御して動的にランダムパターンを生成して投影する構成としてもよい。動的なランダムパターン生成手法については、図１５を用いて詳細に説明する。
【０１７９】
投光パターン評価手段１２１０において投光パターンとして適切であると認められた場合は、その結果が画像対応付け手段２０５に通知され、その投光パターンにおいて計測対象とともに基準カメラ２０１と参照カメラ２０２により撮影され、フレームメモリ２０３、２０４に格納された画像に基づいて、画像間対応付け手段２０５が投光パターン画像間の対応付け処理を行なう。すなわち、基準カメラ２０１の撮影した画像の各画素に対する参照カメラ２０２の撮影した参照画像の画素の対応付け処理を行ない、基準画像に対する参照画像の視差データを距離画像生成手段２０６に出力し、距離画像生成手段２０６が距離画像の生成処理を実行する。
【０１８０】
本発明の距離画像生成装置において、距離画像の生成される際に使用される投光パターンは、投光パターン生成手段１２１１によって生成または選択され、投光パターン評価手段１２１０において適切であると認められた投光パターンであるので、画像の対応付け処理においてミスマッチングの発生が抑制されることとなり、画像間対応付け手段２０５における画像間の対応付け処理、および距離画像生成手段２０６における距離画像生成処理が高精度に行われる。
【０１８１】
なお、図１４に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。
【０１８２】
次に、投光パターン照射手段１２１２が透過型液晶表示素子を有し、投光パターン生成装置１２１１が透過型液晶表示素子を制御して動的にランダムパターンを生成して投影する構成ブロック図を図１５に示す。
【０１８３】
図１５に示されるように、投光パターン照射手段１２１２は透過型液晶表示素子１３２０を有し、光源１３２１からの光が透過型液晶表示素子１３２０を介して測定対象２００に照射される。
【０１８４】
投光パターン生成手段１２１１は、液晶制御手段１３０７を有し、液晶制御手段１３０７が透過型液晶表示素子１３２０に様々な非周期パターンを形成する制御を実行する。また、投光パターン生成手段１２１１は、先にランダムパターン生成装置の説明中で用いた図５の構成部５０１〜５０４，５０７，５０８と同様の構成を持ち、例えば２値の一様乱数を発生する一様乱数発生手段１３０１、一様乱数発生手段１３０１において発生した一様乱数に基づいて、予め設定された標準偏差ｓ、平均値ａｍに基づいて正規乱数Ｒｋを発生する正規乱数発生手段１３０２、正規乱数発生手段１３０２において発生された正規乱数Ｒｋに基づいて画像ｒｄ＿ｉｍ［ｋ］を生成する画像生成手段１３０３、予め定めた閾値Ｔにより画像ｒｄ＿ｉｍ［ｋ］の二値化処理を行ない、二値画像ｆ（ｉ，ｊ）を生成する二値画像生成手段１３０４を有する。
【０１８５】
液晶制御手段１３０７は、二値画像生成手段１３０４の生成した二値画像に対応するパターンを形成するように透過型液晶表示素子１３２０を制御する。
【０１８６】
標準偏差ｓは、標準偏差設定手段１３０５において様々な値を設定可能であり、設定された標準偏差に基づいて様々な正規乱数が正規乱数発生手段１３０２において発生可能であり、閾値Ｔについても閾値設定手段１３０６において様々な値を設定可能であり、これら各種設定値に基づいて様々な二値画像が二値画像生成手段１３０４において生成される。
【０１８７】
一方、投光パターン評価手段１２１０は、基準カメラ２０１の撮り込み画像、参照カメラ２０２の撮り込み画像をフレームメモリ１ａ，２０３、フレームメモリ１ａ，２０４を介して受信し、撮影画像変化率検出手段１３０８において撮り込み画像ｐ（ｉ，ｊ）、または撮り込み画像ｐ（ｉ，ｊ）を所定の閾値Ｔｐで処理して得られる二値画像ｐ’（ｉ，ｊ）の変化率ｒをパターンとしての適性度を示すパターン適性度指標値として算出する。さらに変化率判定手段１３０９が予め定めた閾値Ｔ１との比較処理を実行して適切な投光パターンであるか否かの判定を行なう。
【０１８８】
変化率判定手段１３０９における判定結果は、投光パターン生成手段１２１１にフィードバックされ、比較結果が不適切な投光パターンであると判定した場合には、投光パターン生成手段１２１１の閾値Ｔ設定手段１３０６、または標準偏差ｓ設定手段１３０５において新たな閾値Ｔ、または標準偏差ｓが設定されて新たな二値画像が生成される。この新たな二値画像に基づくパターンが液晶制御手段１３０７の制御のもとに投光パターン照射手段１２１２中の透過型液晶表示素子１３２０に形成される。
【０１８９】
変化率判定手段１３０９における比較結果が適切な投光パターンであると判定した場合には、図１５には示されていないが、図１４で説明したように画像対応付け手段２０５に通知され、各フレームメモリに格納された画像データに基づく対応付け処理が開始される。
【０１９０】
なお、図１５においては、投光パターン評価手段１２１０が、先のランダムパターン生成装置の説明における図５、６の画像評価構成を採用したものについて示したが、この評価構成に限らず、図７で説明した各ウィンドーの変化率ｒｍに基づく評価、図８で説明した各ウィンドーの特徴行列の固有値に基づく評価、図９で説明した２つのウィンドー間のマッチング率に基づく評価構成のいずれを適用することも可能である。
【０１９１】
図１６に本発明の距離画像生成装置における投光パターン決定処理フローを示す。以下、図１６の各ステップについて図１４、図１５を参照しながら、その処理を説明する。
【０１９２】
ステップ１４０１は、測定対象２００に投影する投光パターンを設定するステップである。投光パターン生成手段１２１１が、予め複数の非周期パターンを形成したスライドを有する場合は、その中から１つのスライドを投光パターンとして選択する。投光パターン生成手段１２１１が透過型液晶表示素子１３２０を有する場合は、投光パターン生成手段１２１１が図１５に示す二値画像生成手段１３０４で生成した二値画像に基づくパターンを透過型液晶表示素子１３２０に形成するように液晶制御手段１３０７によって制御する。
【０１９３】
ステップ１４０２は測定対象２００にある投光パターンを照射して、基準カメラ２０１、参照カメラ２０２を用いて撮影するステップである。各カメラで撮影された画像は、フレームメモリ１ａ，２０３、フレームメモリ２ａ，２０４に格納される。
【０１９４】
ステップ１４０３は、撮影された画像に基づく投光パターンの評価処理ステップである。投光パターン評価手段１２１０において、撮影された画像に基づく投光パターンの評価処理が実行される。これら評価処理は、先に説明した図５〜図９の評価処理構成を適用して行なわれる。
【０１９５】
ステップ１４０４は、投光パターン評価手段１２１０における評価処理において投光パターンとして不適切な部分があるか否かを判定するステップであり、不適切な部分がない場合は、ステップ１４０５に進み、画像間対応付け手段２０５、距離画像生成手段において撮り込み画像に基づく画像間対応付け処理および距離画像生成処理が実行される。
【０１９６】
ステップ１４０４における判定がＮｏ、すなわち投光パターン評価手段１２１０における評価処理において投光パターンとして不適切な部分があると判定された場合は、ステップ１４０６に進み、新たな投光パターンの生成、または選択処理がなされ、さらにステップ１４０１以下の処理、すなわち新たな投光パターンの照射、撮影、評価処理が実行される。
【０１９７】
本発明の距離画像生成装置における、実際の画像取得例を図１７に示す。図１７は測定対象に予め模様が付されており、この模様の付された測定対象に非周期投光パターンを照射して撮影すると、撮影結果が測定対象の本来の模様と投光パターンの重なりが発生して対応付け処理が困難になる例を示したものである。
【０１９８】
図１７（ａ）が測定対象に付されている模様であり、（ｂ）が最初の投光パターンである。投光パターン自体は非周期なものであるが、この非周期パターンが、測定対象に投光し（ｃ）、これを撮影すると、（ｄ）のように測定対象の本来の模様と投光パターンの重なりが発生して対応付け処理が困難になる。図１４または１３で示す投光パターン評価手段は、この図１７（ｄ）に示す画像の評価を、前述のように例えば図５〜９で説明した各方法で行なう。
【０１９９】
図１７（ｄ）に示す画像の評価は、投光パターンとして不適切であるとの評価となるので、投光パターン生成手段１２１１は、新たな投光パターン（ｅ）を生成して、測定対象に投光（ｆ）して、その結果（ｇ）を得る。この画像（ｇ）についても評価処理がなされ、評価の結果が適切であると判定されることにより、対応付け処理、距離画像生成処理が開始される。
【０２００】
本発明の距離画像生成装置は、上述のように、投光パターンを、その撮影画像に基づいて評価・検討して、ミスマッチングの発生が抑制された適正な投光パターン照射画像についての距離画像生成が可能な構成としたので、より高精度な距離画像を得ることができる。
【０２０１】
また、不適切な投光パターン、すなわち対応付け処理においてミスマッチングが多く発生するような投光パターン画像についての対応点付け処理、距離画像生成処理を行なう以前に、適切な投光パターンを選択することが可能となるので、処理の複雑な対応点付け処理、距離画像生成処理を何度も繰り返して行なう必要なく１回のみの処理で高精度な距離画像を得ることができる。
【０２０２】
なお、上述の実施例では、画像撮り込みを行なうカメラを２台として、２つの投光パターン画像から距離画像を求める構成について説明したが、さらに３台以上のカメラを用いたマルチベースラインステレオシステム（例えば特開平１０−２８９３１５号に開示）において本実施例を適用することも可能であり、各カメラにおける取り込み画像のいずれか、または複数の画像に対して上述の評価を実行する構成としてもよい。
【０２０３】
また、固定されたカメラ装置群ではなく、一台一台を自由に動かすことの出来るカメラ群を用いてステレオ撮影するような場合にも、本発明の構成は適応でき、各カメラの移動後の撮影画像の評価が容易に実行可能であり、任意の位置にカメラを設定することが容易となる。
【０２０４】
［距離画像生成装置−実施例２］
上述の距離画像生成装置の実施例１の構成は、取得投光パターン画像の評価を距離画像生成以前に実行する構成であるが、実際に距離画像を生成してそのミスマッチング領域の有無を判定して、その判定に基づいて新たな投光パターンを生成する構成について実施例２として説明する。
【０２０５】
距離画像は、例えば基準カメラと測定対象との距離値を撮影画像の各画素に例えば濃淡値として反映させた画像データであり、三次元グラフィックデータの生成等に用いられる。前述の実施例１では、距離画像の生成ステップ以前に投光パターンの適性を判定する構成であったが、実際の距離画像においてミスマッチング領域が検出される可能性を皆無にすることは保証されるものではなく、そこで実施例２では、距離画像生成後にミスマッチング領域が検出された場合に、さらに新たな投光パターンを照射してミスマッチング領域を削減した高精度な距離画像を得る構成を提供する。なお、ミスマッチング領域とは、距離画像において、正確な距離を示していない画素領域であり、画像間対応付け処理が正確に実行されなかった場合に発生する。
【０２０６】
実施例２の構成を図１８に示す。実施例１と異なる点は、ミスマッチング領域検出手段１６０１であり、ミスマッチング領域検出手段１６０１は、距離画像生成手段２０６によって生成された距離画像を格納した画像メモリ２０７から距離画像を取得してミスマッチング領域を検出する。
【０２０７】
ミスマッチング領域検出手段１６０１によって距離画像中にミスマッチング領域が検出された場合は、投光パターン生成手段１６０２に通知され、新たな投光パターンが生成、または選択され、投光パターン照射手段１６０３によって新たな投光パターンが照射される。投光パターン照射手段１６０３の構成は、実施例１と同様であり、説明を省略する。
【０２０８】
投光パターン生成手段１６０２は、測定対象に対して投光するパターンを生成する構成を持ち、乱数を用いた異なる複数の非周期的投光パターンを生成可能である。さらに、実施例１における投光パターン評価手段と同様の評価構成を持ち、生成した投光パターンについてパターンとしての適性度を示すパターン適性度指標値に基づく判定を行なって判定の良好なもののみを投光パターンとして設定する。
【０２０９】
すなわち、生成投光パターンのパターンとしての適性度を示すパターン適性度指標値、例えば前述した変化率、特徴量、分散値等を算出し、算出したパターンとしての適性度を示すパターン適性度指標値を予め定めた閾値と比較することで距離画像生成用投光パターンとしての適性を判定し、適性ありと判定されたパターンのみを投光パターンとして設定する。従って、投光パターン生成手段１６０２によって生成され、投光パターン照射手段１６０３によって照射される投光パターンは基本的に周期性を生じにくい投光パターンとなる。
【０２１０】
ミスマッチング領域検出手段１６０１の処理を中心として、以下実施例２の構成を説明する。図１９に本実施例の距離画像生成装置の処理フローを示す。
【０２１１】
ステップ１７０１は、測定対象２００に投影する投光パターンを設定するステップである。投光パターン生成手段１６０２が、予め複数の非周期パターンを形成したスライドを有する場合は、その中から１つのスライドを投光パターンとして選択する。投光パターン生成手段１６０２が、図１５で説明した透過型液晶表示素子を有する場合は、投光パターン生成手段１６０２が図１５に示す二値画像生成手段１３０４で生成した二値画像に基づくパターンを透過型液晶表示素子１３２０に形成するように液晶制御手段１３０７によって制御する。
【０２１２】
ステップ１７０２は投光パターン画像に基づく距離画像の生成処理ステップであり、基準カメラ２０１、参照カメラ２０２で撮影された画像、すなわちフレームメモリ１ａ，２０３、フレームメモリ２ａ，２０４に格納された画像に基づいて、画像間対応付け手段２０５、距離画像生成手段２０６において実行される。
【０２１３】
ステップ１７０３は、生成された距離画像に基づくミスマッチング領域の検出処理であり、ミスマッチング領域検出手段１６０１によって実行される。ミスマッチング領域の検出処理について、図２０、図２１を用いて説明する。
【０２１４】
図２０は、ミスマッチングの検出処理の概略を示すものであり、ステップ１８０１において距離画像のラベリング処理を実行し、ラベリング画像１８０２を取得し、ラベリング画像１８０２に基づいて、ステップ１８０３においてミスマッチング領域を検出する。
【０２１５】
図２０に示すステップ１８０１におけるラベリング処理の詳細処理フローを図２１に示す。まず、図２１のステップ２１０１において、図１８に示すミスマッチング領域検出手段１６０１は、画像メモリ２０７から距離画像Ｄ１を読み出す。
【０２１６】
ステップ２１０２において、ミスマッチング領域検出手段１６０１は、ラベリング処理を開始する座標を設定するための初期化処理として、ラベリング未処理画素数ｋを初期化し、ミスマッチング領域検出手段１６０１は、内蔵する座標記憶用バッファｘ［ｋ］，ｙ［ｋ］を初期化する。
【０２１７】
ステップ２１０３において、ミスマッチング領域検出手段１６０１は、距離画像Ｄ１の中の計測対象（被写体）に対応する部分の任意の位置座標を注目画素の座標（ｉ，ｊ）として設定する。
【０２１８】
ステップ２１０４において、ミスマッチング領域検出手段１６０１は、距離画像Ｄ１の注目画素の画素値ｇ（ｉ，ｊ）を抽出する。画素値ｇ（ｉ，ｊ）は、画素（ｉ，ｊ）の距離値を示している。
【０２１９】
次に、ステップ２１０５において、ミスマッチング領域検出手段１６０１は、注目画素（ｉ，ｊ）に隣接する画素の内の１つの未処理画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）（ただしｍ，ｎ＝−１，０，１）を抽出する。
【０２２０】
ステップ２１０６において、ミスマッチング領域検出手段１６０１は、注目する画素（ｉ，ｊ）の画素値ｇ（ｉ，ｊ）が、ラベル値Ｌ０であるか否かを判定し、さらに注目する画素の画素値ｇ（ｉ，ｊ）と隣接する画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）の差の絶対値が所定の閾値より小さいか否かを判定する。
【０２２１】
この閾値との比較により、画素（ｉ，ｊ）と隣接画素（ｉ＋ｍ，ｊ＋ｎ）の連続性が判定される。すなわち画素（ｉ，ｊ）と隣接画素（ｉ＋ｍ，ｊ＋ｎ）の画素値、ｇ（ｉ，ｊ）とｇ（ｉ＋ｍ，ｊ＋ｎ）との差分が閾値より小さければその２つの画素は連続する領域にあると判定され、閾値より大であれば不連続の領域であると判定する。
【０２２２】
注目する画素の画素値ｇ（ｉ，ｊ）がＬ０でなく、かつ、隣接する画素の画素値ｇ（ｉ＋ｍ．ｊ＋ｎ）が画素値ｇ（ｉ，ｊ）に対して連続していると判定された場合ステップ２１０７に進む。
【０２２３】
ステップ２１０７において、ミスマッチング領域検出手段１６０１は、ラベリング未処理画素数ｋを１だけインクリメントし、隣接する画素のｘ座標ｉ＋ｍを座標記憶用バッファｘ［ｋ］に記憶し、ｙ座標ｊ＋ｎを座標記憶用バッファｙ［ｋ］に記憶する。
【０２２４】
ステップ２１０８において、ミスマッチング領域検出手段１６０１は、注目する画素に隣接する８つの全ての画素に対してステップ２１０５，２１０６の処理を施したか否かを判定し、隣接する画素にステップ２１０５，２１０６の処理を施していないものが存在すると判定した場合、ステップ２１０５に戻り、それ以降の処理を繰り返す。その後、ステップ２１０８で、隣接する８つの全ての画素に対してステップ２１０５，２１０６の処理を施したと判定された場合、ステップ２１０９に進む。
【０２２５】
ステップ２１０９において、ミスマッチング領域検出手段１６０１は、注目画素の画素値ｇ（ｉ，ｊ）をラベル値Ｌ０に置換する。ここで、ラベル値Ｌ０は、距離画像Ｄ１の測定対象（被写体）に対応する部分の画素に対して付されるものである。
【０２２６】
ステップ２１１０において、ミスマッチング領域検出手段１６０１は、ラベリング未処理画素数ｋが０であるか否かを判定し、ラベリング未処理画素数ｋが０ではないと判定した場合、ステップ２１１１に進む。
【０２２７】
ステップ２１１１において、ミスマッチング領域検出手段１６０１は、座標記憶用バッファｘ［ｋ］に記憶されている値を注目画素のｘ座標とし、座標記憶用バッファｙ［ｋ］に記憶されている値を注目画素のｙ座標とする。これにより、先ほどまでの注目画素に隣接し、かつ画素値が連続する画素が新たな注目画素とされる。その後、ミスマッチング領域検出手段１６０１は、ラベリング未処理画素数ｋを１だけインクリメントしてステップ２１０４に戻る。
【０２２８】
その後、ステップ２１１０において、ラベリング未処理画素数ｋが０であると判定されるまで、ステップ２１０４以降の処理が繰り返され、ラベリング未処理画素数ｋが０であると判定された場合、ステップ２１１２に進む。ステップ２１１２において、ミスマッチング領域検出手段１６０１は、距離画像Ｄ１の画素で画素値がラベル値Ｌ０に置換されていない画素の画素値をミスマッチング領域であることを示すラベル値Ｌ１に置換する。
【０２２９】
上述のようなラベリング処理が終了すると、距離画像Ｄ１において距離データが所定の閾値以下の差分を有する連続領域には同一のラベルが付与され、例えば図２０のラベリング画像１８０２が得られる。
【０２３０】
ミスマッチング領域検出手段１６０１は、同一ラベルが付与された画素に囲まれていて、かつ周囲と異なるラベルが付与された小さな孤立領域が存在するか否かを上記のラベル値にしたがって判定する。図２０のラベリング画像１８０２では、領域Ｂ，Ｃ，Ｄがこれらの条件に該当し、この領域Ｂ，Ｃ，Ｄをミスマッチング領域であると判定（ステップ１８０３）する。
【０２３１】
図１９に戻って、さらに説明を続ける。上述のようなミスマッチング領域検出処理の結果、ミスマッチング領域が検出されなかった場合は、ステップ１７０４の判定がＮｏとなり、ステップ１７０５に進み、生成された距離画像が出力される。
【０２３２】
また、ミスマッチング領域が検出された場合は、ステップ１７０６に進み、新たな投光パターンの生成、または選択処理がなされ、さらにステップ１７０１以下の処理、すなわち新たな投光パターンに基づく距離画像生成処理、ミスマッチング領域検出処理が実行される。新たな投光パターンの生成処理は、実施例１と同様の処理であり、説明を省略する。
【０２３３】
なお、図１９のステップ１７０４は、ミスマッチング領域が検出されたか否かで処理を変更する構成としてあるが、ある一定の閾値を定めて、ミスマッチング領域が設定閾値以上の量を超える場合にのみ新たな投光パターンに基づく距離画像生成処理を行なうように構成してもよい。
【０２３４】
本実施例の距離画像生成装置および方法によれば、生成された距離画像に基づくミスマッチング領域を検出して新たな投光パターンの設定を行なう構成であり、また、投光パターン生成手段が生成し使用されるパターンは、変化率等の各種のパターンとしての適性度を示すパターン適性度指標値に基づいて距離画像生成用投光パターンとしての適性が良好であると判定されたパターンのみとしたので、適切な距離画像の生成が可能であり、ミスマッチング領域の解消された高精度な距離画像を出力することができる。
【０２３５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０２３６】
【発明の効果】
以上詳記したように、本発明によれば、投光用ランダムパターンを、パターンあるいは撮影画像に基づいて、パターンの変化率、特徴量、分散値、あるいはパターンマッチング等のパターンとしての適性度を示すパターン適性度指標値により評価することにより、適切な投光パターンを得る構成としたので、様々な測定対象に対して、適切な投光パターン画像を取得することが可能となり、高精度な距離画像が得られる。
【０２３７】
さらに、本発明によれば、投光パターンを、パターンあるいはその撮影画像に基づいて評価・検討して、ミスマッチングの発生が抑制された適正な投光パターン照射画像についての距離画像生成を可能としたので、より高精度な距離画像を得ることができ、ミスマッチングが多く発生するような投光パターン画像についての対応点付け処理、距離画像生成処理を行なう以前に、適切な投光パターンを選択することが可能となるので、処理の複雑な対応点付け処理、距離画像生成処理を何度も繰り返して行なう必要なく１回のみの処理で高精度な距離画像を得ることができる。
【０２３８】
さらに、本発明によれば、生成された距離画像に基づくミスマッチング領域を検出して新たな投光パターンの設定を行なう構成とし、変化率等の各種のパターンとしての適性度を示すパターン適性度指標値に基づいて距離画像生成用投光パターンとしての適性が良好であると判定されたパターンのみを使用するように構成したので、ミスマッチング領域の解消された高精度な距離画像を出力することが可能となる。
【図面の簡単な説明】
【図１】本発明において使用される三次元情報取得構成として適用可能なステレオ画像法について説明した図である。
【図２】本発明のランダムパターン生成装置を適用した距離画像生成装置の一実施例の構成を示すブロック図である。
【図３】本発明における投光パターン生成及び照射手段において用いられる非周期投光パターンの例を示す図である。
【図４】本発明における投光パターン生成及び照射手段の構成例を示す図である。
【図５】本発明のランダムパターン生成装置の構成ブロック図である。
【図６】本発明のランダムパターン生成装置の投光パターン生成処理フローを説明する図である。
【図７】本発明のランダムパターン生成装置における投光パターン評価処理フロー（その１）を説明する図である。
【図８】本発明のランダムパターン生成装置における投光パターン評価処理フロー（その２）を説明する図である。
【図９】本発明のランダムパターン生成装置における投光パターン評価処理フロー（その３）を説明する図である。
【図１０】本発明のランダムパターン生成装置の濃淡投光パターン生成処理フローを説明する図である。
【図１１】本発明のランダムパターン生成装置における濃淡投光パターン評価処理フローを説明する図である。
【図１２】本発明のランダムパターン生成装置において生成した投光パターンによる距離画像生成例（その１）を示す図である。
【図１３】本発明のランダムパターン生成装置において生成した投光パターンによる距離画像生成例（その２）を示す図である。
【図１４】本発明の距離画像生成装置の一実施例（実施例１）の構成を示すブロック図である。
【図１５】本発明の距離画像生成装置の投光パターン生成手段、投光パターン評価手段の詳細構成を示す図である。
【図１６】本発明の距離画像生成装置における距離画像生成処理のフローチャートを示す図である。
【図１７】本発明の距離画像生成装置における投光パターン生成手段、投光パターン評価手段の処理過程を説明する図である。
【図１８】本発明の距離画像生成装置の一実施例（実施例２）の構成を示すブロック図である。
【図１９】本発明の距離画像生成装置の処理フローを示す図である。
【図２０】本発明の距離画像生成装置におけるミスマッチング領域の検出処理フローを示す図である。
【図２１】本発明の距離画像生成装置における距離画像に基づくラベリング処理の処理フローを示す図である。
【符号の説明】
２０１…基準カメラ
２０２…参照カメラ
２０３，２０４…フレームメモリ
２０５…画像間対応付け手段
２０６…距離画像生成手段
２０７…画像メモリ
２０８…出力手段
２２０…投光パターン生成及び照射手段
４０１…制御手段
４０２…カメラ１（基準カメラ）
４０３…カメラ２（参照カメラ）
４０４…画像メモリ
５０１…一様乱数発生手段
５０２…正規乱数発生手段
５０３…画像生成手段
５０４…二値画像生成手段
５０５…変化率検出手段
５０６…変化率判定手段
５０７…標準偏差設定手段
５０８…閾値設定手段
１２１０…投光パターン評価手段
１２１１…投光パターン生成手段
１２１２…投光パターン照射手段
１３０１…一様乱数発生手段
１３０２…正規乱数発生手段
１３０３…画像生成手段
１３０４…二値画像生成手段
１３０５…標準偏差設定手段
１３０６…閾値設定手段
１３０７…液晶制御手段
１３０８…撮影画像変化率検出手段
１３０９…変化率判定手段
１６０１…ミスマッチング領域検出手段
１６０２…投光パターン生成手段
１６０３…投光パターン照射手段
【図１】
0004110501.tif 000008
【図２】
0004110501.tif 000009
【図３】
0004110501.tif 000010
【図４】
0004110501.tif 000011
【図５】
0004110501.tif 000012
【図６】
0004110501.tif 000013
【図７】
0004110501.tif 000014
【図８】
0004110501.tif 000015
【図９】
0004110501.tif 000016
【図１０】
0004110501.tif 000017
【図１１】
0004110501.tif 000018
【図１２】
0004110501.tif 000019
【図１３】
0004110501.tif 000020
【図１４】
0004110501.tif 000021
【図１５】
0004110501.tif 000022
【図１６】
0004110501.tif 000023
【図１７】
0004110501.tif 000024
【図１８】
0004110501.tif 000025
【図１９】
0004110501.tif 000026
【図２０】
0004110501.tif 000027
【図２１】
0004110501.tif 000028