(57)【特許請求の範囲】
【請求項１】
投光器が撮影すべき対象物に投光したパタンをセンサで撮影して得られるパタン画像データから、上記センサから対象物までの距離を画素値で表した距離画像データを生成する３次元画像計測装置において、
所定の第１の露光時間で上記センサにより撮影したパタン画像から得られる距離画像における画素値が不明な画素を、上記第１の露光時間よりも長い第２の露光時間で上記センサにより撮影したパタン画像から得られる距離画像の画素値で補間する制御手段を備えたことを特徴とする３次元画像計測装置。
【請求項２】
上記制御手段は、
所定の低周波パタン画像に比較して高い周波数を有する高周波パタン画像であって、空間コード化法を用いてパタンの明暗を互いに反転させて得られるペアの画像データである高周波ポジティブパタン画像データ及び高周波ネガティブパタン画像データを生成し、
上記高周波ポジティブパタン画像データと上記高周波ネガティブパタン画像データとの差分から得られる差分絶対値の画素値を有する差分画像データを生成し、
上記差分画像データの画素値が０ではない、もしくは所定のしきい値よりも高い場合にのみ、上記第１の露光時間で上記センサが撮影したパタン画像から得られる距離画像における画素値が不明な画素を、上記第２の露光時間で上記センサにより撮影したパタン画像から得られる距離画像の画素値で補間することを特徴とする請求項１記載の３次元画像計測装置。
【請求項３】
投光器が撮影すべき対象物に投光したパタンをセンサで撮影して得られるパタン画像データから、上記センサから対象物までの距離を画素値で表した距離画像データを生成する制御手段を備えた３次元画像計測装置のための３次元画像計測方法において、
上記制御手段が、所定の第１の露光時間で上記センサにより撮影したパタン画像から得られる距離画像における画素値が不明な画素を、上記第１の露光時間よりも長い第２の露光時間で上記センサにより撮影したパタン画像から得られる距離画像の画素値で補間するステップを含むことを特徴とする３次元画像計測方法。
【請求項４】
上記補間するステップは、上記制御手段が、
所定の低周波パタン画像に比較して高い周波数を有する高周波パタン画像であって、空間コード化法を用いてパタンの明暗を互いに反転させて得られるペアの画像データである高周波ポジティブパタン画像データ及び高周波ネガティブパタン画像データを生成し、
上記高周波ポジティブパタン画像データと上記高周波ネガティブパタン画像データとの差分から得られる差分絶対値の画素値を有する差分画像データを生成し、
上記差分画像データの画素値が０ではない、もしくは所定のしきい値よりも高い場合にのみ、上記第１の露光時間で上記センサが撮影したパタン画像から得られる距離画像における画素値が不明な画素を、上記第２の露光時間で上記センサにより撮影したパタン画像から得られる距離画像の画素値で補間することを特徴とする請求項３記載の３次元画像計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物にパタンを投影し、その反射光を撮像して空間コード化法などの３次元画像計測法を用いて解析することで対象物の３次元形状を計測する３次元画像計測装置及び方法に関する。
【背景技術】
【０００２】
対象物に投影したパタンの反射光をカメラなどのセンサで撮影することで、所定のパタンを投影された測定対象物からの反射光画像であるパタン画像が得られる。パタンを投影した投光器と、パタン画像を撮影したセンサの位置関係が既知の場合、このパタン画像を解析することで、三角測量の原理に基づき、センサから物体までの距離を復元することができる。一般的に、アクティブステレオ法と呼ばれる３次元画像計測方法がこれにあたり、空間コード化法、構成化光（Ｓｔｒｕｃｔｕｒｅｄ  Ｌｉｇｈｔ）法、光切断法、スポット光投影法、スリット光投影法がこれに含まれる。【０００３】
この３次元画像計測方法で対象物の距離を計測するには、対象物に投影したパタンの反射光をセンサの素子で受光した際に得られる画素値と、反射光を受光しない他の素子の画素値の値に、明確な差が必要となる。これら画素値は、投影したパタン以外の環境光、対象物の表面素材における拡散反射率、投影パタンの光の強度、センサの受光感度など、様々な要因に依存して決定される。【０００４】
拡散反射率の高い黒色の対象物にパタンを投影すると、弱い強度の反射光しか返ってこないため、パタンの計測が困難である。この場合、センサの素子の受光量を増やす必要がある。露光時間を長くすることは、受光量を増やす一つの方法である。しかし、露光時間を長くした場合、今度は環境光の影響を強く受けるようになる。例えば白色の対象物や拡散反射率の低い対象物にパタンを投影した際、パタンが投影されていない部分からも、環境光やパタン光の映り込みが反射光として返ってくる。この場合もパタンの計測が困難である。これは、拡散反射率の高い黒い物体と、白い物体や拡散反射率の低い物体を同時に計測するのが困難であることを示す一例であるが、露光時間以外の方法によりセンサの素子の受光量を増やしたとしても、同様の問題が発生する。【０００５】
このような、異なる表面状態を持つ複数の物体が混在するシーンの３次元画像計測をするための方法として、異なる露光時間で撮影したパタン画像同士を合成した、多重露光によるパタン画像（多重シャッタースピード画像）から距離を復元する方法がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４８８９３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような３次元画像計測方法にあっては、短露光時間のパタン画像と長露光時間のパタン画像とを合成した多重露光によるパタン画像を用いた空間コード化法により３次元画像計測を行うが、カメラの受光素子のレンジ不足により画素間の連続性が悪くなることから、不正確な値を持つ画素が発生する、つまり誤計測が生じるという課題があった。【０００８】
本発明の目的は上記問題点を解決し、複数の異なる表面状態の物体を存在するシーンにおいて、誤計測を抑制しつつ、計測抜けの少ない、安定した計測を行うことができる３次元画像計測装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一形態に係る３次元画像計測装置は、
投光器が撮影すべき対象物に投光したパタンをセンサで撮影して得られるパタン画像データから、上記センサから対象物までの距離を画素値で表した距離画像データを生成する３次元画像計測装置において、
所定の第１の露光時間で上記センサにより撮影したパタン画像から得られる距離画像における画素値が不明な画素を、上記第１の露光時間よりも長い第２の露光時間で上記センサにより撮影したパタン画像から得られる距離画像の画素値で補間する制御手段を備えたことを特徴とする。
【発明の効果】
【００１０】
従って、本発明に係る３次元画像計測装置によれば、ノイズが少なく、かつ、画素値が不明な画素の少ない、高品質な距離画像データを得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。
【図２】図１の情報処理装置３の概略機能を示すブロック図である。
【図３Ａ】図１の３次元画像計測装置により計測対象物を撮影したときのカメラ画像２１を示す図である。
【図３Ｂ】図１の３次元画像計測装置により計測対象物を撮影したときの距離画像２２を示す図である。
【図４】一般的な空間コード化法で使われるポジティブパタン画像２３及びネガティブパタン画像２４を含むパタン画像の例を示す図である。
【図５Ａ】露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって１番目に濃い場合の画像２５の画像例の図である。
【図５Ｂ】露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって２番目に濃い場合の画像２６の画像例の図である。
【図５Ｃ】露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって３番目に濃い場合の画像２７の画像例の図である。
【図５Ｄ】露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって４番目に濃い場合、すなわち一番目に薄い場合の画像２８の画像例の図である。
【図６Ａ】画素の受光量の小さいパタン画像のカメラ画像４１の画像例を示す図である。
【図６Ｂ】図６Ａのカメラ画像４１から得られる距離画像４２の画像例を示す図である。
【図７Ａ】画素の受光量の比較的大きいパタン画像のカメラ画像４３の画像例を示す図である。
【図７Ｂ】図７Ａのカメラ画像４３から得られる距離画像の画像例を示す図である。
【図８Ａ】図１の３次元画像計測装置の計測結果であって、対象物のカメラ画像の画像例を示す図である。
【図８Ｂ】図１の３次元画像計測装置の計測結果であって、露光時間が比較的短い撮影に基づく元の距離画像の画像例を示す図である。
【図８Ｃ】図１の３次元画像計測装置の計測結果であって、式（２）によって計算された距離画像の画像例を示す図である。
【図８Ｄ】図１の３次元画像計測装置の計測結果であって、式（２）及び式（３）によって計算された距離画像の画像例を示す図である。
【図９】図１の３次元画像計測装置の情報処理装置３によって実行される３次元画像計測処理を示すフローチャートである。
【図１０】図９のサブルーチンである計測信頼性評価処理（ステップＳ９）を示すフローチャートである。
【図１１】図９のサブルーチンである距離画像合成処理（ステップＳ１０）を示すフローチャートである。
【図１２】本発明の実施の形態２にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。
【図１３】本発明の実施の形態３にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。
【図１４】図１３の３次元画像計測装置の情報処理装置３により実行される３次元画像計測処理を示すフローチャートである。
【図１５】本発明の実施の形態４にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は本発明の実施の形態１にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。図１において、３次元の対象物を撮像して画像データを出力するカメラ１と、３次元の対象物に対して所定光量の投光を行う投光器２がそれぞれ、情報処理装置３のインターフェース回路３６，３７に接続される。情報処理装置３は例えばコンピュータ又はディジタル計算機などの制御手段で構成され、具体的には、３次元画像計測処理を実行する中央演算処理装置（以下、ＣＰＵという。）３１と、３次元画像計測処理のプログラムを保存したリードオンリーメモリ（以下、ＲＯＭという。）３２と、入出力データ及び入出力信号を一時的に保持するランダムアクセスメモリ（以下、ＲＡＭという。）３３と、例えばマウス、キーボード、ジェスチャ認識用カメラ、装着型加速度センサなどを含み操作者の操作を受け付ける入力装置３４と、例えばディスプレイなど操作者に対して情報を提示する表示装置３５とを備え、これら構成要素３１〜３７はバス３０を介して接続されて構成される。
【００１３】
インターフェース回路３６はカメラ１とＣＰＵ３１との間で実行される通信のデータ及び信号の変換等を行う。また、インターフェース回路３７はＣＰＵ１から投光器２への命令信号の変換等を行う。具体的には、ＣＰＵ１は詳細後述する、所定のパタンを投影するように命令するパタン投影命令信号をインターフェース回路３７を介して投光器２に出力する。また、ＣＰＵ３１は撮影命令信号を発生してインターフェース回路３６を介してカメラ１に出力し、これに応答して、カメラ１は所定のパタンを撮影した画像データであるパタン画像データと、その高周波パタン画像データとをインターフェース回路３６を介してＣＰＵ１に出力する。
【００１４】
本実施の形態にかかる３次元画像計測装置は、異なる撮影条件で撮影したパタン画像から得られる距離画像（カメラ１から計測対象物までの距離を画素値で表した画像）同士を合成するものである。その際、画素の受光量が比較的小さな撮影条件で撮影したパタン画像から得られる距離画像の画素値の不明な画素を、画素の受光量が比較的大きな撮影条件で撮影したパタン画像から得られる距離画像の画素値で補間することを特徴とする。また、その際、パタンにおける高周波成分の計測の信頼性が高い画素と低い画素で、合成方法を変更することも特徴とする。
【００１５】
カメラ１は、投光器２が投影する３次元の対象物のパタンを撮影して撮像された画像データを情報処理装置３に出力するためのデジタルカメラである。ただし、カメラ１が、情報処理装置３から撮影命令を受け取り、撮影したパタン画像を情報処理装置３に返すための通信機能を備える場合、カメラ１は、ピンホールカメラ、レンジファインダーカメラ、ビューカメラであってもよい。また、パタン画像を撮影できる場合、レンズに侵入する光の光線方向を推定するためのマイクロレンズアレーを備えたライトフィールドカメラを利用してもよい。
【００１６】
投光器２は、情報処理装置３からパタン投影命令を受け、３次元の対象物に対して所定のパタンを照射するものであり、ＣＲＴプロジェクタ、液晶プロジェクタ、デジタルライトプロセッシングプロジェクタ、反射型液晶素子プロジェクタ、回折現象を利用した反射型表示素子プロジェクタ、レーザーと回折格子とポリゴンミラー、レーザーとレーザー照射位置を変更する駆動装置を利用してもよい。
【００１７】
図２は図１の情報処理装置３の概略機能を示すブロック図である。図２において、情報処理装置３は、
（１）投光器２に対して、所定のパタンを投影するパタン投影命令信号を出力する投影パタン制御部１０と、
（２）カメラ１に対して、投影パタン制御部１０からのパタン投影命令信号と同期したタイミングで撮影命令信号を出力する画像取得制御部１１と、
（３）カメラ１が撮影したパタン画像から、カメラ１と対象物の距離をデジタル情報の距離画像データとして復元する距離復元部１２と、
（４）距離復元部１２が復元した距離画像データと、カメラ１が撮影した高周波パタン画像データ（投光器２が投影する複数種類のパタンにおいて、細かい特徴を持つパタンを撮影した画像）から、各画素の距離推定の信頼性を評価する計測信頼性評価部１３と、
（５）距離復元部１２が復元した複数の距離画像データと、計測信頼性評価部１３が作成した距離画像データの計測信頼性マップから、画素値が不明な画素と、実際のカメラと対象物までの距離に対して不正確な画素値を持つ画素が少なくなるように複数の距離画像同士を合成する距離画像合成部１４
とを備えて構成される。
【００１８】
投影パタン制御部１０と画像取得制御部１１は同期信号を用いて制御され、パタン投影命令信号と撮影命令信号のタイミングを合わせる。これにより、同期したパタン画像のは増データを得ることができる。
【００１９】
図３Ａは図１の３次元画像計測装置により計測対象物を撮影したときのカメラ画像２１を示す図である。また、図３Ｂは図１の３次元画像計測装置により計測対象物を撮影したときの距離画像２２を示す図である。図３Ａのカメラ画像２１では対象物の素材の反射率によって反射してくる光の強さが画素値に反映されるので、黒い対象物が黒く、白い対象物が白くなっている。一方、カメラ画像２１に対応する図３Ｂの距離画像２２では、カメラ１から対象物までの距離が画素値として表現されるので、カメラ１に近い対象物が明るく、遠い対象物が黒く表示される。
【００２０】
図４は一般的な空間コード化法で使われるポジティブパタン画像２３及びネガティブパタン画像２４を含むパタン画像の例を示す図である。すなわち、図４において、一般的な空間コード化法で利用される複数の２値のパタンのイメージを示す。縦方向のスリットパタンが照射されており、照射部分は明るく、非照射部分は暗く表示されている。図４に示すように、複数の異なる周波数帯のスリットパタンを投影するが、スリットの太さに応じて、細いスリットパタンを高周波パタン画像、太いスリットパタンを低周波パタン画像と呼ぶ。また、空間コード化法における計測誤差を抑制するために、２値パタンの正負が逆のスリットパタンのペア（すなわち、撮影パタンの明暗を互いに反転させて得られるペアの画像データ）を利用する。ここでは、このペアのパタン画像の一対をポジティブパタン画像２３と呼び、もう一対をネガティブパタン画像２４と呼ぶ。
【００２１】
距離復元部１２は、画像取得制御部１１により得られたパタン画像から、カメラ１から対象物までの距離を含む距離を復元する。距離復元結果を、３次元の対象物を点群の集合であるポイントクラウドとして表現することも可能であるが、距離画像データとして表現することで、処理時間の短い画像処理を活用することができる。
【００２２】
計測信頼性評価部１３は、距離復元部１２で復元されたカメラ１から対象物までの距離画像の各画素において、画素値が不明、もしくは不正確な計測が発生する可能性を定量化する。そのために、画像取得制御部１１により撮影したパタン画像のうち、高周波パタン画像データを活用する。高周波パタンは、細いパタンであるため、環境光やパタン光自体の反射光の強度変化に応じて、パタンが消失しやすい。特に反射光の強度が強い場合に、直接反射光を受光する画素が飽和させるだけでなく、その周辺の画素まで飽和させるため、広範囲にわたる誤計測に繋がる。高周波パタンは反射光の変動の影響を受けやすい分、その状態を解析することは、計測信頼性の評価に適している。
【００２３】
ここで、計測信頼性マップＲＰＮを次式のように定義する。
【００２４】
【数１】
0006038415.tif 000002
（１）
【００２５】
ここで、ＩＰＨｉｇｈは高周波ポジティブパタン画像データ、ＩＮＨｉｇｈは高周波ネガティブパタン画像データである。高周波ポジティブパタン画像データと高周波ネガティブパタン画像データの各画素の値は、本来極端な差が生じるが、環境光の影響や、パタン光の反射光の強度によっては、差が発生しない。これは、高周波パタンが観測できなかったことと等しい。つまり、計測信頼性マップＲＰＮの値が０、もしくは所定のしきい値（例えば、０近傍の正値、例えば０．０１）より低い場合、計測信頼性が著しく低いと評価することができる。
【００２６】
距離画像合成部１４は異なる撮影条件で撮影した距離画像同士を合成し、各撮影条件では画素値が不明な画素、カメラ１と対象物間の実際の距離と異なる画素値となった画素の補正を行う。異なる撮影条件とは、カメラの素子の受光量を変更させてパタン画像を撮影し、距離画像を復元することである。図１の装置構成において、情報処理装置３が、カメラ１の露光時間（例えば、第１の露光時間と、上記第１の露光時間よりも長い第２の露光時間を用いる）、カメラ１の絞り値、カメラ１のゲイン、投光器２の投光強度、投光器２の投光方向を変更することで、異なる撮影条件を実現することができる。
【００２７】
図５Ａは露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって１番目に濃い場合の画像２５の画像例の図である。また、図５Ｂは露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって２番目に濃い場合の画像２６の画像例の図である。さらに、図５Ｃは露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって３番目に濃い場合の画像２７の画像例の図である。またさらに、図５Ｄは露光時間の違いにより、計測対象物の撮影結果が異なることを示す画像例の図であって４番目に濃い場合、すなわち一番目に薄い場合の画像２８の画像例の図である。すなわち、図５Ａ〜図５Ｄは、異なる撮影条件として異なる露光時間にて同じ対象物を撮影した画像のイメージである。図５Ａの画像が最も露光時間が短く、図５Ｂ、図５Ｃ、図５Ｄの順で露光時間が長くなっている。露光時間の比較的短い画像では黒い対象物と周囲の差が判別しにくく、露光時間の長い画像では白い対象物と周囲の差が判別しにくくなる。
【００２８】
図６Ａは画素の受光量の小さいパタン画像のカメラ画像４１の画像例を示す図である。また、図６Ｂは図６Ａのカメラ画像４１から得られる距離画像４２の画像例を示す図である。さらに、図７Ａは画素の受光量の比較的大きいパタン画像のカメラ画像４３の画像例を示す図である。またさらに、図７Ｂは図７Ａのカメラ画像４３から得られる距離画像の画像例を示す図である。
【００２９】
図６Ｂの距離画像４２における、黒い小さな円は画素値が不明の画素を指す。露光時間が短い場合、白い対象物の画素値は正確に得られやすいが、黒い対象物では画素値が不明となりやすい。図７Ｂの距離画像４４におけるテクスチャのような部分は、不正確な画素値を示している。露光時間が長い場合、黒い対象物の画素値は正確に得られるが、白い対象物の画素値が不正確になりやすい。画素値不明の画素については、周辺画素による補間が適用できるが、不正確な画素値を持つ画素は、補間できず、実応用において、例えばロボットが衝突するなど、深刻な問題を発生しやすい。そこで、次の戦略方法により、距離画像同士を合成することで、高品質な距離画像データを得る。
【００３０】
距離画像合成部１４は次式のように距離画像同士を合成して合成された距離画像データＩｆｕｓｉｏｎ（ｘ，ｙ）を生成して出力する。
【００３１】
【数２】
0006038415.tif 000003
（２）
【００３２】
ここで、ＩＬｏｗは、ある撮影条件により撮影したパタン画像に基づく、画素値の受光量が低い距離画像データを指す。ＩＨｉｇｈは、異なる撮影条件により撮影したパタン画像に基づく、画素値の受光量が高い距離画像データを指す。露光時間を変えて距離画像を２回取得した場合、露光時間の短い撮影に基づく距離画像データがＩＬｏｗに対応し、露光時間の長い撮影に基づく距離画像データがＩＨｉｇｈに対応する。ここで、（ｘ，ｙ）とは画像における画素の２次元位置を意味する。
【００３３】
受光量が低いパタン画像においては、パタンが消失することから、計算できる距離画像データの画素値が不明となりやすい。しかし、環境光の影響も抑えられるため、受光ノイズ（以下、ノイズと記載する）が少なくなり、距離画像データの画素値を計算できた画素の値は正確になりやすい。一方、受光量が高いパタン画像においては、環境光の影響を強く受けるため、ノイズが多くなり、距離画像データの画素値が不正確になりやすい。つまり、距離画像データＩＬｏｗはノイズが少ないが、画素値が不明な箇所が多い。距離画像データＩＨｉｇｈはノイズが多い。しかし、距離画像データＩＬｏｗにおける画素値が不明な画素の画素値が距離画像データＩＨｉｇｈから得られる可能性がある。よって、式（２）のように、距離画像データＩＬｏｗを基準とし、ＩＬｏｗの画素値が不明な画素（式（２）では、ＩＬｏｗ（ｘ，ｙ）＝０が、画素値が不明な画素に相当する）については、距離画像データＩＨｉｇｈの画素値で補完するという戦略により、ノイズが少なく、かつ、画素値が不明な画素の少ない、高品質な距離画像データＩｆｕｓｉｏｎ（ｘ，ｙ）を得ることができる。
【００３４】
この場合、距離画像データＩＬｏｗの画素値が不明な画素の距離画像データＩＨｉｇｈの画素値が不正確な場合、合成した距離画像の結果も不正確になってしまう。そこで、距離画像データＩＨｉｇｈを計算した際に得られる高周波ポジティブパタン画像データＩＰＨｉｇｈ、及び高周波ネガティブパタン画像データＩＮＨｉｇｈから得られる計測信頼性マップＲＰＮをもとに、次のように距離画像データＩｆｕｓｉｏｎ（ｘ，ｙ）を合成する。
【００３５】
【数３】
0006038415.tif 000004
（３）
【００３６】
【数４】
0006038415.tif 000005
（４）
【００３７】
つまり、式（２）と同様に、距離画像データＩＬｏｗを基準とし、距離画像データＩＬｏｗの画素値が不明な画素（式（２）では、ＩＬｏｗ（ｘ，ｙ）＝０が、画素値が不明な画素に相当する）については、距離画像データＩＨｉｇｈの画素値で補完するが、計測信頼性マップＲＰＮの値が０の場合、画素値を０（画素値が不明）とする。これにより、さらにノイズを抑えた高品質な距離画像データＩｆｕｓｉｏｎ（ｘ，ｙ）を得ることができる。
【００３８】
なお、式（３）においては、計測信頼性マップＲＰＮの値が０か否かで場合分けをしているが、所定のしきい値（例えば、０近傍値であって、例えば０．０１）を定義し、計測信頼性マップＲＰＮの値がそのしきい値以上か以下かで場合分けしてもよい。その場合しきい値以下の場合は画素値を０とする。
【００３９】
図８Ａは図１の３次元画像計測装置の計測結果であって、対象物のカメラ画像の画像例を示す図である。また、図８Ｂは図１の３次元画像計測装置の計測結果であって、露光時間が比較的短い撮影に基づく元の距離画像の画像例を示す図である。さらに、図８Ｃは図１の３次元画像計測装置の計測結果であって、式（２）によって計算された距離画像の画像例を示す図である。またさらに、図８Ｄは図１の３次元画像計測装置の計測結果であって、式（２）及び式（３）によって計算された距離画像の画像例を示す図である。
【００４０】
ここで、図８Ａ〜図８Ｄにおいて、左側の画像が黒い対象物であり、右側の画像が白い部分と金属部分を持つ対象物である。図８Ａに示す元の距離画像においては、多くの画素値が不明な画素が発生しているが、図８Ｃ、図８Ｄにおける式（２）、式（３）及び式（４）による結果ではそれが正確な値で補完されている。特に黒い対象物に対して顕著な結果を示している。式（２）による図８Ｃの結果では、白い対象物の一部や、金属部分に、全く不正確な画素値が混入している。しかし、式（３）及び式（４）による図８Ｄの結果では、その多くが除去されていることがわかる。
【００４１】
なお、式（３）及び式（４）を利用した場合（図８Ｄ）でも、画素値が不明な画素は残る可能性がある。その場合は、周辺画素値から補間してもよい。補間には手法は問わず、バイキュービック法、Ｂスプライン法を用いてもよい。また、さらに異なる撮影条件を利用し、式（２）もしくは、式（３）及び式（４）を利用して、繰り返し距離画像同士を合成してもよい。
【００４２】
図９は図１の３次元画像計測装置の情報処理装置３によって実行される３次元画像計測処理を示すフローチャートである。また、図１０は図９のサブルーチンである計測信頼性評価処理（ステップＳ９）を示すフローチャートである。さらに、図１１は図９のサブルーチンである距離画像合成処理（ステップＳ１０）を示すフローチャートである。
【００４３】
図９の３次元画像計測処理において、異なる撮影パラメタＰ１，Ｐ２（ステップＳ１，Ｓ５）で２回、投影パタンで照射してパタン画像を撮影する（ステップＳ２〜Ｓ３，Ｓ６〜Ｓ７）。ここで、パラメタとは、カメラ１の露光時間、カメラ１の絞り値、カメラ１のゲイン、投光器２の投光強度、投光器２の投光方向、撮影時の環境光の強度、撮影時の環境光の方向の変化にあたる。図９の撮影パラメタＰ１とは、撮影画像の輝度値が全体的に暗い状態になるパラメタ設定である。カメラ１の露光時間であれば短く、カメラ１のゲインであれば小さく設定する。そこから投光器２より投影パタンを照射し、カメラ１が同期しながらパタン画像を撮影する。撮影したパタン画像から距離画像を作成する。次に、撮影画像の輝度値が全体的に明るい状態になるようパラメタを設定し、パタン投光、撮影、距離画像作成を行う。２回の撮影をもとに、計測信頼性を評価し（ステップＳ９）、距離画像同士を合成する（ステップ１０）。
【００４４】
図１０の計測信頼性評価処理において、対象物で全体の輝度値が明るくなるよう調整したパラメタＰ２での撮影における、高周波ネガティブパタン画像と、高周波ポジティブパタン画像の差分絶対値を計算して差分絶対値の画素値を有する差分画像データを生成する（ステップＳ１１）。未選択の１つの画素を処理対象の選択画素として以下のステップＳ１３〜Ｓ１５の処理を行う。選択画素の差分絶対値が０であれば（ステップＳ１３でＹＥＳ）その選択画素の計測信頼性の値を０にしてステップＳ１６に進む。一方、選択画素の差分絶対値が１であれば（ステップＳ１３でＮＯ）、選択画素の計測信頼性の値を１とし（ステップＳ１５）、ステップＳ１６に進む。処理対象画像のすべての画素についてステップＳ１２〜Ｓ１４までの処理を繰り返し（ステップＳ１６）、全ての画素について計測信頼性を計算した結果が得られれば（ステップＳ１６でＹＥＳ）計測信頼性マップを生成して（ステップＳ１７）元のルーチンに戻る。
【００４５】
図１１の距離画像合成処理において、まず、未選択の１つの画素を処理対象の選択画素とし（ステップＳ２１）以下のステップＳ２２〜Ｓ２６の処理を行う。ここで、距離画像データ（撮影パラメタＰ１）の画素値が０であれば（ステップＳ２２でＹＥＳ）ステップＳ２３に進む一方、０でなければ（ステップＳ２２でＮＯ；なお、０でない場合は、所定のしきい値（例えば、０近傍値であって、例えば０．０１）以上の画素値をいう。）ステップＳ２４では合成された距離画像データの画素値に距離画像データ（撮影パラメタＰ１）の画素値を代入してステップＳ２７に進む。計測信頼性マップの画素値が０であれば（ステップＳ２３でＹＥＳ）合成された距離画像データの画素値に０を代入してステップＳ２７に進む一方、０でなければ（ステップＳ２３でＮＯ）合成された距離画像データの画素値に距離画像データ（撮影パラメタＰ２）の画素値を代入してステップＳ２７に進む。処理対象画像のすべての画素についてステップＳ２１〜Ｓ２６までの処理を繰り返し（ステップＳ２７）、全ての画素について距離画像データの合成結果が得られれば（ステップＳ２７でＹＥＳ）合成された距離画像データを生成して出力し（ステップＳ２８）元のルーチンに戻る。
【００４６】
以上説明したように、図１１の距離画像合成処理においては、全体の輝度値が暗くなるよう調整した撮影パラメタＰ１の撮影から得られた距離画像データをベースとし、撮影パラメタＰ１の距離画像データの画素値が０（距離値が不明な状態を意味する）でなければ（ステップＳ２２でＮＯ）、撮影パラメタＰ１の距離画像データの画素値を、合成された距離画像データの画素値とする（ステップＳ２４）。もし、撮影パラメタＰ１の距離画像データの画素値が０であれば（ステップＳ２２でＹＥＳ）図４の画像データを用いて作成した計測信頼性マップを参照する。計測信頼性マップにおいて、対応する画素の画素値が０でなければ（ステップＳ２３でＮＯ）、撮影パラメタＰ２の距離画像データの画素値を、合成された距離画像の画素値とする（ステップＳ２６）。対応する画素の画素値が０であれば（ステップＳ２３でＹＥＳ）合成された距離画像の対応する画素値を０とする（ステップＳ２５）。
【００４７】
なお、計測信頼性マップの画素値が０の画素については、合成された距離画像をベースとし、さらに異なる撮影パラメタＰ３（撮影パラメタＰ１、Ｐ２と異なる）で撮影した距離画像データを、同様の手順で合成することで、さらに計測抜けの少ない距離画像を作成してもよい。
【００４８】
以上により、画素値が不明な画素が少なく、かつノイズも少ない、合成された距離画像データＩｆｕｓｉｏｎを得ることができ、白い物体と黒い物体が混在するシーンなど、計測が難しい環境でも、高品質な距離画像を得ることができる。
【００４９】
実施の形態２．
図１２は本発明の実施の形態２にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。図１２において、実施の形態２にかかる３次元画像計測装置は、図１の実施の形態１にかかる３次元画像計測装置に比較して、以下の点が異なる。
（１）情報処理装置３はさらに、バス３０に接続されるインターフェース回路３８を備える。
（２）インターフェース回路３８に接続され、撮影すべき対象物を例えば３次元で移動させる可動装置４をさらに備える。
以下、相違点について詳述する。
【００５０】
図１２において、情報処理装置３のＣＰＵ３１は所定の移動命令信号をインターフェース回路３８を介して可動装置４に送信し、これに応答して可動装置４はその応答信号（例えば、ＡＣＫ信号）をＣＰＵ３１に返信する。可動装置４は、移動命令信号に基づいて撮影すべき対象物を例えば３次元で移動させることで、カメラ１の露光時間、カメラ１の絞り値、カメラ１のゲイン、投光器２の投光強度、投光器２の投光方向を変更できるだけでなく、撮影時の環境光の強度、撮影時の環境光の方向も変更させることができるようになり、より柔軟に、撮影条件を変更することができる。
【００５１】
ここで、環境光とは投光器２以外から発せられる光であり、太陽光、電灯、炎を含む熱放射、ルミネセンスを含む。環境光の強度は、斜光手段の位置を変化することで変更することができる。斜光手段は、庇や覆いであり、また、産業用ロボットを含む可動装置を利用してもよい。
【００５２】
可動装置４は例えばアクチュエータである。可動装置４自体が、カメラや投光器に対する環境光を遮る遮蔽装置として機能してもよい。また、可動装置４は、複数のアクチュエータで構成されてもよい。その場合、複数の光源からの環境光を遮ることができる。また、可動装置４は複数のアクチュエータから構成されるロボットアームなどの、多軸構成の可動装置であってもよい。先端にはグリッパなどのハンドを着けてもよい。この場合、ロボットアームが姿勢を変更し、ハンドが環境光の光源を遮ってもよい。もしくは、周辺の板や半透明のすりガラスなどの遮蔽物をロボットアームが把持し、遮蔽物の姿勢を変更することで、環境光の光源を遮ってもよい。もしくは、鏡を把持し、環境光の方向を変更してもよい。もしくは、環境光の光源を制御するスイッチをロボットアームにより操作して、環境光の照明をオンオフしてもよい。
【００５３】
以上説明したように、環境光の強度や方向の変更が実現するのであれば、可動装置４はどのような構成でもよい。蛇型のロボットや、空気により膨張又は収縮を繰り返すアクチュエータでも、同様の環境光へのアクションが実現するため、可動装置４を構成しえることは自明である。
【００５４】
この実施の形態においても図９と同様の３次元画像計測処理を実行する。ここで、図９のステップＳ１及びＳ５における撮影パラメタＰ１、Ｐ２の調節において、環境光を制御することで、画像の輝度値が全体的に暗くなるように、もしくは明るくなるように調整可能となる。また、投光器２が可視光の場合、環境光の影響を強く受ける。そのため、可動装置４により、環境光を遮った状態、もしくは環境光を一定にした状態で、さらに、カメラ１の露光時間、カメラ１の絞り値、カメラ１のゲイン、投光器２の投光強度、投光器２の投光方向を変更させることで、撮影パラメタを調整することで、よりノイズの少ない、高品質な距離画像を作成することができる。
【００５５】
実施の形態３．
図１３は本発明の実施の形態３にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。図１３において、実施の形態３にかかる３次元画像計測装置は、図１の実施の形態１にかかる３次元画像計測装置に比較して以下の点が異なる。
（１）情報処理装置３はさらに、インターフェース回路３９を備える。
（２）インターフェース回路３９に接続される通信装置５をさらに備える。
（３）通信装置５に通信回線９を介して接続される通信装置６をさらに備える。
（４）通信装置６に接続され、対象物を照明する照明装置７をさらに備える。
以下、上記相違点について詳述する。
【００５６】
図１３において、情報処理装置３のインターフェース回路３９は通信装置５、通信回線９、及び通信装置６を介して照明装置７に接続されて命令信号用通信経路を形成する。情報処理装置３のＣＰＵ１は上記命令信号用通信経路を介して照明装置７に対して照明命令信号を送信することで、照明装置７の動作を制御し、これに応答して、照明装置７はこれに対応する応答信号（例えば、ＡＣＫ信号）を上記命令信号用通信経路を介してＣＰＵ３１に対して送信する。これにより、実施の形態２と同様に、本実施の形態でも、対象物に対する環境光を制御することができる。
【００５７】
ここで、通信装置５と通信装置６はそれぞれ無線通信装置又は有線通信装置である。無線通信装置は例えば無線ルーター装置である。有線通信装置は例えばイーサネット（登録商標）ポート、ＵＳＢポート、シリアルポートなどの通信用のポートを有する通信装置である。
【００５８】
照明装置７は、情報処理装置３のＣＰＵ１からの照明命令信号に基づいて、対象物に対する照射の強度、姿勢のうちどちらか一つ以上を変更できるものであり、パルス幅変調によりオンオフの時間を制御するなど、強度を調整することを可能にする強度制御部と、強度光の方向を変える可動部とのうちの少なくとも１つを備える。
【００５９】
図１４は図１３の３次元画像計測装置の情報処理装置３により実行される３次元画像計測処理を示すフローチャートである。図１４の３次元画像計測処理は、図９の３次元画像計測処理に比較して以下の点が異なる。
（１）ステップＳ１に代えて、「照明装置７の照射強度を所定のしきい値Ｔｈ１以下になるように弱め、もしくはそのように姿勢を設定する」ステップＳ３１の処理を備える。
（２）ステップＳ５に代えて、「照明装置７の照射強度を所定のしきい値Ｔｈ２（＞Ｔｈ１）以上になるように強め、もしくはそのように姿勢を設定する」ステップＳ３２の処理を備える。
以下、上記相違点について詳述する。
【００６０】
図１４のステップＳ３１において、情報処理装置３のＣＰＵ３１からの照明命令信号に基づき、照明装置７の強度制御部もしくは可動部の制御により、照明装置７の強度及び／又は姿勢を変更する。このとき、対象物の画像の全体の輝度値が暗くなり、照明強度を所定のしきい値Ｔｈ１以下になるように弱め、もしくは、カメラの撮影方向に直接照射しないように照明の姿勢を変更して設定する。
【００６１】
図１４のステップＳ３２において、情報処理装置３のＣＰＵ３１からの照明命令信号に基づき、照明装置７の強度制御部もしくは可動部の制御により、照明装置７の強度及び／又は姿勢を変更する。このとき、対象物の画像の全体の輝度値が明るくなり、照射強度を所定のしきい値Ｔｈ２（＞Ｔｈ１）以上になるように強め、もしくはカメラ１の撮影方向に直接するなど、強度が強くなるように姿勢を変更して設定する。
【００６２】
以上説明したように本実施の形態によれば、照明装置７を用いて環境光を制御することができ、高品質な距離画像を作成することができる。
【００６３】
実施の形態４．
図１５は本発明の実施の形態４にかかる３次元画像計測装置のハードウエア構成を示すブロック図である。図１５の実施の形態４にかかる３次元画像計測装置は、図１２の実施の形態２にかかる３次元画像計測装置に比較して以下の点が異なる。
（１）可動装置４に代えて、可動装置４の機能とともに、カメラ１及び投光器２の動作を制御する機能を有する可動制御装置８を備える。
以下、上記相違点について詳述する。
【００６４】
図１５において、情報処理装置３のＣＰＵ３１は所定の移動命令信号をインターフェース回路３８を介して可動制御装置８に送信し、これに応答して可動制御装置８はその応答信号（例えば、ＡＣＫ信号）をＣＰＵ３１に返信する。可動制御装置８は、情報処理装置３のＣＰＵ３１からの移動命令信号に基づいて撮影命令信号、投影命令信号を用いて、カメラ１及び投光器２の各位置及び姿勢を変更する。これに応答して、カメラ１は応答信号（例えば、ＡＣＫ信号）を可動制御装置８に返信し、投光器２は応答信号（例えば、ＡＣＫ信号）を可動制御装置８に返信する。可動制御装置８はロボットアーム、カメラ１と投光器２がその手先に搭載されているようなハンドアイと呼ばれる構成でもよい。なお、可動制御装置８は、カメラ１及び投光器２の各位置及び姿勢をそれぞれ独立に変更することが可能なように、複数のアクチュエータで構成されていてもよい。
【００６５】
撮影する対象物が黒い物体や白い物体など、表面状態の異なる物体を混在する場合、実施の形態１で提案した距離画像の合成方法により、距離画像の計測値不明、不正確な計測を抑制することができる。一方で、カメラ１及び投光器２と対象物の位置関係による計測値不明、不正確な計測も発生する場合があり、カメラ１から見て、投光器２の光が遮蔽により観測できない場合などである。こういった場合、カメラ１及び投光器２を可動制御装置８により動かすことで、さらに計測値不明、不正確な計測を排除できる。この際、図１０の計測信頼性評価処理により生成した計測信頼性マップにおいて、信頼性が低い、計測信頼性マップの画素値が０となった領域を注視するように視線方向を維持したまま、照射方向のみを変更することで、投光器２の光が遮蔽されたことによる計測値不明、不正確な計測が発生した箇所を効率的に再計測できる。その際、計測信頼性マップの画素値が０となった大きな領域を優先することで、計測値不明、不正確な計測となった画素を、より効率的に再計測することができる。
【００６６】
以上説明したように本実施の形態によれば、可動制御装置８を備えることで、表面状態の異なることにより計測値不明、不正確な計測と、カメラ１及び投光器２と対象物の位置関係による計測値不明、不正確な計測を両方効率的に抑制した高品質な距離画像が生成できる。
【００６７】
変形例．
以上の実施の形態においては、カメラ１を用いているが、本発明はこれに限らず、対象物の画像を撮像できるカメラ、ＣＣＤセンサ、撮像センサなどのセンサであってもよい。
【符号の説明】
【００６８】
１  カメラ、２  投光器、３  情報処理装置、４  可動装置、５  通信装置、６  通信装置、７  照明装置、８  可動制御装置、９  通信回線、１０  投影パタン制御部、１１  画像取得制御部、１２  距離復元部、１３  計測信頼性評価部、１４  距離画像合成部、１５  投射面、２１  カメラ画像、２２  距離画像、２３  ポジティブパタン画像、２４  ネガティブパタン画像、２５〜２８  計測画像、３０  バス、３１  中央演算処理装置（ＣＰＵ）、３２  リードオンリーメモリ（ＲＯＭ）、３３  ランダムアクセスメモリ（ＲＡＭ）、３４  入力装置、３５  表示装置、３６〜３９  インターフェース回路、４１  カメラ画像、４２  距離画像、４３  カメラ画像、４４  距離画像。
【要約】
投光器が撮影すべき対象物に投光したパタンをセンサで撮影して得られるパタン画像データから、センサから対象物までの距離を画素値で表した距離画像データを生成する３次元画像計測装置において、センサが撮影したパタン画像データから得られる距離画像データにおける画素値が不明な画素を、異なる撮影条件でセンサにより撮影したパタン画像データから得られる距離画像の画素値で補完する制御手段を備える。制御手段は、センサの露光時間、センサの絞り値、センサのゲイン、投光器の投光強度、投光器の投光方向、撮影時の環境光の位置、撮影時の環境光の方向のうちの少なくとも１つを変更することで異なる撮影条件を実現する。【図１】
0006038415.tif 000006
【図２】
0006038415.tif 000007
【図３Ａ】
0006038415.tif 000008
【図３Ｂ】
0006038415.tif 000009
【図４】
0006038415.tif 000010
【図５Ａ】
0006038415.tif 000011
【図５Ｂ】
0006038415.tif 000012
【図５Ｃ】
0006038415.tif 000013
【図５Ｄ】
0006038415.tif 000014
【図６Ａ】
0006038415.tif 000015
【図６Ｂ】
0006038415.tif 000016
【図７Ａ】
0006038415.tif 000017
【図７Ｂ】
0006038415.tif 000018
【図８Ａ】
0006038415.tif 000019
【図８Ｂ】
0006038415.tif 000020
【図８Ｃ】
0006038415.tif 000021
【図８Ｄ】
0006038415.tif 000022
【図９】
0006038415.tif 000023
【図１０】
0006038415.tif 000024
【図１１】
0006038415.tif 000025
【図１２】
0006038415.tif 000026
【図１３】
0006038415.tif 000027
【図１４】
0006038415.tif 000028
【図１５】
0006038415.tif 000029