(57)【特許請求の範囲】
【請求項１】
第１位置から第２位置まで変位されるとともに、前記第１及び第２位置を含む複数の位置から検出対象を撮影する撮影手段と、
前記検出対象に所定形状のパターン光を照射して前記検出対象に複数の輝点を付加する照射手段と、
前記撮影手段から複数の画像情報を取得するとともに、該画像情報から前記複数の輝点を特徴点として抽出し、前記第１及び第２位置間で撮影された前記画像情報の前記特徴点を用いて前記第１及び第２位置で撮影された前記画像情報の特徴点を互いに関連付け、この関連付けられた前記特徴点に基づいて前記検出対象の３次元形状を検出する処理手段と
を備え、
前記照射手段は、
検出光を発生する光源と、
前記検出光を複数のスリット光からなる前記パターン光として前記検出対象に照射するパターン光生成部と
を含み、
前記処理手段は、
前記撮影手段を変位させる複数の軌跡候補を生成する軌跡候補生成部と、
前記スリット光の延在方向を検出するスリット光延在方向検出部と、
前記軌跡候補の延在方向と前記スリット光の延在方向との交差角を求め、該交差角が直角に近づくように、前記軌跡候補の延在方向と前記スリット光の延在方向との組み合わせを決定する検出動作制御部と
を含むことを特徴とする３次元形状検出装置。
【請求項２】
前記処理手段は、
前記画像情報から前記特徴点を抽出するとともに、抽出した複数の前記特徴点の中から方向符号エントロピーが高い前記特徴点を優先的に有効とする特徴点抽出部
を含むことを特徴とする請求項１記載の３次元形状検出装置。
【請求項３】
前記処理手段は、
方向符号照合により前記特徴点の前記関連付けを行う関連付け処理部
を含むことを特徴とする請求項１又は請求項２に記載の３次元形状検出装置。
【請求項４】
前記処理手段は、
前記特徴点のエピポーラ線からの外れ角度、及び前記検出対象の撮影位置間の距離関係と対応する特徴点間に想定される距離関係とのずれの、少なくとも一方を用いて、前記特徴点の関連付けの安定性を示す安定性指標を求め、所定値を基準とした判定基準により前記安定性指標を判定し、該当する特徴点を無効とする追跡安定性検証部
を含むことを特徴とする請求項１から請求項３までのいずれか１項に記載の３次元形状検出装置。
【請求項５】
前記処理手段は、
ステレオ計測原理に基づいて前記特徴点の３次元座標を求める３次元座標算出部と、
前記検出対象の形状特性モデルを予め記憶する形状特性モデル記憶部と、
前記３次元座標に基づいて前記検出対象の３次元形状を復元するとともに、該３次元形状を前記形状特性モデルに基づいて修正する３次元形状復元部と
を含むことを特徴とする請求項１から請求項４までのいずれか１項に記載の３次元形状検出装置。
【請求項６】
前記照射手段は、
検出光を発生する光源と、
前記検出光を複数のスリット光からなる前記パターン光として前記検出対象に照射するパターン光生成部と
を含み、
前記処理手段は、
前記撮影手段と前記検出対象との間の離間距離を示す外部からの距離情報に基づいて前記パターン光生成部に照射制御指令を入力し、前記スリット光の間隔を制御する検出動作制御部
を含むことを特徴とする請求項１から請求項５までのいずれか１項に記載の３次元形状検出装置。
【請求項７】
前記照射手段は、
検出光を発生する光源と、
前記検出光を複数のスリット光からなる前記パターン光として前記検出対象に照射するパターン光生成部と
を含み、
前記処理手段は、
前記特徴点の関連付けの結果に基づいて前記パターン光生成部に照射制御指令を入力し、前記スリット光の間隔及び幅の少なくとも一方を制御する検出動作制御部
を含むことを特徴とする請求項１から請求項６までのいずれか１項に記載の３次元形状検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検出対象の３次元形状を検出する３次元形状検出装置に関するものである。
【背景技術】
【０００２】
一般に、検出対象を立体的に検出するために、一定の距離だけ離れた２点以上の視点から検出対象の像を撮影し、例えば検出対象のエッジ部分等の共通する特徴点についての距離算出を行うステレオ計測原理が広く用いられている。しかし、検出対象を撮影する視点間が離れている場合には特徴点を関連付けることが難しい。そこで、従来装置では、移動ステレオ手法、すなわち、カメラを所定軌跡に沿って移動させるとともに、連続的に撮影された各画像の特徴点を数珠繋ぎ的に関連づける手法を用いることで、大きく離れた視点間でも容易に特徴点を関連づけることができるようにしている（例えば、非特許文献１及び特許文献１，２）。
【０００３】
また、別の従来装置では、前述の移動ステレオ手法に加えて、２つの静止画像から得られる３次元座標の精度評価を行うことで、３次元座標の精度を高めている。すなわち、連続する静止画像間の縦視差を用いて３次元座標の精度評価を行い、該縦視差が所定値以下となる静止画像の組を選択することで、３次元座標の精度を高めている。また、３次元座標を得るための標定点の消失割合を用いて３次元座標の精度評価を行い、この標定点の消失割合が所定値未満となるように静止画像の組を選択することで、３次元座標の精度を高めている（例えば、特許文献３）。
【０００４】
【非特許文献１】電子情報通信学会論文誌’８６／１１Ｖｏｌ．Ｊ６９−Ｄ  Ｎｏ．１１  Ｐ１６３１−Ｐ１６３８
【特許文献１】特開平７−７８２５２号公報
【特許文献２】特開平９−３５０６１号公報
【特許文献３】特開２００５−３３２１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ひも状柔軟物（以下、ケーブルと呼ぶ）の操作を自動化することは、ファクトリーオートメーション（ＦＡ）分野における重要な課題である。すなわち、ロボットアームによるケーブルの把持、コネクタへの挿入、ケーブルを避けながら作業するための経路探索、重なったケーブル上下判定作業等を行うためには、ケーブルの３次元形状検出が必要である。しかしながら、上記のような従来の３次元形状検出装置では、例えばエッジ部分等の検出対象自体の特徴点を用いて３次元形状を検出するので、ケーブル等の検出対象自体に特徴点が少ない場合は３次元形状の検出が難しい。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、その目的は、ケーブル等の特徴点が少ない検出対象でもより確実に特徴点を抽出でき、より確実に３次元形状を検出できる３次元形状検出装置を提供することである。
【課題を解決するための手段】
【０００７】
この発明に係る３次元形状検出装置は、第１位置から第２位置まで変位されるとともに、第１及び第２位置を含む複数の位置から検出対象を撮影する撮影手段と、検出対象に所定形状のパターン光を照射して検出対象に複数の輝点を付加する照射手段と、撮影手段から複数の画像情報を取得するとともに、該画像情報から複数の輝点を特徴点として抽出し、第１及び第２位置間で撮影された画像情報の特徴点を用いて第１及び第２位置で撮影された画像情報の特徴点を互いに関連付け、この関連付けられた特徴点に基づいて検出対象の３次元形状を検出する処理手段とを備え、照射手段は、検出光を発生する光源と、検出光を複数のスリット光からなるパターン光として検出対象に照射するパターン光生成部とを含み、処理手段は、撮影手段を変位させる複数の軌跡候補を生成する軌跡候補生成部と、スリット光の延在方向を検出するスリット光延在方向検出部と、軌跡候補の延在方向とスリット光の延在方向との交差角を求め、該交差角が直角に近づくように、軌跡候補の延在方向とスリット光の延在方向との組み合わせを決定する検出動作制御部とを含む。
【発明の効果】
【０００８】
この発明の３次元形状検出装置によれば、照射手段が検出対象に複数の輝点を付加し、処理手段が前記複数の輝点を特徴点として画像情報から抽出するので、ケーブル等の特徴点が少ない検出対象でもより確実に特徴点を抽出することができ、移動ステレオ手法を用いてより確実に３次元形状を検出できる。
【発明を実施するための最良の形態】
【０００９】
以下、この発明を実施するための最良の形態について、図面を参照して説明する。
実施の形態１．
図１は、この発明の実施の形態１による３次元形状検出装置を示すブロック図である。図２は、図１のカメラ１とパターン光照射装置４とを示す斜視図である。図において、３次元形状検出装置は、カメラ１と、視点移動機構２と、駆動制御器３と、パターン光照射装置４と、照射制御器５と、処理手段６とを有している。なお、この実施の形態では、撮影手段はカメラ１から構成され、照射手段はパターン光照射装置４及び照射制御器５から構成されている。
【００１０】
図１に示されるように、カメラ１は、検出対象であるケーブル１０の像を撮影するためのものである。このカメラ１は、例えばロボットアームや電動ステージ等の視点移動機構２に取り付けられている。視点移動機構２は、図２に示すように、所定軌跡に沿ってカメラ１を第１位置２ａから第２位置２ｂまで変位させる。カメラ１は、第１及び第２位置２ａ，２ｂを含めた複数の位置からケーブル１０を撮影する。図１に戻り、駆動制御器３は、処理手段６からの駆動制御指令６２ａに基づいて、視点移動機構２の動作を制御する。
【００１１】
パターン光照射装置４は、図２に示すように、レーザ光発生器４０と回折格子４１とを有している。回折格子４１は、レーザ光発生器４０とケーブル１０との間に回動可能に配置されており、レーザ光発生器４０のレーザ光を互いに平行な直線状の複数のスリット光４２からなるパターン光４３とする。このパターン光４３は、ケーブル１０に照射されて、ケーブル１０に複数の輝点１０ａを付加する。図１に戻り、照射制御器５は、処理手段６からの照射制御指令６２ｂに基づいて、パターン光４３の照射の開始及び終了を制御する。また、照射制御器５は、照射制御指令６２ｂに基づいて回折格子４１を回動させて、スリット光４２の延在方向４２ａ（図２参照）を制御する。なお、この実施の形態では、光源はレーザ光発生器４０により構成され、パターン光生成部は照射制御器５及び回折格子４１により構成される。
【００１２】
処理手段６は、カメラ１、駆動制御器３、及び照射制御器５に電気的に接続されている。この処理手段６は、視点移動機構２によるカメラ１の変位と、パターン光照射装置４及び照射制御器５によるパターン光４３の照射とを制御する。また、処理手段６は、カメラ１により生成された複数の画像情報１ａを取得し、該画像情報１ａに基づいてケーブル１０の３次元形状を検出する。なお、処理手段６は、プログラム等の情報を記憶する記憶部（ＲＡＭ及びＲＯＭ）と、記憶手段の情報に基づいて演算処理を行う処理部（ＣＰＵ）とを含むコンピュータである。
【００１３】
詳しくは、処理手段６は、軌跡候補生成部６０と、スリット光延在方向検出部６１と、検出動作制御部６２と、画像取得部６３と、特徴点抽出部６４と、関連付け処理部６５と、追跡安定性検証部６６と、３次元座標算出部６７と、形状特性モデル記憶部６８と、３次元形状復元部６９とを含んでいる。
【００１４】
処理手段６には、例えばカメラ１の周囲環境や物理的干渉等を示す外部からの周囲環境情報６０ｂが外部から入力される。軌跡候補生成部６０は、例えば障害物を避けるための軌跡等、カメラ１を変位させる複数の軌跡候補６０ａを生成する。なお、この軌跡は、例えばロボットアームや電動ステージ等の視点移動機構２の構成に応じて平面的でも立体的でもよい。スリット光延在方向検出部６１は、図示しないセンサからの信号に基づいて回折格子４１（図２参照）の回動位置を検出することで、スリット光４２の延在方向４２ａを検出する。
【００１５】
検出動作制御部６２は、軌跡候補生成部６０からの軌跡候補６０ａとスリット光延在方向検出部６１からの延在方向情報６１ａとに基づいて、３次元形状検出の信頼性を示す信頼性評価指標を求める。具体的には、スリット光４２の延在方向４２ａと軌跡候補６０ａの延在方向２ｃ（図２参照）との交差角度に基づいて信頼性評価指標を求める。すなわち信頼性評価指標は、スリット光４２のベクトルと軌跡候補６０ａのベクトルとの内積により表すことができる。また、検出動作制御部６２は、求めた信頼性評価指標に基づいて、軌跡候補６０ａとスリット光４２の延在方向２ｃ，４２ａとの交差角が直角に近づくように、軌跡候補６０ａと回折格子４１との回動位置との組み合わせを決定する。これは、交差角が直角に近いほど、輝点１０ａの検出感度が高くなるためである。さらにまた、検出動作制御部６２は、軌跡候補６０ａと回折格子４１の回動位置との選択結果に基づいて、駆動制御器３及び照射制御器５に駆動制御指令６２ａ及び照射制御指令６２ｂをそれぞれ入力する。
【００１６】
カメラ１は、所定軌跡に沿って変位されながら、パターン光４３が照射された状態のケーブル１０を撮影する（図２参照）。画像取得部６３は、複数の画像情報１ａをカメラ１から取得する。なお、カメラ１としてはデジタルビデオカメラ等が用いられ、画像取得部６３としてはＮＴＳＣ、ＵＳＢ、ＩＥＥＥ１３９４等のカメラインターフェース種別によりキャプチャや専用ポート等が用いられる。
【００１７】
特徴点抽出部６４は、画像取得部６３により取得された複数の画像情報１ａに対して特徴抽出処理を行い、特徴点の抽出を行う。ここで、特徴点抽出部６４により抽出される特徴点には、パターン光４３により付加された輝点１０ａに加え、抽出された輝点１０ａ間を補間する補間点と、例えば印字等のケーブル１０自体の特徴部分とが含まれる。
【００１８】
印字等のケーブル１０自体の特徴部分は、ＳＵＳＡＮオペレータ及びＨａｒｒｉｓオペレータ等のコーナ検出フィルタや、Ｓｏｂｅｌ及びＣａｎｎｙ等のエッジ検出フィルタを用いることで抽出できる。
【００１９】
輝点１０ａは、パターン光４３が照射されていない状態のケーブル画像と、パターン光４３が照射された状態の現画像との差分画像から抽出できる。なお、比較的単純な背景である場合には、背景とケーブルとの分離は、例えば周波数帯域フィルタ等を利用することで可能となる。この際、高周波成分（細かなノイズ成分）と低周波成分（照明変動によるグラデーション等のゆるやかな明度変化成分）を取り除いた中域成分強度画像が、ケーブル１０を取り出した画像である。
【００２０】
また、補間点の作成は、ケーブル１０自体の特徴部分や輝点１０ａとして既に抽出された領域以外で、以下に述べる方向符号（ＯＣ：Ｏｒｉｅｎｔａｔｉｏｎ  Ｃｏｄｅ）のエントロピーＥｘｙが高い点を抽出することで可能となる。まず、方向符号（ＯＣ）は、各画素の明度変化の最大勾配方向を整数値で量子化した値であり、コントラスト変動や明度変化、ハイライトや影の影響にロバストである。また、方向符号は、照明条件の変化等の影響を受けて連続フレーム間で画像上の輝度値が変化した場合にも変化しにくい特性を有している。画素（ｘ，ｙ）における方向符号Ｃｘｙは次の式１により定義される。
【００２１】
【数１】
0004836086.tif 000002
【００２２】
ここで、θｘｙは明度勾配方向、Δθは量子化数、｜ΔＩｘ｜，｜ΔＩｙ｜はそれぞれｘ方向、ｙ方向の微分値を表す。Γは閾値であり、ノイズレベルの影響を抑えるものである。画素（ｘ，ｙ）を中心とする領域（サイズＭｅ×Ｍｅ）の局所領域内における各方向符号の出現頻度をｈｘｙ（Ｃ）（Ｃ＝０，１，・・・，Ｎ）とすると、方向符号エントロピーＥｘｙは、次の式２により定義される。なお、Ｐｘｙ（Ｃ）（Ｃ＝０，１，・・・，Ｎ）は不良符号数ｈｘｙ（Ｎ）を除外した方向符号に関する相対度数を表している。方向符号エントロピーＥｘｙを用いる補間点は、ケーブル上に印字されているような場合に、その印字部分を優先的に特徴点として抽出することになる。
【００２３】
【数２】
0004836086.tif 000003
【００２４】
【数３】
0004836086.tif 000004
【００２５】
この方向符号エントロピーＥｘｙは、補間点の作成に加えて、抽出した特徴点の信頼性判定に使用される。すなわち、特徴点抽出部６４は、抽出された複数の特徴点の中から、方向符号エントロピーＥｘｙが高いものを優先的に有効とし、方向符号エントロピーＥｘｙが低い特徴点を無効とする。つまり、特徴点抽出部６４は、方向符号エントロピーＥｘｙの高さの順位が所定順位よりも高い特徴点を有効とし、順位が低い特徴点を無効とする。この特徴選択は、濃度勾配値の変化や照明変動の影響に対するロバスト性を有しており、一方向のエッジに依存しにくい特徴を有している。
【００２６】
関連付け処理部６５は、第１及び第２位置２ａ，２ｂ間で撮影された画像情報１ａの特徴点を用いて特徴点追跡を行い、第１及び第２位置２ａ，２ｂで撮影された画像情報１ａの特徴点を互いに関連付ける。具体的には、関連付け処理部６５は、前述の方向符号値の差を用いる方向符号照合（ＯＣＭ）により特徴点の関連付けを行う。すなわち、ｉ番目の画像内のｊ番目の特徴点について、対応探索用のテンプレート（サイズＭｏ×Ｍｏ）の方向符号Ｃj,iと、次の視点画像における方向符号Ｃi+1を用いて、画素毎に得られる残差絶対値ｄ（Ｃj,i , Ｃi+1）の総和を画素数Ｍｏ２で割った平均残差絶対値Ｄが最小となる点を対応点とする。
【００２７】
【数４】
0004836086.tif 000005
【００２８】
【数５】
0004836086.tif 000006
【００２９】
追跡安定性検証部６６は、関連付け処理部６５による特徴点追跡の安定性、すなわち特徴点の関連付けの安定性を示す安定性指標を求める。ここで、互いに対応する特徴点６６ａ〜６６ｃが、撮影位置により図３に示すように変位したとする。各撮影位置間での対応点間にはエピポーラ拘束が働くことはよく知られている。つまり、特徴点６６ａ〜６６ｃの抽出精度が高ければ特徴点６６ａ〜６６ｃはカメラ１の軌跡に応じたエピポーラ線６６ｄ上に並ぶことになる。従って、エピポーラ線６６ｄからの外れ角度θ１，θ２を評価することで特徴点追跡の安定性を評価できる。また、例えば、ケーブル１０の撮影位置間の距離Ｄ１，Ｄ２（図２参照）が等間隔となる場合には、画像面上における特徴点６６ａ〜６６ｃ間の距離Ｘ１，Ｘ２（図３参照）も等間隔となる。すなわち、ケーブル１０の撮影位置間の距離関係と特徴点６６ａ〜６６ｃ間に想定される距離関係とには相関があるので、ケーブル１０の撮影位置間の距離Ｄ１，Ｄ２と特徴点６６ａ〜６６ｃ間の距離Ｘ１，Ｘ２と関係のずれを評価することで、特徴点追跡の安定性を評価できる。すなわち、追跡安定性検証部６６は、エピポーラ線６６ｄからの外れ角度θ１，θ２、及びケーブル１０の撮影位置間の距離関係と特徴点６６ａ〜６６ｃ間に想定される距離関係とのずれの少なくとも一方を用いて安定性指標を求め、所定値を基準とした判定基準により安定性指標を判定し、該当する特徴点該特徴点６６ａ〜６６ｃを無効とする。
【００３０】
図１に戻り、３次元座標算出部６７は、ステレオ計測原理に基づいて特徴点の３次元座標を求める。形状特性モデル記憶部６８は、ケーブル１０の形状特性モデル６８ａを予め記憶している。なお、形状特性モデル６８ａは外部から入力された情報であり、ケーブル１０のおおよその３次元形状がひも状であることを示している。３次元形状復元部６９は、３次元座標算出部６７により算出された３次元座標からスプライン補間等によりケーブル１０の３次元形状を復元する。ここで、前述したように追跡安定性検証部６６等により特徴点の選定が行われるが、位置がずれている特徴点が残ることもある。位置がずれている特徴点を含んだ状態で３次元形状を復元すると、復元された３次元形状がいびつになる。３次元形状復元部６９は、復元した３次元形状を形状特性モデル６８ａに基づいて修正することで、形状特性モデル６８ａと比べて過剰な変形が生じている部分をエラー部分として排除する。３次元形状復元部６９は、修正した後の３次元形状を３次元形状データ６９ａとして外部に出力する。
【００３１】
次に、３次元形状検出装置の動作について説明する。図４は、図１の３次元形状検出装置による３次元形状検出動作を示すフローチャートである。図において、外部から処理手段６に周囲環境情報６０ｂが入力されると、複数の軌跡候補６０ａが軌跡候補生成部６０によって生成されるとともに（ステップＳ１）、回折格子４１の回動位置がスリット光延在方向検出部６１により検出され（ステップＳ２）、検出動作制御部６２によりカメラ１の軌跡と回折格子４１の回動位置が決定される（ステップＳ３）。
【００３２】
その次に、検出動作制御部６２から照射制御器５に照射制御指令６２ｂが入力されて、回折格子４１が所定角度に回動されるとともに、パターン光４３の照射が開始される（ステップＳ４）。パターン光４３の照射が開始されると、検出動作制御部６２から駆動制御器３に駆動制御指令６２ａが入力されて、初期位置すなわち第１位置２ａにカメラ１が移動される（ステップＳ５）。
【００３３】
カメラ１が第１位置２ａに移動されると、第１位置２ａで撮影された画像情報１ａが画像取得部６３により取得され（ステップＳ６）、輝点１０ａ、ケーブル１０自身の特徴部分、及び補間点が特徴点として特徴点抽出部６４により画像情報１ａから抽出される（ステップＳ７）。特徴点が抽出されると、関連付け処理部６５による特徴点関連付けが行われるとともに（ステップＳ８）、追跡安定性検証部６６による追跡安定性評価とが行われる（ステップＳ９）。なお、カメラ１が第１位置２ａに位置する時点では、画像情報１ａは１つしかないので、特徴点関連付け及び追跡安定性評価は、実質的には行われない。
【００３４】
その次に、カメラ１によるケーブル１０の撮影が全撮影位置で行われたか否かが検出動作制御部６２により判定される（ステップＳ１０）。このとき、撮影が行われていない位置が有ると判定されると、検出動作制御部６２から駆動制御器３に駆動制御指令６２ａが改めて入力されて、カメラ１が次の撮影位置に移動される（ステップＳ１１）。この後、全撮影位置での撮影が終了したと判定されるまで、画像情報１ａの取得、特徴点の抽出、特徴点の関連付け、追跡安定性評価、撮影終了の判定、及びカメラ１の移動（ステップＳ６〜１１）が繰り返し行われる。このとき、方向符号エントロピーＥｘｙを用いた特徴点の選定が特徴点抽出部６４により行われることで、追跡に適した特徴点が優先的に選び出される。また、方向符号照合による特徴点の関連付けが関連付け処理部６５により行われることで、精度よく特徴点の追跡が行われる。さらに、安定性指標に基づく追跡安定性評価が追跡安定性検証部６６により行われることで、３次元座標算出に適した特徴点が選び出される。
【００３５】
その次に、全撮影位置での撮影が終了したと判定されると、パターン光４３の照射が終了され（ステップＳ１２）、ステレオ計測原理に基づく特徴点の３次元座標算出が３次元座標算出部６７により行われるとともに（ステップＳ１３）、算出された３次元座標に基づく３次元形状の復元処理が３次元形状復元部６９により行われる（ステップＳ１４）。３次元形状の復元処理が終了すると、形状特性モデル記憶部６８が記憶しているケーブル１０の形状特性モデル６８ａが３次元形状復元部６９により取得され、この形状特性モデル６８ａに基づく３次元形状の修正処理が行われる（ステップＳ１５）。
【００３６】
このような３次元形状検出装置では、パターン光照射装置４がケーブル１０に複数の輝点１０ａを付加し、処理手段６が複数の輝点１０ａを特徴点として画像情報１ａから抽出するので、独自の特徴点が少ないケーブル１０でもより確実に特徴点を抽出することができ、移動ステレオ手法を用いてより確実に３次元形状を検出できる。
【００３７】
また、特徴点抽出部６４は、抽出した複数の特徴点の中から方向符号エントロピーが高い前記特徴点を優先的に有効とし、前記方向符号エントロピーが低い特徴点を無効とするので、追跡に適した特徴点を優先的に選び出すことができ、３次元形状の検出精度を向上できる。
【００３８】
さらに、関連付け処理部６５は、方向符号照合により特徴点の関連付けを行うので、精度よく特徴点の追跡を行うことができ、３次元形状の検出精度を向上できる。
【００３９】
さらにまた、追跡安定性検証部６６は、エピポーラ線６６ｄからの外れ角度θ１，θ２、及びケーブル１０の撮影位置間の距離関係と特徴点６６ａ〜６６ｃ間に想定される距離関係とのずれの、少なくとも一方に基づいて安定性指標を求め、所定値を基準とした判定基準により安定性指標を判定し、該当する特徴点６６ａ〜６６ｃを無効とする。これにより、３次元座標算出に適した特徴点をより確実に選び出すことができ、３次元形状の検出精度を向上できる。
【００４０】
また、３次元形状復元部６９は、復元された３次元形状を形状特性モデル６８ａに基づいて修正するので、位置ずれが生じている特徴点が３次元形状復元時に残っていても該特徴点による３次元形の変形を排除でき、３次元形状の検出精度を向上できる。
【００４１】
さらに、検出動作制御部６２は、スリット光４２の延在方向と軌跡候補６０ａの延在方向との交差角を求め、該交差角が直角に近づくように、前記軌跡候補６０ａと前記回折格子４１の回動位置との組み合わせを決定する。これにより、輝点１０ａの抽出精度を高めることができ、３次元形状の検出精度を向上できる。
【００４２】
なお、実施の形態１では、検出対象に照射するパターン光４３は、互いに平行な直線状の複数のスリット光４２からなる縞状の形状を有するように説明したが、例えば複数の同心円や網目等、パターン光の形状は２次元上に広がる任意の形状でよい。
【００４３】
実施の形態２．
図５は、この発明の実施の形態２による３次元形状検出装置を示すブロック図である。図６は、図５のレーザ光発生器２００及び照射制御器２１０により生成されるパターン光４３を示す説明図である。実施の形態１では、照射手段は、パターン光照射装置４（レーザ光発生器４０及び回折格子４１）と照射制御器５とから構成されると説明したが（図２参照）、この実施の形態２の照射手段は、レーザ光発生器２００及び照射制御器２１０により構成されている。なお、この実施の形態では、光源はレーザ光発生器２００により構成され、パターン光生成部は照射制御器２１０により構成されている。
【００４４】
レーザ光発生器２００は、図６に示すように直線状に延びるスリット光４２を発生する。照射制御器２１０は、スリット光４２の延在方向４２ａと直交する方向４２ｂにスリット光４２を走査させる。また、照射制御器２１０は、スリット光４２を走査させる際にスリット光４２をＯＮ，ＯＦＦさせる。なお、図６においてスリット光４２の一端に示された丸はスリット光４２のＯＮ，ＯＦＦを示している。すなわち、この実施の形態２では、ＯＮ，ＯＦＦされながらスリット光４２が走査されることでパターン光４３が生成されるように構成されている。換言すると、スリット光４２のＯＮ，ＯＦＦを制御することで、スリット光４２の間隔４２ｃを任意に制御できるように構成されている。
【００４５】
ここで、スリット光４２の間隔４２ｃを狭めるほど輝点１０ａ（図２参照）の数を多くでき、３次元形状の検出精度を高めることができる。しかしながら、カメラ１により生成される画像情報１ａの解像度には限界がある。従って、カメラ１とケーブル１０とが大きく離れていると、画像情報１ａ上でスリット光４２の間隔４２ｃがつぶれてしまい、輝点１０ａを抽出できなくなる可能性がある。
【００４６】
この実施の形態２の処理手段２２０には、カメラ１とケーブル１０との間の離間距離を示す外部からの距離情報２２１が入力される。検出動作制御部２２２は、入力された距離情報２２１に基づいて前記照射制御器２１０に照射制御指令２２２ｂを入力し、スリット光４２の間隔４２ｃを制御する。具体的には、カメラ１とケーブル１０との間の離間距離が大きければスリット光４２の間隔４２ｃを広げ、離間距離が小さければスリット光４２の間隔４２ｃを狭める。なお、スリット光６１は、レーザ光発生器２００の回動位置を検出することで、スリット光４２の延在方向４２ａを検出する。また、検出動作制御部３２０は、照射制御器２１０に照射制御指令６２ｂを入力することで、スリット光４２の延在方向４２ａと軌跡候補６０ａの延在方向とが直交に近づくようにレーザ光発生器２００を回動させる。その他の構成は、実施の形態１と同様である。
【００４７】
このような３次元形状検出装置によれば、検出動作制御部２２２は、距離情報２２１に基づいてスリット光４２の間隔４２ｃを制御するので、スリット光４２の間隔４２ｃを最適に設定することができ、３次元形状の検出精度をさらに向上できる。
【００４８】
実施の形態３．
図７は、この発明の実施の形態３による３次元形状検出装置を示すブロック図である。スリット光４２の間隔４２ｃ（図６参照）が等間隔の場合、ケーブル１０に輝点１０ａ（図２参照）が等間隔に付加されるので、異なる位置で撮影された画像情報１ａ間の特徴点の関連付け精度が低くなる場合がある。すなわち、輝点１０ａの間隔や輝点１０ａの大きさに変化をつけることでパターン光４２の中に局所パターンを形成する。この局所パターンを利用することで、画像情報１ａ間の特徴点の関連付け精度を向上できる。処理手段３００の関連付け処理部３１０は、特徴点の関連付けを行った後に、関連付けの結果を示す対応結果情報３１０ａを検出動作制御部３２０に入力する。具体的には、対応結果情報３１０ａは、有効とした特徴点の分布状況を示している。
【００４９】
検出動作制御部３２０は、対応結果情報３１０ａに基づいて照射制御器２１０に照射制御指令３２０ｂを入力することで、スリット光４２の間隔４２ｃ及び幅の少なくとも一方を制御する。つまり、特徴点の関連付け精度が低い領域に、前述の局所パターンを形成する。なお、図６ではスリット光４２をＯＮ，ＯＦＦする間隔４２ｄを離して示しているが、この間隔４２ｄを隣接させることで、スリット光４２の幅を制御できる。その他の構成は実施の形態２と同様である。
【００５０】
このような３次元形状検出装置では、検出動作制御部３２０は、対応結果情報３１０ａに基づいて、スリット光４２の間隔４２ｃ及び幅の少なくとも一方を制御するので、特徴点の関連付け精度が低い領域において局所パターンを形成でき、３次元形状の検出精度をさらに向上できる。
【図面の簡単な説明】
【００５１】
【図１】この発明の実施の形態１による３次元形状検出装置を示すブロック図である。
【図２】図１のカメラとパターン光照射装置とを示す斜視図である。
【図３】図１の特徴点抽出部により抽出された特徴点の変位を示す説明図である。
【図４】図１の３次元形状検出装置による３次元形状検出動作を示すフローチャートである。
【図５】この発明の実施の形態２による３次元形状検出装置を示すブロック図である。
【図６】図５のレーザ光発生器及び照射制御器により生成されるパターン光を示す説明図である。
【図７】この発明の実施の形態３による３次元形状検出装置を示すブロック図である。
【符号の説明】
【００５２】
１  カメラ（撮影手段）、１ａ  画像情報、２ａ  第１位置、２ｂ  第２位置、３  駆動制御器、４  パターン光照射装置（照射手段）、５，２１０  照射制御器（パターン光生成部）、６，２２０，３００  処理手段、１０  ケーブル（検出対象）、１０ａ  輝点、４０，２００  レーザ光発生器（光源）、４１  回折格子（パターン光生成部）、４２  スリット光、４３  パターン光、６０  軌跡候補生成部、６０ａ  軌跡候補、６１  スリット光延在方向検出部、６２，２２２，３２０  検出動作制御部、６４  特徴点抽出部、６５，３１０  関連付け処理部、６６  追跡安定性検証部、６７  ３次元座標算出部、６８  形状特性モデル記憶部、６８ａ  形状特性モデル、６９  ３次元形状復元部。
【図１】
0004836086.tif 000007
【図２】
0004836086.tif 000008
【図３】
0004836086.tif 000009
【図４】
0004836086.tif 000010
【図５】
0004836086.tif 000011
【図６】
0004836086.tif 000012
【図７】
0004836086.tif 000013