(57)【特許請求の範囲】
【請求項１】
入力画像において画面上で、滑らかな曲線で構成される対象物体を囲むモデル計測範囲を設定し、そのモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、ステレオ計測処理によってモデル計測点の三次元位置データを計測することで物体上のモデル構成点を生成し、そのモデル構成点の集合として三次元形状データを生成した後、モデル計測範囲においてモデル構成点と、特徴のない滑らかな部分であるデータ欠落点との境界の点をチェーン状につなぎ合わせた欠落部エッジチェーンを作成し、欠落部エッジチェーンから内側にデータ欠落点を持つ閉曲線を抽出することでデータ欠落部を抽出し、抽出した閉曲線上のモデル構成点の高さデータの平均値とデータ欠落部内の各点の画面上の位置データからデータ欠落部内のデータ欠落点の三次元位置データを計算してモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
【請求項２】
請求項１記載の装置のデータ欠落部内のデータ欠落点の位置データを計算する部分において、抽出した閉曲線上のモデル構成点の位置データから欠落部平面を計算し、欠落部平面とデータ欠落部内の各点の画面上の位置データからデータ欠落部内のデータ欠落点の三次元位置データを計算してモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
【請求項３】
請求項１記載の装置のデータ欠落部内のデータ欠落点の位置データを計算する部分において、閉曲線上の両端の２点の組から内側方向へ順に２点を結ぶ直線を順次計算し、データ欠落点の位置に対応する直線上の三次元位置データからモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする物体の三次元形状モデル作製装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体の三次元形状モデル作製装置に関する。詳しくは、カメラによって得られた画像データを使用して、カメラで撮影可能な範囲に存在する工業部品等の対象物体の三次元形状データを生成し、それにより物体認識処理等に用いる物体の三次元形状モデルを作製する装置に関するものである。
【０００２】
【従来の技術】
三次元形状モデルを作製する方法として本発明者は幾つかの提案を行っている。
特願平１１−３２３８６４号及び特願平１１−３２３８６５号では、画面上で設定した長方形範囲内（これを「モデル計測範囲」と呼ぶ）に格子状に設定した点（これを「モデル計測点」と呼ぶ）についてステレオ計測により三次元位置データを計測し、三次元位置データを持つ点データ（これを「モデル構成点」と呼ぶ）の集合（これを「三次元形状データ」と呼ぶ）として物体の三次元形状モデルを構成した。これらを「先件提案」と呼ぶ。
【０００３】
【発明が解決しようとする課題】
先件提案では、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、データの入力手段としてカメラによる入力画像を用いているため、対象物体がどのような大きさのものであっても、カメラで撮影可能な範囲内に存在する物体であれば、例えば建造物、もしくは山肌、崖といった自然の地形のような工業部品以外の対象であっても、物体の三次元形状モデルを作製することができる。
【０００４】
しかしながら、ステレオ計測による三次元位置データによりモデル構成点を設定する際、モデル計測点を設定する基準面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体の突起や斜面のため見えない部分が存在する場合があったり、また、基準画面と参照画面両方で見えているが、特徴のない滑らかな部分であるため対応点を見つけられない場合がある。
【０００５】
このような場合は、ステレオ計測による三次元位置計測が困難なためモデル構成点を設定できず三次元形状データ上でデータの欠落した部分（これを「データ欠落部」と呼ぶ）となる。
データ欠落部が１，２点程度の小さなものであれば平滑化フィルタ等で補間できるが、穴の様に大きくデータの抜けたデータ欠落部ではその部分を何らかの方法により補間する必要がある。
本発明の目的は、カメラで撮影可能な範囲に存在する対象物の三次元形状データを生成し、それにより物体の三次元形状モデルを作製することである。
【０００６】
【課題を解決するための手段】
斯かる目的を達成する本発明の請求項１に係る物体の三次元形状モデル作製装置は、入力画像において画面上で対象物体を囲むモデル計測範囲を設定し、そのモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、ステレオ計測処理によってモデル計測点の三次元位置データを計測することで物体上のモデル構成点を生成し、そのモデル構成点の集合として三次元形状データを生成した後、モデル計測範囲においてモデル構成点とデータ欠落点との境界の点をチェーン状につなぎ合わせた欠落部エッジチェーンを作成し、欠落部エッジチェーンから内側にデータ欠落点を持つ閉曲線を抽出することでデータ欠落部を抽出し、抽出した閉曲線上のモデル構成点の高さデータの平均値とデータ欠落部内の各点の画面上の位置データからデータ欠落部内のデータ欠落点の三次元位置データを計算してモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【０００７】
上記目的を達成する本発明の請求項２に係る物体の三次元形状モデル作製装置は、請求項１記載の装置のデータ欠落部内のデータ欠落点の位置データを計算する部分において、抽出した閉曲線上のモデル構成点の位置データから欠落部平面を計算し、欠落部平面とデータ欠落部内の各点の画面上の位置データからデータ欠落部内のデータ欠落点の三次元位置データを計算してモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【０００８】
上記目的を達成する本発明の請求項３に係る物体の三次元形状モデル作製装置は、請求項１記載の装置のデータ欠落部内のデータ欠落点の位置データを計算する部分において、閉曲線上の両端の２点の組から内側方向へ順に２点を結ぶ直線を順次計算し、データ欠落点の位置に対応する直線上の三次元位置データからモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【０００９】
【発明の実施の形態】
（１）基本的な考え方
先件提案では、基準画面上で設定したモデル計測範囲に格子状に設定したモデル計測点についてステレオ計測により三次元位置データを計測し、三次元位置データを持つモデル構成点の集合である三次元形状データを生成し、物体の三次元形状モデルを構成した。
本発明では、先件提案の方法により三次元形状モデルを構成する物体の三次元形状データを生成した後、図１（ａ）（ｂ）に示すように、モデル計測範囲において三次元位置データを得られたモデル構成点と三次元位置データを得られなかった点（これを「データ欠落点」と呼ぶ）１０との境界の点をチェーン状につなぎ合わせたデータ（これを「欠落部エッジチェーン」と呼ぶ）２０を作成し、図２（ａ）（ｂ）に示すように、欠落部エッジチェーン２０から内側にデータ欠落点１０を持つ閉曲線４０を抽出することで、データ欠落部３０を抽出し、抽出した閉曲線４０上のモデル構成点の高さデータの平均値とデータ欠落部３０内の各点の画面上の位置データからデータ欠落部３０内のデータ欠落点１０の三次元位置データを計算してモデル構成点を設定することで、データ欠落点１０のない三次元形状データを生成し、三次元モデルを構成する。
【００１０】
【課題を解決するための手段】
斯かる目的を達成する本発明の請求項１に係る物体の三次元形状モデル作製装置は、入力画像において画面上で、滑らかな曲線で構成される対象物体を囲むモデル計測範囲を設定し、そのモデル計測範囲において予め設定しておいた間隔でモデル計測点を格子状に設定し、ステレオ計測処理によってモデル計測点の三次元位置データを計測することで物体上のモデル構成点を生成し、そのモデル構成点の集合として三次元形状データを生成した後、モデル計測範囲においてモデル構成点と、特徴のない滑らかな部分であるデータ欠落点との境界の点をチェーン状につなぎ合わせた欠落部エッジチェーンを作成し、欠落部エッジチェーンから内側にデータ欠落点を持つ閉曲線を抽出することでデータ欠落部を抽出し、抽出した閉曲線上のモデル構成点の高さデータの平均値とデータ欠落部内の各点の画面上の位置データからデータ欠落部内のデータ欠落点の三次元位置データを計算してモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元形状モデルを構成することを特徴とする。
【００１１】
この三次元形状モデル作製装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部３０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
【００１２】
さらに、データ欠落部３０の抽出方法として閉曲線抽出方法を用いているため、三次元位置データを補間する必要がある部分をデータ欠落部３０として忠実に抽出することができ、データ欠落部３０を閉曲線４０に囲まれた塊として抽出するためデータ欠落部３０内のデータを一度にまとめて補間できる。
また、閉曲線４０を抽出する際の端点の開き度合い（始点と終点の間隔の度合い）を設定することで、周りを全てモデル構成点に囲まれた穴形状のデータ欠落部３０のみを補間対象としたり、比較的大きな開口部をもつ切欠き形状のデータ欠落部３０も補間対象とするといった、補間対象となるデータ欠落部３０の度合いを設定することができる。
【００１３】
（２）その他の実施例
（２．１）閉曲線抽出平面補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、データ欠落部３０内のデータ欠落点１０の位置データを計算する部分において、データ欠落点１０の位置データを抽出した閉曲線４０上のモデル構成点の高さデータの平均値を基に求める代わりに、抽出した閉曲線４０上のモデル構成点の位置データから開曲線の乗る平面（これを「欠落部平面」と呼ぶ）を計算し、欠落部平面とデータ欠落部３０内の各点の画面上の位置データからデータ欠落部３０内のデータ欠落点１０の三次元位置データを計算してモデル構成点を設定することで、データ欠落部のない三次元形状データを生成し、三次元モデルを構成する。
【００１４】
即ち、図３の平均補間モデル構成点設定部６に代えて、図４に示すように、抽出した閉曲線４０上のモデル構成点の位置データから開曲線の乗る欠落部平面を計算し、欠落部平面とデータ欠落部３０内の各点の画面上の位置データからデータ欠落部３０内のデータ欠落点１０の三次元位置データを計算してモデル構成点を設定する平面補間モデル構成点設定部１６を備えるものであり、その他の構成は図３に示す実施例と同様である。
【００１５】
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部３０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
【００１６】
さらに、データ欠落部３０の抽出方法として閉曲線抽出方法を用いているため三次元位置データを補間する必要がある部分をデータ欠落部３０として忠実に抽出することができ、データ欠落部３０を閉曲線４０に囲まれた塊として描出するためデータ欠落部３０内のデータを一度にまとめて補間できる。
また、閉曲線４０を抽出する際の端点の開き度合い（始点と終点の間隔の度合い）を設定することで、周りを全てモデル構成点に囲まれた穴形状のデータ欠落部３０のみを補間対象としたり、比較的大きな開口部をもつ切欠き形状のデータ欠落部３０も補間対象とするといった、補間対象となるデータ欠落部３０の度合いを設定することができる。
また、データ欠落部３０の補間に平面補間を用いるためデータ欠落部３０に平板で蓋をするようにデータ欠落部３０の縁に沿った補間を行うことができる。
【００１７】
（２．２）閉曲線抽出直線補間処理を加えた三次元形状モデル作製装置
この装置は、基本的な考え方で述べた装置の処理のうち、データ欠落部３０内のデータ欠落点１０の位置データを計算する部分において、データ欠落点１０の位置データを抽出した閉曲線４０上のモデル構成点の高さデータの平均値を基に求める代わりに、閉曲線４０上の両端の２点の組から内側方向へ順に２点を結ぶ直線を順次計算し、データ欠落点１０の位置に対応する直線上の三次元位置データからモデル構成点を設定することで、データ欠落部３０のない三次元形状データを生成し、三次元形状モデルを構成する。
【００１８】
即ち、図３の平均補間モデル構成点設定部６に代えて、図５に示すように、閉曲線４０上の両端の２点の組から内側方向へ順に２点を結ぶ直線を順次計算し、データ欠落点１０の位置に対応する直線上の三次元位置データからモデル構成点を設定する直線補間モデル構成点設定部２６を備えるものであり、その他の構成は図３に示す実施例と同様である。
要するに直線で補間を行えばよく、閉曲線の始点と終点が隣り合っている場合は、縦もしくは横の直線を、縦線の場合は左から順に、横線の場合は上から順に直線を計算する。
【００１９】
この装置は、物体の三次元形状モデルをモデル構成点の集合で構成するため、対象物体が多面体のように角張っている場合はもちろん、円柱や球面のような滑らかな曲面から構成される場合でも、対象物の三次元形状データを生成でき、これにより三次元形状モデルを作製することができる。
また、ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面のために見えない部分が存在する場合があったり、また基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられない場合でも、データ欠落部３０を補間するためデータ抜けのない対象物体の三次元形状データを生成できる。
【００２０】
さらに、データ欠落部３０の抽出方法として閉曲線抽出方法を用いているため三次元位置データを補間する必要がある部分をデータ欠落部３０として忠実に抽出することができ、データ欠落部３０を閉曲線４０に囲まれた塊として抽出するためデータ欠落部３０内のデータを一度にまとめて補間できる。
また、閉曲線４０を抽出する際の端点の開き度合い（始点と終点の間隔の度合い）を設定することで、周りを全てモデル構成点に囲まれた穴形状のデータ欠落部３０のみを補間対象としたり、比較的大きな開口部をもつ切欠き形状のデータ欠落部３０も補間対象とするといった、補間対象となるデータ欠落部３０の度合いを設定することができる。
また、データ欠落部３０の補間に直線補間を用いるため補間した部分と元々モデル構成点が存在した部分との境目にギャップを生じない。
【００２１】
【発明の効果】
以上、実施例に基づいて具体的に説明したように、本発明によれば、以下の効果を奏する。
（１）ステレオ計測によりモデル構成点を設定する際、モデル計測点を設定する基準画面では見えているが、その対応点を探索する参照画面では視差の関係で対象物体上の突起や斜面により見えない部分が存在するために、対象物体上の三次元形状データに大きなデータ欠落部が出来た場合でも、データ欠落部のモデル構成点を補間により設定することで、データ欠落部の無い三次元形状データを生成することができる。
（２）ステレオ計測によりモデル構成点を設定する際、基準画面と参照画面両方で見えているが特徴のない滑らかな部分であるため対応点を見つけられないことにより、対象物体上の三次元形状データに大きなデータ欠落部が出来た場合でも、データ欠落部のモデル構成点を補間により設定することで、データ欠落部の無い三次元形状データを生成することができる。
（３）データ欠落部の無い三次元形状データを生成することができるため、カメラから見えている対象物体上の全ての点の三次元位置データを持つ三次元形状モデルを得ることができる。
【図面の簡単な説明】
【図１】欠落部エッジチェーンの抽出例を示す説明図である。
【図２】閉曲線抽出によるデータ欠落部の抽出例を示す説明図である。
【図３】本発明による物体の三次元形状モデル作製装置を示すブロック図である。
【図４】本発明による閉曲線抽出平面補間処理を加えた物体の三次元形状モデル作製装置を示すブロック図である。
【図５】本発明による閉曲線抽出直線補間処理を加えた物体の三次元形状モデル作製装置を示すブロック図である。
【符号の説明】
１  カメラ
２  モデル構成点生成器
３  モデル構成点三次元形状データ生成部
４  モデルメモリ
５  閉曲線抽出データ欠落部検出
６  平均補間モデル構成点設定部
１６  平面補間モデル構成点設定部
２６  直線補間モデル構成点設定部
１０  データ欠落点
２０  欠落部エッジチェーン
３０  データ欠落部
４０  閉曲線
【図１】
0004668383.tif 000002
【図２】
0004668383.tif 000003
【図３】
0004668383.tif 000004
【図４】
0004668383.tif 000005
【図５】
0004668383.tif 000006