(57)【要約】【課題】複数のカメラ等の撮像手段を用いて被計測物体を撮像する際、被計測物体の一部あるいは全体が上記複数の撮像手段の撮像領域の外に出た場合でも、形状計測を可能とする形状計測装置及び形状計測方法。【解決手段】所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する装置において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を備え、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し被計測物体の全体形状を計測する際、前記補助撮像手段から得られる画像を用いて前記複数の撮像手段が捉えた被計測物体の位置を追跡するようにしたことを特徴とする形状計測装置。【選択図】図２
2010014699.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する装置において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を備え、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し被計測物体の全体形状を計測する際、前記補助撮像手段から得られる画像を用いて前記複数の撮像手段が捉えた被計測物体の位置を追跡するようにしたことを特徴とする形状計測装置。
【請求項２】
所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する装置において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を備え、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し被計測物体の全体形状を計測する際、前記補助撮像手段から得られる画像を用いて前記被計測物体の位置に対する前記複数の撮像手段の相対的な位置及び方向の変化を決定することを特徴とする形状計測装置。
【請求項３】
所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する方法において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を用いて、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し、前記補助撮像手段から得られる画像を用いて前記複数の撮像手段が捉えた被計測物体の位置を追跡することを特徴とする形状計測方法。
【請求項４】
所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する方法において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を用いて、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し、前記補助撮像手段から得られる画像を用いて前記被計測物体の位置に対する前記複数の撮像手段の相対的な位置及び方向の変化を決定することを特徴とする形状計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は写真測量の原理に基づく形状計測装置に関するもので、複数の撮像手段を移動し、該撮像手段の各位置において被計測物体までの距離を計測し、該計測結果を統合することにより被計測物体の形状を計測する形状計測装置に関する。
【背景技術】
【０００２】
物体をCG(コンピュータグラフィクス)などで再現する際、その形状を三次元データとして作成する必要がある。
【０００３】
対象が架空物体であればデザイナー、あるいはオペレーターが種々のCG作成ツールを用いてその形状データを作成している。
【０００４】
また、形状の見本や試作品、あるいは実在する物体をデータ化しようとする場合には、それ自体、あるいは写真や映像を見て全て手作業で形状データを作成する場合と、何らかの形状計測装置による計測データを用いて作成する方法がある。
【０００５】
しかし、前者の全て手作業で形状データを作成するには非常に負荷がかかる。一方、後者の形状計測装置による計測データを作成する場合は、対象や求められる精度に応じていくつかの装置が市販されている。例えば、最も手軽な装置の一つは、写真測量の原理により視点が異なる複数の画像を用いて、画像内の共通する各点までの距離を求めるというもので、ステレオカメラやマルチカメラ、あるいは視点の異なる画像を読み込んで処理するソフトウェアなどが挙げられる。
【０００６】
ステレオカメラを用いる場合は、二つのカメラ間の距離や各々のカメラの焦点距離や光軸の向き、といったカメラパラメータを予め求めておき、各々のカメラからの画像によって、カメラからそれら画像上の被計測物体の各点までの距離を三角測量の原理により求めるものである。このようなステレオカメラを用いて形状計測を行う場合、一度に撮像できる範囲については、被計測物体の各点までの距離が求められ、その形状は計測できるが、被計測物体全体の形状を知るためには被計測物体をあらゆる方向から撮像し、それぞれのデータを同じ３次元の座標系に統合する必要がある。
【０００７】
これを自動化したシステムとして非特許文献1のステレオカメラ移動計測システムが実現されている。これは2眼のステレオカメラを移動させながら計測対象を撮像し、各フレーム（ステレオカメラを移動させた毎に得られる撮像画像）で得られた形状情報から求める点の３次元座標を算出するものである。
【０００８】
上記のように、手軽に被計測物体全体の形状データを得ることができるが、撮像の際、被計測物体の一部、あるいは全体が撮像領域の外に出てしまうと、その前後のフレームから得られる被計測物体の形状情報や座標に誤りが発生するいう問題が生じる。
【０００９】
これを防ぐためには、後で述べる被計測物体の特徴点の周囲情報を増やす、すなわち、より広い範囲の情報を用いてあらゆる方向のエッジ検出や多重解像度解析を行い特徴点を抽出する手法が考えられる。しかしながら情報を増やせば計算負荷が高くなり、リアルタイムでの処理は行えない。カメラを移動させながら全体形状を得るためには15fps（フレーム／秒）程度のリアルタイム処理が必要である。例えば、動画像解析で広く用いられているKLT法（非特許文献２）を用いた場合、15fps程度でのリアルタイム処理を行うことは容易であるが、より特徴量の次元の高いSIFT法（非特許文献３）では15fpsでの処理は困難である。
【００１０】
このように撮像の際、被計測物体の一部、あるいは全体が撮像領域の外に出た場合でも、計算負荷を高くせず、その前後のフレームから得られる被計測物体の形状情報や座標に誤りが発生することなく形状計測することは困難であった。
【００１１】
上記問題を解決するために、ステレオカメラに用いるレンズをより広角のものとして、対象物が撮影領域から外れにくくすることも考えられるが、同時に形状計測の精度も低下してしまう。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】運天弘樹, 増田智仁, 三橋徹, 安藤真: "ステレオカメラ移動撮影によるVRモデル自動生成手法の検討",日本バーチャルリアリティ学会論文誌, 12, 1, pp. 127-135 (2007)
【非特許文献２】Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981
【非特許文献３】David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2, pp. 91-110,2004
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は複数のカメラ等の撮像手段を用いて被計測物体を撮像する際、被計測物体の一部あるいは全体が上記複数の撮像手段の撮像領域の外に出た場合でも、形状計測を可能とする形状計測装置及び形状計測方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明の請求項１に係る発明は、所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する装置において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を備え、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し被計測物体の全体形状を計測する際、前記補助撮像手段から得られる画像を用いて前記複数の撮像手段が捉えた被計測物体の位置を追跡するようにしたことを特徴とする形状計測装置である。
【００１５】
本発明の請求項２に係る発明は、所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する装置において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を備え、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し被計測物体の全体形状を計測する際、前記補助撮像手段から得られる画像を用いて前記被計測物体の位置に対する前記複数の撮像手段の相対的な位置及び方向の変化を決定することを特徴とする請求項１記載の形状計測装置である。
【００１６】
本発明の請求項３に係る発明は、所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測す
る方法において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を用いて、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し、前記補助撮像手段から得られる画像を用いて前記複数の撮像手段が捉えた被計測物体の位置を追跡することを特徴とする形状計測方法である。
【００１７】
本発明の請求項４に係る発明は、所定の位置関係にある視点が異なる複数の撮像手段を移動させながら画像を撮像し、該画像を用いて被計測物体までの距離を測定し形状計測する方法において、前記複数の撮像手段の視野が重なり始まる点以遠の前記複数の撮像手段の撮像領域と該撮像領域の周辺をも含む領域とを撮像し、前記複数の撮像手段と一体となって移動する補助撮像手段を用いて、前記複数の撮像手段と前記補助撮像手段を移動させながら画像を撮像し、前記補助撮像手段から得られる画像を用いて前記被計測物体の位置に対する前記複数の撮像手段の相対的な位置及び方向の変化を決定することを特徴とする形状計測方法である。
【発明の効果】
【００１８】
本発明の形状計測装置と形状計測方法によれば、形状計測用の撮像手段の撮像領域から被計測物体が外れてしまった場合でも特徴点を追跡することができ、速やかに対象物全体の形状を計測することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の形状計測装置の一実施形態を示す模式図
【図２】各撮像手段の撮像領域の関係を示す模式図
【図３】各撮像領域で撮像された被計測物体と被計測物体上で抽出される特徴点の関係を示す図
【図４】各撮像領域で撮像された被計測物体と被計測物体上で抽出される特徴点の関係を示す模式図
【図５】形状計測のフローチャート図
【図６】他の形状計測方法のフローチャート図
【発明を実施するための形態】
【００２０】
本発明の形状計測装置及び計測方法の最良の形態について、図面を参照しながら説明する。
【００２１】
図１は本発明の形状計測装置の一実施形態を示す模式図、図２は本発明に係わる形状計測装置における各撮像手段の撮像領域の関係を示す模式図である。
【００２２】
図１(a)は形状計測のための一組の撮像手段１１及び１２に加えて本発明に係わるもう一つの撮像手段である補助撮像手段１３を組み入れた例を示し、上段は側面を示す図、下段は平面を示す図で、補助撮像手段１３は一組の撮像手段１１及び１２の間に設置される。同図(b)は１組の撮像手段２１及び２２を含む既存のステレオカメラの枠２４に本発明に係わるもう一つの撮像手段である補助撮像手段２３を組み入れた例を示し、上段は側面を示す図、下段は平面を示す図で、補助撮像手段２３は一組の撮像手段２１及び２２が組み込まれているステレオカメラの枠２４の外側に設置されている。
【００２３】
図２は撮像手段（１１または２１）の視野Ａ１、及び撮像手段（１２または２２）の視野Ｂ１、更に補助撮像手段（１３または２３）の視野Ｃ１のそれぞれの撮像領域Ａ，撮像領域Ｂ，撮像領域Ｃを示す。撮像領域Ａと撮像領域Ｂとが重なる撮像領域Ｄが被計測物体までの距離を計測できる領域となる。ここで、補助撮像手段は撮像手段（１１または２１）の視野Ａ１と撮像手段（１２または２２）の視野Ｂ１が重なり始める点Ｌより被計測物体から見て遠い位置で、その視野がＡ１,Ｂ１の外側の線と交差するように設置される。
【００２４】
図３はそれぞれの撮像領域で撮像された被計測物体と被計測物体上で抽出される特徴点との関係を示す。それぞれの撮像手段の撮像領域Ａ、撮像領域Ｂの撮像領域の一部が重なっており、撮像領域Ｃは前記撮像領域Ａと前記撮像領域Ｂと該撮像領域の周辺をも含む領域となっている。
【００２５】
前記図１（ａ）または（ｂ）で示した撮像手段を移動しＦ-1、Ｆ-2、Ｆ-3、Ｆ-4で示される画像を撮像する。前記Ｆ-1、Ｆ-2、Ｆ-3、Ｆ-4は撮像したフレーム順(適当に数フレーム飛ばして示してある)で、撮像手段（１１、または２１）、（１２または２２）、（１３または２３）を移動して撮像しているため、撮像対象の被計測物体の位置がそれぞれ変わっている。なお、撮像対象は説明のため、代表として葉のようなものがついた丸い被計測物体を一つのみ示す。
【００２６】
形状情報を取得するために得られた被計測物体上の特徴点をそれぞれa、b、c、d、eとする。これらの特徴点はエッジ検出やコーナー検出、更にその周囲の画素との明度や色の差など周囲画素との関係から求められる。Ｆ−１では５点全てが全ての撮像手段の撮像領域の中にあるが、Ｆ−２では点aと点d、点eが撮像領域Ｂの外に、Ｆ−３では５点全てが撮像領域Ｂの外に出てしまい、点a、点d、点eは撮像領域Ａからも外れてしまっている。その後Ｆ−４では点aを除く４点は全ての撮像系の撮像領域に入り、点aも撮像領域Ａ、撮像領域Ｃに入っていることを示す。
【００２７】
このように撮像した場合、例えばd―eで示す特徴点と似た周囲状況の特徴点d’ ―e’がその近くにあると、特徴点抽出の際用いる情報が十分でなければd、eが撮像領域から外れた際にそれらをd’、e’と取り違えて認識してしまうことがある。例えばＦ−２において、撮像手段（１１、または２１）の撮像領域Ａがd―eとして認識しているものを、撮像手段（１２、または２２）の撮像領域Ｂではそれに対応するものとしてd’ ―e’を誤って認識してしまうといった具合である。
【００２８】
しかしながら本発明では、撮像手段（１１、または２１）、及び撮像手段（１２または２２）の撮像領域のすべての領域とその周辺をも含む領域を撮像する補助撮像手段（１３または２３）を付加する。更に、上記すべての撮像手段間の距離、焦点距離、光軸の向き、Ｆ値などのカメラパラメータを予め求めておくことによって、各特徴点の撮像領域Ａの画像上での座標と撮像領域Ｂの画像上での座標、撮像領域Ａの画像上での座標と撮像領域Ｃの画像上での座標、撮像領域Ｂの画像上での座標と撮像領域Ｃの画像上での座標との関係を得ることが出来る。
【００２９】
これを模式的に示したのが図４である。Ｆ−１に示すように、撮像手段からある距離にある平面において、撮像領域Ａ、あるいは撮像領域Ｂの画像は撮像領域Ｃへ投影した画像として考えられる。つまり、撮像領域Ａ、あるいは撮像領域Ｂの画像は撮像領域Ｃの画像の一部とみなせ、Ｆ−２に示すように、それぞれの撮像領域から特徴点が出てしまった場合についても撮像領域Ｃの画像上にあれば追跡を続けることができ、これらの特徴点が撮像領域Ａや撮像領域Ｂに再度戻ってきた際、特徴点の取り違えをすることなく正しい情報が瞬時に得られる。
【００３０】
特徴点の抽出は、撮像領域Ａ、撮像領域Ｂ、撮像領域Ｃのそれぞれの画像でエッジ検出やコーナー検出などの手法により行われ、それぞれの画像間でブロックマッチングなどの手法を用いて対応する点を求める。その後はフレーム間での対応点マッチングを併用することにより、各画像内、画像間での特徴点追跡が行える。
【００３１】
図５は本発明に係わる形状計測のフローチャート図を示す。
【００３２】
図１(b)の１組の撮像手段２１及び２２を含む既存のステレオカメラ２４に本発明に係わるもう一つの撮像手段である補助撮像手段２３を組み入れた例で形状計測のフローを図３及び図５を用いて以下に示す。
【００３３】
ＳＴＡＲＴ（Ｓ１）後、各撮像手段のセットアップすなわち撮像領域（画角）、設置位置を決定する（Ｓ２）。複数の撮像手段であるステレオカメラの二つの撮像手段と補助撮像手段間の距離や各々のカメラの焦点距離や光軸の向き、といったカメラパラメータを求める（キャリブレーション）（Ｓ３）。以上の準備を終えた後、撮像する（Ｓ４）。次に各撮像手段が撮像した被計測物体の画像から特徴点を抽出し（Ｓ５）（ここで、図３の点a,b,c,d,eの特徴点が各撮像手段から得られる）、次に各撮像手段から得られた撮像領域Ａ、撮像領域Ｂ、撮像領域Ｃ間の画像の対応付け（各撮像領域における各特徴点を一致させる）が行われる（Ｓ６）。次に各撮像手段と被計測物体の特徴点間との距離を算出し形状データを取得する（Ｓ７，Ｓ８）。
【００３４】
更に全形状（Ｓ９）が終了していない場合は、視点を変えるために各撮像手段を一体で移動し（Ｓ１０）、撮像する（Ｓ１１）。各撮像手段によって撮像された画像から前記と同じように特徴点を抽出（Ｓ１２）し、撮像手段と特徴点間の距離を算出し形状データを取得する（Ｓ１３、Ｓ１４）。次に今回撮像した特徴点と前回撮像した特徴点で、同じものを追跡し（Ｓ１５）、フレーム間で特徴点を前記と同じように対応付けし（Ｓ１６）、各フレームで得た形状データを統合する（一つの座標系に繋ぎ合わせる(フレーム間位置合わせ)）（Ｓ１７）。
【００３５】
前記特徴点追跡（Ｓ１５）において、上記点a,b,c,d,eのうち一部または全体が図３のＦ−２、Ｆ−３のように、撮像領域Ａまたは撮像領域Ｂの外に出てしまった場合でも、図４で示したように撮像領域Ａ、あるいは撮像領域Ｂの画像は撮像領域Ｃの画像の一部とみなせ、撮像領域Ｃの中にあれば追跡を続けることができる。
【００３６】
このように複数の撮像手段と補助撮像手段を一体となって移動させながら撮像、特徴点抽出、特徴点追跡、特徴点対応付け、距離算出、形状データ取得を全形状（Ｓ９）について行い、形状計測は終了する（Ｓ１８）。
【００３７】
以上の形状計測では、補助撮像手段から得られる画像を用いて、前記複数の撮像手段が捉えた被計測物体の位置を追跡して形状計測する方法について述べたが、これとは別の方法で、補助撮像手段から得られる画像を用いて、被計測物体の位置に対する前記複数の撮像手段の相対的な位置及び方向の変化を決定して被計測物体の形状を計測する方法を次に述べる。
【００３８】
ＳＴＡＲＴ（Ｋ１）後、各撮像手段のセットアップすなわち撮像領域（画角）、設置位置を決定する（Ｋ２）。複数の撮像手段であるステレオカメラの二つの撮像手段と補助撮像手段間の距離や各々のカメラの焦点距離や光軸の向き、といったカメラパラメータを求める（キャリブレーション）（Ｋ３）。以上の準備を終えた後、撮像する（Ｋ４）。次に各撮像手段が撮像した被計測物体の画像から特徴点を抽出し（Ｋ５）（ここで、図３の点a,b,c,d,eの特徴点が各撮像手段から得られる）、次に各撮像手段から得られた撮像領域Ａ、撮像領域Ｂ、撮像領域Ｃ間の画像の対応付け（各撮像領域における各特徴点を一致させる）が行われる（Ｋ６）。次に被計測物体の特徴点に対する前記複数の撮像手段の相対的な位置及び方向を決定し、形状データを取得する（Ｋ７，Ｋ８）。
【００３９】
更に全形状（Ｋ９）が終了していない場合は、視点を変えるために各撮像手段を一体で
移動し（Ｋ１０）、撮像する（Ｋ１１）。各撮像手段によって撮像された画像から前記と同じように特徴点を抽出（Ｋ１２）し、被計測物体に対する前記複数の撮像手段の相対的な位置及び方向の変化を決定し、該変化より形状データを取得する（Ｋ１３、Ｋ１４）。次に今回撮像した特徴点と前回撮像した特徴点で、同じものを追跡し（Ｋ１５）、フレーム間で特徴点を前記と同じように対応付けし（Ｋ１６）、各フレームで得た形状データを統合する（一つの座標系に繋ぎ合わせる(フレーム間位置合わせ)）（Ｋ１７）。全形状について終了した場合（Ｋ９のＹ）は終了する（ＥＮＤ）（Ｋ１８）。
【００４０】
以上のように本発明による形状計測装置によれば、複数の形状計測用の撮像手段とは別に、それらの複数の撮像手段全ての撮像領域を含む領域を撮像する補助撮像手段によって、上記複数の撮像手段の撮像領域から被計測物体が外れてしまった場合でも特徴点を追跡し、形状計測することが可能になる。また、本発明に係わる補助撮像手段は特徴点追跡に使われ、距離情報は上記複数の撮像手段によって行われるので、形状計測精度を落とすことなく形状計測が可能である。
【符号の説明】
【００４１】
１１、１２・・・1組の形状計測用撮像手段
１３・・・補助撮像手段
２１、２２・・・1組の形状計測用撮像手段
２３・・・補助撮像手段
２４・・・ステレオカメラ
Ａ１・・・１１または２１の撮像手段の視野
Ｂ１・・・１２または２２の撮像手段の視野
Ｃ１・・・１３または２３の補助撮像手段の視野
Ａ・・・１１または２１の撮像手段の撮像領域
Ｂ・・・１２または２２の撮像手段の撮像領域
Ｃ・・・１３または２３の撮像手段の撮像領域
Ｄ・・・撮像領域Ａと撮像領域Ｂが重なる撮像領域
Ｌ・・・視野Ａ１及び視野Ｂ１が重なり始める点
【図１】
2010014699.tif 000003
【図２】
2010014699.tif 000004
【図３】
2010014699.tif 000005
【図４】
2010014699.tif 000006
【図５】
2010014699.tif 000007
【図６】
2010014699.tif 000008