(57)【要約】【課題】異なるシーンを貼り合わせた際に期待される結合精度の計算を簡易に実行する手法の提供。【解決手段】過去に連続撮影されたシーンの画像セットΦpと現在連続撮影中のシーンの画像セットΦcに含まれる画像に共通に写っているマーカ毎の代表的な位置を求めてシーン情報とする。このマーカ毎の代表的な位置について点群の広がり指標を求め、この指標に基づいて期待結合精度を計算し、その結果を撮影中のユーザにリアルタイムで表示する。点群の広がり指標として、マーカ毎の位置の固有値を用いるようにしてもよい。上記期待結合精度は、例えば、点群の広がりの指標の閾値判定結果に応じて設定される。撮影中のユーザは、現在撮影中のシーンに含まれる画像が、過去に撮影されたシーンに含まれる画像と結合させ得るか否か、また、その期待結合精度をリアルタイムで確認できるため、結合精度の良い撮影が容易化される。【選択図】図２
2014112057.tif 000002
【特許請求の範囲】
【請求項１】
過去に連続撮影されたシーンの画像セットΦpと現在連続撮影中のシーンの画像セットΦcとの期待結合精度をリアルタイムでユーザに表示する方法であって、
それぞれのシーンに含まれる画像に共通に写っているマーカ毎の代表的な位置を求めてシーン情報として保存するステップと、
前記マーカ毎の代表的な位置について点群の広がり指標を求めるステップと、
前記点群の広がり指標に基づいて期待結合精度を計算するステップとを備え、
前記期待結合精度の計算結果を撮影中のユーザにリアルタイムで表示する、
ことを特徴とする期待結合精度のリアルタイム表示方法。
【請求項２】
前記点群の広がり指標は前記マーカ毎の代表的な位置の固有値である、
請求項１に記載の期待結合精度のリアルタイム表示方法。
【請求項３】
前記期待結合精度は、前記点群の広がりの指標の閾値判定結果に応じて設定される、
請求項１又は２に記載の期待結合精度のリアルタイム表示方法。
【請求項４】
前記点群の広がり指標に基づいて期待結合精度を算出するステップは、
現在撮影中のシーンと過去に撮影されたシーンで共通して検出されたマーカの数により結合可否を判定するサブステップを備え、
該結合可否の判定結果は前記期待結合精度とともにリアルタイム表示される、
請求項１乃至３の何れか１項に記載の期待結合精度のリアルタイム表示方法。
【請求項５】
過去に連続撮影されたシーンの画像セットΦpと現在連続撮影中のシーンの画像セットΦcとの期待結合精度をリアルタイムでユーザに表示する方法であって、
撮影されたシーンに含まれる画像中の特徴点を求めて該特徴点の３次元座標およびデスクリプタをシーン情報として保存するステップと、
前記画像セットのそれぞれからランダムに選択された画像間での特徴点の対応付けを行い、対応付けされた特徴点を対応付け集合として記憶するステップと、
前記画像間での新たな特徴点の対応付けがされる毎に前記対応付け集合を更新するステップと、
前記対応付け集合に含まれる特徴点の点群の広がり指標を求めるステップと、
前記点群の広がり指標に基づいて期待結合精度を計算するステップとを備え、
前記期待結合精度の計算結果を撮影中のユーザにリアルタイムで表示する、
ことを特徴とする期待結合精度のリアルタイム表示方法。
【請求項６】
前記点群の広がり指標は前記特徴点の固有値である、
請求項５に記載の期待結合精度のリアルタイム表示方法。
【請求項７】
前記期待結合精度は、前記点群の広がりの指標の閾値判定結果に応じて設定される、
請求項５又は６に記載の期待結合精度のリアルタイム表示方法。
【請求項８】
前記点群の広がり指標に基づいて期待結合精度を算出するステップは、
前記画像セット間での特徴点の対応付けの数により結合可否を判定するサブステップを備え、
該結合可否の判定結果は前記期待結合精度とともにリアルタイム表示される、
請求項５乃至７の何れか１項に記載の期待結合精度のリアルタイム表示方法。
【請求項９】
請求項１乃至８の何れか１項に記載の方法を実行してユーザに結合可否および期待結合精度をリアルタイムで表示する形状計測システムであって、
実環境を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備え、
前記コンピュータは、前記各ステップを実行する演算部を備えている、
形状計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、断続的に撮影された画像から被写体の形状を３次元計測する技術に関し、より詳細には、途切れて撮影された異なるシーンに含まれる画像を貼り合わせて３次元計測を行う際の、画像結合な可否判断および期待結合精度の計算を簡易に実行する手法に関する。
【背景技術】
【０００２】
近年、スマートフォン等の高い演算能力を備えたモバイルデバイスが急速に普及してきている。これらの情報端末の殆どは撮像装置としてのカメラを備えており、単に音声情報や文字情報による通信機能のみならず、画像情報による通信機能を備えている。このようなモバイルデバイスの普及にともない、対象物体を端末のカメラで撮影すると当該対象物体に関する解説が画像に重畳して表示されるといったような拡張現実感（Augmented Reality: AR）と呼ばれる技術や撮影された画像から被写体の３次元形状を復元する技術が身近なものとなってきている。例えば、非特許文献１や非特許文献２には、ＲＧＢ−Ｄカメラを用いた３次元計測手法の報告がある。
【０００３】
このような技術では、２次元画像に映し出された環境の座標系と実環境の座標系の合わせ込みを行うが、その際、ユーザ（カメラ）の位置・姿勢を正確に把握することが必要となる。
【０００４】
このため、ＡＲ技術の分野では、実環境に位置、形状、色が既知のマーカを予め配置させておき、これをカメラで撮影し、その画像を解析することでカメラの姿勢を推定する手法が提案されている。このようなマーカとしては、従来から、矩形のマーカがよく用いられる（例えば、非特許文献３を参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】S. Lieberknecht, A. Huber, S. Ilic, S. Benhimane, RGB-D Camera-Based Parallel Tracking and Meshing, The 10th IEEE and ACM International Symposium on Mixed and Augmented Reality,, Oct. 26 - 29(2011).
【非特許文献２】原孝介、安倍満、佐藤育郎、神谷孝二、「KINECTを用いた３次元復元の産業用ロボット教示への応用」、研究報告コンピュータビジョンとイメージメディア、2012-CVIM-180.
【非特許文献３】加藤ら："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"、日本ＶＲ学会論文誌、Ｖｏｌ．４、Ｎｏ．４、ｐｐ．６０７−６１６（１９９９）．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＲＧＢ−Ｄカメラを用いて被写体を３次元計測する際、先ず、ユーザが手に持ったＲＧＢ−Ｄカメラを動かしながら種々のカメラ姿勢から被写体（計測対象物）を撮影する。そして、撮影された複数の画像をSLAM技術によりカメラ姿勢を推定し，撮影された距離画像を同一の座標系に変換することで，自動的に張り合わせる事ができる．この結果，広範囲で被写体を３次元計測した結果を得ることができる（非特許文献１および２を参照）。
【０００７】
ところで、計測対象の環境が広い場合などは、ユーザが撮影を続けながら連続的に移動できないことがあり、撮影が途切れてしまう。撮影が途切れるとカメラ姿勢の推定ができず、３次元計測の結果が途切れてしまう。
【０００８】
連続的な撮影で得られた画像の集合をひとつの「シーン」と呼ぶこととすると、断続的な撮影には複数のシーンが含まれ、広範囲で３次元計測結果を得るためには、シーン間のカメラ姿勢を求める必要がある。シーン間で共通する特徴点やマーカが十分にある場合には、これらを利用して相互のカメラ姿勢を計算することで、異なるシーンに属する画像の結合が可能である。つまり、撮影が断続的にならざるを得ない場合には、過去のシーンと共通する特徴点やマーカを、十分に含むように心がけて撮影を行う必要がある。
【０００９】
しかしながら、過去のシーンに対して共通する特徴点やマーカが十分であるか否かの確認は、撮影を行っているユーザにとって、極めて難しいのが実情である。
【００１０】
特徴点を使ってシーンを結合する場合、十分な演算時間があれば、シーン間で共通する全ての特徴点を計算し、高精度に相互のカメラ姿勢を計算することができる。しかしながら、撮影中には十分な演算時間はとれず現実的ではない。また、共通する全ての特徴点を計算しても十分な精度が得られるとは限らず、その確認は、撮影を行なっているユーザにとって極めて難しいのが実情である。
【００１１】
マーカを使ってシーンを結合する場合、ユーザが配置したマーカがシーン間の結合に十分である必要がある。マーカが少数であったり、撮影空間中に偏って置かれている場合には結合の精度は低くなる。シーン間の結合に十分であるかの確認は、撮影を行なっているユーザにとって極めて難しいのが実情である。
【００１２】
本発明は上述した問題に鑑みてなされたもので、その目的とするところは、現在撮影中のシーンに、過去に撮影されたシーンと共通する特徴点やマーカが画像結合に充分な程度に写っているか否かを高速に判定し、過去に撮影された画像を結合した場合の期待結合精度を、撮影中のユーザがリアルタイムで確認できるようにするための技術を提供することにある。
【課題を解決するための手段】
【００１３】
上述の課題を解決するために、本発明に係る第１の態様の期待結合精度のリアルタイム表示方法は、過去に連続撮影されたシーンの画像セットΦpと現在連続撮影中のシーンの画像セットΦcとの期待結合精度をリアルタイムでユーザに表示する方法であって、それぞれのシーンに含まれる画像に共通に写っているマーカ毎の代表的な位置を求めてシーン情報として保存するステップと、前記マーカ毎の代表的な位置について点群の広がり指標を求めるステップと、前記点群の広がり指標に基づいて期待結合精度を計算するステップとを備え、前記期待結合精度の計算結果を撮影中のユーザにリアルタイムで表示する、ことを特徴とする。
【００１４】
例えば、前記点群の広がり指標は前記マーカ毎の代表的な位置の固有値である。
【００１５】
また、好ましくは、前記期待結合精度は、前記点群の広がりの指標の閾値判定結果に応じて設定される。
【００１６】
さらに、好ましくは、前記点群の広がり指標に基づいて期待結合精度を算出するステップは、現在撮影中のシーンと過去に撮影されたシーンで共通して検出されたマーカの数により結合可否を判定するサブステップを備え、該結合可否の判定結果は前記期待結合精度とともにリアルタイム表示される。
【００１７】
本発明に係る第２の態様の期待結合精度のリアルタイム表示方法は、過去に連続撮影されたシーンの画像セットΦpと現在連続撮影中のシーンの画像セットΦcとの期待結合精度をリアルタイムでユーザに表示する方法であって、撮影されたシーンに含まれる画像中の特徴点を求めて該特徴点の３次元座標およびデスクリプタをシーン情報として保存するステップと、前記画像セットのそれぞれからランダムに選択された画像間での特徴点の対応付けを行い、対応付けされた特徴点を対応付け集合として記憶するステップと、前記画像間での新たな特徴点の対応付けがされる毎に前記対応付け集合を更新するステップと、前記対応付け集合に含まれる特徴点の点群の広がり指標を求めるステップと、前記点群の広がり指標に基づいて期待結合精度を計算するステップとを備え、前記期待結合精度の計算結果を撮影中のユーザにリアルタイムで表示する、ことを特徴とする。
【００１８】
好ましくは、前記点群の広がり指標は前記特徴点の固有値である。
【００１９】
また、好ましくは、前記期待結合精度は、前記点群の広がりの指標の閾値判定結果に応じて設定される。
【００２０】
さらに、好ましくは、前記点群の広がり指標に基づいて期待結合精度を算出するステップは、前記画像セット間での特徴点の対応付けの数により結合可否を判定するサブステップを備え、該結合可否の判定結果は前記期待結合精度とともにリアルタイム表示される。
【００２１】
本発明に係る形状計測システムは、上述の方法を実行してユーザに結合可否および期待結合精度をリアルタイムで表示する形状計測システムであって、実環境を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備え、前記コンピュータは、前記各ステップを実行する演算部を備えている。
【発明の効果】
【００２２】
上述の第１の様態および第２の様態は何れも、例えばシーン間のすべての画像の対応付けといった負荷の高い処理が不要であるため、期待結合精度をリアルタイムに処理できる。また、期待結合精度を計算するために用いる点群の広がり指標は、マーカが空間中に偏って置かれている場合や対応付けのある特徴点が空間中に偏っている場合には低い値となりそうでなければ高い値を示す。従って、点群の広がり指標に基づき得られる期待値は、シーン間の結合精度をよく近似しているといえる。
【００２３】
本発明により、撮影中のユーザは、現在撮影中のシーンに含まれる画像が、過去に撮影されたシーンに含まれる画像と結合させ得るか否か、また、その期待結合精度をリアルタイムで確認でき、この結果、結合精度の良い撮影が容易化される。
【図面の簡単な説明】
【００２４】
【図１】ユーザがＲＧＢ−Ｄカメラを手に持った状態で移動しながら被写体を撮影する場面を示す図である。
【図２】本発明に係る被写体形状の３次元計測システムにおいて実行される各ステップの一例を説明するフローチャートである。
【図３】矩形マーカの４つの頂点１〜４を示す図である。
【図４】結合可否判定および期待結合精度の計算のための第１の手法の各ステップを説明するためのフローチャートである。
【図５】結合可否判定および期待結合精度の計算のための第２の手法の各ステップを説明するためのフローチャートである。
【図６】本発明に係る結合可否判定および期待結合精度の計算手法を取り入れた被写体形状の計測システムにおける計測画面の一例を示す図である。
【図７】図６に示した計測画面の左下領域に表示される簡易対応付けの例である。
【発明を実施するための形態】
【００２５】
以下に、図面を参照して本発明を実施するための態様について説明する。
【００２６】
図１は、ユーザがＲＧＢ−Ｄカメラ２０を手に持った状態で移動しながら被写体１０を撮影する場面を示す図で、撮影環境中には複数の矩形のマーカ３０が配置されている。
【００２７】
符号４０で示されたものは、撮影で得られる画像を特徴付ける点（特徴点）で、例えば被写体等の角や線の交わる点などがそれに当たる。これらマーカ３０や特徴点４０は、カメラ姿勢の推定に用いられる。
【００２８】
この図に示した例は、被写体１０である産業用ロボットを撮影している場面であるが、撮影環境が広いため、３次元計測に必要な全ての画像を連続では撮影することができず、被写体１０の正面側での移動しながらの連続撮影（シーン１）が終了した後に、撮影を一旦中断し、ユーザが被写体の側面に移り、被写体１０の背後へと移動しながらの連続撮影（シーン２）を行っている。
【００２９】
本発明では、このような場合に、シーン１に含まれる画像とシーン２に含まれる画像を結合させるためには、シーン２の撮影中に、過去に撮影されたシーン１と共通するマーカ３０や特徴点４０が充分な程度で写っていることを、ユーザがリアルタイムで確認できるようにする。
【００３０】
図２は、本発明に係る被写体形状の３次元計測システムにおいて実行される各ステップの一例を説明するフローチャートで、当該システムは、被写体を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備えている。以下では、各ステップ毎に処理の内容を説明する。
【００３１】
［マーカ配置環境下での撮影］（Ｓ１０１）
先ず、マーカを配置した環境下で、ユーザが移動しながら被写体を撮影する（Ｓ１０１）。
【００３２】
なお、マーカは、画像からカメラ姿勢を正確に求めることができるものでありさえすれば良く特別な制限はないが、例えば、寸法が既知の矩形パターンが描かれたマーカを用いると、当該マーカに対するカメラの姿勢を高精度に求めることができる。
【００３３】
また、上記既知パターンのマーカを環境中に配置し、環境中に定めた原点に対するマーカの位置姿勢を求めておことで、環境中での位置を高精度に求めることができる。以降の説明では、ＡＲでよく用いられる矩形マーカを想定する。
【００３４】
上記撮影に用いるカメラは、輝度画像と距離画像を取得可能なカメラであり、ここでは、ピクセル毎のＲＧＢ輝度情報と被写体までの距離情報が取得可能なＲＧＢ−Ｄカメラであるとする。つまり、この撮影により、マーカを配置して撮影された複数の画像から、ピクセル毎のＲＧＢ輝度情報と被写体までの距離情報を取得する。１つのシーンに含まれる画像がＮ枚であるとすると、その画像集合を下記Φとする。
【００３５】
【数１】
2014112057.tif 000003
【００３６】
ＲＧＢ−Ｄカメラとしては、例えばKINECT（Microsoft）（登録商標）やXTION Pro LIVE(ASUS)（登録商標）がある。これらのカメラには、ＲＧＤカメラと距離カメラが固定されている。ＲＧＢカメラと距離カメラの相対的な位置姿勢のキャリブレーションがなされていると、ピクセル毎にＲＧＢの輝度値と被写体までの距離の情報が取得できる。
【００３７】
［マーカ検出］（Ｓ１０２）
このようにして撮影された画像集合Φはコンピュータに記録され、各画像に映し出されたマーカが検出される（Ｓ１０２）。
【００３８】
ｋフレーム目のＲＧＢ−Ｄ画像中に検出された矩形マーカｒの３次元の頂点座標（カメラ座標系）Ｑk,rも、非特許文献３に記載されているような既存技術により計算で求めることができる。
【００３９】
ここで、上記Ｑk,rを下記のように置く。
【００４０】
【数２】
2014112057.tif 000004
【００４１】
［局所特徴の計算］（Ｓ１０３）
画像集合Φに含まれるＲＧＢ画像の中から、カメラ姿勢を求めるための局所特徴を計算する。このような局所特徴には、例えばSIFTやSURFがある。
【００４２】
画像ｋに着目すると、Ｉk個の特徴点につき、その３次元位置ＭkおよびデスクリプタＤkが、下記のように得られる。つまり、上記複数の画像から、特徴点のＲＧＢ輝度情報と被写体までの距離情報を抽出する。
【００４３】
【数３】
2014112057.tif 000005
【００４４】
【数４】
2014112057.tif 000006
【００４５】
［カメラ姿勢の推定］（Ｓ１０４）
続いて、各画像が撮影された際のカメラ姿勢を推定する。ｋフレーム目のＲＧＢ−Ｄ画像が入力されると、当該画像のカメラ姿勢（Ｒk，ｔk）は、非特許文献１や２に記載されているような既存技術により求めることができる。
【００４６】
［結合可否および期待結合精度の計算およびその表示］（Ｓ１０５〜１０７）
上記手順で得られた結果を踏まえ、異なるシーン間での画像結合が可能か否かの判定結果および期待結合精度の計算結果をユーザに表示する。当該計算の手順は後述する。
【００４７】
［シーン情報の保存］（Ｓ１０９）
撮影を終了（Ｓ１０８：Ｙｅｓ）する際に、マーカや特徴点の情報（シーン情報）を、ファイルやメモリに保存する（Ｓ１０９）。保存したシーン情報は、次回の撮影時に利用することができる。
【００４８】
保存されるシーン情報としては、例えば、マーカの代表的な位置の情報や、シーン中の画像の集合Φに含まれる全ての画像の局所特徴点がある。
【００４９】
例えば、マーカｒに着目すると、当該マーカｒの代表的な位置Ｗrは下記のように求めることができる。なお、画像中に写っているマーカの姿勢とマーカＩＤは既存の手法により求めることができる。
【００５０】
【数５】
2014112057.tif 000007
【００５１】
上述したように、画像ｋ中で矩形のマーカｒが検出されたときの頂点座標（カメラ座標系）を下記のＱk,rのように置く。
【００５２】
【数６】
2014112057.tif 000008
【００５３】
図３に示したように、上記添え字λの１〜４は、矩形マーカの４つの頂点の番号を表している。
【００５４】
マーカの真の形状を表すマーカモデルの矩形サイズを２θ（ｍｍ）とすると、頂点の座標は下記で表記できる。
【００５５】
【数７】
2014112057.tif 000009
【００５６】
マーカの代表的な位置Ｗrを計算するために、下記のコスト関数ＥMrを最小にするような座標（ＲMr，ｔMr）を求める。
【００５７】
【数８】
2014112057.tif 000010
【００５８】
なお、コスト関数ＥMr最小化の計算は、非線形最適化手法によっても線形手法によっても実行でき、例えばLevenberg-Marquardt法を利用できる。
【００５９】
座標（ＲMr，ｔMr）が求められると、マーカの代表的な位置Ｗrは、上記のように計算できる。
【００６０】
また、シーン中の画像の集合Φに含まれる画像の特徴点の情報としては、特徴点のカメラ座標系における位置をカメラ姿勢（Ｒk，ｔk）を使って世界座標系に変換して得られたＲＧＢ情報ｖikおよび距離情報としてのデスクリプタＤkがある。
【００６１】
【数９】
2014112057.tif 000011
【００６２】
【数１０】
2014112057.tif 000012
【００６３】
ここで、上記ｍikはカメラ座標系、ｖikは全ての画像で共通の座標系（世界座標系）に相当する。
【００６４】
【数１１】
2014112057.tif 000013
【００６５】
以下では、ステップＳ１０５における、結合可否判定および期待結合精度の計算のための２種類の手法を提案する。
【００６６】
［結合可否判定および期待結合精度の計算のための第１の手法］
図４は、結合可否判定および期待結合精度の計算のための第１の手法の各ステップを説明するためのフローチャートである。
【００６７】
第１の手法は、画像中に映し出されたマーカを利用した基準に基づく方法である。
【００６８】
基本的に、複数のマーカが検出されこれらのマーカが計測空間内に広がって配置されている場合には、画像の結合精度は高くなると考えられる。逆に、検出されたマーカが計測空間内で局在している場合には、マーカから遠い箇所での結合精度は悪くなる。
【００６９】
このため、検出されたマーカが計測空間内で広がっていることを計算する必要がある。
【００７０】
環境中にＲ個のマーカを置いた集合Ξを下記のように置く。
【００７１】
【数１２】
2014112057.tif 000014
【００７２】
これらのマーカのうち、現在撮影中のシーンと過去に撮影されたシーンに共通して検出されたマーカの集合をＧと置く。
【００７３】
【数１３】
2014112057.tif 000015
【００７４】
また、当該集合Ｇに含まれるマーカの数（マーカ検出数）を計算して、これをＮGと置く。
【００７５】
【数１４】
2014112057.tif 000016
【００７６】
マーカの計測空間内での広がりを計算するため、マーカの矩形の頂点の３次元座標の集合Ｗrを並べた行列をＷとする。集合Ｗrはシーン情報として保存しておいたデータを用いる。
【００７７】
【数１５】
2014112057.tif 000017
【００７８】
【数１６】
2014112057.tif 000018
【００７９】
バイアスカットのため、Ｗのｘｙｚ次元ごとの平均値を下記のように置き、Ｗから引き去る。
【００８０】
【数１７】
2014112057.tif 000019
【００８１】
【数１８】
2014112057.tif 000020
【００８２】
そして、
【００８３】
【数１９】
2014112057.tif 000021
【００８４】
の固有値λ1,λ2,λ3を、ＳＶＤなどの方法で求める。なお、これらの固有値は、値が大きい順にソートされているものとする。
【００８５】
固有値λ1,λ2,λ3は点群の広がりを表しており、値が大きいほど結合時の精度が期待できる。
【００８６】
結合可否の判定結果および期待結合精度の表示は、下記の手順による。
【００８７】
期待結合精度は０から５までの値を取る。当該精度は、ユーザに理解しやすくするため、連続値ではなく閾値判定によって離散化している。
【００８８】
画像結合不可と判定するための閾値ＮNGは、マーカ１枚あたりの検出精度に依存し、マーカ１枚あたりの検出精度が高ければ、少ない枚数でも期待結合精度を高く表示して良い。一般的には、閾値ＮNG＝５に設定する。
【００８９】
閾値Ｌ1、Ｌ2、Ｌ3は、計測環境のサイズに依存して決める。例えば、２０００ｍｍ×２０００ｍｍ×２０００ｍｍ程度の空間の計測であれば、Ｌ1＝５００ｍｍ、Ｌ2＝５００ｍｍ、Ｌ3＝５００ｍｍと設定する。
【００９０】
結合可否の判定結果および期待結合精度の表示までの手順は、以下のとおりである。
【００９１】
先ず、ステップＳ２０１で、上述したマーカ検出数ＮGが０か否かを判断する。ＮG＝０であれば（Ｓ２０１：Ｙｅｓ）、画像の結合は不可（ＮＧ）とされるとともに期待結合精度もゼロとされ（Ｓ２０２）、これらの結果を表示する（Ｓ２１２）。
【００９２】
ステップＳ２０１の判断で、ＮGが０でなければ（Ｓ２０１：Ｎｏ）、画像の結合は可（ＯＫ）とされるとともに期待結合精度は１に設定され（Ｓ２０３）、続いて、ＮGが閾値を超えているか否かの判断がなされる（Ｓ２０４）。
【００９３】
ＮGが閾値を超えている場合（Ｓ２０４：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ２０５）、λ1の閾値判定のステップ（Ｓ２０６）に移る。一方、ＮGが閾値を超えていない場合（Ｓ２０４：Ｎｏ）は、そのまま、λ1の閾値判定のステップ（Ｓ２０６）に移る。
【００９４】
ステップＳ２０６では、固有値λ1が閾値Ｌ1を超えているか否かを判断し、超えていれば（Ｓ２０６：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ２０７）、λ2の閾値判定のステップ（Ｓ２０８）に移る。一方、固有値λ1が閾値Ｌ1を超えていない場合（Ｓ２０６：Ｎｏ）は、そのまま、λ2の閾値判定のステップ（Ｓ２０８）に移る。
【００９５】
ステップＳ２０８では、固有値λ2が閾値Ｌ2を超えているか否かを判断し、超えていれば（Ｓ２０８：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ２０９）、λ3の閾値判定のステップ（Ｓ２１０）に移る。一方、固有値λ2が閾値Ｌ2を超えていない場合（Ｓ２０８：Ｎｏ）は、そのまま、λ3の閾値判定のステップ（Ｓ２１０）に移る。
【００９６】
ステップＳ２１０では、固有値λ3が閾値Ｌ3を超えているか否かを判断し、超えていれば（Ｓ２１０：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ２１１）、結合可否の判定結果（ＯＫ）および期待結合精度を表示する（Ｓ２１２）。一方、固有値λ3が閾値Ｌ3を超えていない場合（Ｓ２１０：Ｎｏ）は、期待結合精度に１を付加することなく、結合可否の判定結果（ＯＫ）および期待結合精度を表示する（Ｓ２１２）。
【００９７】
［結合可否判定および期待結合精度の計算のための第２の手法］
図５は、結合可否判定および期待結合精度の計算のための第２の手法の各ステップを説明するためのフローチャートである。
【００９８】
第２の手法は、画像中から抽出された特徴点を利用した基準に基づく方法である。
【００９９】
過去のシーンの画像セットΦpと、現在撮影中のシーンの画像セットΦcについての対応付けが可能であるか否かを判定する。なお、画像セットΦpと画像セットΦcに含まれる全ての画像間での対応付けを調べることが望ましいが、処理が膨大となり、迅速な計算ができず、計算結果をリアルタイムで表示することができなくなる。そこで、毎フレームごとにランダムに選択した一部の画像のみを調べる。
【０１００】
先ず、撮影開始時に、画像集合Ψ＝φを空集合として初期化する。続いて、１フレーム毎の処理を、下記の手順で行う。
【０１０１】
過去のシーンの画像セットΦpからランダムにＫ枚の画像を選択し、選択された画像を下記のように置く。
【０１０２】
【数２０】
2014112057.tif 000022
【０１０３】
同様に、現在撮影中のシーンの画像セットΦcからランダムにＫ枚の画像を選択し、選択された画像を下記のように置く。
【０１０４】
【数２１】
2014112057.tif 000023
【０１０５】
これらの選択された画像間の対応付けを、シーン情報として保存した局所特徴のデスクリプタを用いて行う。
【０１０６】
画像ｋに含まれる特徴点ｉと画像ｈに含まれる特徴点ｊが環境中の同一の点を指している場合、局所特徴のデスクリプタ間の距離Ｄ（ｄik，ｄjk）は小さくなる。この距離を閾値処理することで対応付けを得ることができる。そして、上記選択された画像集合の間の特徴点間の対応付けが得られた集合を次のようにおく。但し、過去に選択した画像の組み合わせは除くものとする。
【０１０７】
【数２２】
2014112057.tif 000024
【０１０８】
さらに、対応付けを追加して下記とする。
【０１０９】
【数２３】
2014112057.tif 000025
【０１１０】
上記集合Ψに含まれる対応付けの数を計算して、これをＮpと置く。
【０１１１】
【数２４】
2014112057.tif 000026
【０１１２】
特徴点の計測空間内での広がりを計算するため、シーン情報として保存しておいたデスクリプタの３次元座標を用い、
【０１１３】
【数２５】
2014112057.tif 000027
【０１１４】
を並べた行列をＶとする。
【０１１５】
バイアスカットのため、Ｖのｘｙｚ次元ごとの平均値を下記のように置き、集合Ｖから引き去る。
【０１１６】
【数２６】
2014112057.tif 000028
【０１１７】
【数２７】
2014112057.tif 000029
【０１１８】
そして、
【０１１９】
【数２８】
2014112057.tif 000030
【０１２０】
の固有値λ1,λ2,λ3を、ＳＶＤなどの方法で求める。なお、これらの固有値は、値が大きい順にソートされているものとする。
【０１２１】
固有値λ1,λ2,λ3は点群の広がりを表しており、値が大きいほど結合時の精度が期待できる。
【０１２２】
結合可否の判定結果および期待結合精度の表示は、下記の手順による。
【０１２３】
手法１と同様に、期待結合精度は０から５までの値を取る。当該精度は、ユーザに理解しやすくするため、連続値ではなく閾値判定によって離散化している。
【０１２４】
画像結合不可と判定するための閾値ＮpNGは、シーン間の姿勢推定に必要な最低の対応付けされた特徴点の数になる。一般的に、対応付けには誤りが含まれることがあるため、閾値ＮpNGは５０に設定する。
【０１２５】
期待結合精度に１を付加するか否かを判定するための閾値ＮpPLSは、十分なカメラ姿勢精度が得られると考えられる対応付けの数になる。一般的には、閾値ＮpPLSは５００に設定する．
【０１２６】
閾値Ｌ1、Ｌ2、Ｌ3は、手法１で説明したように、計測環境のサイズに依存して決める。例えば、２０００ｍｍ×２０００ｍｍ×２０００ｍｍ程度の空間の計測であれば、Ｌ1＝５００ｍｍ、Ｌ2＝５００ｍｍ、Ｌ3＝５００ｍｍと設定する。
【０１２７】
結合可否の判定結果および期待結合精度の表示までの手順は、以下のとおりである。先ず、ステップＳ３０１で、上記対応付けの数Ｎpが閾値ＮpNG未満であるか否かを判断する。閾値ＮpNG未満であれば（Ｓ３０１：Ｙｅｓ）、画像の結合は不可（ＮＧ）とされるとともに期待結合精度もゼロとされ（Ｓ３０２）、これらの結果を表示する（Ｓ３１２）。
【０１２８】
ステップＳ３０１の判断で、Ｎpが閾値ＮpNG未満でなければ（Ｓ３０１：Ｎｏ）、画像の結合は可（ＯＫ）とされるとともに期待結合精度は１に設定され（Ｓ３０３）、続いて、Ｎpが閾値ＮpPLSを超えているか否かの判断がなされる（Ｓ３０４）。
【０１２９】
Ｎpが閾値を超えている場合（Ｓ３０４：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ３０５）、λ1の閾値判定のステップ（Ｓ３０６）に移る。一方、Ｎpが閾値を超えていない場合（Ｓ３０４：Ｎｏ）は、そのまま、λ1の閾値判定のステップ（Ｓ３０６）に移る。
【０１３０】
ステップＳ３０６では、固有値λ1が閾値Ｌ1を超えているか否かを判断し、超えていれば（Ｓ３０６：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ３０７）、λ2の閾値判定のステップ（Ｓ３０８）に移る。一方、固有値λ1が閾値Ｌ1を超えていない場合（Ｓ３０６：Ｎｏ）は、そのまま、λ2の閾値判定のステップ（Ｓ３０８）に移る。
【０１３１】
ステップＳ３０８では、固有値λ2が閾値Ｌ2を超えているか否かを判断し、超えていれば（Ｓ３０８：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ３０９）、λ3の閾値判定のステップ（Ｓ３１０）に移る。一方、固有値λ2が閾値Ｌ2を超えていない場合（Ｓ３０８：Ｎｏ）は、そのまま、λ3の閾値判定のステップ（Ｓ３１０）に移る。
【０１３２】
ステップＳ３１０では、固有値λ3が閾値Ｌ3を超えているか否かを判断し、超えていれば（Ｓ３１０：Ｙｅｓ）、期待結合精度に１を付加して設定し直し（Ｓ３１１）、結合可否の判定結果（ＯＫ）および期待結合精度を表示する（Ｓ３１２）。一方、固有値λ3が閾値Ｌ3を超えていない場合（Ｓ３１０：Ｎｏ）は、期待結合精度に１を付加することなく、結合可否の判定結果（ＯＫ）および期待結合精度を表示する（Ｓ３１２）。
【０１３３】
なお、上述の第１および第２の手法を組み合わせ、マーカを利用した基準と特徴点を利用した基準の両方を使うこととしてもよい。その場合には期待結合精度は加算する。
【０１３４】
図６は、上述した手法を取り入れた被写体形状の計測システムにおける、計測画面の一例を示す図で、計測画面の左側には現在撮影中のカメラ画像が表示され、右側には撮影で得られた画像に基づく被写体の形状復元結果が表示される。また、計測画面の左下領域には、図７に示したような「簡易対応付け」の結果が表示される。
【０１３５】
簡易対応付けの結果には、例えば、画像集合として記憶されているシーン名、これらシーン内で検出されているマーカ、および上記手順で求めた期待結合精度が表示される。なお、マーカは、対応するコードがアルファベットで表示される。
【０１３６】
この図に示した例では、上段に、現在撮影中のシーンで検出された４つのマーカ（Ａ，Ｂ，Ｇ，およびＧ）が表示されている。これらのマーカは、過去に撮影されたシーンで検出されたマーカと対応付けがなされる。
【０１３７】
過去に撮影されたシーンはソートされて下欄に表示され、この例では、シーン「１５２７５７」ではマーカＢ，Ｉ，およびＪの３つが検出され、シーン「１５３２４１」ではマーカＡ，Ｂ，Ｇ，およびＫの４つが検出され、シーン「１５３５２２」ではマーカＣ，Ｈ，およびＫの３つが検出され、シーン「１５２６５６」ではマーカＣのみが検出されている。
【０１３８】
従って、上記現在撮影中のシーンで検出された４つのマーカ（Ａ，Ｂ，Ｇ，およびＧ）のうち、マーカＡ，Ｂ，およびＧは、過去に撮影されたマーカとの対応付けが得られる。このような対応付けされたマーカは、例えば、赤く表示するなどして、ユーザに認識し易くする。
【０１３９】
なお、シーン「１５４４５２」ではマーカは検出されていないため、自動的にレ点が打たれ、期待結合精度の計算には不要であるので最終行に表示される。
【０１４０】
過去に撮影されたシーン「１５２７５７」で検出された３つのマーカのうちマーカＢは、現在撮影中のシーンでも検出されているため、期待結合精度＝１として星印が１つ表示される。また、シーン「１５３２４１」で検出された４つのマーカのうちマーカＡ，Ｂ，Ｇは、現在撮影中のシーンでも検出されているため、期待結合精度＝３として星印が３つ表示される。
【０１４１】
本発明では、現在撮影中のシーンに、過去に撮影されたシーンと共通する特徴点やマーカが画像結合に充分な程度に写っているか否かが高速に判定され、過去に撮影された画像との結合可否および画像を結合した場合の期待結合精度を、撮影中のユーザが確認できるようにすることができる。
【０１４２】
本発明により、撮影中のユーザは、現在撮影中のシーンに含まれる画像が、過去に撮影されたシーンに含まれる画像と結合させ得るか否か、また、その期待結合精度をリアルタイムで確認でき、この結果、結合精度の良い撮影が容易化される。
【産業上の利用可能性】
【０１４３】
本発明は、途切れて撮影された異なるシーンに含まれる画像を貼り合わせて３次元計測を行う際の、画像結合の期待結合精度の計算を簡易に実行する手法を提供する。
【符号の説明】
【０１４４】
１０  被写体
２０  ＲＧＢ−Ｄカメラ
３０  マーカ
４０  特徴点
【図２】
2014112057.tif 000031
【図４】
2014112057.tif 000032
【図５】
2014112057.tif 000033
【図１】
2014112057.tif 000034
【図３】
2014112057.tif 000035
【図６】
2014112057.tif 000036
【図７】
2014112057.tif 000037