(57)【要約】      （修正有）【課題】３次元形状計測結果である点群をマーカを含まない点群として生成すること。【解決手段】環境中にマーカを配置してカメラにより撮影された画像集合Φを得て、画像集合Φについての特徴点の対応付けにより標準カメラ姿勢を推定するステップＳ１０２と、環境中にマーカを配置せずカメラにより撮影された画像集合ΦCを得て、フレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出するステップＳ１０７と、画像集合Φについて得られた特徴点の集合から、画像集合ΦCに含まれる画像中の特徴点同士の対応付け、および、該画像集合ΦCに含まれる画像中の特徴点と画像集合Φに含まれる画像中の特徴点との対応付けを行うステップＳ１０９と、標準カメラ姿勢は固定値としてカメラ姿勢を推定するステップＳ１１０と、画像集合ΦCのカメラ姿勢に基づいて該画像集合ΦCに含まれる画像のみを用いて点群を生成するステップＳ１１１とを備える。【選択図】図１
2014112056.tif 000002
【特許請求の範囲】
【請求項１】
３次元形状の計測結果として得られる点群をカメラ姿勢の推定に用いたマーカを含まない点群として生成して被写体形状を３次元計測する方法であって、
前記カメラは輝度画像と距離画像を取得可能なカメラであり、
環境中にマーカを配置して前記カメラにより撮影された画像集合Φを得て、該画像集合Φに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出して、該画像集合Φについての特徴点の対応付けにより標準カメラ姿勢を推定するステップと、
環境中にマーカを配置せず前記カメラにより撮影された画像集合ΦCを得て、該画像集合ΦCに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出するステップと、
前記画像集合Φについて得られた特徴点の集合から前記マーカ自身のテクスチャにより検出された特徴点は削除した後に、前記画像集合ΦCに含まれる画像中の特徴点同士の対応付け、および、該画像集合ΦCに含まれる画像中の特徴点と前記画像集合Φに含まれる画像中の特徴点との対応付けを行うステップと、
前記標準カメラ姿勢は固定値として前記画像集合ΦCにつきカメラ姿勢を推定するステップと、
前記画像集合ΦCのカメラ姿勢に基づいて該画像集合ΦCに含まれる画像のみを用いて点群を生成するステップとを備えている、
ことを特徴とする被写体形状の３次元計測方法。
【請求項２】
前記標準カメラ姿勢を推定するステップでは、
画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置き、評価関数Ｅを下記のように定義し、該評価関数Ｅを最小化するようにカメラ姿勢（Ｒk，ｔk）を求める、請求項１に記載の被写体形状の３次元計測方法。
【数１】
2014112056.tif 000021
【数２】
2014112056.tif 000022
【数３】
2014112056.tif 000023
ここで、ΨAAは前記画像集合Φのうちマーカが映し出されている画像集合ΦAに含まれる画像間の特徴点の対応付けで得られた集合、ΨBBは前記画像集合Φのうちマーカが映し出されていない画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合、ΨABは前記画像集合ΦAに含まれる画像と前記画像集合ΦBに含まれる画像との間の特徴点の対応付けで得られた集合であり、ｍikはカメラ座標系、ｖikは世界座標系に相当する。
【請求項３】
前記画像集合ΦCにつきカメラ姿勢を推定するステップでは、
前記画像集合ΦAに含まれる画像および画像集合ΦBに含まれる画像の標準カメラ姿勢は固定とし、前記画像集合ΦCに含まれる画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置き、評価関数Ｅを下記のように定義し、該評価関数Ｅを最小化するようにカメラ姿勢（Ｒk，ｔk）を求める、請求項２に記載の被写体形状の３次元計測方法。
ここで、集合ΨCCは画像集合ΦCに含まれる画像間の特徴点の対応付けで得られた集合、集合ΨACは前記画像集合Φのうちマーカが映し出されている画像集合ΦAに含まれる画像と画像集合ΦCに含まれる画像との間の特徴点の対応付けで得られた集合、集合ΨBCは前記画像集合Φのうちマーカが映し出されていない画像集合ΦBに含まれる画像と画像集合ΦCに含まれる画像との間の特徴点の対応付けで得られた集合であり、ｍikはカメラ座標系、ｖikは世界座標系に相当する。
【数４】
2014112056.tif 000024
【数５】
2014112056.tif 000025
【数６】
2014112056.tif 000026
【請求項４】
前記画像集合ΦCに含まれる画像のみを用いて点群を生成するステップでは、
該画像集合ΦCに含まれる画像ｋの距離画像の全ての３次元点Ｙkをｈmkと置き、
前記画像集合ΦCのカメラ姿勢の推定結果を用いてｆmkを下記のように定義して画像間で共通の座標系に変換した点群を生成する、請求項３に記載の被写体形状の３次元計測方法。
【数７】
2014112056.tif 000027
【数８】
2014112056.tif 000028
【請求項５】
請求項１乃至４の何れか１項に記載の方法を実行して被写体形状を３次元計測するためのシステムであって、
平面マーカが配置された実環境を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備え、
前記カメラは輝度画像と距離画像を取得可能なカメラであり、
前記コンピュータは、前記各ステップを実行する演算部を備えている、
ことを特徴とする被写体形状の３次元計測システム。
【請求項６】
前記コンピュータは、前記画像集合ΦCの撮影中にリアルタイムで前記画像集合Φとの特徴点の対応付けが可能か否かをモニタに表示する、請求項５に記載の被写体形状の３次元計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の形状を３次元計測するための技術に関し、より詳細には、３次元形状の計測結果として得られる点群を、カメラ姿勢の推定に用いたマーカを含まない点群として生成する技術に関する。
【背景技術】
【０００２】
近年、スマートフォン等の高い演算能力を備えたモバイルデバイスが急速に普及してきている。これらの情報端末の殆どは撮像装置としてのカメラを備えており、単に音声情報や文字情報による通信機能のみならず、画像情報による通信機能を備えている。このようなモバイルデバイスの普及にともない、対象物体を端末のカメラで撮影すると当該対象物体に関する解説が画像に重畳して表示されるといったような拡張現実感（Augmented Reality: AR）と呼ばれる技術や撮影された画像から被写体の３次元形状を復元する技術が身近なものとなってきている。例えば、非特許文献１や非特許文献２には、ＲＧＢ−Ｄカメラを用いた３次元計測手法の報告がある。
【０００３】
このような技術では、２次元画像に映し出された環境の座標系と実環境の座標系の合わせ込みを行うが、その際、ユーザ（カメラ）の位置・姿勢を正確に把握することが必要となる。
【０００４】
このため、ＡＲ技術の分野では、実環境に位置、形状、色が既知のマーカを予め配置させておき、これをカメラで撮影し、その画像を解析することでカメラの姿勢を推定する手法が提案されている。このようなマーカとしては、従来から、矩形のマーカがよく用いられる（例えば、非特許文献３を参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】S. Lieberknecht, A. Huber, S. Ilic, S. Benhimane, RGB-D Camera-Based Parallel Tracking and Meshing, The 10th IEEE and ACM International Symposium on Mixed and Augmented Reality,, Oct. 26 - 29(2011).
【非特許文献２】原孝介、安倍満、佐藤育郎、神谷孝二、「KINECTを用いた３次元復元の産業用ロボット教示への応用」、研究報告コンピュータビジョンとイメージメディア、2012-CVIM-180.
【非特許文献３】加藤ら："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"、日本ＶＲ学会論文誌、Ｖｏｌ．４、Ｎｏ．４、ｐｐ．６０７−６１６（１９９９）．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＲＧＢ−Ｄカメラを用いて被写体を３次元計測する際、先ず、ユーザが手に持ったＲＧＢ−Ｄカメラを動かしながら種々のカメラ姿勢から被写体（計測対象物）を撮影する。そして、撮影された複数の画像をSLAM技術により自動的に張り合わせると、広範囲で被写体を３次元計測した結果を得ることができる（非特許文献１および２を参照）。
【０００７】
このような被写体の３次元計測を行う際に、形状や配置が既知のマーカを利用するとカメラ姿勢の推定精度を向上させることができるが、その反面、マーカが３次元計測結果に写し出されてしまい計測対象物が部分的に隠されてしまい、その全体の３次元計測の障害となることがあるという問題がある。
【０００８】
本発明は上述した問題に鑑みてなされたもので、その目的とするところは、３次元形状の計測結果として得られる点群を、カメラ姿勢の推定に用いたマーカを含まない点群として生成する方法および当該方法を実施するためのシステムを提供することにある。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明に係る被写体形状の３次元計測方法は、３次元形状の計測結果として得られる点群をカメラ姿勢の推定に用いたマーカを含まない点群として生成する方法であって、前記カメラは輝度画像と距離画像を取得可能なカメラであり、環境中にマーカを配置して前記カメラにより撮影された画像集合Φを得て、該画像集合Φに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出して、該画像集合Φについての特徴点の対応付けにより標準カメラ姿勢を推定するステップと、環境中にマーカを配置せず前記カメラにより撮影された画像集合ΦCを得て、該画像集合ΦCに含まれる輝度画像と距離画像からフレーム毎にカメラ姿勢の計算のための局所的な特徴点を抽出するステップと、前記画像集合Φについて得られた特徴点の集合から前記マーカ自身のテクスチャにより検出された特徴点は削除した後に、前記画像集合ΦCに含まれる画像中の特徴点同士の対応付け、および、該画像集合ΦCに含まれる画像中の特徴点と前記画像集合Φに含まれる画像中の特徴点との対応付けを行うステップと、前記標準カメラ姿勢は固定値として前記画像集合ΦCにつきカメラ姿勢を推定するステップと、前記画像集合ΦCのカメラ姿勢に基づいて該画像集合ΦCに含まれる画像のみを用いて点群を生成するステップとを備えている、ことを特徴とする。
【００１０】
また、本発明に係る被写体形状の３次元計測システムは、本発明に係る方法を実行して被写体形状を３次元計測するためのシステムであって、平面マーカが配置された実環境を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備え、前記カメラは輝度画像と距離画像を取得可能なカメラであり、前記コンピュータは、前記各ステップを実行する演算部を備えていることを特徴とする。
【発明の効果】
【００１１】
本発明では、カメラ姿勢の推定精度を高めるための手段としてマーカを利用しつつ、計測結果である点群をマーカを含まない点群として生成する。点群の生成に際しては、マーカを配置せずに撮影された画像のみを用いる。マーカを配置せずに撮影された画像集合ΦCは、マーカを配置して撮影された画像集合Φ＝ΦA＋ΦBとの間で対応付けがなされる。
【００１２】
なお、マーカ配置して撮影された画像集合Φ＝ΦA＋ΦBには、マーカ自身のテクスチャによって検出された特徴点が含まれているが、このような特徴点は、マーカ配置せずに撮影された画像集合ΦCに含まれる画像との対応付けとは本来無関係なものであるため、対応付けの対象から削除する。出力される点群にはマーカが含まれていないため、マーカが計測結果に写し出されてしまい計測対象物全体の形状計測の障害となることがない。
【００１３】
また、マーカを配置せずに撮影された画像のカメラ姿勢は、マーカを配置して撮影された画像との間で対応付けにより、マーカを利用せずに推定する場合に比べて高くなり、マーカを用いた計測に近い精度での被写体の３次元形状計測が可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る被写体形状の３次元計測方法の一例の各ステップを説明するフローチャートである。
【図２】マーカを用いて得られたカメラ姿勢の座標点を重ね合わせ点群として再生した３次元計測画像である。
【図３】ステップＳ１１０で求めたカメラ姿勢を用いて生成された点群から得られた３次元計測画像である。
【発明を実施するための形態】
【００１５】
以下に、図面を参照して本発明の被写体形状の３次元計測方法について説明する。
【００１６】
上述したように、被写体の３次元計測を行う際に形状や配置が既知のマーカを利用するとカメラ姿勢の推定精度を向上させることができるが、その反面、マーカが３次元計測結果に写し出されてしまい計測対象物が部分的に隠されてしまい、その全体の３次元計測の障害となることがあるという問題がある。
【００１７】
マーカを用いずにカメラ姿勢の推定を行えばこのような不都合は生じないが、その場合にはカメラ姿勢の推定精度が低下してしまう。
【００１８】
そこで、本発明では、カメラ姿勢の推定精度を高めるための手段としてマーカを利用しつつ、３次元形状の計測結果として得られる点群をマーカを含まない点群として生成するために、上記点群の生成に際してマーカを配置せずに撮影された画像のみを用いることとした。
【００１９】
マーカを配置せずに撮影された画像は、マーカを配置して撮影された画像との間で対応付けがなされる。マーカを配置して撮影された画像のカメラ姿勢は高い精度で推定されているため、マーカを配置せずに撮影された画像のカメラ姿勢の推定精度は、マーカを利用せずに推定する場合に比べて高くなり、マーカを用いた計測に近い精度での被写体の３次元形状計測が可能となる。
【００２０】
これに加え、出力される点群にはマーカが含まれていないため、マーカが計測結果に写し出されてしまい計測対象物全体の形状計測の障害となることがない。
【００２１】
図１は、本発明に係る被写体形状の３次元計測方法の一例の各ステップを説明するフローチャートである。以下では、各ステップ毎に処理の内容を説明する。
【００２２】
［マーカ配置撮影画像セットの入力］（Ｓ１０１）
先ず、マーカを配置した状態で異なるカメラ姿勢から複数枚の画像を撮影する。
【００２３】
なお、マーカは、画像からカメラ姿勢を正確に求めることができるものでありさえすれば良く特別な制限はないが、例えば、寸法が既知の矩形パターンが描かれたマーカを用いると、当該マーカに対するカメラの姿勢を高精度に求めることができる。また、上記既知パターンのマーカを環境中に配置し、環境中に定めた原点に対するマーカの位置姿勢を求めておくことで、環境中での位置を高精度に求めることができる。
【００２４】
以降の説明では、ＡＲでよく用いられる矩形マーカを想定する。また、環境中での矩形マーカの位置は別の手段によって求められているものとする。
【００２５】
ここで、上記撮影に用いるカメラは輝度画像と距離画像が取得可能なカメラであり、ここでは、ピクセル毎のＲＧＢ輝度情報と被写体までの距離情報が取得可能なＲＧＢ−Ｄカメラであるとする。つまり、この撮影により、マーカを配置して撮影された複数の画像から、ピクセル毎のＲＧＢ輝度情報と被写体までの距離情報を取得する。これらの画像の集合を下記Φとする。
【００２６】
【数１】
2014112056.tif 000003
【００２７】
ＲＧＢ−Ｄカメラとしては、例えばKINECT（Microsoft）（登録商標）やXTION Pro LIVE(ASUS)（登録商標）がある。これらのカメラには、ＲＧＤカメラと距離カメラが固定されている。ＲＧＢカメラと距離カメラの相対的な位置姿勢のキャリブレーションがなされていると、ピクセルごとにＲＧＢの輝度値と被写体までの距離の情報が取得できる。
【００２８】
計測対象である被写体が置かれた環境中にマーカを配置して撮影すると、画像中に当該マーカが検出されるＮA枚の画像とマーカが検出されないＮB枚の画像が得られる。これらの画像集合をそれぞれ、下記ΦAおよびΦBとする。これらＮA枚の画像とＮB枚の画像の情報を、コンピュータに入力する。
【００２９】
【数２】
2014112056.tif 000004
【００３０】
【数３】
2014112056.tif 000005
【００３１】
［マーカを用いたカメラ姿勢（標準カメラ姿勢）の推定］（Ｓ１０２）
画像集合ΦAに含まれる画像にはマーカが写し出されているから、これを利用することで当該画像を撮影した際のカメラ姿勢を、既存の手法により高い精度で求めることが可能である。そこで、ここでは、画像集合ΦAに含まれる画像ｋのカメラ姿勢（Ｒk，ｔk）は既知であるとする。なお、画像集合ΦAに含まれる画像ｋを下記のように表記する。
【００３２】
【数４】
2014112056.tif 000006
【００３３】
［局所特徴の計算］（Ｓ１０３）
画像集合Φに含まれるＲＧＢ画像の中から、カメラ姿勢を求めるための局所特徴を計算する。このような局所特徴には、例えばSIFTやSURFがある。例えば、画像ｋに着目すると、Ｉk個の特徴点につき、その３次元位置ＭkおよびデスクリプタＤkが、下記のように得られる。つまり、上記複数の画像から、特徴点のＲＧＢ輝度情報と被写体までの距離情報を抽出する。
【００３４】
【数５】
2014112056.tif 000007
【００３５】
【数６】
2014112056.tif 000008
【００３６】
［マーカ配置撮影画像間の対応付け］（Ｓ１０４）
次いで、マーカを配置して撮影された複数の画像に含まれる特徴点同士の対応付けを行う。画像集合Φ内の画像ｋに含まれる特徴点ｉと画像ｈに含まれる特徴点ｊが、環境中の同一の点を指している場合には、上記ステップで計算された局所特徴のデスクリプタ間の距離Ｄ（ｄik，ｄjk）は小さくなる。従って、このデスクリプタ間の距離Ｄを閾値処理することで、上記異なる画像中の特徴点同士の対応付けができる。なお、同一特徴点間および同一画像間での対応付けは行わない。
【００３７】
このような特徴点の対応付けで得られる集合には、画像集合ΦAに含まれる画像間の特徴点の対応付けで得られた集合ΨAA、画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合ΨBB、画像集合ΦAに含まれる画像と画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合ΨABの３つがある。
【００３８】
例えば、上記集合ΨABを下記のように置く。集合ΨAAおよび集合ΨBBについても同様である。
【００３９】
【数７】
2014112056.tif 000009
【００４０】
例えば、画像集合ΦAに含まれる画像ｋの特徴点ｉと、画像集合ΦBに含まれる画像ｈの特徴点ｊの対応付けがなされたとすると、
【００４１】
【数８】
2014112056.tif 000010
【００４２】
と表記され、画像ｋに含まれる特徴点ｉと画像ｈに含まれる特徴点ｊの２つは、環境中の同一の点であることを意味する。
【００４３】
［標準カメラ姿勢の計算］（Ｓ１０５）
画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置く。Ｒkは回転行列であり、ｔkは並進行列である。
【００４４】
コスト関数（評価関数）Ｅを下記のように定義し、このコスト関数Ｅを最小化するように標準カメラ姿勢（Ｒk，ｔk）を求める。ここで、εijkhは下記で定義される。
【００４５】
【数９】
2014112056.tif 000011
【００４６】
【数１０】
2014112056.tif 000012
【００４７】
【数１１】
2014112056.tif 000013
【００４８】
ここでは、特徴点のカメラ座標系における位置を、カメラ姿勢を使って世界座標系に変換している。上記ｍikはカメラ座標系、ｖikは全ての画像で共通の座標系（世界座標系）に相当する。
【００４９】
上記εijkhは対応付けされた特徴点の座標間の差分である。従って、画像ｋを撮影したカメラ姿勢（Ｒk，ｔk）は、対応付けられた特徴点の座標間の差分から得られるコスト関数Ｅから推定されている。このようなカメラ姿勢の計算を全ての画像について実行する。
【００５０】
なお、コスト関数Ｅ最小化の計算は、非線形最適化手法により実行でき、例えばLevenberg-Marquardt法を利用できる。この計算時には、誤対応点を避けるためのＭ推定やRANSACなどのロバスト推定を導入するが、これらの手法は一般的なものであるため、ここでは説明を省略する。
【００５１】
上述の計算の実行により得られるカメラ姿勢の集合は、画像集合ΦAに含まれる画像に対応付けられるカメラ姿勢と画像集合ΦBに含まれる画像に対応付けられるカメラ姿勢の集合となるが、画像集合ΦAに含まれる画像に対応付けられるカメラ姿勢はもともとマーカの利用により高精度に求められている。また、画像集合ΦBに含まれる画像に対応付けられるカメラ姿勢は、上記画像集合ΦAに含まれる画像の高精度で推定されたカメラ姿勢を利用して求められたものであるため、画像集合ΦBに含まれる画像に対応付けられるカメラ姿勢の精度も高くなる。
【００５２】
しかしながら、このようにして得られたカメラ姿勢に基づく３次元形状計測結果としての点群にはマーカが含まれているため、重ね合わせ点群を生成して画像として出力すると、図２に示したように、環境中に配置されたマーカ２０ａ〜ｃも写し出されてしまい、計測対象物１０が部分的に隠されてしまう。
【００５３】
そこで、本発明では、上述の標準カメラ姿勢の推定に続き、環境中にマーカを配置せずに種々のカメラ位置から撮影された複数の画像の集合Ｎに含まれる画像中の特徴点同士の対応付け、および、該集合Ｎに含まれる画像中の特徴点と上記集合Ｍに含まれる画像中の特徴点との対応付けを行い、マーカを配置せずに撮影された画像のカメラ姿勢の推定に、マーカを配置して撮影された画像の標準カメラ姿勢を利用して、マーカを用いた計測に近い精度でのカメラ姿勢の推定を行う。そして、マーカを配置せずに撮影された画像のみを用いて点群を生成し、３次元形状の計測結果を、マーカを含まない点群として得る。
【００５４】
［マーカ配置なしの撮影画像セットの入力］（Ｓ１０６）
先ず、マーカを配置しない状態で異なるカメラ姿勢から複数枚の画像を撮影する。得られたＮC枚の画像の集合を下記ΦCとし、コンピュータに画像情報を入力する。
【００５５】
【数１２】
2014112056.tif 000014
【００５６】
［局所特徴の計算］（Ｓ１０７）
既にステップＳ１０３で説明したのと同様の手順で、画像集合ΦCに含まれるＲＧＢ画像の中から、カメラ姿勢を求めるための局所特徴を計算する。つまり、上記ＮC枚の画像から、特徴点のＲＧＢ輝度情報と被写体までの距離情報を抽出する。
【００５７】
[マーカ領域内の局所特徴の削除]（Ｓ１０８）
マーカを配置して撮影された画像集合Φ＝ΦA＋ΦBに含まれるデスクリプタＤｋ，Ｄｈには、マーカ自身のテクスチャによって検出された特徴点が含まれている。しかし、マーカ自身のテクスチャによって検出された特徴点は、マーカ配置せずに撮影された画像集合ΦCに含まれる画像との対応付けとは本来無関係なものであり、寧ろ、対応付けの誤りの原因となり得る。そこで、マーカ自身のテクスチャによって検出された特徴点（マーカ領域内の局所特徴）は削除して上記デスクリプタＤｋ，Ｄｈを更新する。
【００５８】
【数１３】
2014112056.tif 000015
【００５９】
［マーカ配置有り及びマーカ配置有無し撮影画像間の対応付け］（Ｓ１０９）
既にステップＳ１０４で説明したのと同様の手順で、マーカ配置無しで撮影されたＮC枚の画像に含まれる特徴点同士の対応付け、および、マーカ配置無しで撮影されたＮC枚の画像に含まれる特徴点とマーカ配置有りで撮影されたＮA枚の画像ならびにＮB枚の画像に含まれる特徴点との対応付けを行う。ここでも、同一特徴点間および同一画像間での対応付けは行わない。
【００６０】
このような特徴点の対応付けで得られる集合には、画像集合ΦCに含まれる画像間の特徴点の対応付けで得られた集合ΨCC、画像集合ΦCに含まれる画像と画像集合ΦAに含まれる画像間の特徴点の対応付けで得られた集合ΨAC、画像集合ΦCに含まれる画像と画像集合ΦBに含まれる画像間の特徴点の対応付けで得られた集合ΨBCの３つがある。
【００６１】
［カメラ姿勢の計算］（Ｓ１１０）
既に計算で求められている画像集合ΦAに含まれる画像のカメラ姿勢（標準カメラ姿勢）と画像集合ΦBに含まれる画像のカメラ姿勢（標準カメラ姿勢）は固定とし、画像集合ΦCに含まれる画像のカメラ姿勢のみを計算により求める。
【００６２】
ここでも、画像集合ΦCに含まれる画像ｋが撮影された際のカメラ姿勢を（Ｒk，ｔk）と置き、コスト関数Ｅを下記のように定義し、このコスト関数Ｅを最小化するようにカメラ姿勢（Ｒk，ｔk）を求める。
【００６３】
【数１４】
2014112056.tif 000016
【００６４】
ここでも、εijkhは下記で定義される。
【００６５】
【数１５】
2014112056.tif 000017
【００６６】
【数１６】
2014112056.tif 000018
【００６７】
上述したように、特徴点のカメラ座標系における位置を、カメラ姿勢を使って世界座標系に変換している。上記ｍikはカメラ座標系、ｖikは全ての画像で共通の座標系（世界座標系）に相当する。
【００６８】
［点群の生成］（Ｓ１１１）
画像集合ΦCに含まれる画像のカメラ姿勢を用い、画像集合ΦCに含まれる画像の距離情報（距離カメラ）から得られる３次元点群を世界座標系で重ね合わせて出力する。３次元形状の計測結果として得られる点群は、マーカを配置せずに撮影された画像集合ΦCのみを用いて生成されているため、マーカを含まない点群である。従って、重ね合わせ点群を画像として出力しても、当該画像中にマーカが写し出されることがない。
【００６９】
画像集合ΦCに含まれる画像ｋの距離画像の全ての３次元点Ｙkをｈmkと置く。
【００７０】
【数１７】
2014112056.tif 000019
【００７１】
ステップＳ１１０で求めたカメラ姿勢を用い、ｆmkを下記のように定義して、画像間で共通の座標系に変換して点群を生成する。
【００７２】
【数１８】
2014112056.tif 000020
【００７３】
これらの点群は、マーカ自身のテクスチャによって検出された特徴点とは無関係であるため、図３に示したように、重ね合わせ点群として画像に再生してもマーカが映し出されることはなく、計測対象物１０が部分的に隠されてしまうことがない。
【００７４】
しかも、画像集合ΦCのカメラ姿勢は、マーカを配置して撮影された画像集合ΦAおよびΦBとの間での対応付けにより、マーカを用いた計測に近い精度で推定されている。
【００７５】
なお、撮影環境中に配置したマーカの数が多すぎる場合には、マーカを配置して撮影された画像ΦAおよびΦBと、マーカを用いずに撮影された画像ΦCとの間の食い違いが大きくなり、ステップＳ１０９でのマーカ配置有り及びマーカ配置有無し撮影画像間の対応付けが困難になるケースも生じ得る。
【００７６】
このような場合には、例えば、上記マーカの数を適当に減らして（例えば半分として）撮影した画像集合ΦDを準備し、画像集合ΦDと画像ΦAおよびΦBとの特徴点の対応付けを行い、更に、画像集合ΦDと画像ΦCとの特徴点の対応付けを行うようにしてもよい。この場合には、画像集合ΦDを介して、画像集合ΦCと画像ΦAおよびΦBとの特徴点の対応付けが行われる。
【００７７】
上述した被写体形状の３次元計測は、被写体を撮影するカメラと、該カメラにより撮影された画像の処理を行うコンピュータとを備えたシステムを用い、上述の各ステップをコンピュータで演算処理することにより、高速に行うことができる。
【００７８】
このようなシステムでは、画像集合ΦCの撮影中に、リアルタイムに画像集合ΦAおよびΦBとの特徴点の対応付けが可能か否かをモニタ表示するように構成することもでき、さらに、対応付けがされた画像の枚数をモニタ表示するようにしてもよい。
【００７９】
画像集合ΦCと画像集合ΦAおよびΦBとの特徴点の対応付けはなるべく多くなされることが好ましい。当該対応付けが多くなされることは、マーカを用いないで撮影された画像中に、マーカを用いて撮影された画像中の視点と同一の視点が多く含まれていることを意味するから、画像集合ΦCに含まれる画像のカメラ姿勢を用いて得られた点群を重ね合わせて得られる３次元計測結果の精度が高くなる。
【００８０】
以上説明したように、本発明では、カメラ姿勢の推定精度を高めるための手段としてマーカを利用しつつ、計測結果である点群をマーカを含まない点群として生成する。点群の生成に際しては、マーカを配置せずに撮影された画像のみを用いる。マーカを配置せずに撮影された画像集合ΦCは、マーカを配置して撮影された画像集合Φ＝ΦA＋ΦBとの間で対応付けがなされる。なお、マーカ配置して撮影された画像集合Φ＝ΦA＋ΦBには、マーカ自身のテクスチャによって検出された特徴点が含まれているが、このような特徴点は、マーカ配置せずに撮影された画像集合ΦCに含まれる画像との対応付けとは本来無関係なものであるため、対応付けの対象から削除する。出力される点群にはマーカが含まれていないため、マーカが計測結果に写し出されてしまい計測対象物全体の形状計測の障害となることがない。
【００８１】
また、マーカを配置せずに撮影された画像のカメラ姿勢は、マーカを配置して撮影された画像との間で対応付けにより、マーカを利用せずに推定する場合に比べて高くなり、マーカを用いた計測に近い精度での被写体の３次元形状計測が可能となる。
【産業上の利用可能性】
【００８２】
本発明は、３次元形状計測結果である点群を、マーカを含まない点群として生成する技術を提供する。
【符号の説明】
【００８３】
１０  計測対象物
２０ａ〜ｃ  マーカ
【図１】
2014112056.tif 000029
【図３】
2014112056.tif 000030
【図２】
2014112056.tif 000031