(57)【要約】【解決手段】装置に係る位置および方向を決定する方法であって、前記位置および方法は、多数の自由度に基づいて決定され、かつ前記装置は、少なくとも１つの画像を撮影するための撮影装置と関連し、前記方法は、少なくとも１つの実被写体に係る少なくとも１つの画像もしくは実被写体の一部を撮影装置で撮影し、かつ前記被写体に関する座標系を供給する手段、前記撮影装置に係る内部パラメータの推定を供給する手段、第１信頼度を有する座標系における少なくとも１つの第１自由度および前記第１信頼度および異なる第２信頼度を有する座標系における少なくとも１つの第２自由度を計算することを許可する姿勢データを供給する手段、前記第１および第２信頼度を有する前記第１および第２自由度に基づいた前記被写体に関する前記装置の初期姿勢を計算する手段、前記被写体に関する前記装置に係る推定された位置および方向を決定するための姿勢推定処理を実行し、かつ前記初期姿勢および前記少なくとも１つの画像および前記撮影装置の内部パラメータの前記推定に基づいた第２信頼度を有する自由度の推定を前記姿勢推定処理で計算する手段、ならびに前記姿勢推定処理および前記第１の信頼度を有する前記自由度で計算された前記自由度の前記推定に基づいた前記被写体に関する前記装置に係る位置および方向を決定する手段を具備する。【選択図】図８Ａ
2015532077.tif 000002
【特許請求の範囲】
【請求項１】
装置に係る位置および方向を決定する方法であって、前記位置および方法は、多数の自由度に基づいて決定され、かつ前記装置は、少なくとも１つの画像を撮影するための撮影装置と関連し、前記方法は、少なくとも１つの実被写体に係る少なくとも１つの画像もしくは実被写体の一部を撮影装置で撮影し、かつ前記被写体に関する座標系を供給する手段、前記撮影装置に係る内部パラメータの推定を供給する手段、第１信頼度を有する座標系における少なくとも１つの第１自由度および前記第１信頼度および異なる第２信頼度を有する座標系における少なくとも１つの第２自由度を計算することを許可する姿勢データを供給する手段、前記第１および第２信頼度を有する前記第１および第２自由度に基づいた前記被写体に関する前記装置の初期姿勢を計算する手段、前記被写体に関する前記装置に係る推定された位置および方向を決定するための姿勢推定処理を実行し、かつ前記初期姿勢および前記少なくとも１つの画像および前記撮影装置の内部パラメータの前記推定に基づいた第２信頼度を有する自由度の推定を前記姿勢推定処理で計算する手段、ならびに前記姿勢推定処理および前記第１の信頼度を有する前記自由度で計算された前記自由度の前記推定に基づいた前記被写体に関する前記装置に係る位置および方向を決定する手段を具備することを特徴とする装置に係る位置および方向を決定する方法。
【請求項２】
前記第１および第２信頼度を有する前記自由度は、一連のセンサもしくはセンサの組み合わせによって供給される、姿勢センサデータから計算される請求項１に記載の方法。
【請求項３】
前記姿勢データは、前記自由度の前記信頼度を計算することを許す、信頼値を含む請求項１または２に記載の方法。
【請求項４】
前記姿勢データは、次の加速度センサ、ジャイロスコープ、グローバル位置センサ、慣性センサ、磁気計、走行距離計、回転エンコーダ、追跡センサ、測定アーム、レーザ追跡機から与えられるセンサのいずれか１つもしくはそのセンサの組み合わせから供給される請求項１ないし３のいずれか１つに記載の方法。
【請求項５】
前記第１の信頼度を有する前記自由度の一部は、前記装置または重力に対する方向の決定を許す前記撮影装置の重力ベクトルを示す姿勢データから計算される請求項１ないし４のいずれか１つに記載の方法。
【請求項６】
前記姿勢データは、重力センサまたは特に、加速度センサおよび／もしくはジャイロスコープから重力ベクトルを示すセンサの組み合わせから供給される請求項５に記載の方法。
【請求項７】
さらに、前記被写体のデジタル表現を供給すること、かつ前記初期姿勢を使用して前記画像に投影された前記被写体の前記デジタル表現に基づいた前記姿勢推定処理を実行することを含む請求項１ないし６のいずれか１つに記載の方法。
【請求項８】
前記姿勢推定処理は、前記デジタル表現の少なくとも１つの特徴をもつ少なくとも１つの画像における少なくとも１つの前記被写体をマッチングすること、かつ前記マッチング処理で決定された特徴対応に基づいた前記自由度の前記推定を決定することを含む請求項７に記載の方法。
【請求項９】
前記第１の信頼度は、高い信頼度、特に高い正確さまたは精度を示し、および第２信頼度は、低い信頼度、特に低い正確さまたは精度を示す、請求項１ないし８のいずれか１項に記載の方法。
【請求項１０】
さらに、前記装置、前記撮影装置、前記撮影された画像、前記被写体のデジタル表現、前記画像への投影された前記被写体のデジタル表現の投影のいずれかとの１つ相互作用を具備するユーザ入力を供給する手段を含む請求項１ないし９のいずれか１項に記載の方法。
【請求項１１】
前記相互作用は、いずれか１つのまたは次のいずれの組み合わせであって、：
特に、移動、摘むことならびに／またはタッチスクリーン上行為若しくは行為認識システムにおいて若しくは音声認識システムにおける音声コマンドによる回転行為によって、前記被写体に関する前記撮影装置を移動すること、変換すること、スケーリングすること、前記デジタル表現を回転すること、を含む請求項１ないし１０のいずれか１項に記載の方法。
【請求項１２】
前記相互作用は、手動もしくは半自動選択手段、分割を供給すること、ならびに／または前記画像において前記被写体の前記視界上で描くこと、特に前記姿勢推定処理において実行されるマッチング処理を支持するため、前記画像における前記被写体を再追跡することを実行することを含む請求項１０または１１に記載の方法。
【請求項１３】
前記ユーザ入力が、前記第２信頼度を有する少なくとも一部の前記自由度を適応させるために処理される請求項１０ないし１２のいずれか１項に記載の方法。
【請求項１４】
前記画像に投影された前記被写体に係る前記デジタル表現の前記投影は、前記画像において第１の投影から第２投影にユーザ入力によって変換され、前記変換が、前記第２信頼度を有する前記自由度の少なくとも１つの部分を適応させることに対する基礎である請求項１０ないし１２のいずれか１項に記載の方法。
【請求項１５】
前記第２信頼度を有する前記適応させられた自由度は、前記装置の前記初期姿勢を計算するために使用される請求項１３または１４に記載の方法。
【請求項１６】
さらに、前記被写体のデジタル表現と前記画像中の前記被写体とをマッチングするための追加の記述を使用し、前記記述は、前記各自由度の前記信頼度または前記姿勢推定処理の間に計算された各姿勢推定に依存する請求項１ないし１５のいずれか１項に記載の方法。
【請求項１７】
可能な特徴対応から、前記デジタル表現の前記投影された部分に対してほぼ同方向をもった前記画像における候補対応が選択される請求項８ないし１６のいずれか１項に記載の方法。
【請求項１８】
検索方向および／または前記マッチング処理の間、特徴対応を決定するための検索範囲は、前記第１の信頼度を有する前記自由度によって制約される請求項８ないし１７のいずれか１項に記載の方法。
【請求項１９】
被写体の位置決めが成功かどうか判定するために、点数が正しい姿勢についての確率および／または前記点数の前記信頼性についての比率を表現して使用される請求項１ないし１８のいずれか１項に記載の方法。
【請求項２０】
前記点数を計算するため、評価するため前記姿勢に基いて前記画像に前記投影されたデジタル表現の前記方向は、前記画像内の前記投影の前記位置における前記画像内で見出される方向と比較される請求項１９に記載の方法。
【請求項２１】
前記点数の前記信頼性を記述する前記比率は、前記撮影画像への投影された前記デジタル表現の前記合計サイズに関する前記点数を計算にため使用される前記デジタル表現の前記一部の前記サイズに基づいて計算される請求項１９または２０に記載の方法。
【請求項２２】
前記推定されかつ決定された前記装置の位置および方向は、初期の画像として前記推定され決定された前記装置の位置および方向が使われる、いずれかの前記画像から画像の追跡をする処理を初期化するために使用される請求項１ないし２１のいずれか１項に記載の方法。
【請求項２３】
前記画像から画像の追跡をする処理において、前記第２信頼度を有する少なくとも１つの自由度は、初期画像において前記装置の前記推定された位置および方向が決定された後では、もはや使用されない請求項２２に記載の方法。
【請求項２４】
前記画像における前記被写体の投影されたデジタル表現の対応は、別の画像において、整合、検出、または追跡される特徴として使用される、請求項２２または２３に記載の方法。
【請求項２５】
前記方法は、増強された現実の応用またはロボットシステムにおける被写体に関する装置に係る位置および方向を決定するための方法である請求項１ないし２４のいずれか１項に記載の方法。
【請求項２６】
デジタルコンピュータシステムの内部メモリに起動されるために適応させられるコンピュータプログラムプロダクトであって、前記プロダクトが前記コンピュータシステム上で作動する際、請求項１ないし２５のいずれか１項に記載の前記手段が実行される方法を用いたソフトウェアコードセクションを具備するコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置の位置および方向を決定する方法であって、前記位置及び方向は、複数の自由度に基づいて決定され、前記装置は少なくとも１つの画像を撮影する撮影装置に関連付けられていることを特徴とする、装置の位置および方向を決定する方法に関する。本発明はまた、前記方法を実行するためのソフトウェアコードセクションを構成するコンピュータプログラムプロダクトに関する。
【背景技術】
【０００２】
例えばカメラのような移動撮影装置、又は被写体（被写体の軸に係る参照原点及び参照方向を定義している）に付随した座標系における被写体に対応した、例えばカメラのような撮影装置を備えた移動装置のような移動する撮影装置の位置決めは、コンピュータ画面の分野において重要な課題である。異なったシステムのセットアップに用い、異なる入力データ源を用いる、および／または、異なる方法で入力データを処理する、多くのアプローチがこれまで提案されてきている。
【０００３】
１つの大きな階層は、可視光カメラ、赤外カメラ、時間飛行カメラ、深さカメラシステム、走査システム（スキャナ）、または位置決めされるべき被写体からのある種の画像を供給するその他のシステムに限定されない１つまたは複数のカメラから取り込まれたデータは、既知または被写体の表現を学習する実行時間で、位置合わせのために解析または使用される、視覚に基づいた位置決めを含む。以下に定めるような、本発明によるこの応用における提案された方法は、予め撮影装置で記述されたいかなるものにも応用され得る。
【０００４】
被写体の表現については、マーカ、ブループリント、画像、テンプレート、テクスチャもしくは非テクスチャ多角形モデル、特徴点マップ、ポイントクラウド、線、セグメント、シルエット、または深さ表現に限られたものではない。このシステムの画像は、強度、勾配、エッジ、線、セグメント、角、記述的特徴、またはその他のいかなる特徴、起源、ヒストグラム、極性、もしくは方向に制限されず、情報を抽出する異なる方法で解析することができる。以下に定めるような、この応用における、提案された方法は、予め記述された被写体表現のいかなるものにも適用でき、予め記述され、抽出された画像の情報のいかなるものにも使用することができる。
【０００５】
他のアプローチは、コンパス、ＧＰＳ、慣性センサ、加速度センサ、ジャイロスコープ、磁力計、走行距離計、回転式エンコーダのような機械式センサ、または例えば測定アームもしくはレーザ追跡機のような追跡システムからの結果に限定されず、カメラに取り付けられたセンサからのデータを使用する。これらのセンサは、カメラが位置決めされることを必要とする被写体の座標系に直接的に対応する測定値を供給する、または、生のセンサデータとシステムの潜在的付加情報の処理後にこのデータを供給する調整されたシステムに統合されるかのいずれかである。以下に定めるような、この応用における、提案された方法は、予め記述されたセンサにいかなるものを使用しても、実行できる。
【０００６】
移動カメラもしくは装置の位置決めに対するアプローチの他の階層は、外側から装置の姿勢を決定する、アウトサイドインのシステムである。これらのシステムは、被写体の座標系に堅く登録され、また、被写体自身の座標系に関して、動的に位置決めをすることができる。位置決めをされるべく移動カメラもしくは装置は、アウトサイドインのシステムと相関することにより認識され、および、位置決めのために使用される、可視光もしくは赤外マーカもしくはレーザ反射器に限定されずに、能動的もしくは受動的ツールまたはマーカを装着しなければならないことはない。
【０００７】
更なるアプローチの広範な分野は、手続型または統合型方法において、異なるシステム、センサおよびアプローチを結合することである。
【０００８】
視覚ベースの位置決めの中において、エッジベースのアプローチは、位置決めをされるべきカメラシステムで撮影された被写体の画像におけるエッジ、線、勾配、セグメント、境界、シルエット、輪郭、エッジレット、方向および／または極性に限定されない組となる、被写体の表現を用いる。
【０００９】
エッジベースのアプローチは、照明変化および光条件に対して堅牢であるという利点を有し、乏しいテクスチャの被写体の調整にアプローチ、ならびに通常、部分的な閉鎖に対し堅牢である。エッジベースの位置決めを必要とされる被写体の情報は、テクスチャもしくは非テクスチャの多角形モデルもしくはＣＡＤモデルもしくはシーン、ブループリント、画像、特徴点マップ、ポイントクラウド、線のモデル、セグメント、またはシルエットに限定されない被写体の表現、深さ表現または走査に係る被写体の表現の異なる出所から、手作業、半自動、または全自動で抽出することができる。
【００１０】
これらシステムの標準的アプローチは、既知の被写体の表現に対する、画像における相関性をマッチし、かつカメラの位置および方向を見積もるためのこれらの相関性について、少なくとも最小二乗法に限られないような、最適化を実行することによって作動する。このマッチと最適化処理は、内部の骨組みに一般的に埋め込まれ、その骨組みは、最適化の間更新される初期姿勢に基づくマッチを実行し、その更新はもう１つの初期姿勢として最適化の次の反復における初期姿勢として用いられる。わずかな回数の反復の後、姿勢の概算は、発見されるべき真の姿勢に収束することができる。
【００１１】
被写体の既知の表現は、フレームからフレームの追跡システムにおける最後のフレームに限定されず、供給され得る、既知のカメラの固有パラメータおよび最初の粗い位置決めに基づいてカメラ画像に投影される（図１の例を参照のこと）。図１に係る例は、一方向（ここでは重力）が確実に供給される、粗い初期のカメラの位置決めに基づいた３Ｄラインモデル（被写体ＯＢのデジタル表現Ｒ）の投影を示す。この姿勢は、撮影装置の与えられたＧＰＳ、コンパス、および加速度センサのデータから直接的に算出される。ＧＰＳとコンパスが信頼できない場合、重力は最終姿勢と十分に正確に供給され、したがって、最適化されることを必要とはしない。
【００１２】
Ｒが３×３回転マトリクスであり、かつｔが３×１変換ベクトルである与えられたカメラ姿勢の形式Ｃ（下記数１で表される）に基づいて、
【数１】
2015532077.tif 000003
形式ｘ＝（ｘ、ｙ、ｚ、１）Ｔの均一３Ｄ点ｘは、関数（下記数２で表される）を用いて、点（ｕ，ｖ）Ｔへと投影され、
【数２】
2015532077.tif 000004
その関数ｐｒｏｊ(．)は、既知のカメラ固有パラメータに基づいて画像の座標にカメラからの投影を形成する。
【００１３】
画像における投影された被写体の表現の対応は、エッジ、線、境界もしくは交点を追跡するシルエット、エッジレット、またはサンプルポイントに限定されないような、得られる投影表現のサンプリングによって、そして、勾配の最大値に向けて、それらの垂直に沿った検索に限定されない、それらの近傍内における検索範囲内で、それらの各々に対して検索する（図２を参照のこと）。いくつかのアプローチが、投影された点に対して対応する画素としての最接近した勾配最大値を維持している間（非特許文献１を参照のこと）、その他のものは最も大きい勾配最大値を取る（非特許文献２を参照のこと）。モーションブラーに対して堅牢にするため、いくつかは、強度ステップに代えて、強度の傾きに対して検索をしても良い（非特許文献３を参照のこと）。非特許文献４においては、ほぼ同方向の最接近した勾配最大は、バンドル調整システムの登録された画像（ｋｅｙｆｒａｍｅｓ）の中における投影の各点に対する対応として維持されている。登録された画像への投影は、小さい内部画像置換を伴った連続した画像の組を要求する、視覚追跡アルゴリズムから得られる計算されたカメラ姿勢を用いている。バンドル調整は、これらの画像の各々に対する６自由度を供給する。
【００１４】
非特許文献４において、全６自由度の姿勢は、視界依存方向の制止のような付加的な制止（ｃｈｅｃｋｓ）を許す、高い信頼性を有すると仮定される。加えて、非特許文献４におけるアプローチは、小さい内部画像置換を伴う連続した画像の追跡から得られた登録された画像を要求する組を示している。
【００１５】
画像において各々投影された点（ｕ，ｖ）ｊと、その発見された相関性との間における距離ｄｊは、最適化のための単一測定値である。
【００１６】
更新されたカメラ姿勢Ｃ´＝ＴＣが、被写体の表現の再投影された点の組の間の距離ｄと、それらのマッチした画像の対応とを最小化するように、被写体の表現の投影に用いられた現在の反復の姿勢Ｃに基づいて、画像への更新変換Ｔが計算される。
【００１７】
この変換更新Ｔは、Ｌｉｅグループｓｅ（３）の指数関数のマップパラメータ化と対応している６つのベクトルａによってパラメータ化されている。
【数３】
2015532077.tif 000005
（後述の数１０として表される）指数関数マップであるｅｘｐｍ（．）を用いて、ａ＝[ａ１ａ２ａ３ａ４ａ５ａ６]、回転を表現するａ１からａ３及びＴの変換を表現するａ４とａ６。群の対応生成行列Ａｉは、Ｒａに対する標準基底ｅ１，ｅ２，ｅ３をスキュー対称行列マトリクスである[．]  γを用いて（後述の数５として表される）、次の行列（後述の数４として表される。）として、選択することができる。
【数４】
2015532077.tif 000006
【数５】
2015532077.tif 000007
最小化に必要とされるように、原点（ａ＝０）周りにおけるＴ（ａ）についての偏微分は、次の数６で示される。
【数６】
2015532077.tif 000008
ヤコビアン行列Ｊは、ａに対する画像（数１を参照のこと）の中の点における投影についての微分によって得られ（以下の数７を参照）、そのヤコビアンＪはｍ×６次元である。
【数７】
2015532077.tif 000009
【００１８】
変換更新ａについてのパラメータを見出すため、次の式Ｊａ＝ｄが解かれ、そのｄは、単一の距離測定値についてのｍ次元ベクトルｄｊである。
【００１９】
標準最小二乗法に対して、与えられた反復における解は、次のように得る（数８参照）。
【数８】
2015532077.tif 000010
外れ値に対し堅牢であるために、堅牢なＭ推定量は、変換更新に対して解かれることができるものである（非特許文献５、２、６を参照のこと）。
【００２０】
混成システムにおいて（図７Ａを参照のこと）、例えばＧＰＳ、加速度センサ、磁気計のような追加のセンサデータを用いることより、センサデータは、視覚ベースのアプローチの初期化のために使用され（非特許文献９を参照のこと）、または例えば拡張されたカルマンフィルタ（非特許文献８を参照のこと）のようなものを用いるセンサ融合によって、光学的追跡からもたらされる結果と結合される。カルマンフィルタに基づいたセンサ融合は、センサの共分散行列のような統計学についての評価を要求する。以下に定めるように、本発明は、そのような評価を要求せず、且つそれは完全に異なったアプローチに基づいている。
【００２１】
標準のアプローチに係る限界への提案された解決：
【００２２】
被写体に係る既知の表現と、画像におけるそれらマッチされた表現との間の対応に基づいた、姿勢最適化が、位置決め、使われた姿勢評価アプローチ、および対応の正確さのため開始点として用いられる初期姿勢に高く依存する修正カメラ姿勢に連続的に収束するだろう。誤りの対応は、画像におけるノイズ、画像における被写体の閉塞、検索範囲の縮小、または比較のために使用された記述余白以内での多数の妥当にマッチする候補による対応の誤った選択に限られず、もたれされる。後者の確率は、対応が検索されることが必要である画像における検索範囲に伴い、増加する。これは、位置決めのための開始点として用いられた初期カメラ姿勢と、正確な位置決めが実行できるためのアプローチによって見出されるべき正確なカメラ姿勢との間のオフセットを規制する。
【００２３】
異なるアプローチは、対応に対する多数の仮説を許可すること、かつ６自由度姿勢の最適化の間、最良の対応を選択するような（非特許文献６、７を参照のこと）、姿勢評価を採用することによって、対応の不正確を増大することにより、狭い検索範囲を克服しようとする。他のアプローチは、例えば勾配の極性を用いることによって、マッチ処理の信頼性を増進するために、勾配最大の記述を改善しようとする（非特許文献３を参照のこと）。
【００２４】
要約すれば、視覚ベースの位置決めのために係るアプローチの存在は、位置決めが複雑な光景の中における複雑な被写体に対して、実施されるとき、堅牢である、すなわち、それらは一般的に、野外環境において移動する装置に装着されたカメラの位置決めをするときに、失敗する。例えば、もっと実際には、位置合わせアルゴリズムの間、不正確な位置最小に落ちるような、視覚データに基づいた登録が失敗しているので、最新の方法では、既知のモデルと、部分的に変化した外観（窓またはドアの開閉、その一部の異なる塗装、季節を通じての隣家の中の樹木の構造の変化）とを伴った建物前面に対応するカメラの位置決めを行う問題を解決しない。
【先行技術文献】
【非特許文献】
【００２５】
【非特許文献１】T.  Drunmmond,  R.  Cipolla.  Real-time  tracking  of  complex  structures  with  on-line  camera  calibration.  British  Machine  Vision  Conference,  1999
【非特許文献２】A.  I.  Comport,  E.  Marchand,  M.  Pressigout,  F.  Chaumette.  Real-Time  Markerless  Tracking  for  Augmented  reality:  The  Virtual  Visual  Servoing  Framework.  Transactions  on  Visualization  and  Computer  Graphics,  2006.
【非特許文献３】G.  Klein,  D.  Murray.  Improving  the  Agility  of  Keyframe-Based  SLAM.European  Conference  on  Computer  Vision,  2008.
【非特許文献４】M.  Tamaazousti,  V.  Gay-Bellile,  S.  N.  Collette,  S.  Bourgeois,  M.  Dhome.  Real-Time  Accurate  Localization  in  a  Partially  Known  Enviroment:Application  to  Augmented  Reality  on  textureless  3D  Objects.TrakMark,2011.
【非特許文献５】C.  Wiedemann,  M.  Ulrich,  C.  Steger.  Recognition  and  Tracking  of  3D  Objects.  Deutsche  Arbeitsgemeinschaft  fuer  Mustererkennung,  2008.
【非特許文献６】L.  Vacchetti,  V.  Lepetit,  P.  Fua.  Combining  edge  and  texture  information  for  real-time  accurate  3D  camera  tracking.  International  Symposium  on  Augmented  and  Mixed  Reality,  2004
【非特許文献７】H.  Wuest,  D.  Stricker.  Tracking  of  industrial  objects  by  using  CAD  models,  Journal  of  Virtual  Reality  and  Broadcasting,  Volume  4,  2007.
【非特許文献８】G.  Reitmayr,  T.  W.  Drummond.  Going  out:  Robust  Model-based  Tracking  for  Outdoor  Augmented  Reality,  International  Symposium  on  Augmented  and  Mixed  Reality,  2006
【非特許文献９】J.  Karlekar,  S.  Z.  Zhou,  W.  Lu,  Z.  C.  Loh,  Y.  Nakayama,  D.  Hii  .Positioning,  Tracking  and  Mapping  for  Outdoor  Augmentation,  International  Symposium  on  Augmented  and  Mixed  Reality,2010
【非特許文献１０】D.  Kurz,  S.  BenHimane.  Inertial  sensor-aligned  visual  feature  descriptors.  Compuer  Vision  and  Pattern  Recognition,  2011
【非特許文献１１】C.  Steger.  Occlusion,  clutter,  and  illumination  invariant  object  recognition.  International  Archives  of  Photogrammetry  and  Remote  Sensing,  volume  XXXIV,  2002
【発明の概要】
【発明が解決しようとする課題】
【００２６】
上記の事情に鑑み、本発明の目的は、前述の欠点を避けることができる、少なくとも１つの画像を撮影するための撮影装置を用いて、多数の自由度に基づく装置の位置および方向を決定する、より堅牢な方法を提供する。
【課題を解決するための手段】
【００２７】
本発明の態様においては、装置の位置および方向を決定する方法であって、該位置および方向が、多数の自由度に基づき、決定され、該装置は少なくとも１つの画像を撮影するための撮影装置に関連し、該方法は、撮影装置で、少なくとも１つの実際の被写体もしくは実際の被写体の一部に係る少なくとも１つの画像を撮影し、かつ、該被写体に関連する座標系を供給する手段、撮影装置の内部パラメータの概算を供給する手段、第１の信頼度を有する座標系における、少なくとも１つの第１の自由度、かつ、第１の座標系と異なる第２の信頼度を有する座標系における、少なくとも１つの第２の自由度を計算することを許可する姿勢データを供給する手段、第１および第２の信頼度を有する、第１および第２の自由度に基づいた被写体に対して、装置の初期の姿勢を計算する手段、被写体に対応した、概算した位置および方向の決定のための、姿勢評価処理を実行し、かつ、該姿勢評価処理において、初期姿勢に基づいた第２の信頼度ならびに少なくとも１つの画像および撮影装置の内部パラメータを有する自由度の評価の計算をする手段、ならびに姿勢評価処理において計算された自由度および第１の信頼度を有する自由度の評価に基づいた被写体に対応する位置および方向を決定する手段を具備することを特徴とする装置の位置および方向を決定する方法が提供される。
【００２８】
実施形態によれば、第１及び第２の信頼度を有する自由度は、センサの組み合わせまたはセンサの集合によって供給された姿勢センサデータから計算される。
【００２９】
本発明の有利な実現において、姿勢データは、自由度の信頼度を計算することを許可する信頼値を含む。
【００３０】
例えば、加速度センサ、ジャイロスコープ、地球規模位置センサ、慣性センサ、磁気計、走行距離計、機械式センサ、回転エンコーダ、追跡センサ、測定アーム、レーザ追跡機の組み合わせまたはいずれかの１つから、姿勢データは供給される。
【００３１】
第１の信頼度を有する自由度の一部は、装置、または、重力に対する方向の決定を許可する撮影装置の重力ベクトルの指標である姿勢データから有利に計算されてもよい。
【００３２】
例えば、姿勢データは、重力センサもしくは重力ベクトルのセンサ指標の組み合わせから、特にジャイロスコープおよび／または加速度センサから供給される。
【００３３】
更に、本発明の態様は、所定の信頼度を伴った被写体に付随した座標系において、１つまたはそれ以上の自由度が既知の場合、撮影装置、特にカメラ、または、被写体に付随した座標系において、いくつか部分的に既知の表現を伴った被写体に対して撮影装置を装着した装置の位置および方向の視覚ベースの位置決めを改良する、新規のアプローチを提案する。視覚ベースの位置決めは、例えば異なる精度と正確さを持った、異なる信頼度を伴う異なった自由度上の測定値を供給するいかなる付加的位置および方向センサをも採用することができる。さらに、該アプローチは、カメラまたは位置決めを支持するためのカメラを装備した装置と相互に作用する、潜在的ユーザから来るいかなる追加の入力から有益である。
【００３４】
上述のような複雑な外観の環境における、主な視覚ベースの位置決めの問題を克服するため、態様によれば、高い信頼度および低い信頼度のグループの中へと付加的センサデータ集めること、ならびに、高い信頼性のおよび低い信頼性の自由度を作り出すことを提案する。そして、高い信頼性の自由度は、画像および使われた被写体の表現の間における、視覚的特徴の対応を作り出すのに使用される。低い信頼性の自由度は、得られた対応結果に基づいて最適化される。その対応に基づいたコスト関数が、最適化の間使用される。
【００３５】
上述のように提案された本発明の態様は、複雑な光景に中の複雑な被写体に対して位置決めが実行される際、視覚に基づいた位置決めに対するアプローチが存在することについてのやりがいのあるロバスト性の問題を解決することが許される。視覚データに基づいた登録は、位置合わせアルゴリズムの間、不正確な位置の最小に落ちることを回避するように、継続する。例えば位置合わせアルゴリズムの間、既知のモデルを伴った建物前面、例えば、窓またはドアの開閉、その一部の異なる塗装、季節を通じての隣家の中の樹木の構造の変化による部分的に変化した外観に対してカメラの位置決めを行う問題は提案されたアプローチを用いて可能である。
【００３６】
現行のハンドヘルド型装置は、センサデータに、ＧＰＳセンサによる装置位置のような、さまざまな信頼度を供給し、デジタルコンパスは、北を基準に装置の方向を測定し、慣性センサは、重力に対して装置の方向を供給する。例えば、現行のシステムにおけるＧＰＳおよびデジタルコンパスのデータは、高い信頼性ではないが、重力ベクトルに対する装置の方向は、高い信頼性で供給され得る。
【００３７】
例えば、非特許文献４においては、全６自由度姿勢は、視界依存の方向確認のような、追加の確認を許す、高い信頼と仮定されるが、いくつかの回転パラメータのような、いくつかの自由度が、高い信頼性を伴うという事実を考慮することによって、本発明の態様は、姿勢について異なる自由度において、異なる信頼性を伴ったかなり粗い６自由度姿勢の正確にマッチされた対応の増進を提案する。これは、自由度の信頼性に高く依存する特性上の追加の確認を許すだろう。特に、後で再度説明を行うように、画像への投影の一部の方向は、投影に用いられる姿勢に高く依存し、かつ一般的に回転における姿勢エラーは、変換における姿勢のエラーよりも投影された線の方向のエラーにおいて、高い衝撃を持つだろう。加えて、本発明に伴って提案された方法は、事前の姿勢の知識に伴ういかなる画像をも要求せず、かつ提案された方法は、単一画像の処理に基づいた位置決めを許すが、非特許文献４に示されたアプローチは、狭い内部画像置換を伴った、連続した画像の追跡から得られる、登録された画像の組を要求する。本発明に係る提案された方法に対して要求された単なる画像は、カメラ位置および方向が見積もられた時点で、取得された画像である。本発明に係る提案された方法は、第２のもしくは以前のフレームまたは第２のもしくは以前の処理の結果から来る事前の知識を必要としない。
【００３８】
更に、態様において、１つまたはそれ以上の自由度が、所定の信頼性を伴って知られた場合、静的被写体に付随した座標系において、いくつか部分的に既知の表現を伴った被写体に対して、カメラの位置および方向の位置決めを改善するための新規なアプローチが提案される。座標系に対してカメラの姿勢について高い信頼性を伴ったいくつかの自由度を供給するシステムの結果として、カメラは、スマートフォン、タブレット、内部センサを有するカメラ、パンチルトズーム（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラまたは機械式センサを備えたその他のカメラシステムもしくは単にいくつかの高い信頼性を伴った自由度を供給する登録システムなどに限定されるものではなく、この位置決めから有益にできるように位置決めされるべきである。
【００３９】
シナリオ側において、いくつかの自由度が知られているその表現の座標系の中で、静止または部分的に静止したいかなる被写体は、このアプローチから利益を得る。重力に係る適正かつ良い評価を供給するための現行のハンドヘルド装置に係る十分に信頼できる慣性センサを使用するという例において、この重力配列座標系において表現された被写体を含むいかなるシナリオは、例えば都市（建物、街路、信号、設備、その他）のような野外環境、室内環境（部屋、家具、ＴＶ画面、絵画（これらの被写体は配列された重力を置かれ、モデルが正確に重力に対してそれらの方向を表現する限り））、または自動車（それらがそれらの表現に対して配列された重力を移動するかぎり）のように移動する被写体のような、提案されたアプローチから利益を得る。
【００４０】
発明の実施形態によれば、被写体のデジタル表現を供給し、姿勢評価処理は、初期の姿勢に用いる画像に投影された被写体のデジタル表現に基づいて実行される。例えば、姿勢評価処理は、デジタル表現の少なくとも１つの特徴を伴った少なくとも１つの画像における被写体についての少なくとも１つの特徴とのマッチを含み、かつ自由度の評価は、マッチ処理において決定された特徴対応に基づいて決定される。
【００４１】
特に実施において、第１の信頼度は、より高い信頼度についての指示、特により高い正確さまたは精度についての指示であり、そして、第２の信頼度は、より低い信頼度についての指示、特により低い正確さまたは精度についての指示である。
【００４２】
実施形態によれば、さらに当該方法は、装置、撮影装置、撮影された画像、被写体のデジタル表現、画像の中に投影された被写体のデジタル表現の投影のいずれか１つとの相互関係を具備するユーザ入力を供給する手段を含む。例えば、該相互関係は、次のいずれかの１つまたは次の組み合わせを含む：特に移動、挟むこと、および／またはタッチスクリーン上もしくはジェスチャ認識システムにおける、回転ジェスチャにより、または発声認識システムにおける発声コマンドにより、被写体に対して撮影装置を移動すること、デジタル表現を変換、スケーリング、回転すること。さらなる例によれば、該相互関係は、手動もしくは半自動手続き選択、分割、および／または画像における被写体の視界において描写すること、特に姿勢評価処理において実行されるマッチ処理を支持するための画像において、被写体を再追跡することを実行することを含む。ユーザ入力は、少なくとも１つの第２の信頼度を有する自由度の部分を適応させるために処理されていればよい。
【００４３】
実施形態によれば、画像の中に投影された被写体についてのデジタル表現の投影は、画像において、第１の投影から第２の投影へのユーザ入力によって、変換され（特に、変換され、または回転されまたはスケール化される）、変換は、第２の信頼度を有する少なくとも１つの自由度を適応させるための基礎である。
【００４４】
特に、第２の信頼度を有する適合した自由度は、装置の初期姿勢を計算するために用いられる。
【００４５】
実施形態によれば、方法は、画像における被写体に対する被写体のついてのデジタル表現をマッチさせるために、追加の記述を用い、該記述は、各自由度についての信頼度または姿勢評価の間に計算された各姿勢評価に依存している。
【００４６】
特に、姿勢評価処理は、デジタル表現についての少なくとも１つの特徴を伴った少なくとも１つの画像における被写体についての少なくとも１つの特徴をマッチすること、およびマッチ処理において決定された特徴の対応に基づいた自由度についての評価を決定することを含んでよい。一般的に、可能な特徴対応候補から、デジタル表現の投影された一部とほぼ同じ方向を持った画像における対応が、選択されてもよい。
【００４７】
例えば、検索方向および／またはマッチ処理の間の特徴対応を決定するための検索範囲は、第１の信頼度を有する自由度によって、制約される。
【００４８】
さらなる実施形態において、被写体位置決めが成功するどうかを判定するために、得点は、その得点の信頼性を述べている正しい姿勢および比率の確率を表現することに用いられる。更に、得点を計算するために、評価のための姿勢に基づいた画像へ投影されたデジタル表現は、画像における投影の位置において、画像における発見された方向と比較される。
【００４９】
例えば、得点についての信頼性を記述する比率は、撮影された画像に投影されたデジタル表現についての全サイズに対して得点を計算するために使用されるデジタル表現の一部のサイズに基づいて計算される。
【００５０】
装置に係る評価かつ決定された位置および方向は、評価され決定された装置の位置および方向が、もう一つの画像に対する追跡のために第１の姿勢として使われる、いかなる画像から画像への追跡処理を初期化してもよい。例えば、画像から画像への追跡処理において、第２の信頼度を有する自由度は少なくとも、装置についての評価された位置および方向が、初期の画像においてすでに決定されている後には、まったく使われない。さらに、画像における被写体についての投影されたデジタル表現は、もう一つの画像の中で検出され追跡されマッチされた特徴として用いられてもよい。
【００５１】
実施態様によれば、方法は、拡張現実アプリケーションまたはロボットシステムナビゲーションにおける、被写体に対する装置の位置および方向を決定するための方法である。
【００５２】
本発明による方法は、例えば文房具もしくはモバイルコンピュータシステム、好ましくは上述のようなハンドヘルド装置のようなコンピュータシステムにおいて、実行される。
【００５３】
本発明はまた、デジタルコンピュータシステムの内部メモリに起動されるように構成されたコンピュータプログラムプロダクト（computer  program  product）であって、前記プロダクトが前記コンピュータシステム上で作動している際、いかなる上記様態及び実施形態のすべてが、実行されることによって、処理するソフトウェアコードセクション（software  code  section）を具備する、コンピュータプログラムプロダクトに関する。
【００５４】
さらなる形態、有利な特徴と発明の実施形態は、図面に関連する次の記載から明らかであろう。
【図面の簡単な説明】
【００５５】
【図１】粗い位置決めに基づいたＯＢについてのカメラ像における３Ｄラインモデル（被写体ＯＢについてのデジタル表現Ｒ）の投影の例を示す。
【図２Ａ】２Ｄ／３Ｄ対応計算の例を示す。
【図２Ｂ】より具体的な詳細における図２Ａの各部である。
【図２Ｃ】より具体的な詳細における図２Ａの各部である。
【図２Ｄ】より具体的な詳細における図２Ａの各部である。
【図３】与えられた信頼できる重力と４自由度姿勢評価を比較された、可能な６自由度の姿勢評価についての結果に基づいたＯＢについてのカメラ像における３Ｄラインモデル（被写体ＯＢについてのデジタル表現Ｒ）についての投影の典型的な光景を描く。
【図４】第１および第２の発明の形態に従った方向類似性に基づいた対応マッチを示す。
【図５Ａ】不マッチ（ｆａｌｓｅ  ｍａｔｃｈｉｎｇ）の可能性を示す。
【図５Ｂ】更なる不マッチ（ｆａｌｓｅ  ｍａｔｃｈｉｎｇ）の可能性を示す。
【図５Ｃ】姿勢推定の改善を示す。
【図５Ｄ】更なる不マッチ（ｆａｌｓｅ  ｍａｔｃｈｉｎｇ）の可能性を示す。
【図６Ａ】ハンドヘルド装置ＨＨのタッチスクリーン上の動き行為を用いて、被写体ＯＢを伴う表現Ｒの投影を移動させることを示す。
【図６Ｂ】タッチスクリーン上のスケーリング行為を用いて、被写体ＯＢについての表現Ｒの投影を可能なスケーリングをすることを示す。
【図７Ａ】最先端によるカメラの位置および方向を決定するための処理についてのフローチャート図を示し、特に非特許文献９のような、最終姿勢評価のための初期の姿勢を計算するための異なるセンサデータを用いた、視覚に基づく位置決めの利用を伴う従来技術の方法を示す。
【図７Ｂ】最先端によるカメラの位置および方向を決定するための処理についてのフローチャート図を示し、特に非特許文献８のような、センサ融合をするための異なるセンサデータを用いた、視覚に基づく位置決めの利用を伴う従来技術の方法を示す。
【図８Ａ】本発明の実施形態によるカメラの位置および方向を決定するための処理（手段）についてのフローチャート図を示し、かつ本発明で提案された変化する信頼性を有する、自由度および異なるセンサを使用して成る統合的な方法についての実施形態を示す。
【図８Ｂ】本発明の実施形態によるカメラの位置および方向を決定するための処理（手段）についてのフローチャート図を示し、かつ本発明で提案された変化する信頼性を有する、自由度と異なるセンサを使用し、統合された方法についての他の実施形態を示す。
【図９】第２の実施形態に関連し、カメラを装備する装置の座標系に対して重力ベクトルの方向による画像処理フィルタの変化の例を示す。
【発明を実施するための形態】
【００５６】
以下に、本発明の態様は、図面に関連して、さらに詳細に説明される。このことにおいて、図７は、従来技術によるカメラの位置および方向を決定するための処理のフローチャート図を示している。特に、図７Ａは、非特許文献９のような、最終姿勢評価のための初期の姿勢を計算するための異なるセンサデータを用いた、視覚に基づく位置決めの利用を伴う従来技術の方法を示す。図７Ｂは、非特許文献８のような、センサ融合をするための異なるセンサデータを用いた、視覚に基づく位置決めの利用を伴う従来技術の方法を示す。これらの方法は、従来技術においてよく知られているように、引用された参照（非特許）文献から明らかなように、方法についての全ての説明は、簡潔な理由のため、ここでは詳細には説明されない。
【００５７】
図８は、本発明の実施形態によるカメラの位置および方向を決定するための手段のフローチャート図を示す。特に、図８Ａは、本発明で提案された変化する信頼性を有する、自由度（以下、「ＤｏＦ」と略す。）および異なるセンサを使用して成る統合的な方法についての実施形態を示す。図８Ｂは、本発明で提案された変化する信頼性を有する、ＤｏＦと異なるセンサを使用し、統合された方法についての他の実施形態を示す。本発明の態様に係る次の記載は、図８Ａ及び図８Ｂにおいて示すような処理について、言及している。
【００５８】
本発明による、装置の位置および方向を決定する方法における基本的処理は、図８において図示される。それは、少なくとも１つの実際の被写体または実際の被写体の一部についての撮影装置を用いた、少なくとも１つの画像を撮影すること（ブロック１）、被写体に対応した座標系を供給すること、および例えばカメラ調整のような、撮影装置の内部パラメータの数値を供給すること（ブロック２）を具備する。さらに、姿勢データは、特に対応する信頼を伴った適切なインプットセンサＩＳからの第１の信頼度（ここでは：高い信頼度）を有する座標系（ブロック１１１）における第１の自由度、および、第２の信頼度（ここでは：低い信頼度）を有する座標系（ブロック１１２）における、少なくとも１つの第２の自由度を計算することを許可することを供給される。
【００５９】
被写体に対する装置の初期姿勢は、第１及び第２の自由度（ブロック１３及び１４）に基づいて計算される。ブロック１３において、姿勢推定処理は、被写体に対して装置の位置および方向の評価を決定するために計算され、姿勢評価処理において低い信頼度を有する自由度の評価が初期姿勢（ブロック１１）、少なくとも１つの画像（ブロック１）、撮影装置についての内部パラメータの評価および被写体の表現（ブロックＲ）に基づいて、低い信頼度を有する自由度についての評価が計算（ブロック１３１）される。この例において、姿勢評価は、さらに詳細な以下における着手にように、画像（ブロック１３２）への被写体のデジタル表現についての投影と、特徴についてのマッチとを含む。もし姿勢評価は、良くないこと（ブロック１５）が発見されたならば、方法は、入力センサＩＳに限らないような入力源、ユーザ入力（ブロック１２）および／または画像（ブロック１）を更新することならびにこれらを続行することを続ける。被写体に対する装置の位置および方向は、評価処理１３において計算された自由度の評価および第１の信頼度（ブロック１１１にて供給されるように）を有する自由度に基づいて決定される。
【００６０】
図８Ａは、本発明により、しかしながら、必要とされない、被写体の表現の投影、マッチング、および姿勢最適化処理を含む特定の実装を供給する。この点で、図８Ｂは、ここで着手するような、従来（手段１から３として、簡単にここでは参照される）において知られるようないかなる適切な手段を含めてよい一般的な姿勢推定処理を具備する、発明のコンセプトを含むより一般的なアプローチを示す。
【００６１】
発明の態様においては、カメラの位置決めシステムは、加速度センサ、ジャイロスコープ、ＧＰＳ、磁気計のような異なる入力源を結合し、および複雑な環境において、カメラの位置決めを許す新規な方法におけるデータを処理すること（図８を参照のこと）が提案される。形態によれば、入力源は：
・カメラによって撮影されたインタレストに係るいくつかの被写体のデータ。画像は、可視光カメラ、赤外線カメラ、飛行時間型カメラ、深度カメラシステム、走査システム、または位置決めのための用いられる被写体からいくつかの種類の画像を供給する他のいかなるカメラシステムによって、撮影され得る。被写体のインタレストは、ターゲット座標系と呼ばれる所定の座標系における、カメラ位置決めのために用いられる。カメラ位置決めが地球に付随したターゲット座標系の場合において、建物は、興味の被写体の役割を演じることができる。もっと一般的に、カメラ座標系は、地球座標系であっても良い。
・被写体の画像において、エッジ、線、勾配、セグメント、境界、シルエット、輪郭、エッジレット（ｅｄｇｅｌｅｔｓ）方向および／または極性に限られない、特徴の集合として構成される、被写体のインタレストの表現。表現は、先験的に知られることができ、または実行時間の間、更新される。
・それらのそれぞれの信頼値を伴った、即ちＧＰＳ、慣性センサ、加速度センサ、ジャイロスコープ、磁気計、走行距離計、回転エンコーダのような機械式検出器または測定アームもしくはレーザ追跡機のような追跡システムからの結果に限らないような、個別に正確性と精度を伴ったセンサと共に異なる自由度の測定を供給する、いかなる付加的な位置および方向データ。これらのセンサは、ターゲット座標系に対して、直接的に測定値を供給することができる、または、システムについての潜在的付加情報と生のセンサデータについてのいくつかの処理後、このデータを供給する調整されたシステムにおいて統合されるかのいずれかである。カメラとセンサの間の空間的変換は、知られる必要がある、または、以前もしくは位置決め処理の間に評価される必要がある。異なるセンサの信頼値が、例えば、約１０ｍの正確さを持って位置を与える、スマートフォンに装着された標準ＧＰＳを変える可能性があり、磁気計の正確さは、周囲の環境に依存し、かつ、たびたび２，３度以内で正確であるが、潜在的には全体に良くない可能性があり、およびその結果、信頼性がない。対照的に、現行のハンドヘルド装置内に組み込まれたの、重力方向を測定するための加速度センサと磁気計は、かなり高い正確さで供給され得る（非特許文献１０を参照のこと）。
・さらに、アプローチは、カメラもしくはそのカメラが装備された装置に限定されず、被写体の表現、画像の中への投影、またはセンサの誤差に係る部分を修正するためのそれらの画像と相互に作用することができる、潜在的ユーザから来た付加的入力から利益を得ることができる。
・カメラ内部パラメータ推定
【００６２】
次のように、カメラ位置決めを参照する際、カメラまたはカメラに備わりもしくは関連する装置の位置および方向（姿勢）を決定することに対して、一般的に参照される。この実施の形態において、カメラの位置決めについての最適化を開始するために、初期の姿勢は、ひとつの方向における信頼性がある姿勢に限らないような、異なった自由度に対して既知の信頼度が備わる（図８中のブロック１１を参照のこと）。例として、これは、上記のハンドヘルド装置を用いることに限られずに、達成され得る。初期の姿勢は、例えば、ＧＰＳ、磁気計（デジタルコンパス）、または加速度センサ／ジャイロスコープからのセンサデータによって構成される。ＧＰＳおよびコンパスデータは、更なる最適化なしでの良い姿勢推定のために、現在のシステムにおいて十分に正確ではなく、こうして、低い信頼性の値を持っているが、世界の重力（２自由度）に関連する装置の方向を供給する、加速度センサおよびジャイロスコープセンサは、最終位置決め結果のために用いられるのに十分に精密であり、かつこうして高い信頼性の値を有する。変換（３自由度）を供給するＧＰＳおよび重力（１自由度）周りの回転を供給するデジタルコンパスは、最終姿勢評価に直接的に用いられるためには、十分に正確ではないが、それらは、それらがカバーする４自由度における、粗い第１の初期推定をたびたび提供することができる。
【００６３】
不確かな自由度に係るさらに良くかつ十分な粗い初期の推定を達成することが必要とされるならば、これら不確かな自由度の中での配列（アラインメント）に係る追加的な更新は、潜在的なユーザ（図８中のブロック１２）からまたはこの特許において提案された位置付けおよび最適化アプローチからの相互作用から来て実行される。その他の間で、次の相互作用モダリティ（ｍｏｄａｌｉｔｙ）は、システムへのユーザ入力を供給することが可能である。即ち現行の粗い初期化からもたされる現行の変位について、ユーザにフィードバックを与えるために、被写体の表現は、止められたカメラ、または現行のハンドレルド装置のタッチスクリーンまたは、カメラ内部のパラメータ推定のような、更なる必要なシステム情報と現在のユーザからの現在の更新を含んでいる、現在の粗い初期化に基づいた、ディスプレイシステムを通した光学視における、現在のユーザ視界に限らないような、ディスプレイシステムを通して見られるビデオにおける、連続的に流れる現行の視界に限定されないような、システム表示上に投影され、またはオーバーレイ（ｏｖｅｒｌａｉｄ）されることができる。変位について、この更新されたフィードバックに基づいて、プロジェクションが、対応する実際の被写体またはカメラ視界におけるそれらの画像に粗く配列（アライン）されるように、ユーザが、システムと相互作用をすることができる。この相互作用は、カメラもしくはそのカメラを装備した装置、被写体の表現、その画像の中への投影、またはそれらの画像との相互作用をするものに限らないで、実行され得る。この相互作用のための例は、１つまたは多数の指を用いたタッチスクリーン上、または、例えばジェスチャのため指もしくは手を使う光学的シースルーにおける、または音声認識システムにおける音声コマンドのための行為認識システムにおける回転行為、限定しないものによって、被写体に対するカメラの動き、変換、スケーリング、または、例えば動きを実行すること、挟むこと、または、被写体の表現を回転することに限定されない。
【００６４】
この点において、図６は、ハンドヘルド装置ＨＨ上において、このような可能な相互作用を示している。特に、図６Ａは、カメラ（図示しないが、ハンドヘルド装置の背面上の）が位置決めされるべき、被写体ＯＢを伴う表現Ｒの投影を粗く配列するための、ハンドヘルド装置ＨＨのタッチスクリーン上の動き行為を用いて、被写体ＯＢを伴う表現Ｒの投影を移動させることを示す。このようにして、粗い初期化を更新するための可能なユ−ザ入力は、カメラが位置決めされるべき被写体を伴う投影を粗く配列するために、タッチスクリーン上の動き行為に用いて、被写体ＯＢについてのモデルＲもしくは表現に係る投影を動かしている。図６Ｂは、カメラが位置決めされるべき被写体とともに投影を粗く配列するためのタッチスクリーン上のスケーリング行為を用いて、被写体ＯＢについての表現Ｒの投影を可能なスケーリングをすることを示す。このように、粗い初期化を更新するためのシステムに基づいたタッチを用いたユーザの可能な相互作用は、そのようなスケーリング行為を用いた被写体ＯＢのモデルＲもしくは表現の投影をスケーリングしている。
【００６５】
粗い配列のためのユーザに係るいかなる更新は、システムによって理解され、かつすでに存在している初期化が加えられる。
【００６６】
位置決めを支持するための追加のユーザ入力についての別のモダリティ（ｍｏｄａｌｉｔｙ）は、例えば、手動または半自動の処理におけるユーザに、いくつかの選択、セグメンテーション、または、例えば、供給されたユーザに基づいて入力重み付けが計算された、重み付けされた像データにおいてマッチングを実行することによって、または異なった対応候補の間で選んだときのユーザ入力に基づいて追加のチェックを実行することによって、最初とそのとき像データに基づいて精錬を実行する、ユーザ入力描画と被写体についての投影された表現とのマッチングを実行するものに限らないものによる、マッチング処理を支持する被写体の再追跡に限らないような被写体の視界上で描画することを実行することを許可する。
【００６７】
いくつかの自由度において高い信頼度を有する、初期姿勢を使用することの結果として、標準的なアプローチにおいて使用されるもののような姿勢推定は、低い信頼性自由度（ブロック１３、特に図８中ブロック１３１）についての姿勢推定に減らされ得る。これは、姿勢推定の解空間を減らす。それは、より堅牢な姿勢推定を生成し、かつ誤対応に対する高い許容度を許す。これは、被写体の表現のための像における対応を見出す、検索範囲を増大することを内在的に許可する。例えば現行のハンドヘルド装置についての高い信頼のある重力測定を使用する前述の与えられた例において、６自由度は、４自由度（重力方向周りの変換および回転）姿勢推定に減らす。
【００６８】
この点において、与えられた信頼できる重力と本発明による４ＤｏＦ姿勢推定（下図）とを比較される先行技術において使用されているように、可能な６ＤｏＦ姿勢推定（上図）についての、中間結果の例示している図３を参照のこと。もし、姿勢（例えば、重力）の１つの方向が、すでに信頼性を供給されているならば、姿勢推定（または最適化）に係る解空間は、減少し、かつそれゆえ、姿勢最適化の中で、正しい姿勢推定への収束の確率が増加する。
【００６９】
これは、軸についての回転を表現する１つ生成行列によって、３回転行列を置き換えることによって、達成される。軸角回転として表現される回転Ｒの指数関数マップは、下記数９を参照のこと。
【数９】
2015532077.tif 000011
ｇは、重力ベクトルに対応する回転についての３×１軸ベクトルで、そしてαは回転軸周りの回転角である。これは、軸ベクトル周りの回転角を表現するａ＝αと、Ｔについての変換を表現するａ２からａ４とを用いて、形式の指数関数マップ（下記数１０を参照のこと）に対応する４つのベクトルａ＝[ａ１ａ２ａ３ａ４]への変換更新Ｔについてのパラメータ化を減らす。
【数１０】
2015532077.tif 000012
【００７０】
その群に係る対応する生成マトリクスは、むしろ下記数１１に示すように更新される。
【数１１】
2015532077.tif 000013
【００７１】
標準的なアプローチに比較される、本発明における態様による、姿勢推定に対する第２の改善は、画像と被写体の表現の間に係る正確にマッチした対応の増加である。この第２の改善はまた、さらに以下の詳細に記載されているように、本発明についての分離し独立した態様の一部でもよい。先の記載したように、標準アプローチは、画像における対応のための投影のいくつかの近傍の中での現行の姿勢および検索に基づいた画像の中へと被写体の表現を投影することにより、被写体の表現の画像における被写体の対応を見出す。この検索は、エッジ、線、境界、またはシルエット、追跡する節点、エッジレット、またはサンプル点に限らないような、もたられる投影をサンプリングすることによって、およびそれらの標準に沿った検索に限られないような、それらの近傍内でのいくつかの検索範囲以内で検索するそれらの各々に対して、実行することができる。この近傍内において、最終対応は、解析、記述および／または最も近いもしくは勾配最大のようなチェックに基づいて、選択される。
【００７２】
図２によると、標準アプローチ（位置決めシステムに基づく３Ｄ線モデルの種類）は、そのモデルに係る与えられた３Ｄ線のための画像において対応するエッジまたは勾配最大を見出し、かつ、これらの対応に基づいたカメラの姿勢を推定することによって、動作する。その図は、どのように、画像における２Ｄ対応がモデルの３Ｄ線のために検索されるかを示している。即ち、３Ｄモデルの画像において投影された線（被写体ＯＢのデジタル表現Ｒ）は、副標本化（ｓｕｂ−ｓａｍｐｌｉｎｇ）される。これらのサンプル（節点を追跡すること）の各々のために、通常の節点Ｎの各追跡に沿った１Ｄ検索が実行される。この標準に沿って、次または最大勾配振幅が、対応点として選択される。
【００７３】
図２Ａは、２Ｄ／３Ｄ対応計算の例を示す。図２Ｂ−２Ｄは、より具体的な詳細における図２Ａの各部である。最も正確にマッチした特徴（図２Ｂを参照のこと：単純な場合における正確なマッチＭ）があることを見ることができ、しかしまた、いくつかの不マッチ（最も近い勾配最大を伴うマッチングによる１つの不マッチを示している図２Ｃを参照のこと）、そして通常のＮに沿って短い検索範囲（図２Ｄを参照のこと：Ｎ１として描かれた、通常Ｎに沿った１つの検索は、短い検索範囲により全てのマッチにおいて結果がもたらされない。）によりマッチが発見されない。
【００７４】
本発明によると、アプローチは、これまでのところ、姿勢についてのいくつかの自由度における信頼性を供給し、および一般的に、より堅牢な姿勢推定を供給する。
【００７５】
本発明はまた、少なくとも１つの高い信頼のある自由度の値により制約された画像処理方法を導出するために、少なくとも１つの高い信頼度を伴う自由度を使用するための独立した第二態様として提案する。特に、画像処理方法は、少なくとも１つの被写体の画像または少なくとも１つの被写体の部分を供給する手段、画像に関する座標系を供給する手段、座標系における少なくとも１つの自由度または座標系における少なくとも１つのセンサデータを供給する手段、ならびに少なくとも１つの自由度もしくは少なくとも１つのセンサデータによって制約された少なくとも１つの画像または少なくとも１つの画像の一部についての画像データを計算する手段を具備してもよい。例えば、計算された画像データは、高い信頼性を伴う自由度により制約されることもしくは配列されることができる、または、画像もしくは画像撮影装置に関する方法を処理する画像において使用されたデータを供給する高い信頼度のセンサにより制約されることもしくは配列されることができる、形態学的な画像操作もしくは画像フィルタを含む画像処理の結果とすることができる。より特別には、画像処理方法についての画像処理演算子が、画像エッジ検出を具備する場合、一般的に画像勾配計算は、画像軸を伴って配列されたカーネルを伴った画像フィルタ（ＳｏｂｅｌフィルタまたはＰｒｅｗｉｔｔフィルタのような）を適用することを具備する。これは、一般的にカーネルが水平または垂直な勾配を生成することを意味する。正確（重力センサは画像を撮影する装置に関連してもよい）と仮定される重力センサとともに決定された回転のような、高い信頼度の自由度を伴う画像データを考慮すると、画像における重力ベクトルの投影された方向とともに配列され、または画像についての重力ベクトルについて投影された方向と直交するフィルタのカーネルを使うことができる。
【００７６】
画像処理方法についての第２の態様による実施形態は、被写体についてのデジタル表現の少なくとも１つの特徴を伴う少なくとも１つの画像において少なくとも１つの被写体の特徴とマッチングするような、マッチング処理を含む。
【００７７】
画像処理方法は、画像処理方法の結果に基づいた距離変換画像を生成するために用いられることができる。
【００７８】
画像処理方法の使用例は、異なる自由度が反復的に改良され、その反復の質が、例えば距離変換画像を含むような、予め定義されたコスト関数によって測定されるような国際的に登録されたアルゴリズムを実行することを含む。国際的に登録されたアルゴリズムに係る反復は、パーティクルフィルタアプローチにより、制御され得る。
【００７９】
例えば、第２の態様に沿って、画像処理方法を実行する、第１の態様のように携帯電話、文房具または頒布されたコンピュータシステムのような装置は、少なくとも１つの画像を撮影するための撮影装置に関連し、さらに方法は、撮影装置で少なくとも１つの画像を撮影する手段及び撮影装置の内部パラメータについての推定を供給する手段を具備する。
【００８０】
画像処理方法についての“画像処理演算子を制約された信頼ある自由度”の使用は、上記に示したように、画像と被写体の表現との間の対応のマッチングの間にできる。画像処理演算子の制約された信頼性のある自由度は、請求項１においてクレームされるここに請求されるような、装置の位置および方向を決定する方法から完全に分離、かつ、独立的に改善され得る。
【００８１】
この点において、また図９を参照する。この図は、特に本発明の第２の態様に関連する。カメラを装備した装置の座標系に対応した重力ベクトルの方向による画像処理フィルタの変化を示す。この例において、装置は、上で記載されたようにハンドヘルド装置である。重力ベクトルは、装置内に統合された重力センサまたは加速度センサおよび／もしくはジャイロスコープのような重力ベクトルについての誘導を示すセンサの組み合わせによって、供給される。
【００８２】
請求項１においてクレームされる、装置の位置および方向を決定することに関する第１の態様と関連して、ここで記載されたいかなる実施形態と態様もまた、この第２の独立した態様を有する各実施形態において結合され得る。従って、この出願において含まれるような下位請求項および更なる全ての実施形態はまた、この第２の独立な態様と結合される。
【００８３】
いくつかの自由度における信頼性の情報は、高い信頼性（いわゆる自由度の信頼性）を伴う自由度によって制約される形態学的操作に限定されずに、いずれかの解析、記述および／もしくはチェック、または、信頼性ある自由度もしくは姿勢最適化の間反復的に使用されるより信頼できる全６自由度姿勢にも従属している、チェックおよび付加的記述に限られない、マッチングを適用および／または制約するために用いられる。１つの例は、画像内の検索領域以内におけるエッジための候補としての多数の勾配最大に限られないような、投影された線、画像への表現の投影された部分とほぼ似た方向１つの候補について垂直に沿った検索に限らないような、画像における対応可能な候補からのマッチング処理において選択することによって達成される。
【００８４】
図４によれば、正確にマッチした対応の総量を増加するため、投影された線Ｌと同様の方向を伴う最も大きい勾配最大ＧＭが、対応点として選択される。
【００８５】
画像への被写体ＯＢについての表現Ｒの投影された一部の方向は、投影のために使用された姿勢に高く依存する。これは、図５による例の参照を用いてより詳細に説明される。即ち、画像における表現Ｒの投影された３Ｄ線（図５Ａにおける線Ｌのような）の方向は、投影のため使用された姿勢に高く依存する。上述のように、正しい対応を決定するための勾配最大の方向の比較についての付加的基準は、投影姿勢がすでに粗く正しければ、一般的に結果を改善するだろう。一般に、回転における誤りは、変換における誤りよりも、投影線の方向の誤りにおいてより大きな衝撃であろう。本発明についての提案されたアプローチにおいて、例えば、回転の２つの角度は、すでに信頼できるように知られている。したがって、この付加的なチェックは、一般的に、提案されたアプローチに対して、より高い正しい対応についての総量になり、かつ、このように、図５Ｃに見られるように、姿勢推定を改善する。本発明の提案された方法が使用されないなら、図５Ａ、５Ｂ及び５Ｄは不マッチ（false  matching）の可能性を示す。
【００８６】
図５Ａは、可能な不マッチの例を描く。信頼のある自由度の制約された姿勢推定なし：６自由度姿勢推定において、誤りは６自由度のいずれかにおいて起こる。この図は、回転についての自由度の１つにおける姿勢推定において、可能な誤りを示している。信頼のある自由度の制約されたマッチングなし：閉じたまたは最大の勾配最大を選択することは、間違ったマッチにおいてもたらされる。
【００８７】
図５Ｂは、もう１つの可能な不マッチの例を描く。信頼のある自由度の制約された姿勢推定：もし、姿勢推定が信頼性のない自由度に制約されるなら、姿勢推定はより堅牢（ロバスト）になる。この図は、図５Ａに示したような回転における誤りが、例えば、信頼性ある重力ベクトルを供給するセンサによって与えられる、この自由度における信頼性あるセンサデータを使用することによって取り除かれることを示す。信頼のある自由度の制約されたマッチングなし：より堅牢なセンサ制約された姿勢推定のおかげで、一般的にマッチングはもっと正しいマッチをもたらす。もし最も近いまたは最大勾配の最大がマッチとして選択されるならば、とにかくマッチングは依然、間違ったマッチをもたらすであろう。
【００８８】
図５Ｃは、本発明の提案された方法の結果により、可能な正しいマッチング例を描く。信頼のある自由度の制約された姿勢推定とセンサ制約されたマッチング：もし、信頼性ある自由度に誤りを加えない、制約された姿勢推定に対し、付加的ならば、マッチングは、信頼性がある自由度に依存するチェックを適応させ、正しいマッチが更に増加され得る。この図は、重力‐制約姿勢推定において、投影として同様の方向をもった次もしくは最大勾配の最大値を選択するために適応させることが、正しいマッチを増加させることを示す。
【００８９】
図５Ｄは、可能な不マッチの例を描く。信頼のある自由度の制約された姿勢推定なし：６自由度姿勢推定において、誤りは６自由度のいずれかの場合において起こり得る。この図は回転の自由度の１つにおける姿勢推定において、可能な誤りを示している。信頼のある自由度の制約されたマッチング：もし、適応されセンサ制約されたマッチが、センサ制約のない姿勢推定において使用されるならば、それらは間違ったマッチをもたらすかもしれない。この図は、回転制限のない姿勢推定（例えば、重力‐制約姿勢推定）において同様な方向に基づくマッチングを適用することが、間違ったマッチを再度もたらすことができるということを付加的に示す。
【００９０】
したがって、異なる候補から正しい画像対応を選択するための基準として、デジタル表現の投影された部分の方向を用いるために、投影姿勢は、正しい選択をもたらすために、粗く正すことが必要である。一般的に、回転における姿勢の誤りは、変換における姿勢誤りよりも、投影された線の方向の誤りにおいて、より大きな衝撃を持つであろう。信頼のある重力測定値についての先に与えられた例において、２つの回転自由度は、すでに確実に知られる。したがって、この付加的チェックは、一般的に、提案されたアプローチのための正確な対応についてのより高い総量をもたらし、このように更なる姿勢推定を改善する。
【００９１】
位置決めが成功したかどうか判定するために、採点法は、非特許文献１１と同様な規格化された点数を計算するシステム、正しい姿勢についての確率を表現すること、および点数についての信頼性を示す比率に導入されてもよい。点数を計算するために、評価すべき姿勢に基づいた画像において、被写体についての投影された表現の方向は、画像における投影についての位置における画像において、見出された方向と比較される。点数のための投影の方向を単に使用することは、単純な被写体に係る必要な表現を維持する。この計算は、画像における投影の方向と投影の点における画像における方向との間の内積の使用に限定されずに、実行され得る。画像における投影の各々の点にて、類似性を計算するために、標準化されたドット積（dot  product）が、使用されても良い。このことは、類似性測定照明不変を作り、かつ被写体サンプルの表現を維持する。また、被写体の表現の投影の極性についての知識が仮定されることがないので、ドット積の絶対値は類似測定（similarity  measure）のために使用されるであろう。最終の点数を計算するために、画像における全ての投影された点についての標準化されたドット積の絶対値が積算され、かつその平均が、これら全ての点にわたって計算される。加えて、画像における方向の計算に影響することができ、それゆえ画像における誤った方向を導く、また、いくつかの点の方向を抑えるために導くだろう画像におけるノイズに対して堅牢であるために、点数（下記数１２参照）は、定義されたノイズ閾値より多きいい画像勾配に限られないような、いくつかの閾値を越えるそれらの点のみにわたって計算される。
【数１２】
2015532077.tif 000014
そのｐは投影の方向であり、ならびに点ｋおよびｎにおける画像に対応する方向ｏは、点数に貢献する点ｋの数である。
【００９２】
もし、方向に加えて、被写体の表現が、極性またはテクスチャの情報に限られないような更なる情報を許すならば、この情報は点数関数に導入され得る。
【００９３】
もし、点数が画像における全ての投影された点のいくつかのみにわたって計算されるなら、われわれは、この比率（下記数１３参照）は、点数の信頼性を示す付加的値において計算され得るということを提案する。
【数１３】
2015532077.tif 000015
【００９４】
もし、画像における、全ての投影された点についての数点のみが、点数に計算されるために使用されるなら、点数は、より高く、しかしながら良い位置決めを確実に示さず、多くの点を越えて計算される点は、より信頼できる良い姿勢を表すと同時に、ノイズに起因して低いかもしれない。したがって、成功した位置決めに対して、最終的に判定するためには、我々は、点数および比率が共に考慮され得るということを提案する。
【００９５】
点数および／または比率は、上述の姿勢推定処理において実行される最適化の間に、使われる費用関数の一部として含まれることを留意すべきである。
【００９６】
１つまたは多数の良い位置決めが、本発明の提案されたアプローチに基づいて見出されると、これらのよい位置決めは、即時追跡またはエッジ−ベースの追跡に限らず、１つまたは多数の良い初期の位置決めに依存する、いずれかのフレームからフレームの追跡をするアプローチを初期化するために用いられる。
【００９７】
即時追跡のためのアプローチは、特徴記述子アプローチの使用または２つのフレーム間の相対的な移動についての計算に限らない。特徴記述子アプローチにおいて、特徴は被写体空間において対応する表現を伴う画像空間において記述され、ならびに視界の最終の姿勢は、該画像空間における視界およびそれらの対応する表現において、検出されおよびマッチされた特徴に基づいて、直接的に計算され得る。これらのアプローチのため、記述的画像特徴は必要とされ、ならびに該特徴は、対応するそれらの特徴記述子に基づいて、画像および特徴の存在において堅牢に検出され得る。本発明の背景において、これらのアプローチを実行するために、これらの特徴は先ず抽出される必要があり、それら表現対応は計算され、かつ特徴マップ（図８中のブロック１６を参照のこと）として対応する特徴記述子と共に格納される。特徴マップについての計算は、重力配列特徴に限らないような異なる自由度における異なる信頼度についての知識に注意し、かつ使用することができる。もし、被写体の存在の表現が、ＣＡＤモデルまたはポリゴナルに限らない、既知のカメラ姿勢およびカメラの内部パラメータの下で与えられた画像に対応する３Ｄ表現についての計算を許すよう存在するなら、アプローチに基づいた特徴は、初期化され、かつ丁度１つの位置決め視野に基づいて、実行され得る。このため記述的特徴は、よく位置決めされた視界において抽出され、対応する３Ｄ表現は、この姿勢およびカメラ内部に基づいて計算され、かつ位置決めに基づいた更なる特徴とマップのための初期マップとして使用される。特徴マップを計算するための別の方法は、２つまたは多数の位置決め視野に基づく。画像の特徴は、本発明において提案されたアプローチによって位置決めされた視界において、抽出されおよびマッチされる。マッチされた特徴のために、それらの３Ｄ表現は、三角測量に基づいて計算される。３Ｄ表現と特徴との間のこれらの対応は、初期マップとして格納され、かつ位置決めに基づいた更なる特徴とマップのために使用される。この位置決めは、異なる自由度についての異なる信頼度をよく留意するように、注意かつ使用することができる。初期マップが存在すると、マップは、新フレームにおける更なる位置決めおよび場面（ＳＬＡＭ）の新しい一部の探索の間、拡張され得る。
【００９８】
２フレーム間の相対的な移動が計算されるアプローチにおいて、本発明において提案されたアプローチにより、計算される第１フレームについての姿勢は、第２のフレームについての最終姿勢を供給する第１と第２のフレーム間からもたらされる相対的な移動と結合される。２フレーム間の相対的な移動の計算は、場面のその他の視界において、容易にマッチされ、検出され、若しくは追跡され得る、視界に１つにおいて、いずれかの種類の特徴の検出に限られずに、実行され得る。
【００９９】
これらの画像と、画像の対応とに基づいて、スケール次第の相対的な移動が、計算される。回転におけるそのスケールは、画像と、本発明において提案された位置決めにおいて利用できる被写体の表現との間の対応によって計算される。
【０１００】
エッジおよび線に限定されないような、この提案のために必要な位置決めフレームに係る画像における投影された表現についての対応はまた、別のフレームにおいてマッチされ、検出され、もしくは追跡され得る特徴として直接的に使用される。これは、その他の画像および被写体の対応する表現において、マッチされた画像対応に基づいた直接位置決めを許す。標準のエッジ−ベースの追跡アプローチは、追跡アプローチのカテゴリに分類される。
【０１０１】
実施形態によれば、フレームツーフレーム（frame  to  frame）追跡に向けて、本発明のアプローチはまた、適用され得る。即ち提案されたアプローチに基づいて見出された最後のフレームについての良い位置決めは、フレームツーフレーム（frame  to  frame）追跡コンテクストにおいて、現行フレームのために初期の粗い姿勢として使用され得る。いずれかの位置決めシステムまたは現行のフレームの姿勢についての信頼性ある自由度を供給するセンサは、現行ハンドヘルドによって供給される重力方向の測定に限らずに、最後のフレームから粗い初期姿勢を更新することができ、ならびにこの特許のアプローチは、最後の位置決めに対して適用され得る。
【０１０２】
本発明による方法において、相対的にセンサから推定されたＧＰＳデータの近傍におけるＧＰＳデータサンプルの組によって、ＧＰＳデータが、置換され得るということを、留意されるべきである。したがって、姿勢推定は、ＧＰＳセンサも正確さによるサンプルの数から計算された初期姿勢の推定を試行することに基づかれる。サンプルおよびそれらが使用された秩序は、いくつかの分布、例えばセンサデータにおいて集中するガウシアン分布により選択され得る。同様の発想は、磁気計データのような他のセンサデータについて適用され得る。
【０１０３】
本発明に係る方法において、センサデータは、視覚データによって置換され得るということを留意すべきである。即ち例えば、加速度センサによる、または加速度センサおよびジャイロスコープの組み合わせにより、なされた重力測定は、線を消去することによって置換され、ならびに、ＧＰＳデータは、キーフレーム（ｋｅｙｆｒａｍｅ）に基づいた位置推定によって置換され得る。さらに、本発明を用いて提案された位置決め方法は、いずれかの他の視覚に基づいた、視覚なしに基づいた、または視覚と視覚なしに基づいた位置決め方法の組み合わせと結合され得るということを留意されるべきである。
【符号の説明】
【０１０４】
ＧＶ  重力ベクトル
ＩＭ  画像
ＯＢ  オブジェクト
【図７Ｂ】
2015532077.tif 000016
【図１】
2015532077.tif 000017
【図２Ａ】
2015532077.tif 000018
【図２Ｂ】
2015532077.tif 000019
【図２Ｃ】
2015532077.tif 000020
【図２Ｄ】
2015532077.tif 000021
【図３】
2015532077.tif 000022
【図４】
2015532077.tif 000023
【図５Ａ】
2015532077.tif 000024
【図５Ｂ】
2015532077.tif 000025
【図５Ｃ】
2015532077.tif 000026
【図５Ｄ】
2015532077.tif 000027
【図６Ａ】
2015532077.tif 000028
【図６Ｂ】
2015532077.tif 000029
【図７Ａ】
2015532077.tif 000030
【図８Ａ】
2015532077.tif 000031
【図８Ｂ】
2015532077.tif 000032
【図９】
2015532077.tif 000033
【国際調査報告】
2015532077.tif 000034
2015532077.tif 000035