(57)【要約】特徴部抽出部（１２１１）は、画像入力部（１１）で撮影した視野内から特徴部を抽出し、重みづけ部（１２１２）は、その抽出された特徴部の抽出条件に応じた重みを算出して、その特徴部を重みづけする。位置姿勢取得部（１２１３）は、その重みづけされた特徴部から、基準座標系での画像入力部（１１）、ひいては当該画像処理装置（１０）の位置及び姿勢を取得する。
2005010817.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影する撮像装置と、
上記撮像装置で撮影した視野内から特徴部を抽出する特徴部抽出部と、
上記特徴部抽出部で抽出された特徴部の抽出条件に応じた重みを算出して、その特徴部を重みづけする重みづけ部と、
上記重みづけ部で重みづけされた上記特徴部から、基準座標系での上記撮像装置の位置及び姿勢を取得する位置姿勢取得部と、
を具備することを特徴とする画像処理装置。
【請求項２】
上記特徴部抽出部が抽出する特徴部は、上記撮像装置で撮影した視野内に含まれる位置及び姿勢が既知のマーカであり、
上記重みづけ部は、上記マーカの位置、大きさ、歪み量、及び、上記撮像装置に対する姿勢のうち、少なくとも一つに基づいて重みを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記重みづけ部は、上記マーカの位置が上記撮像装置で撮影した視野内の中央に近いほど高い重みの値とすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記重みづけ部は、上記マーカが上記撮像装置で撮影した視野内で大きいほど高い重みの値とすることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
上記重みづけ部は、上記マーカの歪み量が小さいほど高い重みの値とすることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
上記重みづけ部は、上記マーカの上記撮像装置に対する姿勢が正面に近いほど低い重みの値とし、直角に近いほど高い重みの値とすることを特徴とする請求項２に記載の画像処理装置。
【請求項７】
上記特徴部抽出部が抽出する特徴部は、上記撮像装置で撮影した視野内に含まれる自然特徴点であり、
上記重みづけ部は、上記自然特徴点の位置、特徴度を示す量、及び、トラッキングの連続数のうち、少なくとも一つに基づいて重みを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記重みづけ部は、上記自然特徴点の位置が上記撮像装置で撮影した視野内の中央に近いほど高い重みの値とすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
上記自然特徴点の特徴度を示す量は、自然特徴点周辺の分散共分散行列の最小固有値、及び、画素値の強度のうち、少なくとも一つであることを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
上記重みづけ部は、上記自然特徴点のトラッキングの連続数が大きいほど高い重みの値とすることを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
上記特徴部抽出部は、上記撮像装置で撮影した視野内に含まれる自然特徴点を抽出して、その自然特徴点のオートキャリブレーションを実施することにより、オートキャリブレーションされた点を上記特徴部として抽出し、
上記重みづけ部は、上記特徴部抽出部による自然特徴点のオートキャリブレーション時の条件に基づいて重みを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
上記自然特徴点のオートキャリブレーション時の条件は、光線のなす角、光線間の最短距離、利用する自然特徴点の位置、利用する自然特徴点の特徴度を示す量、及び、利用する特徴点のトラッキングの連続数のうち、少なくとも一つであることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
上記重みづけ部は、上記光線のなす角が直角に近いほど高い重みの値とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
上記重みづけ部は、上記光線間の最短距離が短いほど高い重みの値とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
上記重みづけ部は、上記利用する自然特徴点の重みの値が高いほど高い重みの値とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
上記特徴部抽出部が抽出する特徴部は、上記撮像装置で撮影した視野内に含まれる自然特徴線分であり、
上記重みづけ部は、上記自然特徴線分の位置、長さ、直線からのずれ量、及び、トラッキングの連続数のうち、少なくとも一つに基づいて重みを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
上記重みづけ部は、上記自然特徴線分の位置が上記撮像装置で撮影した視野内の中央に近いほど高い重みの値とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
上記重みづけ部は、上記自然特徴線分の長さが長いほど高い重みの値とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
上記重みづけ部は、上記自然特徴線分の直線からのずれ量が少ないほど高い重みの値とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
上記重みづけ部は、上記自然特徴線分のトラッキングの連続数が大きいほど高い重みの値とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項２１】
上記特徴部抽出部は、上記撮像装置で撮影した視野内に含まれる自然特徴線分を抽出し、その自然特徴線分のオートキャリブレーションを実施することにより、オートキャリブレーションされた線分を上記特徴部として抽出し、
上記重みづけ部は、上記特徴部抽出部による自然特徴線分のオートキャリブレーション時の条件に基づいて重みを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項２２】
上記自然特徴線分のオートキャリブレーション時の条件は、光線のなす角、同一視する際のずれ量、利用する自然特徴線分の位置、長さ、直線からのずれ量、トラッキングの連続数のうち、少なくとも一つであることを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
上記重みづけ部は、上記光線のなす角が直角に近いほど高い重みの値とすることを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
上記重みづけ部は、上記同一視する際のずれ量が小さいほど高い重みの値とすることを特徴とする請求項２２に記載の画像処理装置。
【請求項２５】
上記重みづけ部は、上記利用する自然特徴線分の重みの値が高いほど高い重みの値とすることを特徴とする請求項２２に記載の画像処理装置。
【請求項２６】
上記特徴部抽出部が、上記撮像装置で撮影した視野内から複数の特徴部を抽出したとき、
上記重みづけ部は、それら複数の特徴部それぞれについて個別に重みを算出して重みづけを行い、
上記位置姿勢取得部は、重みづけされた複数の特徴部から、上記撮像装置の位置及び姿勢を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項２７】
各特徴部は、位置及び姿勢が既知のマーカ、自然特徴点、自然特徴点をオートキャリブレーションした点、自然特徴線分、及び、自然特徴線分をオートキャリブレーションした線分の何れかであり、
上記重みづけ部は、マーカの位置、マーカの大きさ、マーカの歪み量、マーカの上記撮像装置に対する姿勢、自然特徴点の位置、自然特徴点の特徴度を示す量、自然特徴点のトラッキングの連続数、自然特徴点のオートキャリブレーション時の条件、自然特徴線分の位置、自然特徴線分の長さ、自然特徴線分の直線からのずれ量、自然特徴線分のトラッキングの連続数、及び、自然特徴線分のオートキャリブレーション時の条件のうち、少なくとも一つに基づいて重みを決定することを特徴とする請求項２６に記載の画像処理装置。
【請求項２８】
各特徴部は、位置姿勢が既知のマーカ、自然特徴点、自然特徴点をオートキャリブレーションした点、自然特徴線分、及び、自然特徴線分をオートキャリブレーションした線分の何れかであり、
上記位置姿勢取得部は、特徴部の種別に応じて、更に重みづけを行った上で、位置及び姿勢を計算することを特徴とする請求項２６に記載の画像処理装置。
【請求項２９】
上記重みづけ部は、マーカの位置、マーカの大きさ、マーカの歪み量、自然特徴点のオートキャリブレーション時の条件、及び、自然特徴線分のオートキャリブレーション時の条件のうち、少なくとも一つに基づいて重みを決定し、
上記位置姿勢取得部は、上記マーカの位置、マーカの大きさ、及びマーカの歪み量の何れかに基づいて重みを決定したときが最も高く、上記自然特徴線分のオートキャリブレーション時の条件に基づいて重みを決定したときが次に高く、上記自然特徴点のオートキャリブレーション時の条件に基づいて重みを決定したときが最も低い重みを、上記重みづけ部で重みづけされた特徴部に更に付すことを特徴とする請求項２８に記載の画像処理装置。
【請求項３０】
上記位置姿勢取得部での計算は、上記重みづけされた複数の特徴部それぞれについて取得した位置及び姿勢を、加重平均すること、及び、過去情報からの予測を含む計算を行うこと、の一方により、最終的な撮像装置の位置及び姿勢を算出することを特徴とする請求項２６乃至２９の何れかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】  本発明は、被写体を撮影して得られた画像を処理する画像処理装置に関するものである。
【背景技術】  一般に、カメラ等の撮像装置で光学的に取得した画像には歪が存在する。そこで、この歪を除去する手法として、従来、様々な技術が提案されている。しかしながら、例えそのような技術を適用したとしても、画面周辺ほど誤差を含むことになる。
また、画像は離散的な情報であり、遠方に存在する点が画像上１画素ずれるだけで、実空間の誤差は大きなものとなる。
このため、画像内での位置及び大きさは、カメラの位置及び姿勢を計算する上で非常に重要である。
従来、カメラの位置及び姿勢情報を得るための手法も多数提案されている。
例えば、ＵＳＰ  ６，５７７，２４９  Ｂ１には、マーカを利用した位置姿勢計算が開示されている。これは、カメラの概略的な位置及び姿勢を求めるために、基準マーカに内包される情報を読み込むことで、基準マーカ及びその周辺に配置されたマーカ及び／又は特徴部の位置を確認できるという技術である。このＵＳＰに開示の技術によれば、４点以上のマーカ及び／又は特徴部の位置を確認することで、この情報を用い、カメラの位置及び姿勢を推定することが可能となるものである。また、このＵＳＰには、撮影画像上の対応位置に被写体の各部の関連情報を重畳表示する関連情報呈示装置において、その関連情報を重畳表示する際に、そのようにして推定したカメラの位置姿勢に基づいて、つまり、カメラの視野に応じて、呈示する関連情報の重畳表示位置を決定することも示されている。
また、ＴＶＲＳＪ（日本バーチャルリアリティ学会論文誌）Ｖｏｌ４，Ｎｏ．４，１９９９，ｐｐ．６０７−６１６”マーカ追跡に基づく拡張現実感システムとそのキャリブレーション（Ａｎ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｓｙｓｔｅｍ  ａｎｄ  ｉｔｓ  Ｃａｌｉｂｒａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  Ｍａｒｋｅｒ  Ｔｒａｃｋｉｎｇ）”にも、マーカのみを利用した位置姿勢計算が開示されている。
また、ＵＳ  ２００２／０１９１８６２  Ａ１には、自然特徴点（Ｎａｔｕｒａｌ  Ｆｅａｔｕｒｅｓ：ＮＦ）によるカメラの位置及び姿勢計算が開示されている。これは、図１Ａに示すように位置及び姿勢の既知の形状Ｍを使用し、図１Ｂに示すような手順で、カメラの位置及び姿勢を算出し、さらには、各特徴点の三次元位置も算出するものである。
まず、ステップＳ１０１として次の処理を実行する。即ち、初期位置ＰＯ０において既知形状Ｍを認識することで、カメラ１００の位置及び姿勢を算出する。その後、その初期位置ＰＯ０から上記既知形状Ｍを画面（視野）に捉えたまま、連続的にカメラ１００を移動して行く。そして、位置ＰＯ１に移動したときに、同様に上記既知形状Ｍを認識することで、該位置ＰＯ１におけるカメラ１００の位置及び姿勢を算出する。
次に、ステップＳ１０２として次の処理を実行する。即ち、上記算出した位置ＰＯ０及びＰＯ１におけるカメラ１００の位置及び姿勢より、位置ＰＯ０と位置ＰＯ１との間の基線長ＢＬ１が推定できる。よって、三角測量の原理により、連続的に画面に捉えられている図１Ａに黒丸で示す各特徴点の三次元位置を算出する。
その後、ステップＳ１０３として次の処理を実行する。即ち、その位置ＰＯ１から連続的にカメラ１００を移動して行く。すると、位置ＰＯ２に移動したとき、上記既知形状Ｍを画面に捉えられなくなる。しかしながら、上記算出された各黒丸特徴点の位置から、そのような既知形状Ｍを画面に捉えない位置ＰＯ２においても、そのカメラ１００の位置及び姿勢を算出できる。
よって、ステップＳ１０４として次の処理を実行する。即ち、位置ＰＯ１と位置ＰＯ２の間の基線長ＢＬ２が算出できる。そして、図１Ａに白丸で示すような上記位置ＰＯ０では画面に捉えられていなかった特徴点についても、三次元位置が算出できる。
また、ＵＳ  ２００２／０１９１８６２  Ａ１には、オートキャリブレーション（ＡＣ）手法が従来技術として開示されている。
さらに、ＩＳＭＡＲ２００１  ｐｐ．９７−１０３”Ｅｘｔｅｎｄｉｂｌｅ  Ｔｒａｃｋｉｎｇ  ｂｙ  Ｌｉｎｅ  Ａｕｔｏ−Ｃａｌｉｂｒａｔｉｏｎ”では、自然特徴線分をトラッキングし、ＡＣすることによるカメラの位置及び姿勢計算が開示されている。
上述したように、上記ＵＳＰ  ６，５７７，２４９  Ｂ１では、マーカを利用した位置及び姿勢計算が開示されている。しかしながら、例えば、大きく歪む角度で見えたマーカから計算した位置及び姿勢は、大きな誤差を含んでいる。また、複数のマーカが存在しても、好条件で捉えられたマーカから算出した位置及び姿勢情報と劣悪な条件下で捉えられたマーカから算出した位置及び姿勢情報とが同等に扱われるため、誤差が大きくなる。
また、上記ＵＳ  ２００２／０１９１８６２  Ａ１では、ＮＦ／ＡＣによるカメラの位置及び姿勢計算が開示されている。しかしながら、最終的に位置及び姿勢を計算するカルマンフィルタ（ＫＦ）へ入力するＮＦの位置情報は、画面内のどこであっても、また、ＮＦの特徴度の大小が異なっていても、同じように扱われている。そのため、誤差が大きくなる。また、該ＵＳ出願では、ＡＣ手法が従来技術として開示されている。しかしながら、ＡＣ時の条件が異なるにもかかわらず、ＫＦへの入力としては同じように扱われていたため、誤差が大きくなる。
さらに、上記ＵＳＰ  ６，５７７，２４９  Ｂ１及び上記文献ＴＶＲＳＪでは、マーカを利用した位置及び姿勢の計算が開示され、上記ＵＳ  ２００２／０１９１８６２  Ａ１ではＮＦ／ＡＣを利用した位置及び姿勢計算が開示されている。しかしながら、マーカ及びＮＦ／ＡＣが混在する環境での位置及び姿勢計算については、ＡＣの基準としてマーカを利用しているに過ぎず、両者が混在する環境で、両者を利用した位置及び姿勢計算に関する開示はない。
また、上記文献ＩＳＭＡＲ２００１では、自然特徴線分をトラッキングし、ＡＣすることによるカメラの位置及び姿勢計算が開示されている。しかしながら、線分の状態（画面内の位置、長さ、直線からのずれの大きさ）が異なっていても、最終的に位置及び姿勢を計算するＫＦへ入力する際には、同じ重要度で扱われていたため、誤差が大きくなる。
【発明の開示】
本発明の目的は、撮像装置の位置姿勢を精度良く求めることが可能な画像処理装置を提供することにある。
本発明の一態様によれば、対象物を撮影する撮像装置と、上記撮像装置で撮影した視野内から特徴部を抽出する特徴部抽出部と、上記特徴部抽出部で抽出された特徴部の抽出条件に応じた重みを算出して、その特徴部を重みづけする重みづけ部と、上記重みづけ部で重みづけされた上記特徴部から、基準座標系での上記撮像装置の位置及び姿勢を取得する位置姿勢取得部と、を具備する画像処理装置が提供される。
【図面の簡単な説明】  図１Ａは、ＵＳ  ２００２／０１９１８６２  Ａ１に開示のＮＦによるカメラの位置姿勢計算を説明するための模式図である。
図１Ｂは、そのＮＦによるカメラの位置姿勢計算手法のフローチャートを示す図である。
図２は、本発明の一実施例に係る画像処理装置の構成を示す図である。
図３は、入力画像の例を示す図である。
図４は、一実施例に係る画像処理装置の画像処理部の動作フローチャートを示す図である。
図５Ａは、入力画像上のエリア区分を示す図である。
図５Ｂは、各区分位置に対する重みのテーブルの例を示す図である。
図６Ａは、「光線のなす角」及び「光線間の最短距離」を説明するための図である。
図６Ｂは、図６Ａ中の３次元空間の点Ｐの近傍を拡大して示す図である。
図７は、特徴部の種別による重みのテーブルの例を示す図である。
【発明を実施するための最良の形態】  本発明の一実施例に係る画像処理装置１０は、図２に示すように、例えばカメラ付きＰＤＡの形態で提供される。この画像処理装置１０は、撮像装置である画像入力部１１と、該画像入力部１１で入力された画像を処理する情報処理部１２と、該情報処理部１２での処理結果として得られた情報を表示する表示部１３とから構成されている。なお、上記情報処理部１２は、画像処理部１２１と表示画像生成部１２２とを含んでおり、画像処理部１２１は、特徴部抽出部１２１１、重みづけ部１２１２、及び位置姿勢取得部１２１３を有している。
ここで、画像処理装置１０においては、画像入力部１１により、例えば、図３に示すような入力画像１１Ａを得て、それを情報処理部１２の画像処理部１２１に入力するようになっている。なお、図３に示す入力画像１１Ａの例は、配管１、柱２、壁３等を備える工場内等を撮影した場合で、マーカ４が柱２や壁３に配されているものである。このマーカ４には、上記ＵＳＰ  ６，５７７，２４９  Ｂ１や上記文献ＴＶＲＳＪに開示されたような、当該マーカの位置及び姿勢情報が符号化されたパターンが記されたものである。
従って、上記画像処理部１２１の特徴部抽出部１２１１は、予め記憶されたマーカ形状の抽出に関する情報（パターン抽出プログラム、パラメータ等）に基づいて、当該マーカの像を抽出する。位置姿勢取得部１２１３は、その特徴部抽出部１２１１が抽出したマーカの像より、当該マーカの位置及び姿勢情報を取得する。そして、それに基づいて、画像入力部１１つまりは当該画像処理装置１０の当該マーカに対する位置及び姿勢を検出する。また、このとき、図３に示すように、入力画像１１Ａには複数のマーカ４が含まれている。各マーカの信頼度は、その入力画像内の位置や、入力画像上での大きさ等により、異なる。そこで、重みづけ部１２１２により、上記特徴部抽出部１２１１が抽出した各マーカの像について重みづけを行う。位置姿勢取得部１２１３では、それらの重みづけされたマーカの像に基づいて、基準座標系での上記画像入力部１１の位置及び姿勢を検出することになる。
さらに、画像処理部１２１は、上記マーカ４のパターンにより特定される、予め該画像処理装置１０が記憶している、あるいは外部サーバに記憶されている、画像、３Ｄモデル、動画、音声、等の関連情報を読み出す機能を備えている。
そして、上記情報処理部１２の表示画像生成部１２２は、上記画像処理部１２１が読み出したその関連情報から、上記画像処理部１２１で検出した画像入力部１１の位置及び姿勢つまり当該画像処理装置１０の位置及び姿勢に応じた形態の重畳用画像を生成する。そして、上記画像入力部１１による撮影で得られた実際の画像（入力画像１１Ａ）上へ、その生成した重畳用画像を重畳することで、図２に示すような表示画像１３Ａを生成して、それを表示部１３にて表示する。
さらに、上記特徴部抽出部１２１１は、そのようなマーカ以外にも、上記ＵＳ  ２００２／０１９１８６２  Ａ１に開示されているような自然特徴点（ＮＦ）及び上記文献ＩＳＭＡＲ２００１に開示されているような自然特徴線分を、特徴部として抽出する。この場合、上記重みづけ部１２１２では、それらの特徴部についても重みづけを行う。そして、上記位置姿勢取得部１２１３は、上記重みづけされたマーカと、それら重みづけされたＮＦ及び自然特徴線分と、に基づいて、画像入力部１１の位置及び姿勢を検出する。
このような画像処理装置１０の画像処理部１２１の動作を、図４のフローチャートを参照して、更に詳細に説明する。即ち、まず、特徴部抽出部１２１１により、画像入力部１１から入力された入力画像１１Ａ内より、特徴部としてマーカを抽出する（ステップＳ１１）。そして、重みづけ部１２１２により、マーカの重みを算出する（ステップＳ１２）。
この場合、入力画像１１Ａ内におけるマーカの位置、大きさ、歪み量、マーカの撮像装置に対する角度のうち、少なくとも一つによって重みを計算する。この計算は、関数式を用いて正確な値として算出することもできるが、複数段階の値としてテーブルにより簡易に求めるようにしても良い。
例えば、マーカの位置による重みの場合には、図５Ａに示すように、入力画像１１Ａ上の位置をＡ〜Ｄの４つのエリアに区分し、図５Ｂに示すような各区分位置に対する重みの値をテーブルとして用意しておく。これにより、上記抽出したマーカがどの区分位置に存在するかによって、簡単に重みを求めることができる。ここで、入力画像１１Ａの中央部に近い位置ほど高い重みの値となっているのは、画像入力部１１の光学系の歪みなどにより、周辺部へ行くほど取得した画像に歪みが存在し、誤差を含むからである。このような重みづけを行うとすると、図３の例では、パターン「Ａ」を有するマーカは「０．８」、パターン「Ｌ」を有するマーカは「１．０」、パターン「Ｚ」を有するマーカは「０．４」の重みの値となる。
なお、入力画像１１Ａ内におけるマーカの大きさによって重みを計算する場合には、それが大きいほど高い重みの値とし、マーカの歪み量によって重みを計算する場合には、それが小さいほど高い重みの値とする。
また、マーカの撮像装置に対する角度によって重みを計算する場合は、撮像装置に対して正面付近にあるときには低い重みの値とし、角度が９０度に近づくほど高い重みの値とする。マーカの撮像装置に対する角度は、マーカの縦横比から概算しても良いし、マーカの３次元姿勢まで算出した角度を利用しても良い。
こうして、入力画像１１Ａ内の全てのマーカについて評価が終了するまで（ステップＳ１３）、マーカの重み算出を繰り返す。そして、全てのマーカを評価したならば、位置姿勢取得部１２１３により、それら重みづけされた特徴部から、画像入力部１１つまりは当該画像処理装置１０の位置及び姿勢を算出する（ステップＳ１４）。
また、特徴部抽出部１２１１により、画像入力部１１から入力された入力画像１１Ａ内より、特徴部としてＮＦを抽出及びトラッキングする（ステップＳ２１）。このＮＦの抽出及びトラッキングの詳細については、上記ＵＳ  ２００２／０１９１８６２  Ａ１に開示されている。そして、重みづけ部１２１２により、ＮＦの重みを算出する（ステップＳ２２）。
この場合、入力画像１１Ａ内におけるＮＦの位置、ＮＦの特徴度を示す量、トラッキングの連続数のうち、少なくとも一つによって重みを計算する。例えば、入力画像１１Ａ内におけるＮＦの位置によって重みを計算する場合には、それが入力画像１１Ａ内の中央に近いほど高い重みの値とする。なお、上記ＮＦの特徴度を示す量は、ＮＦ周辺の分散共分散行列の最小固有値、画素値の強度のうち、少なくとも一つによって決定する。また、トラッキングの連続数によって重みを計算する場合には、連続数が大きいほど高い重みの値とする。画像トラッキングでは、撮像装置が移動している場合などの際に、非常に劣化した状態の画像が入力画像となることがあるが、これは通常、１フレーム程度で、前後は十分処理できる画像である。このような場合に、劣化した入力画像上でトラッキングが不連続になったとしても、次のフレームでトラッキングできれば、トラッキング自体を継続することは可能である。この際、連続数は一旦リセットされる。つまり、連続数が大きいことは、上記のように画質的に劣化した入力画像であってもトラッキングできたことになり、ＮＦとしての信頼性が高いことを意味する。この重みの計算も、関数式を用いて正確な値として算出することもできるが、複数段階の値としてテーブルにより簡易に求めるようにしても良い。
こうして、入力画像１１Ａ内の全てのＮＦについて評価が終了するまで（ステップＳ２３）、ＮＦの重み算出を繰り返す。そして、全てのＮＦを評価したならば、更に、特徴部抽出部１２１１によって、上記ＵＳ  ２００２／０１９１８６２  Ａ１に開示されているようなＮＦオートキャリブレーション（ＮＦＡＣ）を行う（ステップＳ２４）。そして、重みづけ部１２１２により、ＮＦＡＣの重みを算出する（ステップＳ２５）。
この場合、ＮＦＡＣ時の条件に応じて、重みを計算する。なお、上記ＮＦＡＣ時の条件は、光線のなす角、光線間の最短距離、利用するＮＦの位置、利用するＮＦの特徴度を示す量、利用するＮＦのトラッキング連続数のうち、少なくとも一つである。この計算も、関数式を用いて正確な値として算出することもできるが、複数段階の値としてテーブルにより簡易に求めるようにしても良い。
なお、光線のなす角によって重みを計算する場合には、それが直角に近いほど高い重みの値とする。また、光線間の最短距離によって重みを計算する場合には、それが短いほど高い重みの値とする。利用するＮＦの位置や利用するＮＦの特徴度を示す量のような重みの値によって重みを計算する場合には、それが高いほど高い重みの値とする。
ここで、上記「光線のなす角」及び「光線間の最短距離」について、図６Ａ及び図６Ｂを参照して説明する。これらの図において、Ｐ０は、位置ＬＯ０において撮像した画像Ｓ０上へ３次元空間の点Ｐを投影した点である。また、Ｐ１は、位置ＬＯ１において撮像した画像Ｓ１上へ上記３次元空間の点Ｐを投影した点である。しかしながら、一般的には誤差を含むので、Ｐ１’として認識されてしまう。３次元空間の点Ｐと画像Ｓ０上の点Ｐ０とを結ぶ光線Ｂ０と、上記３次元空間の点Ｐと画像Ｓ１上の点Ｐ１とを結ぶ光線Ｂ１とは交差する。一方、誤差を含む光線Ｂ１’と光線Ｂ０とは交差しない。
この光線Ｂ０と光線Ｂ１’のような２直線上の任意の点を想定し、各点が最も接近する際の距離ｄは既知の公式により算出可能である。この距離を光線間の最短距離と呼ぶ。
また、上記光線Ｂ０と上記光線Ｂ１とのなす角αは、光線Ｂ０の単位方向ベクトルをａ、光線Ｂ１の単位方向ベクトルをｂとした場合、
α＝ｃｏｓ−１（ａ・ｂ／（｜ａ｜｜ｂ｜））
と定義される。この角度αを、光線のなす角と呼ぶ。
こうして、全てのＮＦＡＣについて評価が終了するまで（ステップＳ２６）、ＮＦＡＣの重み算出を繰り返す。そして、全てのＮＦＡＣを評価したならば、上記ステップＳ１４に進んで、位置姿勢取得部１２１３により、それら重みづけされた特徴部から、画像入力部１１つまりは当該画像処理装置１０の位置及び姿勢を算出する。
また、特徴部抽出部１２１１により、画像入力部１１から入力された入力画像１１Ａ内より、特徴部として自然特徴線分を抽出及びトラッキングする（ステップＳ３１）。なお、この自然特徴線分の抽出及びトラッキングの詳細については、上記文献ＩＳＭＡＲ２００１に開示されている。そして、重みづけ部１２１２により、自然特徴線分の重みを算出する（ステップＳ３２）。
この場合、入力画像１１Ａ内における自然特徴線分の位置、長さ、直線からのずれ量、トラッキングの連続数のうち、少なくとも一つによって重みを計算する。この重みの計算も、関数式を用いて正確な値として算出することもできるが、複数段階の値としてテーブルにより簡易に求めるようにしても良い。
なお、入力画像１１Ａ内における自然特徴線分の位置によって重みを計算する場合には、それが入力画像１１Ａ内の中央に近いほど高い重みの値とする。また、自然特徴線分の長さによって重みを計算する場合には、それが長いほど高い重みの値とする。自然特徴線分の直線からのずれ量によって重みを計算する場合には、ずれ量が少ないほど高い重みの値とする。自然特徴線分のトラッキングの連続数によって重みを計算する場合には、連続数が大きいほど高い重みの値とする。
こうして、入力画像１１Ａ内の全ての自然特徴線分についての評価が終了するまで（ステップＳ３３）、自然特徴線分の重み算出を繰り返す。そして、全ての自然特徴線分を評価したならば、更に、特徴部抽出部１２１１によって、自然特徴線分のオートキャリブレーション（ＬｉｎｅＡＣ）を行う（ステップＳ３４）。このＬｉｎｅＡＣの詳細についても、上記文献ＩＳＭＡＲ２００１に開示されている。そして、重みづけ部１２１２により、ＬｉｎｅＡＣの重みを算出する（ステップＳ３５）。
この場合、自然特徴線分をＡＣする際の条件に応じて、重みを計算する。なお、上記自然特徴線分をＡＣする際の条件は、光線のなす角、同一視する際のずれ量、利用する自然特徴線分の位置、長さ、直線からのずれ量のうち、少なくとも一つである。この計算も、関数式を用いて正確な値として算出することもできるが、複数段階の値としてテーブルにより簡易に求めるようにしても良い。
なお、光線のなす角によって重みを計算する場合には、それが直角に近いほど高い重みの値とする。また、同一視する際のずれ量によって重みを計算する場合には、それが小さいほど高い重みの値とする。自然特徴線分の位置、長さ、直線からのずれ量のような重みの値によって重みを計算する場合には、それが高いほど高い重みの値とする。
こうして、全てのＬｉｎｅＡＣについて評価が終了するまで（ステップＳ３６）、ｌｉｎｅＡＣの重み算出を繰り返す。そして、全てのｌｉｎｅＡＣを評価したならば、上記ステップＳ１４に進んで、位置姿勢取得部１２１３により、それら重みづけされた特徴部から、画像入力部１１つまりは当該画像処理装置１０の位置及び姿勢を算出する。
上記ステップＳ１４における位置姿勢取得部１２１３での位置及び姿勢の算出は、マーカ、ＮＦ、ＮＦＡＣ点、自然特徴線分、及びＡＣされた自然特徴線分の少なくとも一つの重みを利用する。例えば、マーカ、ＮＦＡＣ点、ＡＣされた自然特徴線分が画面内に混在する場合、上記したようなパラメータに応じて各々の重み付けがされ、それぞれについて位置及び姿勢を算出した上で、重みに従って最終的な位置及び姿勢計算（例えば加重平均、過去情報からの予測を含む計算（カルマンフィルタ））を行うことになる。
この場合、図７に示すように、特徴部の種別に応じて、更に重みづけを行っても良い。例えば、マーカは、予め用意したものであるため信頼できる種別と判断し、重みを「１．０」、つまりは重みづけ部１２１２で付された重みをそのまま用いる。これに対して、ＮＦＡＣ点は、画像から点を抽出し、３次元位置を計算したものであるので、様々な誤差要因を含む。このため、マーカよりも低い「０．４」とする。即ち、重みづけ部１２１２で付された重みの値を更に０．４倍した値を、重みとして使用する。ＡＣされた自然特徴線分は、画像から線分を抽出したものであるが、上記ＮＦＡＣ点と比べて線分としての連続性という要素があるため、信頼性が高い。このため、ＮＦＡＣ点よりも高く、マーカよりも低い「０．８」とするものである。
以上のように、抽出した特徴部を重みづけして使用することで、入力画像１１Ａを光学的に補正する機能及びそのためのパラメータを算出する機能が不要となる。また特に、複数のマーカを同一視野内に捉えた場合、捉えたマーカの位置、大きさ、歪みに応じて計算上の重みを変化させるので、画像入力部１１の位置及び姿勢の算出精度が向上する。
また、ＮＦの特徴度の高さ（トラッキングの安定性の高さ）及び位置に応じて、重みを変化させるので、画像入力部１１の位置及び姿勢の算出精度が向上する。
また、ＮＦＡＣされた点から画像入力部１１の位置及び姿勢を算出する際、ＮＦＡＣ時の光線のなす角、光軸間最短距離、ＮＦＡＣに利用するＮＦの属性（特徴度の高さ、位置）に応じて重みを変化させるので、画像入力部１１の位置及び姿勢の算出精度が向上する。
また、自然特徴線分の位置、長さ、直線からのずれ量に応じて、重みを変化させるので、画像入力部１１の位置及び姿勢の算出精度が向上する。
また、ＬｉｎｅＡＣされた線分から画像入力部１１の位置及び姿勢を算出する際、光線のなす角、同一視する際のずれ量、利用する自然特徴線分の位置、長さ、直線からのずれ量に応じて重みを変化させるので、画像入力部１１の位置及び姿勢の算出精度が向上する。
また、位置及び姿勢の算出時には、マーカによる位置及び姿勢算出、ＮＦによる位置及び姿勢算出、ＮＦＡＣによる位置及び姿勢算出、自然特徴線分による位置及び姿勢算出、及びＬｉｎｅＡＣによる位置及び姿勢算出を、各重みを考慮した上で統合的に処理する。そのため、マーカとその他の特徴部、例えばＮＦＡＣとが混在する画面からマーカがはずれていくような場合、もしくは逆の場合に、画像入力部１１の位置及び姿勢算出の精度が向上する。
以上のような一実施例に係る画像処理装置の応用例を、以下に例示する。
［応用例１］
本実施例により撮像装置の位置及び姿勢計算を実現する装置が、画像重畳装置として構成される（入力画像の歪を除去する機能は含んでいない）。図３に示すように、工場内には複数のマーカ４が貼られている。この図３のような入力画像１１Ａの場合、パターン「Ａ」を有するマーカは、入力画像１１Ａ内の位置、大きさ、歪から重み「０．８」、パターン「Ｌ」を有するマーカは「０．６」、パターン「Ｚ」を有するマーカは「０．２」となる。各マーカから得られる位置及び姿勢を加重平均することにより、最終的な撮像装置の位置及び姿勢を求め、配管情報及び配管の３次元モデルを入力画像に重畳して表示する。
［応用例２］
本実施例に係る画像処理装置をテーマパークのナビゲーションシステムに応用する。画像処理装置としては、カメラ付き携帯電話を想定する。この場合、各アトラクションにはマーカが設置されている。アトラクション間をナビゲーションする経路情報（重畳表示）は、ＮＦＡＣ点及びＡＣされた自然特徴線分の少なくとも一方から求める撮像装置の位置及び姿勢に基づいて行われる。だんだんとアトラクションのマーカが視野（入力画像）内に捉えられる状態になってくると、適宜重みが変化するので、その時点で最も精度の高い撮像装置位置及び姿勢情報に基づいて、経路情報及び各種アトラクション演出モデル（３次元）をネットワーク上のサーバや事前に携帯電話内に格納したデータセット等から取得し、重畳表示する。
［応用例３］
本実施例に係る画像処理装置を画像重畳装置に応用する。この画像重畳表示装置に２状態の初期姿勢と対応する入力画像を与えることにより、ＮＦＡＣ点及びＡＣされた自然特徴線分によるトラッキングが可能になっている。重畳対象として工場内施設の３次元モデルを記憶している。現状視野（入力画像）に対応する３次元モデルに直線成分が多く含まれている場合、自動的に自然特徴線分への重みが増加するため、より高精度な画像重畳を実現できる。
以上、一実施例に基づいて本発明を説明したが、本発明は上述した一実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
例えば、上記一実施例は、撮像装置等による入力画像に関連する情報を基にマーカ、自然特徴点、オートキャリブレーションされた自然特徴点、自然特徴線分、オートキャリブレーションされた自然特徴線分の重みを変更した。しかしながら、本発明が重みを変更する情報源はこれに限定されるものではない。例えば、図示しない記憶部に記憶された３次元モデルを撮像装置の位置及び姿勢に基づいて特定し、該３次元モデルが直線要素を多数含む場合は、上記応用例３のように、自然特徴線分及びオートキャリブレーションされた自然特徴線分の少なくとも一方の重みを相対的に上昇させても良い。また、同様に、該３次元モデルが角を多数含む場合や角もしくは点として認識できるテクスチャを有する場合は、自然特徴点及びオートキャリブレーションされた自然特徴点の少なくとも一方の重みを相対的に上昇させても良い。
2005010817.tif 000003
【図２】
2005010817.tif 000004
【図３】
2005010817.tif 000005
2005010817.tif 000006
【図４】
2005010817.tif 000007
2005010817.tif 000008
【図７】
2005010817.tif 000009
【国際調査報告】
2005010817.tif 000010
2005010817.tif 000011