(57)【特許請求の範囲】
【請求項１】
カメラ姿勢情報の決定方法であって、
カメラを有するモバイル端末に適用され、当該カメラ姿勢情報の決定方法は、
第１画像、第２画像及びテンプレート画像を取得することであって、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像であることと、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得することと、
前記第１特徴点に対する特徴点追跡を行って前記第１画像における第１オプティカルフロー特徴点を取得し、前記第１オプティカルフロー特徴点に対する特徴点追跡を行って前記第１画像から前記第２画像へのホモグラフィ行列である第１目標ホモグラフィ行列を取得し、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて、前記テンプレート画像から前記第１画像を経て前記第２画像に至るまでの第２ホモグラフィ行列を決定することであって、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列であることと、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得することと、を含むことを特徴とする、
カメラ姿勢情報の決定方法。
【請求項２】
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得することは、
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定することであって、前記第１ホモグラフィ行列と前記第２ホモグラフィ行列が二次元情報であり、前記第１回転並進行列と前記第２回転並進行列が三次元情報であることと、
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うことと、を含むことを特徴とする
請求項１に記載のカメラ姿勢情報の決定方法。
【請求項３】
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うことは、
前記第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得することと、
前記第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得することと、
前記第１フィルタリング結果及び前記第２フィルタリング結果に基づいて前記カメラ姿勢情報を決定することと、を含むことを特徴とする
請求項２に記載のカメラ姿勢情報の決定方法。
【請求項４】
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定することは、
前記第１ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第１回転並進行列を計算することと、
前記第２ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第２回転並進行列を計算することと、を含むことを特徴とする
請求項２に記載のカメラ姿勢情報の決定方法。
【請求項５】
前記テンプレート画像にはアレイ状に配列される複数の格子があり、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得することは、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定することであって、前記特徴点対が前記目標格子に位置する第１特徴点及び前記第２特徴点のうちの前記第１特徴点とのマッチング度の最も高い特徴点を含むことと、
前記目標格子における前記特徴点対に基づき、前記テンプレート画像と前記第２画像との第１ホモグラフィ行列を計算することと、を含むことを特徴とする
請求項１〜４のいずれか１項に記載のカメラ姿勢情報の決定方法。
【請求項６】
当該カメラ姿勢情報の決定方法は、更に、
前記テンプレート画像を複数の所定の比率で拡大又は縮小した複数の画像層の各画像層からそれぞれ前記第１特徴点を抽出して、原画像層において前記第１特徴点を決定することを含み、
前記原画像層が前記テンプレート画像における１つの画像層であり、前記原画像層に前記複数の格子が含まれることを特徴とする
請求項５に記載のカメラ姿勢情報の決定方法。
【請求項７】
前記各画像層からそれぞれ第１特徴点を抽出して、原画像層において前記第１特徴点を決定することは、
前記テンプレート画像の第１画像層から前記第１特徴点を抽出することと、
前記テンプレート画像の第２画像層から前記第１特徴点を抽出することであって、前記第１画像層及び前記第２画像層の寸法が異なることと、
前記第１画像層における前記第１特徴点及び前記第２画像層における前記第１特徴点に対して拡大縮小処理を行って、前記原画像層に投影することと、を含むことを特徴とする
請求項６に記載のカメラ姿勢情報の決定方法。
【請求項８】
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングする前に、当該カメラ姿勢情報の決定方法は、更に、
前記第２画像から第２特徴点を抽出することを含み、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定することは、
原画像層の各前記目標格子における第１特徴点に対して、前記第１特徴点を第２特徴点にマッチングして、少なくとも１対の相互にマッチングされる選択対象の特徴点対を取得することであって、各組の前記選択対象の特徴点対が１つのマッチング値に対応することと、
前記少なくとも１対の選択対象の特徴点対からマッチング値の最も大きい特徴点対を前記目標格子における決定された特徴点対として選択することと、を含むことを特徴とする
請求項５に記載のカメラ姿勢情報の決定方法。
【請求項９】
前記第２ホモグラフィ行列を決定することは、
前記第１画像の所定領域において第１オプティカルフロー特徴点を取得することであって、前記所定領域が前記テンプレート画像に対応する領域であることと、
前記第１オプティカルフロー特徴点に対する特徴点追跡に基づいて第２オプティカルフロー特徴点を取得することと、
前記第１オプティカルフロー特徴点及び前記第２オプティカルフロー特徴点に基づき、前記第１画像から前記第２画像への前記第１目標ホモグラフィ行列を計算することと、を含むことを特徴とする
請求項１〜４のいずれか１項に記載のカメラ姿勢情報の決定方法。
【請求項１０】
当該カメラ姿勢情報の決定方法は、更に、
前記第２オプティカルフロー特徴点の数が所定閾値より小さい場合、前記第２オプティカルフロー特徴点の数が前記所定閾値に達するように、前記第２オプティカルフロー特徴点としてｑ個のオプティカルフロー特徴点を取得することであって、前記ｑが正の整数であることを含むことを特徴とする
請求項９に記載のカメラ姿勢情報の決定方法。
【請求項１１】
カメラ姿勢情報の決定装置であって、
カメラを有し、当該カメラ姿勢情報の決定装置は、
第１画像、第２画像及びテンプレート画像を取得するように構成される第１取得モジュールであって、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像である第１取得モジュールと、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得するように構成される検出モジュールと、
前記第１特徴点に対する特徴点追跡を行って前記第１画像における第１オプティカルフロー特徴点を取得し、前記第１オプティカルフロー特徴点に対する特徴点追跡を行って前記第１画像から前記第２画像へのホモグラフィ行列である第１目標ホモグラフィ行列を決定し、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて、前記テンプレート画像から前記第１画像を経て前記第２画像に至るまでの第２ホモグラフィ行列を決定するように構成される追跡モジュールであって、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列である追跡モジュールと、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得するように構成される相補フィルタリングモジュールと、を備えることを特徴とする、
カメラ姿勢情報の決定装置。
【請求項１２】
前記相補フィルタリングモジュールは、
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定するように構成される決定ユニットであって、前記第１ホモグラフィ行列と前記第２ホモグラフィ行列が二次元情報であり、前記第１回転並進行列と前記第２回転並進行列が三次元情報である決定ユニットと、
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うように構成される処理ユニットと、を備えることを特徴とする
請求項１１に記載のカメラ姿勢情報の決定装置。
【請求項１３】
前記処理ユニットは、
前記第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得するように構成される第１入力サブユニットと、
前記第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得するように構成される第２入力サブユニットと、
前記第１フィルタリング結果及び前記第２フィルタリング結果に基づいて前記カメラ姿勢情報を決定するように構成される決定サブユニットと、を備えることを特徴とする
請求項１２に記載のカメラ姿勢情報の決定装置。
【請求項１４】
モバイル端末であって、
カメラ、プロセッサ及びメモリを備え、
前記メモリがプログラムを記憶するように構成され、当該モバイル端末が請求項１〜１０のいずれか１項に記載のカメラ姿勢情報の決定方法を実現するように、前記プロセッサが前記メモリにおけるプログラムを実行するように構成されることを特徴とする、モバイル端末。
【請求項１５】
請求項１〜１０のいずれか１項に記載のカメラ姿勢情報の決定方法をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１７年０７月０７日に中国国家知識産権局に提出された「カメラ姿勢情報の決定方法及び関連装置」という発明の名称の中国特許出願第２０１７１０５５２１０５．１号の優先権を主張し、その全内容が本願の一部として援用される。
【０００２】
本願はコンピュータ技術分野に関し、特にカメラ姿勢情報の決定方法、装置、デバイス及び記憶媒体に関する。
【背景技術】
【０００３】
拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術はビデオカメラの映像位置及び角度をリアルタイムに計算して対応する画像、ビデオ又は３Ｄモデルを追加する技術である。このような技術は、画面上の仮想世界を現実世界に融合してインタラクティブすることを目的とする。
【０００４】
現在、ＡＲ型ゲームプロモーション、ＡＲ型教育アプリケーション等のインタラクティブシーンにおいて、マッチング用のテンプレート（Ｍａｒｋｅｒ）画像として自然画像を使用することができ、対応するカメラ姿勢情報を取得することができる。自然画像が通常撮影した画像であり、Ｍａｒｋｅｒ画像は、自然画像であってもよく、規則的な画像即ち非常に顕著な幾何学的特徴を有する画像であってもよい。Ｍａｒｋｅｒ画像に基づいてカメラ姿勢情報を取得する過程において、まずＭａｒｋｅｒ画像を検出する必要があり、Ｍａｒｋｅｒ画像を検出した後、その特徴点に対する追跡に依存してカメラを位置決めして、カメラ姿勢情報を取得する。
【０００５】
ところが、現在の画像においてＭａｒｋｅｒ画像の特徴点を追跡するとき、特徴点の変化を考慮しない。アフィン変換が明らかとなる場合、Ｍａｒｋｅｒ画像における１つの画像層の特徴点を現在の画像における特徴点にマッチングすれば、取得されたカメラ姿勢情報の精度が比較的低く、Ｍａｒｋｅｒ画像における複数の画像層を取得して、各画像層の特徴点を現在の画像における特徴点にマッチングすれば、必要なマッチングオーバーヘッドが大きすぎるため、実行効率にとって不利になる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願の実施例はカメラ姿勢情報の決定方法、装置、デバイス及び記憶媒体を提供する。
【課題を解決するための手段】
【０００７】
本願の一態様に係るカメラ姿勢情報の決定方法は、
第１画像、第２画像及びテンプレート画像を取得することであって、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像であることと、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得することと、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第１目標ホモグラフィ行列に基づき、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定することであって、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列であることと、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得することと、を含む。
【０００８】
本願の他の態様に係るカメラ姿勢情報の決定装置は、
第１画像、第２画像及びテンプレート画像を取得するように構成される第１取得モジュールであって、前記第１画像が前記第２画像の前のフレームの画像であり、前記テンプレート画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像である第１取得モジュールと、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得するように構成される検出モジュールと、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第１目標ホモグラフィ行列に基づき、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定するように構成される追跡モジュールであって、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列である追跡モジュールと、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得するように構成される相補フィルタリングモジュールと、を備える。
【０００９】
本願の他の態様に係るカメラ姿勢情報決定装置は、メモリ、送受信機、プロセッサ及びバスシステムを備え、
前記メモリがプログラムを記憶するように構成され、
第１画像、第２画像及びテンプレート画像を取得するステップであって、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像であるステップ、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得するステップ、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第２オプティカルフロー特徴点に対して特徴点追跡を行って、第２ホモグラフィ行列を取得するステップ、及び
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得するステップを実現するように、前記プロセッサが前記メモリにおけるプログラムを実行するように構成される。
【００１０】
本願の他の態様に係るコンピュータ可読記憶媒体は、命令が記憶され、前記命令がコンピュータによって実行される場合、前記コンピュータが上記各態様に記載のカメラ姿勢情報の決定方法を実行する。
【発明の効果】
【００１１】
以上の技術案によって、本願の実施例は少なくとも以下の利点を有する。
【００１２】
第１ホモグラフィ行列がテンプレート画像及び第２画像に基づいて特徴点検出方式で取得されたものであるため、出力結果は、低速かつ低精度であり、また、第２ホモグラフィ行列が第１画像及び第２画像のオプティカルフロー追跡結果並びにテンプレート画像及び第１画像のオプティカルフロー追跡結果に基づいて推定して取得されたものであるため、オプティカルフロー速度が速く、精度が一層高く、出力結果が更に安定且つ平滑化されるが、時間の経つにつれて誤差が累積される。本実施例に係る方法では、第１ホモグラフィ行列及び第２ホモグラフィ行列に対して相補フィルタリング処理を行うことにより、２つのホモグラフィ行列の特徴を補い合うことができ、これにより、より正確なカメラ姿勢情報を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は本願の実施例による端末の構造ブロック図である。
【図２】図２は本願の例示的な実施例によるＡＲ応用シーンの模式図である。
【図３】図３は本願の実施例によるＭａｒｋｅｒ画像の模式図である。
【図４】図４は本願の実施例による現在の画像においてＭａｒｋｅｒ画像を検出した模式図である。
【図５】図５は本願の実施例によるカメラ姿勢情報の決定方法の一実施例の模式図である。
【図６】図６は本願の実施例によるカメラ姿勢情報の決定方法のフローチャートである。
【図７】図７は本願の実施例によるカメラ姿勢情報の決定方法の一実施例の模式図である。
【図８】図８は本願の実施例によるテンプレート画像の模式図である。
【図９】図９は本願の実施例による原画像層において目標特徴点を決定する実施例の模式図である。
【図１０】図１０は本願による実施例の第１回転並進行列及び第２回転並進行列に対してフィルタリング処理を行う実施例の模式図である。
【図１１】図１１は本願の実施例によるカメラ姿勢情報の決定装置の他の実施例の模式図である。
【図１２】図１２は本願の実施例によるカメラ姿勢情報の決定装置の他の実施例の模式図である。
【図１３】図１３は本願の実施例によるカメラ姿勢情報の決定装置の他の実施例の模式図である。
【図１４】図１４は本願の実施例によるカメラ姿勢情報の決定装置の他の実施例の模式図である。
【図１５】図１５は本願の実施例によるカメラ姿勢情報の決定装置の他の実施例の模式図である。
【図１６】図１６は本願の実施例によるカメラ姿勢情報の決定装置の他の実施例の模式図である。
【図１７】図１７は本願の実施例によるカメラ姿勢情報の決定装置の構造模式図である。
【発明を実施するための形態】
【００１４】
本願の実施例はカメラ姿勢情報の決定方法及び関連装置を提供し、テンプレート画像を複数の同じ格子に分割して、１つの格子から多くとも１つの目標特徴点を抽出し、従って、目標特徴点の分布がより均一になってより高いマッチング度及び融合度を有し、それにより実行効率を確保する場合には、目標特徴点を利用して精度のより高いカメラ姿勢情報を取得することができる。
【００１５】
本願の明細書、特許請求の範囲及び図面における用語「第１」「第２」「第３」「第４」等（存在すれば）は類似オブジェクトを区別するためのものであり、特定の順序又は前後順位を説明するためのものではない。ここで説明される本願の実施例がここで図示又は説明される以外の順序で実施できるように、このように用いたデータは適切な場合に交換できると理解すべきである。なお、用語「含む」、「有する」及びそれらの変形は、非排他的包含を含むように意図され、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又はデバイスは明確に列挙したステップ又はユニットに限らず、明確に列挙しないもの又はこれらの過程、方法、製品又はデバイス固有の他のステップ又はユニットを含んでもよい。
【００１６】
図１には本願の例示的な実施例による端末の構造ブロック図を示す。該端末はプロセッサ１２０、メモリ１４０及びカメラ１６０を備える。
【００１７】
プロセッサ１２０は１つ又は複数の処理コア、例えばシングルコアプロセッサ、オクタコアプロセッサ等を備える。プロセッサ１２０はメモリ１４０に記憶される命令、コード、コードフラグメント及びプログラムのうちの少なくとも１つを実行するように構成される。
【００１８】
プロセッサ１２０がメモリ１４０に電気的に接続される。好ましくは、プロセッサ１２０がバスによってメモリ１４０に接続される。メモリ１４０に１つ又は複数の命令、コード、コードフラグメント及び／又はプログラムが記憶される。該命令、コード、コードフラグメント及び／又はプログラムがプロセッサ１２０により実行されるとき、以下の各実施例に係るカメラ姿勢情報の決定方法を実現するように構成される。
【００１９】
プロセッサ１２０が更にカメラ１６０に電気的に接続される。好ましくは、プロセッサ１２０がバスによってカメラ１６０に接続される。カメラ１６０は画像収集機能を有するセンシングデバイスである。カメラ１６０が更にＷｅｂカメラ、感光デバイス等の他の名称と称されてもよい。カメラ１６０は画像を連続収集し又は画像を複数回収集する機能を有する。好ましくは、カメラ１６０がデバイスの内部又はデバイスの外部に設置される。本願の実施例において、該カメラ１６０は複数フレームの画像を連続収集することができ、複数フレームの画像のうちのｉ番目のフレームの画像が第１画像であり、複数フレームの画像のうちのｉ＋１番目のフレームの画像が第２画像である。
【００２０】
図２には本願の例示的な実施例によるＡＲ応用シーンの模式図を示す。実世界において１つのテーブル面２２０が存在し、該テーブル面２２０に１幅の絵２２２があり、この絵２２２の画面内容がＭａｒｋｅｒ画像であると見なされてもよく、該Ｍａｒｋｅｒ画像はマッチング用の基準画像である。カメラを有するモバイル端末２４０が該テーブル面２２０を撮影画像として連続撮影して、複数フレームの画像、例えば図示する画像１〜６を取得する。該連続撮影した複数フレームの画像を順にプロセッサに入力して処理する。本願の実施例において、第１画像が一般的にカメラにより収集されたｉ番目のフレームの画像を指し、第２画像が一般的にカメラにより収集されたｉ＋１番目のフレームの画像を指す。モバイル端末は、検出器（Ｄｅｔｅｃｔｏｒ）によってＭａｒｋｅｒ画像と第２画像とのホモグラフィ行列を測算し、及び追跡器（Ｔｒａｃｋｅｒ）によって第１画像と第２画像とのホモグラフィ行列を測算する。次に２つのホモグラフィ行列に対して相補フィルタリング（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｆｉｌｔｅｒｉｎｇ）処理を行って、計算によってモバイル端末そのもののカメラ姿勢情報を取得する。該カメラ姿勢情報はモバイル実世界において第２画像を撮影するときのモバイル端末の空間位置を表すために使用される。
【００２１】
ホモグラフィ行列（ｈｏｍｏｇｒａｐｈｙ）が更に射影変換行列とも称され、一般的に同じ平面にあるいくつかの点の２枚の画像における変換関係を説明する。ホモグラフィ行列が２つの平面のマッピング関係を説明し、現実環境における特徴点が同じ物理平面にある場合、ホモグラフィ行列によって２フレームの画像の間で移動推定を行うことができる。画像Ａ及び画像Ｂに対して、画像Ａ及び画像Ｂに少なくとも４対のマッチングする特徴点がある場合、モバイル端末がｒａｎｓａｃ（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ、ランダム・サンプル・コンセンサス・アルゴリズム）によって該ホモグラフィ行列を分解して、回転並進行列Ｒ｜Ｔを取得する。ここで、Ｒは、カメラが画像Ａを撮影するときの第１姿勢から画像Ｂを撮影するときの第２姿勢に変わる際に対応する回転行列であり、Ｔは、カメラが画像Ａを撮影するときの第１姿勢から画像Ｂを撮影するときの第２姿勢に変わる際に対応する変位ベクトルである。
【００２２】
本願は携帯機器の演算能力が低いという特徴に対して、本解決手段では相補フィルタリングアルゴリズムを利用してユーザーに対し記憶される自然画像の検出結果及び画像フレーム間の追跡結果を正確に融合し、それにより１セットの安定し、迅速でロバスト性の高いカメラ姿勢情報の決定方法を実現すると理解すべきである。該方法はＡＲシーン、例えばＡＲ型ゲームシーン、ＡＲ型教育シーン、ＡＲ型会議シーン等のインタラクティブシーンに適用されてもよい。該方法はＭａｒｋｅｒ画像に基づくカメラ位置決め及び姿勢補正のアプリケーションプログラムに適用されてもよい。本願のテンプレート画像がＭａｒｋｅｒ画像である。該Ｍａｒｋｅｒ画像が更にアンカー（Ａｎｃｈｏｒ）画像と称されてもよい。
【００２３】
好ましくは、Ｍａｒｋｅｒ画像がある規則的な画像又は通常撮影した自然画像を含む。自然画像は通常の１枚の撮影画像を指し、規則的な画像は非常に顕著な幾何学的特徴を有する画像、例えば１つの黒色の矩形枠、格子等である。該Ｍａｒｋｅｒ画像に基づいて実世界の三次元座標系を確立するように、該Ｍａｒｋｅｒ画像が更に実世界において出現する、例えば該Ｍａｒｋｅｒ画像が更にテーブル面又は本において出現、つまり、モバイル端末の撮影すべきシーンにおいてＭａｒｋｅｒ画像が出現する。
【００２４】
以下、具体的なシーンを説明し、ユーザーがある指定されたシーン（例えば、与えられた画像）において対話操作を直接行うように望まれると仮定し、このようにユーザーの体験を案内することができる。図３に示すように、図３は本願の実施例によるＭａｒｋｅｒ画像の模式図である。図示のように、スマートフォンのＡＲゲームにおいて、ユーザーは１枚の与えられた自然画像、又は携帯電話により現場で撮影した１枚の画像をＭａｒｋｅｒ画像とする。その後、スマートフォンが現在の画像において該Ｍａｒｋｅｒ部分を検出して、Ｍａｒｋｅｒ座標系において１つの仮想物体を描く。図４に示すように、図４は本願の実施例による現在の画像においてＭａｒｋｅｒ画像を検出した模式図であり、それによりユーザーとのインタラクティブを完了する。Ｍａｒｋｅｒ部分はＭａｒｋｅｒ画像の現在の画像における画像領域を指し、Ｍａｒｋｅｒ座標系は現在の画像においてＭａｒｋｅｒ部分に基づいて実世界のために確立した座標系を指す。例えば図４における本の表紙画像が図３における与えられたＭａｒｋｅｒ画像と同じであり、該表紙画像に基づいて実世界のためにＭａｒｋ座標系を確立した後、図４の本に三次元で表示するアニメキャラクターを追加してユーザーとインタラクティブする。
【００２５】
以下、カメラを有するモバイル端末の観点から本願のカメラ姿勢情報の決定方法を説明する。図５には本願の例示的な実施例によるカメラ姿勢情報の決定方法のフローチャートを示す。該方法は以下を含む。
【００２６】
ステップ５０１において、第１画像、第２画像及びテンプレート画像を取得する。第１画像が第２画像の前のフレームの画像であり、第１画像及び第２画像がカメラにより収集された画像であり、テンプレート画像がマッチング用の基準画像である。
【００２７】
端末はテンプレート画像を取得する。好ましくは、端末はユーザーの選択又はアップロードしたテンプレート画像を取得し、又は、端末はテンプレート画像としてユーザーがカメラを制御して収集したあるフレームの画像を取得する。
【００２８】
該テンプレート画像はカメラが移動中に収集した複数フレームの画像をマッチングするときの基準画像である。又は、該テンプレート画像は第２画像をマッチングするときの基準画像であり、該第２画像はカメラが移動中に収集した複数フレームの画像のうちのあるフレームの画像である。
【００２９】
好ましくは、端末は更にカメラが移動中に収集した複数フレームの画像を取得し、端末はｉ番目のフレームの画像を第１画像とし、第１画像が更に前のフレームの画像と称され、ｉ＋１番目のフレームの画像を第２画像とし、第２画像が更に現在の画像と称される。
【００３０】
好ましくは、テンプレート画像の取得過程及び第１画像／第２画像の取得過程は独立したものであり、本実施例はこの２つの取得過程の順序関係を制限しない。
【００３１】
ステップ５０２において、テンプレート画像における第１特徴点及び第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得する。
【００３２】
端末がテンプレート画像における第１特徴点及び第２画像における第２特徴点に対して特徴点検出を行って、マッチングによってテンプレート画像及び第２画像におけるＭａｒｋｅｒ部分の少なくとも４対の特徴点を取得し、該少なくとも４対の特徴点に基づいて計算して第１ホモグラフィ行列を取得する。
【００３３】
第１ホモグラフィ行列はテンプレート画像から第２画像までのカメラ姿勢の変化を特徴づけることに用いられる。
【００３４】
ステップ５０３において、第１画像における第１オプティカルフロー特徴点及び第２画像の第２オプティカルフロー特徴点に対して特徴点追跡を行って、第２ホモグラフィ行列を取得する。
【００３５】
端末が更に第２画像を第１画像に対してオプティカルフロー（Ｏｐｔｉｃａｌ  Ｆｌｏｗ）追跡して、第１画像における第１オプティカルフロー特徴点に対する第２画像の第２オプティカルフロー特徴点のオプティカルフローマッチング結果を取得し、該オプティカルフローマッチング結果が少なくとも４対の特徴点を含み、該少なくとも４対の特徴点に基づいて計算して第１目標ホモグラフィ行列を取得し、次にキャッシュされるテンプレート画像から第１画像への第２目標ホモグラフィ行列を取得し、第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を取得する。
【００３６】
オプティカルフローは時間の経過とともに画素が画像の間を移動することを説明する方法である。時間の経過とともに、同じ画素が画像を移動するが、その移動過程を追跡するように望まれる。計算された画素の一部の移動は疎なオプティカルフローと称されるが、計算されたすべての画素は密なオプティカルフローと称される。本願は疎なオプティカルフローを計算する、ＬＫオプティカルフローと略称されるＬｕｃａｓ−Ｋａｎａｄｅオプティカルフローアルゴリズムを例として説明する。
【００３７】
第２ホモグラフィ行列もテンプレート画像から第２画像へのカメラ姿勢の変化を特徴づけることに用いられる。第１ホモグラフィ行列及び第２ホモグラフィ行列はいずれもテンプレート画像から第２画像までのカメラ姿勢の変化を特徴づけることに用いられるが、第１ホモグラフィ行列及び第２ホモグラフィ行列は異なる計算方式で計算されたものである。
【００３８】
ステップ５０４において、第１ホモグラフィ行列及び第２ホモグラフィ行列に対して相補フィルタリング処理を行って、カメラのカメラ姿勢情報を取得する。
【００３９】
相補フィルタリング処理は第１ホモグラフィ行列及び第２ホモグラフィ行列に対してフィルタリング融合を行う処理方式を指す。好ましくは、該相補フィルタリング処理がカルマンフィルタ又は相補フィルタにより実現される。
【００４０】
要するに、第１ホモグラフィ行列がテンプレート画像及び第２画像に基づいて特徴点検出方式で取得されたものであるため、出力結果は、低速かつ低精度であり、また、第２ホモグラフィ行列が第１画像及び第２画像のオプティカルフロー追跡結果並びにテンプレート画像及び第１画像のオプティカルフロー追跡結果に基づいて推定して取得されたものであるため、オプティカルフロー速度が速く、精度が一層高く、出力結果が更に安定且つ平滑化されるが、時間が経つにつれて誤差が累積される。本実施例に係る方法では、第１ホモグラフィ行列及び第２ホモグラフィ行列に対して相補フィルタリング処理を行うことにより、２つのホモグラフィ行列の特徴を補い合うことができ、これにより、より正確なカメラ姿勢情報を取得することができる。
【００４１】
図５に基づく好適な実施例において、前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得することは、
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定することであって、前記第１ホモグラフィ行列と前記第２ホモグラフィ行列が二次元情報であり、前記第１回転並進行列と前記第２回転並進行列が三次元情報であることと、
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うことと、を含む。
【００４２】
図５に基づく好適な実施例において、前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うことは、
前記第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得することと、
前記第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得することと、
前記第１フィルタリング結果及び前記第２フィルタリング結果に基づいて前記カメラ姿勢情報を決定することと、を含む。
【００４３】
図５に基づく好適な実施例において、前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定することは、
前記第１ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第１回転並進行列を計算することと、
前記第２ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第２回転並進行列を計算することと、を含む。
【００４４】
図５に基づく好適な実施例において、前記テンプレート画像にはアレイ状に配列される複数の格子があり、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得することは、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定することであって、前記特徴点対が前記目標格子に位置する第１特徴点及び前記第２特徴点のうちの前記第１特徴点とのマッチング度の最も高い特徴点を含むことと、
前記目標格子における前記特徴点対に基づき、前記テンプレート画像と前記第２画像との第１ホモグラフィ行列を計算することと、を含む。
【００４５】
図５に基づく好適な実施例において、前記方法は、更に、
前記テンプレート画像の各画像層からそれぞれ前記第１特徴点を抽出して、原画像層において前記第１特徴点を決定することを含み、
前記原画像層が前記テンプレート画像における１つの画像層であり、前記原画像層に前記複数の格子が含まれる。
【００４６】
図５に基づく好適な実施例において、前記テンプレート画像の各画像層からそれぞれ第１特徴点を抽出して、原画像層において前記第１特徴点を決定することは、
前記テンプレート画像の第１画像層から前記第１特徴点を抽出することと、
前記テンプレート画像の第２画像層から前記第１特徴点を抽出することであって、前記第１画像層及び前記第２画像層の寸法が異なることと、
前記第１画像層における前記第１特徴点及び前記第２画像層における前記第１特徴点に対して拡大縮小処理を行って、前記原画像層に投影することと、を含む。
【００４７】
図５に基づく好適な実施例において、前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングする前に、前記方法は、更に、
前記第２画像から第２特徴点を抽出することを含み、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定することは、
前記原画像層の各前記目標格子における第１特徴点に対して、前記第１特徴点を第２特徴点にマッチングして、少なくとも１対の相互にマッチングされる選択対象の特徴点対を取得することであって、各組の前記選択対象の特徴点対が１つのマッチング値に対応することと、
前記少なくとも１対の選択対象の特徴点対からマッチング値の最も大きい特徴点対を前記目標格子における決定された特徴点対として選択することと、を含む。
【００４８】
図５に基づく好適な実施例において、前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第２オプティカルフロー特徴点に対して特徴点追跡を行って、第２ホモグラフィ行列を取得することは、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第２オプティカルフロー特徴点に基づいて第１目標ホモグラフィ行列を決定することと、
前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて前記第２ホモグラフィ行列を決定することと、を含む。
【００４９】
図５に基づく好適な実施例において、前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第２オプティカルフロー特徴点に基づいて第１目標ホモグラフィ行列を決定することは、
前記第１画像の所定領域において第１オプティカルフロー特徴点を取得することであって、前記所定領域が前記テンプレート画像に対応する領域であることと、
前記第１オプティカルフロー特徴点に基づいて第２オプティカルフロー特徴点を取得することと、
前記第１オプティカルフロー特徴点及び前記第２オプティカルフロー特徴点に基づき、前記第１画像から前記第２画像への前記第１目標ホモグラフィ行列を計算することと、を含む。
【００５０】
図５に基づく好適な実施例において、前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定することは、
前記テンプレート画像から前記第１画像への第２目標ホモグラフィ行列を取得することと、
前記第１目標ホモグラフィ行列及び前記第２目標ホモグラフィ行列に基づき、前記第２画像から前記テンプレート画像までの前記第２ホモグラフィ行列を計算することと、を含む。
【００５１】
図５に基づく好適な実施例において、前記方法は、更に、
前記第２オプティカルフロー特徴点の数が所定閾値より小さい場合、前記第２オプティカルフロー特徴点の数が前記所定閾値に達するように、前記第２オプティカルフロー特徴点としてｑ個のオプティカルフロー特徴点を取得することを含み、前記ｑが正の整数である。
【００５２】
理解しやすくするために、図６に示すように、図６は本願の実施例によるカメラ姿勢情報の決定方法のフローチャートである。図示のように、カメラが実世界における複数フレームの画像を絶えず収集し、モジュール１０１において、まず現在の画像として新しいフレームの画像をロードし、次にモジュール１０３の検出器によってテンプレート画像から現在の画像（すなわち、第２画像）への第１ホモグラフィ行列を検出し、更にモジュール１０５において、第１ホモグラフィ行列を取得したかどうかを判断し、ＹＥＳの場合、モジュール１０７に到達する。一方、モジュール１０２において、追跡器が初期化されたかどうかを判断し、ＹＥＳの場合、モジュール１０４の追跡器に入り、該追跡器は第２画像を第１画像に対してオプティカルフロー追跡するように構成され、ＮＯの場合、モジュール１０１にジャンプする。
【００５３】
モジュール１０４の追跡器において、テンプレート画像を追跡して、第２ホモグラフィ行列を更新する。そうするとモジュール１０７において第１ホモグラフィ行列及び第２ホモグラフィ行列に対して相補フィルタリング処理を行って融合し、モジュール１０８から融合後のカメラ姿勢情報を出力する。モジュール１０５は検出結果があると判断し、且つモジュール１０９は追跡器が初期化されていないと判断する場合、追跡器を初期化し、追跡器が次のフレームから動作する。
【００５４】
検出器及び追跡器がカメラ姿勢情報決定装置に属すると理解される。
【００５５】
以下、カメラ姿勢情報決定装置の観点から本願のカメラ姿勢情報の決定方法を説明し、図７には本願の例示的な実施例によるカメラ姿勢情報の決定方法のフローチャートを示し、該方法は以下を含む。
【００５６】
７０１において、第１画像、第２画像及びテンプレート画像を取得する。第１画像が第２画像の前のフレームの画像であり、テンプレート画像がマッチング用の画像であり、テンプレート画像が複数の画像層を含む。
【００５７】
本実施例において、カメラ姿勢情報決定装置が第１画像、第２画像及びテンプレート画像を取得し、第１画像が第２画像の前のフレームの画像であり、第２画像が現在撮影した画像又は現在処理中の画像であると理解されてもよい。そして、テンプレート画像がマッチング対象の画像であって、更にＭａｒｋｅｒ画像又はＡｎｃｈｏｒ画像と称されてもよい。好ましくは、テンプレート画像が複数の画像層を含む。
【００５８】
カメラ姿勢情報決定装置が端末装置、例えば携帯電話、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、販売端末（ＰＯＳ：Ｐｏｉｎｔ  ｏｆ  Ｓａｌｅｓ）又は車載コンピュータ等の任意の端末装置であってもよい。
【００５９】
７０２において、テンプレート画像の各画像層からそれぞれ第１特徴点を抽出し、原画像層において第１特徴点を決定する。原画像層がテンプレート画像における１つの画像層であり、原画像層に複数の格子が含まれる。
【００６０】
本実施例において、テンプレート画像に複数の画像層が含まれる。一般的に、これらの画像層の寸法が異なり、原寸法を有するテンプレート画像が原画像層と称される。好ましくは、前処理段階において、端末が原寸法のテンプレート画像をダウンサンプリングしてピラミッド画像を生成し、ピラミッド画像が原寸法のテンプレート画像を所定比率で拡大縮小した画像を含む。ピラミッド画像が４層の画像を含む場合を例とし、１．０、０．８、０．６、０．４の拡大縮小比率でテンプレート画像を拡大縮小して、テンプレート画像の４枚の異なるスケールの画像層を取得する。各画像層に対していずれも第１特徴点を抽出して、テンプレート画像の複数のスケールにおける複数層特徴ディスクリプタ（すなわち、第１特徴点）を取得するとともに、これらの第１特徴点を拡大縮小し、すべての第１特徴点の位置を原画像層の対応位置に拡大縮小して、１つの原画像層寸法のマスク（すなわち、マスクの寸法が原図形層の寸法に一致する）を作って、マスクを複数の小格子に均一に分割して使用に備える。つまり、端末が各層のピラミッド画像に対していずれも特徴点を抽出してＯＲＢ特徴ディスクリプタを計算する。原スケール（１．０）ではないピラミッド画像から抽出した特徴点に対して、該ピラミッド画像を拡大縮小比率で原スケールに拡大した後、各特徴点の原スケールのピラミッド画像（すなわち、原画像層）における二次元座標を記録する。これらのピラミッド画像における特徴点及び二次元座標が第１特徴点と称されてもよい。一例では、各層のピラミッド画像には多くとも５００個の第１特徴点がある。
【００６１】
ただし、第１特徴点がスケール不変の特徴変換（ＳＩＦＴ：ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）、又は頑健な特徴量の高速化（ＳＵＲＦ：ｓｐｅｅｄｅｄ−ｕｐ  ｒｏｂｕｓｔ  ｆｅａｔｕｒｅｓ）、又は方向付きＦＡＳＴと回転ＢＲＩＥＦ（ＯＲＢ：ｏｒｉｅｎｔｅｄ  ｆａｓｔ  ａｎｄ  ｒｏｔａｔｅｄ  ｂｒｉｅｆ）特徴点、又は輝度勾配ヒストグラム（ＨＯＧ：ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔ）特徴、又はローカルバイナリパターン（ＬＢＰ：ｌｏｃａｌ  ｂｉｎａｒｙ  ｐａｔｔｅｒｎｓ）であってもよく、リアルタイム性を確保するために、本解決手段においてＯＲＢ特徴点を第１特徴点として用いるが、本解決手段を制限するためのものではない。１つのＯＲＢ特徴点がＦＡＳＴキーポイント（Ｋｅｙ−ｐｏｉｎｔ）及びＢＲＩＥＦディスクリプタ（Ｂｉｎａｒｙ  Ｒｏｂｕｓｔ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｅｌｅｍｅｎｔａｒｙ  Ｆｅａｔｕｒｅ  Ｄｅｓｃｉｒｐｔｏｒ）の２つの部分を含む。
【００６２】
ＦＡＳＴキーポイントは該ＯＲＢ特徴点の画像における位置を指す。ＦＡＳＴキーポイントは主に局所画素のグレースケールの変化が顕著な箇所を検出し、速い速度で有名である。ＦＡＳＴキーポイントの要旨は、１つの画素と隣接領域の画素との相違がより大きい（明るすぎ又は暗すぎる）場合、該画素が１つのキーポイントである可能性があることである。
【００６３】
ＢＲＩＥＦディスクリプタは１つの二進法で示されるベクトルであり、該ベクトルが、ある手動設計方式で該キーポイントの周りの画素の情報を説明する。ＢＲＩＥＦディスクリプタの説明ベクトルが複数の０と１とからなり、ここで、０及び１がＦＡＳＴキーポイント近傍の２つの画素の寸法関係を符号化する。
【００６４】
ＯＲＢ特徴点は加速アルゴリズムのディスクリプタを用いて、回転不変性を追加するため、速度が速い。従って、携帯機器における実施に適する。
【００６５】
７０３において、原画像層の各格子において１つの目標特徴点を決定するように、第１特徴点を第２特徴点にマッチングする。目標特徴点は、第１特徴点と第２特徴点とのマッチング度の最も高い特徴点であり、目標特徴点は、第１ホモグラフィ行列を決定するように構成され、第２特徴点は、第２画像から抽出された特徴点である。
【００６６】
本実施例において、第１特徴点がスケール不変性を有しないため、応用中のテンプレート画像のスケールの変化が顕著であり、ユーザーが異なるスケールでテンプレート画像を撮影する可能性があるため、スケール問題を解決しなければならない。そうするとテンプレート画像に対してピラミッド画像を生成し、テンプレート画像の各層の画像層に対していずれも第１特徴点を抽出し、次に第２画像における第２特徴点にマッチングする必要がある。
【００６７】
カメラ姿勢情報決定装置は現在撮影した第２画像にテンプレート画像があるかどうかを検出し、その原理は、第２画像から抽出した第２特徴点を原画像層における第１特徴点にマッチングすることである。原画像層における各目標格子内の第１特徴点に対して、第２画像には該目標格子内であって該第１特徴点にマッチングする複数の第２特徴点がある場合、各目標格子において目標特徴点として多くとも１つの選択対象の特徴点を選択し、次にこれらの目標特徴点を利用して第１ホモグラフィ行列を計算する。
【００６８】
７０４において、第１画像における第１オプティカルフロー特徴点及び第２画像の第２オプティカルフロー特徴点に基づいて第１目標ホモグラフィ行列を決定し、第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定する。
【００６９】
本実施例において、ステップ７０２〜ステップ７０３はテンプレート画像の検出動作を完了し、ステップ７０４においてカメラ姿勢情報決定装置はオプティカルフロー追跡方法で画像を追跡する必要がある。具体的に、画像を追跡するとき、主にオプティカルフローＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを用いて新しい画像が来る際に前のフレームの画像（すなわち、第１画像）を利用して抽出した第１オプティカルフロー特徴点からオプティカルフローして、２フレーム間のマッチング点を見つけ、これにより、第１画像から第２画像までの第１目標ホモグラフィ行列を計算して、過去のオプティカルフロー中にキャッシュされるテンプレート画像から第１画像への第２目標ホモグラフィ行列を取得し、更にテンプレート画像から第２画像までの第２ホモグラフィ行列を取得する。
【００７０】
７０５において、第１ホモグラフィ行列及び第２ホモグラフィ行列に基づいてカメラ姿勢情報を決定する。
【００７１】
本実施例において、カメラ姿勢情報決定装置は、第１ホモグラフィ行列及び第２ホモグラフィ行列に基づいて計算によってカメラ姿勢情報を取得することができる。好ましくは、カメラ姿勢情報決定装置は、第１ホモグラフィ行列及び第２ホモグラフィ行列に対して相補フィルタリング処理を行って、カメラのカメラ姿勢情報を取得する。
【００７２】
相補フィルタリング処理が第１ホモグラフィ行列及び第２ホモグラフィ行列に対してフィルタリング融合を行う処理方式を指す。好ましくは、該相補フィルタリング処理がカルマンフィルタ又は相補フィルタにより実現される。
【００７３】
本願の実施例はカメラ姿勢情報の決定方法を提供し、カメラ姿勢情報決定装置はまず第１画像、第２画像及びテンプレート画像を取得し、次にテンプレート画像の各画像層からそれぞれ第１特徴点を抽出して、原画像層において第１特徴点を決定し、原画像層がテンプレート画像における１つの画像層であり、原画像層に複数の格子が含まれ、原画像層の各格子において１つの目標特徴点を決定するように、カメラ姿勢情報決定装置は更に第１特徴点を第２特徴点にマッチングし、前記目標特徴点が前記第１特徴点と前記第２特徴点とのマッチング度の最も高い特徴点であり、目標特徴点が第１ホモグラフィ行列を決定することに用いられ、第２特徴点が第２画像から抽出された特徴点であり、次に、カメラ姿勢情報決定装置は第１画像における第１オプティカルフロー特徴点及び第２画像の第２オプティカルフロー特徴点に基づいて第１目標ホモグラフィ行列を決定し、第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定し、最後に第１ホモグラフィ行列及び第２ホモグラフィ行列に基づいてカメラ姿勢情報を決定することができる。上記方式によって、テンプレート画像を複数の同じ格子に分割し、且つ１つの格子に１つのみの目標特徴点があり、従って、目標特徴点の分布がより均一になってより高いマッチング度及び融合度を有し、それにより実行効率を確保する場合、目標特徴点を利用して精度のより高いカメラ姿勢情報を取得することができる。
【００７４】
好ましくは、上記図７に対応する実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第１好適な実施例において、テンプレート画像の各画像層からそれぞれ第１特徴点を抽出して、原画像層において第１特徴点を決定することは、
テンプレート画像の第１画像層から第１特徴点を抽出することと、
テンプレート画像の第２画像層から第１特徴点を抽出することであって、第１画像層及び第２画像層の寸法が異なることと、
第１画像層における第１特徴点及び第２画像層における第１特徴点を拡大縮小処理して、原画像層に投影することと、を含んでもよい。
【００７５】
本実施例において、原画像層において第１特徴点を決定する方式を説明する。まずテンプレート画像から複数層画像を抽出し（又は、異なる拡大縮小比率で縮小して複数層画像を取得する）、且つこれらの画像の寸法がピラミッド型を呈し、つまり、画像の寸法が昇順で並べ替えられる。第１画像層が第２画像層上にあると仮定する場合、第１画像層が第２画像層の寸法より少々小さいと見なされてもよい。次に、原画像層に投影するように、カメラ姿勢情報決定装置がそれぞれ第１画像層及び第２画像層から第１特徴点を抽出し、更にすべての第１特徴点を拡大縮小する。
【００７６】
実際の状況に応じて原画像層の寸法を設計することができ、ここで制限しないと理解される。例示的な一例では、テンプレート画像の原画像層を１．０、０．８、０．６、０．４の拡大縮小比率で拡大縮小して、テンプレート画像の第１画像層、第２画像層、第３画像層及び第４画像層を取得する。
【００７７】
次に、本願の実施例において、カメラ姿勢情報決定装置はまずテンプレート画像の第１画像層から第１特徴点を抽出し、テンプレート画像の第２画像層から第１特徴点を抽出し、第１画像層及び第２画像層の寸法が異なり、次に第１画像層における第１特徴点及び第２画像層における第１特徴点を拡大縮小処理して、原画像層に投影する。上記方式によって、テンプレート画像に対応する原図形層において各図形層から抽出されたすべての第１特徴点を融合することができ、これにより、これらの第１特徴点を更に選別するように、できる限り多くの第１特徴点を取得し、それにより選別精度を向上させる。同時に、マッチング性能を向上させ、スケールの変化が大きい場合にも物体を検出することもできる。
【００７８】
好ましくは、上記図７に対応する第１実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第２好適な実施例において、前記テンプレート画像にはアレイ状に配列される複数の格子があり、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得することは、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定することであって、前記特徴点対が前記目標格子に位置する第１特徴点及び前記第２特徴点のうちの前記第１特徴点とのマッチング度の最も高い特徴点を含むことと、
前記目標格子における前記特徴点対に基づき、前記テンプレート画像と前記第２画像との第１ホモグラフィ行列を計算することと、を含む。
【００７９】
目標格子がテンプレート画像の複数の格子のうちの格子の一部である。つまり、第２画像には目標格子における第１特徴点にマッチングする目標特徴点があって、各目標格子が１組のマッチングする特徴点対のみに対応する。２枚の画像に対してホモグラフィ行列計算を行うとき、少なくとも４対の特徴点対でホモグラフィ行列を計算することができ、特徴点対の数への要求がより低いが品質への要求がより高い。そして、同じ格子内の特徴点対の類似度がより高いため、端末が異なる目標格子における特徴点対をできる限り選択して後続の計算を行う。
【００８０】
本実施例において、図８に示すように、テンプレート画像が大きく傾斜すると仮定する。図８における本の表紙画像が本願の実施例のテンプレート画像の模式図であり、このような場合、左半部のスケールが小さいが、右半部のスケールが大きく、１層のピラミッド空間によってこのような場合を正確に説明できない（なお、図８及び図９において「初音ミク」は登録商標である）。従って、以下の方式でこのような特徴を説明してもよい。
【００８１】
具体的に、図９を参照すると、図９は本願の実施例による原画像層において目標特徴点を決定する実施例の模式図であり、元のテンプレート画像をダウンサンプリングしてピラミッド画像を生成し、各層に対していずれも第１特徴点を抽出して、複数のスケールにおけるテンプレート画像の複数層の第１特徴点を取得する。同時に、特徴点を拡大縮小し、すべての特徴点の位置を拡大縮小して原画像層寸法に統一して、１つの原画像層寸法のマスクを作って、複数の小格子に均一に分割して使用に備える。
【００８２】
読み取ったばかりの各枚の画像に対して、第２特徴点を１回のみ抽出し、次にそれぞれ原画像層における第１特徴点にマッチングして、複数のスケールにおける特徴マッチングを実現することができる。上記各マッチング（又は、特徴点対）はいずれも１つの現在の画像における点及び１つのテンプレート画像における点を含む。テンプレート画像における点に対して、各点が複数のスケールを有し且ついずれも原画像層寸法に拡大縮小したため、複数のマッチングにおける特徴点が同じ格子領域内に集中する。各格子内に対して、１つのみのマッチング点数の最も高い点を代表として選択する。メッシュフィルタの選別によって、複数組の格子を選別したテンプレート画像から第２画像までのマッチングを実現することができる。少なくとも４組の格子を選別したテンプレート画像から第２画像までの特徴点対が存在する場合、該少なくとも４組の特徴点対に基づいて計算によってテンプレート画像から第２画像への第１ホモグラフィ行列を取得する。
【００８３】
このようなテンプレート画像の格子には１層以上の特徴点が融合する可能性がある。格子選別法は隣接する２層の特徴点を平滑化して、比率で２層のマッチング情報を利用することに相当するため、必要なピラミッド層数を大幅に減少することができる。図９を例とし、格子選別は対応するスケールを自動的に選択し、左半部で小スケールを選択し、右半部で大スケールを選択し、これにより、よくマッチングすることができる。
【００８４】
次に、本願の実施例において、カメラ姿勢情報決定装置はまず第２画像から第２特徴点を抽出し、次に原画像層の各格子において、第１特徴点を第２特徴点にマッチングして、少なくとも１つの選択対象の特徴点を取得し、各選択対象の特徴点が１つのマッチング値に対応し、最後に原画像層の各格子において、少なくとも１つの選択対象の特徴点からマッチング値の最も大きい特徴点を目標特徴点として選択する。上記方式によって、格子でマッチング最大数を制限し、第１ホモグラフィ行列の計算安定性を確保し、且つ実行時に第２画像に対して第２特徴点を１回のみ抽出し、追加した特徴マッチングにかかった時間がより短く、実行速度に影響を与えず、これにより、マッチング効率を向上させる。
【００８５】
好ましくは、上記図７に対応する実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第３好適な実施例において、第１画像における第１オプティカルフロー特徴点及び第２画像の第２オプティカルフロー特徴点に基づいて第１目標ホモグラフィ行列を決定することは、
第１画像の所定領域において第１オプティカルフロー特徴点を取得することであって、前記所定領域が前記テンプレート画像に対応する領域であることと、
前記第１オプティカルフロー特徴点に基づいて第２オプティカルフロー特徴点を取得することと、
第１オプティカルフロー特徴点及び第２オプティカルフロー特徴点に基づき、第１画像から第２画像までの第１目標ホモグラフィ行列を計算することと、を含んでもよい。
【００８６】
本実施例において、カメラ姿勢情報決定装置は第１目標ホモグラフィ行列の決定過程において、第１画像の所定領域において第１オプティカルフロー特徴点を取得する必要があり、所定領域が４つの頂点を含んでもよく、この４つの頂点が初期化された１つの画像領域であり、該画像領域がテンプレート画像の第１画像における領域であり、この領域からいくつかのＳｈｉ−Ｔｏｍａｓｉキーポイントを第１オプティカルフロー特徴点として抽出する。
【００８７】
カメラが移動するとともに、以前のオプティカルフロー特徴点が悪くなる恐れがあり、特に回転及び透視投影前のオプティカルフロー点が現在の画像から観測できなくなる恐れがあり、従って、数フレームおきにオプティカルフローで追跡するオプティカルフロー特徴点を更新する必要がある。前のフレームを利用して計算した所定領域の４つの頂点（図９の右下方の図中の本の４つの頂点を参照してもよい）を１周り縮小して１つのマスクを見つけ、オプティカルフローアルゴリズムで該マスクにおいて第２オプティカルフロー特徴点を決定する。この過程全体がバックグラウンドにおいてスレッドで実行されるため、メインスレッドの速度に影響を与えないと理解される。上記方法によって、追跡したオプティカルフロー特徴点を自動的に更新し、オプティカルフローアルゴリズムの安定性を確保する。第１オプティカルフロー特徴点及び第２オプティカルフロー特徴点に基づき、第１画像から第２画像までの第１目標ホモグラフィ行列を計算し、該第１目標ホモグラフィ行列を第１画像からテンプレート画像までの再帰基礎とする。
【００８８】
マスクの画素数が所定領域の画素数より小さい理由は、テンプレート画像におけるオプティカルフロー特徴点を取得する必要があり、エッジの特徴点の検出がエラーとなることが容易であるので、１周り縮小して取得したマスク画素数が少なくなるためである。
【００８９】
次に、本願の実施例において、カメラ姿勢情報決定装置は第１画像の所定領域において第１オプティカルフロー特徴点を取得して、オプティカルフローアルゴリズム及び第１オプティカルフロー特徴点に基づいて第２画像のマスクにおいて第２オプティカルフロー特徴点を取得する。最後に第１オプティカルフロー特徴点及び第２オプティカルフロー特徴点に基づき、第１画像から第２画像までの第１目標ホモグラフィ行列を計算する。上記方式によって、前のフレームの画像を利用して計算した所定領域の頂点が１周り縮小し、マスクを取得し、このようにエッジ特徴点を検出した回数を減少させることができ、これにより、検出エラー率を低下させる。
【００９０】
好ましくは、上記図７に対応する第３実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第４好適な実施例において、第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定することは、
テンプレート画像から第１画像への第２目標ホモグラフィ行列を取得することと、
第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づき、第２画像からテンプレート画像までの第２ホモグラフィ行列を計算することと、を含んでもよい。
【００９１】
本実施例において、カメラ姿勢情報決定装置は第２ホモグラフィ行列の決定過程又は第２ホモグラフィ行列を決定する前に、テンプレート画像において第３オプティカルフロー特徴点を取得し、次に第３オプティカルフロー特徴点及び第１オプティカルフロー特徴点に基づいてテンプレート画像と第１画像とのマッチング点を見つける必要があり、これにより、第２目標ホモグラフィ行列を計算し、第２目標ホモグラフィ行列を第１目標ホモグラフィ行列に乗じてテンプレート画像から第２画像までの第２ホモグラフィ行列を取得する。
【００９２】
現在の画像が第２画像であり、前のフレームの画像が第１画像である。
【００９３】
次に、本願の実施例において、カメラ姿勢情報装置が第２ホモグラフィ行列を決定する方式、つまり、まずテンプレート画像から第１画像への第２目標ホモグラフィ行列を取得し、次に第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づき、第２画像からテンプレート画像までの第２ホモグラフィ行列を計算することを説明した。上記方式によって、オプティカルフロー特徴点を利用して第２ホモグラフィ行列を取得することができ、これにより、解決手段の実現可能性及び実用性を向上させる。
【００９４】
好ましくは、上記図７に対応する第３又は第４実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第５好適な実施例において、更に、
第２オプティカルフロー特徴点の数が所定閾値より小さい場合、第２オプティカルフロー特徴点の数が所定閾値に達するように、第２オプティカルフロー特徴点としてｑ個のオプティカルフロー特徴点を取得することであって、ｑが正の整数であることを含んでもよい。
【００９５】
本実施例において、第２画像におけるマスクから取得された第２オプティカルフロー特徴点の数が所定閾値より小さい場合、残りの第２オプティカルフロー特徴点が少なすぎると説明され、マスクの特徴を示すことができず、従って、第２オプティカルフロー特徴点の数が所定閾値に達するように、マスクからｑ個のオプティカルフロー特徴点を第２オプティカルフロー特徴点として再び抽出する必要がある。
【００９６】
所定閾値が５０又は１００であってもよく、他の数値であってもよく、ここで制限しないと理解される。
【００９７】
更に、本願の実施例において、第２オプティカルフロー特徴点の数が所定閾値より小さい場合、第２オプティカルフロー特徴点の数が所定閾値に達するように、カメラ姿勢情報決定装置が第２オプティカルフロー特徴点としてマスクからｑ個のオプティカルフロー特徴点を取得する。上記方式によって、第２オプティカルフロー特徴点の数が不十分な場合、新しいオプティカルフロー特徴点を改めて抽出して補うことができ、つまり、追跡した特徴点を自動的に更新したことに相当し、オプティカルフローアルゴリズムの安定性を向上させる。
【００９８】
好ましくは、上記図７に対応する実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第６好適な実施例において、第１ホモグラフィ行列及び第２ホモグラフィ行列に基づいてカメラ姿勢情報を決定することは、
第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、第２ホモグラフィ行列に基づいて第２回転並進行列を決定することであって、第１ホモグラフィ行列及び第２ホモグラフィ行列が二次元情報であり、第１回転並進行列及び第２回転並進行列が三次元情報であることと、
第１回転並進行列及び第２回転並進行列に対して相補フィルタリング処理を行って、カメラ姿勢情報を取得することと、を含んでもよい。
【００９９】
本実施例において、カメラ姿勢情報決定装置はカメラ姿勢情報を決定するとき、２つのステップに分ける必要があり、第１ステップは主に２つの回転並進行列を決定する。第２ステップは主にこの２つの回転並進行列に対して相補フィルタリング処理を行って、最後にカメラ姿勢情報を取得する。
【０１００】
ホモグラフィ行列を回転並進行列に変換する過程は二次元座標を三次元座標に変換する過程であると理解されてもよく、具体的な実現方式は図７に対応する第７実施例を参照してもよい。三次元座標を取得すれば、カメラがテンプレート画像を収集するときの実世界における位置を決定することができる。
【０１０１】
カメラ姿勢情報決定装置に対して、時間のかかる部分は主に検出であると理解される。１フレームの画像に対して、追跡器が１フレームの画像を追跡する時間は多くとも１０ミリ秒以内であり、検出器が１フレームの画像を検出する時間は３０ミリ秒に近い。従って、他の代替案として、第１回転並進行列及び第２回転並進行列を融合することが各フレームにおいて行われることではなく、各フレームの画像の検出及び融合がいずれもバックエンドにおいてスレッドで行われ、融合によって取得した補正増分を後続のカメラ姿勢の補正に用い、このようにメインスレッドが追跡時間のみを必要とし、検出及び融合がメインスレッドをブロックすることがなく、計算速度が加速化される。
【０１０２】
次に、本願の実施例において、カメラ姿勢情報の決定過程を２つの部分に分けて、１つの部分は第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、第２ホモグラフィ行列に基づいて第２回転並進行列を決定することであり、もう１つの部分は第１回転並進行列及び第２回転並進行列に対して相補フィルタリング処理を行って、カメラのカメラ姿勢情報を取得することである。上記方式によって、二次元のホモグラフィ矩形を三次元の回転並進行列に分解することができ、テンプレート画像におけるすべての第１特徴点をいずれも元の図形層において融合するため、１組のみの回転並進行列の解を取得することができ、これにより、解決手段の操作性を向上させる。相補フィルタリング方式を用いることにより、更に平滑化されたカメラ姿勢情報を取得することができる。
【０１０３】
好ましくは、上記図７に対応する第６実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第７好適な実施例において、第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、第２ホモグラフィ行列に基づいて第２回転並進行列を決定することは、以下を含んでもよい。
【０１０４】
第１ホモグラフィ行列、第２画像の透視投影行列及びテンプレート画像の透視投影行列に基づいて第１回転並進行列を計算する。好ましくは、第１回転並進行列における回転部分は、カメラがテンプレート画像を収集するときの第１姿勢から第２画像を収集するときの第２姿勢に変わる際の空間回転変化を示すことに用いられ、第１回転並進行列における並進部分は、カメラがテンプレート画像を収集するときの第１姿勢から第２画像を収集するときの第２姿勢に変わる際の空間変位変化を示すことに用いられる。
【０１０５】
第２ホモグラフィ行列、第２画像の透視投影行列及びテンプレート画像の透視投影行列に基づいて第２回転並進行列を計算する。好ましくは、第２回転並進行列における回転部分も、カメラがテンプレート画像を収集するときの第１姿勢から第２画像を収集するときの第２姿勢に変わる際の空間回転変化を示すことに用いられ、第２回転並進行列における並進部分も、カメラがテンプレート画像を収集するときの第１姿勢から第２画像を収集するときの第２姿勢に変わる際の空間変位変化を示すことに用いられる。
【０１０６】
本実施例において、第１ホモグラフィ行列をカメラパラメータと組み合わせて第１回転並進行列に分解することができる。同様に、第２ホモグラフィ行列をカメラパラメータと組み合わせて第２回転並進行列に分解することができる。以下、第１回転並進行列に分解することを例として説明し、第２回転並進行列に分解する方式は第１回転並進行列に分解する方式に類似するため、ここで詳細な説明は省略する。
【０１０７】
テンプレート画像におけるすべての点が同じ平面にある特性を利用して、以下の方法で１組の決定された解に分解することができ、ホモグラフィ行列の定義及びカメラ間の回転並進行列の定義に基づき、以下の公式があり得る。
【０１０８】
【数１】
0006824433.tif 000002
0006824433.tif 000003
【０１０９】
ｘｃが第２画像における二次元座標の同次表示であり、ｘｍがテンプレート画像における二次元座標の同次表示であり、Ｈが第１ホモグラフィ行列を示し、（Ｒ｜Ｔ）が第１回転並進行列を示し、Ｐが透視投影行列を示し、ｓがスケール要素を示す理由は、ｘｍが三次元点を逆投影する際にｚ＝１にし、深さをなくすので、スケール要素ｓで補う必要があるためである。
【０１１０】
例えば、２Ｄ点［ｘ，ｙ］Ｔの同次座標が［ｘ，ｙ，１］Ｔであり、３Ｄ点［ｘ，ｙ，ｚ］Ｔの同次座標が［ｘ，ｙ，ｚ，１］Ｔである。従って、以下のように推測できる。
【０１１１】
【数２】
0006824433.tif 000004
【０１１２】
Ｐｃが第２画像の透視投影行列を示し、Ｐｍがテンプレート画像の透視投影行列を示す。上記公式では、ｘｍがテンプレート画像のカメラパラメータによって逆投影した三次元点はいずれもｚ＝１の点であるが、すべての点が同じ平面にあるため、ｚ＝１をｚ＝０に並進することができ、上記式は変化しないが、同時に、ｚ＝０に起因し、Ｒ｜Ｔの第３列がいずれも０であり、削除できる。それにより以下の新しい等式を得る。
【０１１３】
【数３】
0006824433.tif 000005
【０１１４】
従って、ｓＲ００、ｓＲ１０、ｓＲ２０・・・ｓＴ０、ｓＴ１、ｓＴ２を求めることができる。
【０１１５】
Ｒは回転行列であって、列ベクトルが単位行列である特性を満たすため、スケール要素ｓを求めることができ、Ｒ０及びＲ１によって第３列Ｒ２を計算することができ、Ｓ及び左式の第３列によってＴを計算することができる。スケール要素ｓに正負符号があり、ＲＴを計算してからテンプレート画像の第２画像における位置を計算することができ、位置が必ずカメラの前方（Ｔｚ＜０）に位置することによって、ｓの符号を推定することができ、これにより、１組の決定された回転並進行列を取得し、それにより決定されたカメラ姿勢情報を取得する。
【０１１６】
次に、本願の実施例において、第１回転並進行列及び第２回転並進行列の計算方式を説明した。上記方式によって、より正確な計算結果を取得して、解決手段の実用性を向上させることができる。
【０１１７】
好ましくは、上記図７に対応する第６実施例に基づき、本願の実施例に係るカメラ姿勢情報の決定方法の第８好適な実施例において、第１回転並進行列及び第２回転並進行列に対して相補フィルタリング処理を行って、カメラ姿勢情報を取得することは、
第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得することと、
第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得することと、
第１フィルタリング結果及び第２フィルタリング結果に基づいてカメラ姿勢情報を決定することと、を含んでもよい。
【０１１８】
本実施例において、第１回転並進行列の取得速度がより遅く、精度がより低く、出力された結果が正しい値の周りに波動し、高周波誤差があるが平均値がより安定する。それに対して、第２回転並進行列の取得速度がより速く、精度がより高く、出力された結果が更に安定且つ平滑化され、高周波振動がないが、時間の経つとともに誤差が累積され、このため、ドリフトが生じる。第１回転並進行列及び第２回転並進行列を組み合わせて相補を形成するため、相補フィルタリングを行って、平滑化された出力結果を取得することができる。
【０１１９】
ただし、ローパスフィルタ及びハイパスフィルタは相補フィルタを構成することができ、なお、カルマンフィルタはローパスフィルタ及びハイパスフィルタの機能を実現することもできる。カルマンフィルタ及び相補フィルタは性能の面で相違点が少ないが、相補フィルタは更に簡潔であり、且つ応用シーンの特性が相補フィルタに接近するため、類似する要旨を用いて１つの視覚の相補フィルタを実現する。
【０１２０】
説明しやすくするために、図１０に示すように、図１０は本願の実施例の第１回転並進行列及び第２回転並進行列に対してフィルタリング処理を行う実施例の模式図であり、図示のように、第１ホモグラフィ行列が検出器により検出されたホモグラフィ行列を示して、テンプレート画像から現在のカメラ画像までの変換を代表する。該第１ホモグラフィ行列から第１回転並進行列（Ｒ１｜Ｔ１）を直接分解することができる。第２ホモグラフィ行列が追跡器により追跡されたホモグラフィ行列を示して、テンプレート画像から現在の画像（すなわち、第２画像）までの変換も代表し、該第２ホモグラフィ行列から第２回転並進行列（Ｒ２｜Ｔ２）を分解することができる。第１ホモグラフィ行列Ｒ１｜Ｔ１は１つのローパスフィルタによって高周波ノイズをフィルタリングして、第１フィルタリング結果（Ｒｆ１｜Ｔｆ１）を取得することができ、第２ホモグラフィ行列Ｒ２｜Ｔ２は１つのハイパスフィルタによって低周波ドリフトをフィルタリングして、第２フィルタリング結果（Ｒｆ２｜Ｔｆ２）を取得する。
【０１２１】
並進Ｔに対して加成性を有するため、直接融合することができ、回転に対して加成性を直接有しない。まずロドリゲスの回転公式（Ｒｏｄｒｉｇｕｅｓ）で四元数に変換し、球面線形（ｓｌｅｒｐ）補間によって融合することにより、フィルタリング後の実データを取得する必要がある。該フィルタリング後の実データは正確なテンプレート画像から現在のカメラ画像までの回転及び並進（Ｒ｜Ｔ）変化を説明した。
【０１２２】
カメラパラメータによってテンプレート画像座標系における４つの頂点の真の座標を計算することができ、それを上記Ｒ｜Ｔに乗じて対応する現在のカメラにおけるテンプレート画像の４つの頂点の三次元座標を計算することができ、透視投影によって対応する二次元座標を計算し、それにより４組のテンプレート画像から現在のカメラ画像における二次元座標点までのマッチングを見つけ、これにより、更新後のホモグラフィ行列を計算し、それで積分器を更新することにより、追跡器の累積誤差を排除する。
【０１２３】
ただし、本実施例に係る相補フィルタリングはフレームであり、フィルタリング可能なものが検出器により取得された追跡結果及び追跡器により取得されたオプティカルフロー追跡結果に限らない。いずれか２つ又は複数の異なるソースのテンプレート画像追跡結果であってもよく、ひいては外部センサーから伝送されたデータ（例えば、慣性測定ユニットにより測定されたデータ）を含み、同様に、カルマンフィルタを用いて対応する処理を行ってもよい。
【０１２４】
次に、本願の実施例において、第１回転並進行列及び第２回転並進行列に対して相補フィルタリング処理を行い、つまり、第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得するとともに、第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得し、最後に第１フィルタリング結果及び前記第２フィルタリング結果に基づいてカメラ姿勢情報を決定する。上記方式によって、第１回転並進行列は精度が低く且つ高周波誤差があるという欠点を補うことができるだけでなく、第２回転並進行列は時間の経つにつれて誤差が累積されてドリフトが生じるという欠点を補うこともでき、相補フィルタリング方式で平滑化された出力結果を取得することができ、これにより、解決手段の実現可能性を向上させる。
【０１２５】
以下、本願のカメラ姿勢情報決定装置を詳しく説明する。図１１は本願の実施例によるカメラ姿勢情報の決定装置の一実施例の模式図であり、カメラ姿勢情報の決定装置３０は、
第１画像、第２画像及びテンプレート画像を取得するように構成され、前記第１画像が前記第２画像の前のフレームの画像であり、前記第１画像及び前記第２画像が前記カメラにより収集された画像であり、前記テンプレート画像がマッチング用の基準画像である第１取得モジュール３０１と、
前記テンプレート画像における第１特徴点及び前記第２画像における第２特徴点に対して特徴点検出を行って、第１ホモグラフィ行列を取得するように構成される検出モジュール３０２と、
前記第１画像における第１オプティカルフロー特徴点及び前記第２画像の第１目標ホモグラフィ行列に基づき、且つ前記第１目標ホモグラフィ行列及び第２目標ホモグラフィ行列に基づいて第２ホモグラフィ行列を決定するように構成され、前記第２目標ホモグラフィ行列が前記テンプレート画像から前記第１画像へのホモグラフィ行列である追跡モジュール３０３と、
前記第１ホモグラフィ行列及び前記第２ホモグラフィ行列に対して相補フィルタリング処理を行って、前記カメラのカメラ姿勢情報を取得するように構成される相補フィルタリングモジュール３０４と、を備える。
【０１２６】
図１１に基づく好適な実施例において、図１２に示すように、前記相補フィルタリングモジュール３０４は、
前記第１ホモグラフィ行列に基づいて第１回転並進行列を決定し、前記第２ホモグラフィ行列に基づいて第２回転並進行列を決定するように構成され、前記第１ホモグラフィ行列と前記第２ホモグラフィ行列が二次元情報であり、前記第１回転並進行列と前記第２回転並進行列が三次元情報である決定ユニット３０４１と、
前記カメラ姿勢情報を取得するように、前記第１回転並進行列及び前記第２回転並進行列に対して相補フィルタリング処理を行うための処理ユニット３０４２と、を備える。
【０１２７】
図１２に基づく好適な実施例において、図１３に示すように、前記処理ユニット３０４２は、
前記第１回転並進行列をローパスフィルタに入力して、第１フィルタリング結果を取得するように構成される第１入力サブユニット３０４２１と、
前記第２回転並進行列をハイパスフィルタに入力して、第２フィルタリング結果を取得するように構成される第２入力サブユニット３０４２２と、
前記第１フィルタリング結果及び前記第２フィルタリング結果に基づいて前記カメラ姿勢情報を決定するように構成される決定サブユニット３０４２３と、を備える。
【０１２８】
図１２に基づく好適な実施例において、図１４に示すように、前記決定ユニット３０４１は、
前記第１ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第１回転並進行列を計算するように構成される第１計算サブユニット３０４１１と、
前記第２ホモグラフィ行列、前記第２画像の透視投影行列及び前記テンプレート画像の透視投影行列に基づいて前記第２回転並進行列を計算するように構成される第２計算サブユニット３０４１２と、を備える。
【０１２９】
図１１に基づく好適な実施例において、図１５に示すように、前記テンプレート画像にはアレイ状に配列される複数の格子があり、
前記検出モジュール３０２は、
前記テンプレート画像における第１特徴点を前記第２画像における第２特徴点にマッチングし、前記複数の格子のうちの各目標格子から１組の特徴点対を決定するように構成され、前記特徴点対が前記目標格子に位置する第１特徴点及び前記第２特徴点のうちの前記第１特徴点とのマッチング度の最も高い特徴点を含むマッチングモジュール３０２１と、
前記目標格子における前記特徴点対に基づき、前記テンプレート画像と前記第２画像との第１ホモグラフィ行列を計算するように構成される第１決定モジュール３０２２と、を備える。
【０１３０】
図１５に基づく好適な実施例において、前記装置は、更に、
前記テンプレート画像の各画像層からそれぞれ前記第１特徴点を抽出して、原画像層において前記第１特徴点を決定するように構成される第１抽出モジュールを備え、
前記原画像層が前記テンプレート画像における１つの画像層であり、前記原画像層に前記複数の格子が含まれる。
【０１３１】
図１５に基づく好適な実施例において、前記第１抽出モジュールは、
前記テンプレート画像の第１画像層から前記第１特徴点を抽出するように構成される第１抽出ユニットと、
前記テンプレート画像の第２画像層から前記第１特徴点を抽出するように構成され、前記第１画像層及び前記第２画像層の寸法が異なる第２抽出ユニットと、
前記第１画像層における前記第１特徴点及び前記第２画像層における前記第１特徴点に対して拡大縮小処理を行って、前記原画像層に投影するように構成される投影ユニットと、を備える。
【０１３２】
図１５に基づく好適な実施例において、前記装置は、更に、
前記第２画像から第２特徴点を抽出するように構成される第２抽出モジュールを備え、
前記マッチングモジュールは、
前記原画像層の各前記目標格子における第１特徴点に対して、前記第１特徴点を第２特徴点にマッチングして、少なくとも１対の相互にマッチングされる選択対象の特徴点対を取得するように構成され、各組の前記選択対象の特徴点対が１つのマッチング値に対応するマッチングユニットと、
前記少なくとも１対の選択対象の特徴点対からマッチング値の最も大きい特徴点対を前記目標格子における決定された特徴点対として選択するように構成される選択ユニットと、を備える。
【０１３３】
図１１に基づく好適な実施例において、図１６に示すように、前記追跡モジュール３０３は、
前記第１画像の所定領域において第１オプティカルフロー特徴点を取得するように構成され、前記所定領域が前記テンプレート画像に対応する領域である第１取得ユニット３０３１と、
前記第１オプティカルフロー特徴点に基づいて第２オプティカルフロー特徴点を取得するように構成される第２取得ユニット３０３２と、
前記第１オプティカルフロー特徴点及び前記第２オプティカルフロー特徴点に基づき、前記第１画像から前記第２画像への前記第１目標ホモグラフィ行列を計算するように構成される第１計算ユニット３０３３と、を備える。
【０１３４】
図１５に基づく好適な実施例において、前記装置は、更に、
前記第２オプティカルフロー特徴点の数が所定閾値より小さい場合、前記第２オプティカルフロー特徴点の数が前記所定閾値に達するように、前記第２オプティカルフロー特徴点としてｑ個のオプティカルフロー特徴点を取得するように構成され、前記ｑが正の整数である第２取得モジュールを備える。
【０１３５】
本願の実施例は更に他のカメラ姿勢情報決定装置を提供し、図１７に示すように、説明しやすくするために、本願の実施例に関連する部分のみを示すが、具体的な技術的な詳細を示しておらず、本願の実施例の方法部分を参照してもよい。該端末が携帯電話、タブレットＰＣ、ＰＤＡ、ＰＯＳ、車載コンピュータ等の任意の端末装置であってもよく、端末が携帯電話である場合を例とすれば、図１７には本願の実施例の端末に関連する携帯電話の部分構造のブロック図を示す。図１７に示すように、携帯電話は無線周波数（ＲＦ：Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）回路４１０、メモリ４２０、入力ユニット４３０、表示ユニット４４０、センサー４５０、オーディオ回路４６０、ワイヤレスフィデリティ（ＷｉＦｉ：ｗｉｒｅｌｅｓｓ  ｆｉｄｅｌｉｔｙ）モジュール４７０、プロセッサ４８０及び電源４９０等の部材を備える。当業者であれば、図１７に示される携帯電話の構造は携帯電話を制限するためのものではなく、図示より多く又は少ない部材を備え、又はいくつかの部材を組み合わせ、又は異なる部材を配置してもよいと理解される。
【０１３６】
以下、図１７を参照しながら携帯電話の各構成部材を具体的に説明する。
【０１３７】
ＲＦ回路４１０は情報を送受信し又は通話中の信号を受信及び送信し、特に、基地局のダウンリンク情報を受信した後、プロセッサ４８０に送って処理し、また、設計されたアップリンクデータを基地局に送信することに用いられてもよい。一般的に、ＲＦ回路４１０はアンテナ、少なくとも１つの増幅器、送受信機、結合器、低雑音増幅器（ＬＮＡ：Ｌｏｗ  Ｎｏｉｓｅ  Ａｍｐｌｉｆｉｅｒ）、デュプレクサ等を含むが、それらに限らない。なお、ＲＦ回路４１０は更に無線通信によってネットワーク及び他の装置と通信することができる。上記無線通信はいずれか１つの通信規格又はプロトコルを用いてもよく、前記通信規格又はプロトコルは、モバイル通信用グローバル（ＧＳＭ（登録商標）：Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ  Ｐａｃｋｅｔ  Ｒａｄｉｏ  Ｓｅｒｖｉｃｅ）、符号分割多元接続（ＣＤＭＡ：Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、広帯域符号分割多元接続（ＷＣＤＭＡ(登録商標)：Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、電子メール、ショートメッセージサービス（ＳＭＳ：Ｓｈｏｒｔ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ）等を含むが、それらに限らない。
【０１３８】
メモリ４２０がソフトウェアプログラム及びモジュールを記憶することに用いられてもよく、プロセッサ４８０がメモリ４２０に記憶されるソフトウェアプログラム及びモジュールを実行することにより、携帯電話の様々な機能アプリケーション及びデータ処理を実行する。メモリ４２０は主に記憶プログラム領域及び記憶データ領域を備えてもよく、記憶プログラム領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能等）等を記憶することができ、記憶データ領域は携帯電話の使用に応じて新規作成されたデータ（例えば、オーディオデータ、電話帳等）等を記憶することができる。なお、メモリ４２０は高速ランダムアクセスメモリを含んでもよく、更に不揮発性メモリ、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイス又は他の揮発性固体記憶装置を含んでもよい。
【０１３９】
入力ユニット４３０が入力された数字又は文字情報を受信し、携帯電話のユーザー設定及び機能制御に関連するキー信号入力を生成することに用いられてもよい。具体的に、入力ユニット４３０はタッチパネル４３１及び他の入力装置４３２を備えてもよい。タッチパネル４３１は更にタッチスクリーンと称され、ユーザーのその上又は近傍のタッチ操作（例えば、ユーザーが指、スタイラス等の任意の適切な物体又は付属品でタッチパネル４３１上又はタッチパネル４３１近傍に行った操作）を収集して、予め設定されたプログラムに基づいて対応する接続装置を駆動することができる。好ましくは、タッチパネル４３１はタッチ検出装置及びタッチコントローラの２つの部分を備えてもよい。タッチ検出装置はユーザーのタッチ位置を検出して、タッチ操作による信号を検出し、信号をタッチコントローラに伝送し、タッチコントローラはタッチ検出装置からタッチ情報を受信して、それを接点座標に変換し、更にプロセッサ４８０に送信して、プロセッサ４８０から送信された命令を受信して実行することができる。なお、抵抗式、静電容量式、赤外線及び表面音波等の様々なタイプでタッチパネル４３１を実現することができる。タッチパネル４３１を除き、入力ユニット４３０は更に他の入力装置４３２を備えてもよい。具体的に、他の入力装置４３２は物理キーボード、機能キー（例えば、音量制御ボタン、切り替えボタン等）、トラックボール、マウス、操作レバー等のうちの１つ又は複数を含むが、それらに限らない。
【０１４０】
表示ユニット４４０がユーザーの入力した情報又はユーザーに提供した情報及び携帯電話の様々なメニューを表示することに用いられてもよい。表示ユニット４４０は表示パネル４４１を備えてもよく、好ましくは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等の形式で表示パネル４４１を配置することができる。更に、タッチパネル４３１は表示パネル４４１を覆うことができ、タッチパネル４３１はその上又は近傍のタッチ操作を検出した後、タッチイベントのタイプを決定するように、プロセッサ４８０に伝送し、その後、プロセッサ４８０はタッチイベントのタイプに基づいて表示パネル４４１に対応する視覚出力を提供する。図１７では、タッチパネル４３１及び表示パネル４４１が２つの独立した部材として携帯電話の入力及び出力機能を実現するが、いくつかの実施例において、タッチパネル４３１及び表示パネル４４１を統合して携帯電話の入力及び出力機能を実現することができる。
【０１４１】
携帯電話は更に少なくとも１つのセンサー４５０、例えば光センサー、運動センサー及び他のセンサーを備えてもよい。具体的に、光センサーは環境光センサー及び近接センサーを含んでもよく、環境光センサーは環境光の輝度に基づいて表示パネル４４１の輝度を調整することができ、近接センサーは携帯電話が耳元に移動するとき、表示パネル４４１及び／又はバックライトを閉じることができる。運動センサーの１つとして、加速度センサーは各方向における（一般的に三軸）加速度の大きさを検出することができ、静止時、重力の大きさ及び方向を検出することができ、携帯電話姿勢を識別するアプリケーション（例えば、横画面と縦画面の切り替え、関連ゲーム、磁力計姿勢の補正）、振動識別関連機能（例えば、万歩計(登録商標)、ハンマリング）等に用いられてもよく、携帯電話に更に配置できるジャイロスコープ、気圧計、湿度計、温度計、赤外線センサー等の他のセンサーは省略する。
【０１４２】
オーディオ回路４６０、拡声器４６１、マイクロホン４６２はユーザーと携帯電話とのオーディオインターフェースを提供することができる。オーディオ回路４６０は受信されたオーディオデータを変換した電気信号を拡声器４６１に伝送し、拡声器４６１によって音声信号に変換して出力することができる一方、マイクロホン４６２は収集された音声信号を電気信号に変換し、オーディオ回路４６０によって受信してからオーディオデータに変換し、更にオーディオデータをプロセッサ４８０に出力して処理した後、ＲＦ回路４１０によって例えば他の携帯電話に送信し、又は、更なる処理を行うように、オーディオデータをメモリ４２０に出力する。
【０１４３】
ＷｉＦｉは近距離無線伝送技術に属し、携帯電話はＷｉＦｉモジュール４７０によってユーザーが電子メールを送受信し、ホームページをブラウジングし及びストリーミングメディア等にアクセスすることに役立ち、ユーザーに無線のブロードバンドインターネットアクセスを提供する。図１７にＷｉＦｉモジュール４７０を示すが、それが携帯電話の不可欠な構造ではなく、必要に応じて発明の本質を変えない範囲内に省略してもよいと理解される。
【０１４４】
プロセッサ４８０は携帯電話のコントロールセンターであり、様々なインターフェース及び回路を利用して携帯電話全体の各部分に接続され、メモリ４２０に記憶されるソフトウェアプログラム及び／又はモジュールを動作又は実行し、メモリ４２０に記憶されるデータを呼び出すことにより、携帯電話の様々な機能及び処理データを実行し、それにより携帯電話全体を監視する。好ましくは、プロセッサ４８０は１つ又は複数の処理ユニットを備えてもよく、好ましくは、プロセッサ４８０はアプリケーションプロセッサ及びモデムプロセッサを統合することができ、アプリケーションプロセッサは主にオペレーティングシステム、ユーザーインターフェース及びアプリケーションプログラム等を処理し、モデムプロセッサは主に無線通信を処理する。上記モデムプロセッサは更にプロセッサ４８０に統合されなくてもよいと理解される。
【０１４５】
携帯電話は更に各部材に給電する電源４９０（例えば、電池）を備え、好ましくは、電源は電源管理システムによってプロセッサ４８０に論理的に接続されてもよく、それにより電源管理システムによって充電、放電管理及び電力消費管理等の機能を実現する。
【０１４６】
図示しないが、携帯電話は更にＷｅｂカメラ、ブルートゥース(登録商標)モジュール等を備えてもよく、ここで詳細な説明は省略する。
【０１４７】
本願の実施例において、該端末に備えるメモリ４２０がプログラムを記憶するように構成され、上記の各実施例に記載のカメラ姿勢情報の決定方法を実現するように、プロセッサ４８０がメモリ４２０におけるプログラムを実行するように構成される。
【０１４８】
本願の実施例は更にコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体は命令を含み、前記命令がコンピュータによって実行される場合、コンピュータが上記の各実施例に記載のカメラ姿勢情報の決定方法を実行する。
【０１４９】
当業者であれば、説明を容易且つ簡単にするために、上記説明されるシステム、装置及びユニットの具体的な動作過程は、上記方法の実施例における対応過程を参照してもよく、ここで詳細な説明は省略すると明確に理解される。
【０１５０】
本願に係るいくつかの実施例において、開示されるシステム、装置及び方法は他の方式で実現されてもよいと理解すべきである。例えば、上記に説明される装置実施例は模式的なものに過ぎず、例えば、ユニットの区別は論理機能上の区別に過ぎず、実際に実現するとき、他の区別方式を用いてもよく、例えば複数のユニット又はコンポーネントは他のシステムに結合又は統合されてもよく、又はいくつかの特徴は省略してもよく、又は実行しなくてもよい。一方、表示又は検討される相互間の結合又は直接結合又は通信接続はいくつかのインターフェース、装置又はユニットによる間接結合又は通信接続であってもよく、電気、機械又は他の形式であってもよい。
【０１５１】
分離部材として説明されるユニットは物理的に分離してもよく、物理的に分離しなくてもよく、ユニットとして表示される部材は物理ユニットであってもよく、物理ユニットでなくてもよく、つまり、一箇所に位置してもよく、複数のネットワークユニットに配置されてもよい。実際の必要に応じて、その一部又は全部のユニットを選択して本実施例案の目的を実現してもよい。
【０１５２】
また、本発明の各実施例において、各機能ユニットは１つの処理ユニットに統合されてもよく、各ユニットは独立して物理的に存在してもよく、２つ又は２つ以上のユニットは１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。
【０１５３】
上記統合されたユニットはソフトウェア機能ユニットの形式で実現され、且つ独立した製品として販売又は使用されるとき、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本願の技術案の本質又は従来技術に貢献する部分、又は該技術案の全部又は一部はソフトウェア製品の形式で具現されてもよく、該コンピュータソフトウェア製品は、１台のコンピュータ装置（パーソナルコンピュータ、サーバ又はネットワーク機器等であってもよい）に本願の各実施例に記載の方法の全部又は一部のステップを実行させるための複数の命令を含む１つの記憶媒体に記憶される。そして、上記記憶媒体はＵＳＢメモリ、ポータブルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
【０１５４】
以上の説明、以上の実施例は本願の技術案を説明するためのものであって、制限するためのものではなく、上記実施例を参照して本願を詳しく説明したが、当業者であれば、依然として上記各実施例に記載の技術案を修正し、又はその一部の技術的特徴に等価置換を行うことができるが、これらの修正や置換は、対応する技術案の本質を本願の各実施例の技術案の趣旨や範囲から逸脱させるものではないと理解すべきである。
【図１】
0006824433.tif 000006
【図２】
0006824433.tif 000007
【図３】
0006824433.tif 000008
【図４】
0006824433.tif 000009
【図５】
0006824433.tif 000010
【図６】
0006824433.tif 000011
【図７】
0006824433.tif 000012
【図８】
0006824433.tif 000013
【図９】
0006824433.tif 000014
【図１０】
0006824433.tif 000015
【図１１】
0006824433.tif 000016
【図１２】
0006824433.tif 000017
【図１３】
0006824433.tif 000018
【図１４】
0006824433.tif 000019
【図１５】
0006824433.tif 000020
【図１６】
0006824433.tif 000021
【図１７】
0006824433.tif 000022