(57)【要約】【課題】  ユーザが注視する領域に、位置誤差小さくＭＲコンテンツを表示すること。【解決手段】  本発明は、画像を取得する取得手段と、前記取得した画像から当該画像を撮影した位置姿勢を推定するために利用する画像特徴を抽出する抽出手段と、ユーザが注目する前記画像の部分領域を推定する第１の推定手段と、前記画像特徴の領域と前記注目する部分領域の圧縮率がその他の領域よりも圧縮率が高くなるように圧縮率が不均一な画像を生成する第１の生成手段と、前記生成した圧縮率が不均一な画像を利用して前記画像を撮影した位置姿勢を推定する第２の推定手段と、前記推定した位置姿勢に基づいて合成画像を生成する第２の生成手段と、を有することを特徴とする。【選択図】  図１
2019079299.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記取得した画像から当該画像を撮影した位置姿勢を推定するために利用する画像特徴を抽出する抽出手段と、
ユーザが注目する前記画像の部分領域を推定する第１の推定手段と、
前記画像特徴の領域と前記注目する部分領域の圧縮率がその他の領域よりも圧縮率が高くなるように圧縮率が不均一な画像を生成する第１の生成手段と、
前記生成した圧縮率が不均一な画像を利用して前記画像を撮影した位置姿勢を推定する第２の推定手段と、
前記推定した位置姿勢に基づいて合成画像を生成する第２の生成手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記第１の推定手段は、ユーザの眼を撮影したカメラ画像の処理結果に基づいて推定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の推定手段は、ユーザの顔を撮影したカメラ画像の処理結果に基づいて推定することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第１の推定手段は、ユーザの手を撮影したカメラ画像の処理結果に基づいて推定することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記第１の推定手段は、ユーザの足を撮影したカメラ画像の処理結果に基づいて推定することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記画像特徴は実空間に存在する模様が既知の２次元の平面のマーカーであって、
前記第１の生成手段は、前記マーカーおよびその近傍領域の圧縮率がその他の領域よりも低い画像を生成することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記画像特徴は画像処理によって抽出された特徴点であって、
前記第１の生成手段は前記特徴点及びその近傍領域の圧縮率がその他の領域よりも低い画像を生成することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項８】
前記画像特徴は実空間に存在する形状が既知の３次元物体であって、
前記第１の生成手段は前記３次元物体及びその近傍領域の圧縮率がその他の領域よりも低い画像を生成することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項９】
前記第１の推定手段は、ユーザの眼を撮影したカメラ画像の処理結果に基づいて人物が注目する画素を推定し、前記注目する画素から一定の距離のうちに存在する画素の集合を前記注目する部分領域として検出し、
前記画像の特徴領域は、実空間に存在する模様が既知の２次元の平面のマーカーおよびその近傍領域であり
前記第１の生成手段は、実空間に存在するマーカーの大きさ、カメラとマーカーとの間の距離の推定値、および相対的な位置姿勢、マーカーのぼけ量に基づいて前記特徴領域の圧縮率を設定することを特徴とする請求項２に記載の装置。
【請求項１０】
画像を取得するステップと、
前記取得した画像から当該画像を撮影した位置姿勢を推定するために利用する画像特徴を抽出するステップと、
ユーザが注目する前記画像の部分領域を推定するステップと、
前記画像特徴の領域と前記注目する部分領域の圧縮率がその他の領域よりも圧縮率が高くなるように圧縮率が不均一な画像を生成するステップと、
前記生成した圧縮率が不均一な画像を利用して前記画像を撮影した位置姿勢を推定するステップと、
前記推定した位置姿勢に基づいて合成画像を生成するステップと、
を有することを特徴とする情報処理方法。
【請求項１１】
コンピュータを請求項１から９のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の画像に対して仮想画像を精度良く重畳するための技術に関する。
【背景技術】
【０００２】
近年、現実空間と仮想空間を違和感なく融合させて提示する複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ、ＭＲ）技術の研究が盛んである。ＭＲ技術の中でも、現実空間に仮想空間を重ね合わせて提示するＡｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＡＲ、拡張現実感とも呼ばれる）技術が特に注目を集めている。
【０００３】
ＡＲの画像提示は、主にビデオシースルー方式、または光学シースルー方式により実現される。ビデオシースルー方式の場合には、ビデオカメラ等の撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間の画像を重畳した画像が提示される。仮想空間は、具体的にはコンピュータグラフィクスにより描画された仮想物体や文字情報などにより構成される。光学シースルー方式の場合には、画像提示装置の位置及び姿勢に応じて生成された仮想空間の画像を透過型のディスプレイに表示し、観察者の網膜上で現実空間と仮想空間が合成されて認識される。
【０００４】
ＡＲ技術において最も重要な課題の一つは、現実空間と仮想空間との間の位置合わせをいかに実時間で正確に行うかであり、従来多くの取り組みが行われてきた。ＡＲにおける位置合わせの問題は、ビデオシースルー方式を利用する場合には、シーン中における（すなわちシーン中に規定される基準座標系における）撮像装置の位置及び姿勢を求める問題となる。また光学シースルー方式を用いる場合には、シーン中における画像提示装置の位置及び姿勢を求める問題となる。
【０００５】
ビデオシースルー方式を用いて位置合わせを実現する方法の代表例として、シーン中に形状の情報が既知な人工的指標を配置し、指標を撮像装置で撮影して認識し、基準座標系における撮像装置の位置及び姿勢を求める手法が挙げられる。基準座標系における撮像装置の位置及び姿勢は、撮像装置が撮影した画像内における該指標の投影位置と、既知の情報である指標の基準座標系における３次元位置姿勢との対応関係から求められる。光学シースルー方式を用いる場合にも、画像提示装置に撮像装置を装着して、前者と同様な方法によって該撮像装置の位置及び姿勢を求める。そして、画像提示装置と撮像装置の間の相対的な位置姿勢の情報に基づいて画像提示装置の位置及び姿勢を求めることが一般的に行われている。例えば特許文献１では、予め定められた模様又は文字が付されたマーカーを携帯電話に搭載されたカメラで撮影することで、サーバーから取得したコンテンツをＭＲコンテンツとして表示する手法が開示されている。
【０００６】
一方で、人工的な指標を用いるのではなく、シーン中に元来存在する特徴（以下、自然特徴）を利用する位置合わせの研究が盛んに行われている。例えば特許文献２では、点、線から、または画像強度から直接に、３次元構造や撮像装置の位置及び姿勢を求めるアルゴリズムが開示されている。
【０００７】
前述の、人工的指標を配置する手法、および自然特徴を利用する方法では、人工的指標、もしくは自然特徴の環境内における３次元位置、および画像上における２次元位置に基づいて撮像装置の位置及び姿勢が求まる。ここで、位置および姿勢の計算には、画像に写る全ての人工的指標、もしくは自然特徴を均等に利用することで最適解を求めている。
【０００８】
一方、従来、画像の描画に必要な時間を短縮することを目的として、画像内のユーザが注視する領域付近のみを基の解像度、それ以外の領域を基以下の解像度で描画する手法（フォビエイテッドレンダリング）が提案されている。フォビエイテッドレンダリングは、ユーザが注視する領域に基づく画像描画の最適化手法の１種である。例えば特許文献３では、ユーザの見る焦点位置については高い品質で画像をレンダリングし、焦点位置から遠くなるほど、品質を下げてレンダリングする方法を採用している。これによって、ユーザの体感する画像品質と、画像のレンダリングに必要な計算コストの双方を考慮した最適化を行うことができる。フォビエイテッドレンダリングは、人間は焦点位置から遠くなるほど、認識できる視野情報の量が減少するために、画像の品質、例えば解像度などを下げても体感品質には影響しないという特性を利用した手法である。
【０００９】
ディスプレイのフレームレートの１／２のフレームレートを有する動画像データから左目用画像データと右目用画像データとを生成し、左目用画像データと右目用画像データとを時分割に出力する手法が以下の特許文献２に開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−５５１７０号公報
【特許文献２】特許第３６５１５９０号公報
【特許文献３】特開２０１６−１２３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来技術（特許文献１，２）で述べた手法によるカメラ位置姿勢推定手法では一般的に、位置姿勢の計算には、画像に写る情報を全て、もしくは、計算時間の観点から、何らかの方法により情報の間引きを行い、情報の一部を利用する手法が一般的である。この場合、位置合わせ結果は、画像に写る情報全て、もしくはその一部の全体最適化によって得られた値であり、推定精度は一般に画像の解像度に依存する。例えば、画像を幾つかの局所領域に分割し、各領域を異なる方法で解像度圧縮した後、各領域から得られる画像情報をすべて合わせて利用してカメラ位置姿勢推定を行った場合には、基の画像によって得られるカメラ位置姿勢よりも、誤差が大きくなる。
【００１２】
一方、従来、画像の描画に必要な時間を短縮することを目的として、画像内のユーザが注視する領域付近のみを基の解像度、それ以外の領域を基以下の解像度で描画する手法（フォビエイテッドレンダリング）が提案されている。フォビエイテッドレンダリングは、ユーザが注視する領域に基づく画像描画の最適化手法の１種である。しかしながら、従来はユーザが注視する領域の情報をカメラ位置姿勢推定の最適化に用いることがなかった。
【００１３】
本発明は以上の問題に鑑みてなされたものであり、ユーザが注視する領域、及び画像特徴の存在する領域の情報を定義、もしくは取得して、注視領域及び画像特徴の存在領域に基づいてカメラ位置姿勢推定を最適化することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明は、画像を取得する取得手段と、前記取得した画像から当該画像を撮影した位置姿勢を推定するために利用する画像特徴を抽出する抽出手段と、ユーザが注目する前記画像の部分領域を推定する第１の推定手段と、前記画像特徴の領域と前記注目する部分領域の圧縮率がその他の領域よりも圧縮率が高くなるように圧縮率が不均一な画像を生成する第１の生成手段と、前記生成した圧縮率が不均一な画像を利用して前記画像を撮影した位置姿勢を推定する第２の推定手段と、前記推定した位置姿勢に基づいて合成画像を生成する第２の生成手段と、を有することを特徴とする。
【発明の効果】
【００１５】
以上の構成によれば、本発明は、カメラ画像上におけるユーザの注目領域及び画像特徴の領域の圧縮率が低い画像を用いて画像を撮影した位置姿勢の推定を行うことで、仮想物体を描画する際の位置姿勢誤差を縮小することができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態における位置姿勢計測装置の構成を示す図である。
【図２】第１の実施形態において解像度の異なる領域を持つ画像を生成する様子を示す図である。
【図３】第１の実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。
【図４】第２の実施形態における位置姿勢計測装置の構成を示す図である。
【図５】第２の実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。
【図６】第２の実施形態において注目領域の推定を行う様子の例である。
【図７】第３の実施形態においてハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
［第１の実施形態］
本実施形態では、画像特徴の抽出部、人物（ユーザ）の注目領域推定、および人物の注目度の付与を行う装置を有する位置姿勢計測装置およびＭＲ画像生成装置について説明する。より詳細には、観察者である人物が保持したカメラ画像が逐次的に入力される場合に、カメラ画像の処理結果に基づき、カメラの現実空間に対する位置及び姿勢を求める画像撮影位置姿勢の計測装置及び画像撮影位置姿勢の計測方法について説明する。
【００１８】
図１は、本実施形態における情報処理装置としての位置姿勢計測装置１０００の構成を示している。位置姿勢計測装置１０００は、画像取得部１０１０、画像特徴抽出部１０６０、注目領域付与部１０７０、送信用画像生成部１２００、画像及び画像特徴データベース１０８０、撮影位置姿勢推定部１０９０、ＭＲ画像生成部１１００、によって構成される。また、撮像部１００は画像取得部１０１０に接続され、表示部２００はＭＲ画像生成部１１００に接続されている。さらに、注目領域取得部３００は、注目領域付与部１０７０に接続されている。以下に、各部の処理内容を説明する。
【００１９】
観察者は撮像部１００を保持しており、カメラ画像には実環境が写っている。本実施形態における位置姿勢計測装置１０００は、画像取得部１０１０が取得した画像を画像特徴抽出部１０６０に入力し、画像特徴を抽出ずみの画像を注目領域付与部１０７０に入力する。
【００２０】
注目領域付与部１０７０では、注目領域取得部３００によって注目領域推定が行われた後に、取得されたユーザの注目領域の情報を基に、画像に対して注目領域を付与する。本実施形態では、注目領域の情報は、何らかのデバイスによって得られたユーザ視線情報によって得られた、カメラ画像上における１つの２次元座標値を持つ点（以下、２次元注視点と記載）である。そして、注目領域は前記２次元注視点から一定の距離内にある画素の集合で設定されるものとする。
【００２１】
本実施形態では、ユーザの目をカメラで撮影し、ユーザの視線方向の推定を行うことで、処理結果として撮像部１００で取得された画像上における２次元注視点が算出されるものとする。前記２次元注視点の検出方法はこれに限られない。例えば、ユーザの顔をカメラで撮影し、ユーザの大まかな視線方向の推定を行うことで、画像上における大まかな注目領域を推定した後に、前記領域の中心部（例えば重心の位置など）を前記２次元注視点とする手法でもよい。他の公知の何れの手法であってもよい。また、２次元注視点は複数あっても良く、その場合には、複数の注目領域を設定すれば良い。注目領域は、すべての前記２次元注視点を含むような、画像の一部の領域で設定すれば良く、例えば、すべての前記２次元注視点を含むような最小の凸包、などを利用して設定すれば良い。公知の何れの手法であってもよい。
【００２２】
送信用画像生成部１２００では、画像特徴の領域、及び注目領域の情報を基に、画像取得部１０１０で取得された画像に対して、領域によって異なる圧縮率を用いることで、不均一に圧縮された新たな画像が生成される。
【００２３】
図２は、本実施形態における送信用画像生成の様子の例を示す。本例では、画像Ｉ２００は撮像部１００によって取得されたカメラ画像であり、点Ｆ２０１は注目領域取得部３００によって取得された２次元注視点、点Ｐ２０２、Ｐ２０３は、画像特徴抽出部１０６０によって抽出された画像特徴を示している。また、点Ｆ２０１と点Ｐ２０２との間の距離をＬ１、点Ｆ２０１と点Ｐ２０３との間の距離をＬ２、とする。また、Ｒ２０１は注目領域付与部１０７０によって付与された注目領域、Ｒ２０２、Ｒ２０３はそれぞれ、画像特徴の近傍領域（以下、画像特徴領域と言う）を示している。
【００２４】
送信用画像生成では、注目領域、画像特徴領域、及び、注視点と画像特徴の間の距離に基づいて、領域によって異なる圧縮率で不均一に圧縮された新たな画像が生成される。本実施形態では、注目領域の解像度を１００％として、画像特徴領域については、中心点同士の距離が一定値以内の画像特徴領域の解像度を５０％、それ以外の画像特徴領域の解像度を７０％とする。さらに、その他の領域の解像度を３０％とする。ただし、前記の値はこれに限るものではなく、フォビエイテッドレンダリングにおける設定値や、利用する位置合わせ手法に応じて適切な解像度の値を決めれば良い。
【００２５】
撮像部１００は、画像取得部１０１０にカメラ画像を入力する。撮像部１００は、ビデオキャプチャボード、ＩＥＥＥ１３９４インタフェースボード、ＵＳＢポートなどによって実現される。
【００２６】
撮影位置姿勢推定部１０９０は、送信用画像生成部１０５０から送信された画像から画像特徴の抽出を行い、あらかじめ生成された画像及び画像特徴データベース１０８０内の画像特徴と比較し、撮影位置姿勢を推定する。撮影位置姿勢は、画像特徴同士のマッチングによる推定法、前フレームからの特徴点追跡法、画像特徴の投影誤差の和の最小化などによって実現される。
【００２７】
ＭＲ画像生成部１１００は、カメラ画像、撮影位置姿勢の推定値、画像提示装置と撮像装置の間の相対的な位置姿勢、および仮想物体データを利用して、ＭＲ画像を生成し、表示部２００に送信する。表示部２００では、生成されたＭＲ画像が提示される。
【００２８】
図３は、本実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。以下では、本実施形態における位置姿勢計測方法の処理手順について、図１、図３を用いて説明する。
【００２９】
まずステップＳ１０００では、画像取得部１０１０を利用して、画像及び画像特徴データベース１０８０用のカメラ画像群の取得を行う。ステップＳ１０１０では、画像特徴抽出部１０６０を利用して、データベースに登録する画像特徴の抽出を行う。本実施形態では、画像特徴の抽出は、何らかの画像特徴の定義を行い、その定義に従って画像処理による特徴の抽出を行う。例えば、特定のフィルタを用いた特徴点の検出を行い、前記特徴点を画像特徴とする。画像特徴の抽出が終了後、ステップＳ１０２０に進む。
【００３０】
ステップＳ１０２０では、ステップＳ１０１０で抽出された特徴点を利用して、画像及び画像特徴データベース１０８０のための特徴点データを生成する。具体的には、点の座標位置、点の色、及び点の抽出時に得られる特徴ベクトルを持つ点群データを登録する。データベースの生成が終了後、ステップＳ１０３０に進む。
【００３１】
次にステップＳ１０３０において、画像取得部１０１０を利用して、カメラ画像の取得を行う。画像が取得された後に、ステップＳ１０４０に進む。ステップＳ１０４０では、画像特徴抽出部１０６０を利用して、画像処理による画像特徴の抽出を行う。次に、ステップＳ１０５０では、注目領域取得部３００によって得られた情報を基に、画像に対して注目領域の付与を行う。
【００３２】
次に、送信用画像生成部１２００では、画像特徴の領域、及び注目領域の情報を基に、画像取得部１０１０で取得された画像に対して、解像度の圧縮率が領域によって異なる、不均一な圧縮率の新たな画像を生成する。生成された画像は、撮影位置姿勢推定部１０９０に送信される。
【００３３】
次に、ステップＳ１０６０では、撮影位置姿勢推定部１０９０を利用して、尤もらしいカメラ位置姿勢の推定値を算出する。
【００３４】
最後に、ステップＳ１０７０では、ＭＲ画像生成部１１００を利用して、カメラ位置姿勢の推定値、画像提示装置と撮像装置の間の相対的な位置姿勢を利用して、仮想物体をカメラ画像に合成することで、ＭＲ画像の生成を行う。
【００３５】
以上述べたように、本実施形態では、注目領域及び画像特徴の部分のみが高解像度な画像を生成、利用することによって、高精度かつ高フレームレートで仮想物体が描画されたＭＲ画像の生成を行うことができる。
【００３６】
［第２の実施形態］
本実施形態では、手領域を用いて、観察者である人物の注目領域を推定する手法を用いた場合について説明する。より詳細には、観察者が保持したカメラで撮影された画像に、注目点を示すために観察者の手が写り込む場合に、カメラの現実空間に対する位置及び姿勢を求める画像撮影位置姿勢の計測装置及び画像撮影位置姿勢の計測方法について説明する。本実施形態では、注目点を示すための物体として観察者の手を取り上げるが、これはその他の物体でも良く、例えば、観察者の足、顔の向き、視線方向、などであっても良い。
【００３７】
図４は、本実施形態における位置姿勢計測装置１０００の構成を示している。位置姿勢計測装置１０００は、画像取得部１０１０、注目点推定部１０２０、画像特徴抽出部１０６０、注目領域付与部１０７０、画像及び画像特徴データベース１０８０、撮影位置姿勢推定部１０９０、ＭＲ画像生成部１１００、によって構成される。ＭＲ画像生成用画像撮像部１００は画像取得部１０１０に接続されている。また、表示部２００はＭＲ画像生成部１１００に接続されている。さらに、手領域撮像部３００は注目点推定部１０２０に接続されている。
【００３８】
観察者はＭＲ画像生成用画像撮像部１００を保持しており、カメラ画像には実環境が写り込んでいる。また、観察者は手領域撮像部３００を保持しており、カメラ画像には観察者の手が写り込んでいる。本実施形態における位置姿勢計測装置１０００は、画像取得部１０１０が取得した画像を画像特徴抽出部１０６０に入力し、画像特徴データベース１０８０へ画像特徴を登録する。次に、手領域撮像部３００が取得した画像を注目点推定部１０２０に入力し、ＭＲ画像生成用画像撮像部１００が取得した画像上における観察者の注目点を推定し、検出する。続いて、注目点の検出結果を注目領域付与部１０７０に入力し、画像への注目度付与を行う。
【００３９】
次に、送信用画像生成部１２００によって、部分的に高解像度な画像が生成される。次に、送信用画像生成部１２００が生成した画像、及び、画像及び画像特徴データベース１０８０に格納された画像特徴、を用いて撮影位置姿勢が推定される。なお、本実施形態では、ＭＲ画像生成用画像撮像部１００と手領域撮像部３００を別々の撮像部としているが、これは別々でなくともよく、両撮像部が同一の撮像部によって構成されていても良い。
【００４０】
注目点推定部１０２０では、はじめに、手領域撮像部３００が取得した画像上において、画像処理により手の写り込んだ領域の検出を行う。本実施形態では、手の領域は、不図示の記憶部に予め設定された手の色の定義に基づいて検出されるものとする。手の領域の取得方法はこれに限るものではなく、手首や指に装着された位置センサの情報を基に、楕円フィッティングによって推定してもよい。公知の何れの手法であってもよい。次に、検出された手の領域に基づいて、観察者の注目点を推定する。注目点の推定は、特定の指の先の点を抽出する、などの方法によって実現される。
【００４１】
注目領域付与部１０７０では、注目点推定部１０２０で作成された観察者の注目点の情報をもとに、画像上の注目領域を生成する。注目領域付与は、例えば、図２に示されたように、注目点から一定距離内の画素の集合を注目領域とする、などの方法により実現される。
【００４２】
撮影位置姿勢推定部１０９０では、送信用画像生成部１２００が送信したカメラ画像、および画像特徴データベース１０８０に格納された画像及び画像特徴、を用いて撮影位置姿勢が推定される。推定の計算は、３次元位置の既知な画像特徴群をカメラ画像へ投影した場合に、投影誤差の総和が最も小さくなるような撮影位置姿勢を推定値として算出する方法などによって実現される。その際に、本実施形態では、投影誤差の総和は、各画像特徴が存在する領域の解像度の値を用いて、重み付き和として算出される。
【００４３】
ＭＲ画像生成用画像撮像部１００は、画像取得部１０１０にカメラ画像を入力する。撮像部１００は、ビデオキャプチャボード、ＩＥＥＥ１３９４インタフェースボード、ＵＳＢポートなどによって実現される。
【００４４】
手領域撮像部３００は、注目点１０２０にカメラ画像を入力する。手領域撮像部３００は、ビデオキャプチャボード、ＩＥＥＥ１３９４インタフェースボード、ＵＳＢポートなどによって実現される。
【００４５】
画像及び画像特徴データベース１０８０は、画像特徴抽出部１０６０から入力された画像特徴を保持する。ここで、画像特徴は点の座標位置、点の色、および点の抽出時に得られる特徴ベクトルを持つ点群データを指す。３次元の構造推定は、全ての画像を統合して処理し、単一の形状の３次元モデルを構築する方法、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）法、などによって実現される。または、単一の形状ではなくとも、画像ごとに異なる形状の３次元モデルを推定する手法、などでもよい。画像処理によって、任意の画像について各画素に対応する点の３次元位置が得られる手法であれば、公知のいずれの手法でも良い。
【００４６】
ＭＲ画像生成部１１００は、カメラ画像、撮影位置姿勢の推定値、および仮想物体データを利用して、ＭＲ画像を生成し、表示部２００に送信する。表示部２００では、生成されたＭＲ画像が提示される。
【００４７】
次に、本実施形態における位置姿勢計測方法の処理手順について説明する。図５は、本実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。本フローチャートは、Ｓ１０００〜Ｓ１０２０で構成される初期化部と、Ｓ１０３０〜Ｓ１０７０、及びＳ２０１０〜Ｓ２０２０で構成されるアプリ動作部からなる。以下では、本実施形態における位置姿勢計測方法の処理手順について、図４、図５、図６を用いて説明する。
【００４８】
まずステップＳ１０００ではＭＲ画像生成用画像撮像部１００を利用して初期化用カメラ画像群の取得を行う。
【００４９】
ステップＳ１０１０では、画像特徴抽出部１０６０を利用してデータベースに登録する画像特徴の抽出を行う。画像特徴は、点や線の検出法、特定のテンプレートの検出法、などを用いて抽出される。例えば、画像上で隣接する２つの画素の輝度値を比較し、その差の絶対値が一定値以上となるような画素に写る物体を点として検出する、などの方法を用いる。画像特徴抽出が終了後、ステップＳ１０２０に進む。
【００５０】
ステップＳ１０２０では、ステップＳ１０１０が初期化用カメラ画像群から抽出した画像特徴群を利用して、画像及び画像特徴データベース１０８０を生成する。具体的には、全ての初期化用カメラ画像および画像特徴を統合して処理し、単一の３次元モデルを構築する方法によって、各初期化用カメラ画像の撮影位置姿勢および各画像特徴の３次元位置を推定し、３次元位置情報を付与した画像特徴群を登録する。単一の３次元モデルを構築する方法としては、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）法、などを利用できる。データベースの生成が終了後、ステップＳ１０３０に進む。
【００５１】
次にステップＳ１０３０において、ＭＲ画像生成用画像撮像部１００を利用して、ＭＲ画像生成用のカメラ画像の取得を行う。画像が取得された後に、ステップＳ１０４０に進む。
【００５２】
ステップＳ１０４０では、画像特徴抽出部１０６０を利用して、ステップＳ１０１０と同様に画像特徴の抽出を行う。画像特徴が抽出された後に、ステップＳ１０５０に進む。
【００５３】
ステップＳ２０１０では、手領域撮像部３００を利用して、手領域推定用の、手が写り込んだ画像を取得する。画像が取得された後に、ステップＳ２０２０に進む。
【００５４】
ステップＳ２０２０では、注目点推定部１０２０を利用して、手が写り込んだ画像を利用して、注目点の推定を行う。注目点の推定方法としては、例えば、手の領域は、予め設定された手の色の定義に基づいて検出され、次に、検出された手の領域に基づいて、特定の指の先の点を抽出する、などの方法によって実現される。
【００５５】
図６は、観察者は１本の指のみを開き、残りの指を閉じてカメラに手を写すことを前提とした場合における、注目点の推定を行う様子の例である。手が写り込んだ画像Ｉ６００から、手領域を検出した画像Ｉ６０１が生成された後に、手領域外周の中から指先に合致する点Ｐ６０２が検出される。本実施形態では、指先によって点を抽出する方法を用いているが、指先では注目点を隠蔽してしまうために指の制御が困難となる場合には、指で輪を作り、その輪の重心を抽出するといった方法でもよい。カメラ画像の処理結果により注目点が得られれば、公知のいずれの手法でも良い。注目点が推定された後に、ステップＳ１０５０に進む。
【００５６】
ステップＳ１０５０では、注目点推定部１０２０によって得られた情報を基に、注目領域付与部１０７０を利用して、画像に対して注目領域付与を行う。本実施形態では、注目領域は注目点からの一定距離内の画素の集合とする。注目領域付与が行われた後に、ステップＳ１０６０に進む。
【００５７】
次に、送信用画像生成部１２００では、画像特徴の領域、及び注目領域の情報を基に、画像取得部１０１０で取得された画像に対して、解像度の圧縮率が領域によって異なる不均一な画像を新たに生成する。生成された画像は、撮影位置姿勢推定部１０９０に送信される。
【００５８】
次に、ステップＳ１０６０では、撮影位置姿勢推定部１０９０を利用してカメラ位置姿勢の推定を行う。撮影位置姿勢推定部１０９０では、送信用画像生成部１２００が送信した画像、及び、画像及び画像特徴データベース１０８０に格納された画像特徴、を用いて撮影位置姿勢が推定される。本実施形態では、推定の計算は、画像特徴データベース１０８０に格納された３次元位置の既知な画像特徴群をカメラ画像へ投影した場合に、投影誤差の総和が最も小さくなるような撮影位置姿勢を推定値として算出する方法によって実現される。その際に、投影誤差の総和は、各画像特徴が存在する領域の解像度の値を用いて、重み付き和として算出される。これにより、観察者の注目点に対するＣＧ位置合わせの誤差が小さくなるような撮影位置姿勢の推定が実現される。
【００５９】
最後に、ステップＳ１０７０では、ＭＲ画像生成部１１００を利用して、カメラ位置姿勢の推定値を利用して、仮想物体をカメラ画像に合成することで、ＭＲ画像の生成を行う。さらに、ＭＲ画像が表示部２００に送られ、観察者がＭＲ画像を閲覧する。
【００６０】
以上述べたように、本実施形態では、観察者の注目点を２次元画像上の１点として推定する手法を用いて注目領域に基づいた重みづけを行うことによって、高精度かつ高フレームレートで仮想物体が描画されたＭＲ画像の生成を行うことができる。
【００６１】
（変形例１）
本実施形態では、観察者の注目箇所は１点であることを想定したものであったが、注目点ではなく注目領域推定を利用する方法や、複数の注目点を利用する方法も実現できる。例えば、画像の中心付近などを例として、あらかじめ表示部やＭＲ画像上において観察者の注目する２次元領域が既知の情報として存在する場合には、観測機構を利用しなくてもよい。あらかじめ設定しておいた画素の集合部分の解像度を大きくすることで、ＣＧを描画した際の精度を向上できる。また、前記部分領域の重心を注目点として設定し、重心からの距離に応じて解像度を多段階に設定しても良い。
【００６２】
また、複数人が現実空間で同時閲覧するＭＲシステムのように、同時に複数の注目点が存在する場合にも、各注目点付近の画像特徴の注目度を大きくする、ことによりＣＧ位置合わせの誤差が小さくなる。もしくは、全ての注目点を含む部分領域を注目領域推定して設定し、該部分領域を高解像度化するなどの方法によって、ＣＧ位置合わせの誤差が小さくなるような撮影位置姿勢の推定が実現される。
【００６３】
（変形例２）
第１、２の実施形態では、特徴点（ＳＩＦＴなど）、エッジ検出手法によって検出できる直線など、一般的な環境に存在する模様から抽出した画像特徴を利用し、その近傍領域の解像度の圧縮率を低くすることを想定している。しかしこれに限るものではなく、位置姿勢を推定するために、現実空間に恣意的に配置した物体を認識して、画像特徴の代替として利用する方法でも良い。例えば、模様が既知であり、平面の形状のマーカーを複数個、現実空間にあらかじめ配置しておき、平面マーカーの模様の位置を画像上で認識する。そして、平面マーカーの近傍領域の解像度を大きくして位置姿勢推定を行うことで、平面マーカーを利用した位置合わせにおいても、ＣＧ位置合わせの誤差が小さくなるような撮影位置姿勢の推定が実現される。
【００６４】
平面マーカーを用いる場合には、適切な解像度を決める際の情報として、実空間に存在するマーカーの大きさ、カメラとマーカーとの間の距離の推定値および相対的な位置姿勢、画像上におけるマーカーのぼけ量、などが利用できる。同様にして、模様を有する形状が既知の３次元物体を複数個配置しておき、３次元物体の位置を画像上で認識することで、３次元物体の近傍領域の解像度を大きくして位置姿勢推定を行う。これにより、観察者の注目点に対するＣＧ位置合わせの誤差が小さくなるような撮影位置姿勢の推定が実現される。３次元物体を用いる場合にも、平面マーカーと同様に、適切な解像度を決める際の情報として、以下の情報を利用できる。すなわち、実空間に存在する３次元物体の大きさや形、カメラと３次元物体との間の距離の推定値および相対的な位置姿勢、画像上における３次元物体のぼけ量、などが利用できる。
【００６５】
［第３の実施形態］
上記実施形態の図１及び図４に示した情報処理装置を構成する各部はハードウェアまたはソフトウェアで構成しても良い。ハードウェアとして実装しているコンピュータに、このソフトウェアを実行させることで、このコンピュータは、上記実施形態で説明した情報処理装置の動作を行うことになる。
【００６６】
図７は本実施形態におけるハードウェア構成例を示すブロック図である。
【００６７】
ＣＰＵ４００１は、ＲＡＭ４００２やＲＯＭ４００３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に，上記各実施形態で情報処理装置が行うものとして説明した上述の各処理を実行する。
【００６８】
ＲＡＭ４００２は、外部記憶装置４００７や記憶媒体ドライブ４００８からロードされたプログラムやデータを一時的に記憶するための領域を有する。更にＲＡＭ４００２は、Ｉ／Ｆ（インターフェース）４００９を介して外部から受信したデータを一時的に記憶するためのエリアを有する。このとき、外部とはカメラ１００を指す。
【００６９】
更に、ＲＡＭ４００２は，ＣＰＵ４００１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ４００２は、各種エリアを適宜提供することができる。ＲＯＭ４００３には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード４００４、マウス４００５は、操作入力装置の一例としてのものであり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ４００１に対して入力することができる。表示部４００６は、ディスプレイにより構成されており，ＣＰＵ４００１による処理結果を画像や文字などで表示することができる。
【００７０】
外部記憶装置４００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置４００７には、ＯＳ（オペレーティングシステム）や、情報処理装置が行うものとして説明した上述の各処理をＣＰＵ４００１に実行させるためのプログラムやデータが格納されている。係るプログラムには、情報処理装置を構成するそれぞれに対応するプログラムが含まれている。また、係るデータには、上述の説明において、既知の情報として説明したものが含まれている。外部記憶装置４００７に保存されているプログラムやデータは、ＣＰＵ４００１による制御に従って適宜ＲＡＭ４００２にロードされる。ＣＰＵ４００１はこのロードされたプログラムやデータを用いて処理を実行することで、情報処理装置が行うものとして上述した各処理を実行することになる。
【００７１】
記憶媒体ドライブ４００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置４００７に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいても良い。記憶媒体ドライブ４００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置４００７やＲＡＭ４００２に対して出力される。
【００７２】
Ｉ／Ｆ４００９は、カメラ１００を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、合成画像を表示装置２００に対して出力するためのＤＶＩポートなどによって構成される。Ｉ／Ｆ４００９を介して受信したデータは、ＲＡＭ４００２や外部記憶装置４００７に入力される。なお、図１及び図４及び図７に示した画像取得部１０１０の機能の一部は、Ｉ／Ｆ４００９によって実現される。４０１０は、上述の各部を繋ぐバスである。
【００７３】
［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００７４】
１０００  位置姿勢計測装置
１０１０  画像取得部
１０６０  画像特徴抽出部
１０７０  注目領域付与部
１０８０  画像及び画像特徴データベース
１０９０  撮影位置姿勢推定部
１１００  ＭＲ画像生成部
１２００  送信用画像生成部
【図１】
2019079299.tif 000003
【図２】
2019079299.tif 000004
【図３】
2019079299.tif 000005
【図４】
2019079299.tif 000006
【図５】
2019079299.tif 000007
【図６】
2019079299.tif 000008
【図７】
2019079299.tif 000009