(57)【要約】      （修正有）【課題】複合現実感を体験する環境における指標や自然特徴などの特徴に応じて、撮像装置の位置合わせを安定的に実現する情報処理装置、情報処理装置の制御方法及びプログラムを提供する。【解決手段】情報処理装置１０００であって、輝度分布が広域で取得されるように調整された第一の画像処理パラメータで画像処理を行って第一の処理画像を生成する第一の画像処理部１１３５と、輝度分布が明暗に分離するように調整された第二の画像処理パラメータで画像処理を行って第二の処理画像を生成する第二の画像処理部１１４０と、第一及び第二の処理画像の少なくとも一方の画像特徴に基づいて、第一及び第二の処理画像の少なくとも一方を選択する処理画像選択部１１５０と、処理画像選択部により選択された処理画像を用いて撮像装置の位置姿勢を推定する位置姿勢推定部１１６０とを備える。【選択図】図１
2018077581.tif 000002
【特許請求の範囲】
【請求項１】
輝度分布が広域で取得されるように調整された第一の画像処理パラメータで画像処理を行って第一の処理画像を生成する第一の画像処理手段と、
前記輝度分布が明暗に分離するように調整された第二の画像処理パラメータで画像処理を行って第二の処理画像を生成する第二の画像処理手段と、
前記第一及び第二の処理画像の少なくとも一方の画像特徴に基づいて、前記第一及び第二の処理画像の少なくとも一方を選択する選択手段と、
前記選択手段により選択された処理画像を用いて撮像装置の位置姿勢を推定する推定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記撮像装置により撮像された画像から指標を検出する検出手段をさらに備え、
前記選択手段は、前記検出手段により検出された指標数に基づいて、前記第一及び第二の処理画像の少なくとも一方を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第一の処理画像から指標を検出する検出手段をさらに備え、
前記選択手段は、前記検出手段により検出された指標数に基づいて、前記第一及び第二の処理画像の少なくとも一方を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第二の画像処理手段は、前記第一の処理画像に対して画像処理を行って前記第二の処理画像を生成することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記選択手段は、画像領域ごとに、前記第一の処理画像又は前記第二の処理画像の何れか一方を選択し、
前記推定手段は、前記画像領域ごとに、前記第一の処理画像を用いた位置姿勢推定と、前記第二の処理画像を用いた位置姿勢推定との何れか一方を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第二の画像処理手段により生成された処理画像から指標を検出する検出手段をさらに備え、
前記選択手段は、前記指標が検出された画像領域については前記第二の処理画像を選択し、前記指標が検出されなかった画像領域については前記第一の処理画像を選択することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記位置姿勢の推定結果に基づいて、前記撮像装置により撮像された撮像画像と仮想物体とを合成する合成手段をさらに備えることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記合成手段により合成された合成画像を出力する出力手段をさらに備えることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記第一の画像処理パラメータと前記第二の画像処理パラメータとは、画像をガンマ調整するために用いられるガンマ曲線であって、
前記第一の画像処理パラメータであるガンマ曲線の変局点における微分値は、前記第二の画像処理パラメータであるガンマ曲線の変局点における微分値よりも小さいことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
情報処理装置の制御方法であって、
輝度分布が広域で取得されるように調整された第一の画像処理パラメータで画像処理を行って第一の処理画像を生成する第一の画像処理工程と、
前記輝度分布が明暗に分離するように調整された第二の画像処理パラメータで画像処理を行って第二の処理画像を生成する第二の画像処理工程と、
前記第一及び第二の処理画像の少なくとも一方の画像特徴に基づいて、前記第一及び第二の処理画像の少なくとも一方を選択する選択工程と、
前記選択工程により選択された処理画像を用いて撮像装置の位置姿勢を推定する推定工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関し、特に、複合現実感を体験するためのステレオカメラによる位置合わせ技術に関する。
【背景技術】
【０００２】
近年、現実空間と仮想空間をリアルタイムに融合させて体験者に提示する技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間を繋ぎ目なく融合する技術である。これらは、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援や、完成前の実寸の製品デザインを複数の体験者に表示してレビューをする設計開発支援等、様々な分野への応用が期待される。
【０００３】
ＭＲ技術、またはＡＲ技術において、現実空間と仮想空間との間の位置合わせを、幾何学的整合性を保ちながら正確に行うことは重要な課題の一つであり、従来から多くの取り組みが行われてきた。ビデオシースルー型ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を利用する場合には、仮想空間を規定する基準座標における撮像装置の位置及び姿勢をいかに正確に計測するかに帰着される。解決手法として、現実環境中に個体識別可能な人工的な指標を配置し、該指標を用いて基準座標系における撮像装置の位置及び姿勢を推定する。その推定結果に基づいてＨＭＤの位置及び姿勢を求めることが一般的に行われている。
【０００４】
また、既知の指標を用いずに撮像画像上で輝度勾配のあるエッジや角点など自然特徴を取得し、自然特徴に基づいてカメラの複合現実空間における位置姿勢を推定することが行われている。非特許文献１及び非特許文献２では、画像中でのエッジと観察対象の３次元モデルとの対応に基づいて撮像装置の位置及び姿勢を求める方法が開示されている。
【０００５】
このように、現実空間に仮想物体を重畳させる手法として、指標をステレオカメラによって取得して位置合わせを行う手法と、同じくステレオカメラによって現実空間の色相や輝度といった自然特徴を取得して現実空間の三次元情報を構成し位置合わせを行う手法とがある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】T.Drummond and R.Cipolla,"Real-time visual trackingof complex structures,"IEEE Trans.on Pattern Analysisand Machine Intelligence,vol.24,no.7,pp.932-946, 2002.
【非特許文献２】A.I.Comport,E. Marchand,and F.Chaumette,"A real-time tracker for markerless augmented reality,"Proc. The Second Int'l Symp.on Mixed and Augmented Reality (ISMAR03), pp.36-45,2003.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、これら従来の手法では、画像処理で用いられるガンマ調整機能や自動露出機能等、処理パラメータの最適値が互いに異なる。指標を取得して位置合わせを行うための処理パラメータに最適化してしまうと、指標が検出できないような現実空間がステレオカメラによって取得された場合、位置合わせ精度が低下する可能性がある。一方で、輝度勾配等の自然特徴を取得して位置合わせを行うための処理パラメータに最適化してしまうと、自然特徴の乏しい環境や視点変化に伴い変化する物体等によって位置合わせ精度が低下する可能性がある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、複合現実感を体験する環境における指標や自然特徴などの特徴に応じて、撮像装置の位置合わせを安定的に実現する技術を提供する。
【課題を解決するための手段】
【０００９】
上記の目的を達成する本発明に係る情報処理装置は、
輝度分布が広域で取得されるように調整された第一の画像処理パラメータで画像処理を行って第一の処理画像を生成する第一の画像処理手段と、
前記輝度分布が明暗に分離するように調整された第二の画像処理パラメータで画像処理を行って第二の処理画像を生成する第二の画像処理手段と、
前記第一及び第二の処理画像の少なくとも一方の画像特徴に基づいて、前記第一及び第二の処理画像の少なくとも一方を選択する選択手段と、
前記選択手段により選択された処理画像を用いて撮像装置の位置姿勢を推定する推定手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複合現実感を体験する環境における指標や自然特徴などの特徴に応じて、撮像装置の位置合わせを安定的に実現することができる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）は、第１の実施形態に係る複合現実感体験システムの構成例を示す図である。（ｂ）は、第２の実施形態に係る情報処理装置が備える撮像画像処理部の変形例を示す図である。
【図２】（ａ）は、本発明の一実施形態に係る情報処理装置への入力画像の輝度ヒストグラムの一例である。（ｂ）は、入力画像へ適用する第一の画像処理におけるガンマ曲線の一例である。（ｃ）は第一の画像処理によって生成される画像の輝度ヒストグラムの一例である。
【図３】（ａ）は、本発明の一実施形態に係る情報処理装置への入力画像の輝度ヒストグラムの一例である。（ｂ）は、入力画像へ適用する第二の画像処理におけるガンマ曲線の一例である。（ｃ）は第二の画像処理によって生成される画像の輝度ヒストグラムの一例である。
【図４】（ａ）は、第１の実施形態に係る情報処理装置が実施する処理の手順を示すフローチャート、（ｂ）は、第２の実施形態に係る情報処理装置が実施する処理の手順を示すフローチャート、（ｃ）は、第３の実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
（第１の実施形態）
＜概要＞
第１の実施形態に係る情報処理装置は、複合現実空間における撮像装置の位置姿勢を精度よく、また現実空間の環境変化に対して安定的に推定するために、指標を用いるか自然特徴を用いるかを自動的に選択する。
【００１４】
＜構成＞
図１（ａ）は、本発明の一実施形態に係るシステム構成図である。本実施形態に係るシステムは、情報処理装置１０００と、撮像装置１３００と、表示装置１８００とを備えている。情報処理装置１０００は、撮像装置１３００から取得した画像に対して画像処理を行い、撮像装置１３００の複合現実空間における位置姿勢を推定して仮想物体を現実環境に重畳し、表示装置１８００に出力する。撮像装置１３００は、例えば、ビデオシースルーＨＭＤであり、二台以上のビデオカメラによって複合現実感体験者の視線方向を撮像する。
【００１５】
情報処理装置１０００は、撮像画像入力部１１００と、撮像画像処理部１１１０と、処理画像選択部１１５０と、位置姿勢推定部１１６０と、データ記憶部１１７０と、仮想物体合成部１７００と、合成画像出力部１７１０とを備えている。
【００１６】
撮像画像入力部１１００は、撮像装置１３００により取得された撮像画像を入力する。撮像画像処理部１１１０は、撮像画像入力部１１００から取得した撮像画像に対して画像処理を行う。処理画像選択部１１５０は、撮像画像処理部１１１０により生成された処理画像から、位置姿勢推定に使用する処理画像を選択する。選択処理の詳細については後述する。
【００１７】
位置姿勢推定部１１６０は、処理画像選択部１１５０により選択された処理画像に基づいて、撮像装置１３００の複合現実空間における位置姿勢を推定する処理を行う。データ記憶部１１７０は、複合現実空間に重畳する仮想物体モデルのデータを記憶するとともに、本発明の実施形態を実行するためのプログラムを記憶している。本発明の実施形態に係る各処理部の処理は、不図示の制御部（ＣＰＵ）がデータ記憶部１１７０に記憶されたプログラムを読み出して実行することにより実現される。
【００１８】
仮想物体合成部１７００は、位置姿勢推定部１１６０により推定された位置姿勢に基づいて、データ記憶部１１７０に記憶されている仮想物体モデルと、第三の画像処理部１１４５により生成された処理画像（詳しくは後述）とを重畳して合成する。合成画像出力部１７１０は、仮想物体合成部１７００により合成された画像を表示装置１８００へ出力する。表示装置１８００は、合成画像出力部１７１０から取得した画像を表示する。
【００１９】
また、撮像画像処理部１１１０は、指標検出部１１３０と、第一の画像処理部１１３５と、第二の画像処理部１１４０と、第三の画像処理部１１４５とを備えている。指標検出部１１３０は、入力された撮像画像から、現実環境中に配置された指標を検出する。また、指標検出部１１３０は、詳しくは後述するように、第二の画像処理部１１４０により生成された処理画像に対しても検出処理を行い、現実環境中に配置された指標を検出する。
【００２０】
第一の画像処理部１１３５は、より輝度勾配が広域で取得できるように設定された画像処理パラメータ（ガンマ曲線）に従ったガンマ調整機能を有している。第一の画像処理部１１３５は、撮像装置１３００により取得されて撮像画像入力部１１１０を介して入力された現実環境の撮像画像に対して画像処理を行う。即ち、第一の画像処理部１１３５は、輝度ヒストグラムにおいて、画像処理後の画像の輝度分布が階調全体に分布するような調整を行う。
【００２１】
ここで、図２を参照して、第一の画像処理部１１３５の具体的な処理について説明する。図２（ａ）は、入力された撮像画像の輝度ヒストグラム、図２（ｂ）は、入力された撮像画像へ適用する第一の画像処理部１１３５のガンマ曲線、図２（ｃ）は第一の画像処理部１１３５によって生成される処理画像の輝度ヒストグラムのそれぞれ一例を示す。図２（ａ）に示されるように、撮像画像入力部１１００により取得された撮像画像の輝度明部における分布が抑えられ、比較的暗部から中間部に偏った輝度分布となっている。より広域に渡る輝度分布を生成するために、図２（ｂ）に示すガンマ曲線に従ったガンマ調整機能を有する第一の画像処理部１１３５により撮像画像を処理する。
【００２２】
その結果、図２（ｃ）に示されるように、第一の画像処理部１１３５により生成された処理画像の輝度ヒストグラムは、図２（ａ）と比較してより広域に輝度が分布するようになる。暗部から中間部に加えて、明部においても輝度が分布するため、第一の画像処理部１１３５により生成された処理画像からは、より多くの輝度勾配が取得でき、より高精度の位置姿勢推定を行うことが可能となる。
【００２３】
第二の画像処理部１１４０は、画像処理後の画像の輝度分布が明暗に分離するように設定された画像処理パラメータ（ガンマ曲線）に従ったガンマ調整機能を有している。即ち、第二の画像処理部１１４０のガンマ曲線は、第一の画像処理部１１３５とは異なるガンマ曲線である。
【００２４】
そして、撮像装置１３００により取得されて撮像画像入力部１１００を介して入力された現実環境の撮像画像のうち、指標検出部１１３０により指標が検出された撮像画像に対して画像処理を行う。これにより、明瞭により多くの指標を検出することができる。即ち、第二の画像処理部１１４０は、輝度ヒストグラムにおいて、画像処理後の画像の輝度分布が明暗両端に偏在するような調整を行う。
【００２５】
ここで、図３を参照して、第二の画像処理部１１４０の具体的な処理について説明する。図３（ａ）は、入力画像の輝度ヒストグラム、図３（ｂ）は、入力画像へ適用する第二の画像処理部１１４０のガンマ曲線、図３（ｃ）は第二の画像処理部１１４０によって生成される画像の輝度ヒストグラムのそれぞれ一例を示す。図３（ａ）に示されるように、撮像画像入力部１１００により取得された撮像画像の輝度明部における分布が抑えられ、比較的暗部から中間部に偏っている分布になっている。例えば、入力された撮像画像の領域で指標が検出される場合、現実空間における照明変化や視線変化等による指標周辺の輝度値変動を抑制して、安定した位置姿勢推定を行う必要がある。
【００２６】
そこで、図３（ｂ）に示すガンマ曲線に従ったガンマ調整機能を有する第二の画像処理部１１３５により撮像画像を処理する。より具体的には、所定の閾値により明部と明部とに二分する。判別分析法を用いて明部と暗部との分離程度が最大になる閾値を適用するように構成してもよい。
【００２７】
その結果、図３（ｃ）に示されるように、第二の画像処理部１１４０により生成された処理画像の輝度ヒストグラムは、図３（ａ）と比較して明暗両極に分離する。明部と暗部とを所定の閾値で分離するように輝度を分布することにより、現実空間における指標周辺の輝度値変動を抑制した位置姿勢推定を行うが可能となる。
【００２８】
また明部と暗部とを分離する閾値を適切に設定することにより、第二の画像処理部１１４０による処理を行う前に指標検出部１１３０により未検出だった他の指標も明瞭に現れることがあり、より多くの指標を検出することが可能となる。より多くの指標を検出することできれば、位置姿勢の推定精度が向上する。このように、指標検出部１１３０は、第二の画像処理部１１４０により生成された処理画像からも現実環境中に配置された指標を検出する処理を行う。
【００２９】
ここで、図２（ｂ）と図３（ｂ）とを比較すると明らかなように、第一の画像処理部１１３５の画像処理パラメータ（ガンマ曲線）の変局点における微分値は、第二の画像処理部１１４０のそれよりも小さくなっている。本実施形態では、このような画像処理パラメータ（ガンマ曲線）を用いることにより、第一の画像処理部１１３５では、輝度分布が広域で取得されるように撮像画像を調整することができる。また、第二の画像処理部１１４０では、輝度分布が明暗に分離するように調整できる。
【００３０】
第三の画像処理部１１４５は、表示装置１８００で現実空間を提示するための画像処理を行う。例えばＨＭＤにおいては、複合現実感体験者の視覚に合わせて輝度、色相、彩度等を最適化する。
【００３１】
＜処理画像選択部の処理＞
処理画像選択部１１５０は、第一の画像処理部１１３５により生成された処理画像と、第二の画像処理部１１４０により生成された処理画像とのうち少なくとも一方を選択する。処理画像選択部１１５０は、第一の画像処理部１１３５により生成された処理画像の画像特徴と、第二の画像処理部１１４０により生成された処理画像の画像特徴とをそれぞれ解析し、その解析結果に基づいて選択を行う。
【００３２】
例えば、机上よりも比較的広く、一部屋相当の空間的広さの現実空間に自然特徴が広範囲に含まれている場合、第一の画像処理部１１３５により生成された処理画像を選択する。一方、机上のような複合現実感を体験する環境が小さく、安定した位置合わせ精度が保証されるのに十分数の指標が画像に含まれている場合、第二の画像処理部１１４０により生成された処理画像を選択する。また、第一の画像処理部１１３５及び第二の画像処理部１１４０によりそれぞれ生成された処理画像を共に選択してもよい。
【００３３】
位置姿勢推定部１１６０は、処理画像選択部１１５０により選択された処理画像に基づいて、撮像装置１３００の位置姿勢を推定する。第一の画像処理部１１３５により生成された処理画像が選択された場合、推定手法の一例として、空間特徴が検出された初期画像に続いて、撮像装置１３００を移動させ、現画像を取得する。さらに初期画像で検出した該空間特徴を用いて２次元的に空間特徴を追跡し、初期画像と現画像との両画像間で相関付けを行う。それら相関分布から、初期画像と現画像との両画像を撮像した撮像装置１３００の複合現実空間における位置姿勢を推定する手法が挙げられる。
【００３４】
＜処理＞
図４（ａ）は、本実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。Ｓ２００において、撮像画像入力部１１００は、撮像装置１３００により取得された撮像画像を情報処理装置１０００に入力する。Ｓ２０１において、指標検出部１１３０は、撮像画像入力部１１００を介して入力された撮像画像から指標を検出する。
【００３５】
Ｓ２０２において、第一の画像処理部１１３５は、撮像画像入力部１１００を介して入力された撮像画像に対して、自然特徴がより広域で取得できるように画像処理を実施する。また、Ｓ２０３において、Ｓ２０２の処理と並列して、第二の画像処理部１１４０は、撮像画像入力部１１００を介して入力された撮像画像に対して、明瞭により多くの指標が検出できるように画像処理を実施する。
【００３６】
Ｓ２０４において、処理画像選択部１１５０は、後続の位置姿勢推定処理において、第一の画像処理部１１３５により生成された処理画像を用いるか、第二の画像処理部１１４０により生成された処理画像を用いるかを選択する。処理画像選択部１１５０は、第一の画像処理部１１３５により生成された処理画像の画像特徴と、第二の画像処理部１１４０により生成された処理画像の画像特徴とを解析し、その解析結果に基づいて選択を行う。
【００３７】
例えば、机上よりも比較的広く、一部屋相当の空間的広さの現実空間に自然特徴が広範囲に含まれている場合、第一の画像処理部１１３５により生成された処理画像が選択され、Ｓ２０５へ進む。一方、机上のように複合現実感を体験する環境が比較的狭く、安定した位置合わせ精度が保証されるのに十分数の指標が取得画像に含まれている場合、第二の画像処理部１１４０により生成された処理画像が選択され、Ｓ２０６へ進む。
【００３８】
なお、本実施形態では処理画像選択部１１５０は、何れかの画像を選択する例を挙げたが両方を選択してもよい。
【００３９】
Ｓ２０５において、位置姿勢推定部１１６０は、自然特徴による位置姿勢推定を行う。Ｓ２０６において、位置姿勢推定部１１６０は、指標による位置姿勢推定を行う。Ｓ２０７において、仮想物体合成部１７００は、位置姿勢推定結果に基づいて、データ記憶部１１７０に記憶されている仮想物体のＣＡＤデータ（仮想物体モデル）と、第三の画像処理部１１４５により生成された処理画像とを重畳して合成する。
【００４０】
Ｓ２０８において、合成画像出力部１７１０は、仮想物体合成部１７００により合成された画像を表示装置１８００へ出力して表示させる制御を行う。その後、表示装置１８００により複合現実感体験が体験者に提示される。以上で一連の処理が終了する。
【００４１】
以上説明したように、本実施形態では、異なる画像処理パラメータに従って画像処理された処理画像の画像特徴をそれぞれ解析することにより、位置姿勢の推定処理で使用する処理画像を選択する。これにより、複合現実感を体験する環境における指標や自然特徴の多寡に応じて、撮像装置の位置合わせを安定的に実現することができる。
【００４２】
（第２の実施形態）
＜概要＞
第２の実施形態では、現実空間における輝度勾配等の自然特徴を優先的に取得して位置合わせする例を説明する。
【００４３】
＜構成＞
図１（ｂ）は、第２の実施形態に係る撮像画像処理部１１１０の構成例を示す図である。図１（ｂ）に示されるように、本実施形態に係る撮像画像処理部１１１０は、指標検出部１１３８を更に備えている。そして、第二の画像処理部１１４０による画像処理を行う前に必ず第一の画像処理部１１３５による画像処理を実施する。即ち、現実空間における輝度勾配等の自然特徴を優先的に取得して位置合わせする。撮像装置１３００によって取得された撮像画像は、必ず第一の画像処理部１１３５により処理されることになる。第一の画像処理部１１３５によって生成された処理画像から指標が検出されなければ、自然特徴のみを用いた位置合わせにより、合成画像が生成される。
【００４４】
一方で、第一の画像処理部１１３５によって生成された処理画像に対して、指標検出部１１３０によって一つ以上の指標が検出された場合、より明瞭に多くの指標を検出するように第二の画像処理部１１４０による画像処理を実施する。そして、第二の画像処理部１１４０により生成された処理画像に対して、再び指標検出部１１３８による検出処理を実施する。ここで、指標検出部１１３８は指標検出部１１３０と同様の処理を行う。
【００４５】
＜処理＞
図４（ｂ）は、本実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。Ｓ２４０において、撮像画像入力部１１００は、撮像装置１３００により取得された撮像画像を情報処理装置１０００に入力する。Ｓ２４１において、第一の画像処理部１１３５は、撮像画像入力部１１００を介して入力された撮像画像に対して、自然特徴がより広域で取得できるように画像処理を実施する。
【００４６】
Ｓ２４２において、指標検出部１１３０は、第一の画像処理部１１３５により生成された処理画像から指標を検出する。現実空間と仮想物体を位置合わせ精度よく重畳させるには、複数の指標が複合現実空間において適度に分布して配置されているほうがよい。そこで、処理画像から検出された指標数が閾値以上（例えばｎ（ｎ＝自然数）個以上）であるか否かを判定する。指標数が閾値以上である場合、Ｓ２４３へ進む。一方、指標数が閾値未満である場合、Ｓ２４４へ進む。なお、指標が画像全体に分布して検出されているかに基づいて判定を行ってもよい。指標が画像全体に分布して検出された場合、Ｓ２４３へ進む。特定の画像領域に偏って指標が検出された場合には、Ｓ２４４へ進む。また、指標数と指標の分布との両方に基づいて判定を行ってもよい。
【００４７】
Ｓ２４３において、第二の画像処理部１１４０は、第一の画像処理部１１３５により生成された処理画像に対して、明瞭により多くの指標が検出できるように画像処理を実施する。Ｓ２４４において、指標検出部１１３８は、第二の画像処理部１１４０により生成された処理画像から新たに指標を検出する。
【００４８】
Ｓ２４５において、処理画像選択部１１５０は、後続の位置姿勢推定処理において、第一の画像処理部１１３５により生成された処理画像を用いるか、第二の画像処理部１１４０により生成された処理画像を用いるかを選択する。第１の実施形態と同様に、処理画像選択部１１５０は、第一の画像処理部１１３５により生成された処理画像の画像特徴と、第二の画像処理部１１４０により生成された処理画像の画像特徴とを解析し、その解析結果に基づいて選択を行う。但し、Ｓ２４２において指標数が閾値未満であった場合には第二の画像処理部１１４０により処理画像が生成されていないので、第一の画像処理部１１３５により生成された処理画像を用いることを選択する。
【００４９】
Ｓ２４６−Ｓ２４９の各処理はＳ２０５−Ｓ２０８の各処理と同様であるため説明を省略する。以上で一連の処理が終了する。
【００５０】
以上説明したように、本実施形態では、撮像画像入力部１１００を介して入力された撮像画像が、自然特徴がより広域で取得できるように画像処理され、現実空間における輝度勾配等の自然特徴を優先的に取得して位置合わせすることが可能となる。そして、Ｓ２４２において指標数が閾値未満であった場合には第二の画像処理部１１４０により処理画像が生成されないので、処理時間の短縮化を図ることができる。
【００５１】
（第３の実施形態）
＜概要＞
第３実施形態では、画像領域別に位置姿勢推定の方法を切り替えて併用する例を説明する。即ち、指標が検出された画像領域の周辺では第二の画像処理部により生成された処理画像を用いて位置姿勢推定を行い、それを除く画像領域では第一の画像処理部により生成された処理画像を用いて位置姿勢推定を行う。
【００５２】
＜処理＞
図４（ｃ）は、本実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。なお、情報処理装置の構成については第１の実施形態と同様であるため説明を省略する。Ｓ２８０において、撮像画像入力部１１００は、撮像装置１３００により取得された撮像画像を情報処理装置１０００に入力する。
【００５３】
Ｓ２８１において、第一の画像処理部１１３５は、撮像画像入力部１１００を介して入力された撮像画像に対して、自然特徴がより広域で取得できるように画像処理を実施する。Ｓ２８２において、位置姿勢推定部１１６０は、自然特徴による位置姿勢推定を行う。Ｓ２８３において、第二の画像処理部１１４０は、撮像画像入力部１１００を介して入力された撮像画像に対して、明瞭により多くの指標が検出できるように画像処理を実施する。
【００５４】
Ｓ２８４において、指標検出部１１３０は、第二の画像処理部１１４０により生成された処理画像から指標を検出する。Ｓ２８５において、位置姿勢推定部１１６０は、指標による位置姿勢推定を行う。Ｓ２８６において、位置姿勢推定部１１６０は、画像領域ごとの位置姿勢推定を行う。具体的には、前指標が検出された画像領域については第二の処理画像を選択し、指標が検出されなかった画像領域については第一の処理画像を選択する。
【００５５】
位置姿勢推定部１１６０は、指標が検出された画像領域周辺（例えば指標を含む所定サイズの矩形領域）に関しては限定的に第二の画像処理部１１４０により生成された処理画像を用いた位置姿勢推定結果を適用する。一方、それを除く画像領域に関しては第一の画像処理部１１３５により生成された処理画像を用いた位置姿勢推定結果を適用するように選択を行う。ここでは、自然特徴による位置姿勢推定における現実環境の変化による推定精度への影響を抑えるため、指標による位置姿勢推定を補完的に用いている。
【００５６】
このように、画像領域ごとに指標又は自然特徴による位置姿勢推定を適切に適用することで、自然特徴による位置姿勢推定に適さない一部の現実環境における位置合わせ精度の低下を抑制することができる。
【００５７】
本発明によれば、複合現実感を体験する環境における指標の有無や、輝度勾配といった自然特徴の多寡に応じて、撮像装置の位置合わせを安定的に実現することができる。よって、複合現実感を体験する環境に合わせて、撮像画像へ適用する画像処理を人的に調整する負荷を軽減することができる。また、自然特徴が乏しい現実環境の一部に対して限定的に指標を配置することで、指標および自然特徴による両方の位置合わせ手法を相互補間することができ、複合現実感体験する環境構築の人的負荷を軽減することができる。
【００５８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１０００：情報処理装置、１１００：撮像画像入力部、１１１０：撮像画像処理部、１１３０，１１３８：指標検出部、１１３５：第一の画像処理部、１１４０：第二の画像処理部、１１４５：第三の画像処理部、１１５０：処理画像選択部、１１６０：位置姿勢推定部、１１７０：データ記憶部、１３００：撮像装置、１７００：仮想物体合成部、１７１０：合成画像出力部、１８００：表示装置
【図１】
2018077581.tif 000003
【図２】
2018077581.tif 000004
【図３】
2018077581.tif 000005
【図４】
2018077581.tif 000006