(57)【要約】【課題】現実空間に仮想物体を重畳させる際に、精度の高い位置合わせを安定して行うことができるようにする。【解決手段】撮像装置から入力された撮像画像から指標または空間特徴点を検出するとともに、撮像装置の位置姿勢推定装置から、加速度、角速度などの物理情報を入力する。そして、所定の期間での物理情報の揺れ幅を算出して撮像装置の動静を判定する。動と判定した場合は、検出された指標または空間特徴点に基づいて撮像装置の位置姿勢情報を生成し、静と判定した場合は、前フレームとして入力された撮像装置の位置姿勢情報をそのまま用いる。【選択図】図１
2018032155.tif 000002
【特許請求の範囲】
【請求項１】
物理量を計測する装置を保持した撮像装置から撮像画像を入力して仮想物体を重畳させる情報処理装置であって、
前記撮像画像から指標または特徴点を検出する検出手段と、
前記撮像装置から前記撮像装置の状態を示す物理情報を取得する取得手段と、
前記取得手段によって取得された物理情報に基づいて前記撮像装置の静または動の挙動を判定する判定手段と、
前記検出手段によって検出された指標または特徴点、および前記判定手段による判定結果に基づいて、前記撮像装置の位置姿勢を算出する算出手段と、
前記算出手段によって算出された位置姿勢に基づいて、前記撮像装置に前記仮想物体を重畳して表示装置に出力する出力手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記判定手段により静と判定された場合に、前記算出手段は、前フレームとして入力された撮像画像の位置姿勢情報を用いて前記撮像装置の位置姿勢を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記判定手段により静と判定された場合に、前記算出手段は、前記検出手段によって検出された指標または特徴点に基づく位置姿勢に対してフィルタ処理を施して、前記撮像装置の位置姿勢を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記取得手段は、前記物理情報として加速度の出力値を取得し、
前記判定手段は、前記加速度の二乗平均平方根に基づいて、前記撮像装置の静または動の挙動を判定することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
前記取得手段は、前記物理情報として角速度の出力値を取得し、
前記判定手段は、前記角速度の二乗平均平方根に基づいて、前記撮像装置の静または動の挙動を判定することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項６】
前記判定手段は、前記物理情報の標準偏差または分散値に基づいて、前記撮像装置の静または動の挙動を判定することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項７】
前記取得手段は、前記物理情報として磁束密度の出力値を取得し、
前記判定手段は、前記磁束密度の二乗平均平方根に基づいて、前記撮像装置の静または動の挙動を判定することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項８】
物理量を計測する装置を保持した撮像装置から撮像画像を入力して仮想物体を重畳させる情報処理装置の情報処理方法であって、
前記撮像画像から指標または特徴点を検出する検出工程と、
前記撮像装置から前記撮像装置の状態を示す物理情報を取得する取得工程と、
前記取得工程において取得された物理情報に基づいて前記撮像装置の静または動の挙動を判定する判定工程と、
前記検出工程において検出された指標または特徴点、および前記判定工程における判定結果に基づいて、前記撮像装置の位置姿勢を算出する算出工程と、
前記算出工程において算出された位置姿勢に基づいて、前記撮像装置に前記仮想物体を重畳して表示装置に出力する出力工程と、
を備えることを特徴とする情報処理方法。
【請求項９】
物理量を計測する装置を保持した撮像装置から撮像画像を入力して仮想物体を重畳させる情報処理装置を制御するためのプログラムであって、
前記撮像画像から指標または特徴点を検出する検出工程と、
前記撮像装置から前記撮像装置の状態を示す物理情報を取得する取得工程と、
前記取得工程において取得された物理情報に基づいて前記撮像装置の静または動の挙動を判定する判定工程と、
前記検出工程において検出された指標または特徴点、および前記判定工程における判定結果に基づいて、前記撮像装置の位置姿勢を算出する算出工程と、
前記算出工程において算出された位置姿勢に基づいて、前記撮像装置に前記仮想物体を重畳して表示装置に出力する出力工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、現実空間に仮想物体を重畳させるために用いて好適な情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、現実空間と仮想空間とをリアルタイムに融合させて体験者に提示する技術として、複合現実感（ＭＲ：Mixed Reality）技術や拡張現実感（ＡＲ：Augmented Reality）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。これらの技術は、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援や、完成前の実寸の製品デザインを複数の体験者に提示してレビューをする設計開発支援等、様々な分野への応用が期待される。ＭＲまたはＡＲを体験する手段として、頭部装着型表示装置（ＨＭＤ：Head Mounted Display）のほか、手持ち型表示装置（ＨＨＤ：Hand Held Display）がある。
【０００３】
ビデオシースルー型ＨＭＤまたはＨＨＤを利用するＭＲ技術では、仮想空間を規定する基準座標におけるカメラの位置及び姿勢をいかに正確に計測するかが重要である。そこで、現実環境中に個体識別可能な人工的な指標を配置し、該指標を用いて基準座標系における撮像カメラの位置及び姿勢を推定し、その推定結果に基づいてＨＭＤ等の位置及び姿勢を求めることが一般的に行われている。このカメラが取得した画像を利用する位置合わせ方法は、既知の指標を用いることで、複合現実空間において精度よく位置姿勢を算出することができる。
【０００４】
一方で、現実環境中に指標を多数配置するには人的および時間的に高コストになり、景観も損なわれるという問題がある。そこで、既知の指標を用いずに撮像画像上で輝度勾配のあるエッジや角点など自然特徴を取得し、自然特徴を基にカメラの複合現実空間における位置姿勢を算出することも行われている。非特許文献１及び２には、画像中でのエッジと観察対象の３次元モデルとの対応をもとにカメラの位置及び姿勢を求める方法が開示されている。一方で、このような自然特徴検出による位置姿勢算出手法は、自然特徴の乏しい均一表面の素材や色の壁や、視点変化に伴い変化する鏡面物体、照明変化による同一物体の反射状態の変化によって位置姿勢の推定精度が低下する可能性がある。
【０００５】
一般にビデオシースルー型ＨＭＤでは、前述のようにカメラが持つ画素単位での位置合わせが可能であるが、複合的な環境要因によって、位置合わせが不安定になることがある。本来は現実空間に安定的に固定して仮想物体が表示されるべきにもかかわらず小刻みに振動したり（ジッター）、不連続に移動して表示されたりすること（飛び）がある。これらの現象は、現実空間中にあたかも仮想物体が存在するかのように感じさせる複合現実感を大きく阻害する。
【０００６】
特許文献１には、撮像画像に平滑化処理を適用して求められた位置姿勢の算出結果を、姿勢センサの値の平均値に基づいて補正する手法が提案されている。特許文献１に記載の方法以外にも、姿勢センサに代表されるような物理センサを用いて撮像画像の位置姿勢の算出処理で補間する構成は一般に用いられている。ここで物理センサは、角速度センサ、加速度センサ、地磁気センサ、気圧センサなど、物理現象や対象の物理状態の変化をとらえ、信号変換するセンサである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−１２８５７８号公報
【非特許文献】
【０００８】
【非特許文献１】T.Drummond and R.Cipolla,"Real-time visual trackingof complex structures,"IEEE Trans.on Pattern Analysisand Machine Intelligence,vol.24,no.7,pp.932-946, 2002.
【非特許文献２】A.I.Comport,E. Marchand,and F.Chaumette,"A real-time tracker for markerless augmented reality,"Proc. The Second Int'l Symp.on Mixed and Augmented Reality (ISMAR03), pp.36-45,2003.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、位置合わせという観点において、撮像画像による姿勢の推定精度は姿勢センサの精度よりも優れている。したがって、例えば特許文献１に記載の方法のように平均値を用いたとしても、推定ばらつきが異なる撮像画像による姿勢結果と、姿勢センサによる姿勢結果とを同等に補間関係で用いるのは妥当ではない。
【００１０】
現実空間と仮想空間との位置合わせを、撮像画像の画素単位で幾何学的整合性を保ちながら正確におこなう複合現実感技術において、仮想物体のジッターや飛びを回避することが課題の一つである。特に、体験者がＨＭＤまたはＨＨＤを静止または保持している状態では、空間中に固定的に表示されるべき仮想物体にジッターや飛びが発生すると、複合現実感を大きく阻害してしまう。
【００１１】
本発明は前述の問題点に鑑み、現実空間に仮想物体を重畳させる際に、精度の高い位置合わせを安定して行うことができるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明に係る情報処理装置は、物理量を計測する装置を保持した撮像装置から撮像画像を入力して仮想物体を重畳させる情報処理装置であって、前記撮像画像から指標または特徴点を検出する検出手段と、前記撮像装置から前記撮像装置の状態を示す物理情報を取得する取得手段と、前記取得手段によって取得された物理情報に基づいて前記撮像装置の静または動の挙動を判定する判定手段と、前記検出手段によって検出された指標または特徴点、および前記判定手段による判定結果に基づいて、前記撮像装置の位置姿勢を算出する算出手段と、前記算出手段によって算出された位置姿勢に基づいて、前記撮像装置に前記仮想物体を重畳して表示装置に出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、現実空間に仮想物体を重畳させる際に、精度の高い位置合わせを安定して行うことができる。
【図面の簡単な説明】
【００１４】
【図１】ＭＲシステムの全体的な内部構成例を示すブロック図である。
【図２】第１の実施形態において、情報処理装置が行う処理手順の一例を示すフローチャートである。
【図３】第２の実施形態において、情報処理装置が行う処理手順の一例を示すフローチャートである。
【図４】位置姿勢推定装置における出力値の典型的な時系列グラフを示す図である。
【図５】体験者の姿勢に応じた角速度検出装置の出力値の分布の例を示す図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。本実施形態に係る情報処理装置は、撮像装置に具備された位置姿勢推定装置からの情報に基づく動静状態の判定結果に従って、位置姿勢情報の適用条件を変更する。例えば、撮像装置の挙動が判定されることにより、撮像装置が固定、もしくは静的に保持されていると判定された条件下では、位置姿勢の算出を一時的に休止させる。このような位置姿勢の算出処理を間欠実行することによって、現実空間の環境変化に影響を受けない、安定した複合現実感を体験することができる。
【００１６】
図１は、本実施形態のＭＲシステムの全体的な内部構成例を示すブロック図である。現実空間を撮像する撮像装置１００には、撮像装置１００の位置姿勢を算出するための位置姿勢推定装置１７０が具備されている。また、位置姿勢推定装置１７０は、加速度検出装置１７１、角速度検出装置１７２、磁束密度検出装置１７３、および気圧検出装置１７４を備えている。撮像装置１００は、現実空間に仮想物体を重畳して合成する情報処理装置１５０と、有線または無線によって接続されている。同様に、合成画像を表示する表示装置１８０も情報処理装置１５０と接続されている。
【００１７】
続いて、情報処理装置１５０ついて詳しく説明する。撮像画像入力部１５１は、撮像装置１００によって取得された撮像画像を入力する。撮像画像はフレーム単位で連続して撮像画像入力部１５１に入力される。画像処理部１５２は、撮像画像に対して、欠陥補正やホワイトバランス、歪補正処理等の画像処理を行う。検出部１５３は、画像処理部１５２で処理された撮像画像中に含まれる指標、または輝度分布といった空間特徴点を検出する。
【００１８】
一方、物理情報入力部１５５は、撮像装置１００の位置姿勢推定装置１７０に含まれる加速度検出装置１７１や角速度検出装置１７２などの検出結果である物理情報を入力する。挙動判定部１５６は、情報処理装置１５０に入力された物理情報における検出結果の平均値、標準偏差値、分散値などの統計演算を行い、その結果をもとに撮像装置１００の動静状態を判定する。
【００１９】
ここで、体験者に装着された撮像装置１００が、視界が頻繁に変化するほど大きく動作しているときは、静止しているときに比べて物理情報の分散値は大きくなるものと予想できる。前述の統計値が所定の閾値を上回った場合は、挙動判定部１５６は、撮像装置１００は動いていると判定し、位置姿勢算出部１５４は、取得したフレーム毎に位置姿勢を算出する。または前述の統計値が所定の閾値以下である場合は、挙動判定部１５６は、撮像装置１００が静止または何等かの手段で静的に保持されているものと判定する。この場合、位置姿勢算出部１５４は、前述したようなフレーム毎の位置姿勢を算出せず、位置姿勢の算出結果を前フレームで算出されたものに維持するようにする。なお、フレーム毎の位置姿勢の算出結果に対して、特定の遮断周波数をもったローパスフィルタを適用し、ジッターや飛びのように瞬間的に位置姿勢の変動が発生するような不安定性を改善するようにしてもよい。
【００２０】
複合現実空間に重畳する仮想物体の情報は、記憶部１５７に保存されている。合成部１５８は、位置姿勢算出部１５４による撮像装置１００の複合現実空間における位置姿勢結果に基づいて、撮像装置１００により取得された撮像画像と、記憶部１５７に保存されている仮想物体とを重畳合成する。合成画像出力部１５９は、重畳合成された合成画像を表示装置１８０に出力して表示させる制御を行う。
【００２１】
図２は、本実施形態において情報処理装置１５０が行う処理手順の一例を示すフローチャートである。
まず、Ｓ２００において、撮像画像入力部１５１は、撮像装置１００から撮像画像を入力する。さらに、物理情報入力部１５５は、撮像装置１００の位置姿勢推定装置１７０から物理情報を入力する。
【００２２】
次に、Ｓ２０１において、画像処理部１５２は、Ｓ２００で入力された撮像画像に対して、例えば欠陥補正やホワイトバランス、歪補正処理などの画像処理を行う。続いてＳ２０２において、検出部１５３は、画像処理された撮像画像から指標または空間特徴点を検出する。
【００２３】
次に、Ｓ２０３において、挙動判定部１５６は、所定の時間幅における位置姿勢推定装置１７０からの物理情報群（検出結果）の分散値が所定の閾値以下であるか否かを判定する。この判定の結果、分散値が所定の閾値を上回っている場合は、Ｓ２０４に進む。そして、Ｓ２０４において、位置姿勢算出部１５４は、撮像装置１００は動的に挙動しているとして、Ｓ２０２における検出結果をもとに、撮像装置１００の位置姿勢情報を算出する。一方、Ｓ２０３の判定の結果、分散値が所定の閾値以下である場合は、Ｓ２０５に進む。そして、Ｓ２０５において、位置姿勢算出部１５４は、撮像装置１００は静止しているか、何らかの方法で保持されているとして、前フレームで適用された撮像装置１００の位置姿勢結果を、現フレームの位置姿勢情報として上書きする。
【００２４】
次に、Ｓ２０６において、合成部１５８は、現フレームにおける撮像装置１００の位置姿勢情報をもとに、取得した撮像画像に、記憶部１５７に保存されている仮想物体を重畳合成する。そして、Ｓ２０７において、合成画像出力部１５９は、重畳合成された画像を表示装置１８０に出力して表示させる。これにより、複合現実感を体験者に提示することができる。
【００２５】
図４は、撮像装置１００に具備された位置姿勢推定装置１７０における出力値の典型的な時系列グラフを示す図である。横軸の時間軸においては、（i）体験者が撮像装置１００を机上に固定した状態、（ii）体験者が撮像装置１００を手に持って空中保持した状態、（iii）体験者が撮像装置１００を自由に動かしている状態、を示す。
【００２６】
例えば図４（Ａ）に示す加速度検出装置１７１の出力値からは、重力加速度を参照値とすることで、撮像装置１００がどのような姿勢で傾いているかを判定することが可能である。加えて、体験者が撮像装置１００を「固定する」や「動きを止める」などの挙動を、加速度検出装置１７１の出力値の二乗平均平方根（ＲＭＳ：Root Mean Square）を用いて判定することが可能である。図４（Ａ）に示す結果によれば、（i）及び（ii）の状態では、ＲＭＳは０．１［ｇ］以下に相当し、（iii）の状態では、ＲＭＳは０．１［ｇ］超に相当する。加速度検出装置１７１の出力値を用いる場合には、挙動判定部１５６はＲＭＳの閾値を０．１［ｇ］と設定し、所定の時間幅において逐次ＲＭＳを求める。そして、ＲＭＳが閾値を下回った場合、位置姿勢算出部１５４は、その時刻におけるフレームの位置姿勢情報を、前フレームにて適用された結果で上書きする。
【００２７】
また、例えば、図４（Ｂ）に示す磁束密度検出装置１７３の出力値から、撮像装置１００の任意の位置姿勢における磁束密度を取得し、ＲＭＳに応じて位置移動や姿勢変化を判定することも可能である。一般には地磁気プロファイルを参照して東西南北といった方位を算出する方法は、ナビゲーションといった用途に用いられる。一方、磁束密度検出装置１７３の計測システムの残留磁場の影響や、方位による磁束密度変動の影響により、判定精度が低下する可能性がある。
【００２８】
また、例えば図４（Ｃ）に示す角速度検出装置１７２の出力値からは、撮像装置１００の回転方向の動きの大きさによる姿勢変化を判定することが可能である。例えば（i）および（ii）の状態では、角速度検出装置１７２の出力値は数十［ｍｄｐｓ］の範囲内に収まる傾向がある。一方、（iii）の状態では、回転方向の動きが加わり、１００［ｍｄｐｓ］以上の出力値が頻繁に検出される。図３（Ｃ）に示す角速度検出装置１７２の出力値を用いる場合、挙動判定部１５６はＲＭＳの範囲（閾値）を１００［ｍｄｐｓ］と設定し、所定の時間幅において逐次ＲＭＳを求める。ＲＭＳが閾値を下回った場合、位置姿勢算出部１５４は、その時刻におけるフレームの位置姿勢情報を、前フレームにて適用された結果で上書きする。
【００２９】
以上のように、体験者がＨＭＤを用いる体勢によって、体験者の静動といった挙動に相当する加速度、磁束密度、および角速度にはそれぞれ多様な出力値を示す。さまざまな体験環境において、体験者の静動といった挙動をより適切に判定するために、これら複数のパラメータによる判定条件を組み合わせてもよい。
【００３０】
図５には、体験者の姿勢に応じた角速度検出装置１７２の出力値の分布の例を示している。図５（Ａ）は、体験者が撮像装置１００を机上に固定した状態での出力値の分布を示し、図５（Ｂ）は、体験者が撮像装置１００を手に持って空中保持した状態での出力値の分布を示す。また、図５（Ｃ）は、体験者が撮像装置１００を自由に動かしている状態の出力値の分布を示す。なお、横軸は出力値を示し、縦軸は頻度を示している。
【００３１】
例えば、図５（Ａ）に示すように、撮像装置１００を机上に固定した状態では、出力値は０［ｍｄｐｓ］を頂点とした左右対称の山型の分布となっている。このとき、標準偏差は０．２５［ｍｄｐｓ］、分散値は０．２８となっている。また、図５（Ｂ）に示すように、体験者が撮像装置１００を手に持って空中保持した状態では、所謂手振れによる影響を受け、出力値の頂点はやや０［ｍｄｐｓ］から逸れた−０．４４［ｍｄｐｓ］であるものの、左右対称の山型で近似できるといえる。このとき、標準偏差は０．９９［ｍｄｐｓ］、分散値は０．９８となっている。
【００３２】
一方、図５（Ｃ）に示すように、体験者が撮像装置１００を自由に動かしている状態では、図５（Ａ）および図５（Ｂ）に比べて規則性のない大きなばらつきが顕著に表れ、もはや左右対称の山型分布をなしていない。このとき、標準偏差は８４．９７［ｍｄｐｓ］、分散値は７２１８．２７となっている。
【００３３】
以上のように、標準偏差または分散値という統計値を用いても、撮像装置１００の静動といった挙動を判定することが可能である。挙動判定部１５６は、標準偏差または分散値の所定の閾値を設定し、標準偏差または分散値が閾値を下回った場合に、位置姿勢算出部１５４は、その時刻におけるフレームの位置姿勢情報を、前フレームにて適用された結果で上書きする。前述のように、複数の装置からの出力値の統計値で判定条件を組み合わせることにより、より精密に静または動を判定するようにしてもよい。
【００３４】
なお、前述した図４および図５の説明にて記載した数値は、位置姿勢推定装置１７０を構成する複数の装置の種類、出力周期、出力値の数などによって異なるものとする。
【００３５】
以上のように本実施形態によれば、撮像装置が物理的に固定、もしくは体験者の手によって保持されているような状態で複合現実感を体験する場合、体験者に空間中に固定的に仮想物体を提示させることが可能である。また、撮像装置が固定、もしくは静的に保持されていると判定された条件下では、位置姿勢の算出処理を休止させるため、演算負荷を低減させることができる。
【００３６】
（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。なお、本実施形態に係るＭＲシステムの全体的な内部構成については図１と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。
【００３７】
図３は、本実施形態における情報処理装置１５０が行う処理手順の一例を示すフローチャートである。
まず、図３において、Ｓ２００〜Ｓ２０２は図２と同様であるため、説明は省略する。続いて、Ｓ３０１において、位置姿勢算出部１５４は、検出部１５３による検出結果をもとに、撮像装置１００の位置姿勢を算出して位置姿勢情報を生成する。
【００３８】
次に、Ｓ３０２において、挙動判定部１５６は、所定の時間幅における位置姿勢推定装置１７０からの物理情報群の揺らぎ周期が所定の閾値を下回っているか否かを判定する。例えば磁束密度検出装置１７３からの出力値を用いる場合には、磁場環境が数百ミリ秒単位で約百ミリガウスまでの変化と閾値を設定する。この判定の結果、物理情報群の揺らぎ周期が閾値を上回っている場合は、Ｓ３０１で生成した位置姿勢情報をそのまま用いることになるため、Ｓ２０６に進む。
【００３９】
一方、Ｓ３０２の判定の結果、物理情報群の揺らぎ周期が閾値以下である場合は、Ｓ３０３に進む。そして、Ｓ３０３において、位置姿勢算出部１５４は、前フレームで適用された撮像装置１００の位置姿勢情報とＳ３０１で生成された現フレームの位置姿勢情報とに対して、特定の遮断周波数をもったローパスフィルタを適用する。そして、このフィルタ処理により現フレームの位置姿勢情報を補正する。このようにローパスフィルタを適用することにより、ジッターや飛びのように前フレームと現フレームとの間で瞬間的に位置姿勢の変動が発生することを防ぐようにしている。Ｓ２０６およびＳ２０７については図２と同様であるため、説明は省略する。
【００４０】
なお、Ｓ３０２では、挙動判定部１５６は、静動挙動判定において、例えば角速度検出装置１７２からの物理情報群のＲＭＳを用いてもよい。また、撮像装置１００の静止状態での出力値の平均値を中心値としたときの偏差を求め、偏差が所定の閾値以下か否かを判定することで、撮像装置１００の静動といった挙動を判定することも可能である。この場合、偏差はＭＴ法におけるマハラノビス距離に相当するものとする。また、加速度、角速度、磁束密度、気圧といった物理量の計測結果が、静止状態において正規分布を描くことを前提とする。そして、正規分布の一致度を検定するAnderson-Darling検定、Jarque-Bera検定を用いて、撮像装置１００の静動といった挙動を判定してもよい。
【００４１】
以上のように本実施形態によれば、位置姿勢の算出結果に対して特定の遮断周波数をもったローパスフィルタを適用することで、ジッターや飛びのように瞬間的に位置姿勢算出結果の変動が発生するような不安定性を改善することができる。
【００４２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４３】
１５３  検出部
１５４  位置姿勢算出部
１５６  挙動判定部
１５８  合成部
１５９  合成画像出力部
【図１】
2018032155.tif 000003
【図２】
2018032155.tif 000004
【図３】
2018032155.tif 000005
【図４】
2018032155.tif 000006
【図５】
2018032155.tif 000007