(57)【要約】【課題】正確な位置に重畳情報を重畳することができるようにする。【解決手段】マーカ取得部は、撮像画像に対し重畳情報を重畳する際の位置合わせ用のマーカであって、ユーザの位置を示す位置情報及び撮像画像の最適な画角を示す最適画角情報で定められるマーカを取得し、表示制御部は、取得されたマーカをディスプレイに表示して、ユーザにより当該マーカを用いた位置合わせが行われた場合、位置合わせされた重畳情報が撮像画像に重畳された重畳画像を表示させる。本技術は、例えば、携帯電話機やスマートフォン、タブレットPCなどの携帯型の電子機器に適用することができる。【選択図】図２
2013213872.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカを取得するマーカ取得部と、
取得した前記マーカの表示を制御する表示制御部と
を備える情報処理装置。
【請求項２】
前記表示制御部は、前記マーカを用いた画角調整が行われた場合、画角調整された前記重畳情報が前記撮像画像に重畳された重畳画像を表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記最適画角情報は、ユーザの位置を示す位置情報により定められる
請求項２に記載の情報処理装置。
【請求項４】
前記マーカ取得部は、前記撮像画像に含まれる画角調整用のターゲットの形状に応じた前記マーカを取得する
請求項３に記載の情報処理装置。
【請求項５】
前記ターゲットは、前記位置情報が示す位置を含む第１の領域に対応付けられた第２の領域ごとに指定される、特徴的な部分がどの程度含まれているかを示す特徴値を用いて選択される
請求項４に記載の情報処理装置。
【請求項６】
前記第２の領域には、その特徴値が前記ターゲットの選択には用いられない無視領域が含まれる
請求項５に記載の情報処理装置。
【請求項７】
前記ユーザにより操作される操作部と、
前記重畳情報の重畳位置に影響を与えるオフセットを補正するオフセット補正部と
をさらに備え、
前記表示制御部は、前記オフセットの補正用のマーカを表示させ、
前記オフセット補正部は、前記ユーザによって、表示された前記オフセットの補正用のマーカが操作された場合、当該操作に応じて前記オフセットを補正する
請求項４に記載の情報処理装置。
【請求項８】
前記操作部は、タッチパネルであり、
前記オフセット補正部は、前記タッチパネルに対する所定の操作に応じた前記オフセットの補正用のマーカの移動角度に基づいて、前記オフセットを補正する
請求項７に記載の情報処理装置。
【請求項９】
画像に含まれる物体を識別する識別器に基づいて、前記撮像画像に含まれる物体を認識する物体認識部と、
前記物体の認識結果に基づいて、前記重畳情報の重畳位置に影響を与えるオフセットを補正するオフセット補正部と
をさらに備える請求項４に記載の情報処理装置。
【請求項１０】
前記表示制御部は、前記ターゲットに対する前記情報処理装置の方位のずれ量が所定の閾値を超える場合、正確な方位に誘導するための方位誘導画像を表示させる
請求項４に記載の情報処理装置。
【請求項１１】
前記位置情報が示す位置における前記重畳画像の表示が初回である場合、前記撮像画像に含まれる物体を識別するための識別器を生成する識別器生成部をさらに備え、
前記表示制御部は、
前記重畳画像の表示が初回である場合、生成された前記識別器に基づいた前記撮像画像に含まれる物体の認識結果に応じた前記重畳画像を表示させ、
前記重畳画像の表示が２回目以降である場合、初回に生成済みの前記識別器に基づいた前記撮像画像に含まれる物体の認識結果に応じた前記重畳画像を表示させる
請求項４に記載の情報処理装置。
【請求項１２】
情報処理装置の情報処理方法において、
前記情報処理装置が、
撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカを取得するマーカ取得ステップと、
取得した前記マーカの表示を制御する表示制御ステップと
を含む情報処理方法。
【請求項１３】
情報処理装置のコンピュータに実行させるプログラムにおいて、
撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカを取得するマーカ取得ステップと、
取得した前記マーカの表示を制御する表示制御ステップと
を含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及びプログラムに関し、特に、正確な位置に重畳情報を重畳することができるようにした情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、拡張現実（AR：Augmented Reality）と称される、現実環境にコンピュータを用いて重畳情報を付加提示する技術が注目されている。
【０００３】
例えば、AR技術を利用すると、撮像部を有する携帯型の電子機器の画面を通して見た風景等の被写体上に、通常の視覚では知ることのできないその場所に関する情報や、仮想的な物体などの重畳情報を重畳表示するといったことが可能となる。このような表示を行う場合、重畳情報は、その重畳位置がずれてしまうと被写体に関する情報が不明確になるため、正確な位置に重畳されることが求められる。
【０００４】
特許文献１には、対象物を風景上に重畳表示するに際し、運転者の顔の向きや車両の姿勢に関する情報を用いて当該対象物の表示位置を決定するナビゲーション装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２５６８７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、従来の技術では、風景等の被写体上に対象物の重畳情報を重畳させる場合に、GPS（Global Positioning System）による位置情報や、センサにて測定されたセンサ情報を用いて、重畳情報の表示位置を決定していた。
【０００７】
しかしながら、従来の技術であると、位置情報やセンサ情報を用いて重畳情報の表示位置を決定する場合、位置情報やセンサ情報のオフセットなどが原因となり、重畳する位置が大きくずれてしまう。また、画像認識を利用して重畳情報の表示位置を決定する場合、天候や時間帯に対する外見上の変化が激しく認識そのものが困難であり、特に特徴的なエッジが少ない屋外環境であると、当該環境に影響を受けてしまい、正確な位置に重畳情報を重畳させることが困難であった。
【０００８】
本技術はこのような状況に鑑みてなされたものであり、正確な位置に重畳情報を重畳することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の情報処理装置は、撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカを取得するマーカ取得部と、取得した前記マーカの表示を制御する表示制御部とを備える。
【００１０】
前記表示制御部は、前記マーカを用いた画角調整が行われた場合、画角調整された前記重畳情報が前記撮像画像に重畳された重畳画像を表示させる。
【００１１】
前記最適画角情報は、ユーザの位置を示す位置情報により定められる。
【００１２】
前記マーカ取得部は、前記撮像画像に含まれる画角調整用のターゲットの形状に応じた前記マーカを取得する。
【００１３】
前記ターゲットは、前記位置情報が示す位置を含む第１の領域に対応付けられた第２の領域ごとに指定される、特徴的な部分がどの程度含まれているかを示す特徴値を用いて選択される。
【００１４】
前記第２の領域には、その特徴値が前記ターゲットの選択には用いられない無視領域が含まれる。
【００１５】
前記ユーザにより操作される操作部と、前記重畳情報の重畳位置に影響を与えるオフセットを補正するオフセット補正部とをさらに備え、前記表示制御部は、前記オフセットの補正用のマーカを表示させ、前記オフセット補正部は、前記ユーザによって、表示された前記オフセットの補正用のマーカが操作された場合、当該操作に応じて前記オフセットを補正する。
【００１６】
前記操作部は、タッチパネルであり、前記オフセット補正部は、前記タッチパネルに対する所定の操作に応じた前記オフセットの補正用のマーカの移動角度に基づいて、前記オフセットを補正する。
【００１７】
画像に含まれる物体を識別する識別器に基づいて、前記撮像画像に含まれる物体を認識する物体認識部と、前記物体の認識結果に基づいて、前記重畳情報の重畳位置に影響を与えるオフセットを補正するオフセット補正部とをさらに備える。
【００１８】
前記表示制御部は、前記ターゲットに対する前記情報処理装置の方位のずれ量が所定の閾値を超える場合、正確な方位に誘導するための方位誘導画像を表示させる。
【００１９】
前記位置情報が示す位置における前記重畳画像の表示が初回である場合、前記撮像画像に含まれる物体を識別するための識別器を生成する識別器生成部をさらに備え、前記表示制御部は、前記重畳画像の表示が初回である場合、生成された前記識別器に基づいた前記撮像画像に含まれる物体の認識結果に応じた前記重畳画像を表示させ、前記重畳画像の表示が２回目以降である場合、初回に生成済みの前記識別器に基づいた前記撮像画像に含まれる物体の認識結果に応じた前記重畳画像を表示させる。
【００２０】
本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【００２１】
本技術の一側面の情報処理方法及びプログラムは、前述した本技術の一側面の情報処理装置に対応する情報処理方法及びプログラムである。
【００２２】
本技術の一側面の情報処理装置、情報処理方法、及びプログラムにおいては、撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカが取得され、取得された前記マーカの表示が制御される。
【発明の効果】
【００２３】
本技術の一側面によれば、正確な位置に重畳情報を重畳することができる。
【図面の簡単な説明】
【００２４】
【図１】本技術を適用したARシステムの一実施の形態の構成を示す図である。
【図２】本技術を適用した端末装置及びサーバの第１の実施の形態の構成を示す図である。
【図３】第１の追従準備処理を説明するフローチャートである。
【図４】座席位置指定画面の表示例を示す図である。
【図５】有効領域と特徴値領域を示す図である。
【図６】有効領域テーブルの構成例を示す図である。
【図７】特徴値領域テーブルの構成例を示す図である。
【図８】繁華街の画像における特徴値領域の例を示す図である。
【図９】スタジアムの画像における特徴値領域の例を示す図である。
【図１０】スタジアムにおける画角誘導画像の表示例を示す図である。
【図１１】スタジアムにおける画角誘導画像の表示例を示す図である。
【図１２】ゴルフ場における画角誘導画像の表示例を示す図である。
【図１３】画角誘導画像のメッセージの表示例を示す図である。
【図１４】スタジアムにおける重畳画像の表示例を示す図である。
【図１５】本技術を適用した端末装置及びサーバの第２の実施の形態の構成を示す図である。
【図１６】第２の追従準備処理を説明するフローチャートである。
【図１７】角度入力操作判定処理を説明するフローチャートである。
【図１８】オフセット補正用のマーカの表示例を示す図である。
【図１９】オフセット補正用のマーカの操作例を示す図である。
【図２０】オフセット補正用のマーカの操作例を示す図である。
【図２１】第３の追従準備処理を説明するフローチャートである。
【図２２】第４の追従準備処理を説明するフローチャートである。
【図２３】本技術を適用した端末装置及びサーバの第３の実施の形態の構成を示す図である。
【図２４】第５の追従準備処理を説明するフローチャートである。
【図２５】繁華街における重畳画像の表示例を示す図である。
【図２６】ゴルフ場における重畳画像の表示例を示す図である。
【図２７】野球場における重畳画像の表示例を示す図である。
【図２８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら本技術の実施の形態について説明する。
【００２６】
［ARシステムの構成例］
図１は、本技術を適用したARシステムの一実施の形態の構成を示す図である。
【００２７】
ARシステム１は、AR（AR：Augmented Reality）技術を利用して、端末装置１０−１乃至１０−Ｎの画面を通して見た被写体上に、その場所に関する重畳情報を重畳表示するものである。
【００２８】
ARシステム１は、端末装置１０−１乃至１０−Ｎ（N = 1,2,…,n：nは端末装置の数）及びサーバ２０から構成される。また、端末装置１０−１乃至１０−Ｎと、サーバ２０は、インターネット等のネットワーク３０を介して相互に接続される。
【００２９】
端末装置１０−１は、例えば、携帯電話機やスマートフォン、タブレットPC、ノート型パーソナルコンピュータなどの携帯型の電子機器である。
【００３０】
端末装置１０−１は、カメラにより撮像された撮像画像に対して重畳情報が重畳された重畳画像を表示する。ここで重畳情報とは、端末装置１０−１の画面を通して見た風景等の被写体上に重畳される、通常の視覚では知ることのできないその場所に関する情報や、仮想的な物体などの情報である。この重畳情報は、サーバ２０にて管理される。
【００３１】
端末装置１０−１は、所定の対象に対して重畳情報を追従させるための追従処理を行うに際し、事前の追従準備処理として、位置合わせ用のマーカを画面に表示し、ユーザに位置合わせを行わせて追従開始位置を決定してから、追従処理を開始する。端末装置１０−１は、追従準備処理を行う場合、追従準備処理に必要となる各種の情報を、ネットワーク３０を介してサーバ２０から取得する。
【００３２】
サーバ２０は、重畳情報のほか、端末装置１０−１にて行われる追従準備処理に必要となる各種の情報を管理している。サーバ２０は、端末装置１０−１からの要求に応じて、各種の情報を提供する。
【００３３】
端末装置１０−２乃至１０−Ｎは、前述した端末装置１０−１と同様に構成される。また、サーバ２０は、端末装置１０−２乃至１０−Ｎに対しても、前述した端末装置１０−１に対する場合と同様に、重畳情報や各種の情報を提供する。従って、それらの説明は省略する。
【００３４】
なお、以下、端末装置１０−１乃至１０−Ｎを特に区別する必要がない場合には、単に端末装置１０と称して説明する。
【００３５】
ARシステム１は、以上のように構成される。
【００３６】
＜第１の実施の形態＞
まず、図２乃至図１４を参照して、本技術の第１の実施の形態について説明する。
【００３７】
［各装置の詳細な構成］
図２は、本技術を適用した端末装置及びサーバの第１の実施の形態の構成を示す図である。
【００３８】
（端末装置の詳細な構成）
端末装置１０は、図２に示すように、制御部１０１、操作部１０２、GPS受信部１０３、位置情報取得部１０４、特徴値情報取得部１０５、特徴値演算部１０６、センサ１０７、姿勢推定部１０８、カメラパラメータ取得部１０９、最適画角演算部１１０、撮像画像取得部１１１、マーカ取得部１１２、重畳部１１３、表示制御部１１４、ディスプレイ１１５、画像処理部１１６、及び重畳情報取得部１１７から構成される。
【００３９】
制御部１０１は、端末装置１０の各部の動作を制御する。
【００４０】
操作部１０２は、ディスプレイ１１５の画面上に重畳されたタッチパネルとして構成される。操作部１０２は、各種のGUI（Graphical User Interface）画像に対するユーザの指示を受け付けて、当該指示に応じた操作信号を制御部１０１に供給する。制御部１０１は、操作部１０２から供給される操作信号に基づいて、ユーザ操作の内容を判定し、当該判定結果に応じて端末装置１０の各部の動作を制御する。
【００４１】
GPS受信部１０３は、GPS（Global Positioning System）衛星（不図示）から受信した信号に対応する端末装置１０の現在位置を示す位置情報を、位置情報取得部１０４に供給する。
【００４２】
位置情報取得部１０４は、GPS受信部１０３から供給される位置情報を取得し、特徴値情報取得部１０５及び特徴値演算部１０６に供給する。
【００４３】
特徴値情報取得部１０５は、特徴値情報取得部１０５から供給される位置情報を含む特徴値情報の要求を、ネットワーク３０を介してサーバ２０に送信する。特徴値情報取得部１０５は、サーバ２０からネットワーク３０を介して送信される特徴値情報を取得し、特徴値演算部１０６に供給する。
【００４４】
ここで、特徴値とは、端末装置１０の周辺の領域に特徴的な部分がどの程度含まれているかを示す値である。また、ここでいう特徴的な部分とは、色や明るさの変化が大きい部分を意味する。例えば、風景が被写体である場合に、雲のない空や芝生など、同系の色が一様に広がる領域では特徴値は低くなり、様々な色のものが設置されている場所では特徴値は高くなる。
【００４５】
ただし、追従のアルゴリズムによっては、規則正しい模様が継続する領域では追従が困難になるものもあるため、上記のような場所であっても特徴値が低くなる場合もある。
【００４６】
特徴値演算部１０６には、位置情報取得部１０４からの位置情報と、特徴値情報取得部１０５からの特徴値情報が供給される。特徴値演算部１０６は、位置情報及び特徴値情報に基づいて、最終的な端末装置１０の周辺の特徴値を演算し、最適画角演算部１１０に供給する。また、位置情報取得部１０４からの位置情報は、特徴値演算部１０６及び最適画角演算部１１０を介してマーカ取得部１１２に供給される。
【００４７】
センサ１０７は、例えば加速度センサや地磁気センサなどのセンサである。センサ１０７は、端末装置１０の姿勢を推定するための情報を検出し、センサ情報として姿勢推定部１０８に供給する。
【００４８】
姿勢推定部１０８は、センサ１０７から供給されるセンサ情報に基づいて、端末装置１０の姿勢を推定し、その姿勢推定結果を最適画角演算部１１０に供給する。
【００４９】
カメラパラメータ取得部１０９は、画角情報などの所定のカメラパラメータを取得し、最適画角演算部１１０に供給する。なお、当該カメラパラメータは、撮像画像取得部１１１により取得される撮像画像の撮影を行うカメラ（不図示）のパラメータとなる。
【００５０】
最適画角演算部１１０には、特徴値演算部１０６からの特徴値情報、姿勢推定部１０８からの姿勢推定結果、及びカメラパラメータ取得部１０９からのカメラパラメータが供給される。最適画角演算部１１０は、特徴値情報、姿勢推定結果、及びカメラパラメータに基づいて、最適画角を演算し、その演算結果を最適画角情報として、マーカ取得部１１２に供給する。ここで、最適画角とは、最も高い特徴値が得られる撮像画像を取得可能な画角である。
【００５１】
撮像画像取得部１１１は、カメラ（不図示）から入力される撮像画像の画像データを取得し、重畳部１１３及び画像処理部１１６に供給する。
【００５２】
マーカ取得部１１２には、位置情報取得部１０４により取得された位置情報と、最適画角演算部１１０からの最適画角情報が供給される。マーカ取得部１１２は、位置情報及び最適画角情報を含むマーカの要求を、ネットワーク３０を介してサーバ２０に送信する。マーカ取得部１１２は、サーバ２０からネットワーク３０を介して送信されるマーカを取得し、重畳部１１３に供給する。ここで、マーカとは、最適画角演算部１１０により演算された最適画角に位置合わせをするために用いられる指標である。すなわち、マーカは、ユーザによる画角調整を補助するための指標であるといえる。
【００５３】
なお、マーカは、最適画角情報のみから定められるようにしてもよい。また、例えば、位置情報取得部１０４により取得される位置情報などにより、端末装置１０側で、ユーザがいる場所が認識できるのであれば、サーバ２０にマーカを問い合わせずに、マーカ取得部１１２が、その場所に応じたマーカを生成するようにしてもよい。
【００５４】
重畳部１１３には、撮像画像取得部１１１からの撮像画像の画像データと、マーカ取得部１１２からのマーカが供給される。重畳部１１３は、マーカを撮像画像に重畳して、それにより得られる画角誘導画像を、表示制御部１１４に供給する。表示制御部１１４は、重畳部１１３から供給される画角誘導画像を、ディスプレイ１１５に表示させる。
【００５５】
画像処理部１１６は、撮像画像取得部１１１から供給される撮像画像の画像データに対し、追従処理を行うための所定の画像処理を行い、その画像処理結果を重畳部１１３に供給する。
【００５６】
重畳情報取得部１１７は、追従処理が行われる場合に、撮像画像に重畳させる重畳情報の要求を、ネットワーク３０を介してサーバ２０に送信する。重畳情報取得部１１７は、サーバ２０からネットワーク３０を介して送信される重畳情報を取得し、重畳部１１３に供給する。なお、重畳情報の要求には例えば位置情報取得部１０４により取得された位置情報を含めることで、その位置に応じた重畳情報が取得される。
【００５７】
重畳部１１３には、撮像画像取得部１１１からの撮像画像の画像データ、画像処理部１１６からの画像処理結果、及び重畳情報取得部１１７からの重畳情報が供給される。重畳部１１３は、画像処理結果に基づいて、重畳情報を撮像画像に重畳し、それにより得られる重畳画像を、表示制御部１１４に供給する。表示制御部１１４は、重畳部１１３から供給される重畳画像を、ディスプレイ１１５に表示させる。
【００５８】
端末装置１０は、以上のように構成される。
【００５９】
（サーバの詳細な構成）
サーバ２０は、図２に示すように、制御部２０１、通信部２０２、特徴値データベース２０３、マーカデータベース２０４、及び重畳情報データベース２０５から構成される。
【００６０】
制御部２０１は、サーバ２０の各部の動作を制御する。
【００６１】
制御部２０１は、特徴値データベース２０３乃至重畳情報データベース２０５を管理する。制御部２０１は、端末装置１０から特徴値情報が要求された場合、特徴値データベース２０３に格納された特徴値情報を読み出し、通信部２０２に供給する。通信部２０２は、制御部２０１からの制御に従い、特徴値情報を、ネットワーク３０を介して端末装置１０に送信する。
【００６２】
また、制御部２０１は、端末装置１０からマーカが要求された場合、マーカデータベース２０４に格納されたマーカを読み出し、通信部２０２に供給する。なお、マーカデータベース２０４には、位置情報及び最適画角情報に対応して、所定の形状からなるマーカが格納されており、制御部２０１は、位置情報及び最適画角情報に応じた所定のマーカを取得する。また、マーカは、位置情報及び最適画角情報のうちいずれか一方により特定可能な場合には、位置情報又は最適画角情報に対応付けられるようにしてもよい。通信部２０２は、制御部２０１からの制御に従い、マーカを、ネットワーク３０を介して端末装置１０に送信する。
【００６３】
さらに、制御部２０１は、端末装置１０から重畳情報が要求された場合、重畳情報データベース２０５に格納された重畳情報を読み出し、通信部２０２に供給する。通信部２０２は、制御部２０１からの制御に従い、重畳情報を、ネットワーク３０を介して端末装置１０に送信する。
【００６４】
サーバ２０は、以上のように構成される。
【００６５】
［端末装置の動作］
次に、図３乃至図１４を参照して、第１の実施の形態における端末装置１０の動作について説明する。
【００６６】
（第１の追従準備処理）
図３は、端末装置１０により実行される第１の追従準備処理を説明するフローチャートである。
【００６７】
ステップＳ１１において、位置情報取得部１０４は、GPS受信部１０３により受信された位置情報を取得する。
【００６８】
なお、位置情報は、GPS衛星から受信した信号から得られる位置情報に限らず、ユーザの入力操作に応じて取得されるようにしてもよい。例えば、ユーザがスタジアムや劇場、コンサートホールなどの観客席のある場所にいる場合、端末装置１０は、図４に示す席位置指定の画面をディスプレイ１１５に表示して、ユーザに自身の席位置を指定させることができる。これにより、位置情報取得部１０４は、より詳細な位置情報を取得することが可能となる。
【００６９】
また、位置情報の取得方法としては、上記の方法に限らず、例えばGPS衛星からの位置情報を用いて大雑把な位置を特定してから、図４の画面などを表示して、正確な位置をユーザに直接入力させるようにしてもよい。
【００７０】
図３のフローチャートに戻り、ステップＳ１２において、特徴値情報取得部１０５は、サーバ２０から、ネットワーク３０を介して送信される特徴値情報を取得する。
【００７１】
ここで、図５乃至図７を参照して、特徴値情報の詳細について説明する。
【００７２】
特徴値は、端末装置１０の有効領域ごとに規定される。有効領域は、図５に示すように直方体で定義され、当該有効領域に対して特徴値が高い領域や低い領域などの特徴値が指定される領域（以下、特徴値領域という）が規定される。また、特徴値領域には、特徴値の対象とならない無視領域が規定される。例えば街中では、行き交う人々や街頭ビジョンなどの特徴点を追従してしまうと追従が破綻してしまうので、建物などの静止物体のみを追従することが望ましいため、このような追従が破綻してしまうような領域を無視領域として規定し、追従準備処理や追従処理の対象に含めないようにする。
【００７３】
特徴値データベース２０３は、図６の有効領域テーブルと、図７の特徴値領域テーブルから構成される。図６に示すように、有効領域テーブルは、有効領域を規定する。有効領域テーブルには、有効領域を識別する領域IDごとに、緯度中心、経度中心、高度中心、南北範囲、東西範囲、及び高さ範囲を示す値が格納される。これにより、直方体の形状からなる有効領域が特定される。
【００７４】
また、図７に示すように、特徴値領域テーブルは、有効領域とその有効領域の視野範囲内となる特徴値領域の特徴値を規定する。特徴値領域テーブルには、領域IDごとに、緯度中心、経度中心、高度中心、南北範囲、東西範囲、高さ範囲、及び特徴値を示す値が格納される。これにより、領域IDにより紐付けられた有効領域ごとに、特徴値領域の特徴値が得られることになる。
【００７５】
なお、特徴値領域テーブルに格納される情報としては、例えば天候や時間帯などの照明条件によって特徴値が大きく変化する場合には、それらの情報がパラメータにより入力されるようにしてもよい。また、特徴値データベース２０３は、そのデータサイズが問題になる場合には、有効領域テーブル及び特徴値領域テーブルのうち、有効領域テーブルを構成から外して、特徴値領域テーブルのみから構成されるようにすることもできる。この場合には特徴値領域テーブルに格納される情報として、対象となる端末装置１０に対する距離や方向を示す有効端末距離や、有効端末方位などの情報が格納されるようにすればよい。
【００７６】
また、特徴値の生成方法であるが、例えば、特徴値領域に対応する場所における典型的な画像をあらかじめ取得してその画像データを解析し、エッジやコーナーの数を指標することで、特徴値を生成することができる。また、画像解析を行わずに、ARシステム１を提供する事業者のオペレータ等が典型的な画像を目視して確認することで、例えば、「有効な領域」、「有効だが特徴のない領域」、又は「無視領域」などと判断して登録するようにしてもよい。
【００７７】
さらに、前述した例では、有効領域及び特徴値領域は、直方体の領域からなるとして説明したが、例えば平面などの他の領域で特定されるようにしてもよい。
【００７８】
図８は、繁華街の画像における特徴値領域の例を示す図である。
【００７９】
図８に示すように、繁華街の画像においては、建物のある部分は特徴値が高い領域となる。一方、空の部分などはコントラストに乏しく、特徴値が低い領域となる。また、地面付近もテクスチャが豊富であるため特徴値が高い領域となるのであるが、例えば人や自動車の部分に特徴点が抽出された場合、追従処理が破綻してしまうため、特徴値が高くても無視すべき領域（無視領域）として規定される。さらに街頭ビジョンの部分についても同様の理由から無視領域として規定される。
【００８０】
また、図９は、スタジアムの画像における特徴値領域の例を示す図である。
【００８１】
図９に示すように、サッカー専用のスタジアムの画像においては、奥側の観客席の部分は特徴値が高い領域となる。一方、フィールドの部分は芝生の上に選手が数人いるだけであるのでコントラストが低く、特徴値が低い領域となる。また、手前の観客席の部分は、例えば人の部分に特徴点が抽出された場合に追従が破綻するので無視領域として規定される。
【００８２】
このように、例えば建物などの特徴値の高い場所は、天候や時間帯に関係なく特徴値が高いので、それをあらかめ定義しておくことにより、追従処理を行うに際して天候や時間帯の影響を受けないようにすることができる。
【００８３】
図３のフローチャートに戻り、ステップＳ１３において、特徴値演算部１０６は、位置情報取得部１０４により取得された位置情報及び特徴値情報取得部１０５により取得された特徴値情報に基づいて、最終的な端末装置１０の周辺の特徴値を演算する。
【００８４】
なお、この演算により求められる特徴値は、ほとんどの場合、特徴値情報取得部１０５により取得された特徴値情報の値そのものとなるが、例えば、次のステップ以降の処理を簡略化するために、端末装置１０を囲む球体に特徴値をマッピングするなどの処理を施してもよい。また、例えば、端末装置１０に依存する値がある場合には、その値を変換するためのフィルタなどを挿入するようにしてもよい。
【００８５】
ステップＳ１４において、姿勢推定部１０８は、センサ１０７からのセンサ情報に基づいて、端末装置１０の姿勢を推定し、その姿勢推定結果を最適画角演算部１１０に供給する。この姿勢推定結果により、ユーザが端末装置１０を、横向きに持っているのか、あるいは縦向きに持っているのかが認識されることになる。なお、端末装置１０の向きが固定されている場合には、ステップＳ１４の処理は不要である。
【００８６】
ステップＳ１５において、最適画角演算部１１０は、特徴値情報、姿勢推定結果、及びカメラパラメータに基づいて、最適画角を演算する。
【００８７】
ここで、最適画角の演算は、例えば、次の条件に従って演算される。すなわち、第１に、特徴値が低い特徴値領域をなるべく含まないようにすることが条件となる。例えば、画角内の特徴値の総和は、特徴値領域ごとの特徴値の総和により求められるため、特徴値が低い特徴値領域を含まないようにすることで、特徴値の総和を最大化することができる。また、第２に、重畳情報が重畳される、位置合わせに利用する対象（以下、ターゲットという）の領域は必ず含まれるようにすることが条件となる。これにより、最も高い特徴値が得られる撮像画像を取得可能な最適画角が求められるとともに、所定のターゲットが選択されることになる。なお、ターゲットの領域が複数存在する場合には、いずれか一つの領域が含まれていればよい。
【００８８】
ステップＳ１６において、撮像画像取得部１１１は、カメラ（不図示）から入力される撮像画像の画像データを取得する。
【００８９】
ステップＳ１７において、マーカ取得部１１２は、位置情報取得部１０４により取得された位置情報及び最適画角演算部１１０からの最適画角情報に基づいて、サーバ２０から、位置合わせ用のマーカを取得する。
【００９０】
ここで、マーカは、位置情報及び最適画角情報により定められるものであって、ユーザが最適画角に容易に位置合わせ可能な形状からなる。例えば、ターゲットが点である場合には、照準の形状からなるマーカが取得される。また、ターゲットがビルなどの建物である場合には、建物の輪郭をかたどった形状からなるマーカが取得される。このように、マーカの形状は、ターゲットの形状に対応して変化するものであり、また、例えば、半透明のオブジェクトなどが取得されるようにしてもよい。
【００９１】
ステップＳ１８において、重畳部１１３は、撮像画像取得部１１１により取得された撮像画像に対し、マーカ取得部１１２により取得されたマーカを重畳して、画角誘導画像を得る。
【００９２】
ステップＳ１９において、表示制御部１１４は、重畳部１１３からの画角誘導画像を、ディスプレイ１１５に表示させる。
【００９３】
ステップＳ２０において、制御部１０１は、追従開始条件を満たすか否かを判定する。ここでは、例えば、マーカがターゲットに重畳されている状態で、位置決めの決定操作が行われた場合、追従開始条件を満たすと判定される。
【００９４】
図１０は、スタジアムにおける画角誘導画像の表示例を示す図である。
【００９５】
図１０に示すように、サッカー専用のスタジアムでは、画角誘導画像として、例えば、センターサークルとセンターラインからなるマーカ３０１が撮像画像に重畳して表示される。図１１に示すように、ユーザは、端末装置１０全体を動かして、マーカ３０１を、撮像画像に含まれるターゲット（図１０及び図１１の例ではセンターサークルとセンターライン）の位置に一致させて、ボタン３０２をタップ操作することで位置決めが行われる。なお、「タップ操作」とは、タッチパネル上の所望の領域を指で軽くたたくような動作をいう。これにより、位置決め決定操作が行われたと判定される。
【００９６】
すなわち、図１０及び図１１の例では、フィールド上のセンターサークルとセンターラインがターゲットとして選択され、当該ターゲットの形状に応じたマーカ３０１が表示されていることになる。
【００９７】
図１２は、ゴルフ場における画角誘導画像の表示例を示す図である。
【００９８】
図１２に示すように、ゴルフ場では、画角誘導画像として、例えば、照準の形状からなるマーカ３１１が撮像画像に重畳して表示される。ユーザは、端末装置１０全体を動かして、マーカ３１１を、撮像画像に含まれるターゲット（図１２の例ではカップ）の位置に一致させて、ボタン３０２をタップ操作することで位置決めが行われる。
【００９９】
すなわち、図１２の例では、グリーン上のカップがターゲットとして選択され、当該ターゲットの形状に応じたマーカ３１１が表示されていることになる。
【０１００】
図１２の例では、マーカ３１１をターゲットに誘導するためのメッセージ３０３が表示される。また、メッセージ３０３は、図１３に示すように、端末装置１０の方位を指示するためのメッセージや、建物の輪郭をかたどった形状からなるマーカ３２１の向きや角度を指示するためのメッセージなど、任意の表示形態で表示させることが可能である。
【０１０１】
図３のフローチャートに戻り、ステップＳ２０において、位置決めの決定操作が行われていないと判定された場合、処理は、ステップＳ２１に進められる。ステップＳ２１において、制御部１０１は、リフレッシュ条件を満たすか否かを判定する。例えば、初期化の間隔として30秒が設定されている場合に、前回の初期化のタイミングから30秒が経過したとき、リフレッシュ条件を満たしている判定される。
【０１０２】
ステップＳ２１において、リフレッシュ条件を満たしていると判定された場合、処理は、ステップＳ１１に戻され、以降の処理が繰り返される。また、ステップＳ２１において、リフレッシュ条件を満たしていないと判定された場合、処理は、ステップＳ１６に戻され、以降の処理が繰り返される。
【０１０３】
そして、ステップＳ２０において、追従開始条件を満たすと判定された場合、処理は、ステップＳ２２に進められる。ステップＳ２２において、撮像画像取得部１１１、重畳部１１３、表示制御部１１４、画像処理部１１６、及び重畳情報取得部１１７は、追従処理を行う。
【０１０４】
この追従処理としては、例えば、画像処理部１１６によって、撮像画像取得部１１１により取得された撮像画像の画像データに基づいて局所特徴点の抽出が行われる。重畳部１１３は、画像処理部１１６により抽出された撮像画像の局所特徴点に対して、重畳情報取得部１１７により取得された重畳情報を重畳して得られる重畳画像を、表示制御部１１４に供給する。そして、表示制御部１１４は、重畳画像をディスプレイ１１５に表示させる。
【０１０５】
以上の追従処理が行われることで、例えば、図１４に示すように、サッカー専用のスタジアムでは、重畳画像として、選手の名前やボールの位置などを示す重畳情報が、撮像画像に重畳して表示される。
【０１０６】
なお、上記の追従処理は一例であって、他の手法を採用することもできる。
【０１０７】
図３のフローチャートに戻り、ステップＳ２３において、制御部１０１は、追従終了条件を満たすか否かを判定する。例えば、ユーザが追従終了操作を行った場合、対象物が画角から外れた場合、又は追従処理に失敗した場合、追従終了条件を満たしていると判定される。
【０１０８】
ステップＳ２３において、追従終了条件を満たしていないと判定された場合、処理は、ステップＳ２４に進められる。ステップＳ２４において、重畳部１１３及び画像処理部１１６は、撮像画像取得部１１１からの新たな撮像画像を取得する。そして、追従終了条件を満たすと判定されるまで、ステップＳ２２乃至Ｓ２４が繰り返されることで、新たに取得された撮像画像に重畳情報が重畳され、追従処理が行われる。例えば、図１４の例では、フィールド上の選手やボールが移動したとしても、それに追従して重畳情報が表示されることになる。
【０１０９】
その後、ステップＳ２３において、追従終了条件を満たしていると判定された場合、第１の追従準備処理は終了する。
【０１１０】
以上、第１の追従準備処理について説明した。第１の追従準備処理では、追従処理の準備として、位置情報及び最適画角情報で定められるマーカが取得され、撮像画像と重畳された画角誘導画像として表示される。そして、画角誘導画像によって何らかのターゲットに最初に端末装置１０を向けてほしい角度を誘導して、ユーザに位置合わせを行わせて追従開始位置を決定してから、追従処理が行われる。
【０１１１】
これにより、天候や時間帯に対する外見上の変化が激しく、特徴的なエッジが少ない屋外環境であっても、最初だけユーザに追従開始位置を決定してもらえさえすれば、その後は、天候などの影響を受けずに精度の高い追従処理を行うことができる。その結果、正確な位置に重畳情報を重畳することができる。
【０１１２】
また、ユーザは、ターゲットの形状に応じたマーカを用いて位置合わせを行うことができるので、直感的にかつ容易に追従開始位置を指定することができる。さらに、あらかじめ特徴値を定義しておくことで、例えば建物などの天候や時間帯に関係なく特徴値の高い場所が、確実にターゲットとして選択されるようにすることができる。
【０１１３】
さらに、当該追従処理では、論理積のテンプレートを用いた手法と比べて、エッジそのものの変化による影響を受けないため、ベストエフォートでの追従が可能であり、追従精度を向上させることができる。また、当該追従処理では、複数の識別器を用いた追従処理を行う場合と比べて、定点カメラを設置するなどして多数の識別器を用意する必要がないため、その手間が省けるので、低コストで実現することができる。
【０１１４】
以上で、本技術の第１の実施の形態の説明を終了する。
【０１１５】
＜第２の実施の形態＞
ところで、センサ１０７若しくはカメラ（不図示）の取り付け角度、又はその両方にオフセットがある場合、端末装置１０では重畳情報が傾いて表示されることになる。これを補正するためには、端末装置１０ごとに固有のオフセット補正値を求める必要がある。しかしながら、端末装置１０の購入者向けに配布するアプリケーションプログラムを想定した場合、提供者側からすれば、購入者に対してオフセット補正用のアプリケーションプログラムを実行させたり、面倒なプロセスを踏ませたりすることはできるだけ避けたいはずである。そのため、簡単にオフセットを補正する方法が求められている。
【０１１６】
そこで、次に、図１５乃至図２２を参照して、オフセットを補正するための構成を含む第２の実施の形態について説明する。
【０１１７】
［各装置の詳細な構成］
図１５は、本技術を適用した端末装置及びサーバの第２の実施の形態の構成を示す図である。
【０１１８】
（端末装置の詳細な構成）
端末装置１０は、図１５に示すように、前述した制御部１０１乃至重畳情報取得部１１７のほかに、オフセット補正部１３１、オフセット記憶部１３２、オフセット取得部１３３、識別器取得部１４１、及び一般物体認識部１４２をさらに含んで構成される。
【０１１９】
図１５において、制御部１０１乃至重畳情報取得部１１７は、基本的に図２の対応するブロックと同様に構成されるため、その説明は適宜省略するものとする。
【０１２０】
オフセット補正部１３１は、制御部１０１からの制御に従い、オフセット補正値を演算するためのオフセット演算処理を行う。オフセット補正部１３１は、オフセット演算処理にて得られたオフセット補正値を、オフセット記憶部１３２に保存する。また、オフセット補正部１３１は、オフセット補正値を、重畳部１１３に供給する。
【０１２１】
重畳部１１３及び画像処理部１１６などは、オフセット補正部１３１から供給されるオフセット補正値に基づいて、追従処理を行う。
【０１２２】
なお、オフセット補正値は、サーバ２０のオフセットデータベース２０６から取得されるようにしてもよい。その場合、オフセット取得部１３３は、オフセットの要求を、ネットワーク３０を介してサーバ２０に送信する。オフセット取得部１３３は、サーバ２０からネットワーク３０を介して送信されるオフセットを取得し、オフセット補正部１３１に供給する。そして、オフセット補正部１３１は、オフセット取得部１３３から供給されるオフセットに基づいて、オフセット補正値を演算することになる。
【０１２３】
識別器取得部１４１は、識別器の要求を、ネットワーク３０を介してサーバ２０に送信する。識別器取得部１４１は、サーバ２０からネットワーク３０を介して送信される識別器を取得し、一般物体認識部１４２に供給する。
【０１２４】
一般物体認識部１４２は、識別部取得部１４１から供給される識別器を用いて、一般物体認識処理を行い、その認識結果を、オフセット補正部１３１に供給する。オフセット補正部１３１は、一般物体認識部１４２から供給される認識結果に基づいて、オフセットを求めて、オフセット補正値を演算する。
【０１２５】
端末装置１０は、以上のように構成される。
【０１２６】
（サーバの詳細な構成）
サーバ２０は、図１５に示すように、前述した制御部２０１乃至重畳情報データベース２０５のほかに、オフセットデータベース２０６及び識別器データベース２０７をさらに含んで構成される。オフセットデータベース２０６には、例えば端末装置１０の機種ごとのオフセットが格納されている。
【０１２７】
また、識別器データベース２０７には、所定の場所ごとに天候別や時間帯別などの複数の識別器が格納される。当該識別器は、ターゲットの周辺を辞書化した識別器であって、位置、スケール、及び回転角に制限を設けるかわりに、認識のための閾値を下げたような識別器であることが望ましい。その理由であるが、例えば天候や時間帯などによって見え方が大きく変わるようなものをターゲットとしているため、通常と同じ識別器であると、仮に時間帯別などに応じて複数用意してもなお、認識に失敗する可能性が高くなるからである。
【０１２８】
制御部２０１は、特徴値データベース２０３乃至識別器データベース２０７を管理する。制御部２０１は、端末装置１０からオフセットが要求された場合、オフセットデータベース２０６からオフセットを読み出し、通信部２０２に供給する。通信部２０２は、制御部２０１からの制御に従い、オフセットを、ネットワーク３０を介して端末装置１０に送信する。
【０１２９】
また、制御部２０１は、端末装置１０から識別器が要求された場合、識別器データベース２０７から識別器を読み出し、通信部２０２に供給する。通信部２０２は、制御部２０１からの制御に従い、識別器を、ネットワーク３０を介して端末装置１０に送信する。
【０１３０】
サーバ２０は、以上のように構成される。
【０１３１】
［端末装置の動作］
次に、図１６乃至図２２を参照して、第２の実施の形態における端末装置１０の動作について説明する。
【０１３２】
（第２の追従準備処理）
まず、図１６のフローチャートを参照して、端末装置１０により実行される第２の追従準備処理について説明する。
【０１３３】
ステップＳ１１１乃至Ｓ１１９においては、図３のステップＳ１１乃至Ｓ１９と同様に、最適画角演算部１１０によって、最適画角が演算され、マーカ取得部１１２によって、マーカが取得される。また、重畳部１１３によって、マーカが撮像画像に重畳され、表示制御部１１４によって、画角誘導画像がディスプレイ１１５に表示される。そして、ユーザによりマーカによる位置決め操作が行われると、処理は、ステップＳ１２０に進められる。
【０１３４】
ステップＳ１２０において、制御部１０１は、角度入力操作が行われたか否かを判定する。ここで、図１７のフローチャートを参照して、図１６のステップＳ１２０に対応する角度入力操作判定処理について説明する。
【０１３５】
ステップＳ１５１において、表示制御部１１４は、オフセット補正用のマーカを撮像画像に重畳表示する。ここで、オフセット補正用のマーカとは、オフセット補正値を求めるために用いられる指標である。
【０１３６】
図１８は、オフセット補正用のマーカの表示例を示す図である。
【０１３７】
図１８に示すように、サッカー専用のスタジアムのフィールドの部分には、オフセット補正用のマーカとして、固定された中心点を示すマーク３３１と、マーク３３１を中心に回転自在となる半透明のオブジェクト３３２が重畳されている。この例ではオブジェクト３３２は、フィールドの部分と同一形状となるが、オフセットの影響で反時計回りに所定の角度だけ傾いて表示される。これにより、例えば、ユーザは、マーカによる位置決め操作を行っても、オブジェクト３３２が傾いていることを認識することになる。
【０１３８】
図１７のフローチャートに戻り、ステップＳ１５２において、制御部１０１は、ユーザ２によって、オブジェクト３３２に対するタッチ操作が開始されたか否かを判定する。ここで、タッチ操作とは、タッチパネル上の所望の領域を指で触れる動作をいう。
【０１３９】
ステップＳ１５２において、タッチ操作が開始されたと判定された場合、処理は、ステップＳ１５３に進められる。ステップＳ１５３において、制御部１０１は、ユーザ２によって、ドラッグ操作がされたか否かを判定する。ここで、ドラッグ操作とは、タッチパネル上にある指を離さずに動かす動作をいう。
【０１４０】
ステップＳ１５３において、ドラッグ操作がされたと判定された場合、処理は、ステップＳ１５４に進められる。ステップＳ１５４において、制御部１０１は、ユーザによるタッチ操作が終了したか否かを判定する。
【０１４１】
ステップＳ１５４において、タッチ操作が終了したと判定された場合、上記の一連の操作を行うことで、いわゆるドラッグ・アンド・ドロップの要領で、オブジェクト３３２の傾きが調整されることになる。
【０１４２】
具体的には、図１８においては、オブジェクト３３２が反時計回りに所定の角度だけ傾いているので、ユーザ２は、まず、タッチパネルに表示されたオブジェクト３３２を指で触れる。次に、図１９に示すように、ユーザは指がタッチパネルに触れている状態でドラッグ操作を行い、オブジェクト３３２を時計回りに所定の角度だけ回転させる。そして、図２０に示すように、当該ドラッグ操作によりオブジェクト３３２と撮像画像のフィールド部分が重なったとき、ユーザは、タッチパネルから指を離す。
【０１４３】
すなわち、上記の一連の操作によって、オフセット補正に必要となる角度入力操作が行われたことになるので、この場合には、角度入力操作が行われたと判定される。一方、上記の一連の操作が行われなかった場合（図１７のＳ１５２の「No」）、又は一連の操作の途中で操作が終了してしまった場合（図１７のＳ１５３，Ｓ１５４の「No」）、角度入力操作は行われなかったと判定される。
【０１４４】
そして、角度入力操作の有無が判定されると、処理は、図１６のステップＳ１２０に戻り、ステップＳ１２０において、角度入力操作が行われなかったと判定された場合、処理は、ステップＳ１２１に進められる。ステップＳ１２１においては、図３のステップＳ２１と同様に、リフレッシュ条件の判定処理が行われる。
【０１４５】
一方、ステップＳ１２０において、角度入力操作が行われたと判定された場合、処理は、ステップＳ１２２に進められる。ステップＳ１２２において、オフセット補正部１３１は、角度入力操作による移動角度を演算する。ここでは、例えば、上記の一連の操作で移動された角度が求められる。
【０１４６】
ステップＳ１２３において、オフセット補正部１３１は、演算した移動角度に応じて、オフセット補正値を演算するためのオフセット演算処理を行う。また、ステップＳ１２４において、オフセット補正部１３１は、オフセット演算処理にて得られたオフセット補正値を、オフセット記憶部１３２に保存する。
【０１４７】
ステップＳ１２５乃至Ｓ１２７においては、図３のステップＳ２２乃至Ｓ２４と同様に、追従処理が行われるが、当該追従処理は、ステップＳ１２３のオフセット演算処理にて得られたオフセット補正値に基づいて、オフセットが補正された状態で行われる。
【０１４８】
以上、第２の追従準備処理について説明した。第２の追従準備処理では、マーカによる位置決め操作のほかに、オフセット補正用のマーカによる角度入力操作が行われ、当該角度入力操作に応じてオフセット補正値が演算され、オフセットが補正された状態で追従処理が行われる。
【０１４９】
これにより、例えばセンサやカメラの取り付け角度にオフセットがある場合でも、重畳情報が傾かずに正確な位置に重畳されることになる。
【０１５０】
なお、端末装置１０では、前述した図１８乃至図２０での角度入力操作を行う場合に、当該角度入力操作を行いやすくするために撮像画像の画角が、角度入力操作前と異なる状態になるようにしてもよい。その場合に、当該角度入力操作が終了した後は、画角が角度入力操作前の状態に戻されるようにして、その状態で追従処理が行われるようにすることができる。
【０１５１】
また、前述した説明では、説明の便宜上、位置合わせ用のマーカと、オフセット補正用のマーカを別々に説明したが、それらは同一のマーカであってもよい。さらに、表示制御部１１４は、オフセット補正用のマーカを撮像画像に重畳表示するに際し、当該マーカが重畳される部分の撮像画像の特徴量を取得し、その特徴量に応じてマーカの領域の色の濃淡を変化させることができる。例えば、表示制御部１１４は、特徴量の高い部分に対応するオブジェクト３３２（図１８乃至図２０）の領域の色を濃くすることができる。
【０１５２】
（第３の追従準備処理）
次に、図２１のフローチャートを参照して、端末装置１０により実行される第３の追従準備処理について説明する。
【０１５３】
ステップＳ２１１乃至Ｓ２１９においては、図３のステップＳ１１乃至Ｓ１９と同様に、最適画角演算部１１０によって、最適画角が演算され、マーカ取得部１１２によって、マーカが取得される。また、重畳部１１３によって、マーカが撮像画像に重畳され、表示制御部１１４によって、画角誘導画像がディスプレイ１１５に表示される。そして、ユーザによりマーカによる位置決め操作が行われると、処理は、ステップＳ２２０に進められる。
【０１５４】
ステップＳ２２０において、図３のステップＳ２０と同様に追従開始条件を満たすか否かが判定される。ステップＳ２２０において、追従開始条件を満たすと判定された場合、処理は、ステップＳ２２２に進められる。
【０１５５】
ステップＳ２２２において、一般物体認識部１４２は、識別部取得部１４１により取得された識別器を用いて、撮像画像に含まれる物体を認識するための一般物体認識処理を行う。
【０１５６】
ステップＳ２２３において、オフセット補正部１３１は、オフセット演算処理を行う。当該オフセット演算処理では、ステップＳ２２２の一般物体認識処理によって、物体の認識に成功した場合、センサ情報から演算される３次元モデルと、一般物体認識により演算される３次元モデルとの差分が演算され、その差分の回転角がオフセットとして求められる。また、ステップＳ２２４において、オフセット補正部１３１は、オフセット補正処理にて得られたオフセット補正値を、オフセット記憶部１３２に保存する。
【０１５７】
ステップＳ２２５乃至Ｓ２２７においては、図３のステップＳ２２乃至Ｓ２４と同様に、追従処理が行われるが、当該追従処理は、ステップＳ２２３のオフセット演算処理にて得られたオフセット補正値に基づいて、オフセットが補正された状態で行われる。
【０１５８】
以上、第３の追従準備処理について説明した。第３の追従準備処理では、マーカによる位置決め操作のほかに、一般物体認識処理が行われ、一般物体認識処理が成功した場合には、一般物体認識処理に応じたオフセット補正値が演算され、オフセットが補正された状態で追従処理が行われる。
【０１５９】
これにより、例えばセンサ等の取り付け角度にオフセットがある場合でも、重畳情報が傾かずに正確な位置に重畳されることになる。
【０１６０】
なお、第３の追従準備処理では、識別器が必要となるため、当該識別器を生成するための定点カメラを設置するなどのコストはかかるが、仮に認識に失敗したとしても単にその場所には何もなかったとみなされるだけであるので、クリティカルではないというメリットがある。また、従来の識別器を用いた手法であると、天候別や時間帯別などの識別器をすべて用意する必要があったが、第３の追従準備処理であると、それらの識別器の粒度を減らすことができる。
【０１６１】
（第４の追従準備処理）
次に、図２２のフローチャートを参照して、端末装置１０により実行される第４の追従準備処理について説明する。
【０１６２】
ステップＳ３１１乃至Ｓ３１６においては、図３のステップＳ１１乃至Ｓ１６と同様に、姿勢推定部１０８によって端末装置１０の姿勢が推定され、最適画角演算部１１０によって最適画角が演算され、撮像画像取得部１１１によって撮像画像が取得される。ステップＳ３１６の処理が終了すると、処理は、ステップＳ３１７に進められる。
【０１６３】
ステップＳ３１７において、制御部１０１は、姿勢推定結果、最適画角、及び撮像画像から求められる端末装置１０の方位（姿勢）の基準からのずれ量が所定の閾値を超えるか否かを判定する。ここでの方位の基準は例えば、ターゲットとなる。ステップＳ３１７において、方位のずれ量が所定の閾値を超えると判定された場合、処理は、ステップＳ３１８に進められる。
【０１６４】
ステップＳ３１８において、表示制御部１１４は、制御部１０１からの制御に従い、方位のずれ量に応じた方位誘導画像を表示する。当該方位誘導画像としては、例えば、前述した図１３に示したような、カメラの位置を指示するためのメッセージや、建物の輪郭をかたどった形状からなるマーカの向きや角度を指示するためのメッセージなどが表示される。
【０１６５】
ステップＳ３１８の処理が終了すると、処理はステップＳ３１４に戻され、それ以降の処理が繰り返される。そして、ステップＳ３１７において、方位のずれ量が所定の閾値以下となった場合、処理は、ステップＳ３１９に進められる。ステップＳ３１９乃至Ｓ３２６においては、図３のステップＳ１７乃至Ｓ２４と同様に、マーカ取得部１１２によって、マーカが取得され、重畳部１１３によって、マーカが撮像画像に重畳され、表示制御部１１４によって、画角誘導画像がディスプレイ１１５に表示される。そして、ユーザによりマーカによる位置決め操作が行われると、追従処理が行われる。
【０１６６】
以上、第４の追従準備処理について説明した。第４の追従準備処理では、マーカによる位置決め操作を行う前に、方位誘導画像によって、端末装置１０が何らかのターゲット付近に向けられるようにする。端末装置１０がターゲット付近に向けられた場合、マーカが取得され、撮像画像と重畳された画角誘導画像として表示される。そして、マーカによって、ターゲットに対して端末装置１０を最初に向けてほしい角度を誘導し、ユーザに位置合わせを行わせて追従開始位置を決定してから、追従処理が行われる。
【０１６７】
これにより、例えば端末装置１０が最初に、どのような角度に向けられたとしても、正確な位置に重畳情報を重畳させることができる。
【０１６８】
なお、第２の実施の形態の説明では、説明の都合上、第１の追従準備処理、第２の追従準備処理、及び第３の追従準備処理はそれぞれ別々の処理として説明したが、端末装置１０は、それらの処理の一部又は全部を組み合わせて一つの処理として実行することもできる。
【０１６９】
以上で、本技術の第２の実施の形態の説明を終了する。
【０１７０】
＜第３の実施の形態＞
ところで、前述した識別器は、あらかじめ生成されたものである必要はなく、端末装置１０又はサーバ２０にて追従準備処理の中で生成されるようにしてもよい。
【０１７１】
そこで、次に、図２３及び図２４を参照して、追従準備処理の中で識別器を生成するための構成を含む第３の実施の形態について説明する。
【０１７２】
［各装置の詳細は構成］
図２３は、本技術を適用した端末装置及びサーバの第３の実施の形態の構成を示す図である。
【０１７３】
（端末装置の詳細な構成）
端末装置１０は、図２３に示すように、前述した制御部１０１乃至重畳情報取得部１１７のほかに、識別器生成部１５１、識別器記憶部１５２、及び識別器入出力部１５３を含んで構成される。
【０１７４】
図２３において、制御部１０１乃至重畳情報取得部１１７は、基本的に図２の対応するブロックと同様に構成されるため、その説明は適宜省略するものとする。
【０１７５】
識別器生成部１５１は、撮像画像取得部１１１から供給される撮像画像の画像データを解析することで、撮像画像に含まれる物体を識別するための識別器を生成する。識別器生成部１５１は、生成した識別器を、識別器記憶部１５２に保存する。
【０１７６】
画像処理部１１６は、識別器記憶部１５２に保存された識別器を取得する。画像処理部１１６は、取得した識別器に基づいて、撮像画像に対する識別処理を行う。重畳部１１３及び画像処理部１１６などは、識別処理の結果に基づいて、追従処理を行う。
【０１７７】
なお、生成された識別器は、サーバ２０側で管理してもよい。その場合、識別器入出力部１５３は、識別器生成部１５１から供給される識別器を、ネットワーク３０を介してサーバ２０に送信する。これにより、サーバ２０においては、当該識別器が、識別器データベース２０７に格納され管理される。また、識別器入出力部１５３は、サーバ２０の識別器データベース２０７から識別器を取得し、画像処理部１１６に供給する。
【０１７８】
端末装置１０は、以上のように構成される。
【０１７９】
（サーバの詳細な構成）
サーバ２０は、図２３に示すように、制御部２０１、通信部２０２、特徴値データベース２０３、マーカデータベース２０４、重畳情報データベース２０５、及び識別器データベース２０７から構成される。すなわち、サーバ２０は、図１５の構成と比べて、オフセットデータベース２０６が外されている点を除けば同一の構成を有する。従って、サーバ２０の説明については省略する。
【０１８０】
サーバ２０は、以上のように構成される。
【０１８１】
［端末装置の動作］
次に、図２４を参照して、第３の実施の形態における端末装置１０の動作について説明する。
【０１８２】
（第５の追従準備処理）
図２４は、端末装置１０により実行される第５の追従準備処理を説明するフローチャートである。
【０１８３】
ステップＳ４１１においては、図３のステップＳ１１と同様に、位置情報取得部１０４によって位置情報が取得される。
【０１８４】
ステップＳ４１２において、制御部１０１は、初回の追従準備処理であるか否かを判定する。ステップＳ４１２において、初回の追従準備処理であると判定された場合、処理はステップＳ４１３に進められる。
【０１８５】
ステップＳ４１３乃至Ｓ４２０においては、図３のステップＳ１２乃至Ｓ１９と同様に、最適画角演算部１１０によって最適画角が演算され、マーカ取得部１１２によってマーカが取得される。また、重畳部１１３によって、マーカが撮像画像に重畳され、表示制御部１１４によって、画角誘導画像がディスプレイ１１５に表示される。そして、ユーザによりマーカによる位置決め操作が行われると、処理は、ステップＳ４２１に進められる。
【０１８６】
ステップＳ４２１においては、図３のステップＳ２０と同様に追従開始条件を満たすか否かが判定される。ステップＳ４２１において、追従開始条件を満たすと判定された場合、処理は、ステップＳ４２３に進められる。
【０１８７】
ステップＳ４２３において、識別器生成部１５１は、撮像画像取得部１１１により取得された撮像画像の画像データの解析を行い、識別器を生成する。
【０１８８】
ステップＳ４２４においては、識別器生成部１５１は、生成した識別器を、識別器記憶部１５２に保存する。
【０１８９】
ステップＳ４２５乃至Ｓ４２７においては、図３のステップＳ２２乃至Ｓ２４と同様に、追従処理が行われる。このように、初回の追従準備処理では、識別器生成部１５１にて識別器が生成され、当該識別器が識別器記憶部１５２に保存される。
【０１９０】
また、２回目以降の追従準備処理が行われる場合には、ステップＳ４１２において初回の追従処理ではないと判定され、処理はステップＳ４２８に進められる。すなわち、この場合、初回の追従準備処理によって生成された識別器が、識別器記憶部１５２に保存されている。
【０１９１】
ステップＳ４２８において、撮像画像取得部１１１は、カメラ（不図示）から入力される撮像画像の画像データを取得する。
【０１９２】
ステップＳ４２９において、画像処理部１１６は、識別器記憶部１５２に保存された識別器を取得する。
【０１９３】
ステップＳ４３０において、画像処理部１１６は、取得した識別器に基づいて、撮像画像に対する識別処理を行う。そして、ステップＳ４３０にて識別処理が成功した場合（Ｓ４３１の「Yes」）、処理は、ステップＳ４２５に進められる。ステップＳ４２５乃至Ｓ４２７においては、ステップＳ４３０の識別処理の結果に基づいた追従処理が行われる。
【０１９４】
一方、ステップＳ４３０にて識別処理が失敗した場合（Ｓ４３１の「No」）、処理は、ステップＳ４１３に進められ、以降の処理が行われる。この場合、ユーザによりマーカによる位置決め操作が再度行われたとき、識別器が再度生成されて保存され後に、追従処理が行われることになる。
【０１９５】
以上、第５の追従準備処理について説明した。第５の追従準備処理では、追従準備処理が初回である場合には、端末装置１０の内部で識別器が生成され保存されてから、追従処理が開始される。また、追従準備処理が２回目以降である場合には、初回の追従準備処理にて生成された識別器による識別処理の結果に基づいた追従処理が行われる。
【０１９６】
これにより、ユーザは初回に一度だけマーカによる位置合わせを行えば、２回目以降はセッション中であれば、マーカによる位置合わせをしなくても対象が認識され、自動で追従処理が開始されることになる。ここで、セッション中としたのは、例えば天気や時間帯が変化すると、当然見え方が変わってくるため、同一の識別器を長時間に渡って使いまわすことは困難であるからである。したがって、セッションが終了した場合には、たとえ追従準備処理が２回目以降であっても、ステップＳ４１２にて初回であると判定され、ステップＳ４１３以降の処理が行われ、追従処理の前に識別器が生成されることになる。換言すれば、識別器は天候や時間帯などに応じたものでなければならないが、例えば初回に端末装置１０がターゲットに対してかざされたときに生成してしまえば、30分〜１時間などのある時間内であれば、その識別器を使用し続けることが可能となる。
【０１９７】
以上で、本技術の第３の実施の形態の説明を終了する。
【０１９８】
＜具体的な運用例＞
次に、図２５乃至図２７を参照して、本技術の具体的な運用例について説明する。図２５乃至図２７には、本技術を、AR技術を用いた拡張現実を提示するためのアプリケーションプログラムに適用した場合の具体例が示されている。
【０１９９】
端末装置１０は、当該アプリケーションプログラムを実行することで、例えば、屋外の建物の撮像画像に対し、その建物内の店舗などに関する重畳情報を重畳表示することができる。建物内の店舗などの重畳情報は、フロア単位又はテナント単位で表示させることができる。
【０２００】
また、端末装置１０は、図２５に示すように、飲食店等の店舗以外の重畳情報としてイベントに関する情報を表示させることもできる。
【０２０１】
以上、端末装置１０が繁華街で使用された場合の例を示したが、端末装置１０は、それ以外の屋外で使用することができる。すなわち、図２６に示すように、端末装置１０がゴルフ場で使用された場合、端末装置１０は、例えば、選手に関する情報や成績表などの重畳情報を表示させることができる。また、図２７に示すように、端末装置１０が野球場で使用された場合、端末装置１０は、例えば、ホームランの軌道などの重畳情報を表示させることができる。
【０２０２】
なお、上記の重畳情報は、端末装置１０がネットワーク３０に接続することで、サーバ２０から取得される。
【０２０３】
以上、具体的な運用例について説明した。
【０２０４】
＜変形例＞
本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０５】
すなわち、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２０６】
また、前述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０７】
例えば、第１の実施の形態乃至第３の実施の形態では、最適画角の演算を端末装置１０が行っているが、サーバ２０が行うようにしてもよい。この場合、例えば、特徴値情報取得部１０５、特徴値演算部１０６、姿勢推定部１０８、及び最適画角演算部１１０は、サーバ２０に備えられ、端末装置１０にて取得された位置情報、センサ情報、及びカメラパラメータがサーバ２０に送られ、サーバ２０によって最適画角が演算される。そして、端末装置１０は、サーバ２０から送られる最適画角情報を取得することになる。
【０２０８】
また、例えば、第１の実施の形態においては、サーバ２０に設けられる、特徴値データベース２０３乃至重畳情報データベース２０５のうちいずれか、又はすべてのデータベースが端末装置１０に設けられるようにしてもよい。その場合、それらのデータベースは、制御部１０１により管理される。同様に、第２の実施の形態においては、特徴値データベース２０３乃至識別器データベース２０７のうちいずれか、又はすべてのデータベースが端末装置１０に設けられるようにしてもよい。同様にまた、第３の実施の形態においては、特徴値データベース２０３乃至重畳情報データベース２０５、及び識別器データベース２０７のうちいずれか、又はすべてのデータベースが端末装置１０に設けられるようにしてもよい。
【０２０９】
さらに、例えば、第３の実施の形態において、識別器生成部１５１は、サーバ２０に設けられるようにしてもよい。その場合、端末装置１０は、撮像画像の画像データを、ネットワーク３０を介してサーバ２０に送信することで、サーバ２０の識別器生成部１５１は識別器を生成し、識別器データベース２０７に格納される。そして、制御部２０１は、端末装置１０からの要求に応じて適宜、識別器データベース２０７から識別器を読み出し、ネットワーク３０を介して端末装置１０に送信することになる。
【０２１０】
また、第１の実施の形態乃至第３の実施の形態では、端末装置１０内にディスプレイ１１５を備える構成について説明したが、端末装置１０は、ディスプレイ１１５を備えない構成とすることもできる。この場合、端末装置１０は、外部の表示装置と接続され、当該表示装置に画像などを表示させることになる。
【０２１１】
なお、前述した説明では、マーカは、ターゲットの形状に応じた任意の形状からなるとして説明したが、あらかじめ定められた固定の形状からなるようにしてもよい。また、前述した説明では、ユーザの入力操作として、タッチパネル操作を説明したが、他の入力操作が用いられるようにしてもよい。例えば、操作部１０２が、機械的に動作する機構を有するボタンとして構成されるようにして、当該ボタンに対する操作に応じて、位置決め決定操作などが行われるようにしてもよい。
【０２１２】
［本技術を適用したコンピュータの説明］
前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２１３】
図２８は、前述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２１４】
コンピュータ４００において、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
【０２１５】
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。
【０２１６】
入力部４０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１１を駆動する。
【０２１７】
以上のように構成されるコンピュータ４００では、CPU４０１が、例えば、記録部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、前述した一連の処理が行われる。
【０２１８】
コンピュータ４００（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【０２１９】
コンピュータ４００では、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。
【０２２０】
なお、コンピュータ４００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２１】
ここで、本明細書において、コンピュータ４００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２２】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０２２３】
なお、本技術は、以下のような構成をとることができる。
【０２２４】
（１）
撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカを取得するマーカ取得部と、
取得した前記マーカの表示を制御する表示制御部と
を備える情報処理装置。
（２）
前記表示制御部は、前記マーカを用いた画角調整が行われた場合、画角調整された前記重畳情報が前記撮像画像に重畳された重畳画像を表示させる
（１）に記載の情報処理装置。
（３）
前記最適画角情報は、ユーザの位置を示す位置情報により定められる
（１）又は（２）に記載の情報処理装置。
（４）
前記マーカ取得部は、前記撮像画像に含まれる画角調整用のターゲットの形状に応じた前記マーカを取得する
（３）に記載の情報処理装置。
（５）
前記ターゲットは、前記位置情報が示す位置を含む第１の領域に対応付けられた第２の領域ごとに指定される、特徴的な部分がどの程度含まれているかを示す特徴値を用いて選択される
（４）に記載の情報処理装置。
（６）
前記第２の領域には、その特徴値が前記ターゲットの選択には用いられない無視領域が含まれる
（５）に記載の情報処理装置。
（７）
前記ユーザにより操作される操作部と、
前記重畳情報の重畳位置に影響を与えるオフセットを補正するオフセット補正部と
をさらに備え、
前記表示制御部は、前記オフセットの補正用のマーカを表示させ、
前記オフセット補正部は、前記ユーザによって、表示された前記オフセットの補正用のマーカが操作された場合、当該操作に応じて前記オフセットを補正する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記操作部は、タッチパネルであり、
前記オフセット補正部は、前記タッチパネルに対する所定の操作に応じた前記オフセットの補正用のマーカの移動角度に基づいて、前記オフセットを補正する
（７）に記載の情報処理装置。
（９）
画像に含まれる物体を識別する識別器に基づいて、前記撮像画像に含まれる物体を認識する物体認識部と、
前記物体の認識結果に基づいて、前記重畳情報の重畳位置に影響を与えるオフセットを補正するオフセット補正部と
をさらに備える（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記表示制御部は、前記ターゲットに対する前記情報処理装置の方位のずれ量が所定の閾値を超える場合、正確な方位に誘導するための方位誘導画像を表示させる
（１）乃至）（９）のいずれかに記載の情報処理装置。
（１１）
前記位置情報が示す位置における前記重畳画像の表示が初回である場合、前記撮像画像に含まれる物体を識別するための識別器を生成する識別器生成部をさらに備え、
前記表示制御部は、
前記重畳画像の表示が初回である場合、生成された前記識別器に基づいた前記撮像画像に含まれる物体の認識結果に応じた前記重畳画像を表示させ、
前記重畳画像の表示が２回目以降である場合、初回に生成済みの前記識別器に基づいた前記撮像画像に含まれる物体の認識結果に応じた前記重畳画像を表示させる
（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
情報処理装置の情報処理方法において、
前記情報処理装置が、
撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカを取得するマーカ取得ステップと、
取得した前記マーカの表示を制御する表示制御ステップと
を含む情報処理方法。
（１３）
情報処理装置のコンピュータに実行させるプログラムにおいて、
撮像画像に対し重畳情報を重畳する際の画角調整用のマーカであって、前記撮像画像の最適な画角を示す最適画角情報で定められる前記マーカを取得するマーカ取得ステップと、
取得した前記マーカの表示を制御する表示制御ステップと
を含むプログラム。
【符号の説明】
【０２２５】
１  ARシステム，  １０，１０−１乃至１０−Ｎ  端末装置，  ２０  サーバ，  ３０  ネットワーク，  １０１  制御部，  １０２  操作部，  １０３  GPS受信部，  １０４  位置情報取得部，  １０５  特徴値情報取得部，  １０６  特徴値演算部，  １０７  センサ，  １０８  姿勢推定部，  １０９  カメラパラメータ取得部，  １１０  最適画角演算部，  １１１  撮像画像取得部，  １１２  マーカ取得部，  １１３  重畳部，  １１４  表示制御部，  １１５  ディスプレイ，  １１６  画像処理部，  １１７  重畳情報取得部，  １３１  オフセット補正部，  １３２  オフセット記憶部，  １３３  オフセット取得部，  １４１  識別器取得部，  １４２  一般物体認識部，  １５１  識別器生成部，  １５２  識別器記憶部，  １５３  識別器入出力部，  ２０１  制御部，  ２０２  通信部，  ２０３  特徴値データベース，  ２０４  マーカデータベース，  ２０５  重畳情報データベース，  ２０６  オフセットデータベース，  ２０７  識別器データベース，  ４００  コンピュータ，  ４０１  CPU
【図１】
2013213872.tif 000003
【図２】
2013213872.tif 000004
【図３】
2013213872.tif 000005
【図４】
2013213872.tif 000006
【図５】
2013213872.tif 000007
【図６】
2013213872.tif 000008
【図７】
2013213872.tif 000009
【図８】
2013213872.tif 000010
【図９】
2013213872.tif 000011
【図１０】
2013213872.tif 000012
【図１１】
2013213872.tif 000013
【図１２】
2013213872.tif 000014
【図１３】
2013213872.tif 000015
【図１４】
2013213872.tif 000016
【図１５】
2013213872.tif 000017
【図１６】
2013213872.tif 000018
【図１７】
2013213872.tif 000019
【図１８】
2013213872.tif 000020
【図１９】
2013213872.tif 000021
【図２０】
2013213872.tif 000022
【図２１】
2013213872.tif 000023
【図２２】
2013213872.tif 000024
【図２３】
2013213872.tif 000025
【図２４】
2013213872.tif 000026
【図２５】
2013213872.tif 000027
【図２６】
2013213872.tif 000028
【図２７】
2013213872.tif 000029
【図２８】
2013213872.tif 000030