(57)【要約】【課題】現実空間の撮影画像上にコンテンツを重畳表示する場合、従来の技術では、現実空間の画像中に複数個の現実物体が写っている場合には、それぞれの現実物体に対して認識処理を行って該現実物体が規定の現実物体であるのかを判断してコンテンツの重畳位置を認識する必要があり、ハードウェア資源が比較的乏しい携帯端末には処理負荷が大きいものとなっていた。【解決手段】携帯端末は、オブジェクトの情報と複数のコンテンツ情報と前記オブジェクト上における前記複数のコンテンツ情報それぞれの配置位置を示す配置データとを対応付けて保持し、撮影画像上に前記オブジェクトの少なくとも一部が含まれるか否かを判定し、含まれると判定された場合に、前記オブジェクトの前記撮影画像上での幾何変換の情報を導出し、前記幾何変換の情報を用いて前記配置データの値を補正し、補正した前記配置データを用いて前記コンテンツを前記撮影画像上に重畳表示させる。【選択図】  図７
2014186384.tif 000002
【特許請求の範囲】
【請求項１】
撮影部及び表示部を有する携帯端末であって、
規定の現実物体の画像である現実物体画像と、複数個のコンテンツと、該現実物体画像上における該複数個のコンテンツのそれぞれの重畳位置を規定する位置情報と、を保持する手段と、
前記現実物体画像を用いて、前記撮影部が撮影した撮影画像内に前記現実物体の一部もしくは全体が含まれているか否かを判断する判断手段と、
前記判断手段が含まれていると判断した場合には、前記撮影画像内における前記一部もしくは全体と、前記現実物体画像において該一部もしくは全体に対応する箇所と、の間の幾何的な変形を表す幾何変形情報を導出する導出手段と、
前記位置情報を参照して前記箇所内の重畳位置に対応するコンテンツを対象コンテンツとして特定し、該対象コンテンツの形状を前記幾何変形情報を用いて変形させると共に、前記対象コンテンツの重畳位置を前記幾何変形情報を用いて変換する処理手段と、
前記撮影画像内における前記処理手段が変換した重畳位置に、前記処理手段により形状が変形された対象コンテンツを重畳させてから該撮影画像を前記表示部に表示させる表示制御手段と
を備えることを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末およびシステムに関し、特に、携帯端末のディスプレイに表示された画像上にその画像内のオブジェクトに関連するコンテンツを重畳して表示する技術に関する。
【背景技術】
【０００２】
従来、拡張現実（ＡＲ）技術に代表されるように、カメラ等により撮影された現実空間の画像上に仮想物体等の画像を重畳して表示する技術が知られている（特許文献１等）。
【０００３】
また、スマートフォンなどの携帯端末の普及に伴って、携帯端末を利用した拡張現実技術も普及してきている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１２−５０３２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現実空間の画像内で規定の現実物体が写っている領域上に仮想物体などの画像を重畳表示させる場合、従来のＡＲ技術では、現実空間の画像に対する認識処理を行い、現実空間の画像中に規定の現実物体が写っているか否かを判断する必要があった。特に、現実空間の画像中に複数個の現実物体が写っているような場合には、それぞれの現実物体に対して認識処理を行って該現実物体が規定の現実物体であるか否かを判断する必要があり、ハードウェア資源が比較的乏しい携帯端末には処理負荷が大きいものとなっていた。
【０００６】
更には、同時に複数個の現実物体を認識する場合、認識の不安定性は増長される。例えば１０秒間に１回認識が途切れる認識処理エンジンを利用した場合、同時に１０個の対象物を認識すると毎秒いずれかの対象物で認識途絶が発生する可能性がある。このことは認識によるサービス利用品質を著しく毀損するものである。
【０００７】
本発明はこのような問題に鑑みてなされたものであり、ハードウェア資源が比較的乏しい携帯端末であっても、該携帯端末のディスプレイに表示された画像上にその画像内のオブジェクトに関連するコンテンツを重畳して表示するための技術を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、
撮影部及び表示部を有する携帯端末であって、
規定の現実物体の画像である現実物体画像と、複数個のコンテンツと、該現実物体画像上における該複数個のコンテンツのそれぞれの重畳位置を規定する位置情報と、を保持する手段と、
前記現実物体画像を用いて、前記撮影部が撮影した撮影画像内に前記現実物体の一部もしくは全体が含まれているか否かを判断する判断手段と、
前記判断手段が含まれていると判断した場合には、前記撮影画像内における前記一部もしくは全体と、前記現実物体画像において該一部もしくは全体に対応する箇所と、の間の幾何的な変形を表す幾何変形情報を導出する導出手段と、
前記位置情報を参照して前記箇所内の重畳位置に対応するコンテンツを対象コンテンツとして特定し、該対象コンテンツの形状を前記幾何変形情報を用いて変形させると共に、前記対象コンテンツの重畳位置を前記幾何変形情報を用いて変換する処理手段と、
前記撮影画像内における前記処理手段が変換した重畳位置に、前記処理手段により形状が変形された対象コンテンツを重畳させてから該撮影画像を前記表示部に表示させる表示制御手段と
を備える。
【０００９】
なお、複数個のコンテンツとは、上記課題における複数個の現実物体を認識した際に、その結果として対応づけられる応答内容であり、認識された現実物体それぞれに対して個別のコンテンツが対応づけられる。
【発明の効果】
【００１０】
本発明によれば、携帯端末が備える資源への処理負荷を低減させつつ、携帯端末のディスプレイ上に表示されている現実空間の画像上にコンテンツを重畳表示させることができる。
【００１１】
また、認識対象の個数が増加しても、認識処理の負荷が増加することがない。また、複数個を同時に認識する場合、認識に係る登録画像を複数保持する必要があるが、本発明では複数保持する必要がない。また、認識対象が増加しても、認識不安定性は変化せず、サービス利用品質は劣化しない。
【図面の簡単な説明】
【００１２】
【図１】システムの全体構成の例を示す図。
【図２】携帯端末およびデータ管理サーバのハードウェア構成例を示す図。
【図３】携帯端末のソフトウェア構成例を示す図。
【図４】データ構成の例を示す図。
【図５】配置データのデータ構成の例を示す図。
【図６】携帯端末の表示部における画像の表示例を示す図。
【図７】画像を重畳する際の概念を説明するための図。
【図８】データの登録処理のフローチャート。
【図９】画像認識処理のフローチャート。
【図１０】画像の対応付け処理のフローチャート。
【図１１】コンテンツの配置処理のフローチャート。
【図１２】コンテンツに対する指示の受け付け時の処理のフローチャート。
【発明を実施するための形態】
【００１３】
［用語の定義］
以下に本明細書にて述べる各用語について説明する。なお、各要素の用途の詳細については、処理や図面と併せて後述する。
【００１４】
「登録画像」は、携帯端末もしくはサーバ装置に事前に登録される画像であり、携帯端末のディスプレイ上に表示される画像内から既定のオブジェクトを検出するために用いられる。ここでのオブジェクトとは、現実空間における現実物体に相当する。登録画像のデータ形式としては、例えば、ビットマップ画像やＪＰＥＧ画像などが挙げられる。なお、後述する処理が実現できれば、他の形式であってもよい。
【００１５】
「撮影画像」は、携帯端末のディスプレイ上に表示される現実空間の画像である。例えば、携帯端末が備えるカメラにて撮影された現実空間の画像が該当する。
【００１６】
「配置データ」は、登録画像に対応付けて定義され、後述するコンテンツが撮影画像内の規定のオブジェクトの領域内において、どのような位置に重畳して配置されるかの情報を示す。配置データのデータ形式としては、例えばＨＴＭＬ形式が挙げられる。なお、対応付けられたコンテンツの重畳位置を示すことが可能であれば、他の形式であっても構わない。
【００１７】
「コンテンツ」は、撮影画像上に重畳表示させるコンテンツである。例えば、入力操作用のアイコンや、絵や文字などが挙げられる。具体的な例については後述する。
【００１８】
＜実施形態１＞
以下、図面を用いて、本願発明に係る実施形態について説明する。なお、以下に示す構成は一例であり、これに限定するものではない。
【００１９】
［システム構成］
図１は、本願発明に係るシステムの全体構成の例を示す図である。携帯端末１０１は、表示部および撮影部を備える。携帯端末１０１のユーザは、現実空間における周りの環境の画像を撮影し、表示部に表示することが可能である。サーバ１０２は、情報処理装置であり、携帯端末１０１に対し、各種データの提供を行う。サーバ１０２は、携帯端末１０１とインターネット等のネットワーク１０３を介して通信可能である。
【００２０】
ネットワーク１０３は、有線／無線を問わず携帯端末１０１やサーバ１０２等に接続され、携帯端末１０１とサーバ１０２との通信経路となるものである。
【００２１】
なお、図１においては、携帯端末１０１およびサーバ１０２はそれぞれ１台のみを示しているが、複数の装置が通信可能に接続されていてもよい。
【００２２】
［ハードウェア構成］
図２は、本実施形態に係る携帯端末１０１およびサーバ１０２のハードウェア構成の例を示した図である。
【００２３】
図２（ａ）は、本実施形態に係る携帯端末１０１のハードウェア構成の例を示す。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、携帯端末１０１における処理全体を制御する。例えば、記憶部であるＲＯＭ２０３等に記憶された本願発明に係るプログラムを読み出して実行することにより、本願発明に係る処理を実現する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１からアクセスされ、実行中の処理の一時的な処理の格納場所などとして利用される記憶部である。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３は、不揮発性の記憶部である。ストレージ２０４は、本願発明に係るプログラムや処理結果のデータ等を格納するための記憶部である。
【００２４】
表示部２０５は、撮影された撮影画像や、ユーザに対するＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示するための表示部である。表示部２０５は、例えば、タッチパネルなどにより構成され、ユーザからの指示を受け付け可能であるものとする。撮影部２０６は、例えばカメラなどで構成され、携帯端末１０１のユーザが、必要に応じて周りの環境の画像を撮影することができる。送受信部２０７は、外部装置（例えば、サーバ１０２）とのデータの送受信を行う際に用いられる。携帯端末１０１を構成する各要素は、システムバス２０８により接続され、携帯端末１０１内で、データのやり取りが可能となっている。
【００２５】
図２（ｂ）は、本実施形態に係るサーバ１０２のハードウェア構成の例を示す。ＣＰＵ２１１は、サーバ１０２における処理全体を制御する。例えば、記憶部であるＲＯＭ２１３等に記憶された本願発明に係るプログラムを読み出して実行することにより、本願発明に係る処理を実現する。ＲＡＭ２１２は、ＣＰＵ２１１からアクセスされ、実行中の処理の一時的な処理の格納場所などとして利用される記憶部である。ＲＯＭ２１３は、不揮発性の記憶部である。
【００２６】
入力Ｉ／Ｆ２１４は、入力デバイス２１５を制御するためのインターフェースである。入力デバイス２１５は、サーバ１０２のユーザからの入力指示を受け付けるためのデバイスであり、マウスやキーボードなどが該当する。ディスプレイＩ／Ｆ２１６は、表示部２１７を制御するためのインターフェースである。表示部２１７は、ユーザへの各種情報を提示するためのディスプレイであり、ＣＲＴや液晶ディスプレイなどにより構成される。外部メモリＩ／Ｆ２１８は、外部メモリ２１９を制御するためのインターフェースである。外部メモリ２１９は、ＨＤＤなどの記憶部であり、各種データが格納されている。ネットワークＩ／Ｆ２２０は、外部装置との通信を行うためにネットワーク１０３と接続するためのインターフェースである。サーバ１０２を構成する各要素は、システムバス２２１により接続され、サーバ１０２内で、データのやり取りが可能となっている。
【００２７】
なお、携帯端末１０１およびサーバ１０２の内部構造はこれに限定するものではなく、必要に応じて、他の構成要素を含んでいてもよい。
【００２８】
［ソフトウェア構成］
図３は、本願発明に係る携帯端末１０１のソフトウェア構成の例を示す図である。
【００２９】
データ保持部３０１は、本願発明に係る登録画像、配置データ、およびコンテンツのデータを保持し、管理する。データ登録部３０２は、サーバ１０２から受信した各種データをデータ保持部３０１に登録させる。画像認識部３０３は、携帯端末１０１にて撮影された撮影画像内において、登録画像に対応する領域が含まれるか否かを判定し、領域の認識を行う。対応付け処理部３０４は、画像認識部３０３にて認識された登録画像に対応する領域と、配置データとを対応付ける処理を行う。
【００３０】
コンテンツ配置部３０５は、対応付け処理部３０４にて対応付けられた配置データに従って、各コンテンツを撮影画像内の領域に配置して、表示部に表示させる処理を行う。コンテンツ処理部３０６は、表示部２０５に表示されているコンテンツに対して、ユーザ等から指示を受け付けた場合に、そのコンテンツに対応付けられた処理を行う。
【００３１】
［データの説明］
以下、上記にて述べた用語に対応する各種データについて具体的に説明する。
【００３２】
（登録画像）
本実施形態に係る登録画像は、オブジェクトの画像データであり、例えば、ビットマップやＪＰＥＧ形式の画像データである。登録画像は、ユーザが携帯端末１０１の撮影部２０６を用いて撮影した現実空間の撮影画像内において、登録画像に対応する画像の領域が存在するか否かを判定するために用いられる。具体的には、所定の広告の画像が登録画像として登録されている場合において、撮影画像内にその所定の広告が含まれていれば、その撮影画像内における広告の領域は登録画像に対応すると判定される。なお、本実施形態では、撮影画像内において、登録画像の少なくとも一部が含まれていれば、登録画像に対応する領域が存在すると判定するものとする。
【００３３】
（撮影画像）
本願発明に係る撮影画像は、ユーザが携帯端末１０１の撮影部２０６を用いて現実空間を撮影し、表示部２０５に表示されている画像のデータである。携帯端末１０１が撮影する撮影画像には、例えば、現実空間内における、広告、地図、看板、ポスター、雑誌、カタログ誌、取扱説明書など、どのようなオブジェクトが含まれていても構わない。
【００３４】
（配置データ）
本実施形態に係る配置データは、登録画像およびコンテンツに対応付けられ、その登録画像上のどの位置にコンテンツを配置するかを示すデータである。配置データは、コンテンツをどのように表示するかの設定を含んでいてもよい。また、本実施形態に係る配置データが示すコンテンツの位置は、登録画像における所定の位置を原点として、原点との相対位置にて示されているものとする。配置データの具体例については、図５を用いて後述する。
【００３５】
（コンテンツ）
本実施形態に係るコンテンツは、表示部２０５上に表示された撮影画像上において、配置データが示す位置に従って重畳表示されるデータである。コンテンツの例としては、以下のようなものが挙げられる。
【００３６】
・ユーザが操作するためのスイッチボタンなどの入力アイコン
・文字及び写真情報
・ＣＧアニメ、ビデオ動画
・メニューや特定のアプリケーションを実行するためのインターフェース画面
【００３７】
なお、コンテンツは、上記に限定するものではなく、重畳表示が可能なものであればいずれであっても構わない。また、表示されたコンテンツに対してユーザからの指示を受け付け、そのコンテンツに対応する処理を更に実行するように構成しても構わない。
【００３８】
（データ構成）
図４に各データの対応付けの例について説明する。登録画像、配置データ、およびコンテンツは、それぞれ一意に識別するための識別子が付与される。
【００３９】
図４（ａ）は登録画像と配置データとの対応付けを示すテーブルの例である。本実施形態では、登録画像と配置データとは１対１の対応関係を有するものとする。
【００４０】
図４（ｂ）は、コンテンツに関する情報を示している。各コンテンツは、いずれかの配置データにより配置される位置が示されているため、その参照元となる配置データが対応付けられて保持される。図４（ｂ）に示されるコンテンツ情報には、コンテンツ特有の内容や定義などが保持される。コンテンツ情報の例としては、重畳表示されたコンテンツがユーザにより指定された場合に、所定のサイトへ遷移するように、リンク先の情報が含まれていてもよい。
【００４１】
図５は、本願発明に係る配置データの構成例を示す図である。本実施形態では、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式にて定義される。配置データは、自身の識別情報、対応する登録画像の識別情報、および配置位置を示すコンテンツの情報を含む。コンテンツは、撮影画像内に含まれる登録画像に対応する領域のどの位置に配置されるかが示される。ここでは、原点からの相対距離にて示されるものとする。つまり、登録画像の所定の辺を１とした場合に、原点からの距離を相対的に決定して配置の位置を示している。
【００４２】
また、コンテンツに対する情報は、配置形式や色など様々な設定値が含まれるようにしても構わない。
【００４３】
［画像の重畳表示の概念］
図６および図７を用いて、本願発明に係る重畳表示の概念について説明する。
【００４４】
図６は、撮影対象を本とした例を示している。図６において本のある見開きのページの一部が携帯端末１０１の撮影部２０６により撮影され、表示部２０５に示されている。そして、コンテンツ６０２、６０３、６０４が撮影画像内に重畳表示されている。なお、コンテンツ６０４は、一部のみが表示されているものとする。
【００４５】
このときの前提として、撮影されている本の見開きのページの左側のページ全体と、右側のページ全体の画像がそれぞれ登録画像として登録されているものとする。また、それぞれ登録画像に対して１の配置データが対応付けられているものとする。
【００４６】
図７は、撮影画像、配置データ、及びコンテンツの重畳の概念を示す図である。配置データ７０３は、登録画像７０１上において、コンテンツ７０５、７０６の位置を示すものとする。現実空間におけるオブジェクト（図６の場合は本の所定のページ）が撮影されている場合、その撮影画像内の登録画像に対応する領域と配置データ７０３が示す座標とが対応付けられる。ここでは、携帯端末１０１により、登録画像７０１に対応する領域のうちの一部の領域７０２のみが撮影画像に含まれるように撮影されているが、配置データと登録画像に対応する領域とは、撮影されていない領域においても仮想的に対応付けられているものとする。そして、配置データ７０３により配置位置が示されるコンテンツのうち、撮影画像に含まれる領域に対応するコンテンツ７０５が、撮影画像内に表示されることとなる。
【００４７】
なお、登録画像に対応する領域の一部のみが撮影画像に含まれ、その領域に配置すると指定されているコンテンツがある場合には、図６のコンテンツ６０４に示すように一部のみが表示される。
【００４８】
［処理フロー］
以下、本実施形態に係る処理フローについて、図面を用いて説明する。なお、以下の処理フローは、携帯端末１０１もしくはサーバ１０２のＣＰＵがＨＤＤ等の記憶部に保持された本願発明に係るプログラムをＲＡＭに読み出し、実行することにより実現される。
【００４９】
（登録処理）
事前処理として、登録画像、配置データ、コンテンツを関連付けて、携帯端末１０１およびサーバ１０２の記憶部に登録する登録処理が行われる。本実施形態に係る登録処理を、図８を用いて説明する。ここでは、携帯端末１０１とサーバ１０２とが同じ情報をそれぞれ登録するものとして説明する。
【００５０】
Ｓ８０１において、サーバ１０２は、サーバ１０２の管理者の指示に基づき、図４に示すように登録画像、配置データ、およびコンテンツのデータを対応付けて登録する。
【００５１】
Ｓ８０２において、サーバ１０２は、所定のタイミングとなったか否かを判定する。このとき所定のタイミングとは、定期的な通信タイミングを設定しておいてもよいし、携帯端末１０１からのデータ要求を受信したタイミングとしてもよい。所定のタイミングとなった場合（Ｓ８０２にてＹＥＳ）、Ｓ８０３へ進む。所定のタイミングでない場合（Ｓ８０２にてＮＯ）、サーバ１０２は、所定のタイミングが来るまで待機する。
【００５２】
Ｓ８０３において、サーバ１０２は、携帯端末１０１と通信を行い、登録したデータを携帯端末１０１へ送信する。このとき、サーバ１０２は、前回の送信からの差分のみを送信するようにしても構わない。もしくは、サーバ１０２は、携帯端末１０１が要求したデータのみを送信するようにしても構わない。
【００５３】
Ｓ８０４において、携帯端末１０１は、受信した各種データを記憶部に登録し、データを更新する。以上により、本処理フローを終了する。
【００５４】
（画像認識処理）
次に、ユーザは、携帯端末１０１が備えるカメラ等の撮影部２０６を用いて、現実空間の任意の撮影対象に向け、撮影画像を取得する。その場合に、撮影画像内に登録画像に対応する領域が含まれるか否かの認識処理について、図９を用いて説明する。
【００５５】
Ｓ９０１において、携帯端末１０１は、撮影部２０６を介して撮影され、表示部２０５に表示される撮影画像を取得する。
【００５６】
Ｓ９０２において、携帯端末１０１は、取得した撮影画像内に、記憶部に保持された登録画像のうちのいずれかの一部もしくは全体が含まれているか否か、すなわち、撮影画像内に登録画像に対応する領域が存在するか否かを判定する。ここでの判定方法は、例えば、登録画像の情報と撮影画像の情報とを用いて、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）などの画像認識技術を用いて、画像の認識を行いその結果から判断することができる。また、ＳＩＦＴのような画像認識技術を用いることにより、登録画像全体が撮影画像内に含まれていない場合でも、対応する登録画像を特定することができる。なお、画像認識技術についてはこれに限定するものではなく、他の従来技術を用いてもよい。
【００５７】
撮影画像中に登録画像のいずれかに対応する領域が存在すると判定した場合（Ｓ９０２にてＹＥＳ）、Ｓ９０３へ進む。一方、登録画像に対応する領域が存在しないと判定した場合（Ｓ９０２にてＮＯ）、Ｓ９０１へ戻り、携帯端末１０１は、撮影画像が更新され、表示部２０５に表示される範囲内に登録画像に対応する領域が含まれていると認識するまで画像認識処理を繰り返す。
【００５８】
Ｓ９０３において、携帯端末１０１は、撮影画像に含まれると判定された登録画像を記憶部に保持された登録画像の中から特定する。また、携帯端末１０１は、撮影画像中の登録画像に対応する領域を特定する。
【００５９】
Ｓ９０４において、携帯端末１０１は、Ｓ９０３にて特定された登録画像に対応する配置データを記憶部から取得する。
【００６０】
Ｓ９０５において、携帯端末１０１は、Ｓ９０３にて特定された領域の形状に基づいて、特定した登録画像に対する幾何的な変形のための情報（以下、幾何変形情報）を導出する。具体的には、現実空間の撮影対象は、撮影した向きや角度に応じて、表示部２０５上での見え方が異なる。つまり、撮影対象が正方形であっても、撮影方向などに応じて、表示部２０５上では例えば台形に変形して見える。これに対応するために、登録画像の表示部２０５上での見え方に合わせて、幾何変形情報を導出する。
【００６１】
例えば、撮影画像内の特定した領域が登録画像全体に対応している場合には、その領域のエッジ部分の情報を用いて導出することが考えられる。また、表示部２０５上において、登録画像が一部のみ表示されている場合には、その表示されている領域の情報から導出する。ここでの導出手段は特に限定するものではないが、例えば、Ｓ９０２にて行った画像認識処理の結果を用いて導出する。以上により、本処理フローを終了する。
【００６２】
（対応付け処理）
次に撮影画像内の特定された領域と、登録画像に対応する配置データとを対応付けする処理について、図１０を用いて説明する。
【００６３】
Ｓ１００１において、携帯端末１０１は、図９の処理で導出された幾何変形情報を用いて、登録画像に対応する配置データにて示されたコンテンツの配置位置の補正を行う。なお、例えば、登録画像の形状が正方形であり、撮影画像の特定された領域の形状も正方形である場合には、幾何変形は生じず、配置データが示すコンテンツの配置位置の補正は行われない。
【００６４】
Ｓ１００２において、携帯端末１０１は、補正された配置データが示すコンテンツの配置位置と撮影画像内の特定された領域とを対応付けを行う。このとき、撮影画像において、登録画像に対応する領域が一部のみ含まれている場合であっても、撮影画像の枠外に登録画像に対応する領域が存在するものとして、仮想的に配置位置を対応付けるものとする。これにより、例えば、ユーザの操作により、表示部２０５に表示されている撮影画像が更新され、少しずらした現実空間が撮影されたとしても、一度認識した対象を追跡するトラッキング機能を利用することにより、再度認識処理を行わずに配置データが示す位置と領域との対応付けができる。概念的には、図７（ａ）に示すように、対応付けが行われる。図７（ａ）の場合、領域７０２のみが撮影画像に含まれているものとする。この領域７０２内において、配置データ７０３は、コンテンツ７０５を配置することを示しているため、携帯端末１０１の表示部２０５では、コンテンツ７０５が表示されている。
【００６５】
なお、配置を行う際の設定が予め定義されている場合には、その設定に基づいて、対応付けを行う。例えば、登録画像に対応する領域のいずれかの位置を原点とし、その原点から所定のオフセット分だけずらして配置するように設定されている場合には、そのオフセットと配置データが示す座標とを用いて対応付けを行う。オフセットを用いて対応付けられた例を図７（ｂ）に示す。図７（ｂ）において、右下の角を原点７０７とする。そして、横軸方向にｘ、縦軸方向にｙのオフセットが設定されている場合に対応付けの結果を示す。図７（ｂ）の場合、携帯端末１０１が図７（ａ）と同じ位置を撮影していたとしても、コンテンツ７０５は、より左上の方向に表示される結果となる。
【００６６】
以上により、本処理フローを終了する。
【００６７】
（コンテンツの配置処理）
撮影画像上の登録画像に対応する領域に、配置データが示す位置に従って、１または複数のコンテンツを配置する。図１１を用いて、コンテンツの配置処理について説明する。
【００６８】
Ｓ１１０１において、携帯端末１０１は、撮影画像内の領域に対応付けられた配置データが示すコンテンツの配置位置のうち、表示部２０５にて表示されている範囲に含まれるコンテンツの情報を取得する。配置データでは、登録画像上に配置する複数のコンテンツの位置が示されているが、これらのうち、撮影画像の範囲に重畳するコンテンツを対象コンテンツとして取得する。なお、登録画像全体が、撮影画像内に含まれている場合には、配置データで示されるコンテンツは全て取得される。
【００６９】
Ｓ１１０２において、携帯端末１０１は、取得したコンテンツの情報を、領域に対応付けられた配置データが示す位置に配置する。
【００７０】
Ｓ１１０３において、携帯端末１０１は、配置したコンテンツを撮影画像内において重畳表示する。この場合、配置データもしくは各コンテンツの情報において、表示する際の表示設定がなされている場合には、その表示設定に従ってコンテンツを表示する。
【００７１】
コンテンツの表示形式は例えば、コンテンツの有無を示すアイコンが挙げられる。アイコンにより、コンテンツが所定の位置に対応付けられている旨のみを示す簡易な表示にすることで、表示のための処理負荷を抑えるようにしてもよい。
【００７２】
また、図９にて導出した幾何変形情報を用いて、コンテンツを表示する際のオブジェクト（例えば、アイコン）の形状を変換するようにしてもよい。この場合、携帯端末１０１は、形状が変換されたオブジェクトを撮影画像内にて重畳表示する。
【００７３】
以上により、本処理フローを終了する。
【００７４】
（コンテンツへの入力受付時の処理）
撮影画像上に重畳表示されたコンテンツに対してユーザが入力操作を行った場合の処理について図１２を用いて説明する。
【００７５】
Ｓ１２０１において、携帯端末１０１は、表示部２０５のタッチパネルなどを介して、ユーザからコンテンツに対する入力操作を受け付ける。なお、入力方法はタッチパネルによる入力に限定するものではなく、他の入力方式であっても構わない。
【００７６】
Ｓ１２０２において、携帯端末１０１は、ユーザからの入力操作に基づいて、指定されたコンテンツに対応付けられた情報を取得する。ここで取得する情報は、例えば、図４（ｂ）に示すコンテンツ情報に相当する。
【００７７】
Ｓ１２０３において、携帯端末１０１は、取得した情報に従って、指定されたコンテンツに対する動作処理を実行する。ここでの動作処理とは、例えば、ネット上のＷｅｂサイトへの移動、携帯端末１０１上での特定のアプリケーション（不図示）の起動、新たな入力操作用のアイコン、メニュー、吹き出しコンテンツの表示、動画、ＣＧアニメの画面上へのオーバーレイ表示などが挙げられる。以上により、本処理フローを終了する。
【００７８】
本実施形態により、コンテンツに対応する領域を逐一認識する必要はなく、登録画像に対応する領域を認識し、コンテンツの配置データを対応付けることにより、複数のコンテンツを配置することができる。その結果、資源に乏しい携帯端末に対しても処理負荷を低減することができる。
【００７９】
＜その他の実施形態＞
（処理の分散）
実施形態１において、サーバ１０２上では、各種データの登録のみを行い、必要に応じて携帯端末１０１に提供するのみであった。この構成に限定するものではなく、実施形態１では携帯端末１０１にて行っていた処理（図９〜図１２）の一部を、サーバ１０２上で行うようにしてもよい。
【００８０】
例えば、携帯端末１０１は、登録画像のみを保持しておき、撮影画像内に登録画像に対応する領域が含まれるか否かの判定までを行う（図９のＳ９０１〜Ｓ９０２）。そして、撮影画像内に登録画像が含まれると判定された場合（Ｓ９０２にてＹＥＳ）、以降の処理をサーバ１０２にて行ようにしてもよい。その後、図１１、図１２の処理を携帯端末１０１にて行うような構成としても構わない。更には、携帯端末１０１は、撮影および表示のみを行うような構成であっても構わない。
【００８１】
この構成により、実施形態１に比べ、更に携帯端末１０１における処理負荷およびデータの保持容量を低減することができる。
【００８２】
（配置データのデータ形式）
実施形態１において、配置データをＨＴＭＬ形式のデータにて登録画像上における相対座標を定義した。他の実施形態として、配置データを画像データの形式で定義するようにしてもよい。画像データとしては、例えば、ビットマップ形式やＪＰＥＧ形式が挙げられる。この構成により、画像データ内の画素位置において、コンテンツが対応付けられる。
【００８３】
（登録画像のデータ形式）
実施形態１において、登録画像はＪＰＥＧ等の画像データであった。他の実施形態として、登録画像のデータは特徴点のデータであってもよい。上述したように登録画像は、撮影画像の中に対応する領域が存在するか否かを判定するために用いられる。したがって、登録画像を特徴点の集合のデータとすることで、特徴点の集合と撮影画像内の特徴点との比較により、領域を特定することができる。
【００８４】
これにより、実施形態１よりも更に登録画像のデータ量を削減でき、携帯端末１０１の資源への負荷を抑えることが可能となる。
【００８５】
（三次元のコンテンツへの適用）
撮影画像上に重畳表示されるコンテンツのオブジェクトは、三次元にて表示可能なオブジェクトであっても構わない。三次元にて重畳表示する場合には、図９の処理で導出された幾何変形情報を用いて、コンテンツのオブジェクトの形状を変形して重畳表示する。また、撮影画像の内容が更新された場合には、その更新に伴って幾何変形を行われることとなる。
【００８６】
（配置データと登録画像の対応）
上述した実施形態１では、図４（ａ）に示すように、配置データと登録画像とが１対１に対応付けられている例を述べた。他の実施形態として、１の配置データが、複数の登録画像に対応づけられていても構わない。
【００８７】
この場合、異なる登録画像に対応する領域が撮影画像内に含まれていても、１の配置データを用いて同じようにコンテンツを配置できる。
【００８８】
（ユーザ設定に基づく対応付けの切り替え）
上述した実施形態１では配置データにて複数のコンテンツの位置が示されていた。この場合に、コンテンツは、ユーザの嗜好性（設定）に基づいて配置データと対応付けられるようにしてもよい。この場合、サーバ１０２側で配置データを登録する際に、ユーザに応じて配置データを生成することが考えられる。また、携帯端末１０１上でのユーザの表示設定に応じて、配置データに対応付けられたコンテンツの表示／非表示の切り替えができるようにしても構わない。
【００８９】
また、図８のＳ８０３の工程においてデータの送受信を行う場合、ユーザの設定等に応じて送受信するデータを決定するようにしても構わない。
【００９０】
また、同じ登録画像であっても、ユーザの設定に応じて異なる配置データが対応付けられるようにしても構わない。
【００９１】
これにより、配置データに対応付けられたコンテンツを全て処理する必要がなく、ユーザが必要とするコンテンツのみを処理するため、携帯端末１０１の処理の負荷を低減できる。さらに、ユーザの目的に合わせたコンテンツのみが提供されるため、ユーザの利便性が向上する。
【００９２】
（その他の実現形式）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行することによって実現される。
【００９３】
携帯端末上で動作する一般的なWebブラウザ上で動作するように実装することが可能である。この場合、何らかの方法でプログラムを取得してから利用者がそのプログラムを動作させるなどの手順を経ることなく、ブラウザ上の画面操作だけで同等の機能を実行することになる。
【符号の説明】
【００９４】
携帯端末          １０１
サーバ            １０２
データ保持部      ３０１
データ登録部      ３０２
画像認識部        ３０３
対応付け処理部    ３０４
コンテンツ配置部  ３０５
コンテンツ処理部  ３０６
【図１】
2014186384.tif 000003
【図２】
2014186384.tif 000004
【図３】
2014186384.tif 000005
【図４】
2014186384.tif 000006
【図５】
2014186384.tif 000007
【図６】
2014186384.tif 000008
【図７】
2014186384.tif 000009
【図８】
2014186384.tif 000010
【図９】
2014186384.tif 000011
【図１０】
2014186384.tif 000012
【図１１】
2014186384.tif 000013
【図１２】
2014186384.tif 000014