(57)【要約】【課題】物体に対応する付加画像を適切なタイミングで表示することである。【解決手段】ウェアラブル端末１０は、撮像画像データを取得する撮像部１１と、前記撮像画像データから物体を認識する物体認識部１２と、前記物体が認識された場合に、当該物体に対応する所定の変化を前記取得される撮像画像データから検出する動き検出部１３と、前記所定の変化が検出された場合に、前記物体に対応する付加画像を表示させる表示制御部１４と、を備える。【選択図】  図１
2015135645.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像データを取得する取得手段と、
前記撮像画像データから物体を認識する物体認識手段と、
前記物体が認識された場合に、当該物体に対応する所定の変化を前記取得される撮像画像データから検出する変化検出手段と、
前記所定の変化が検出された場合に、前記物体及び当該所定の変化に対応する付加画像を前記物体と合わせて表示させる表示制御手段と、を備える情報表示制御装置。
【請求項２】
前記変化検出手段は、前記物体が認識された場合に、当該物体の所定の動きと当該物体に対する所定の操作の動きとの少なくとも一つを前記取得される撮像画像データから検出する動き検出手段である請求項１に記載の情報表示制御装置。
【請求項３】
前記表示制御手段は、前記所定の変化が検出された場合に、前記物体及び前記所定の変化に対応する付加画像を当該物体の所定位置に対応する位置に表示させる請求項１又は２に記載の情報表示制御装置。
【請求項４】
前記表示制御手段は、実像を透過するスクリーンに付加画像を表示する表示手段に、前記スクリーンを透過した前記物体の実像と、当該付加画像と、を重ね合せるように、当該付加画像を表示させる請求項１から３のいずれか一項に記載の情報表示制御装置。
【請求項５】
前記表示制御手段は、前記物体が認識された場合に、当該物体に対応する第１の付加画像を表示させ、前記所定の変化が検出された場合に、当該物体及び当該所定の変化に対応する第２の付加画像を表示させる請求項１から４のいずれか一項に記載の情報表示制御装置。
【請求項６】
前記変化検出手段は、前記物体が認識された場合に、前記取得される撮像画像データから複数の所定の変化を１つずつ順次検出し、
前記表示制御手段は、前記１つの所定の変化が検出された場合に、前記物体及び当該検出された１つの所定の変化に対応する付加画像を表示させることを繰り返す請求項１から５のいずれか一項に記載の情報表示制御装置。
【請求項７】
撮像画像データを取得する取得工程と、
前記撮像画像データから物体を認識する物体認識工程と、
前記物体が認識された場合に、当該物体に対応する所定の変化を前記取得される撮像画像データから検出する変化検出工程と、
前記所定の変化が検出された場合に、前記物体及び当該所定の変化に対応する付加画像を表示させる表示制御工程と、を含む情報表示制御方法。
【請求項８】
コンピュータを、
撮像画像データを取得する取得手段、
前記撮像画像データから物体を認識する物体認識手段、
前記物体が認識された場合に、当該物体に対応する所定の変化を前記取得される撮像画像データから検出する変化検出手段、
前記所定の変化が検出された場合に、前記物体及び当該所定の変化に対応する付加画像を前記物体と合わせて表示させる表示制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示制御装置、情報表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ＡＲ（Augmented Reality；拡張現実）表示用の付加画像を撮像画像に合成して表示するＡＲ技術が知られている。例えば、サイネージに表示される検出用画像を撮像画像から検出すると、検出用画像中の当該特定画像の位置にＡＲ表示用の付加画像を合成して表示する画像処理装置が知られている（特許文献１参照）。また、被写体の各部の位置を測距し、この測距結果に応じて、３次元的なＡＲ表示用の付加画像を撮像画像に合成して表示する端末装置が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７７４３４６号公報
【特許文献２】特開２００４−１４５４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来のＡＲ技術では、対象物体の検出用画像や商品ロゴの特定画像を撮像画像から検出した時点で、ＡＲ表示用の付加画像が表示されるため、眼鏡型端末等のウェアラブル端末の主観撮像に適用すると、勝手に次々と付加画像が表示されるおそれがあった。
【０００５】
本発明の課題は、物体に対応する付加画像を適切なタイミングで表示することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る情報表示制御装置は、
撮像画像データを取得する取得手段と、
前記撮像画像データから物体を認識する物体認識手段と、
前記物体が認識された場合に、当該物体に対応する所定の変化を前記取得される撮像画像データから検出する変化検出手段と、
前記所定の変化が検出された場合に、前記物体及び当該所定の変化に対応する付加画像を前記物体と合わせて表示させる表示制御手段と、を備える。
【０００７】
また、前記変化検出手段は、前記物体が認識された場合に、当該物体の所定の動きと当該物体に対する所定の操作の動きとの少なくとも一つを前記取得される撮像画像データから検出することが好ましい。
【０００８】
また、前記表示制御手段は、前記所定の変化が検出された場合に、前記物体及び前記所定の変化に対応する付加画像を当該物体の所定位置に対応する位置に表示させることが好ましい。
【０００９】
また、前記表示制御手段は、実像を透過するスクリーンに付加画像を表示する表示手段に、前記スクリーンを透過した前記物体の実像と、当該付加画像と、を重ね合せるように、当該付加画像を表示させることが好ましい。
【００１０】
また、前記表示制御手段は、前記物体が認識された場合に、当該物体に対応する第１の付加画像を表示させ、前記所定の変化が検出された場合に、当該物体及び当該所定の変化に対応する第２の付加画像を表示させることが好ましい。
【００１１】
また、前記変化検出手段は、前記物体が認識された場合に、前記取得される撮像画像データから複数の所定の変化を１つずつ順次検出し、前記表示制御手段は、前記１つの所定の変化が検出された場合に、前記物体及び当該検出された１つの所定の変化に対応する付加画像を表示させることを繰り返すことが好ましい。
【００１２】
また、本発明に係る情報表示制御方法は、
撮像画像データを取得する取得工程と、
前記撮像画像データから物体を認識する物体認識工程と、
前記物体が認識された場合に、当該物体に対応する所定の変化を前記取得される撮像画像データから検出する変化検出工程と、
前記所定の変化が検出された場合に、前記物体及び当該所定の変化に対応する付加画像を表示させる表示制御工程と、を含む。
【００１３】
また、本発明に係るプログラムは、
コンピュータを、
撮像画像データを取得する取得手段、
前記撮像画像データから物体を認識する物体認識手段、
前記物体が認識された場合に、当該物体に対応する所定の変化を前記取得される撮像画像データから検出する変化検出手段、
前記所定の変化が検出された場合に、前記物体及び当該所定の変化に対応する付加画像を前記物体と合わせて表示させる表示制御手段、
として機能させる。
【発明の効果】
【００１４】
本発明によれば、物体に対応する付加画像を適切なタイミングで表示できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態のＡＲ表示システムを示すブロック図である。
【図２】第１の付加画像表示処理を示すフローチャートである。
【図３】実施の形態におけるユーザの目視イメージの遷移図である。
【図４】第２の付加画像表示処理を示すフローチャートである。
【図５】第１の変形例におけるユーザの目視イメージの遷移図である。
【図６】第３の付加画像表示処理を示すフローチャートである。
【図７】第２の変形例におけるユーザの目視イメージの遷移図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して本発明に係る実施の形態及び変形例を順に詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１７】
［１．実施の形態］
図１〜図３を参照して、本発明に係る実施の形態を説明する。
【００１８】
［１−１．装置構成の説明］
［１−１−１．全体構成］
図１を参照して、本実施の形態の装置構成を説明する。図１は、本実施の形態のＡＲ表示システム１を示すブロック図である。
【００１９】
ＡＲ表示システム１は、情報表示制御装置としてのウェアラブル端末１０と、端末装置２０と、サーバ３０と、を備える。端末装置２０及びサーバ３０は、通信ネットワークＮに通信接続されている。通信ネットワークＮは、インターネットとするが、イントラネット、専用線等、他の通信ネットワークとしてもよい。
【００２０】
ウェアラブル端末１０は、眼鏡型のウェアラブル端末装置である。ウェアラブル端末１０は、ユーザの耳及び鼻にかけて装着されて使用される。ウェアラブル端末１０の眼鏡のレンズには、透明な表示部１５（後述）が設けられている。表示部１５にＡＲ表示用の付加画像が表示されると、眼鏡のレンズを介する実像と、表示されたＡＲ表示用の付加画像と、が重ね合わされてユーザの目に結像される。
【００２１】
ＡＲ表示用の付加画像とは、所定の対象物体及び所定の対象の動きに対応する付加画像（付加画像データ）であり、ここでは広告画像とする。対象物体は、付加画像（広告）表示の対象の物体であり、ここでは一例として、所定の商品ラベルが付された缶ジュースであるものとする。ＡＲ表示用の付加画像は、ウェアラブル端末１０の眼鏡の目視方向（光軸方向）に、ＡＲ表示用の対象物体があり、さらに対象物体に関するＡＲ表示用の対象の動きが行われると、表示される。対象の動きとは、対象物体の所定の動きと、対象物体に対する所定の操作の動き（開ける、つかむ、持ち上げる、押す等）と、の少なくとも一つである。ここでは一例として、対象の動きが、対象物体に対する所定の操作の動きとして、ユーザの手が対象物体の缶ジュースを開ける操作の動きであるものとする。なお、缶ジュースを開ける対象の動きは、対象物体の所定の動きとして、缶ジュースのプルトップの閉まった状態から開放状態への変化の動きとしてもよい。
【００２２】
端末装置２０は、スマートフォン、タブレットＰＣ（Personal Computer）等の端末装置である。端末装置２０は、少なくとも、通信ネットワークＮ上の機器との通信機能と、ウェアラブル端末１０との無線通信機能と、を有する。より具体的には、端末装置２０は、通信ネットワークＮ上の基地局又はアクセスポイントとの無線通信を行い、当該基地局又はアクセスポイントを介して、通信ネットワークＮ上の機器と通信を行う。また、端末装置２０は、Bluetooth（登録商標）等の通信方式により、ウェアラブル端末１０と直接無線通信を行う。
【００２３】
サーバ３０は、対象物体を認識するための物体認識用データと、対象の動きを検出するための動き検出用データと、ＡＲ表示用の広告の付加画像データと、を管理している。物体認識用データは、対象物体を認識するための特異点情報等である。動き検出用データは、動きの主体のモーションデータ等である。付加画像データは、動画像データとするが、静止画像データとしてもよい。サーバ３０は、ウェアラブル端末１０からの要求に応じて、端末装置２０を介して、物体認識用データ、動き検出用データ及び付加画像データをウェアラブル端末１０に送信する。
【００２４】
［１−１−２．ウェアラブル端末１０の機能構成］
図１を参照して、ウェアラブル端末１０の機能構成を説明する。
【００２５】
ウェアラブル端末１０は、取得手段としての撮像部１１と、物体認識手段としての物体認識部１２と、変化検出手段、動き検出手段としての動き検出部１３と、表示制御手段としての表示制御部１４と、表示手段としての表示部１５と、記憶部１６と、操作部１７と、通信部１８と、レンズ・フレーム部１９と、を備える。
【００２６】
撮像部１１は、レンズ・フレーム部１９のレンズの光軸方向の画像を撮像する。撮像部１１は、レンズ等の光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子と、を有する。撮像部１１は、撮像した画像データを物体認識部１２及び動き検出部１３に出力する。
【００２７】
物体認識部１２は、記憶部１６に記憶されている物体認識用データを用いて、撮像部１１から出力された撮像画像データを画像解析し、ＡＲ表示用の対象物体の認識を行う。動き検出部１３は、記憶部１６に記憶されている動き検出用データを用いて、撮像部１１から出力された撮像画像データを画像解析し、ＡＲ表示の対象の動きの検出を行う。表示制御部１４は、物体認識部１２による対象物体の認識と、動き検出部１３による対象の動きの検出と、に応じて、記憶部１６に記憶されている付加画像データを用いて、ＡＲ表示用の広告の付加画像を表示部１５に表示させる制御を行う。
【００２８】
物体認識部１２、動き検出部１３、表示制御部１４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、メモリ（ＲＯＭ（Read Only Memory）、内蔵のフラッシュメモリ等）により実現される。より具体的には、各部のＣＰＵが、メモリに記憶されたプログラムを読み出してＲＡＭに展開し、展開したプログラムとの協働で各種処理を実行する。
【００２９】
表示部１５は、レンズ・フレーム部１９のレンズを介する光像（実像）を透過する透明なスクリーンと、投影部と、を有する。表示部１５は、投影部が各種表示情報をスクリーンに投影することにより、当該表示情報をスクリーンに表示する。表示部１５のスクリーンは、レンズ・フレーム部１９の眼鏡のレンズ面に重ね合わせるように配置されている。このようにして、表示部１５では、スクリーンを透過する対象物体の実像と、スクリーンに投影された付加画像データと、を重ね合わせるように、スクリーンに付加画像データが表示される。
【００３０】
記憶部１６は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の情報読み出し及び書き込みが可能なメモリにより構成される。記憶部１６には、サーバ３０から受信された物体認識用データ、動き検出用データ及び付加画像データが記憶される。
【００３１】
操作部１７は、マイク、アンプ、音声信号解析部等を有し、ユーザからの音声操作を受け付けて操作情報を出力する。また、操作部１７は、タッチパッドを有し、ユーザからのタッチパッドへのタッチ操作を受け付ける構成としてもよい。
【００３２】
通信部１８は、アンテナ、変復調回路、信号処理部等を有し、Bluetoothの通信方式により端末装置２０と通信する。なお、通信部１８は、無線ＬＡＮ（Local Area Network）通信等の通信方式により、アクセスポイントを介して、通信ネットワークＮ上の機器（サーバ３０等）と直接通信する構成としてもよい。レンズ・フレーム部１９は、眼鏡のレンズ・フレームである。
【００３３】
［１−２．ＡＲ表示システム１の動作］
図２及び図３を参照して、ＡＲ表示システム１の動作を説明する。図２は、第１の付加画像表示処理を示すフローチャートである。図３は、実施の形態におけるユーザの目視イメージの遷移図である。
【００３４】
予め、ウェアラブル端末１０は、端末装置２０を介して、物体認識用データ、動き検出用データ及び付加画像データを受信して記憶部１６に記憶しているものとする。ウェアラブル端末１０において、例えば、操作部１７を介して第１の付加画像表示処理の実行指示が入力されたことをトリガとして、第１の付加画像表示処理が実行される。
【００３５】
図２に示すように、撮像部１１は、ユーザの目視方向（レンズ・フレーム部１９のレンズの光軸方向）の撮像を開始する（ステップＳ１１）。そして、物体認識部１２は、記憶部１６に記憶された物体認識用データを用いて、撮像部１１により撮像された撮像画像データを画像解析し、対象物体を認識する（ステップＳ１２）。そして、表示制御部１４は、ステップＳ１２で対象物体が認識されたか否かを判別する（ステップＳ１３）。
【００３６】
対象物体が認識された場合（ステップＳ１３；ＹＥＳ）、動き検出部１３は、記憶部１６に記憶された動き検出用データを用いて、撮像部１１により撮像された所定の時間の撮像画像データを画像解析し、対象の動きを検出する（ステップＳ１４）。そして、表示制御部１４は、ステップＳ１４で対象の動きが検出されたか否かを判別する（ステップＳ１５）。
【００３７】
対象の動きが検出された場合（ステップＳ１５；ＹＥＳ）、表示制御部１４は、記憶部１６に記憶された付加画像データを、表示部１５の実像の対象物体の所定位置に対応する位置に表示させる（ステップＳ１６）。そして、表示制御部１４は、操作部１７を介して第１の付加画像表示処理の終了操作がされたか否かを判別する（ステップＳ１７）。終了操作がされていない場合（ステップＳ１７；ＮＯ）、ステップＳ１２に移行される。
【００３８】
対象物体が認識されない場合（ステップＳ１３；ＮＯ）、又は対象の動きが検出されない場合（ステップＳ１５；ＮＯ）、ステップＳ１７に移行される。終了操作がされた場合（ステップＳ１７；ＹＥＳ）、第１の付加画像表示処理が終了する。
【００３９】
次いで、図３を参照して、第１の付加画像表示処理の具体例を説明する。先ず、ユーザがウェアラブル端末１０を装着して、第１の付加画像表示処理が開始される。ステップＳ１１で撮像が開始され、図３のイメージ４１が撮像される。イメージ４１は、レンズ・フレーム部１９のレンズを介した実像であり、商品名「○○○」の商品ロゴＡ１１を有する缶ジュースＡ１が含まれている。これにより、ステップＳ１２で対象物体としての商品ロゴＡ１１を有する缶ジュースＡ１が認識される。
【００４０】
そして、イメージ４２が撮像される。イメージ４２は、ユーザが手Ｂ１を使って缶ジュースＡ１を開ける動作の実像である。これにより、ステップＳ１４で対象の動きとしての手Ｂ１が缶ジュースＡ１を開ける動きが検出される。そして、ステップＳ１５で、表示部１５において、付加画像データとして、クラッカーが弾けて、紙テープとともに缶ジュースＡ１の会社名「×××」を有するマークが飛び出す付加画像Ｃ１が、缶ジュースＡ１の飲み口に対応する位置に表示される。
【００４１】
すると、ユーザは、レンズ・フレーム部１９のレンズを介した缶ジュースＡ１の実像と、付加画像Ｃ１が表示された表示部１５のスクリーンの像と、が重ね合わされたイメージ４３を目視する。ユーザは、缶ジュースＡ１の飲み口からクラッカーが飛び出して弾け、紙テープとともに缶ジュースＡ１の会社名のマークが飛び出す付加画像Ｃ１を視認できる。
【００４２】
［１−３．実施の形態の効果］
以上、本実施の形態によれば、ウェアラブル端末１０は、撮像して撮像画像データを取得する撮像部１１と、撮像画像データから対象物体を認識する物体認識部１２と、対象物体が認識された場合に、撮像画像データから対象の変化としての対象の動きを検出する動き検出部１３と、対象の動きが検出された場合に、対象物体及び対象の動きに対応する付加画像データを表示部１５に表示させる表示制御部１４と、を備える。
【００４３】
このため、対象物体に対応する付加画像を、対象の動きが検出された適切なタイミングで表示できる。より具体的には、缶ジュースを開けるタイミングで、会社名のマークがクラッカーから飛び出る付加画像が表示されるので、付加画像が頻繁に表示されることを避けることができ、ユーザが煩わしさを感じることを低減できる。また、付加画像が広告画像である場合に、ユーザが煩わしさを感じないので、広告効果を高めることができる。また、撮像画像データにおける対象の動きを検出するので、撮像画像データの対象の変化を適切に検出できる。
【００４４】
また、表示制御部１４は、対象の動きが検出された場合に、対象物体及び対象の動きに対応する付加画像データを対象物体の所定位置（缶ジュースの飲み口）に対応する位置で表示部１５に表示させる。このため、対象物体に対する関連性を高めて付加画像を表示できる。
【００４５】
また、表示制御部１４は、表示部１５のスクリーンを透過した対象物体の実像と、付加画像データと、を重ね合せるように、当該付加画像データを表示部１５に表示させる。このため、ユーザが、対象物体の実像と付加画像とを重ね合わせた像を容易に認識できる。
【００４６】
［２．第１の変形例］
図４、図５を参照して、上記実施の形態の第１の変形例を説明する。
【００４７】
［２−１．装置構成］
本変形例の装置構成は、図１のＡＲ表示システム１を使用する。但し、サーバ３０は、物体認識用データ、動き検出用データ、第１の付加画像データ、第２の付加画像データを管理するものとする。サブの広告画像としての第１の付加画像データは、対象物体に対応する付加画像データであり、対象物体が認識された段階で表示されるＡＲ表示用の広告の付加画像データである。メインの広告画像としての第２の付加画像データは、対象物体及び対象の動きに対応する付加画像データであり、対象の動きが検出された段階で表示されるＡＲ表示用の広告の付加画像データである。第１の付加画像データは、第２の付加画像データの前段階の付加画像であり、例えば、その表示により第２の付加画像データよりもユーザが煩わしさを感じることが少ない表現（例えば、目立たない、表示時間が短い、大きさが小さい）のものとされる。
【００４８】
［２−２．ＡＲ表示システム１の動作］
図４及び図５を参照して、本変形例のＡＲ表示システム１の動作を説明する。図４は、第２の付加画像表示処理を示すフローチャートである。図５は、本変形例におけるユーザの目視イメージの遷移図である。
【００４９】
予め、ウェアラブル端末１０は、端末装置２０を介して、物体認識用データ、動き検出用データ、第１の付加画像データ、第２の付加画像データを受信して記憶部１６に記憶しているものとする。ウェアラブル端末１０において、例えば、操作部１７を介して第２の付加画像表示処理の実行指示が入力されたことをトリガとして、第２の付加画像表示処理が実行される。
【００５０】
図４に示すように、ステップＳ２１〜Ｓ２３は、第１の付加画像表示処理のステップＳ１１〜Ｓ１３と同様である。対象物体が認識された場合（ステップＳ２３；ＹＥＳ）、表示制御部１４は、記憶部１６に記憶された第１の付加画像データを、表示部１５の実像の対象物体の所定位置に対応する位置に表示させる（ステップＳ２４）。ステップＳ２５，Ｓ２６は、第１の付加画像表示処理のステップＳ１４，Ｓ１５と同様である。
【００５１】
対象の動きが検出された場合（ステップＳ２６；ＹＥＳ）、表示制御部１４は、記憶部１６に記憶された第２の付加画像データを、表示部１５の実像の対象物体の対応位置に表示させる（ステップＳ２７）。ステップＳ２８は、第１の付加画像表示処理のステップＳ１７と同様である。
【００５２】
次いで、図５を参照して、第２の付加画像表示処理の具体例を説明する。先ず、ユーザがウェアラブル端末１０を装着して、第２の付加画像表示処理が開始される。ステップＳ２１で撮像が開始され、図５のイメージ５１が撮像される。イメージ５１は、図３のイメージ４１と同様である。これにより、ステップＳ２２で対象物体としての商品ロゴＡ１１を有する缶ジュースＡ１が認識される。
【００５３】
そして、ステップＳ２４で、表示部１５において、第１の付加画像データとしての会社名「×××」を有する付加画像Ｃ２が、商品ロゴＡ１１の上辺の上の位置に表示される。すると、ユーザは、付加画像Ｃ２が表示された表示部１５のスクリーンの像と、レンズ・フレーム部１９のレンズを介した缶ジュースＡ１の実像と、が重ね合わされたイメージ５２を目視する。ユーザは、商品ロゴＡ１１と会社名の付加画像Ｃ２とを有する缶ジュースＡ１を視認できる。
【００５４】
イメージ５３，５４は、図３のイメージ４２，４３と同様である。イメージ５３が撮像され、ステップＳ２５で対象の動きとしての手Ｂ１が缶ジュースＡ１を開ける動きが検出される。そして、ステップＳ２７で、表示部１５において、第２の付加画像データとしての付加画像Ｃ１が、缶ジュースＡ１の飲み口に対応する位置に表示される。すると、ユーザは、付加画像Ｃ１が表示された表示部１５のスクリーンの像と、レンズ・フレーム部１９のレンズを介した缶ジュースＡ１の実像と、が重ね合わされたイメージ５４を目視する。
【００５５】
［２−３．第１の変形例の効果］
以上、本変形例によれば、表示制御部１４は、対象物体が認識された場合に、対象物体に対応するサブの第１の付加画像データを表示部１５に表示し、対象の動きが検出された場合に、対象物体及び対象の動きに対応するメインの第２の付加画像データを表示部１５に表示させる。このため、対象物体に対応するメインの第２の付加画像（第２の付加画像データ）を、対象の動きが検出された適切なタイミングで表示できるとともに、サブの第１の付加画像（第１の付加画像データ）と第２の付加画像とを段階的に変化させて表示できる。また、付加画像が広告画像である場合に、付加画像が段階的に変化するので、広告効果を高めることができる。
【００５６】
［３．第２の変形例］
図６、図７を参照して、上記実施の形態の第２の変形例を説明する。
【００５７】
［３−１．装置構成］
本変形例の装置構成は、図１のＡＲ表示システム１を使用する。但し、サーバ３０は、物体認識用データ、第１の動き検出用データ、第２の動き検出用データ、第３の付加画像データ、第４の付加画像データを管理するものとする。第１の動き検出用データは、対象物体を持つユーザの手の動作を検出するためのデータとする。第２の動き検出用データは、対象物体を開けるユーザの手の動作を検出するためのデータとする。第３の付加画像データは、対象物体及び第１の対象の動きに対応する付加画像データであり、第１の対象の動きが検出された段階で表示されるＡＲ表示用の広告の付加画像データである。第４の付加画像データは、対象物体及び第２の対象の動きに対応する付加画像データであり、第２の対象の動きが検出された段階で表示されるＡＲ表示用の広告の付加画像データである。
【００５８】
［３−２．ＡＲ表示システム１の動作］
図６及び図７を参照して、本変形例のＡＲ表示システム１の動作を説明する。図６は、第３の付加画像表示処理を示すフローチャートである。図７は、本変形例におけるユーザの目視イメージの遷移図である。
【００５９】
予め、ウェアラブル端末１０は、端末装置２０を介して、物体認識用データ、第１の動き検出用データ、第２の動き検出用データ、第３の付加画像データ、第４の付加画像データを受信して記憶部１６に記憶しているものとする。ウェアラブル端末１０において、例えば、操作部１７を介して第３の付加画像表示処理の実行指示が入力されたことをトリガとして、第３の付加画像表示処理が実行される。
【００６０】
図６に示すように、ステップＳ３１〜Ｓ３３は、第１の付加画像表示処理のステップＳ１１〜Ｓ１３と同様である。対象物体が認識された場合（ステップＳ３３；ＹＥＳ）、動き検出部１３は、記憶部１６に記憶された第１の動き検出用データを用いて、撮像部１１により撮像された所定の時間の撮像画像データを画像解析し、第１の対象の動きを検出する（ステップＳ３４）。そして、表示制御部１４は、ステップＳ３４で第１の対象の動きが検出されたか否かを判別する（ステップＳ３５）。
【００６１】
第１の対象の動きが検出された場合（ステップＳ３５；ＹＥＳ）、表示制御部１４は、記憶部１６に記憶された第３の付加画像データを、表示部１５の実像の対象物体の所定位置に対応する位置に表示させる（ステップＳ３６）。そして、動き検出部１３は、記憶部１６に記憶された第２の動き検出用データを用いて、撮像部１１により撮像された所定の時間の撮像画像データを画像解析し、第２の対象の動きを検出する（ステップＳ３７）。そして、表示制御部１４は、ステップＳ３７で第２の対象の動きが検出されたか否かを判別する（ステップＳ３８）。
【００６２】
第２の対象の動きが検出された場合（ステップＳ３８；ＹＥＳ）、表示制御部１４は、記憶部１６に記憶された第４の付加画像データを、表示部１５の実像の対象物体の所定位置に対応する位置に表示させる（ステップＳ３９）。ステップＳ４０は、第１の付加画像表示処理のステップＳ１７と同様である。対象物体が認識されない場合（ステップＳ３３；ＮＯ）、第１の対象の動きが検出されない場合（ステップＳ３５；ＮＯ）、又は第２の対象の動きが検出されない場合（ステップＳ３８；ＮＯ）、ステップＳ４０に移行される。
【００６３】
次いで、図７を参照して、第３の付加画像表示処理の具体例を説明する。先ず、ユーザがウェアラブル端末１０を装着して、第３の付加画像表示処理が開始される。ステップＳ３１で撮像が開始され、図７のイメージ６１が撮像される。イメージ６１は、図３のイメージ４１と同様である。これにより、ステップＳ３２で対象物体としての商品ロゴＡ１１を有する缶ジュースＡ１が認識される。
【００６４】
そして、イメージ６２が撮像される。イメージ６２は、ユーザが手Ｂ２を使って缶ジュースＡ１を持つ動作の実像である。これにより、ステップＳ３４で第１の対象の動きとしての手Ｂ２が缶ジュースＡ１を持つ動きが検出される。そして、ステップＳ３６で表示部１５において、第３の付加画像データとしての会社名「×××」を有する付加画像Ｃ２が、商品ロゴＡ１１の上辺の上に対応する位置に表示される。すると、ユーザは、付加画像Ｃ２が表示された表示部１５のスクリーンの像と、レンズ・フレーム部１９のレンズを介した缶ジュースＡ１及び手Ｂ２の実像と、が重ね合わされたイメージ６３を目視する。ユーザは、商品ロゴＡ１１と会社名の付加画像Ｃ２とを有する缶ジュースＡ１を手Ｂ２で持った状態を視認できる。
【００６５】
イメージ６４，６５は、図３のイメージ４２，４３と同様である。イメージ６４が撮像され、ステップＳ３７で第２の対象の動きとしての手Ｂ１が缶ジュースＡ１を開ける動きが検出される。そして、ステップＳ３９で、表示部１５において、第４の付加画像データとしての付加画像Ｃ１が、缶ジュースＡ１の飲み口に対応する位置に表示される。すると、ユーザは、付加画像Ｃ１が表示された表示部１５のスクリーンの像と、レンズ・フレーム部１９のレンズを介した缶ジュースＡ１の実像と、が重ね合わされたイメージ６５を目視する。
【００６６】
［３−３．第２の変形例の効果］
以上、本変形例によれば、表示制御部１４は、第１の対象の動きが検出された場合に、対象物体に対応する第３の付加画像データを表示部１５に表示させ、第２の対象の動きが検出された場合に、対象物体に対応する第４の付加画像データを表示部１５に表示させる。このため、対象物体に対応する第３、第４の付加画像（第３、第４の付加画像データ）を、第１、第２の対象の動きが検出された適切なタイミングで順次表示できるとともに、第３の付加画像と、第４の付加画像とを段階的に変化させて表示できる。また、付加画像が広告画像である場合に、付加画像が段階的に変化するので、広告効果を高めることができる。
【００６７】
なお、上記実施の形態における記述は、本発明に係る情報表示制御装置、情報表示制御方法及びプログラムの一例であり、これに限定されるものではない。
【００６８】
上記実施の形態及び各変形例の少なくとも２つを組み合わせることとしてもよい。
【００６９】
また、上記実施の形態及び変形例においては、１種類の対象物体を認識し、当該対象物体に対応する対象の動きを検出し、当該対象物体に対応する付加画像データを表示する構成としたが、これに限定されるものではない。ウェアラブル端末１０が、複数種類の対象物体を認識可能とし、当該認識した対象物体に対応する対象の動きを検出し、当該認識した対象物体及び対象の動きに対応する付加画像データを表示する構成としてもよい。
【００７０】
また、上記実施の形態及び変形例においては、対象物体が缶ジュースであり、付加画像（付加画像データ）が広告画像である例を説明したが、これに限定されるものではない。対象物体が、店舗のドア、果物等の食材等、他の物体である構成としてもよい。例えば、対象物体が店舗のドアである場合に、対象の動きとしてドアが開いた動きを検出した場合に、その店舗の広告がドアから出てくる付加画像データを表示する構成としてもよい。また、対象物体が果物である場合に、対象の動きとして果物が調理（皮むき、切断等）された動きを検出した場合に、その果物に関する広告が果物から出てくる付加画像データを表示する構成としてもよい。
【００７１】
また、上記実施の形態及び変形例においては、対象の変化として、撮像画像データから対象の動きを検出する構成としたが、これに限定されるものではない。対象の変化として、撮像画像データの色の変化や、入力された音の変化等、他の変化を検出する構成としてもよい。例えば、対象物体が信号機であり、信号機の点灯色の青から赤への変化を検出した場合に、信号機に設けられる各種広告の付加画像データを信号機の上辺の上に表示し、同じく赤から青への変化を検出した場合に、表示中の付加画像データを消去する（表示しない）構成としてもよい。また、ウェアラブル端末１０が、動き検出部１３に代えて操作部１７に入力された音の変化を検出する音変化検出部を備え、対象物体が缶ジュースであり、音変化検出部が、プルタブが閉まった状態から開放状態への音の変化を検出した場合に、缶ジュースの会社に関する広告の付加画像データ（例えば、付加画像Ｃ１）を表示する構成としてもよい。
【００７２】
また、上記実施の形態及び変形例においては、付加画像（付加画像データ）が広告画像であるものとしたが、これに限定されるものではない。付加画像が、対象物体に関する案内画像等、他の画像としてもよい。例えば、対象物体としての缶ジュースを手に持つ動きを検出した場合に、プルトップの位置を案内する矢印の付加画像を、プルトップの実像に対応する位置で表示部１５に表示する構成としてもよい。
【００７３】
また、上記実施の形態及び変形例においては、情報表示制御装置が、レンズ付きの眼鏡型端末としてのウェアラブル端末１０である構成としたが、これに限定されるものではない。情報表示制御装置が、レンズ無しの眼鏡型端末である構成としてもよい。また、情報表示制御装置が、スマートフォン、タブレットＰＣ等、他の装置である構成としてもよい。情報表示制御装置が、スマートフォン等であり、撮像部により撮像したスルー画像をＬＣＤ（Liquid Crystal Display）等の表示部に表示する機能がある場合に、ＡＲ表示用の付加画像（付加画像データ）は、スルー画像に合成されて表示部に表示される。
【００７４】
また、上記実施の形態及び変形例においては、対象物体の認識、対象の動きの検出、付加画像データの表示制御を行う情報表示制御装置が、ウェアラブル端末１０である構成としたが、これに限定されるものではない。対象物体の認識等を行う情報表示制御装置が、ウェアラブル端末とは別のサーバ３０等の装置である構成としてもよい。例えば、情報表示制御装置がサーバ３０である場合に、ウェアラブル端末１０は、撮像した撮像画像データをサーバ３０に送信する。そして、サーバ３０は、ウェアラブル端末１０から取得した撮像画像データから、対象物体の認識、対象の動きの検出を行う。そして、サーバ３０は、対象の動きが検出されると、付加画像データを自機の記憶部から読み出してウェアラブル端末１０に送信して表示部１５に表示させる。
【００７５】
また、上記第２の変形例では、ウェアラブル端末１０が、対象物体が認識された場合に、撮像画像データから２種類の対象の動きを１つずつ順次検出し、当該１つの対象の動きの変化が検出された場合に、対象物体及び当該検出された１つの対象の動きに対応する付加画像データを表示させることを、２段階で繰り返す構成としたが、これに限定されるものではない。ウェアラブル端末１０が、対象物体が認識された場合に、撮像画像データから３種類以上の対象の動きを１つずつ順次検出し、当該１つの対象の動きの変化が検出された場合に、対象物体及び当該検出された１つの対象の動きに対応する付加画像データを表示させることを、３段階以上で繰り返す構成としてもよい。
【００７６】
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭ、内蔵のフラッシュメモリを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【００７７】
また、上記実施の形態及び変形例におけるＡＲ表示システム１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。
【００７８】
今回開示された実施の形態及び変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７９】
１  ＡＲ表示システム
１０  ウェアラブル端末
１１  撮像部
１２  物体認識部
１３  動き検出部
１４  表示制御部
１５  表示部
１６  記憶部
１７  操作部
１８  通信部
１９  レンズ・フレーム部
２０  端末装置
３０  サーバ
Ｎ  通信ネットワーク
【図１】
2015135645.tif 000003
【図２】
2015135645.tif 000004
【図３】
2015135645.tif 000005
【図４】
2015135645.tif 000006
【図５】
2015135645.tif 000007
【図６】
2015135645.tif 000008
【図７】
2015135645.tif 000009