(57)【特許請求の範囲】
【請求項１】
表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させる表示制御部、
を備え、
前記表示制御部は、認識された回数が多い又は時間が長い、前記実オブジェクト及び前記表示オブジェクトの組み合わせについての対応関係を示す情報に基づく前記提供情報を優先的に表示させる、
情報処理システム。
【請求項２】
前記表示制御部は、前記実オブジェクト又は前記表示オブジェクトが認識されてから、指定されたタイムラグを設けて前記提供情報を表示させる、請求項１に記載の情報処理システム。
【請求項３】
前記表示制御部は、認識された前記表示オブジェクト又は前記実オブジェクトの位置に基づいて前記提供情報を表示させる、請求項１に記載の情報処理システム。
【請求項４】
前記表示制御部は、認識された前記表示オブジェクト及び前記実オブジェクトの位置に基づいて前記提供情報を表示させる、請求項３に記載の情報処理システム。
【請求項５】
前記提供情報は、認識された前記表示オブジェクトの位置、又は前記実オブジェクトの位置に基づいて生成される、請求項１〜４のいずれか一項に記載の情報処理システム。
【請求項６】
前記提供情報は、認識された前記表示オブジェクトの位置、及び前記実オブジェクトの位置に基づいて決定される、請求項５に記載の情報処理システム。
【請求項７】
前記表示制御部は、前記表示オブジェクトと前記実オブジェクトとの対応関係を示す情報に基づいて前記提供情報を表示させる、請求項１に記載の情報処理システム。
【請求項８】
前記対応関係を示す情報は、前記実オブジェクトと前記表示オブジェクトとの相対的な配置を示す情報を含み、
前記表示制御部は、前記相対的な配置を示す情報に基づいて前記提供情報を表示させる、請求項７に記載の情報処理システム。
【請求項９】
前記情報処理システムは、前記対応関係を示す情報を記憶部から取得する記憶制御部をさらに備える、請求項７又は８に記載の情報処理システム。
【請求項１０】
前記記憶制御部は、前記実オブジェクトの撮像画像、立体形状を示す情報、又は前記物体表面における位置を示す情報により前記実オブジェクトを同定する、請求項９に記載の情報処理システム。
【請求項１１】
前記記憶制御部は、前記実オブジェクトが検出された時間帯を示す情報により前記実オブジェクトを同定する、請求項１０に記載の情報処理システム。
【請求項１２】
前記記憶制御部は、認識された前記表示オブジェクト及び前記実オブジェクトの組み合わせを対応付けた前記対応関係を示す情報を前記記憶部に記憶させる、請求項９〜１１のいずれか一項に記載の情報処理システム。
【請求項１３】
前記提供情報は、認識された前記実オブジェクトと前記対応関係を示す情報において対応付けられた前記表示オブジェクトに関する情報である、請求項７〜１２のいずれか一項に記載の情報処理システム。
【請求項１４】
前記提供情報は、認識された前記表示オブジェクトと前記対応関係を示す情報において対応付けられた前記表示オブジェクトに関する情報である、請求項７〜１３のいずれか一項に記載の情報処理システム。
【請求項１５】
前記表示制御部は、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応付けられた広告情報を表示させる、請求項１〜１４のいずれか一項に記載の情報処理システム。
【請求項１６】
前記表示制御部は、認識されたユーザの生体情報に応じた前記提供情報を表示させる、請求項１〜１５のいずれか一項に記載の情報処理システム。
【請求項１７】
前記表示制御部は、認識されたユーザの周辺の装置に応じた前記提供情報を表示させる、請求項１〜１６のいずれか一項に記載の情報処理システム。
【請求項１８】
表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させるようプロセッサにより制御し、認識された回数が多い又は時間が長い、前記実オブジェクト及び前記表示オブジェクトの組み合わせについての対応関係を示す情報に基づく前記提供情報を優先的に表示させること、
を含む情報処理方法。
【請求項１９】
コンピュータを、
表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させ、認識された回数が多い又は時間が長い、前記実オブジェクト及び前記表示オブジェクトの組み合わせについての対応関係を示す情報に基づく前記提供情報を優先的に表示させる表示制御部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
スマートフォンやタブレット端末などの、タッチパネルに対する操作によって様々な情報を表示する装置が、広く普及している。タブレット端末については、画面サイズの大型化も図られるようになり、複数のユーザが同時に操作する使われ方も考慮されるようになりつつある。また、情報を表示する装置としては、従来からプロジェクタが用いられている。
【０００３】
このような情報を表示する装置の普及に伴い、表示された情報に対する多様な操作を可能にするための様々なユーザインタフェースが提案されている。例えば、下記特許文献１では、携帯端末により撮影等された画像をキーとしてデータベースを参照することで、ＵＲＬなどの対応する情報を読み出す技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−４８６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
情報が表示される際の装置の周囲の環境や、表示されている情報の状況は、常に一定であるとは限らない。例えば装置の周囲には多様な実オブジェクトが存在し得、また多様な表示オブジェクトが表示され得る。上記事情に鑑みれば、実オブジェクトや表示オブジェクトに応じた適切かつ効率的な情報の表示により、ユーザの利便性を向上させることが求められる。
【０００６】
そこで本開示では、ユーザの利便性を向上させることが可能な、新規かつ改良された情報処理システム、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させる表示制御部、を備える情報処理システムが提供される。
【０００８】
また、本開示によれば、表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させるようプロセッサにより制御すること、を含む情報処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータを、表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させる表示制御部、として機能させるためのプログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、ユーザの利便性を向上させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る情報処理システムの外観構成例を示す図である。
【図２】本実施形態に係る情報処理システムの外観構成例を示す図である。
【図３】本実施形態に係る情報処理システムの外観構成例を示す図である。
【図４】本実施形態に係る情報処理システムの論理的な構成の一例を示すブロック図である。
【図５】本実施形態に係る情報処理システムの論理的な構成の一例を示すブロック図である。
【図６】本実施形態に係る情報処理システムにおいて実行される対応関係ＤＢの更新処理の流れの一例を示すフローチャートである。
【図７】本実施形態に係る情報処理システムにおいて実行される実オブジェクト認識処理の流れの一例を示すフローチャートである。
【図８】本実施形態に係る情報処理システムにおいて実行される実オブジェクト同定処理の流れの一例を示すフローチャートである。
【図９】本実施形態に係る位置マップの取得処理の一例を説明するための図である。
【図１０】本実施形態に係る位置マップの一致率の算出処理の一例を説明するための図である。
【図１１】本実施形態に係る情報処理システムにおいて実行される実オブジェクトＤＢ更新処理の流れの一例を示すフローチャートである。
【図１２】本実施形態に係る実オブジェクトＤＢにおける位置マップの更新処理の一例を説明するための図である。
【図１３】本実施形態に係る情報処理システムにおいて実行される提供情報表示処理の流れの一例を示すフローチャートである。
【図１４】本実施形態に係る情報処理システムにおいて実行される提供情報表示処理の流れの一例を示すフローチャートである。
【図１５】本実施形態に係る表示オブジェクトＤＢに格納される情報の一例を示す図である。
【図１６】本実施形態に係る実オブジェクトＤＢに格納される情報の一例を示す図である。
【図１７】本実施形態に係る実オブジェクトＤＢに格納される情報の一例を示す図である。
【図１８】本実施形態に係る実オブジェクトの同定処理の一例を説明するための図である。
【図１９】本実施形態に係る実オブジェクトの同定処理の一例を説明するための図である。
【図２０】本実施形態に係るローカルの対応関係ＤＢに関する処理の一例を説明するための図である。
【図２１】本実施形態に係るローカルの対応関係ＤＢに関する処理の一例を説明するための図である。
【図２２】本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。
【図２３】本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。
【図２４】本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。
【図２５】本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。
【図２６】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて情報処理システム１００Ａ、１００Ｂ及び１００Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、情報処理システム１００Ａ、１００Ｂ及び１００Ｃを特に区別する必要が無い場合には、単に情報処理システム１００と称する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．構成例
１．１．外観構成例
１．２．機能構成例
２．機能詳細
２．１．ＤＢ更新機能
２．２．提供情報表示機能
３．具体例
４．ハードウェア構成例
５．まとめ
【００１５】
＜＜１．構成例＞＞
＜１．１．外観構成例＞
まず、本開示の一実施形態に係る情報処理システム１００の外観構成について説明する。
【００１６】
図１は、本実施形態に係る情報処理システム１００Ａの外観構成例を示す図である。図１に示したように、本実施形態に係る情報処理システム１００Ａは、入力部１１０Ａと、出力部１３０Ａと、を含んで形成される。図１に示した情報処理システム１００Ａは、テーブル１４０Ａの天面に情報を表示し、テーブル１４０Ａに表示した情報に対して情報処理システム１００Ａを使用するユーザに操作をさせるシステムである。図１のようにテーブル１４０Ａの天面に情報を表示する方式を「プロジェクション型」とも称する。
【００１７】
入力部１１０Ａは、情報処理システム１００Ａを使用するユーザの操作内容や、テーブル１４０Ａに置かれている物体の形状や模様などを入力する装置である。図１に示した例では、入力部１１０Ａは、テーブル１４０Ａの上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部１１０Ａは、情報が表示される対象となるテーブル１４０Ａとは離隔して設けられる。入力部１１０Ａとしては、例えば１つのレンズでテーブル１４０Ａを撮像するカメラや、２つのレンズでテーブル１４０Ａを撮像して奥行き方向の情報（深度情報）を記録することが可能なステレオカメラ等が用いられ得る。
【００１８】
入力部１１０Ａとして、１つのレンズでテーブル１４０Ａを撮像するカメラが用いられる場合、情報処理システム１００Ａは、そのカメラが撮像した画像を解析することで、テーブル１４０Ａに置かれた物体を認識することが出来る。また入力部１１０Ａとしてステレオカメラが用いられる場合、入力部１１０Ａは、深度情報を取得することが可能となる。入力部１１０Ａが、深度情報を取得することで、情報処理システム１００Ａは、例えばテーブル１４０Ａの上に置かれた手や物体等の認識が可能になる。また入力部１１０Ａが、深度情報を取得することで、情報処理システム１００Ａは、テーブル１４０Ａへのユーザの手の接触、近接の認識やテーブル１４０Ａからの手の離脱の認識が可能となる。なお、以下の説明では、ユーザが情報の表示面に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。このように、入力部１１０Ａは、テーブル１４０Ａを撮像する画像センサ、テーブル１４０Ａ上の深度情報を取得する深度センサ、及びテーブル１４０Ａへの接触を認識するタッチセンサとしての機能を有する。
【００１９】
以下では、ユーザの操作が、入力部１１０Ａによって撮像された画像から認識される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、ユーザの指等の接触を認識するタッチパネルによって認識されてもよい。また入力部１１０Ａが取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。
【００２０】
出力部１３０Ａは、入力部１１０Ａによって入力された、情報処理システム１００Ａを使用するユーザの操作内容や、出力部１３０Ａが出力している情報の内容、テーブル１４０Ａに置かれている物体の形状や模様等の情報に応じて、テーブル１４０Ａに情報を表示したり、音声を出力したりする装置である。出力部１３０Ａとしては、例えばプロジェクタやスピーカ等が用いられる。図１に示した例では、出力部１３０Ａは、テーブル１４０Ａの上方に、例えば天井から吊り下げられた状態で設けられる。出力部１３０Ａがプロジェクタで形成される場合、出力部１３０Ａは、テーブル１４０Ａの天面に情報を投影する。
【００２１】
情報処理システム１００Ａを使用するユーザは、出力部１３０Ａがテーブル１４０Ａに表示する情報に対して、指などをテーブル１４０Ａに置いて操作することが出来る。また情報処理システム１００Ａを使用するユーザは、テーブル１４０Ａに物体を置いて入力部１１０Ａに認識させることで、その認識させた物体に関する種々の操作を実行することが出来る。
【００２２】
なお、図１には図示しないが、情報処理システム１００Ａには他の装置が接続されていても良い。例えば情報処理システム１００Ａには、テーブル１４０Ａを照らすための照明機器が接続されていても良い。情報処理システム１００Ａにテーブル１４０Ａを照らすための照明機器が接続されていることで、情報処理システム１００Ａは、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。
【００２３】
本開示の一実施形態に係る情報処理システム１００の形態は、図１に示したものに限定されるものではない。以下では、図２及び図３を参照して、本実施形態に係る情報処理システム１００のさらなる別の形態の例を説明する。
【００２４】
図２は、本実施形態に係る情報処理システム１００Ｂの外観構成例を示す図である。図２に示した情報処理システム１００Ｂでは、テーブル１４０Ｂの天面にタッチパネル式のディスプレイが形成されている。本構成例の場合、出力部１３０Ｂは、タッチパネル式のディスプレイとして形成され得る。即ち、本構成例の場合、情報の表示面はタッチパネル式のディスプレイとなる。図２のようにテーブル１４０Ｂの天面に設けたタッチパネルに情報を表示する方式を「タッチパネル型」とも称する。図２に示したように、入力部１１０Ｂは、タッチパネル式のディスプレイとして形成されてもよいし、テーブル１４０Ｂの上方にテーブル１４０Ｂとは離隔して設けられてもよい。例えば、タッチパネル式のディスプレイとして形成された入力部１１０Ｂはタッチセンサとして機能し、テーブル１４０Ｂの上方に設けられた入力部１１０Ｂは画像センサ及び深度センサとして機能する。
【００２５】
図３は、本実施形態に係る情報処理システム１００Ｃの外観構成例を示す図である。図３に示した情報処理システム１００Ｃは、テーブル１４０Ｃの下から情報を出力部１３０Ｃに照射させることで、テーブル１４０Ｃの表面に情報を表示させるように形成されているものである。すなわち、図３に示した情報処理システム１００Ｃでは、情報の表示面はテーブル１４０Ｃの天面となる。テーブル１４０Ｃの面はガラス板や透明プラスチック板等の透明又は半透明な材質で形成される。図３のようにテーブル１４０Ｃの下から情報を出力部１３０Ｃに照射させて、テーブル１４０Ｃの天面に情報を表示する方式を「リアプロジェクション型」とも称する。図３に示したように、入力部１１０Ｃは、テーブル１４０Ｃの上方にテーブル１４０Ｃとは離隔して設けられてもよいし、テーブル１４０Ｃの下方にテーブル１４０Ｃとは離隔して設けられてもよい。例えば、テーブル１４０Ｃの上方に設けられた入力部１１０Ｃは画像センサ及び深度センサとして機能し、テーブル１４０Ｃの下方に設けられた入力部１１０Ｃはタッチセンサとして機能する。
【００２６】
以下の説明では、図１に示したようなプロジェクション型の情報処理システム１００を例にして説明する。また、アプリケーションウィンドウや画像、映像等の、出力部１３０により表示される情報を、表示オブジェクトとも称する。以下では、表示オブジェクトはアプリケーションウィンドウであるものとして説明する。また、テーブル１４０Ａの天面に置かれたりかざされたりする等、情報処理システム１００の周囲に存在する物体を、実オブジェクトとも称する。ユーザの体も、実オブジェクトとして捉えてもよい。表示オブジェクトは、多様な物体表面上に表示され得る。例えば、表示オブジェクトは、テーブル１４０Ａの天面に投影されてもよいし、テーブル１４０Ａ上に載置されたスクリーン等の実オブジェクト上に投影されてもよい。本明細書では、表示オブジェクトが表示される物体表面を、単に表示面とも称する。
【００２７】
＜１．２．機能構成例＞
続いて、本実施形態に係る情報処理システム１００の機能構成について説明する。
【００２８】
図４は、本実施形態に係る情報処理システム１００の論理的な構成の一例を示すブロック図である。図４に示すように、本実施形態に係る情報処理システム１００は、入力部１１０、制御部１２０、出力部１３０及び記憶部１５０を含む。
【００２９】
（１）入力部１１０
入力部１１０は、入力部１１０への各種情報の入力を受け付ける機能を有する。例えば、入力部１１０は、上述したようにテーブル１４０Ａを撮像する画像センサ、テーブル１４０Ａ上の深度情報を取得する深度センサ、及びテーブル１４０Ａへの接触を認識するタッチセンサとしての機能を有する。出力部１３０により情報が表示される範囲と入力部１１０が情報の入力を受け付ける範囲とは、同一であってもよいし互いに相違していてもよい。例えば、入力部１１０は、出力部１３０による表示範囲より広い範囲を対象とした画像データ、深度情報、接触情報を取得し得る。
【００３０】
画像センサとしては、入力部１１０は、例えば可視光カメラ、又は赤外線カメラにより形成され得る。深度センサとしては、入力部１１０は、例えばステレオカメラ、time  of  flight方式の測距センサ、又はstructured  light方式の測距センサにより形成され得る。タッチセンサとしては、入力部１１０は、タッチパネルにより形成されてもよいし、深度情報により接触を認識してもよい。
【００３１】
他にも、入力部１１０は、ユーザの体温や発汗、脈拍等の生体情報を取得する生体センサにより形成されていてもよい。
【００３２】
（２）制御部１２０
制御部１２０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム１００内の動作全般を制御する。例えば制御部１２０は、入力部１１０が入力した情報を用いて、出力部１３０から出力する情報を生成する。図４に示すように、制御部１２０は、認識部１２２、記憶制御部１２４及び表示制御部１２６として機能する。
【００３３】
（２．１）認識部１２２
認識部１２２は、情報処理システム１００周辺の実オブジェクトを認識する機能を有する。例えば、認識部１２２は、表示オブジェクトが表示される物体（例えば、図１に示したテーブル１４０Ａ）表面における表示オブジェクト及び実オブジェクトを認識する。例えば、認識部１２２は、出力部１３０により出力される情報を参照して、表示面に表示される表示オブジェクトを認識してもよい。また、認識部１２２は、入力部１１０により入力された画像情報及び深度情報に基づいて、実オブジェクトの形状や模様等を認識してもよい。また、認識部１２２は、入力部１１０により入力されたセンシング結果に基づいて、ユーザの生体情報を認識してもよい。また、認識部１２２は、入力部１１０により入力された画像情報や深度情報に基づいて、ユーザが装着している腕時計や把持するスマートフォン等の、周辺に存在する装置を認識したりしてもよい。
【００３４】
なお、情報処理システム１００が図１に示したプロジェクション型の場合、情報の表示面の座標と、ユーザの手等の操作体の表示面への接触座標とが一致するように予め校正されることで、認識部１２２は、ユーザの手等の操作体が、ＧＵＩのどの部分に接触したかを認識することが可能になる。
【００３５】
（２．２）記憶制御部１２４
記憶制御部１２４は、記憶部１５０にアクセスして、情報を取得したり記憶したりする機能を有する。
【００３６】
例えば、記憶制御部１２４は、認識部１２２により認識された表示オブジェクト及び実オブジェクトの組み合わせを対応付けた情報を、記憶部１５０に記憶させてもよい。これにより、同じタイミングで認識された、表示面に表示されたひとつ以上の表示オブジェクトと表示面上のひとつ以上の実オブジェクトとが対応付けられる。このような対応関係を示す情報を、以下では対応関係情報とも称する。また、記憶制御部１２４は、表示オブジェクトと実オブジェクトとの対応関係情報を記憶部１５０から取得してもよい。これにより、記憶制御部１２４は、過去に同じタイミングで認識された表示オブジェクトと実オブジェクトとの組み合わせを示す情報を取得することができる。
【００３７】
記憶部１５０は、所定の記録媒体に対してデータの記録再生を行う部位である。記憶部１５０は、後述する表示オブジェクトＤＢ（ＤａｔａＢａｓｅ）、実オブジェクトＤＢ、及び対応関係ＤＢを記憶し得る。記憶部１５０は、情報処理システム１００に固有の情報を記憶してもよいし、他の情報処理システム１００との間で共有される情報を記憶してもよい。例えば、記憶部１５０は、情報処理システム１００内に設けられてもよいし、ネットワーク等に接続されたサーバ等の別箇の装置として設けられてもよい。便宜上、本明細書では、情報処理システム１００に固有の情報に関しては「ローカルの」と形容し得、他の情報処理システム１００との間で共有される情報に関しては「クラウド上の」と形容し得る。
【００３８】
表示オブジェクトＤＢは、表示オブジェクトに関する情報を格納する。例えば、表示オブジェクトＤＢは、下記の表１に示す情報を記憶する。識別情報は、表示オブジェクトを識別するための情報である。識別情報は、表示オブジェクトそのものを一意に識別するための情報を含んでいてもよいし、例えば表示オブジェクトが音楽プレイヤーであれば「娯楽用アプリケーション」等の表示オブジェクトのカテゴリを示す情報を含んでいてもよい。表示オブジェクトの内容は、アプリケーション種別等の表示オブジェクトの内容を示す情報である。
【表１】
0006586758.tif 000002
【００３９】
実オブジェクトＤＢは、実オブジェクトに関する情報を格納する。例えば、実オブジェクトＤＢは、下記の表２に示す情報を記憶する。識別情報は、実オブジェクトを識別するための情報である。識別情報は、実オブジェクトそのものを一意に識別するための情報を含んでいてもよいし、例えば実オブジェクトがコーヒーカップであれば「食器」等の実オブジェクトのカテゴリを示す情報を含んでいてもよい。画像情報は、入力部１１０により取得された画像データにより得られた、実オブジェクトの撮像画像を示す情報である。立体形状情報は、実オブジェクトの立体形状を示す情報であり、例えば入力部１１０により取得された実オブジェクトの深度情報である。位置マップは、入力部１１０により取得された深度情報により得られた、表示面における実オブジェクトの存在確率を示す情報である。他の属性情報は、実オブジェクトに関する属性を示す情報であり、例えば当該実オブジェクトが認識された時間帯を示す情報や、実オブジェクトの温度を示す情報等が含まれ得る。なお、時間帯を示す情報は、分単位、時間単位、日にち単位等の任意の単位であってもよいし、曜日や平日／休日により区別されてもよい。
【表２】
0006586758.tif 000003
【００４０】
対応関係ＤＢは、対応関係情報を格納する。例えば、対応関係ＤＢは、下記の表３に示す情報を記憶する。エントリの識別情報は、対応関係情報の識別情報である。表示オブジェクトの識別情報は、対応付けられた表示オブジェクトを識別するための識別情報であり、ひとつ以上の識別情報が含まれ得る。実オブジェクトの識別情報は、対応付けられた実オブジェクトを識別するための識別情報であり、ひとつ以上の識別情報が含まれ得る。配置情報は、実オブジェクトと表示オブジェクトとの相対的な配置を示す情報である。配置を示す情報としては、相対的な方向、距離、向き、大きさ等を含む。関連度とは、実オブジェクトと表示オブジェクトとが関連する度合を示す情報であり、例えば表示オブジェクトと実オブジェクトが同時に使用された時間や回数が増えるほど増加する。他にも、対応関係情報として、タイムラグを示す情報が含まれていてもよい。例えば、ユーザが実オブジェクトをテーブル１４０Ａ上に置いてから表示オブジェクトが表示されるまでのタイムラグ、又はその逆のタイムラグを示す情報が含まれ得る。
【表３】
0006586758.tif 000004
【００４１】
なお、上記ではＤＢの内容を表で示したが、例えばリレーショナルデータベース等の形式で実現されてもよい。
【００４２】
（２．３）表示制御部１２６
表示制御部１２６は、出力部１３０を制御して情報を出力させる機能を有する。
【００４３】
例えば、表示制御部１２６は、入力部１１０により入力された情報に応じて、表示オブジェクトの表示制御を行うための表示制御信号を生成する。具体的には、表示制御部１２６は、表示オブジェクトの描画制御や、各表示オブジェクトへのタッチに対応する画面遷移の制御等を行う。
【００４４】
例えば、表示制御部１２６は、認識部１２２による認識結果に基づいて、認識された表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を出力部１３０に表示させてもよい。これにより、ユーザは、例えば表示されている表示オブジェクトに対応する実オブジェクトに関する情報の提供を受けたり、テーブル１４０Ａ上に置いている実オブジェクトに対応する表示オブジェクトに関する情報の提供を受けたりすることができる。その際、表示制御部１２６は、記憶制御部１２４により取得された対応関係情報に基づいて提供情報を表示してもよい。その場合、ユーザは、過去のユーザ自身の表示オブジェクト及び実オブジェクトの使い方、又は他のユーザの使い方に応じた内容を含む情報の提供を受けることができる。このようにして、ユーザの利便性が向上し得る。
【００４５】
提供情報の表示形態及び内容は、認識部１２２による認識結果により変化し得る。まず、表示形態に関して説明する。
【００４６】
例えば、表示制御部１２６は、認識された表示オブジェクト及び／又は実オブジェクトの識別情報に基づいて提供情報を表示させる位置、大きさ及び／又は姿勢といった配置を制御してもよい。具体的には、表示制御部１２６は、コーヒーカップ（実オブジェクト）が置かれ、ウェブブラウザ（表示オブジェクト）が表示された環境下で、コーヒーカップに対応する配置を採用してもよいし、ウェブブラウザに対応する配置を採用してもよいし、コーヒーカップ及びウェブブラウザに対応する配置を採用してもよい。また、表示制御部１２６は、同環境下で、カテゴリ「食器」に対応する配置を採用してもよいし、カテゴリ「娯楽用アプリケーション」に対応する配置を採用してもよいし、カテゴリ「食器」及びカテゴリ「娯楽用アプリケーション」に対応する配置を採用してもよい。
【００４７】
また、表示制御部１２６は、認識された表示オブジェクト及び／又は実オブジェクトの位置に基づいて提供情報を表示させてもよい。具体的には、表示制御部１２６は、認識された表示オブジェクト及び／又は実オブジェクトの位置に基づいて、提供情報の配置を制御してもよい。さらに、表示制御部１２６は、輝度及びコントラスト等の表示パラメータを制御してもよい。これにより、ユーザは、実オブジェクトを置いた位置及び／又は表示オブジェクトを表示させた位置に応じた表示形態で、情報の提供を受けることができる。
【００４８】
表示制御部１２６は、表示オブジェクト及び実オブジェクトの位置の他にも、多様な情報に基づいて配置を制御し得る。例えば、表示制御部１２６は、下記に一例を示す情報の少なくともいずれかに基づいて配置を制御してもよい。
【００４９】
・実オブジェクトの位置、大きさ及び／又は姿勢
・表示オブジェクトの位置、大きさ及び／又は姿勢、
・実オブジェクトと表示オブジェクトの相対的な位置及び／又は姿勢
・表示オブジェクトに係る処理の状態
・時間帯
・ユーザプロファイル
【００５０】
上記一例を挙げた情報によれば、表示制御部１２６は、同一の実オブジェクト及び／又は表示オブジェクトが認識された場合であっても、絶対的な位置、大きさ、及び／又は姿勢が異なれば異なる配置を採用し得る。また、表示制御部１２６は、同一の実オブジェクト及び／又は表示オブジェクトが認識された場合であっても、相対的な位置及び／又は姿勢が異なれば異なる配置を採用し得る。また、表示制御部１２６は、同一の表示オブジェクトが認識された場合であっても、処理中かユーザ入力待ちか等の当該表示オブジェクトの処理の状態に応じて異なる配置を採用し得る。例えば、表示制御部１２６は、アプリケーションがユーザ入力待ちであれば大きく提供情報を表示させ、ユーザ入力中であれば邪魔しないよう小さく提供情報を表示させてもよい。また、表示制御部１２６は、同一の実オブジェクト及び／又は表示オブジェクトが認識された場合であっても、時間帯及び／又はユーザプロファイルが異なれば異なる配置を採用し得る。
【００５１】
以上、表示形態に関して説明した。続いて、内容に関して説明する。
【００５２】
例えば、提供情報は、認識された表示オブジェクト及び／又は実オブジェクトの識別情報に基づいて生成され、表示されてもよい。具体的には、表示制御部１２６は、コーヒーカップが置かれ、ウェブブラウザが表示された環境下で、コーヒーカップに対応する提供情報を表示させてもよいし、ウェブブラウザに対応する提供情報を表示させてもよいし、コーヒーカップ及びウェブブラウザに対応する提供情報を表示させてもよい。また、表示制御部１２６は、同環境下で、カテゴリ「食器」に対応する提供情報を表示させてもよいし、カテゴリ「娯楽用アプリケーション」に対応する提供情報を表示させてもよいし、カテゴリ「食器」及びカテゴリ「娯楽用アプリケーション」に対応する提供情報を表示させてもよい。
【００５３】
ここで、表示オブジェクト及び実オブジェクトに対応する提供情報の一例を説明する。例えば、コーヒーカップが置かれ、ウェブブラウザが表示された環境下では、コーヒーカップ及びウェブブラウザに対応する提供情報として音楽プレイヤーが表示され得る。また、コーヒーカップが置かれ、ニュースアプリケーションが表示された環境下では、コーヒーカップ及びニュースアプリケーションに対応する提供情報としてスケジュールアプリケーションが表示され得る。また、雑誌が置かれ、ニュースアプリケーションが表示された環境下では、雑誌及びニュースアプリケーションに対応する提供情報として広告が表示され得る。
【００５４】
また、提供情報は、認識された表示オブジェクト及び／又は実オブジェクトの位置に基づいて生成されてもよい。具体的には、同一の表示オブジェクト及び実オブジェクトの組み合わせに係る対応関係情報であっても、配置情報が異なれば異なる対応関係情報として取り扱われる。このため、認識される表示オブジェクト及び／又は実オブジェクトの位置が異なれば、提供情報の生成のために異なる対応関係情報が参照され、異なる提供情報が生成され得る。これにより、ユーザは、実オブジェクトを置いた位置及び／又は表示オブジェクトを表示させた位置に応じた情報の提供を受けることができる。
【００５５】
提供情報は、表示オブジェクト及び実オブジェクトの位置の他にも、多様な情報に基づいて生成され得る。例えば、表示制御部１２６は、下記に一例を示す情報の少なくともいずれかに基づいて提供情報を表示させてもよい。
【００５６】
・実オブジェクトの位置、大きさ及び／又は姿勢
・表示オブジェクトの位置、大きさ及び／又は姿勢、
・実オブジェクトと表示オブジェクトの相対的な位置及び／又は姿勢
・表示オブジェクトに係る処理の状態
・時間帯
・ユーザプロファイル
【００５７】
上記一例を挙げた情報によれば、表示制御部１２６は、同一の実オブジェクト及び／又は表示オブジェクトが認識された場合であっても、絶対的な位置、大きさ、及び／又は姿勢が異なれば異なる提供情報を表示させ得る。また、表示制御部１２６は、同一の実オブジェクト及び／又は表示オブジェクトが認識された場合であっても、相対的な位置及び／又は姿勢が異なれば異なる提供情報を表示させ得る。また、表示制御部１２６は、同一の表示オブジェクトが認識された場合であっても、表示オブジェクトの処理の状態に応じて異なる提供情報を表示させ得る。例えば、表示制御部１２６は、ウェブブラウザがファイルをダウンロード中であれば待ち時間を有効活用するために音楽プレイヤーを表示させ、ダウンロード完了後はファイルマネージャを表示させてもよい。また、表示制御部１２６は、同一の実オブジェクト及び／又は表示オブジェクトが認識された場合であっても、時間帯及び／又はユーザプロファイルが異なれば異なる提供情報を表示させ得る。
【００５８】
以上、認識結果により変化する提供情報の表示形態及び内容について説明した。
【００５９】
表示制御部１２６は、対応関係情報に係る組み合わせの一部が認識され、他の一部が認識されない場合、認識されていない表示オブジェクト又は実オブジェクトに関する情報を提供情報として表示し得る。提供情報は、認識部１２２により認識された実オブジェクトと対応関係情報において対応付けられた表示オブジェクトに関する情報であってもよい。例えば、表示制御部１２６は、認識された実オブジェクトに対応する表示オブジェクトがまだ表示されていない場合に、当該表示オブジェクトを表示してもよい。これにより、ユーザが例えば実オブジェクトをテーブル１４０Ａ上に置くだけで、当該実オブジェクトと共に使用されることが多いアプリケーションが表示される。提供情報は、認識部１２２により認識された表示オブジェクトと対応関係情報において対応付けられた表示オブジェクトに関する情報であってもよい。例えば、表示制御部１２６は、表示されている表示オブジェクトに対応する実オブジェクトがまだ認識されない場合、当該実オブジェクトに関する表示オブジェクトを表示してもよい。これにより、ユーザが例えばアプリケーションを起動するだけで、当該アプリケーションと共に使用されることが多い実オブジェクトを想起させる表示オブジェクトが表示される。
【００６０】
また、提供情報は、表示オブジェクト又は実オブジェクトに関する広告情報であってもよい。例えば、表示制御部１２６は、認識部１２２により認識された表示オブジェクト又は実オブジェクトの少なくともいずれかに対応付けられた広告情報を表示してもよい。これにより、ユーザは、例えば起動したアプリケーションやテーブル１４０Ａ上に置いた実オブジェクトに関連する商品の紹介やアプリケーションの紹介を受けることができる。例えば、ユーザがコーヒーカップを置くとチョコレートやクッキーが推薦され得る。この広告情報は、例えば企業等の第三者によりクラウド上の対応関係ＤＢに登録され得る。
【００６１】
表示制御部１２６は、情報処理システム１００自身により得られた対応関係情報に基づいて提供情報を表示してもよい。即ち、表示制御部１２６は、ローカルの対応関係ＤＢを参照して提供情報を表示してもよい。これにより、ユーザは、自身の使い方に応じた情報の提供を受けることができる。また、表示制御部１２６は、他の情報処理システム１００における対応関係情報に基づいて提供情報を表示してもよい。即ち、表示制御部１２６は、クラウド上の対応関係ＤＢを参照して提供情報を表示してもよい。これにより、ユーザは、ユーザと同じような使い方をしている他のユーザを含めた集合知に基づく情報の提供を受けることができる。他にも、例えばひとつの家の別の部屋にそれぞれ情報処理システム１００が設置されている場合、互いに表示オブジェクトや実オブジェクトの用途に相違がある場合があることを考慮しつつ、互いの対応関係ＤＢを参照してもよい。さらに、表示制御部１２６は、認識部１２２により認識されたユーザと類似する他のユーザに関する対応関係情報に基づいて提供情報を表示してもよい。例えば、記憶制御部１２４は、予め登録されたユーザのプロフィール情報を参照したり、手の画像や声から性別や年齢層を判定したり、指輪の有無により婚姻の有無を判定したり、肌の色や地域によって人種を判定したりする。そして、表示制御部１２６は、ユーザに類似するプロフィールの他のユーザに関してクラウド上の対応関係ＤＢに登録された対応関係情報に基づいて提供情報を表示してもよい。これにより、ユーザは、ユーザと類似するプロフィールを有する他のユーザに関する集合知に基づく情報の提供を受けることができる。
【００６２】
制御部１２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；中央演算処理装置）などで形成されていてもよい。制御部１２０がＣＰＵ等の装置で形成される場合は、かかる装置は電子回路で形成され得る。
【００６３】
また図４には図示しないが、制御部１２０は、他の装置との間で無線通信を行なうための通信機能や、情報処理システム１００に接続される他の装置、例えば照明機器の動作を制御する機能を有してもよい。
【００６４】
（３）出力部１３０
出力部１３０は、表示制御部１２６による制御に基づいて、情報を出力する機能を有する。例えば、出力部１３０は、表示制御部１２６により生成された表示制御信号に従って表示オブジェクトを表示する表示部として機能する。出力部１３０は、例えばタッチパネル、液晶画面又はプロジェクタ等により形成され得る。
【００６５】
図４に示した情報処理システム１００は、単独の装置として形成されてもよく、一部または全部が別々の装置で形成されても良い。例えば、図４に示した情報処理システム１００の機能構成例の内、制御部１２０が、入力部１１０及び出力部１３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。制御部１２０がサーバ等の装置に備えられる場合は、入力部１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１２０が入力部１１０からの情報に対して処理を行って、当該サーバ等の装置から、出力部１３０が出力するための情報がネットワーク等を通じて出力部１３０に送られる。このような構成例を、図５を参照して下記説明する。
【００６６】
図５は、本実施形態に係る情報処理システム１００の論理的な構成の一例を示すブロック図である。図５に示すように、本実施形態に係る情報処理システム１００は、入出力装置２００、サーバ３００及び記憶部１５０を含む。
【００６７】
入出力装置２００は、通信部１６０並びに上述した入力部１１０及び出力部１３０を含む。通信部１６０は、サーバ３００との間で通信を行う機能を有する。通信部１６０は、入力部１１０により入力された情報をサーバ３００へ送信し、サーバ３００から受信した表示制御信号を出力部１３０に出力する。
【００６８】
サーバ３００は、通信部１７０、並びに上述した認識部１２２、記憶制御部１２４及び表示制御部１２６を含む。通信部１７０は、入出力装置２００との間で通信を行う機能を有する。通信部１７０は、入力部１１０により入力された情報を入出力装置２００から受信し、表示制御信号を入出力装置２００へ送信する。
【００６９】
以上、本実施形態に係る情報処理システム１００の機能構成例について説明した。続いて、図６〜図１４を参照して、本実施形態に係る情報処理システム１００が有する機能の詳細について説明する。
【００７０】
＜＜２．機能詳細＞＞
＜２．１．ＤＢ更新機能＞
まず、ＤＢ更新機能について説明する。情報処理システム１００は、提供情報を表示するための事前準備として対応関係ＤＢ、実オブジェクトＤＢ及び表示オブジェクトＤＢを更新する。以下では、これらの更新処理について説明する。なお、表示オブジェクトＤＢについては、単に表示し得る表示オブジェクトをＤＢに登録／更新すればよいので、ここでの説明は省略する。
【００７１】
（対応関係ＤＢ更新処理）
図６は、本実施形態に係る情報処理システム１００において実行される対応関係ＤＢの更新処理の流れの一例を示すフローチャートである。
【００７２】
図６に示すように、まず、ステップＳ１０２で、認識部１２２は、有効な表示オブジェクトが表示されているか否かを判定する。認識部１２２は、例えばアイコン化されていてユーザに利用されていないアプリケーションについては、有効でないと判定する。また、認識部１２２は、例えば起動されてから所定時間を経過していないアプリケーションについては、有効でないと判定する。このようにして、利用されていない表示オブジェクトや間違えて表示された表示オブジェクトに関して、後述する処理が行われることが防止される。有効な表示オブジェクトが表示されていないと判定された場合（Ｓ１０２／ＮＯ）、処理は再度ステップＳ１０２に戻る。
【００７３】
有効な表示オブジェクトが表示されていると判定された場合（Ｓ１０２／ＹＥＳ）、ステップＳ１０４で、情報処理システム１００は、実オブジェクト認識処理を行う。実オブジェクト認識処理は、実オブジェクトを認識するための処理である。ここでの処理については図７を参照して後に詳細に説明する。本ステップ以降の処理は、有効な表示オブジェクトのうち、ステップＳ１０６〜Ｓ１２２に係る処理が行われていない表示オブジェクトを対象として、対象の表示オブジェクトごとに行われる。
【００７４】
次いで、ステップＳ１０６で、認識部１２２は、ステップＳ１０４において実オブジェクトが認識されたか否かを判定する。認識されていないと判定された場合（Ｓ１０６／ＮＯ）、処理は後述するステップＳ１２４に進む。
【００７５】
認識されたと判定された場合（Ｓ１０６／ＹＥＳ）、ステップＳ１０８で、情報処理システム１００は、実オブジェクト同定処理を行う。実オブジェクト同定処理は、対象の実オブジェクトを、実オブジェクトＤＢに登録済みの実オブジェクトと同定する処理である。ここでの処理については図８を参照して後に詳細に説明する。本ステップ以降の処理は、認識された実オブジェクトのうち、ステップＳ１０８〜Ｓ１２０に係る処理が行われていない実オブジェクトを対象として、対象の実オブジェクトごとに行われる。
【００７６】
次に、ステップＳ１１０で、情報処理システム１００は、実オブジェクトＤＢ更新処理を行う。実オブジェクトＤＢ更新処理は、実オブジェクトＤＢを更新する処理である。ここでの処理については図１１を参照して後に詳細に説明する。
【００７７】
次いで、ステップＳ１１２で、記憶制御部１２４は、有効な表示オブジェクトと対象の実オブジェクトとの組み合わせに係る対応関係情報は、対応関係ＤＢに登録済みであるか否かを判定する。
【００７８】
登録済みでないと判定された場合（Ｓ１１２／ＮＯ）、ステップＳ１２０で、記憶制御部１２４は、ローカルの対応関係ＤＢにエントリを登録する。例えば、記憶制御部１２４は、対応関係ＤＢに、当該対応関係情報のエントリを追加する。その際、記憶制御部１２４は、実オブジェクトと表示オブジェクトとの配置関係、例えば実オブジェクトから見た表示オブジェクトの方向、距離、向き、大きさ等に基づいて、配置情報を登録する。また、記憶制御部１２４は、関連度に初期値を設定する。その後、処理は後述するステップＳ１２２に進む。
【００７９】
登録済みであると判定された場合（Ｓ１１２／ＹＥＳ）、ステップＳ１１４で、記憶制御部１２４は、ローカルの対応関係ＤＢのエントリを更新する。例えば、記憶制御部１２４は、対応関係ＤＢにおける当該対応関係情報の関連度を増加させる。これにより、当該対応関係情報に基づく提供情報が提供される確率が高まる。なお、対応関係ＤＢに対する直接的な操作や、提供情報がユーザにより拒否された場合等に、関連度は減少し得る。これにより、当該対応関係情報に基づく提供情報が提供される確率が低まる。他にも、記憶制御部１２４は、実オブジェクトと表示オブジェクトとの配置関係に応じて、エントリの配置情報を更新してもよい。
【００８０】
次に、ステップＳ１１６で、記憶制御部１２４は、更新したエントリが所定の条件を満たすか否かを判定する。例えば、記憶制御部１２４は、関連度が閾値を超える場合に満たすと判定し、超えない場合に満たさないと判定する。所定の条件を満たすと判定された場合（Ｓ１１６／ＹＥＳ）、ステップＳ１１８で、記憶制御部１２４は、クラウド上の情報提供ＤＢを更新する。記憶制御部１２４は、エントリが未登録の場合はエントリを登録し、登録済みの場合はエントリを更新する。これにより、関連度が高いエントリに関しては、他の情報処理システム１００との間で情報が共有される。所定の条件を満たさないと判定された場合（Ｓ１１６／ＮＯ）、処理は後述するステップＳ１２２に進む。
【００８１】
ステップＳ１２２で、記憶制御部１２４は、対象の実オブジェクトは全て処理済みであるか否かを判定する。未処理の実オブジェクトがあると判定された場合（Ｓ１２２／ＮＯ）、処理は再度ステップＳ１０８に戻る。処理済みであると判定された場合（Ｓ１２２／ＹＥＳ）、ステップＳ１２４で、認識部１２２は、有効な表示オブジェクトは全て処理済みであるか否かを判定する。処理済みであると判定された場合（Ｓ１２４／ＹＥＳ）に処理は終了し、未処理の表示オブジェクトがあると判定された場合（Ｓ１２４／ＮＯ）に処理は再度ステップＳ１０４に戻る。
【００８２】
（実オブジェクト認識処理）
図７は、本実施形態に係る情報処理システム１００において実行される実オブジェクト認識処理の流れの一例を示すフローチャートである。
【００８３】
図７に示すように、まず、ステップＳ２０２で、認識部１２２は、初期状態の深度情報を設定する。例えば、認識部１２２は、ある時刻における表示面上の深度情報を、初期状態の深度情報として設定する。認識部１２２は、情報処理システム１００が起動した時点の状態を初期状態の深度情報として設定してもよいし、実オブジェクトが追加又は取り除かれる度に初期状態の深度情報を更新してもよい。初期状態の深度情報は、表示面上に何も実オブジェクトが存在しない状態の深度情報であってもよいし、表示面上に何らかの実オブジェクトが存在する場合の深度情報であってもよい。
【００８４】
次いで、ステップＳ２０４で、認識部１２２は、表示面上の深度情報を取得する。そして、ステップＳ２０６で、認識部１２２は、初期状態の深度情報と取得した深度情報とを比較する。例えば、認識部１２２は、取得した深度情報において、初期状態の深度情報よりも高さが高い領域がある場合、当該領域に実オブジェクトが追加されたと判定する。また、認識部１２２は、取得した深度情報において、初期状態の深度情報よりも高さが低い領域がある場合、当該領域から実オブジェクトが取り除かれたと判定する。
【００８５】
実オブジェクトが追加されたと判定された場合（Ｓ２０８／ＹＥＳ）、ステップＳ２１０で、認識部１２２は、追加された実オブジェクトを対象の実オブジェクトとして認識する。本ステップにより、常時テーブル１４０Ａ上に置いてあるティッシュ箱のような動かない実オブジェクトや、テーブル１４０Ａの凹凸等が、対象として取り扱われることを防止することができる。
【００８６】
一方で、実オブジェクトが追加されていないと判定された場合であって（Ｓ２０８／ＮＯ）、実オブジェクトが取り除かれたと判定された場合（Ｓ２１２／ＹＥＳ）、ステップＳ２１４で、認識部１２２は、取り除かれた実オブジェクトを認識対象外とする。
【００８７】
このように、認識部１２２は、表示面上に実オブジェクトが追加されたか又は取り除かれたかを継続的に監視する。これにより、情報処理システム１００は、ユーザにより置かれたり取り除かれたりする実オブジェクトを適切に随時認識することが可能となる。
【００８８】
（実オブジェクト同定処理）
図８は、本実施形態に係る情報処理システム１００において実行される実オブジェクト同定処理の流れの一例を示すフローチャートである。
【００８９】
図８に示すように、まず、ステップＳ３０２で、認識部１２２は、対象の実オブジェクトの情報を取得する。例えば、認識部１２２は、対象の実オブジェクトの撮像画像、立体形状を示す情報、及び表示面における位置を示す情報を取得する。具体的には、認識部１２２は、入力部１１０により入力された実オブジェクトの撮像画像、深度情報、及び位置マップを取得する。ここで、図９を参照して、位置マップの取得方法について説明する。
【００９０】
図９は、本実施形態に係る位置マップの取得処理の一例を説明するための図である。図９に示すように、テーブル１４０Ａの天面にユーザによりコーヒーカップ３０１が置かれる。すると、認識部１２２は、深度情報に基づいて高さが存在する領域３０２を認識して、テーブル１４０Ａの天面の座標系における領域３０２の範囲を、実オブジェクトが存在する領域として表現する位置マップ３０３を取得する。この位置マップ３０３では、高さが認識されたグリッドにおける存在確率が１で、他のグリッドでは０となる。図９では、存在確率の大小に応じて各グリッドに濃淡が付されており、色が濃いグリッドほど存在確率が高い。位置マップの座標系は、例えばテーブル１４０Ａ上の天面を５センチメートル単位のグリッドに区切った直交座標系である。
【００９１】
次いで、ステップＳ３０４で、記憶制御部１２４は、実オブジェクトＤＢのエントリを取得する。例えば、記憶制御部１２４は、実オブジェクトＤＢに登録されたエントリをすべて取得する。
【００９２】
そして、ステップＳ３０６で、記憶制御部１２４は、実オブジェクトを同定する。例えば、記憶制御部１２４は、実オブジェクトの撮像画像、立体形状を示す情報、又は物体表面における位置を示す情報の少なくともいずれかにより実オブジェクトを同定する。具体的には、記憶制御部１２４は、上記ステップＳ３０２において取得された実オブジェクトの撮像画像、深度情報、又は位置マップの少なくともいずれかに類似するエントリ（画像情報、立体形状情報及び位置マップ）を、実オブジェクトＤＢから探索する。例えば、記憶制御部１２４は、下記の数式に基づいて、対象の実オブジェクトとエントリに登録された実オブジェクトとを比較した評価値を計算して、評価値に基づいて実オブジェクトを同定する。
Ｓｃｏｒｅ＝ＦｉＭｉ＋ＦｄＭｄ＋ＦｐＭｐ    ・・・（数式１）
【００９３】
ただし、Ｆｉ、Ｆｄ及びＦｐは、合計が１となる重み係数である。記憶制御部１２４は、環境や設定に応じて重み係数を制御することが可能である。Ｍｉは、撮像画像の一致率を示す。この一致率は、画像を用いた一般的な物体認識手法における相似率に該当する。Ｍｄは、深度情報の一致率を示す。Ｍｉにより、画像のみを用いた物体認識では不可能であった、テクスチャがない実オブジェクトを識別したり、見た目が同じで高さが異なる実オブジェクトを識別したりすることが可能となる。Ｍｉは、後述する位置マップの一致率の算出方法と同様にして算出され得る。Ｍｐは、位置マップの一致率を示す。Ｍｐにより、画像と立体的形状が一致する、即ち見た目と高さが同じ実オブジェクトでも、識別することが可能となる。ここで、図１０を参照して、Ｍｐの算出方法を説明する。
【００９４】
図１０は、本実施形態に係る位置マップの一致率の算出処理の一例を説明するための図である。実オブジェクトＤＢに登録された実オブジェクトの位置マップを符号３１１に示し、ステップＳ３０２において取得された実オブジェクトの位置マップを符号３１２に示した。例えば、記憶制御部１２４は、位置マップ３１１と位置マップ３１２との差分の絶対値をとった位置マップ３１３を求めて、位置マップ３１３の各グリッドにおける差分の平均を、位置マップの一致率として算出する。
【００９５】
一例として、認識された実オブジェクトＡ〜Ｃを、登録済みのある実オブジェクトと同定する例を説明する。例えば、Ｍｉ、Ｍｄ及びＭｐが下記の表４に示すように算出されたとすると、実オブジェクトＡ〜Ｃについての評価値は、次式のように算出される。記憶制御部１２４は、評価値が最も高い実オブジェクトＡが、登録済みの実オブジェクトであると同定し得る。
Ｆｉ＝０．５、Ｆｄ＝０．３、Ｆｐ＝０．２
ＳｃｏｒｅＡ＝０．５×０．９＋０．３×０．９＋０．２×０．９＝０．９
ＳｃｏｒｅＢ＝０．５×０．９＋０．３×０．１＋０．２×０．８＝０．６４
ＳｃｏｒｅＣ＝０．５×０．６＋０．３×０．２＋０．２×０．９＝０．５４
・・・（数式２）
【表４】
0006586758.tif 000005
【００９６】
記憶制御部１２４は、他の属性情報にさらに基づいて実オブジェクトを同定してもよい。例えば、記憶制御部１２４は、実オブジェクトが認識された時間帯を示す情報により実オブジェクトを同定してもよい。これにより、記憶制御部１２４は、同じ実オブジェクトでも時間帯（時間、曜日、平日／休日を含む）が異なれば異なる実オブジェクトであると識別することができる。他にも、記憶制御部１２４は、例えば実オブジェクトの温度により実オブジェクトを同定してもよい。これにより、記憶制御部１２４は、同じ実オブジェクトでも温度が異なれば異なる実オブジェクトであると識別することができる。
【００９７】
（実オブジェクトＤＢ更新処理）
図１１は、本実施形態に係る情報処理システム１００において実行される実オブジェクトＤＢ更新処理の流れの一例を示すフローチャートである。
【００９８】
図１１に示すように、まず、ステップＳ４０２で、記憶制御部１２４は、対象の実オブジェクトは実オブジェクトＤＢに登録済みであるか否かを判定する。例えば、記憶制御部１２４は、図８を参照して上記説明した実オブジェクト同定処理により、対象の実オブジェクトが実オブジェクトＤＢに登録済みの実オブジェクトとして同定されたか否かを判定する。
【００９９】
登録済みであると判定された場合（Ｓ４０２／ＹＥＳ）、ステップＳ４０４で、記憶制御部１２４は、実オブジェクトＤＢのエントリを更新する。例えば、記憶制御部１２４は、実オブジェクトＤＢのエントリの位置マップを更新する。ここで、図１２を参照して、位置マップの更新方法を説明する。
【０１００】
図１２は、本実施形態に係る実オブジェクトＤＢにおける位置マップの更新処理の一例を説明するための図である。図１２の符号３２１は今回認識された実オブジェクトの位置マップであり、符号３２２は当該実オブジェクトの過去数回分の位置マップである。記憶制御部１２４は、これらの位置マップを平均した位置マップ３２３を生成して、この位置マップ３２３によりエントリを更新する。なお、記憶制御部１２４は、同様にして立体形状情報を更新してもよいし、画像情報を更新してもよい。
【０１０１】
＜２．２．提供情報表示機能＞
続いて、提供情報表示機能について説明する。情報処理システム１００は、ＤＢ更新機能により更新した対応関係ＤＢ、実オブジェクトＤＢ及び表示オブジェクトＤＢを用いて、提供情報を表示する提供情報表示処理を行う。
【０１０２】
（提供情報表示処理）
図１３は、本実施形態に係る情報処理システム１００において実行される提供情報表示処理の流れの一例を示すフローチャートである。
【０１０３】
図１３に示すように、まず、ステップＳ５０２で、情報処理システム１００は、実オブジェクト認識処理を行う。ここでの処理は、図７を参照して上記説明した通りである。
【０１０４】
次いで、ステップＳ５０４で、認識部１２２は、新たな実オブジェクトが追加されたか否かを判定する。追加されていないと判定された場合（Ｓ５０４／ＮＯ）、処理は再度ステップＳ５０２へ戻る。
【０１０５】
追加されたと判定された場合（Ｓ５０４／ＹＥＳ）、ステップＳ５０６で、情報処理システム１００は、追加された実オブジェクトについて実オブジェクト同定処理を行う。ここでの処理は、図８を参照して上記説明した通りである。なお、情報処理システム１００は、図１１を参照して上記説明した実オブジェクトＤＢ更新処理を、併せて行ってもよい。
【０１０６】
次に、ステップＳ５０８で、認識部１２２は、表示オブジェクト同定処理を行う。表示オブジェクト同定処理とは、現在表示されている表示オブジェクトを同定する処理である。例えば、認識部１２２は、出力部１３０により出力される情報に基づいて表示面に表示される表示オブジェクトの情報を取得し、表示オブジェクトＤＢを参照して表示オブジェクトを同定する。
【０１０７】
次いで、ステップＳ５１０で、記憶制御部１２４は、上記ステップＳ５０６で同定された実オブジェクト又は上記ステップＳ５０８で同定された表示オブジェクトの少なくともいずれかが対応関係ＤＢに登録済みであるか否かを判定する。
【０１０８】
未登録であると判定された場合（Ｓ５１０／ＮＯ）、処理は終了する。登録済みであると判定された場合（Ｓ５１０／ＹＥＳ）、ステップＳ５１２で、情報処理システム１００は、対応関係ＤＢを参照して提供情報を表示する。ここでの処理については図１４を参照して以下に詳細に説明する。
【０１０９】
図１４は、本実施形態に係る情報処理システム１００において実行される提供情報表示処理の流れの一例を示すフローチャートである。
【０１１０】
図１４に示すように、まず、ステップＳ６０２で、記憶制御部１２４は、ローカルの対応関係ＤＢから関連するエントリを取得する。例えば、記憶制御部１２４は、上記ステップＳ５０６で同定された実オブジェクト又は上記ステップＳ５０８で同定された表示オブジェクトの少なくともいずれかが含まれるエントリを、対応関係ＤＢから取得する。本ステップ以降の処理は、取得されたエントリのうち、ステップＳ６０４〜Ｓ６０８に係る処理が行われていないエントリを対象として、対象のエントリごとに行われる。
【０１１１】
次いで、ステップＳ６０４で、同一のエントリに基づく提供情報がすでに表示されているか否かを判定する。表示されていると判定された場合（Ｓ６０４／ＹＥＳ）、処理は後述するステップＳ６１０に進む。表示されていないと判定された場合（Ｓ６０４／ＮＯ）、ステップＳ６０６で、表示制御部１２６は、対象のエントリの関連度が閾値を超えるか否かを判定する。
【０１１２】
超えないと判定された場合（Ｓ６０６／ＮＯ）、処理は後述するステップＳ６１０に進む。超えると判定された場合（Ｓ６０６／ＹＥＳ）、ステップＳ６０８で、表示制御部１２６は、提供情報を表示する。例えば、表示制御部１２６は、対応関係情報に係る組み合わせの一部が認識され、他の一部が認識されない場合、認識されていない表示オブジェクト又は実オブジェクトに関する情報を提供情報として表示してもよい。その際、表示制御部１２６は、配置情報に基づいて提供情報を表示してもよい。例えば、実オブジェクトが認識され、対応付けられた表示オブジェクトが未認識である場合、認識された実オブジェクトを基準とした相対的な方向、距離、向き、及び大きさで表示オブジェクトを表示する。これにより、ユーザは、例えば実オブジェクトをテーブル１４０Ａ上に置くだけで、当該実オブジェクトと共に使用されることが多いアプリケーションを、利用することが多い形態で起動させることができる。また、表示制御部１２６は、表示オブジェクト又は実オブジェクトに関する広告情報を、提供情報として表示してもよい。
【０１１３】
ここで、表示制御部１２６は、類似度が高い、即ち認識部１２２により認識された回数が多い又は時間が長い組み合わせについての、対応関係情報に基づく提供情報を優先的に表示してもよい。これにより、ユーザは、例えば実オブジェクトをテーブル１４０Ａ上に置くだけで、当該実オブジェクトと共に使用されることが多いアプリケーションを、優先的に起動させることができる。また、表示制御部１２６は、実オブジェクト又は表示オブジェクトが認識されてから、指定されたタイムラグを設けて提供情報を表示してもよい。これにより、ユーザは、例えば実オブジェクトをテーブル１４０Ａ上に置くだけで、当該実オブジェクトと共に使用されることが多いアプリケーションを、使用が開始されるタイミングに合わせて起動させることができる。
【０１１４】
なお、表示制御部１２６は、認識部１２２により認識されたユーザの生体情報に応じた提供情報を表示してもよい。例えば、表示制御部１２６は、ユーザの体温が高いことが認識された場合、興奮状態にあると推定されるユーザのために文字を大きくして表示してもよい。このように、ユーザは、自身の状態に応じた情報の提供を受けることができる。また、表示制御部１２６は、認識部１２２により認識されたユーザの周辺の装置に応じた提供情報を表示してもよい。例えば、表示制御部１２６は、ユーザが腕時計を装着していない場合に、時計のアプリケーションを表示してもよい。このように、ユーザは、自身の周辺の装置に応じた情報の提供を受けることができる。
【０１１５】
以上、ステップＳ６０８における処理について説明した。以下、再度フローチャートの説明に戻る。
【０１１６】
次に、ステップＳ６１０で、記憶制御部１２４は、取得したエントリの全てを処理したか否かを判定する。処理していないと判定された場合（Ｓ６１０／ＮＯ）、処理は再度ステップＳ６０４に戻る。処理したと判定された場合（Ｓ６１０／ＹＥＳ）、ステップＳ６１２で、記憶制御部１２４は、クラウド上の対応関係ＤＢから関連するエントリを取得する。
【０１１７】
次いで、ステップＳ６１４で、表示制御部１２６は、クラウド上の対応関係ＤＢから取得されたエントリに基づく提供情報を表示する。処理内容としては、上記ステップＳ６０８と同様である。ただし、ローカルの対応関係ＤＢは、情報処理システム１００を使用しているユーザの使い方を学習しているのに対し、クラウド上の対応関係ＤＢは他のユーザを含めた集合知である。このため、表示制御部１２６は、上記ステップ６０８では例えばアプリケーションを自動的に起動するのに対し、本ステップでは例えばアプリケーションを起動するよう提案する表示を半透明で行ってもよい。そして、表示制御部１２６は、所定時間内に受け入れられれば起動し、受け入れられなければ取り下げる等してもよい。
【０１１８】
＜＜３．具体例＞＞
続いて、本実施形態に係る情報処理システム１００により実現される機能の具体例を説明する。
【０１１９】
（ＤＢの具体例）
まず、図１５〜図１７、表５及び表６に、記憶部１５０に記憶されるＤＢの具体例を示した。
【０１２０】
図１５は、本実施形態に係る表示オブジェクトＤＢに格納される情報の一例を示す図である。図１５に示すように、エントリＤ１の表示オブジェクトはテレビのアプリケーションである。エントリＤ２の表示オブジェクトはニュースのアプリケーションである。エントリＤ３の表示オブジェクトはタイマーのアプリケーションである。エントリＤ４の表示オブジェクトはタイマーのアプリケーションである。エントリＤ５の表示オブジェクトはラジオのアプリケーションである。エントリＤ６の表示オブジェクトはカレンダーのアプリケーションである。エントリＤ７の表示オブジェクトはチラシのアプリケーションである。エントリＤ８の表示オブジェクトはレシピのアプリケーションである。
【０１２１】
図１６及び図１７は、本実施形態に係る実オブジェクトＤＢに格納される情報の一例を示す図である。図１６に示すように、エントリＲ１の実オブジェクトはカップ麺である。エントリＲ２の実オブジェクトはカップ麺の蓋である。エントリＲ３の実オブジェクトは夫が朝使うコーヒーカップである。エントリＲ４の実オブジェクトは妻が朝使うコーヒーカップである。図１７に示すように、エントリＲ５の実オブジェクトは洋食である。エントリＲ６の実オブジェクトはティーポットである。エントリＲ７の実オブジェクトはティーカップである。エントリＲ８の実オブジェクトは花である。エントリＲ９の実オブジェクトはカトラリーである。なお、図１６及び図１７において、立体形状情報の模様はテーブル１４０Ａからの高さを示している。
【０１２２】
表５は、本実施形態に係るローカルの対応関係ＤＢに格納される情報の一例を示す表である。表６は、本実施形態に係るクラウド上の対応関係ＤＢに格納される情報の一例を示す表である。配置情報は、一例として実オブジェクトから見た表示オブジェクトの方向である例を示している。また、表示オブジェクトの識別情報、及び実オブジェクトの識別情報に関して、理解を容易にするため、内容をそれぞれカッコ書きで記載している。
【表５】
0006586758.tif 000006
【０１２３】
【表６】
0006586758.tif 000007
【０１２４】
（実オブジェクトの同定に係る具体例）
続いて、図１８及び図１９を参照して、実オブジェクトの同定に係る具体例を説明する。
【０１２５】
図１８は、本実施形態に係る実オブジェクトの同定処理の一例を説明するための図である。実オブジェクト４０１は、カップ麺であり、図１６に示したように識別情報Ｒ１が付与されている。実オブジェクト４０２は、カップ麺の蓋であり、図１６に示したように識別情報Ｒ２が付与されている。実オブジェクト４０３は、カップ麺を模した器であり、実オブジェクトＤＢには登録されていないものとする。
【０１２６】
ここで、実オブジェクト４０１〜４０３をテーブル１４０Ａ上の同じような位置に置いて、エントリＲ１の実オブジェクトと同定する例を考える。本例は、上記数式２及び表４を参照して説明した例の、実オブジェクトＡ〜Ｃを実オブジェクト４０１〜４０３に、登録済みの実オブジェクトをエントリＲ１の実オブジェクトに読み替えたものとなる。上記表４に示したように、実オブジェクト４０１〜４０３は外観が類似するため撮像画像の一致率Ｍｉに差異が出ていない一方、深度情報の一致率Ｍｄに顕著な差異が出ている。このため、記憶制御部１２４は、これらの実オブジェクトを区別して同定することが可能である。
【０１２７】
図１９は、本実施形態に係る実オブジェクトの同定処理の一例を説明するための図である。図１９では、朝の時間帯におけるＵＩの一例を示している。
【０１２８】
符号４１１に示すように、まず、夫は自席に座ってコーヒーカップ４２１をテーブル１４０Ａ上に置く。このコーヒーカップ４２１は、図１６に示すようにエントリＲ３として実オブジェクトＤＢに登録されており、表５に示すようにエントリＬＥ２においてテレビのアプリケーションと対応付けて対応関係ＤＢに登録されている。このため、情報処理システム１００は、エントリＬＥ２を参照して、符号４１２に示すようにコーヒーカップ４２１から見て左側にテレビのアプリケーション４２２を起動する。
【０１２９】
次いで、符号４１３に示すように、妻が自席に座ってコーヒーカップ４２３をテーブル１４０Ａ上に置く。このコーヒーカップ４２３は、図１６に示すようにエントリＲ４として実オブジェクトＤＢに登録されており、表５に示すようにエントリＬＥ５においてチラシのアプリケーションと対応付けて対応関係ＤＢに登録されている。このため、情報処理システム１００は、エントリＬＥ５を参照して、符号４１４に示すようにコーヒーカップ４２３から見て左側にチラシのアプリケーション４２４を起動する。
【０１３０】
このように、画像情報及び立体形状情報がほぼ同一と言える実オブジェクトであっても、情報処理システム１００は、位置マップを用いて区別することが可能であり、それぞれ異なる表示オブジェクトを対応付けることも可能である。さらに、情報処理システム１００は、実オブジェクトを基準とした相対的な位置に表示オブジェクトを表示するため、例えばユーザが右手でコーヒーを置いた場合にユーザの目の前にアプリケーションを起動することが可能である。
【０１３１】
ここで、テーブル１４０Ａの上方から撮像するカメラでは、ユーザの顔を捉えることは困難であり、ユーザ認識は困難であるとも言える。しかしながら、図１９に示した例のように、情報処理システム１００は、位置マップによって夫と妻といったユーザを実質的に識別可能である。また、情報処理システム１００は、同じユーザであっても時間帯が異なれば、同じコーヒーカップが同じ位置に置かれても、異なるアプリケーションを起動することが可能である。このように、情報処理システム１００は、同じ実オブジェクトでも使い方が異なれば、その使い方に適した異なる表示オブジェクトを表示することができる。
【０１３２】
（ローカルの対応関係ＤＢに係る具体例）
続いて、図２０及び図２１を参照して、ローカルの対応関係ＤＢへのエントリ登録に係る具体例を説明する。
【０１３３】
図２０は、本実施形態に係るローカルの対応関係ＤＢに関する処理の一例を説明するための図である。図２０を参照して、表示オブジェクトと実オブジェクトとが初めて対応付けられる場合の例を説明する。
【０１３４】
符号４３１に示すように、ユーザがテーブル１４０Ａ上でテレビのアプリケーション４４１を閲覧している。次いで、符号４３２に示すように、ユーザが、テレビのアプリケーション４４１から見て右にコーヒーカップ４４２を置いたとする。この場合、情報処理システム１００は、対応関係ＤＢ更新処理を行って、上記表５に示すエントリＬＥ２を登録する。なお、コーヒーカップ４４２から見ると、テレビのアプリケーション４４１は左に位置している。符号４３２に示した状態が複数回再現されると、エントリＬＥ２の関連度がインクリメントされていき、閾値以上となる。すると、符号４３３に示すように、ユーザがコーヒーカップ４４２をテーブル１４０Ａ上に置くと、情報処理システム１００は、符号４３４に示すように、コーヒーカップ４４２から見て左側にテレビのアプリケーション４４１を自動的に起動する。
【０１３５】
図２１は、本実施形態に係るローカルの対応関係ＤＢに関する処理の一例を説明するための図である。図２１を参照して、表示オブジェクトと実オブジェクトとが初めて対応付けられる場合の例を説明する。
【０１３６】
符号４５１に示すように、ユーザは、テーブル１４０Ａ上にカップ麺４６１を置いて、ランチャー４６２をタッチする。すると、符号４５２に示すように、アプリケーションの一覧４６３が表示され、ユーザはその中からタイマーのアプリケーション４６４をカップ麺４６１の右下にドラッグして起動する。そして、ユーザは、符号４５３に示すようにアプリケーションの一覧４６３を閉じて、符号４５４に示すようにタイマーのアプリケーション４６４を利用する。この場合、情報処理システム１００は、対応関係ＤＢ更新処理を行って、上記表５に示すエントリＬＥ１を登録する。これにより、情報処理システム１００は、カップ麺が置かれると、その右下にタイマーのアプリケーションを自動的に起動する。逆に、情報処理システム１００は、ユーザがタイマーのアプリケーションを起動すると、その左上にカップ麺を置くべきことを提案する情報や他のカップ麺の広告情報を表示してもよい。
【０１３７】
（クラウド上の対応関係ＤＢに係る具体例）
続いて、図２２〜図２５を参照して、クラウド上の対応関係ＤＢを参照した提供情報の表示に係る具体例を説明する。
【０１３８】
図２２は、本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。図２２を参照して、クラウド上の対応関係ＤＢに基づく提供情報が表示される場合の例を説明する。
【０１３９】
符号４７１に示すように、ユーザは、テーブル１４０Ａ上にカップ麺４８１を置く。すると、情報処理システム１００は、上記表５に示すエントリＬＥ１を参照して、符号４７２に示すようにカップ麺４８１の右下にタイマーのアプリケーション４８２を起動する。そして、情報処理システム１００は、上記表６に示すクラウド上の対応関係ＤＢに登録されたエントリＣＥ１を参照して、符号４７３に示すようにニュースのアプリケーションを起動するよう提案する半透明の表示オブジェクト４８３を表示する。符号４７３に示すように、ユーザが半透明の表示オブジェクト４８３をタッチして提案を受け入れると、情報処理システム１００は、符号４７４に示すようにニュースのアプリケーション４８４を表示する。さらに、情報処理システム１００は、カップ麺４８１とニュースのアプリケーション４８４を対応付ける対応関係情報を、ローカルの対応関係ＤＢに登録してもよい。
【０１４０】
図２３は、本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。図２３を参照して、クラウド上の対応関係ＤＢに基づく提供情報が表示される場合の例を説明する。
【０１４１】
符号４９１に示すように、ユーザは、テーブル１４０Ａ上にコーヒーカップ５０１を置いてテレビのアプリケーション５０２を閲覧している。すると、情報処理システム１００は、上記表６に示すクラウド上の対応関係ＤＢに登録されたエントリＣＥ２を参照して、符号４９２に示すようにカレンダーのアプリケーションを起動するよう提案する半透明の表示オブジェクト５０３を表示する。符号４９３に示すように、ユーザが半透明の表示オブジェクト５０３をタッチして提案を受け入れると、情報処理システム１００は、符号４９４に示すようにカレンダーのアプリケーション５０４を表示する。さらに、情報処理システム１００は、コーヒーカップ５０１とカレンダーのアプリケーション５０４を対応付ける対応関係情報を、ローカルの対応関係ＤＢに登録してもよい。
【０１４２】
図２４は、本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。図２４を参照して、クラウド上の対応関係ＤＢに基づく提供情報が表示される場合の例を説明する。
【０１４３】
符号５１１に示すように、ユーザは、テーブル１４０Ａ上にティーカップ５２１及びティーポット５２２を置く。すると、情報処理システム１００は、上記表５に示すローカルの対応関係ＤＢに登録されたエントリＬＥ３及びＬＥ４を参照して、符号５１２に示すようにタイマーのアプリケーション５２３を起動する。そして、情報処理システム１００は、上記表６に示すクラウド上の対応関係ＤＢに登録されたエントリＣＥ３を参照して、符号５１３に示すようにラジオのアプリケーションを起動するよう提案する半透明の表示オブジェクト５２４を表示する。符号５１３に示すように、ユーザが半透明の表示オブジェクト５２４をタッチして提案を受け入れると、情報処理システム１００は、符号５１４に示すようにラジオのアプリケーション５２５を表示する。さらに、情報処理システム１００は、ティーカップ５２１及び／又はティーポット５２２とラジオのアプリケーション５２５を対応付ける対応関係情報を、ローカルの対応関係ＤＢに登録してもよい。
【０１４４】
図２５は、本実施形態に係るクラウド上の対応関係ＤＢに関する処理の一例を説明するための図である。図２５を参照して、クラウド上の対応関係ＤＢに基づく提供情報が表示される場合の例を説明する。
【０１４５】
符号５３１に示すように、ユーザは、花５４２が飾られたテーブル１４０Ａ上に洋食５４１を置く。すると、情報処理システム１００は、上記表５に示すエントリＬＥ６を参照して、符号５３２に示すようにレシピのアプリケーション５４３を起動する。なお、表６に示すように、クラウド上の対応関係ＤＢにも、同様のエントリＣＥ４が登録されている。しかし、情報処理システム１００は、既にレシピのアプリケーション５４３を起動済みであるので、エントリＣＥ４に基づく提案情報の表示は省略する。他方、情報処理システム１００は、上記表６に示すクラウド上の対応関係ＤＢに登録されたエントリＣＥ５を参照して、符号５３３に示すようにカトラリーを推薦する表示オブジェクト５４４を表示する。符号５３３に示すように、ユーザがこの提案を気になってタッチすると、情報処理システム１００は、符号５３４に示すようにカトラリーの購入サイトを表示するＷｅｂブラウザ５４５を起動する。
【０１４６】
＜＜４．ハードウェア構成例＞＞
最後に、図２６を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２６は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２６に示す情報処理装置９００は、例えば、図４に示した情報処理システム１００、図５に示した入出力装置２００及びサーバ３００を実現し得る。本実施形態に係る情報処理システム１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１４７】
図２６に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１４８】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４及び図５に示す認識部１２２、記憶制御部１２４及び表示制御部１２６を形成し得る。
【０１４９】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１５０】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。他にも、入力装置９０６は、可視光カメラ、赤外線カメラ、ステレオカメラ、time  of  flight方式の測距センサ、structured  light方式の測距センサ、生体センサ等であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図４及び図５に示す入力部１１０を形成し得る。
【０１５１】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、プロジェクタ、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置及び上記音声出力装置は、例えば、図４及び図５に示す出力部１３０を形成し得る。
【０１５２】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４及び図５に示す記憶部１５０を形成し得る。
【０１５３】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１５４】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１５５】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図５に示す通信部１６０及び通信部１７０を形成し得る。
【０１５６】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１５７】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１５８】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１５９】
＜＜５．まとめ＞＞
以上、図１〜図２６を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理システム１００は、表示オブジェクトと実オブジェクトとの対応関係を示す情報を記憶部から取得し、表示オブジェクトが表示される物体表面において認識された表示オブジェクト又は実オブジェクトの少なくともいずれかに対応する提供情報を、対応関係を示す情報に基づいて表示する。これにより、ユーザは、例えば表示されている表示オブジェクトに対応する実オブジェクトに関する情報の提供を受けたり、表示面上に置いている実オブジェクトに対応する表示オブジェクトに関する情報の提供を受けたりすることができる。例えば、ユーザが実オブジェクトを表示面上に置くだけで、関連度の高いアプリケーションが自動的に起動されるので、起動ステップを省略することができる。このようにして、ユーザの利便性が向上し得る。
【０１６０】
また、情報処理システム１００は、実オブジェクトの撮像画像、立体形状情報、及び位置マップにより実オブジェクトを同定する。このため、情報処理システム１００は、テクスチャがない実オブジェクト、見た目が同じで高さが異なる実オブジェクト、及び見た目も高さも同じだが使用位置が異なる実オブジェクトを、それぞれ識別することができる。また、情報処理システム１００は、ユーザの上方から撮像するカメラを用いた画像認識では困難なユーザ認識を、位置マップを用いることで実質的に実現可能にする。即ち、情報処理システム１００は、同じ実オブジェクトでも使い方が異なれば、異なる提供情報を表示可能である。また、情報処理システム１００は、撮像画像、立体形状情報、及び位置マップを組み合わせて実オブジェクトを同定するため、撮像画像のみを用いた認識方法と比較して実オブジェクトの認識精度が向上し得る。また、情報処理システム１００は、認識に用いる上記数式１に関し重み係数を制御することで、撮像画像、立体形状情報、及び位置マップの利用比率を利用環境に合わせて最適化することができる。上記に関し、上記特許文献１に開示された技術では、識別のために画像のみが用いられているため、テクスチャがない実オブジェクト、見た目が同じで高さが異なる実オブジェクト、及び見た目も高さも同じだが使用位置が異なる実オブジェクトを、それぞれ識別することは困難であった。
【０１６１】
また、情報処理システム１００は、対応関係情報が含む相対的な配置を示す情報に従って提供情報を表示する。これにより、情報処理システム１００は、実オブジェクトから見て適切な配置で提供情報を表示したり、表示オブジェクトから見て適切な配置で提供情報を表示したりすることができる。
【０１６２】
また、情報処理システム１００は、認識された表示オブジェクト及び実オブジェクトの組み合わせを対応付けたエントリを、対応関係ＤＢに記憶する。このため、ユーザが実オブジェクトと表示オブジェクトとの対応付けを意識していなくても、情報処理システム１００はユーザの利用状況を学習し、確度の高い情報提示を行うことが可能である。上記に関し、上記特許文献１では、予め画像と対応付けられた情報が提示されることが開示されるだけであって、動的に対応関係を学習／更新する点については開示されていない。
【０１６３】
また、情報処理システム１００は、認識された表示オブジェクト又は実オブジェクトの少なくともいずれかに対応付けられた、他の表示オブジェクト又は他の実オブジェクトに関する提供情報を表示し得る。例えば、情報処理システム１００は、クラウド上の対応関係ＤＢを参照することで、ユーザが知らないアプリケーションや、テーブル１４０Ａの利用状況に合致した新たな商品を提案することができる。さらに、第三者は、広告情報をクラウド上の対応関係ＤＢに登録することで、ユーザにアプリケーションや商品等を推薦し、顧客開拓を行うことができる。
【０１６４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６５】
例えば、上記実施形態では、情報処理システム１００は、夫や妻といった固定的なユーザにより利用される例を主に説明したが、本技術はかかる例に限定されない。例えば、情報処理システム１００は、レストランやカフェ等に設置され、不特定多数の顧客により使用されてもよい。その場合、例えば、情報処理システム１００は、顧客が起動したアプリケーションに応じて食事メニューを推薦したり、顧客が飲むドリンクに応じた情報を表示したりしてもよい。
【０１６６】
また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、認識部１２２、記憶制御部１２４及び表示制御部１２６は、それぞれ別々の装置に備えられていてもよい。
【０１６７】
また、上記実施形態では、認識部１２２が、表示オブジェクト及び実オブジェクトを認識する例を説明したが、本技術はかかる例に限定されない。例えば、表示オブジェクトを認識する第１の認識部と、実オブジェクトを認識する第２の認識部が、それぞれ設けられていてもよい。さらに、第１の認識部と第２の認識部とは、それぞれ別々の装置に備えられていてもよい。
【０１６８】
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。また、上記フローチャートは繰り返し実行されてもよく、終了割り込みによって随時処理が終了してもよい。
【０１６９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１７０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させる表示制御部、
を備える情報処理システム。
（２）
前記表示制御部は、認識された前記表示オブジェクト又は前記実オブジェクトの位置に基づいて前記提供情報を表示させる、前記（１）に記載の情報処理システム。
（３）
前記表示制御部は、認識された前記表示オブジェクト及び前記実オブジェクトの位置に基づいて前記提供情報を表示させる、前記（２）に記載の情報処理システム。
（４）
前記提供情報は、認識された前記表示オブジェクトの位置、又は前記実オブジェクトの位置に基づいて生成される、前記（１）〜（３）のいずれか一項に記載の情報処理システム。
（５）
前記提供情報は、認識された前記表示オブジェクトの位置、及び前記実オブジェクトの位置に基づいて決定される、前記（４）に記載の情報処理システム。
（６）
前記表示制御部は、前記表示オブジェクトと前記実オブジェクトとの対応関係を示す情報に基づいて前記提供情報を表示させる、前記（１）に記載の情報処理システム。
（７）
前記対応関係を示す情報は、前記実オブジェクトと前記表示オブジェクトとの相対的な配置を示す情報を含み、
前記表示制御部は、前記相対的な配置を示す情報に基づいて前記提供情報を表示させる、前記（６）に記載の情報処理システム。
（８）
前記情報処理システムは、前記対応関係を示す情報を記憶部から取得する記憶制御部をさらに備える、前記（６）又は（７）に記載の情報処理システム。
（９）
前記記憶制御部は、前記実オブジェクトの撮像画像、立体形状を示す情報、又は前記物体表面における位置を示す情報により前記実オブジェクトを同定する、前記（８）に記載の情報処理システム。
（１０）
前記記憶制御部は、前記実オブジェクトが検出された時間帯を示す情報により前記実オブジェクトを同定する、前記（９）に記載の情報処理システム。
（１１）
前記記憶制御部は、認識された前記表示オブジェクト及び前記実オブジェクトの組み合わせを対応付けた前記対応関係を示す情報を前記記憶部に記憶させる、前記（８）〜（１０）のいずれか一項に記載の情報処理システム。
（１２）
前記提供情報は、認識された前記実オブジェクトと前記対応関係を示す情報において対応付けられた前記表示オブジェクトに関する情報である、前記（６）〜（１１）のいずれか一項に記載の情報処理システム。
（１３）
前記提供情報は、認識された前記表示オブジェクトと前記対応関係を示す情報において対応付けられた前記表示オブジェクトに関する情報である、前記（６）〜（１２）のいずれか一項に記載の情報処理システム。
（１４）
前記表示制御部は、認識された回数が多い又は時間が長い前記表示オブジェクト及び前記実オブジェクトの組み合わせについての前記対応関係を示す情報に基づく前記提供情報を優先的に表示させる、前記（１３）に記載の情報処理システム。
（１５）
前記表示制御部は、前記実オブジェクト又は前記表示オブジェクトが認識されてから、指定されたタイムラグを設けて前記提供情報を表示させる、前記（１）〜（１４）のいずれか一項に記載の情報処理システム。
（１６）
前記表示制御部は、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応付けられた広告情報を表示させる、前記（１）〜（１５）のいずれか一項に記載の情報処理システム。
（１７）
前記表示制御部は、認識されたユーザの生体情報に応じた前記提供情報を表示させる、前記（１）〜（１６）のいずれか一項に記載の情報処理システム。
（１８）
前記表示制御部は、認識されたユーザの周辺の装置に応じた前記提供情報を表示させる、前記（１）〜（１７）のいずれか一項に記載の情報処理システム。
（１９）
表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させるようプロセッサにより制御すること、
を含む情報処理方法。
（２０）
コンピュータを、
表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させる表示制御部、
として機能させるためのプログラム。
（２１）
表示オブジェクトが表示される物体表面における前記表示オブジェクト及び実オブジェクトの認識結果に基づいて、認識された前記表示オブジェクト又は前記実オブジェクトの少なくともいずれかに対応する提供情報を表示部に表示させるための表示制御信号を生成する表示制御部と、
を備えるサーバ。
（２２）
前記表示制御部は、他の情報処理システムにおける前記対応関係を示す情報に基づいて前記提供情報を表示させる、前記（６）〜（１４）のいずれか一項に記載の情報処理システム。
（２３）
前記表示制御部は、認識されたユーザと類似する他のユーザに関する前記対応関係を示す情報に基づいて前記提供情報を表示させる、前記（２２）に記載の情報処理システム。
【符号の説明】
【０１７１】
１００    情報処理システム
１１０    入力部
１２０    制御部
１２２    認識部
１２４    記憶制御部
１２６    表示制御部
１３０    出力部
１４０    テーブル
１５０    記憶部
１６０    通信部
１７０    通信部
２００    入出力装置
３００    サーバ
【図１】
0006586758.tif 000008
【図２】
0006586758.tif 000009
【図３】
0006586758.tif 000010
【図４】
0006586758.tif 000011
【図５】
0006586758.tif 000012
【図６】
0006586758.tif 000013
【図７】
0006586758.tif 000014
【図８】
0006586758.tif 000015
【図９】
0006586758.tif 000016
【図１０】
0006586758.tif 000017
【図１１】
0006586758.tif 000018
【図１２】
0006586758.tif 000019
【図１３】
0006586758.tif 000020
【図１４】
0006586758.tif 000021
【図１５】
0006586758.tif 000022
【図１６】
0006586758.tif 000023
【図１７】
0006586758.tif 000024
【図１８】
0006586758.tif 000025
【図１９】
0006586758.tif 000026
【図２０】
0006586758.tif 000027
【図２１】
0006586758.tif 000028
【図２２】
0006586758.tif 000029
【図２３】
0006586758.tif 000030
【図２４】
0006586758.tif 000031
【図２５】
0006586758.tif 000032
【図２６】
0006586758.tif 000033