(57)【要約】  投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定されたコンテンツに対応する視覚情報を投影面に投影させる投影制御部（１５０）、を備える、情報処理装置が提供される。
2020071057.tif 000002
【特許請求の範囲】
【請求項１】
投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、
を備える、
情報処理装置。
【請求項２】
前記第２のオブジェクトは、前記コンテンツ毎に対応付けられる、
請求項１に記載の情報処理装置。
【請求項３】
前記第１のオブジェクトおよび前記第２のオブジェクトは、継続的に認識され、
前記投影制御部は、前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に動的に投影させる、
請求項１に記載の情報処理装置。
【請求項４】
前記第１のオブジェクトの認識結果は、前記第１のオブジェクトの大きさを含み、
前記投影制御部は、前記第１のオブジェクトの大きさに応じて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項１に記載の情報処理装置。
【請求項５】
前記投影制御部は、前記第１のオブジェクトの大きさが所定の範囲に含まれない場合、前記第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項４に記載の情報処理装置。
【請求項６】
前記認識結果は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置を含み、
前記投影制御部は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置に基づいて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項１に記載の情報処理装置。
【請求項７】
前記投影制御部は、前記第１のオブジェクトの位置を基準とした前記第２のオブジェクトの位置が、所定の範囲に含まれない場合、前記第１のオブジェクトの位置を基準として、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項６に記載の情報処理装置。
【請求項８】
前記第１のオブジェクトおよび前記第２のオブジェクトを認識する認識部、
をさらに備え、
前記投影制御部は、前記認識部による前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項１に記載の情報処理装置。
【請求項９】
前記認識部は、前記コンテンツの状態変化を認識し、
前記投影制御部は、前記状態変化に応じて、前記視覚情報を前記投影面に投影させる、
請求項８に記載の情報処理装置。
【請求項１０】
前記状態変化は、前記コンテンツの質量変化を含み、
前記投影制御部は、前記質量変化に応じた前記視覚情報を前記投影面に投影させる、
請求項９に記載の情報処理装置。
【請求項１１】
前記視覚情報は、前記コンテンツ毎に対応付けられる、
請求項１に記載の情報処理装置。
【請求項１２】
前記投影制御部は、前記視覚情報を前記第１のオブジェクト上に投影させる、
請求項１に記載の情報処理装置。
【請求項１３】
前記投影制御部は、他のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に投影させる、
請求項１に記載の情報処理装置。
【請求項１４】
前記投影制御部は、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへのインタラクションに基づいて、前記視覚情報を前記投影面に投影させ、
前記インタラクションは、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへの接近または接触を含む、
請求項１３に記載の情報処理装置。
【請求項１５】
前記投影制御部は、特定された前記コンテンツに対応する前記視覚情報の投影を開始させてから経過した時間に基づいて、前記視覚情報を前記投影面に投影させる、
請求項１に記載の情報処理装置。
【請求項１６】
前記投影制御部は、複数の前記コンテンツが特定された場合、前記複数のコンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項１に記載の情報処理装置。
【請求項１７】
前記コンテンツは、食品を含み、
前記第２のオブジェクトは、前記食品と共に供される、
請求項１に記載の情報処理装置。
【請求項１８】
前記投影制御部は、前記食品が供されたタイミングで、前記視覚情報の前記投影面への投影を開始させる、
請求項１７に記載の情報処理装置。
【請求項１９】
プロセッサが、
投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、
を含む、
情報処理方法。
【請求項２０】
コンピュータに、
投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、
を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
【背景技術】
【０００２】
近年、認識された物体に応じた情報の表示に関する技術が各種開発されている。例えば、下記特許文献１には、種々のオブジェクトの認識結果に基づいて、当該オブジェクトに関連する情報の表示や、ユーザに関するコンテキストも考慮に入れた情報の表示を制御する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１９４７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えばユーザによる物体に対する行為によって、物体自体の状況が動的に変化し得る。しかし、特許文献１に記載の技術では、当該状況に応じた情報の表示制御が困難となる場合がある。
【課題を解決するための手段】
【０００５】
本開示によれば、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、を備える、情報処理装置が提供される。【０００６】
また、本開示によれば、プロセッサが、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、を含む、情報処理方法が提供される。【０００７】
本開示によれば、コンピュータに、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体が提供される。
【図面の簡単な説明】
【０００８】
【図１】本開示の一実施形態に係る投影装置１０の概要を示す図である。
【図２】第１のオブジェクト、第２のオブジェクト、コンテンツ、および第１のオブジェクトと第２のオブジェクトに対応する視覚情報、の関係の一例について説明するための図である。
【図３】同実施形態に係る投影装置１０の機能構成の一例について説明するための図である。
【図４】同実施形態に係る第１のオブジェクトの大きさを認識する方法の一例について説明するための図である。
【図５】同実施形態に係る投影制御部１５０に係る投影制御について説明するための図である。
【図６】同実施形態に係る投影制御部１５０による、第２のオブジェクトの認識結果に基づく視覚情報の投影制御の一例について説明するための図である。
【図７】同実施形態に係る投影制御部１５０による、第１のオブジェクトの位置に基づく視覚情報の投影制御の一例について説明するための図である。
【図８】同実施形態に係る投影制御部１５０による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。
【図９】同実施形態に係る投影制御部１５０による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。
【図１０】同実施形態に係る複数のコンテンツが供される場合の一例について説明するための図である。
【図１１】同実施形態に係る投影制御部１５０による、複数のコンテンツが特定された場合の投影制御の一例について説明するための図である。
【図１２】同実施形態に係るコンテンツが供されてから経過した時間に基づく投影制御の一例について説明するための図である。
【図１３】同実施形態に係る投影制御の流れの一例について説明するための図である。
【図１４】同実施形態に係るコンテンツの状態変化に基づく投影制御の一例について説明するための図である。
【図１５】同実施形態に係るに係るコンテンツの状態変化における投影制御の流れの一例について説明するための図である。
【図１６】同実施形態に係る用紙記入に関する投影制御の一例について説明するための図である。
【図１７】本開示の一実施形態に係る投影装置１０のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１０】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて料理Ｃ０および料理Ｃ１のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、料理Ｃ０および料理Ｃ１を特に区別する必要が無い場合には、単に料理Ｃと称する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．実施形態
１−１．概要
１−２．機能構成例
１−３．制御例
２．ハードウェア構成例
３．まとめ
【００１２】
＜＜１．実施形態＞＞
＜１−１．概要＞
まず、本発明の概要について説明する。
【００１３】
近年、物体の認識結果に応じた情報の表示制御に関する技術が各種開発されている。ところで、物体自体の状況が変化するような場合、当該物体を認識することが困難となる場合がある。例えば、認識対象の物体が他の物体と隣接するような状況では、認識対象の物体の外形を認識することが困難となり、情報の表示制御を継続できなくなる可能性がある。
【００１４】
また、物体の認識方法として、所定の付与物を用いる方法も挙げられる。ここでの付与物とは、物体の認識のために当該物体に付与される物である。付与物を認識することで、間接的に物体を特定し、当該物体に対応する情報を表示することが可能である。しかし、当該方法では、例えば付与物が物体から取り外された場合に、付与物に基づいて物体を特定することが困難となり、情報の表示を継続できなくなる可能性がある。
【００１５】
また、例えば料理がユーザによって食されるように、物体自体の状態が変化する状況も発生し得る。このように、例えば物体の外形が変化する場合、物体を認識し続けることが困難となることも想定される。
【００１６】
本開示の一実施形態に係る技術思想は、上記の点に着目して発想されたものであり、複数のオブジェクトの認識結果を組み合わせることにより、継続的に認識対象の物体を特定し、当該物体に対応する情報を表示することを可能とする。また、物体自体の状態が変化するような場合でも、当該物体は認識し続けられ、当該状態の変化に応じた情報が表示される。
【００１７】
このために、本開示の一実施形態に係る投影装置は、投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定されたコンテンツに対応する視覚情報を投影面に投影させることを特徴の一つとする。
【００１８】
係る特徴によれば、第１のオブジェクトが他の物体と隣接した場合などでも、第２のオブジェクトの認識結果に基づいて、コンテンツを特定することが可能となる。また、係る特徴によれば、第２のオブジェクトがコンテンツから取り外された場合などでも、第１のオブジェクトの認識結果に基づいて、コンテンツを特定することが可能となる。また、係る特徴によれば、コンテンツ自体を認識する場合と比べて、コンテンツの状態が変化する状況であっても、継続的にコンテンツを特定することが可能となる。
【００１９】
なお、以下、コンテンツが料理（食品）、第１のオブジェクトが食器、第２のオブジェクトが装飾である場合を一例に挙げて説明していく。ここで、装飾とは、例えば可食性のフィルムなどをいう。
【００２０】
まず、本実施形態に係る概要について、図１を参照して説明する。
【００２１】
図１は、本開示の一実施形態に係る投影装置１０の概要を示す図である。図１には、投影装置１０、テーブル２０、食器Ｔ０、料理Ｃ０、および装飾Ｍ０が示されている。ここで、料理Ｃ０は食器Ｔ０上に載せられ、また、装飾Ｍ０は料理Ｃ０上に載せられている。食器Ｔ、料理Ｃ、および装飾Ｍについては後述する。
【００２２】
投影装置１０は、カメラを備え、例えばテーブル２０の天面を撮像する。また、投影装置１０は、デプスセンサを備え、深度情報を取得する。また、投影装置１０は、ＲＧＢセンサを備え、色情報を取得してもよい。また、投影装置１０は、マイクロフォン等の音声入力装置をさらに備え、ユーザが発する音声や、周囲の環境の環境音を収音してもよい。
【００２３】
投影装置１０は、カメラが撮像した画像を解析することにより、テーブル２０の天面に位置する物体（例えば、食器Ｔや装飾Ｍ）の位置を認識することができる。
【００２４】
また、投影装置１０は、深度情報を解析することにより、当該物体の深度情報を取得することができる。投影装置１０は、当該深度情報に基づいて、例えば食器Ｔの位置や大きさを特定することが可能である。また、投影装置１０は、音声を出力するスピーカを備えてもよい。
【００２５】
また、投影装置１０は、視覚情報をテーブル２０上に投影する。ここで、視覚情報とは、例えば所定のアニメーションや静止画、文字などを含む。投影装置１０は、プロジェクタを備えてもよい。例えば、図１に示すように、投影装置１０は、テーブル２０の天面に対向するように、テーブル２０と所定の距離離隔して配置され得る。この場合、投影装置１０は、テーブル２０の天面に視覚情報を投影することが可能である。
【００２６】
例えば、投影装置１０は、認識した料理Ｃに対応する視覚情報をテーブル２０の投影面に投影してよい。ここで、投影面とは、視覚情報が投影されるテーブル２０上の領域をいう。当該領域は、例えばテーブル２０の天面である。
【００２７】
図２は、第１のオブジェクト、第２のオブジェクト、コンテンツ、および第１のオブジェクトと第２のオブジェクトに対応する視覚情報、の関係の一例について説明するための図である。図２左側には、第１のオブジェクト並びに、第１のオブジェクト上に配置されたコンテンツおよび第２のオブジェクトが示されている。投影装置１０は、テーブル２０に供された第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、投影面に投影している。
【００２８】
ここで、第１のオブジェクトおよび第２のオブジェクトは、コンテンツ毎に対応付けられる。図２の一例においては、食器Ｔ１および装飾Ｍ１は、料理Ｃ１に対応付けられる。また、投影される視覚情報は、コンテンツに各々対応付けられる。図２右側の一例においては、アニメーションＡ１は、料理Ｃ１に対応付けられる。
【００２９】
図２の一例において、投影装置１０は、食器Ｔ１および装飾Ｍ１を認識し、上述した対応付けに基づいて、料理Ｃ１を特定する。次に、投影装置１０は、上述した対応付けに基づいて、料理Ｃ１に対応するアニメーションＡ１を料理Ｃ１上に投影する。ここで、第１のオブジェクト、第２のオブジェクト、および視覚情報は、互いの位置関係が予め決められている。
【００３０】
以上説明したように本開示によれば、視覚情報をより正確に投影することが可能となる。
【００３１】
例えば、食事の場面において、複数の食器が隣接する場合や、食事が始まる際に料理の上に載っている可食性フィルムが外されるような場合であっても、コンテンツである料理を特定し、当該料理に対応する視覚情報をユーザに提示することができる。
【００３２】
以下、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づく視覚情報の投影制御について説明していく。
【００３３】
＜１−２．機能構成例＞
次に、本実施形態に係る投影装置１０の機能構成例について説明する。図３は、本実施形態に係る投影装置１０の機能構成の一例について説明するための図である。図３に示すように、投影装置１０は、入力部１１０、認識部１２０、特定部１３０、記憶部１４０、投影制御部１５０、および出力部１６０、を備える。
【００３４】
本実施形態に係る入力部１１０は、入力部１１０への各種情報を受け付ける機能を有する。例えば、入力部１１０は、上述したようにテーブル２０の天面を撮像するカメラ、テーブル２０上の深度情報を取得するデプスセンサを有する。デプスセンサは、例えばｔｉｍｅ  ｏｆ  ｆｌｉｇｈｔ方式のセンサや、ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ方式のセンサなどであってもよい。また、入力部１１０は、ステレオカメラを用いて震度情報を取得してもよい。
【００３５】
なお、出力部１６０により視覚情報が投影される範囲と入力部１１０が情報の入力を受け付ける範囲とは、同一であってもよいし互いに相違していてもよい。例えば、入力部１１０は、出力部１６０による投影範囲より広い範囲を対象とした画像データ、深度情報を取得し得る。また、投影装置１０は、ＲＧＢセンサを備え、色情報を取得してもよい。
【００３６】
本実施形態に係る認識部１２０は、第１のオブジェクトおよび第２のオブジェクトを認識する機能を有する。認識部１２０は、入力部１１０が取得した画像データなどの情報を用いて、認識を実行する。具体的には、認識部１２０は、第１のオブジェクト位置や大きさ、第２のオブジェクトの種別や位置、大きさなどを認識し得る。その際、認識部１２０が認識する第１のオブジェクトの位置、第２のオブジェクトの位置、は、各々のオブジェクトの中心でもよい。
【００３７】
図４は、第１のオブジェクトの大きさの認識方法の一例について説明するための図である。図４には、食器Ｔ２、料理Ｃ２、装飾Ｍ２、および認識矩形Ｅが示されている。図４の一例に示すように、認識部１２０は、食器Ｔ２を囲う最小矩形としての認識矩形Ｅの大きさを、食器Ｔ２の大きさとして認識してもよい。なお、認識部１２０は、当該認識した大きさを示す情報を特定部１３０へ提供する。その際、最小矩形の大きさは、所定の幅（範囲）を持たせてもよい。
【００３８】
また、認識部１２０は、コンテンツの状態変化を認識してよい。ここでの状態変化とは、例えばユーザによるコンテンツとのインタラクションに基づいて発生した変化、などをいう。また状態変化は、食品の溶解などのユーザによるコンテンツとのインタラクション含まない変化でもよい。例えば、状態変化は、コンテンツの質量変化を含む。認識部１２０は、コンテンツの状態変化を認識した場合、当該状態変化を示す情報を後述する特定部１３０に提供する。
【００３９】
また、認識部１２０は、第１のオブジェクト、第２のオブジェクト、およびコンテンツ、を継続的に認識してよい。認識部１２０は、継続的な認識を行うことで、例えば、コンテンツの状態変化の認識が可能となる。
【００４０】
再び図３を参照しながら説明する。
【００４１】
本実施形態に係る特定部１３０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、コンテンツを特定する機能を有する。具体的には、特定部１３０は、後述する記憶部１４０が記憶する第１のオブジェクトと第２のオブジェクトの組み合わせとコンテンツの対応付けデータに基づいて、コンテンツを特定する。例えば、特定部１３０は、記憶部１４０に記憶される当該対応付けデータに基づいて、認識部１２０が認識した装飾Ｍに対応付けられる料理Ｃを特定する。
【００４２】
特定部１３０は、特定したコンテンツを示す情報を投影制御部１５０へ提供する。
【００４３】
なお、特定部１３０は、第２のオブジェクトに対応付けられるコンテンツを取得し、当該第２のオブジェクトに対応する第１のオブジェクトの大きさを示す情報も取得してよい。ここで、当該情報が示す大きさは、所定の範囲を有してよい。特定部１３０は、取得した当該情報が示す大きさと、認識部１２０が認識した大きさとを比較する。特定部１３０は、当該比較の結果、認識部１２０が認識した第１のオブジェクトの大きさが所定の範囲に含まれない場合、第２のオブジェクトの大きさが所定の範囲に含まれないことを示す情報を、後述する投影制御部１５０へ提供してもよい。
【００４４】
本実施形態に係る記憶部１４０は、データの記憶を行う。記憶部１４０は、第１のオブジェクト、第２のオブジェクト、コンテンツ、および視覚情報に係る情報を記憶する。また、記憶部１４０は、各々の第１のオブジェクトと第２のオブジェクトの組み合わせの情報を記憶し得る。また、当該組み合わせとコンテンツの対応付け、コンテンツと視覚情報の対応付け、などを記憶し得る。上述した情報は、例えばリレーショナルデータベース等の形式で実現されてもよい。
【００４５】
本実施形態に係る投影制御部１５０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、出力部１６０に視覚情報を投影面へ投影させる機能を有する。具体的には、投影制御部１５０は、特定部１３０が特定したコンテンツに対応付けられる視覚情報を投影面に投影するように出力部１６０を制御する。その際、投影制御部１５０は、記憶部１４０が記憶するコンテンツと視覚情報との対応付けデータに基づいて、特定部１３０が特定した視覚情報を取得する。投影制御部１５０の制御に関する詳細については後述する。
【００４６】
本実施形態に係る出力部１６０は、投影制御部１５０の制御に従って、視覚情報を投影面に投影する。
【００４７】
なお、例えば、図１で示したように投影装置１０は、テーブル２０の天面に対向するように、テーブル２０と所定の距離離隔して配置され得る。しかしながら、投影装置１０は、図１に示されるようなテーブル２０の直上に必ずしも位置する必要は無い。例えば、投影装置１０は、傾斜して視覚情報をテーブル２０上に投影することが可能な配置されてもよい。また例えば、投影装置１０は、ペンダントライトやデスクスタンドライトであってもよい。このように上方からテーブル２０の天面に情報を表示する方式を「プロジェクション型」とも呼称する。
【００４８】
以上、本実施形態に係る投影装置１０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る投影装置１０の機能構成は係る例に限定されない。例えば、投影装置１０は、必ずしも図３に示す構成のすべてを備えなくてもよい。例えば、認識部１２０、特定部１３０、記憶部１４０、および投影制御部１５０は、投影装置１０とは異なる別の装置に備えることも可能である。本実施形態に係る投影装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。なお、投影装置１０は、スマートフォンであってもよい。
【００４９】
＜１−３．制御例＞
次に、本実施形態に係る投影装置１０による視覚情報の投影について説明する。図５は、投影制御部１５０による投影制御の一例について説明するための図である。図５には、食器Ｔ３、料理Ｃ３、装飾Ｍ３、アニメーションＡ２が示されている。
【００５０】
投影制御部１５０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果に基づいて、コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御する。具体的には、投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの位置および第２のオブジェクトの位置に基づいて、出力部１６０に視覚情報を投影させる位置を決定する。投影制御部１５０は、当該決定した位置に視覚情報を投影するように出力部１６０を制御する。
【００５１】
図５の一例において、投影制御部１５０は、食器Ｔ３の位置Ｐ１および装飾Ｍ３の位置Ｐ２に基づいて、アニメーションＡ２の投影位置Ｐ３を決定している。ここで、例えば食器Ｔ３の位置Ｐ１を原点として、装飾Ｍ３の位置Ｐ２の方向をＹ軸方向とする二次元座標系に基づいて、投影位置Ｐ３を決定してもよい。また、投影制御部１５０は、例えば装飾Ｍ３の長軸方向をＹ軸方向とする二次元座標系に基づいて、投影位置Ｐ３を決定してもよい。
【００５２】
このように、投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの位置および第２のオブジェクトの位置に基づいて、視覚情報を投影する位置を制御することができる。係る機能によれば、より正確な位置に視覚情報を投影することが可能となる。
【００５３】
上記では、第１のオブジェクトおよび第２のオブジェクトが共に正しく認識される場合について説明した。しかし、認識時の状況によっては、第１のオブジェクトおよび第２のオブジェクトが共に正しく認識されるとは限らない。例えば、第１のオブジェクトが他の第１のオブジェクトと接触している場合、認識部１２０は、第１のオブジェクトと他の第１のオブジェクトなどを、まとめて１つの第１のオブジェクトとして認識する可能性がある。従って、認識部１２０が認識した第１のオブジェクトの大きさが、共に認識した第２のオブジェクトに対応する第１のオブジェクトの大きさとして設定された所定の範囲に含まれないことになる。上記の場合では、投影制御部１５０は、第２のオブジェクトの位置に基づいて、投影面への視覚情報の投影を制御してもよい。
【００５４】
図６は、投影制御部１５０による、第２のオブジェクトの認識結果に基づく視覚情報の投影の制御を説明するための図である。図６には、食器Ｔ４、料理Ｃ４、装飾Ｍ４が示されている。
【００５５】
投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの大きさが所定の範囲に含まれない場合、第２のオブジェクトの認識結果に基づいて、コンテンツに対応する視覚情報を出力部１６０に投影面へ投影させる。具体的には、投影制御部１５０は、認識部１２０が認識した第２のオブジェクトの位置に基づいて視覚情報を投影させる位置を決定し、当該決定した位置に視覚情報を投影するように出力部１６０を制御する。
【００５６】
図６の一例において、認識部１２０は、食器Ｔ４が他の食器Ｔと隣接しているため、装飾Ｍ４との組み合わせである食器Ｔ４の大きさよりも大きい第１のオブジェクトを認識する。投影制御部１５０は、認識部１２０の認識結果に基づいて、装飾Ｍ４の位置Ｐ４から、アニメーションＡ３の投影位置Ｐ５を決定している。ここで、例えば装飾Ｍ４の位置Ｐ４を原点として、入力部１１０に入力された画像における装飾Ｍ４の長軸方向をＹ軸方向とする二次元座標系に基づいて、投影位置Ｐ５を決定してもよい。
【００５７】
このように、投影制御部１５０は、第１のオブジェクトの中心座標の認識ができない場合でも、第２のオブジェクトの位置に基づいて、視覚情報を投影させることができる。係る機能によれば、第１のオブジェクトの状況が認識に適していない場合でも、視覚情報の投影を継続することが可能となる。
【００５８】
一方、投影制御部１５０は、認識部１２０が第１のオブジェクトの中心座標を認識できない場合に、出力部１６０に視覚情報を投影させなくてもよい。図６の一例において、投影制御部１５０は、認識部１２０が認識した第１のオブジェクトの大きさが、仮に所定の範囲よりも小さい場合、アニメーションＡ３を投影させなくてもよい。係る機能によれば、より正確な投影制御を行うことが可能となる。
【００５９】
上記では、第１のオブジェクトが正しく認識されない場合について説明した。他にも、ユーザによる第２のオブジェクトへの行為により、例えば第２のオブジェクトの位置が変化する状況も発生し得る。当該状況の場合、投影制御部１５０は、第１のオブジェクトの位置に基づいて、投影面への視覚情報の投影を制御する。
【００６０】
図７は、投影制御部１５０による、第１のオブジェクトの位置に基づく視覚情報の投影の制御を説明するための図である。図７には、食器Ｔ５、料理Ｃ５、装飾Ｍ５、アニメーションＡ４が示されている。
【００６１】
投影制御部１５０は、認識部１２０が認識した第２のオブジェクトの位置が所定の範囲に含まれない場合、第１のオブジェクトの位置に基づいて、コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御する。ここで、特定部１３０は、認識部１２０が認識した第２のオブジェクトに対応するコンテンツを特定する。具体的には、投影制御部１５０は、第１のオブジェクトの中心位置に基づいて、視覚情報を投影させる位置を決定し、当該決定した位置に投影するように出力部１６０を制御する。
【００６２】
図７の一例において、投影制御部１５０は、食器Ｔ５の位置Ｐ７に基づいて、アニメーションＡ４の投影位置Ｐ８を決定している。ここで、例えば、食器Ｔ５の位置Ｐ７を原点として、入力部１１０に入力された画像における上方向をＹ軸方向とする二次元座標系において投影位置Ｐ８を決定してもよい。
【００６３】
このように、第２のオブジェクトが所定の範囲に含まれない位置で認識された場合でも、第１のオブジェクトの位置に基づいて、視覚情報を投影することができる。係る機能によれば、ユーザが第２のオブジェクトを移動させた状況でも、視覚情報の投影を行うことが可能となる。
【００６４】
一方、投影制御部１５０は、認識部１２０が第２のオブジェクトを認識できなかった場合、視覚情報の投影を行わせなくてもよい。係る機能によれば、より正確にコンテンツを特定し、視覚情報を投影することが可能となる。また、一方で、特定部１３０は、認識部１２０が第２のオブジェクトを認識できなかった場合、第１のオブジェクトの大きさに基づいて、コンテンツを特定してもよい。
【００６５】
上記では、投影制御部１５０による視覚情報の投影位置の決定について説明してきた。次に、認識部１２０が他のオブジェクトを認識した場合の、投影制御部１５０の投影制御について説明する。
【００６６】
投影制御部１５０は、認識部１２０による他のオブジェクトの認識結果に基づいて、視覚情報を投影面に投影させてよい。図８および図９は、投影制御部１５０による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。図８および図９には、食器Ｔ６、料理Ｃ６、装飾Ｍ６が示されている。なお、ここでいう他のオブジェクトとは、卓上において第１のオブジェクトなどに接触または接近し得る物体をいう。例えば、他のオブジェクトは、ユーザの手、ウェイターの手、フォークなどが挙げられる。
【００６７】
投影制御部１５０は、他のオブジェクトの認識結果に基づいて、視覚情報の投影を制御してもよい。例えば、他のオブジェクトがコンテンツなどに接近または接触した場合、投影制御部１５０は、視覚情報の投影を停止させてもよい。また、他のオブジェクトがコンテンツなどから離れていく場合は、投影制御部１５０は、視覚情報の投影を再開させてもよい。ここで、投影制御部１５０は、視覚情報の投影の再開を、回数を問わず行わせてもよいし、または回数に制限を設けてもよい。また、投影制御部１５０は、視覚情報がアニメーションＡである場合、アニメーションＡの投影が再開する際に、アニメーションＡを最初から再生させ直してもよいし、当該アニメーションＡの投影が停止した状態から投影を再開させてもよい。
【００６８】
図８左側において、投影制御部１５０は、食器Ｔ６の認識結果および装飾Ｍ６の認識結果に基づいて、アニメーションＡ５を出力部１６０に投影させている。ここで、他のオブジェクトであるユーザの手Ｈが食器Ｔ６および料理Ｃ６に接近すると、投影制御部１５０は、アニメーションＡ５の投影を停止するように出力部１６０を制御する。なお、認識部１２０は、入力部１１０が備えるデプスセンサが取得した深度情報に基づいて、ユーザの手Ｈが料理Ｃ６に接近または接触していることを認識し得る。
【００６９】
図９において、他のオブジェクトであるユーザの手Ｈが食器Ｔ６および料理Ｃ６から離れると、投影制御部１５０は、アニメーションＡ６の投影を開始するように出力部１６０を制御する。図９右側において、投影制御部１５０は、食器Ｔ６の認識結果および装飾Ｍ６の認識結果に基づいて、アニメーションＡ５を出力部１６０に投影させている。
【００７０】
このように、投影制御部１５０は、他のオブジェクトの認識結果に基づいて、視覚情報の投影を制御することができる。係る機能によれば、ユーザが視覚情報の再生や停止を直観的に行うことや、ユーザの邪魔をしないことが可能となる。
【００７１】
上記では、単一のコンテンツが供される場合の投影制御について説明してきた。次に、複数のコンテンツが供される場合の投影制御部１５０による投影制御について説明する。
【００７２】
投影制御部１５０は、特定部１３０が複数のコンテンツを特定した場合に、各々のコンテンツに対応付けられる視覚情報を出力部１６０に出力させてもよい。図１０は、複数のコンテンツが供される場合の一例について説明するための図である。図１０には、食器Ｔ８、料理Ｃ８、装飾Ｍ８が示されている。また、図１０には、食器Ｔ９、料理Ｃ９、装飾Ｍ９も示されている。図１０の一例において、投影制御部１５０は、料理Ｃ８に対応付けられるアニメーションＡ７、料理Ｃ９に対応付けられるアニメーションＡ８を投影面に投影している。
【００７３】
また、投影制御部１５０は、特定部１３０が複数のコンテンツを特定した場合に、複数のコンテンツに対応する視覚情報を出力部１６０に出力させてもよい。具体的には、投影制御部１５０は、特定部１３０が複数のコンテンツを特定した場合に各々投影させる視覚情報とは異なる、当該複数のコンテンツの組み合わせに対応する視覚情報を出力部１６０に投影させてもよい。
【００７４】
図１１は、投影制御部１５０による、複数のコンテンツが特定された場合の投影制御の一例について説明するための図である。図１１には、食器Ｔ１０、料理Ｃ１０、装飾Ｍ１０、食器Ｔ１１、料理Ｃ１１、装飾Ｍ１１が示されている。
【００７５】
図１１の上側の一例において、投影制御部１５０は、食器Ｔ１０および装飾Ｍ１０の認識結果に基づいて、アニメーションＡ９を投影させている。また、投影制御部１５０は、食器Ｔ１１および装飾Ｍ１１の認識結果に基づいて、アニメーションＡ１０を投影させている。ここで、アニメーションＡ１０は、料理Ｃ１０と料理Ｃ１１の組み合わせに対応付けられる視覚情報である。
【００７６】
ここで、投影制御部１５０は、例えば複数のコンテンツの組み合わせに対応付けられる視覚情報を、当該複数のコンテンツに投影させてもよい。図１１の一例において、投影制御部１５０は、アニメーションＡ１０を、食器Ｔ１１、装飾Ｍ１１、および料理Ｃ１１上から、食器Ｔ１０、および料理Ｃ１０まで移動させている。
【００７７】
このように、投影制御部１５０は、複数のコンテンツの認識結果に基づいて、視覚情報をあるコンテンツから他のコンテンツへ移動させることができる。係る機能によれば、ユーザが視覚情報の投影に関して、より楽しむことが可能となる。
【００７８】
次に、投影制御部１５０による、時間経過に基づく投影制御について説明する。図１２は、コンテンツが供されてから経過した時間に基づく投影制御の一例について説明するための図である。図１２には、ユーザＵ１およびユーザＵ２のそれぞれにコンテンツが供されてから、視覚情報が投影された回数について時系列に示されている。
【００７９】
投影制御部１５０は、時間経過に基づいて、視覚情報の投影を制御してもよい。具体的には、投影制御部１５０は、例えばコンテンツが供されてから経過した時間に基づいて、視覚情報の投影をさせるか否かを決定してもよい。例えば、投影制御部１５０は、最初に視覚情報の投影を開始させてから経過した時間に基づいて、出力部１６０に視覚情報を投影面へ投影させるか否かを決定してもよい。
【００８０】
投影制御部１５０は、例えばコンテンツが供されてから所定時間が経過するまでは、出力部１６０に視覚情報を投影させ、所定時間の経過後は出力部１６０に視覚情報を投影させなくてもよい。一方で、投影制御部１５０は、例えばコンテンツが供されてから所定時間が経過するまでの間、視覚情報を投影した回数が所定の回数以下であった場合、所定時間の経過後であっても出力部１６０に視覚情報を投影させてもよい。
【００８１】
以下、図１２の一例について説明する。ここで、投影制御部１５０が設定する所定の投影回数は、５回とする。投影制御部１５０は、コンテンツが供された時間ＴＩ１から所定の時間ＴＩ２までの間、出力部１６０に視覚情報の投影ＭＵ１を投影させている。ここで、視覚情報の投影ＭＵ１の回数は、６回である。一方で、投影制御部１５０は、所定の時間ＴＩ２以降では、出力部１６０に視覚情報を投影させていない。
【００８２】
また、ユーザＵ２は、コンテンツが供された時間ＴＩ１から所定の時間ＴＩ２までの間、視覚情報の投影ＭＵ２ａをさせている。ここで、視覚情報の投影ＭＵ２の回数は、１回であり、所定の投影回数である５回より少ない。従って、投影制御部１５０は、所定の時間ＴＩ２以降であっても、視覚情報の投影ＭＵ２ｂをさせている。ここで、投影制御部１５０は、視覚情報の投影ＭＵ２ａと視覚情報の投影ＭＵ２ｂの回数の合計が所定の投影回数に達した時点で、視覚情報の投影をさせなくてもよい。
【００８３】
このように、時間経過に基づいて視覚情報の投影を制御することができる。係る機能によれば、同じ視覚情報を投影していても、ユーザに飽きさせないことが可能となる。
【００８４】
次に、本実施形態に係る投影制御の流れの一例について説明する。図１３は、本実施形態に係る投影制御の流れの一例について説明するための図である。図１３を参照すると、まず、認識部１２０が、入力部１１０が撮像し、取得した画像などの情報に基づいて、第２のオブジェクトの認識を開始する（Ｓ１１０１）。次に、認識部１２０は、第２のオブジェクトを認識したか否かを判定する（Ｓ１１０２）。認識部１２０が第２のオブジェクトを認識しなかったと判定した場合（Ｓ１１０２：ＮＯ）、ステップＳ１１０２へ復帰する。一方、認識部１２０が第２のオブジェクトを認識したと判定した場合（Ｓ１１０２：ＹＥＳ）、入力部１１０が撮像し、取得した画像などの情報に基づいて、第１のオブジェクトを認識したか否かを判定する（Ｓ１１０３）。認識部１２０が第１のオブジェクトを認識しなかったと判定した場合（Ｓ１１０３：ＮＯ）、ステップＳ１１０２へ復帰する。
【００８５】
次に、特定部１３０は、第１のオブジェクトの大きさが特定の範囲内にあるか否かを判定する（Ｓ１１０４）。第１のオブジェクトの大きさが特定の範囲内にあると判定した場合（Ｓ１１０４：ＹＥＳ）、特定部１３０は第１のオブジェクトおよび第２のオブジェクトの認識結果に基づいて、コンテンツを特定する（Ｓ１１０５）。次に、投影制御部１５０は、第１のオブジェクトの位置および第２のオブジェクトの位置に基づいて、投影位置を決定する（Ｓ１１０６）。次に、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１１０７）、投影装置１０は動作を終了する。
【００８６】
一方で、第１のオブジェクトの大きさが特定の範囲外であると判定した場合（Ｓ１１０４：ＮＯ）、特定部１３０は、第１のオブジェクトの大きさが所定の範囲よりも大きいか否かを判定する（Ｓ１１０８）。第１のオブジェクトの大きさが所定の範囲よりも大きくないと判定した場合（Ｓ１１０８：ＮＯ）、ステップＳ１１０２へ復帰する。一方、第１のオブジェクトの大きさが所定の範囲よりも大きいと判定した場合（Ｓ１１０８：ＹＥＳ）、特定部１３０は第２のオブジェクトの認識結果に基づいて、コンテンツを特定する（Ｓ１１０９）。次に、投影制御部１５０は、第２のオブジェクトの位置に基づいて、投影位置を決定する（Ｓ１１１０）。次に、投影制御部１５０は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１１０７）、投影装置１０は動作を終了する。
【００８７】
説明してきたように、投影制御部１５０は、第１のオブジェクトおよび第２のオブジェクトの認識結果に基づいて、第１のオブジェクトまたは第２のオブジェクトの位置関係が予め決められた位置関係以外となったとしても、正確な位置に視覚情報を投影することが可能である。しかし、第１のオブジェクトおよび第２のオブジェクト以外にも、例えば、料理がユーザによって食されるように、コンテンツ自体の状態が変化する状況があり得る。
【００８８】
そこで、本実施形態に係る投影制御部１５０は、コンテンツの状態変化に基づいて、投影制御を行ってもよい。例えば、投影制御部１５０は、認識部１２０が食事の場面において、食器Ｔに盛り付けられた料理Ｃの量の変化を認識したことに基づいて、アニメーションＡを投影させる位置を決定してもよい。
【００８９】
図１４は、コンテンツの状態変化に基づく投影制御の一例について説明するための図である。図１４には、食器Ｔ１２、料理Ｃ１２、装飾Ｍ１２が示されている。ここで、食器Ｔ１２の右下部分は料理Ｃ１２が存在しない空白領域である。
【００９０】
投影制御部１５０は、特定部１３０が特定したコンテンツに対応する視覚情報を、第１のオブジェクト上に投影させてもよい。具体的には、投影制御部１５０は、第１のオブジェクトに直接視覚情報を投影できるような領域を選択し得る。投影制御部１５０は、出力部１６０に当該領域へ視覚情報を投影させてもよい。例えば、投影制御部１５０は、認識部１２０が投影面における新たな第１のオブジェクトの領域を認識した場合、出力部１６０に視覚情報を当該領域に投影させてもよい。
【００９１】
図１４の一例において、投影制御部１５０は、認識部１２０が食器Ｔ１２の右下部分における空白領域を認識したことに基づいて、出力部１６０にアニメーションＡ１１を当該空白領域の投影位置Ｐ１０へ投影させている。
【００９２】
なお、認識部１２０は、コンテンツの状態変化を入力部１１０が撮像し、取得した画像から認識してもよい。また、認識部１２０は、当該画像からコンテンツの体積を推定することで、コンテンツの質量変化を認識してもよい。
【００９３】
このように、コンテンツの状態変化に基づいて、視覚情報の投影を制御することができる。係る機能によれば、ユーザのコンテンツに対する行為に応じて、柔軟に視覚情報を投影することが可能となる。
【００９４】
なお、認識部１２０がコンテンツの体積が減少していることを認識した場合、投影制御部１５０は、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果以外に、コンテンツの体積が減少していることに基づいて、視覚情報を投影する位置を決定してもよい。
【００９５】
次に、本実施形態に係るコンテンツの状態変化における投影制御の流れの一例について説明する。図１５は、本実施形態に係るコンテンツの状態変化における投影制御の流れの一例について説明するための図である。図１５では、コンテンツが供され、認識部１２０による認識が行われている最中である状況が前提である。図１５を参照すると、まず、認識部１２０がコンテンツの状態が変化したか否かを判定する（Ｓ１２０１）。コンテンツの状態が変化していないと判定された場合（Ｓ１２０１：ＮＯ）、ステップＳ１２０１へ復帰する。コンテンツの状態が変化したと判定された場合（Ｓ１２０１：ＹＥＳ）、認識部１２０は投影面における第１のオブジェクトに新たな空白領域が出現したか否かを判定する（Ｓ１２０２）。第１のオブジェクトに空白領域が出現したと判定した場合（Ｓ１２０２：ＹＥＳ）、第１のオブジェクトおよび第２のオブジェクトの認識結果、に基づいて、コンテンツを特定する（Ｓ１２０３）。次に、投影制御部１５０は、第１のオブジェクトの位置および空白領域に基づいて、投影位置を決定する（Ｓ１２０４）。次に、投影制御部１５０は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１２０５）、投影装置１０は動作を終了する。
【００９６】
一方、第１のオブジェクトに空白領域が出現していないと判定した場合（Ｓ１２０２：ＮＯ）、認識部１２０は、コンテンツの質量が変化したか否かを判定する（Ｓ１２０６）。コンテンツの質量が変化していないと判定した場合（Ｓ１２０６：ＮＯ）、ステップＳ１２０１へ復帰する。一方、コンテンツの質量が変化したと判定した場合（Ｓ１２０４：ＹＥＳ）、第１のオブジェクトの認識結果、第２のオブジェクトの認識結果、および質量が減少したコンテンツの認識結果に基づいて、コンテンツを特定する（Ｓ１２０７）。次に、投影制御部１５０は、第１のオブジェクトの位置および現在存在する空白領域に基づいて、投影位置を決定する（Ｓ１２０４）。次に、投影制御部１５０は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部１６０を制御し（Ｓ１２０５）、投影装置１０は動作を終了する。
【００９７】
上記はあくまで一例であり、状態変化に関する条件の組み合わせ方はこれに限られない。
【００９８】
上記では、コンテンツが料理である例について説明してきた。しかし、コンテンツが料理以外である場合でも、投影制御部１５０による投影制御は適用可能である。
【００９９】
例えば、図１６は、用紙記入に関する投影制御の一例について説明するための図である。図１６には、第１のオブジェクトである申込用紙Ｔ１３、第２のオブジェクトである見出しＭ１３、コンテンツであるフォームＣ１３、およびフォームＣ１３に対応する視覚情報である案内情報Ａ１２、Ａ１３およびＡ１４が示されている。
【０１００】
投影制御部１５０は、認識部１２０が認識するフォームＣ１３の項目状況の変化に基づいて、案内情報Ａ１２、Ａ１３を申込用紙Ｔ１３上に出力部１６０に投影させる。ここで、フォームＣ１３の項目状況の変化とは、例えばユーザが申込用紙Ｔ１３に対してフォームＣ１３の形式に沿うように記入を行うことをいう。投影制御部１５０は、認識部１２０が認識したフォームＣ１３において形式に沿うように記入されたことに基づいて、出力部１６０に記入されたことに対応する視覚情報を投影させる。
【０１０１】
また一方で、フォームＣ１３の項目状況の変化は、フォームＣ１３の形式に沿わないように記入を行うことや、誤った内容の記入を行うこと、などを含んでもよい。例えば、投影制御部１５０は、認識部１２０が認識したフォームＣ１３において形式に沿わないように記入されたことに基づいて、出力部１６０に当該記入が形式に合わないことをユーザに通知（案内）するような視覚情報を投影させてもよい。また、投影制御部１５０は、認識部１２０が未だ未記入のコンテンツまたはコンテンツの一部を認識したことに基づいて、出力部１６０に当該未記入のコンテンツが存在することをユーザに通知するような視覚情報を投影させてもよい。
【０１０２】
図１６の一例において、投影制御部１５０は、出力部１６０に、記入形式と異なる記入がされていることを案内する案内情報Ａ１２を申込用紙Ｔ１３上へ投影させている。また、投影制御部１５０は同時に、認識部１２０がフォームＣ１３の項目に「Ａコース」を選択する記入を認識したことに基づいて、および選択された「Ａコース」の内容を案内する案内情報Ａ１３を申込用紙Ｔ１３上に投影させている。また、投影制御部１５０は同時に、認識部１２０により申込用紙が供されてから未だ記入がされていない記入欄を認識したことに基づいて、出力部１６０に記入を促す案内情報Ａ１４を投影させている。
【０１０３】
なお、認識部１２０は、第１のオブジェクトである用紙を、例えば大きさや、色、形で認識してもよい。また、認識部１２０は、第２のオブジェクトである見出しを、例えば所定の模様や印字された文字で認識してもよい。
【０１０４】
このように、投影制御部１５０は、用紙上の項目に記入された情報を認識し、投影する案内情報を適切に決定できる。係る機能によれば、ユーザの用紙記入に関する利便性の向上が可能となる。なお、投影制御部１５０による投影制御は、上記の例に限らず、様々な状況において適用が可能である。
【０１０５】
＜２．ハードウェア構成例＞
次に、本開示の一実施形態に係る投影装置１０のハードウェア構成例について説明する。図１７は、本開示の一実施形態に係る投影装置１０のハードウェア構成例を示すブロック図である。図１７を参照すると、投影装置１０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１０６】
（プロセッサ８７１）
プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１０７】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１０８】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１０９】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０１１０】
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【０１１１】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１１２】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１１３】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１１４】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１１５】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１１６】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１１７】
＜３．まとめ＞
以上説明したように、本開示の実施形態に係る投影装置１０が、第１のオブジェクトの認識結果および第２のオブジェクトの認識結果を用いることで、より正確に視覚情報を投影することが可能となる。また、投影装置１０が、コンテンツの状態変化を認識することで、当該状態変化に応じた視覚情報を投影することが可能となる。
【０１１８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、
を備える、
情報処理装置。
（２）
前記第２のオブジェクトは、前記コンテンツ毎に対応付けられる、
前記（１）に記載の情報処理装置。
（３）
前記第１のオブジェクトおよび前記第２のオブジェクトは、継続的に認識され、
前記投影制御部は、前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に動的に投影させる、
前記（１）または（２）に記載の情報処理装置。
（４）
前記第１のオブジェクトの認識結果は、前記第１のオブジェクトの大きさを含み、
前記投影制御部は、前記第１のオブジェクトの大きさに応じて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記投影制御部は、前記第１のオブジェクトの大きさが所定の範囲に含まれない場合、前記第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記（４）に記載の情報処理装置。
（６）
前記認識結果は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置を含み、
前記投影制御部は、前記第１のオブジェクトの位置および前記第２のオブジェクトの位置に基づいて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記投影制御部は、前記第１のオブジェクトの位置を基準とした前記第２のオブジェクトの位置が、所定の範囲に含まれない場合、前記第１のオブジェクトの位置を基準として、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記（６）に記載の情報処理装置。
（８）
前記第１のオブジェクトおよび前記第２のオブジェクトを認識する認識部、
をさらに備え、
前記投影制御部は、前記認識部による前記第１のオブジェクトの認識結果および前記第２のオブジェクトの認識結果に基づいて、特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記認識部は、前記コンテンツの状態変化を認識し、
前記投影制御部は、前記状態変化に応じて、前記視覚情報を前記投影面に投影させる、
前記（８）に記載の情報処理装置。
（１０）
前記状態変化は、前記コンテンツの質量変化を含み、
前記投影制御部は、前記質量変化に応じた前記視覚情報を前記投影面に投影させる、
前記（９）に記載の情報処理装置。
（１１）
前記視覚情報は、前記コンテンツ毎に対応付けられる、
前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記投影制御部は、前記視覚情報を前記第１のオブジェクト上に投影させる、
前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記投影制御部は、他のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に投影させる、
前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記投影制御部は、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへのインタラクションに基づいて、前記視覚情報を前記投影面に投影させ、
前記インタラクションは、前記他のオブジェクトによる前記第１のオブジェクトまたは前記第２のオブジェクトへの接近または接触を含む、
前記（１３）に記載の情報処理装置。
（１５）
前記投影制御部は、特定された前記コンテンツに対応する前記視覚情報の投影を開始させてから経過した時間に基づいて、前記視覚情報を前記投影面に投影させる、
前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記投影制御部は、複数の前記コンテンツが特定された場合、前記複数のコンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記コンテンツは、食品を含み、
前記第２のオブジェクトは、前記食品と共に供される、
前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記投影制御部は、前記食品が供されたタイミングで、前記視覚情報の前記投影面への投影を開始させる、
前記（１７）に記載の情報処理装置。
（１９）
プロセッサが、
投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、
を含む、
情報処理方法。
（２０）
コンピュータに、
投影面に供されるコンテンツが配置された第１のオブジェクトの認識結果、および前記第１のオブジェクトと共に供される第２のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、
を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【符号の説明】
【０１２１】
１０      投影装置
２０      テーブル
１１０    入力部
１２０    認識部
１３０    特定部
１４０    記憶部
１５０    投影制御部
１６０    出力部
【図１】
2020071057.tif 000003
【図２】
2020071057.tif 000004
【図３】
2020071057.tif 000005
【図４】
2020071057.tif 000006
【図５】
2020071057.tif 000007
【図６】
2020071057.tif 000008
【図７】
2020071057.tif 000009
【図８】
2020071057.tif 000010
【図９】
2020071057.tif 000011
【図１０】
2020071057.tif 000012
【図１１】
2020071057.tif 000013
【図１２】
2020071057.tif 000014
【図１３】
2020071057.tif 000015
【図１４】
2020071057.tif 000016
【図１５】
2020071057.tif 000017
【図１６】
2020071057.tif 000018
【図１７】
2020071057.tif 000019
【国際調査報告】
2020071057.tif 000020
2020071057.tif 000021