(57)【要約】【課題】動作主体と装置とのインタラクションをより円滑にすることが可能な仕組みを提供する。【解決手段】動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させる投影制御部と、前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行う処理制御部と、を備える情報処理装置。プロセッサを用いて、動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させることと、前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行うことと、を含む情報処理方法。およびプログラム。【選択図】図４
2017146782.tif 000002
【特許請求の範囲】
【請求項１】
動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させる投影制御部と、
前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行う処理制御部と、
を備える情報処理装置。
【請求項２】
前記状態に基づく処理は、投影内容の変更を含む、
請求項１に記載の情報処理装置。
【請求項３】
前記投影内容の変更は、投影対象を、投影されている前記ガイド情報が誘導する動作の次の動作を誘導する前記ガイド情報に変更することを含む、
請求項２に記載の情報処理装置。
【請求項４】
前記ガイド情報は、前記動作主体に単一の動作を誘導する情報のみを含む、
請求項１に記載の情報処理装置。
【請求項５】
前記ガイド情報は、前記動作主体に動作させる位置を示す情報を含む、
請求項１に記載の情報処理装置。
【請求項６】
前記ガイド情報は、前記動作主体に動作させる順序を示す情報を含む、
請求項１に記載の情報処理装置。
【請求項７】
前記動作は、投影されている前記ガイド情報に対する操作を含む、
請求項１に記載の情報処理装置。
【請求項８】
前記動作は、音を発生させる動作を含む、
請求項１に記載の情報処理装置。
【請求項９】
前記状態は、前記動作主体の動作結果が映る画像に係る画像情報に基づいて認識される、
請求項１に記載の情報処理装置。
【請求項１０】
前記状態は、前記動作主体が発する音に係る音情報に基づいて認識される、
請求項１に記載の情報処理装置。
【請求項１１】
前記状態の認識は前記情報処理装置の外部の装置で行われ、認識結果が前記外部の装置から提供される、
請求項１に記載の情報処理装置。
【請求項１２】
前記ガイド情報を投影するための情報は、前記情報処理装置の外部の装置から提供される、
請求項１に記載の情報処理装置。
【請求項１３】
前記投影指示は、前記動作主体の音声で入力される、
請求項１に記載の情報処理装置。
【請求項１４】
前記処理制御部は、前記動作主体の動作が前記ガイド情報の誘導する動作と異なる場合、前記状態に基づく処理と異なる処理を行う、
請求項１に記載の情報処理装置。
【請求項１５】
前記状態に基づく処理と異なる処理は、エラー通知を含む、
請求項１４に記載の情報処理装置。
【請求項１６】
前記状態に基づく処理と異なる処理は、投影される前記ガイド情報の変更を含む、
請求項１４に記載の情報処理装置。
【請求項１７】
前記ガイド情報の変更は、前記動作主体が過去に行った動作に基づいて修正されたガイド情報への変更を含む、
請求項１６に記載の情報処理装置。
【請求項１８】
前記ガイド情報の変更は、前記ガイド情報の変更可否に基づいて行われる、
請求項１６に記載の情報処理装置。
【請求項１９】
プロセッサを用いて、
動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させることと、
前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行うことと、
を含む情報処理方法。
【請求項２０】
動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させる投影制御機能と、
前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行う処理制御機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、情報処理技術の発展に伴い、ユーザについてインタラクティブな装置が開発されている。このような装置は概して、ユーザの入力操作に応じて情報を出力する。そのため、ユーザの入力操作にかかる負担を低減する技術が開発されている。
【０００３】
例えば、特許文献１では、操作メニューを床に表示するプロジェクタと、表示される操作メニューを操作する床上の物体を検出するレンジセンサとを備え、検出された物体の位置を用いて、当該物体の位置に対応する処理を実行する作動装置に係る発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、動作主体と装置とのインタラクションのさらなる円滑化が望まれている。そこで、本開示では、動作主体と装置とのインタラクションをより円滑にすることが可能な仕組みを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させる投影制御部と、前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行う処理制御部と、
を備える情報処理装置が提供される。
【０００７】
また、本開示によれば、プロセッサを用いて、動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させることと、前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行うことと、を含む情報処理方法が提供される。
【０００８】
また、本開示によれば、動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させる投影制御機能と、前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行う処理制御機能と、をコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、動作主体と装置とのインタラクションをより円滑にすることが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１Ａ】本開示の各実施形態に係る情報処理装置に関する技術を説明するための図である。
【図１Ｂ】本開示の各実施形態に係る情報処理装置に関する技術を説明するための図である。
【図２Ａ】本開示の各実施形態に係る情報処理装置の動作状態を認識する機能の概要を説明するための図である。
【図２Ｂ】本開示の各実施形態に係る情報処理装置の動作状態を認識する機能の概要を説明するための図である。
【図３】本開示の第１の実施形態に係る情報処理システムの機能構成の例を概略的に示すブロック図である。
【図４】同実施形態に係る情報処理装置の処理の例を概念的に示すフローチャートである。
【図５】同実施形態の第１の適用例に係る情報処理システムの処理例を説明するための図である。
【図６】同実施形態の第１の適用例に係る情報処理システムの処理の他の例を説明するための図である。
【図７】同実施形態の第２の適用例に係る情報処理システムの処理例を説明するための図である。
【図８】同実施形態の第３の適用例に係る情報処理システムの処理例を説明するための図である。
【図９】同実施形態の第４の適用例に係る情報処理システムの処理例を説明するための図である。
【図１０】同実施形態の第５の適用例に係る情報処理システムの処理例を説明するための図である。
【図１１】同実施形態の第６の適用例に係る情報処理システムの処理例を説明するための図である。
【図１２】同実施形態の第７の適用例に係る情報処理システムの処理例を説明するための図である。
【図１３】同実施形態の変形例に係る情報処理システムの処理例を説明するための図である。
【図１４】本開示の第２の実施形態に係る情報処理装置の処理の例を概念的に示すフローチャートである。
【図１５】同実施形態の第１の適用例に係る情報処理システムの処理例を説明するための図である。
【図１６】同実施形態の第２の適用例に係る情報処理システムの処理例を説明するための図である。
【図１７】本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の構成を、必要に応じて装置１０Ａおよび装置１０Ｂなどのように区別する。ただし、実質的に同一の機能構成を区別する必要が無い場合、同一符号のみを付する。例えば、装置１０Ａおよび装置１０Ｂを特に区別する必要がない場合には、単に装置１０と称する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．序論
２．第１の実施形態（基本形態）
２−１．システムの構成
２−２．システムの処理
２−３．適用例
２−４．第１の実施形態のまとめ
２−５．変形例
３．第２の実施形態（エラー処理の例）
３−１．システムの構成
３−２．システムの処理
３−３．適用例
３−４．第２の実施形態のまとめ
３−５．変形例
４．一実施形態に係る情報処理装置のハードウェア構成
５．むすび
【００１４】
＜１．序論＞
まず、本開示の各実施形態に係る情報処理装置に関する技術について説明する。
【００１５】
上記技術に係る装置１０は、通信機能および投影機能を有する。通信機能は、外部の装置から情報を受信したり、外部の装置へ情報を送信したりするための機能である。投影機能は、装置の周辺に画像を投影するための機能である。このため、装置１０は、通信を介して得られる情報に基づいて画像を投影することができる。図１Ａおよび図１Ｂは、本開示の各実施形態に係る情報処理装置１００に関する技術を説明するための図である。
【００１６】
例えば、ユーザと装置１０とが将棋をする場合を考える。装置１０は、図１Ａの破線で示したような将棋盤の装置１０側の領域に将棋の駒の画像を投影する。ユーザは、将棋盤上の駒を動かすとともに、どの駒をどこに動かしたかを通信端末２０に入力する。通信端末２０と装置１０とは駒の移動情報を通信する。そして、装置１０は、受信された駒の移動情報に基づいて投影する駒の画像の位置を変更する。このようにして、ユーザと装置１０との将棋対決が実現される。
【００１７】
また、ユーザに代わって他の装置１０が将棋相手となってもよい。例えば、装置１０Ａおよび装置１０Ｂは、図１Ｂに示したように、将棋盤の各装置側に将棋の駒の画像をそれぞれ投影する。装置１０Ａが先行の場合、装置１０Ａは、どの駒をどこに動かすかを決定し、投影される駒の画像の位置を決定される位置に変更する。また、装置１０Ａは、決定された駒の移動情報を装置１０Ｂに送信する。装置１０Ｂは、受信された駒の移動情報に基づいて投影する駒の画像の位置を変更する。このようにして、装置１０同士の将棋対決が実現される。
【００１８】
しかし、上述の技術では、動作主体と装置とのインタラクションが煩雑となるおそれがある。例えば、駒の移動情報などの状態変化情報をユーザが逐一入力することはユーザの負担となりかねない。また、インタラクションの実現のために通信機能が要される。例えば、装置１０との通信に対応する装置または通信機能がなければ、装置１０とのインタラクションを利用することが困難となる。
【００１９】
そこで、本開示の各実施形態に係る情報処理装置１００は、動作主体の動作状態を認識する認識機能を有する。図２Ａおよび図２Ｂは、本開示の各実施形態に係る情報処理装置１００の動作状態を認識する機能の概要を説明するための図である。
【００２０】
例えば、情報処理装置１００は、図２Ａの点線で示したような将棋盤に相当する領域を撮像し、撮像により得られる画像に基づいてユーザの動作状態を認識する。ユーザが駒を動かした状態が認識されると、情報処理装置１００は、画像に映る駒の位置に基づいて駒の移動情報を把握する。情報処理装置１００は、把握される駒の移動情報に基づいて投影する駒の画像の位置を変更する。一方、ユーザは駒を動かすのみで、情報処理装置１００に提供するための入力操作などは行わない。
【００２１】
また、情報処理装置１００同士の将棋対決について説明する。情報処理装置１００Ａが先行の場合、情報処理装置１００Ａは、装置１０と同様に、どの駒をどこに動かすかを決定し、投影される駒の画像の位置を決定される位置に変更する。しかし、情報処理装置１００Ａは、図２Ｂに示したように、駒の移動情報を情報処理装置１００Ｂに送信することはない。情報処理装置１００Ｂは、将棋盤に相当する領域を撮像し、撮像により得られる画像に基づいて情報処理装置１００Ａの動作状態を認識する。情報処理装置１００Ａが駒を動かした状態が認識されると、情報処理装置１００Ｂは、画像に映る駒の位置に基づいて投影する駒の画像の位置を変更する。
【００２２】
このように、情報処理装置１００は、動作主体の動作状態を認識する認識機能を有する。このため、動作主体の操作または処理を削減することができる。従って、動作主体と装置とのインタラクションの煩雑化を抑制することが可能となる。以下、当該認識機能を有する情報処理システムについて詳細に説明する。なお、説明の便宜上、第１および第２の実施形態に係る情報処理装置１００を、情報処理装置１００−１および情報処理装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。これは後述するサーバ２００についても同様である。また、図２Ａおよび図２Ｂでは、情報処理装置１００が犬型のロボットである例が示されたが、情報処理装置１００はこれに限られず、ロボット以外の装置であってよい。
【００２３】
＜２．第１の実施形態（基本形態）＞
本開示の第１の実施形態について説明する。第１の実施形態では、ユーザの音声入力によるガイド情報の投影指示に基づいてガイド情報が投影され、ガイド情報の誘導する動作が行われた状態が認識されると、当該状態に応じた処理が実行される。
【００２４】
＜２−１．システムの構成＞
まず、図３を参照して、本開示の第１の実施形態に係る情報処理システムの機能構成について説明する。図３は、本開示の第１の実施形態に係る情報処理システムの機能構成の例を概略的に示すブロック図である。
【００２５】
図３に示したように、本実施形態に係る情報処理システムは、情報処理装置１００−１およびサーバ２００−１を備える。
【００２６】
（情報処理装置）
情報処理装置１００−１は、音声入力部１０２、撮像部１０４、制御部１０６、投影部１０８、音声出力部１１０および通信部１１２を備える。なお、情報処理装置１００−１は、可搬性のある装置であってよい。
【００２７】
（音声入力部）
音声入力部１０２は、情報処理装置１００−１周辺の音声を集音する。具体的には、音声入力部１０２は、情報処理装置１００−１周辺の音声を集音し、集音される音声に係る情報（以下、音声情報とも称する。）を生成する。なお、音声入力部１０２は、音声以外の音を集音してもよい。また、音声情報は、通信部１１２を介して外部の音声入力装置から取得されてもよい。
【００２８】
（撮像部）
撮像部１０４は、情報処理装置１００−１周辺を撮像する。具体的には、撮像部１０４は、情報処理装置１００−１の動作主体の動作に関わる領域（以下、動作領域とも称する。）を撮像し、撮像により得られる画像に係る情報（以下、撮像画像情報とも称する。）を生成する。当該動作領域は、投影部１０８により画像が投影される領域または投影可能な領域である。なお、撮像部１０４の撮像により得られる画像は、動作主体の映る画像であってもよく、動作主体が映らない画像であってもよい。また、撮像画像情報は、通信部１１２を介して外部の撮像装置から取得されてもよい。
【００２９】
（制御部）
制御部１０６は、情報処理装置１００−１の機能を全体的に制御する。具体的には、制御部１０６は、音声入力部１０２、撮像部１０４および投影部１０８の処理を制御する。例えば、制御部１０６は、制御パラメタなどを設定することにより、音声入力部１０２、撮像部１０４および投影部１０８の処理内容を制御する。
【００３０】
また、制御部１０６は、音声情報および撮像画像情報についての認識結果をサーバ２００−１から取得する。例えば、制御部１０６は、音声入力部１０２から入力される音声情報および撮像部１０４から入力される撮像画像情報の各々について音声認識処理および画像認識処理をそれぞれサーバ２００−１に通信を介して依頼する。そして、制御部１０６は、サーバ２００−１から通信を介して音声認識結果および画像認識結果を受け取る。
【００３１】
さらに、制御部１０６は、投影制御部として、ガイド情報の投影指示に応じて当該ガイド情報を投影部１０８に投影させる。ガイド情報は、動作主体が誘導を要求する当該動作主体の動作を誘導する情報である。具体的には、制御部１０６は、サーバ２００−１から提供される音声認識結果がガイド情報の投影指示を示す場合、当該ガイド情報を投影するための情報（以下、素材情報とも称する。）をサーバ２００−１から通信を介して取得する。そして、取得される素材情報に基づいてガイド情報を投影部１０８に投影させる。例えば、制御部１０６は、音声認識処理により得られるテキスト情報を解析し、テキスト情報がガイド情報の投影指示を示すかを判定する。テキスト情報がガイド情報の投影指示を示すと判定される場合、制御部１０６は、テキスト情報の示すガイド情報に係る素材情報の提供をサーバ２００−１に通信を介して要求する。サーバ２００−１から素材情報が提供されると、制御部１０６は、提供された素材情報に基づくガイド情報を投影部１０８に投影させる。なお、ガイド情報の投影指示は、ガイド情報の投影の直接的な指示であってもよく、間接的な指示であってもよい。例えば、ガイド情報の投影の間接的な指示は、ガイド情報に関する情報処理装置１００への要望または要求などであってもよい。また、素材情報は、情報処理装置１００−１に記憶されていてもよく、情報処理装置１００−１内で生成されてもよい。また、サーバ２００−１から提供される素材情報は、情報処理装置１００−１内で加工されてもよい。
【００３２】
また、制御部１０６は、処理制御部として、ガイド情報の誘導する動作が動作主体により行われた状態（以下、目標状態とも称する。）が認識されると、当該目標状態に基づく処理を行う。具体的には、制御部１０６は、動作主体の動作結果が映る画像に係る撮像画像情報に基づいて認識される動作状態が目標状態であるかを判定する。当該動作状態が目標状態であると判定される場合、制御部１０６は、当該目標状態に基づく処理を行う。例えば、制御部１０６は、ガイド情報の投影が開始された際に、目標状態を設定する。次に、制御部１０６は、所定の時間間隔で動作状態が目標状態に達したかを判定する。詳細には、制御部１０６は、画像認識処理により得られる物体の位置情報に基づいて、動作主体の位置（または動作主体の動かす物体の位置）の変化を判定する。動作主体の位置が目標状態の位置に変化したと判定される場合、制御部１０６は、動作状態が目標状態に達したと判定する。そして、制御部１０６は、動作状態が目標状態に達したと判定され、当該目標状態に基づく処理が行われた後、次の目標状態を設定する。
【００３３】
（投影部）
投影部１０８は、情報処理装置１００−１周辺に画像を投影する。具体的には、投影部１０８は、制御部１０６から入力される画像情報（以下、投影画像情報とも称する。）に係る画像を情報処理装置１００−１の周辺に投影する。例えば、投影部１０８は、制御部１０６から入力される、素材情報に基づくガイド情報を制御部１０６の指示する位置に投影する。なお、投影部１０８は、複数の領域にそれぞれ別個に画像を投影してもよい。また、投影領域は固定であってもよく、可変であってもよい。投影領域が可変である場合、投影領域は制御部１０６により制御されてよい。
【００３４】
（音声出力部）
音声出力部１１０は、情報処理装置１００−１の外部に音声を出力する。具体的には、音声出力部１１０は、制御部１０６から入力される音声情報に係る音声を情報処理装置１００−１の外部に出力する。なお、出力される音声に係る音声情報は、制御部１０６にて生成されてもよく、通信部１１２を介して外部の装置から取得されてもよい。
【００３５】
（通信部）
通信部１１２は、情報処理装置１００−１の外部の装置と通信する。具体的には、通信部１１２は、音声情報、撮像画像情報および情報提供要求をサーバ２００−１へ送信し、音声認識結果、画像認識結果および素材情報をサーバ２００−１から受信する。なお、通信部１１２は、サーバ２００−１と有線通信方式を用いて通信してもよく、無線通信方式を用いて通信してもよい。
【００３６】
（サーバ）
また、サーバ２００−１は、通信部２０２、音声認識部２０４、画像認識部２０６、情報提供部２０８および記憶部２１０を備える。
【００３７】
（通信部）
通信部２０２は、サーバ２００−１の外部の装置と通信する。具体的には、通信部２０２は、音声情報、撮像画像情報および情報提供要求を情報処理装置１００−１から受信し、音声認識結果、画像認識結果および素材情報を情報処理装置１００−１へ送信する。通信部２０２は、通信部１１２と実質的に同一の機能を有する。
【００３８】
（音声認識部）
音声認識部２０４は、音声情報に係る音声を認識する。具体的には、音声認識部２０４は、音声情報に基づいてテキスト情報を生成する。例えば、音声認識部２０４は、入力される音声情報に係る音声の内容に相当する文字を推定し、推定される文字を用いてテキスト情報を音声認識結果として生成する。なお、音声認識部２０４は、音声情報に係る音声の発話者を特定してもよい。
【００３９】
（画像認識部）
画像認識部２０６は、画像情報に係る画像を認識する。具体的には、画像認識部２０６は、画像情報に係る画像に映る物体の位置関係を認識する。例えば、画像認識部２０６は、入力される撮像画像情報に係る画像に映る物体を認識し、認識される物体の配置を推定する。そして、画像認識部２０６は、認識された物体および当該物体の配置に係る情報を画像認識結果として生成する。なお、画像認識処理にはＳＬＡＭ（Simultaneous  Localization  and  Mapping）などの技術が利用されてもよい。また、画像認識部２０６は、さらに顔認識処理を行ってもよい。
【００４０】
（情報提供部）
情報提供部２０８は、情報処理装置１００−１へ情報を提供する。具体的には、情報提供部２０８は、情報処理装置１００−１からの情報提供要求に応じて、提供される情報を選択し、選択される情報を情報処理装置１００−１に通信を介して提供する。例えば、情報提供部２０８は、素材情報の提供要求に応じて、記憶部２１０に記憶される素材情報を取得する。そして、情報提供部２０８は、取得される素材情報を通信部２０２に情報処理装置１００−１へ送信させる。
【００４１】
（記憶部）
記憶部２１０は、サーバ２００−１の処理に用いられる情報および情報処理装置１００−１へ提供される情報を記憶する。例えば、記憶部２１０は、音声認識処理または画像認識処理に用いられる情報、および素材情報としての画像情報またはテキスト情報などを記憶する。
【００４２】
＜２−２．システムの処理＞
次に、図４を参照して、本実施形態に係る情報処理装置１００−１の処理について説明する。図４は、本実施形態に係る情報処理装置１００−１の処理の例を概念的に示すフローチャートである。
【００４３】
情報処理装置１００−１は、ガイド情報の投影指示が取得されたかを判定する（ステップＳ３０２）。具体的には、制御部１０６は、音声入力部１０２から入力される音声情報についてサーバ２００−１に音声認識処理を行わせ、音声認識結果を取得する。そして、制御部１０６は、取得された音声認識結果がガイド情報の投影指示を示すかを判定する。
【００４４】
ガイド情報の投影指示が取得されたと判定されると、情報処理装置１００−１は、ガイド情報に応じた目標状態を設定する（ステップＳ３０４）。具体的には、制御部１０６は、音声認識結果がガイド情報の投影指示を示すと判定されると、当該投影指示に係るガイド情報に応じた動作状態を目標状態に設定する。
【００４５】
次に、情報処理装置１００−１は、動作状態を認識する（ステップＳ３０６）。具体的には、制御部１０６は、撮像部１０４から入力される画像情報についてサーバ２００−１に画僧認識処理を行わせ、画像認識結果を取得する。
【００４６】
次に、情報処理装置１００−１は、認識された動作状態が目標状態であるかを判定する（ステップＳ３０８）。具体的には、制御部１０６は、取得された画像認識結果に基づいて特定される動作状態が目標状態と一致するかを判定する。なお、目標状態との一致性（目標状態への到達性）については、所定の範囲の誤差が許容されてよい。
【００４７】
認識された動作状態が目標状態であると判定されると、情報処理装置１００−１は、目標状態に基づく処理を実行する（ステップＳ３１０）。具体的には、制御部１０６は、画像認識結果に基づいて特定される動作状態が目標状態と一致すると判定されると、当該目標状態に基づく処理を実行する。
【００４８】
認識された動作状態が目標状態でないと判定されると、情報処理装置１００−１は、処理がステップＳ３０６に戻される。
【００４９】
次に、情報処理装置１００−１は、ガイド情報の投影が終了したかを判定し（ステップＳ３１２）、ガイド情報の投影が終了したと判定されると、処理を終了する。ガイド情報の投影が終了したと判定されない場合には、ステップＳ３０４に戻って処理が繰り返される。
【００５０】
＜２−３．適用例＞
以上、本実施形態に係る情報処理システムについて説明した。当該情報処理システムは、上述の実施形態を基にして様々な事例に応じて修正され、各事例に適用され得る。以下に、第１〜第７の適用例について説明する。
【００５１】
（第１の適用例）
本実施形態の第１の適用例として、将棋の例を説明する。本適用例では、投影されているガイド情報に対する操作がガイド情報により誘導され、情報処理装置１００−１は、当該操作に係る目標状態が認識されると、目標状態に基づく処理として、投影内容の変更を行う。具体的には、制御部１０６は、ガイド情報として将棋の駒を示す画像を投影部１０８に投影させ、投影されている将棋の駒を示す画像に対する動作主体の操作が目標状態に係る操作に達したと判定されると、将棋の駒を示す画像の表示位置を当該目標状態に係る操作に応じて移動させる。さらに、図５を参照して、本適用例の処理について詳細に説明する。図５は、本実施形態の第１の適用例に係る情報処理システムの処理例を説明するための図である。
【００５２】
図５の例では、将棋盤を挟んでユーザと情報処理装置１００−１とが配置されている。また、将棋盤には、ユーザ側に予め実物体としての駒（以下、代表して駒３０について説明する。）が配置されている。なお、ユーザ側に配置される駒は情報処理装置１００−１により投影されてもよい。
【００５３】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて将棋に係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図５の時間ｔ１に示したように、音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「将棋したい。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいてユーザの指示「将棋対決」を解釈し、解釈される指示から「将棋の駒」の投影指示が取得されたと判定する。
【００５４】
将棋に係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、将棋に係るガイド情報をユーザの動作領域に投影する。例えば、制御部１０６は、図５の時間ｔ２に示したように、撮像部１０４の撮像により得られる画像に映る将棋盤の情報処理装置１００−１側に将棋の駒（以下、代表して駒Ｇ１について説明する。）を投影部１０８に投影させる。
【００５５】
次に、情報処理装置１００−１は、動作領域に投影される将棋に係るガイド情報に対するユーザの操作が行われた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、ユーザにより駒３０が移動させられた状態を目標状態として設定する。
【００５６】
次に、情報処理装置１００−１は、動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、撮像部１０４の撮像により得られる画像情報を用いた画像認識処理の結果に基づいて将棋盤上の駒３０の移動有無を判定する。図５の時間ｔ３に示したようにユーザにより駒３０が移動させられると、制御部１０６は、ユーザにより駒３０が移動させられた状態すなわち目標状態に達したと判定する。
【００５７】
動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、当該目標状態に係る操作に基づいて投影内容を変更する。例えば、制御部１０６は、駒３０が移動させられると、当該駒３０の移動に基づいて次の一手を決定する。そして、制御部１０６は、決定される次の一手に基づいて駒Ｇ１の投影位置を決定し、図５の時間ｔ４に示したように投影部１０８に当該投影位置に駒Ｇ１を投影させる。
【００５８】
これにより、ユーザは煩雑な操作なく情報処理装置１００−１との将棋を楽しむことができる。
【００５９】
また、本実施形態に係る情報処理装置１００−１は、情報処理装置１００−１同士の将棋対決にも適用される。図６を参照して、情報処理装置１００−１同士の将棋対決の例について説明する。図６は、本実施形態の第１の適用例に係る情報処理システムの処理の他の例を説明するための図である。なお、上述の図５の例を用いた説明と実質的に同一の説明については省略する。
【００６０】
図６の例では、将棋盤を挟んで情報処理装置１００−１Ａと情報処理装置１００−１Ｂとが配置されている。また、将棋盤には、何も配置されていない。なお、将棋盤が用意されてないとしてもよい。その場合、情報処理装置１００−１Ａまたは１００−１Ｂのうちの少なくとも一方が将棋盤を投影してよい。
【００６１】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて将棋に係るガイド情報の投影指示が取得されたかを判定する。例えば、情報処理装置１００−１Ａおよび１００−１Ｂは、図６の時間ｔ５に示したように音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「将棋対決して。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「将棋対決」から「将棋の駒」の投影指示が取得されたと判定する。
【００６２】
将棋に係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、ガイド情報をユーザの動作領域に投影する。例えば、図６の時間ｔ６に示したように、将棋盤の情報処理装置１００−１Ａ側に将棋の駒Ｇ１Ａが情報処理装置１００−１Ａにより投影され、将棋盤の情報処理装置１００−１Ｂ側に将棋の駒Ｇ１Ｂが情報処理装置１００−Ｂにより投影される。
【００６３】
次に、情報処理装置１００−１は、動作領域に投影されるガイド情報に対する相手方の情報処理装置１００−１の駒の移動に係る操作が行われた状態を目標状態として設定する。具体的には、例えば、情報処理装置１００−１Ａが先行である場合、情報処理装置１００−１Ｂは、情報処理装置１００−１Ａにより駒Ｇ１Ａが移動させられた状態を目標状態として設定する。また、情報処理装置１００−１Ａは、駒Ｇ１Ａを移動させた後、情報処理装置１００−１Ｂにより駒Ｇ１Ｂが移動させられた状態を目標状態として設定する。
【００６４】
次に、情報処理装置１００−１は、相手方の動作状態が設定された目標状態に達したかを判定する。例えば、情報処理装置１００−１Ｂは、将棋盤の駒Ｇ１Ａの移動有無を判定する。図６の時間ｔ７に示したように情報処理装置１００−１Ａにより投影される駒Ｇ１Ａが移動させられると、情報処理装置１００−１Ｂは、設定された情報処理装置１００−１Ａの操作が行われたと判定する。
【００６５】
相手方の動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、当該操作に基づいて投影内容を変更する。例えば、情報処理装置１００−１Ｂは、駒Ｇ１Ａが移動させられると、当該駒Ｇ１Ａの移動に基づいて次の一手を決定する。そして、情報処理装置１００−１Ｂは、決定される次の一手に基づいて駒Ｇ１Ｂの投影位置を決定し、図６の時間ｔ８に示したように、決定される位置に駒Ｇ１Ｂを投影部１０８に投影させる。
【００６６】
これにより、ユーザは情報処理装置１００−１同士の将棋対決を負担なく実現させることができる。なお、上記では、将棋の例について説明したが、本実施形態に係る情報処理システムが適用されるゲームは他の対面式のゲームであってもよい。例えば、当該適用されるゲームは、チェス、オセロまたは囲碁であってもよい。また、プレイヤが３人（３装置）以上のゲームに適用されてもよい。
【００６７】
（第２の適用例）
本実施形態の第２の適用例として、情報スキャンの例を説明する。本適用例では、情報処理装置１００−１は、目標状態が認識されると、目標状態に基づく処理として、投影指示に対応する処理を行う。具体的には、制御部１０６は、ガイド情報としてスキャン領域を示す画像を投影部１０８に投影させ、投影されている領域にスキャン対象が置かれた状態に動作状態が達したと判定されると、スキャン領域についてのスキャンを実行する。さらに、図７を参照して、本適用例の処理について詳細に説明する。図７は、本実施形態の第２の適用例に係る情報処理システムの処理例を説明するための図である。
【００６８】
図７の例では、ユーザが情報処理装置１００−１に紙５０の記載内容をスキャンさせる場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【００６９】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいてスキャンに係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図７の時間ｔ９に示したように音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「この紙をスキャンしたい。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「紙のスキャン」から「スキャン領域」の投影指示が取得されたと判定する。
【００７０】
スキャンに係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、ガイド情報をスキャン領域に投影する。例えば、制御部１０６は、図７の時間ｔ１０に示したように、情報処理装置１００−１のスキャン領域にスキャン領域を示す枠Ｇ２および当該枠Ｇ２内にスキャン対象を配置することを促すテキストＧ３を投影部１０８に投影させる。
【００７１】
次に、情報処理装置１００−１は、スキャン領域に投影されるガイド情報に対するユーザのスキャンに係る操作が行われた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、ユーザによりスキャン対象である紙５０がスキャン領域を示す枠Ｇ２内に配置された状態を目標状態として設定する。
【００７２】
次に、情報処理装置１００−１は、動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、スキャン領域を示す枠Ｇ２内にスキャン対象が配置されたかを判定する。図７の時間ｔ１１に示したようにユーザにより紙５０が投影される枠Ｇ２内に配置されると、制御部１０６は、紙５０が枠Ｇ２内に配置された状態を画像情報に基づいて認識し、設定されたユーザの操作が行われたと判定する。
【００７３】
ユーザの動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、当該目標状態に係る操作に基づいて投影指示に対応する処理を実行する。例えば、制御部１０６は、紙５０が枠Ｇ２内に配置されると、図７の時間ｔ１１に示したようにテキストＧ３の投影を終了する。次に、制御部１０６は、枠Ｇ２の示すスキャン領域を撮像部１０４に撮像させることにより、「スキャン領域」の投影指示に対応するスキャンを実行する。そして、制御部１０６は、撮像により得られた画像を情報処理装置１００−１内の記憶部に記憶させ、図７の時間ｔ１２に示したようにスキャンが終了したことを示す音声「取込みました。」を音声出力部１１０に出力する。
【００７４】
これにより、ユーザは手軽にスキャンを利用することができる。また、スキャン領域などが示されることにより、スキャンの失敗を抑制することができる。
【００７５】
（第３の適用例）
本実施形態の第３の適用例として、習字のサポートの例を説明する。本適用例では、情報処理装置１００−１は、目標状態が認識されると、投影内容の変更として、投影対象を、投影されているガイド情報の誘導する動作の次の動作を誘導するガイド情報に変更する。また、ガイド情報は、動作主体の動作の順序を示す情報であってよい。具体的には、制御部１０６は、ガイド情報として習字対象の文字および当該文字の書き順を示す画像を投影部１０８に投影させ、投影されている画像の示す書き順に対応する文字の部分が書かれた状態に動作状態が達したと判定されると、投影される書き順の次の書き順を投影部１０８に投影させる。さらに、図８を参照して、本適用例の処理について詳細に説明する。図８は、本実施形態の第３の適用例に係る情報処理システムの処理例を説明するための図である。
【００７６】
図８の例では、ユーザが情報処理装置１００−１に習字をサポートさせる場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【００７７】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて習字に係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図８の時間ｔ１３に示したように音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「習字の練習をしたい。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「習字のサポート」から「習字対象の文字」および「書き順」の投影指示が取得されたと判定する。
【００７８】
習字に係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、ガイド情報を習字に用いられる領域（以下、習字領域とも称する。）に投影する。例えば、制御部１０６は、情報処理装置１００−１周辺において習字領域を判定する。制御部１０６は、判定される当該習字領域に、図８の時間ｔ１４に示したように、当該習字領域を示す枠Ｇ４、習字対象の文字Ｇ５（図８では「Ｔ」）および文字Ｇ５の書き順を示す画像Ｇ６Ａ（以下、書き順Ｇ６Ａとも称する。）を投影部１０８に投影させる。なお、枠Ｇ４は投影されなくてもよい。また、当該習字領域は、習字用に用意される紙であってもよく、その場合、制御部１０６は、当該紙を認識することにより、習字領域を判定してもよい。
【００７９】
次に、情報処理装置１００−１は、習字領域に投影されるガイド情報に対するユーザの文字を書く操作が行われた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、ユーザにより枠Ｇ４内に書き順Ｇ６Ａに対応する文字の部分が書かれた状態を目標状態として設定する。なお、実際に文字が書かれなくてもよい。例えば、文字を書くための筆などの筆記具または指が書き順Ｇ６Ａに従って動かされた状態が目標状態として設定されてよい。
【００８０】
次に、情報処理装置１００−１は、ユーザの動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、投影される書き順Ｇ６Ａに対応する文字Ｇ５の部分が書かれたかを判定する。図８の時間ｔ１５に示したように、ユーザにより書き順Ｇ６Ａに対応する文字Ｇ５の部分（「Ｔ」の第一画）が書かれると、制御部１０６は、書き順Ｇ６Ａに従って当該書き順Ｇ６Ａに対応する文字Ｇ５の部分が書かれた状態に達したと判定する。
【００８１】
ユーザの動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、投影中のガイド情報の次のガイド情報を投影する。例えば、制御部１０６は、書き順Ｇ６Ａに対応する文字Ｇ５の部分（「Ｔ」の第一画）が書かれると、図８の時間ｔ１６に示したように次の書き順Ｇ６Ｂを投影部１０８に投影させる。
【００８２】
これにより、ユーザは正しい書き順で文字を書く練習を行うことができる。なお、上記では、アルファベットの習字の例について説明したが、習字対象の文字は漢字またはアラビア文字などの他のいずれの文字であってもよい。また、文字以外の記号または図形の描き順に本実施形態に係る情報処理システムが適用されてもよい。また、上記書き順のような投影順序の情報は、サーバ２００−１から提供される素材情報に含まれてもよい。
【００８３】
（第４の適用例）
本実施形態の第４の適用例として、料理における具材の盛り付けの教示の例を説明する。本適用例では、情報処理装置１００−１は、動作主体の動作の位置を示すガイド情報を投影する。具体的には、制御部１０６は、ガイド情報として具材を盛り付ける位置を示す画像のみを投影部１０８に投影させ、投影されている画像の示す盛り付け位置に具材が盛り付けられた状態に動作状態が達したと判定されると、投影される盛り付け位置の次の盛り付け位置を投影部１０８に投影させる。さらに、図９を参照して、本適用例の処理について詳細に説明する。図９は、本実施形態の第４の適用例に係る情報処理システムの処理例を説明するための図である。
【００８４】
図９の例では、ユーザが情報処理装置１００−１に料理の盛り付けの手本を提示させる場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【００８５】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて具材の盛り付けに係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図９の時間ｔ１７に示したように音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「盛り付けの手本を見せて。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「具材の盛り付けの提示」から「盛り付け位置」の投影指示が取得されたと判定する。
【００８６】
具材の盛り付けに係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、単一の動作を誘導する情報のみを有するガイド情報を具材の盛り付けられる領域（以下、盛り付け領域とも称する。）に投影する。例えば、制御部１０６は、情報処理装置１００−１周辺において盛り付け領域を判定する。制御部１０６は、判定される当該盛り付け領域に、図９の時間ｔ１８に示したように、盛り付け位置を示す画像Ｇ７Ａ（以下、盛り付け位置Ｇ７Ａとも称する。）のみを投影部１０８に投影させる。なお、当該盛り付け領域は、具材が盛り付けられる皿であってよく、その場合、制御部１０６は、当該皿を認識することにより、盛り付け領域を判定してよい。
【００８７】
次に、情報処理装置１００−１は、盛り付け領域に投影されるガイド情報に対するユーザの具材を配置する操作が行われた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、投影される盛り付け位置Ｇ７Ａに当該盛り付け位置Ｇ７Ａに対応する具材が配置された状態を目標状態として設定する。
【００８８】
次に、情報処理装置１００−１は、ユーザの動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、投影される盛り付け位置Ｇ７Ａに具材が配置されたかを判定する。図９の時間ｔ１９に示したように、ユーザにより盛り付け位置Ｇ７Ａに具材６０Ａが配置されると、制御部１０６は、盛り付け位置Ｇ７Ａに、対応する具材が配置された状態に達したと判定する。
【００８９】
ユーザの動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、投影中のガイド情報の次のガイド情報を投影する。例えば、制御部１０６は、盛り付け位置Ｇ７Ａに具材６０Ａが配置されると、図９の時間ｔ２０に示したように次の盛り付け位置Ｇ７Ｂのみを投影部１０８に投影させる。そして、図９の時間ｔ２１に示したようにユーザは当該盛り付け位置Ｇ７Ｂに具材６０Ｂを配置する。
【００９０】
これにより、未経験の料理または盛り付けが難しい料理であっても、ユーザは具材を綺麗に盛り付けることができる。
【００９１】
（第５の適用例）
本実施形態の第５の適用例として、収納方法の教示の例を説明する。本適用例では、情報処理装置１００−１は、第４の適用例と同様に、動作主体の動作の位置を示すガイド情報を投影する。具体的には、制御部１０６は、ガイド情報として物体の収納位置を示す画像を投影部１０８に投影させ、投影されている画像の示す収納位置に物体が収納された状態に動作状態が達したと判定されると、投影される収納位置の次の収納位置を投影部１０８に投影させる。さらに、図１０を参照して、本適用例の処理について詳細に説明する。図１０は、本実施形態の第５の適用例に係る情報処理システムの処理例を説明するための図である。
【００９２】
図１０の例では、ユーザが情報処理装置１００−１に収納方法を提示させる場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【００９３】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて物体の収納に係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図１０の時間ｔ２２に示したように音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「収納の仕方を教えて。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「収納方法の提示」から「収納位置」の投影指示が取得されたと判定する。
【００９４】
物体の収納に係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、ガイド情報を物体が収納される領域（以下、収納領域とも称する。）に投影する。例えば、制御部１０６は、情報処理装置１００−１周辺において収納領域を判定する。制御部１０６は、判定される当該収納領域に、図１０の時間ｔ２３に示したように、物体の収納位置を示す画像Ｇ８Ａ（以下、収納位置Ｇ８Ａとも称する。）を投影部１０８に投影させる。なお、当該収納領域は、収納機能を有する物体であってよく、その場合、制御部１０６は、当該収納機能を有する物体を認識することにより、収納領域を判定してよい。
【００９５】
次に、情報処理装置１００−１は、収納領域に投影されるガイド情報に対するユーザの物体の収納操作が行われた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、投影される収納位置Ｇ８Ａに当該収納位置Ｇ８Ａに対応する物体が配置された状態を目標状態として設定する。
【００９６】
次に、情報処理装置１００−１は、ユーザの動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、投影される収納位置Ｇ８Ａに物体が配置されたかを判定する。図１０の時間ｔ２４に示したように、ユーザにより収納位置Ｇ８Ａに物体６２Ａが配置されると、制御部１０６は、収納位置Ｇ８Ａに、対応する物体が配置された状態に達したと判定する。
【００９７】
ユーザの動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、投影中のガイド情報の次のガイド情報を投影する。例えば、制御部１０６は、収納位置Ｇ８Ａに物体６２Ａが配置されると、図１０の時間ｔ２５に示したように次の物体の収納位置Ｇ８Ｂを投影部１０８に投影させる。そして、図１０の時間ｔ２６に示したようにユーザは当該収納位置Ｇ８Ｂに物体６２Ｂを配置する。
【００９８】
これにより、収納が苦手なユーザであっても、物を綺麗に収納することができる。また、収納スペースおよび収納作業時間の効率化も可能となる。なお、上記では箱への物体の収納の例を説明したが、本実施形態に係る情報処理システムは冷蔵庫または本棚などへの物体の収納に適用されてもよい。
【００９９】
（第６の適用例）
本実施形態の第６の適用例として、物の包み方の教示の例を説明する。本適用例では、情報処理装置１００−１は、動作主体の動作の位置を示すガイド情報を、投影領域に存在する物体の形状に合わせて投影する。具体的には、制御部１０６は、ガイド情報として物を包むための布の折り目を示す画像を投影部１０８に投影させ、投影されている画像の示す折り目に布が折られた状態に動作状態が達したと判定されると、投影される画像の示す折り目の次の折り目を示す画像を投影部１０８に投影させる。さらに、図１１を参照して、本適用例の処理について詳細に説明する。図１１は、本実施形態の第６の適用例に係る情報処理システムの処理例を説明するための図である。
【０１００】
図１１の例では、ユーザが情報処理装置１００−１に物体の包み方を提示させる場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０１０１】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて物体の包み方に係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図１１の時間ｔ２７に示したように音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「包み方を教えて。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「物体の包み方の提示」から「包む布の折り目」の投影指示が取得されたと判定する。
【０１０２】
物体の包み方に係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、ガイド情報を物体の形状に沿って投影する。例えば、制御部１０６は、情報処理装置１００−１周辺に置かれた物体および布を認識する。制御部１０６は、認識される物体に、図１１の時間ｔ２８に示したように、当該物体を包む布の折り目を示す画像Ｇ９Ａ（以下、折り目Ｇ９Ａとも称する。）を投影部１０８に投影させる。
【０１０３】
次に、情報処理装置１００−１は、投影されるガイド情報に対するユーザの布を折る操作が行われた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、投影される折り目Ｇ９Ａと一致する折り目で布が折られ、物体が当該布で覆われた状態を目標状態として設定する。
【０１０４】
次に、情報処理装置１００−１は、ユーザの動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、投影される折り目Ｇ９Ａのように布が折られたかを判定する。図１１の時間ｔ２９に示したように、ユーザにより物体を覆う布が折り目Ｇ９Ａに沿って折られると、制御部１０６は、折り目Ｇ９Ａで物体を覆う布が折られた状態に達したと判定する。
【０１０５】
ユーザの動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、投影中のガイド情報の次のガイド情報を投影する。例えば、制御部１０６は、折り目Ｇ９Ａのように布が折られると、図１１の時間ｔ３０に示したように次の折り目Ｇ９Ｂを投影部１０８に投影させる。そして、図１１の時間ｔ３１に示したようにユーザは当該折り目Ｇ９Ｂで布を折ることにより物体を包む。
【０１０６】
これにより、物体の包み方が分からないユーザであっても、または包むことが難しい物体についても、物を綺麗に包むことができる。
【０１０７】
（第７の適用例）
本実施形態の第７の適用例として、映像の再生の例を説明する。本適用例では、情報処理装置１００−１は、第２の適用例と同様に、目標状態が認識されると、投影指示に対応する処理を行う。具体的には、制御部１０６は、ガイド情報として映像再生の開始を示す画像を投影部１０８に投影させ、投影されている画像が操作された状態に動作状態が達したと判定されると、映像の再生を開始する。さらに、図１２を参照して、本適用例の処理について詳細に説明する。図１２は、本実施形態の第７の適用例に係る情報処理システムの処理例を説明するための図である。
【０１０８】
図１２の例では、ユーザが情報処理装置１００−１に所望の映像を再生させる場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０１０９】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて映像再生に係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図１２の時間ｔ３２に示したように音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「ＸＹＺ番組を見たい。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「ＸＹＺ番組の映像再生」から「映像再生ボタン」の投影指示が取得されたと判定する。
【０１１０】
映像再生に係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、ガイド情報をユーザの視聴領域に投影する。例えば、制御部１０６は、ユーザが映像を視聴可能な領域を判定する。そして、制御部１０６は、判定された視聴領域に、図１２の時間ｔ３３に示したように、映像再生ボタンＧ１０を投影部１０８に投影させる。
【０１１１】
次に、情報処理装置１００−１は、投影されるガイド情報に対してユーザのタッチ操作が行われた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、ユーザにより映像再生ボタンＧ１０がタッチされた状態を目標状態として設定する。
【０１１２】
次に、情報処理装置１００−１は、動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、投影される映像再生ボタンＧ１０がユーザによりタッチされたかを判定する。図１２の時間ｔ３４に示したようにユーザの手と映像再生ボタンＧ１０とが重ね合わされると、制御部１０６は、ユーザにより映像再生ボタンＧ１０がタッチされた状態に達したと判定する。
【０１１３】
ユーザの動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、当該目標状態に係る操作に基づいて投影指示に対応する処理を実行する。例えば、制御部１０６は、映像再生ボタンＧ１０がタッチされると、図１２の時間ｔ３５に示したように映像再生ボタンＧ１０の投影を終了する。次に、制御部１０６は、「ＸＹＺ番組の映像再生」の投影指示に対応するＸＹＺ番組の映像の投影を開始する。なお、制御部１０６は、ユーザがＸＹＺ番組の映像にタッチすると、図１２の時間ｔ３６に示したように、ＸＹＺ番組の再生を停止し、映像再生ボタンＧ１０を再び投影させる。
【０１１４】
これにより、ユーザは操作に迷うことなく、映像を視聴することができる。
【０１１５】
＜２−４．第１の実施形態のまとめ＞
このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、動作主体が誘導を要求する当該動作主体の動作を誘導するガイド情報を、当該ガイド情報の投影指示に応じて投影部に投影させ、当該ガイド情報が誘導する動作が動作主体により行われた状態が認識されると、当該状態に基づく処理を行う。従来では、インタラクションのための動作が複雑になると、動作主体が当該動作を行うことが難しくなり、インタラクションが失敗するおそれがあった。しかし、本実施形態によれば、インタラクションに関する動作が誘導されることにより、ユーザが当該動作に迷うことまたは間違った動作を行うことを抑制することができる。従って、動作主体と装置とのインタラクションをより円滑にすることが可能となる。また、動作主体が人である場合は、動作が誘導されることにより、直感的に正しい動作を理解することができる。従って、インタラクションにおけるユーザのストレスを低減させることが可能となる。また、ガイド情報が複数の動作主体が視認可能な物体に投影されることにより、複数の動作主体がガイド情報を共有することができる。従って、複数の動作主体が協力して動作を行うことができ、動作の高速化または効率化が可能となる。
【０１１６】
また、上記状態に基づく処理は、投影内容の変更を含む。このため、ユーザは、ガイド情報に従って動作することにより、投影内容を自動的に変更させることができる。従って、投影内容を変更させる手間を削減することが可能となる。
【０１１７】
また、上記投影内容の変更は、投影対象を、投影されている上記ガイド情報が誘導する動作の次の動作を誘導するガイド情報に変更することを含む。ここで、複数のガイド情報の全てが一度に投影されると、投影先が投影されるガイド情報を埋め尽くされ、視認性が低下しかねない。また、一度に複数のガイド情報の全てが投影されると、視聴するユーザが混乱するおそれもある。これに対し、上述の投影内容の変更処理によれば、複数のガイド情報のうちの一部のガイド情報のみが投影されるため、視認性を維持でき、ユーザの混乱も抑制できる。また、ユーザの動作の終了に合わせて次のガイド情報が投影されるため、ユーザは直感的に動作順を理解することができる。従って、ガイド情報が複数である場合でも、ユーザビリティを維持することが可能となる。
【０１１８】
また、上記ガイド情報は、上記動作主体に単一の動作を誘導する情報のみを含む。このため、動作主体は誘導される動作を容易に把握することができる。従って、動作主体が誘導される動作と異なる動作を誤って行うおそれを抑制することが可能となる。
【０１１９】
また、上記状態に基づく処理は、上記投影指示に対応する処理を含む。このため、ユーザは、ガイド情報に従って動作することにより、所望の処理を情報処理装置１００−１に行わせることができる。従って、当該所望の処理の実行のための操作を誤るおそれを抑制することが可能となる。
【０１２０】
また、上記ガイド情報は、上記動作主体に動作させる位置を示す情報を含む。このため、動作の位置が誘導されることにより、行われる動作の正確性を高めることができる。従って、動作の位置のずれのせいで動作に基づく処理が行われないことが抑制され、ユーザの苛立ちなどの不快感を抑制することが可能となる。言い換えると、所望する処理をスムーズに情報処理装置１００−１に実行させることが可能となる。また、正しい動作の位置（例えば盛り付け位置）をユーザに提示することができる。従って、ユーザは正しい動作の位置を習得することが可能となる。
【０１２１】
また、上記ガイド情報は、上記動作主体に動作させる順序を示す情報を含む。このため、動作の順序が誘導されることにより、行われる動作の正確性を高めることができる。従って、動作順の間違いのせいで動作に基づく処理が行われないことが抑制され、ユーザの苛立ちなどの不快感を抑制することが可能となる。言い換えると、所望する処理をスムーズに情報処理装置１００−１に実行させることが可能となる。また、正しい動作順（例えば文字の書き順）をユーザに提示することができる。従って、ユーザは正しい動作順を習得することが可能となる。
【０１２２】
また、上記ガイド情報は、投影領域に存在する物体の形状に合わせて投影される。このため、物体の形状に即した動作を誘導することができる。従って、ガイド情報をより正確に投影することができ、動作主体が誤った動作を行うことを抑制することが可能となる。
【０１２３】
また、上記動作は、投影されている上記ガイド情報に対する操作を含む。このため、動作主体は投影されている画像について動作することにより投影内容または投影指示に対応する処理を操作することができる。従って、投影内容または投影指示に対応する処理を直感的に操作することが可能となる。また、動作に応じて処理が実行されていくことにより、動作主体は所望の動作に集中することができる。
【０１２４】
また、上記状態は、上記動作主体の動作結果が映る画像に係る画像情報に基づいて認識される。このため、ユーザが動作状態を情報処理装置１００−１に入力することなく、情報処理装置１００−１にて動作状態を認識することができる。従って、ユーザの手間を削減することが可能となる。
【０１２５】
また、上記状態の認識は情報処理装置１００−１の外部の装置で行われ、認識結果が当該外部の装置から提供される。このため、情報処理装置１００−１において行われる処理を削減することができる。従って、情報処理装置１００−１の構成を簡素化し、また処理負荷の低減および処理の高速化が可能となる。
【０１２６】
また、上記ガイド情報を投影するための情報は、情報処理装置１００−１の外部の装置から提供される。このため、情報処理装置１００−１にガイド情報または素材情報が記憶される場合と比べて情報処理装置１００−１の要される記憶容量を低減することができる。従って、情報処理装置１００−１のコストを低減することが可能となる。
【０１２７】
また、上記投影指示は、上記動作主体の音声で入力される。このため、ユーザが手を離せない場合であっても投影指示を出すことができる。従って、インタラクションの利用機会を増加させることができ、ユーザの利便性を向上させることが可能となる。
【０１２８】
＜２−５．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
【０１２９】
本実施形態の変形例として、情報処理装置１００−１は、音を発生させる動作を、ガイド情報により誘導する動作としてもよい。具体的には、制御部１０６は、音を発生させる動作を誘導するためのガイド情報を投影部１０８に投影させ、動作主体が発する音に係る音情報に基づいて目標状態が認識されると、当該目標状態に基づく処理を実行する。さらに、図１３を参照して、本変形例の処理について説明する。図１３は、本実施形態の変形例に係る情報処理システムの処理例を説明するための図である。
【０１３０】
図１３の例では、楽器を演奏するユーザが情報処理装置１００−１に楽譜を提示させる場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０１３１】
まず、情報処理装置１００−１は、ユーザの音声入力に基づいて楽譜に係るガイド情報の投影指示が取得されたかを判定する。例えば、制御部１０６は、図１３の時間ｔ３７に示したように、音声入力部１０２から入力される音声情報を用いてサーバ２００−１からテキスト「楽譜を見せて。」に係るテキスト情報を得る。そして、制御部１０６は、当該テキスト情報に基づいて解釈されるユーザの指示「楽譜の提示」から「楽譜」の投影指示が取得されたと判定する。
【０１３２】
楽譜に係るガイド情報の投影指示が取得されると、情報処理装置１００−１は、ガイド情報をユーザの視聴領域に投影する。例えば、制御部１０６は、視聴領域を判定し、判定される視聴領域へ図１３の時間ｔ３８に示したように楽譜Ｇ１１Ａを投影部１０８に投影させる。
【０１３３】
次に、情報処理装置１００−１は、動作領域に投影される楽譜に係るガイド情報に応じた音が発せられた状態を目標状態として設定する。具体的には、例えば、制御部１０６は、ユーザにより楽譜Ｇ１１Ａの示すメロディの音が演奏された状態を目標状態として設定する。
【０１３４】
次に、情報処理装置１００−１は、動作状態が設定された目標状態に達したかを判定する。例えば、制御部１０６は、音声入力部１０２の集音により得られる音声情報を用いた音声認識処理の結果をサーバ２００−１から得る。そして、音声認識処理の結果が図１３の時間ｔ３９に示したように楽譜Ｇ１１Ａに示すメロディの音が認識されたことを示す場合、制御部１０６は、楽譜Ｇ１１Ａの示すメロディの音が演奏された状態に達したと判定する。なお、情報処理装置１００−１は、認識された音をユーザに提示してもよい。例えば、制御部１０６は、図１１の時間ｔ３９に示したように、投影される楽譜Ｇ１１Ａのうちの認識されたメロディ部分を強調（例えば下線を付加）してもよい。
【０１３５】
動作状態が設定された目標状態に達したと判定されると、情報処理装置１００−１は、次のガイド情報を投影する。例えば、制御部１０６は、図１３の時間ｔ４０に示したように投影される楽譜Ｇ１１Ａの示すメロディが演奏されると、図１３の時間ｔ４１に示したような楽譜Ｇ１１Ａの示すメロディの続きを示す楽譜Ｇ１１Ｂを投影させる。
【０１３６】
このように、本実施形態の変形例によれば、上記ガイド情報の誘導する動作（動作主体の動作）は、音を発生させる動作を含む。概して、動作主体（特に人間）が音を発生させる動作を行う場合、他の動作を行うことが困難であることが多い。そこで、本変形例の構成によれば、ガイド情報または情報処理装置１００−１に対して動作主体が直接的な動作を行うことなく、所望の動作を行うだけで当該所望の動作に応じた処理（例えばガイド情報の一連の投影）を情報処理装置１００−１に行わせることができる。従って、ユーザは音を発せさせる所望の動作に集中することが可能となる。なお、上記では、音を発生させる動作が楽器の演奏である例を説明したが、音を発生させる動作は歌唱またはタップダンスなどの他の動作であってもよい。
【０１３７】
また、動作状態は、動作主体が発する音に係る音情報に基づいて認識される。このため、ユーザが動作状態を情報処理装置１００−１に意識して入力することなく、情報処理装置１００−１にて動作状態を認識することができる。従って、ユーザの手間を削減することが可能となる。なお、上述した画像情報に基づく認識処理が併用されてもよい。この場合、認識される動作状態の精度および正確性を向上させることが可能となる。
【０１３８】
＜３．第２の実施形態（エラー処理の例）＞
以上、本開示の第１の実施形態について説明した。次に、本開示の第２の実施形態について説明する。第２の実施形態では、投影されるガイド情報の誘導する動作と異なる動作が行われた状態が認識されると、エラーが通知される。
【０１３９】
＜３−１．システムの構成＞
本開示の第２の実施形態に係る情報処理システムの機能構成について説明する。なお、第２の実施形態に係る情報処理システムの機能の構成要素およびサーバ２００−２の機能は、第１の実施形態と実質的に同一である。以下では、情報処理装置１００−２についてのみ、第１の実施形態に係る機能と異なる機能について説明する。
【０１４０】
（制御部）
制御部１０６は、動作主体の動作がガイド情報の誘導する動作と異なる場合、目標状態に基づく処理と異なる処理を行う。具体的には、制御部１０６は、目標状態に基づく処理と異なる処理として、エラー通知を行う。
【０１４１】
より具体的には、制御部１０６は、エラー通知として、視覚的な通知を行う。例えば、制御部１０６は、ガイド情報の誘導する動作と異なるユーザの動作が認識されると、ユーザの動作がガイド情報の誘導する動作と異なる旨を示す画像を追加的に投影部１０８に投影させる。なお、画像を投影するほか、既に投影されているガイド情報または背景などに色彩もしくは輝度の変化または点滅などの視覚的効果が付与されてもよい。
【０１４２】
また、より具体的には、制御部１０６は、エラー通知として、聴覚的な通知を行ってよい。例えば、制御部１０６は、ガイド情報の誘導する動作と異なるユーザの動作が認識されると、ユーザの動作がガイド情報の誘導する動作と異なる旨を伝える音声を音声出力部１１０に出力させる。なお、通知内容は、ユーザの動作がガイド情報の誘導する動作と異なる旨のみであってもよく、さらにガイド情報の誘導する動作への修正方法の通知を含んでもよい。
【０１４３】
＜３−２．システムの処理＞
次に、図１４を参照して、本実施形態に係る情報処理システムの処理について説明する。図１４は、本実施形態に係る情報処理装置１００−２の処理の例を概念的に示すフローチャートである。なお、第１の実施形態に係る処理と実質的に同一である処理については説明を省略する。
【０１４４】
情報処理装置１００−２は、ガイド情報の投影指示が取得されたかを判定し（ステップＳ４０２）、ガイド情報の投影指示が取得されたと判定されると、ガイド情報に応じた目標状態を設定する（ステップＳ４０４）。
【０１４５】
次に、情報処理装置１００−２は、動作状態を認識し（ステップＳ４０６）、認識された動作状態が目標状態であるかを判定する（ステップＳ４０８）。認識された動作状態が目標状態であると判定されると、情報処理装置１００−２は、目標状態に基づく処理を実行する（ステップＳ４１０）。そして、ガイド情報の投影が終了するまで（ステップＳ４１２）、上記ステップＳ４０４〜Ｓ４１０の処理が繰り返される。
【０１４６】
他方で、認識された動作状態が目標状態でないと判定されると、情報処理装置１００−２は、動作状態が遷移中であるかを判定する（ステップＳ４１４）。具体的には、制御部１０６は、画像認識結果から把握されるユーザの動作についての変化が継続しているかを判定する。
【０１４７】
動作状態が遷移中でないと判定されると、情報処理装置１００−２は、エラー通知処理を実行する（ステップＳ４１６）。具体的には、制御部１０６は、ユーザの動作についての変化が停止したと判定されると、ユーザの動作がガイド情報の誘導する動作と異なる旨を音声出力部１１０に出力させ、またはその旨を示す画像を投影部１０８に投影させる。
【０１４８】
＜３−３．適用例＞
以上、本実施形態に係る情報処理システムについて説明した。当該情報処理システムは、上述の実施形態を基にして様々な事例に応じて修正され、各事例に適用され得る。以下に、第１および第２の適用例について説明する。
【０１４９】
（第１の適用例）
本実施形態の第１の適用例として、料理における具材の盛り付けの教示の例を説明する。本適用例では、情報処理装置１００−２は、動作主体の動作がガイド情報の誘導する動作と異なる場合に音声を用いてエラーを通知する。具体的には、制御部１０６は、ガイド情報として具材を盛り付ける位置を示す画像を投影部１０８に投影させ、投影されている画像の示す盛り付け位置と異なる位置に具材が盛り付けられた状態に動作状態が達したと判定されると、音声出力部１１０にエラー通知を出力させる。さらに、図１５を参照して、本適用例の処理について詳細に説明する。図１５は、本実施形態の第１の適用例に係る情報処理システムの処理例を説明するための図である。
【０１５０】
図１５の例では、ユーザが情報処理装置１００−２に料理の盛り付けの手本を提示させ、盛り付け位置を誤る場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０１５１】
まず、情報処理装置１００−２は、ユーザの音声入力に基づいて具材の盛り付けに係るガイド情報の投影指示が取得されたかを判定し（図１５の時間ｔ４２）、具材の盛り付けに係るガイド情報の投影指示が取得されると、ガイド情報（盛り付け位置Ｇ７Ａ）を盛り付け領域に投影する（図１５の時間ｔ４３）。
【０１５２】
次に、情報処理装置１００−２は、盛り付け領域に投影されるガイド情報に対するユーザの具材を配置する操作が行われた状態を目標状態として設定し、ユーザの動作状態が設定された目標状態に達したかを判定する。
【０１５３】
ユーザの動作状態が設定された目標状態に達していないと判定されると、情報処理装置１００−２は、ユーザにエラーを通知する。例えば、制御部１０６は、投影される盛り付け位置Ｇ７Ａに具材が配置されたかを判定する。ここで、図１５の時間ｔ４４に示したように、盛り付け位置Ｇ７Ａと異なる位置に具材６０Ａが配置されると、制御部１０６は、動作状態が目標状態と異なる状態であると判定する。なお、ユーザが具材６０Ａを移動させている間は、動作状態の判定は確定されない。次に、制御部１０６は、図１５の時間ｔ４５に示したように、音声出力部１１０に「位置が違います。」という内容の音声を出力させる。当該音声による通知を受けたユーザは、具材６０Ａの配置が間違っていることに気づき、図１５の時間ｔ４６に示したように、投影される盛り付け位置Ｇ７Ａに具材６０Ａを再配置することができる。
【０１５４】
これにより、ユーザは盛り付け位置が誤っていることに気付くことができる。従って、盛り付け位置の誤りを原因として次の盛り付け位置が投影されない状態が長く継続することを抑制することが可能となる。
【０１５５】
（第２の適用例）
本実施形態の第２の適用例として、第１の適用例と同様に、料理における具材の盛り付けの教示の例を説明する。本適用例では、情報処理装置１００−２は、動作主体の動作がガイド情報の誘導する動作と異なる場合に、エラー通知の代わりにまたはそれと共に、投影されるガイド情報を変更する。具体的には、制御部１０６は、ガイド情報が投影されている間の動作主体の動作を記録する。そして、制御部１０６は、投影されている画像の示す盛り付け位置と異なる位置に具材が盛り付けられた状態に動作状態が達したと判定されると、ガイド情報の変更可否を判定する。ガイド情報が変更されてよいと判定されると、制御部１０６は、動作主体が過去に行った動作に基づいて修正されたガイド情報を投影部１０８に投影させる。さらに、図１６を参照して、本適用例の処理について詳細に説明する。図１６は、本実施形態の第２の適用例に係る情報処理システムの処理例を説明するための図である。
【０１５６】
図１６の例では、図１５と同様に、ユーザが情報処理装置１００−２に料理の盛り付けの手本を提示させ、盛り付け位置を誤る場合を考える。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０１５７】
まず、情報処理装置１００−２は、ユーザの音声入力に基づいて具材の盛り付けに係るガイド情報の投影指示が取得されたかを判定し（図１６の時間ｔ４７）、具材の盛り付けに係るガイド情報の投影指示が取得されると、ガイド情報（盛り付け位置Ｇ７Ａ）を盛り付け領域に投影する（図１６の時間ｔ４８）。
【０１５８】
次に、情報処理装置１００−２は、盛り付け領域に投影されるガイド情報に対するユーザの具材を配置する操作が行われた状態を目標状態として設定し、ユーザの動作状態が設定された目標状態に達したかを判定する。
【０１５９】
ユーザの動作状態が設定された目標状態に達していないと判定されると、情報処理装置１００−２は、ユーザにエラーを通知すると共に、ガイド情報の変更可否を確認する。例えば、図１６の時間ｔ４９に示したように、盛り付け位置Ｇ７Ａと異なる位置に具材６０Ａが配置されると、制御部１０６は、動作状態が目標状態と異なる状態であると判定する。そして、制御部１０６は、図１６の時間ｔ４９に示したように、「位置が違います。」という内容の音声を音声出力部１１０に出力させる。さらに、制御部１０６は、「盛り付け方を変えますか？」というガイド情報の変更可否をユーザに問う音声を音声出力部１１０に出力させる。
【０１６０】
ガイド情報が変更されてよいと判定されると、情報処理装置１００−２は、過去の動作履歴に基づいて修正されたガイド情報を投影する。例えば、制御部１０６は、図１６の時間ｔ４９に示したようにガイド情報の変更可否の問いに対する肯定応答があった場合、過去のユーザの盛り付け位置に基づいて盛り付け位置Ｇ７Ａの配置を既に具材６０Ａが配置されている位置に変更する。また、制御部１０６は、盛り付け位置Ｇ７Ａの次の盛り付け位置Ｇ７Ｂについても配置を変更する。そして、制御部１０６は、図１６の時間ｔ５０に示したように、変更後の盛り付け位置Ｇ７Ｂを投影部１０８に投影させる。ユーザは、図１６の時間ｔ５１に示したように、変更後の盛り付け位置Ｇ７Ｂに具材６０Ｂを配置する。
【０１６１】
これにより、盛り付け位置が提示される盛り付け位置と異なっている場合に、ユーザに合わせて修正された盛り付け位置を再提示することができる。従って、ユーザの意思が尊重されることにより、ユーザビリティを向上させることが可能となる。
【０１６２】
なお、上記では過去の動作履歴に基づいてガイド情報が修正される例を説明したが、ガイド情報の誘導する動作と異なっている現時点の動作に基づいてガイド情報が修正されてもよい。この場合、現時点の動作が尊重されることにより、ユーザに情報処理装置１００−２の処理に対するフレキシブルな印象を与えることが可能となる。
【０１６３】
＜３−４．第２の実施形態のまとめ＞
このように、本開示の第２の実施形態によれば、情報処理装置１００−２は、動作主体の動作がガイド情報の誘導する動作と異なる場合、目標状態に基づく処理と異なる処理を行う。このため、目標状態に達していないことに応じた処理が行われることにより、動作主体に目標状態に向かって動作を促すことができる。従って、目標状態の未達の抑制および目標状態に達するまでにかかる時間の短縮が可能となる。
【０１６４】
また、上記目標状態に基づく処理と異なる処理は、エラー通知を含む。このため、目標状態に達していないことが直接的に動作主体に伝えられることにより、動作主体へ目標状態に向かう動作を直接的に促すことができる。従って、目標状態の未達の抑制および目標状態に達するまでにかかる時間の短縮をより確実にすることが可能となる。
【０１６５】
また、上記目標状態に基づく処理と異なる処理は、投影される前記ガイド情報の変更を含む。このため、投影されるガイド情報を動作主体に適応したガイド情報に変更することができる。従って、ユーザビリティを向上させることが可能となる。
【０１６６】
また、上記ガイド情報の変更は、動作主体が過去に行った動作に基づいて修正されたガイド情報への投影対象の変更を含む。このため、ガイド情報を動作主体の性質に即したガイド情報に変更することができる。従って、ガイド情報をより確実に動作主体に適応させることができる。
【０１６７】
また、上記ガイド情報の変更は、ガイド情報の変更可否に基づいて行われる。ここで、自動的にガイド情報が変更されると、動作主体がユーザである場合、ユーザに不快感を与えたり、混乱させたりするおそれがある。これに対し、上述のガイド情報の変更処理によれば、ガイド情報の変更をユーザに確認することができる。従って、ユーザに不快感を与えたり、混乱させたりするおそれを抑制することが可能となる。
【０１６８】
＜４．一実施形態に係る情報処理装置のハードウェア構成＞
以上、本開示の各実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。
【０１６９】
図１７は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図１７に示したように、情報処理装置１００は、プロセッサ１３２、メモリ１３４、ブリッジ１３６、バス１３８、観測装置１４０、入力装置１４２、出力装置１４４、接続ポート１４６および通信装置１４８を備える。
【０１７０】
（プロセッサ）
プロセッサ１３２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の制御部１０６の機能を実現する。プロセッサ１３２は、制御回路を用いてメモリ１３４または他の記憶媒体に記憶されるプログラムを実行することにより、情報処理装置１００の様々な論理的機能を動作させる。例えば、プロセッサ１３２は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＤＳＰ（Digital  Signal  Processor）またはＳｏＣ（System-on-a-Chip）であってよい。
【０１７１】
（メモリ）
メモリ１３４は、プロセッサ１３２が使用するプログラムまたは演算パラメタなどを記憶する。例えば、メモリ１３４は、ＲＡＭ（Random  Access  Memory）を含み、プロセッサ１３２の実行において使用するプログラムまたは実行において適宜変化するパラメタなどを一時記憶する。また、メモリ１３４は、ＲＯＭ（Read  Only  Memory）を含み、ＲＡＭおよびＲＯＭにより記憶部の機能を実現する。なお、接続ポート１４６または通信装置１４８などを介して外部のストレージ装置がメモリ１３４の一部として利用されてもよい。
【０１７２】
なお、プロセッサ１３２およびメモリ１３４は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
【０１７３】
（ブリッジおよびバス）
ブリッジ１３６は、バス間を接続する。具体的には、ブリッジ１３６は、プロセッサ１３２およびメモリ１３４が接続される内部バスと、観測装置１４０、入力装置１４２、出力装置１４４、接続ポート１４６および通信装置１４８間を接続するバス１３８と、を接続する。
【０１７４】
（観測装置）
観測装置１４０は、情報処理装置１００およびその周辺についての観測を行い、音声入力部１０２および撮像部１０４の機能を実現する。具体的には、観測装置１４０は、音声センサおよびカメラセンサを含む。例えば、音声センサとしてマイクロフォンが含まれ、カメラセンサとしてＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などのイメージセンサが含まれてよい。なお、観測装置１４０はさらに、加速度センサ、角速度センサまたはＧＰＳセンサなどの他のセンサを含んでもよい。
【０１７５】
（入力装置）
入力装置１４２は、ユーザが情報処理装置１００を操作しまたは情報処理装置１００へ情報を入力するために使用される。例えば、入力装置１４２は、ユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、プロセッサ１３２に出力する入力制御回路などから構成されている。なお、当該入力手段は、マウス、キーボード、タッチパネル、スイッチまたはレバーなどであってもよい。情報処理装置１００のユーザは、入力装置１４２を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１７６】
（出力装置）
出力装置１４４は、ユーザに情報を通知するために使用され、投影部１０８および音声出力部１１０の機能を実現する。出力装置１４４は、投影装置および音声出力装置を含んでよい。例えば、出力装置１４４は、プロジェクタおよびスピーカまたはヘッドフォンなどの装置を含む。なお、出力装置１４４は、さらに液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）装置、ＯＬＥＤ（Organic  Light  Emitting  Diode）装置などの表示装置を含んでもよい。また、出力装置１４４は、各種装置への出力を行うモジュールであってよい。
【０１７７】
（接続ポート）
接続ポート１４６は、機器を情報処理装置１００に直接接続するためのポートである。例えば、接続ポート１４６は、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどであり得る。また、接続ポート１４６は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート１４６に外部機器を接続することで、情報処理装置１００と当該外部機器との間でデータが交換されてもよい。
【０１７８】
（通信装置）
通信装置１４８は、情報処理装置１００と外部装置との間の通信を仲介し、通信部１１２の機能を実現する。具体的には、通信装置１４８は、有線通信方式に従って通信を実行する。例えば、通信装置１４８は、信号線通信、有線ＷＡＮ（Wide  Area  Network）または有線ＬＡＮ（Local  Area  Network）通信などの有線通信を実行する。また、通信装置１４８は、無線通信方式に従って通信を実行してもよい。例えば、通信装置１４８は、Bluetooth（登録商標）、ＮＦＣ（Near  Field  Communication）、ワイヤレスＵＳＢもしくはTransferJet（登録商標）などの近距離無線通信方式、ＷＣＤＭＡ（登録商標）（Wideband  Code  Division  Multiple  Access）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（Long  Term  Evolution）もしくはＬＴＥ−Ａなどのセルラ通信方式、またはＷｉ−Ｆｉ（登録商標）などの無線ＬＡＮ方式といった、任意の無線通信方式に従って無線通信を実行してよい。
【０１７９】
なお、情報処理装置１００は、図１７を用いて説明した構成の一部を有しなくてもよく、または追加的な構成を有していてもよい。また、図１７を用いて説明した構成の全体または一部を集積したワンチップの情報処理モジュールが提供されてもよい。
【０１８０】
＜５．むすび＞
以上、本開示の第１の実施形態によれば、インタラクションに関する動作が誘導されることにより、ユーザが当該動作に迷うことまたは間違った動作を行うことを抑制することができる。従って、動作主体と装置とのインタラクションをより円滑にすることが可能となる。また、動作主体が人である場合は、動作が誘導されることにより、直感的に正しい動作を理解することができる。従って、インタラクションにおけるユーザのストレスを低減させることが可能となる。
【０１８１】
また、本開示の第２の実施形態によれば、目標状態に達していないことに応じた処理が行われることにより、動作主体に目標状態に向かって動作を促すことができる。従って、目標状態の未達の抑制および目標状態に達するまでにかかる時間の短縮が可能となる。
【０１８２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８３】
例えば、上記実施形態では、情報処理装置１００は消費者などの個人に利用されるとしたが、本技術はかかる例に限定されない。具体的には、情報処理装置１００はオフィスまたは工場などの業務において利用されてもよい。例えば、製品の組み立て作業において、情報処理装置１００は部品の設置場所を示すガイド情報を投影する。
【０１８４】
また、上記実施形態では、ガイド情報により動作の位置が誘導される例を説明したが、動作のタイミングが誘導されてもよい。例えば、料理において調味料を入れるタイミングを誘導するガイド情報が投影されてもよい。
【０１８５】
また、上記実施形態では、動作状態が目標状態と異なる場合にエラー通知などが行われる例を説明したが、代わりにまたはそれに加えて、動作主体が間違えるおそれのある動作を誘導するガイド情報が強調させられてもよい。例えば、図１５の時間ｔ４４に示したような盛り付け位置Ｇ７Ａについて誤った動作が行われる頻度が他の誘導される盛り付け位置に比べて高い場合、当該盛り付け位置Ｇ７Ａが強調表示される。強調表示としては、投影されるガイド情報の色彩もしくは輝度の変化または点滅などの視覚的効果を付与がある。それにより、動作主体がガイド情報の誘導する動作と異なる動作を行うおそれを低下させることができる。
【０１８６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１８７】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０１８８】
また、情報処理装置１００に内蔵されるハードウェアに上述した情報処理装置１００の各機能構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。
【０１８９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させる投影制御部と、
前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行う処理制御部と、
を備える情報処理装置。
（２）
前記状態に基づく処理は、投影内容の変更を含む、
前記（１）に記載の情報処理装置。
（３）
前記投影内容の変更は、投影対象を、投影されている前記ガイド情報が誘導する動作の次の動作を誘導する前記ガイド情報に変更することを含む、
前記（２）に記載の情報処理装置。
（４）
前記ガイド情報は、前記動作主体に単一の動作を誘導する情報のみを含む、
前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記ガイド情報は、前記動作主体に動作させる位置を示す情報を含む、
前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記ガイド情報は、前記動作主体に動作させる順序を示す情報を含む、
前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記動作は、投影されている前記ガイド情報に対する操作を含む、
前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記動作は、音を発生させる動作を含む、
前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記状態は、前記動作主体の動作結果が映る画像に係る画像情報に基づいて認識される、
前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記状態は、前記動作主体が発する音に係る音情報に基づいて認識される、
前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記状態の認識は前記情報処理装置の外部の装置で行われ、認識結果が前記外部の装置から提供される、
前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記ガイド情報を投影するための情報は、前記情報処理装置の外部の装置から提供される、
前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記投影指示は、前記動作主体の音声で入力される、
前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記処理制御部は、前記動作主体の動作が前記ガイド情報の誘導する動作と異なる場合、前記状態に基づく処理と異なる処理を行う、
前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記状態に基づく処理と異なる処理は、エラー通知を含む、
前記（１４）に記載の情報処理装置。
（１６）
前記状態に基づく処理と異なる処理は、投影される前記ガイド情報の変更を含む、
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記ガイド情報の変更は、前記動作主体が過去に行った動作に基づいて修正されたガイド情報への変更を含む、
前記（１６）に記載の情報処理装置。
（１８）
前記ガイド情報の変更は、前記ガイド情報の変更可否に基づいて行われる、
前記（１６）または（１７）に記載の情報処理装置。
（１９）
プロセッサを用いて、
動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させることと、
前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行うことと、
を含む情報処理方法。
（２０）
動作主体が誘導を要求する前記動作主体の動作を誘導するガイド情報を、前記ガイド情報の投影指示に応じて投影部に投影させる投影制御機能と、
前記ガイド情報が誘導する動作が前記動作主体により行われた状態が認識されると、前記状態に基づく処理を行う処理制御機能と、
をコンピュータに実現させるためのプログラム。
【符号の説明】
【０１９０】
１００    情報処理装置
１０２    音声入力部
１０４    撮像部
１０６    制御部
１０８    投影部
１１０    音声出力部
１１２    通信部
２００    サーバ
２０２    通信部
２０４    音声認識部
２０６    画像認識部
２０８    情報提供部
２１０    記憶部
【図１Ａ】
2017146782.tif 000003
【図１Ｂ】
2017146782.tif 000004
【図２Ａ】
2017146782.tif 000005
【図２Ｂ】
2017146782.tif 000006
【図３】
2017146782.tif 000007
【図４】
2017146782.tif 000008
【図５】
2017146782.tif 000009
【図６】
2017146782.tif 000010
【図７】
2017146782.tif 000011
【図８】
2017146782.tif 000012
【図９】
2017146782.tif 000013
【図１０】
2017146782.tif 000014
【図１１】
2017146782.tif 000015
【図１２】
2017146782.tif 000016
【図１３】
2017146782.tif 000017
【図１４】
2017146782.tif 000018
【図１５】
2017146782.tif 000019
【図１６】
2017146782.tif 000020
【図１７】
2017146782.tif 000021