(57)【要約】【課題】接客作業に関する作業学習者の学習を支援することのできる情報処理装置を実現すること。【解決手段】接客作業を学習する作業学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部（１１１）と、作業学習者による発話の情報を含む音声情報を取得する音声情報取得部（１１４）と、顔情報取得部（１１１）が取得した顔情報が示す顔の少なくとも一部の状態と第１の参照情報との差異を示す第１の差異情報、及び、音声情報取得部（１１４）が取得した音声情報と第２の参照情報との差異を示す第２の差異情報を導出する差異情報導出部（１１８）と、第１の差異情報及び第２の差異情報の少なくとも何れかに応じた提示情報を生成する提示情報生成部（１１９）とを備えている情報処理装置（１００）。【選択図】図１
2020115202.tif 000002
【特許請求の範囲】
【請求項１】
接客作業を学習する作業学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部と、
前記作業学習者による発話の情報を含む音声情報を取得する音声情報取得部と、
前記顔情報取得部が取得した顔情報が示す顔の少なくとも一部の状態と第１の参照情報との差異を示す第１の差異情報、及び、前記音声情報取得部が取得した音声情報と第２の参照情報との差異を示す第２の差異情報を導出する差異情報導出部と、
前記第１の差異情報及び前記第２の差異情報の少なくとも何れかに応じた提示情報を生成する提示情報生成部と
を備えていることを特徴とする情報処理装置。
【請求項２】
前記顔情報を参照して、前記作業学習者が視認する対象を特定する視認対象特定部を更に備え、
前記差異情報導出部は、前記視認対象特定部が特定した視認対象を参照して前記第１の差異情報を導出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記視認対象特定部は、前記作業学習者が視認する対象への前記作業学習者の集中度を更に特定し、
前記差異情報導出部は、前記視認対象特定部が特定した集中度を参照して前記第１の差異情報を導出する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記提示情報生成部は、前記作業学習者が視認する対象が、前記第１の参照情報が示す対象とは異なる場合に、当該第１の参照情報が示す対象を強調表示した提示情報を生成する
ことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記提示情報生成部は、前記第２の差異情報が示す音声の差異に応じた提示情報を生成することを特徴とする請求項１から４の何れか１項に記載の情報処理装置。
【請求項６】
前記提示情報生成部は、前記第１の差異情報及び前記第２の差異情報に応じた点数を算出し、算出した点数を前記提示情報に含ませる
ことを特徴とする請求項１から５の何れか１項に記載の情報処理装置。
【請求項７】
前記作業学習者の体の少なくとも一部の動きを示す動き情報を取得する動き情報取得部を更に備え、
前記差異情報導出部は、前記動き情報と第３の参照情報との差異を示す第３の差異情報を導出し、
前記提示情報生成部が生成する提示情報には、前記第３の差異情報に応じた情報が含まれる
ことを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
【請求項８】
前記第１の差異情報、前記第２の差異情報、及び第３の差異情報の少なくとも何れかに対して、判断ルールを適用した判断処理を行う差異分析部を備え、
前記提示情報生成部は、前記差異分析部による判断結果を参照して前記提示情報を生成する
ことを特徴とする請求項１から７の何れか１項に記載の情報処理装置。
【請求項９】
前記差異分析部は、各時刻において何れの視認対象物が視認されているかを示す情報を生成し、
前記提示情報生成部は、前記各時刻において何れの視認対象物が視認されているかを示す情報を、前記提示情報に含める
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記差異分析部は、所定時間内において、各視認対象物が視認された時間に関する情報を生成し、
提示情報生成部は、前記所定時間内において各視認対象物が視認された時間に関する情報を、前記提示情報に含める
ことを特徴とする請求項８又は９に記載の情報処理装置。
【請求項１１】
請求項１から１０に記載の情報処理装置と、ヘッドマウントディスプレイとを備えた提示システムであって、
前記ヘッドマウントディスプレイは、
前記作業学習者の顔の少なくとも一部を撮像する撮像部と、
前記作業学習者の発話音声を集音する集音部と、
前記提示情報を提示する提示部と
を備えていることを特徴とする提示システム。
【請求項１２】
請求項１に記載の情報処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法、提示システム、及び情報処理プログラムに関する。
【背景技術】
【０００２】
近年、作業者が作業内容を習得することを支援するシステムが開発されている。例えば、特許文献１には、画像情報に基づき、模範作業者と学習作業者との視線又は作業動作の違いを表示する作業教育システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１８００９０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、接客作業等においては、画像情報のみを用いる上述の従来技術では、作業内容の習得を適切に支援することができないという問題がある。
【０００５】
本発明の一態様は、接客作業に関する作業学習者の学習を支援することのできる情報処理装置を実現することにある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、接客作業を学習する作業学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部と、前記作業学習者による発話の情報を含む音声情報を取得する音声情報取得部と、前記顔情報取得部が取得した顔情報が示す顔の少なくとも一部の状態と第１の参照情報との差異を示す第１の差異情報、及び、前記音声情報取得部が取得した音声情報と第２の参照情報との差異を示す第２の差異情報を導出する差異情報導出部と、前記第１の差異情報及び前記第２の差異情報の少なくとも何れかに応じた提示情報を生成する提示情報生成部とを備えていることを特徴とする。
【発明の効果】
【０００７】
本発明の一態様によれば、接客作業に関する作業学習者の学習を支援することのできる情報処理装置を実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る提示システムの構成要素を示すブロック図である。
【図２】本発明の一実施形態に係るヘッドマウントディスプレイのディスプレイが表示する画像の一例を示す図である。
【図３】本発明の一実施形態に係る視認対象特定部又は意思決定情報特定部が特定した学習者の視認対象、発話、動作及び集中度の一例を示す表である。
【図４】本発明の一実施形態に係る記憶部に予め記憶されているベテラン接客者のデータの一例を示す表である。
【図５】本発明の一実施形態に係る差異情報導出部が導出した差異情報のデータの一例を示す表である。
【図６】本発明の一実施形態に係る提示システムの処理を示すフローチャートである。
【図７】本発明の一実施形態に係る提示情報生成部が生成した提示情報の一例を示す図である。
【図８】本発明の一実施形態に係る提示情報生成部が生成した提示情報の一例を示す図である。
【図９】本発明の一実施形態に係る提示システムの構成要素を示すブロック図である。
【図１０】本発明の一実施形態に係る提示システムの処理を示すフローチャートである。
【図１１】視認対象物に関する情報の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について、詳細に説明する。以下の特定の項目（実施形態）における構成について、それが他の項目で説明されている構成と同じである場合は、説明を省略する場合がある。また、説明の便宜上、各項目に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。
【００１０】
〔実施形態１〕
１．提示システム
本実施形態に係る提示システム８００は、接客作業を学習する作業学習者に対して学習支援を行う。学習支援装置の形態としては、例えばＶＲ等を用いた体験的な学習装置が挙げられる。本実施形態に係る提示システム８００は、作業学習者（例えば、新米アルバイト。以下、単に学習者と記載することがある）の情報と、予め記憶されている模範作業者（例えば、ベテラン接客者）の情報（「参照情報」とも呼ぶ）との差異（「差異情報」とも呼ぶ）を、提示情報として学習者へ提示することで、作業学習者に対して、自立的かつ体験的な学習を支援することが可能である。以下においては、接客が必要とされる飲食店等で働く学習者が接客作業を学習する状況において提示システム８００を用いる場合を例に挙げて説明する。
【００１１】
学習者の情報及び参照情報は、例えば、視認する対象及び視認する対象への集中度、発話内容及び声のトーン並びに動作等を含む。
【００１２】
図１は、本発明の一実施形態に係る提示システムの構成要素を示すブロック図である。図１に示すように、本実施形態に係る提示システム８００は、情報処理装置１００、ヘッドマウントディスプレイ２００、装着型インターフェース３００、情報管理サーバ４００及び表示部５００を備えている。このような構成により、本実施形態に係る提示システム８００は、学習者に対して学習支援を行うことができる。
【００１３】
＜ヘッドマウントディスプレイ＞
図１に示すように、ヘッドマウントディスプレイ２００は、学習者の顔の少なくとも一部を撮像するカメラ２１０（「撮像部」とも呼ぶ）、学習者の発話音声を集音するマイク２２０（「集音部」とも呼ぶ）、スピーカー２４０及びディスプレイ２７０（いずれも「提示部」と呼ぶことがある）、動きセンサ２３０、制御部２５０並びに通信部２６０を備えている。
【００１４】
ヘッドマウントディスプレイ２００の制御部２５０は、ヘッドマウントディスプレイ２００の各部を統括的に制御するものである。制御部２５０の各機能、及びヘッドマウントディスプレイ２００に含まれる全ての機能は、例えば、記憶部（図示せず）等に記憶されたプログラムを、ＣＰＵが実行することによって実現されてもよい。
【００１５】
通信部２６０は、制御部２５０の制御を受けて、情報処理装置１００と通信する。通信の形態は、特に限定されることなく、Bluetooth（登録商標）、ＷｉＦｉ（登録商標）、その他の近距離無線通信技術による通信であってもよいし、他の通信であってもよい。
【００１６】
カメラ２１０は、学習者の顔の画像を顔情報として取得する。カメラ２１０は、学習者の身体の少なくとも一部の画像を顔の画像と同時に取得してもよい。マイク２２０は、学習者の発する声を音声情報として取得する。動きセンサ２３０は、例えば加速度センサであり、学習者の動きを動き情報として取得する。
【００１７】
スピーカー２４０は、通信部２６０を介してヘッドマウントディスプレイ２００に入力された音を出力する。ディスプレイ２７０は、通信部２６０を介してヘッドマウントディスプレイ２００に入力された画像を出力する。ディスプレイ２７０が出力する画像は、仮想空間を表示するものであってよく、ディスプレイ２７０の表示例として図２に示す画像が挙げられる。図２は、本発明の一実施形態に係るヘッドマウントディスプレイのディスプレイが表示する画像の一例を示す図である。図２に示す画像２００Ａは、店員である学習者の視点から見た飲食店内の様子であり、画像２００Ａには、客、自分の手元、自分以外の店員、及びテーブル等が表示されている。
【００１８】
また、図３は、視認対象特定部又は意思決定情報特定部が特定した学習者の視認対象、発話（発話内容及び声のトーン）、動作及び集中度（瞬き、瞳孔の状態、視線停留時間及び表情）の一例を示す表である。
【００１９】
＜装着型インターフェース＞
図１に示すように、提示システム８００は、装着型インターフェース３００を備えている。一例において、装着型インターフェース３００は、動きセンサ３１０及びボタン３２０を備えおり、学習者が行う操作を情報処理装置１００に入力する。学習者が行う操作としては、一例において、動きセンサ３１０を上げたり下げたりする操作、及びボタン３２０を押下する操作等が挙げられる。
【００２０】
一例において、提示システム８００は、情報処理装置１００における動き情報取得部１１５が取得する学習者の動き情報に、学習者の手の動き等に関するより詳細な情報を含めることができる。本実施形態における学習者の手の動きの例としては、水の入ったコップを持ったりテーブルに置いたりする動き、及び食事の注文を取る動き等が挙げられる。
【００２１】
また、装着型インターフェース３００を介して入力された学習者の手の動き等の情報は、ヘッドマウントディスプレイ２００におけるディスプレイ２７０が出力する画像において、学習者の手の動き等として反映させることができる。
【００２２】
動きセンサ３１０及びボタン３２０としては、公知のセンサ及びボタンを用いることができ、動きセンサ３１０は、例えば加速度センサである。
【００２３】
＜情報処理装置＞
図１に示すように、本実施形態における情報処理装置１００は、制御部１１０、記憶部１４０及び通信部１３０を備えている。
【００２４】
本実施形態における情報処理装置１００の制御部１１０は、作業学習者の顔の少なくとも一部の情報を含む顔情報を取得する顔情報取得部１１１と、作業学習者による発話の情報を含む音声情報を取得する音声情報取得部１１４と、顔情報取得部１１１が取得した顔情報が示す顔の少なくとも一部の状態と記憶部１４０が記憶している情報（「第１の参照情報」とも呼ぶ）との差異を示す差異情報（「第１の差異情報」とも呼ぶ）、及び、音声情報取得部１１４が取得した音声情報と記憶部１４０が記憶している情報（「第２の参照情報」とも呼ぶ）との差異を示す差異情報（「第２の差異情報」とも呼ぶ）を導出する差異情報導出部１１８と、差異情報に応じた提示情報を生成する提示情報生成部１１９とを備えている。
【００２５】
情報処理装置１００は、一例として、ローカルネットワーク又はグローバルネットワークに接続可能な端末装置（例えば、スマートフォン、タブレット、パソコン、又はテレビジョン受像機等）に実装される。
【００２６】
〔制御部〕
図１に示すように、本実施形態における情報処理装置１００の制御部１１０は、顔情報取得部１１１、状態検出部１１２、視認対象特定部１１３、音声情報取得部１１４、動き情報取得部１１５、意思決定情報特定部１１６、学習者情報取得部１１７、差異情報導出部１１８及び提示情報生成部１１９を備えている。制御部１１０は、情報処理装置１００の各部を統括的に制御する。制御部１１０の各機能、及び情報処理装置１００に含まれる全ての機能は、例えば、記憶部（図示せず）等に記憶されたプログラムを、ＣＰＵが実行することによって実現されてもよい。
【００２７】
（顔情報取得部）
顔情報取得部１１１は、各時点において、学習者の顔の少なくとも一部の情報を含む顔情報を取得する。顔情報取得部１１１は、例えば、ヘッドマウントディスプレイ２００が備えるカメラ２１０から取得した画像から、学習者の顔情報を取得することができる。学習者の顔情報とは、顔の特徴量を示す情報である。顔の特徴量とは、例えば、顔の各部位（例えば、目、鼻、口及び眉等）の位置を示す位置情報、形状を示す形状情報及び大きさを示す大きさ情報等を指す。
【００２８】
特に、目の情報からは、学習者が視認する対象を特定することができるため、特に有用である。目の情報としては、例えば目頭及び目尻の端点、虹彩及び瞳孔等のエッジ等が挙げられる。また、顔情報取得部１１１は、撮像部から取得した画像に、ノイズ低減、エッジ強調等の補正処理を適宜行ってもよい。顔情報取得部１１１は、抽出した顔情報を状態検出部１１２に送信する。
【００２９】
（状態検出部）
状態検出部１１２は、顔情報取得部１１１が取得した学習者の顔情報から上記学習者の状態を検出する。例えば、状態検出部１１２は、各時点における学習者が視認しているオブジェクト（図３における「視認対象」）、各時点における１分あたりの瞬きの回数（図３における「瞬き」）、各時点における瞳孔の開閉（図３における「瞳孔の状態」）、視認対象を視認している時間（図３における「視線停留時間」）、又は表情（図３における表情）等を検出する。
【００３０】
状態検出部１１２は、顔情報取得部１１１が抽出した顔情報に基づき、学習者の状態を検出する。状態検出部１１２は、学習者の状態を検出した後、該検出結果を視認対象特定部１１３へ送信する。
【００３１】
状態検出部１１２は、一例として、顔情報取得部１１１が取得した顔の特徴量である顔の各部位（例えば、目、鼻、口、頬及び眉等）の位置を示す位置情報、形状を示す形状情報及び大きさを示す大きさ情報等を参照し、学習者の状態として、例えば、上記学習者の視認対象、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動き及び顎の動きのうち少なくとも１つを検出する。
【００３２】
このように、状態検出部を備えることで、情報処理装置は、学習者の状態を好適に検出することできる。
【００３３】
視認対象の検出方法としては、特に限定されないが、情報処理装置１００に、点光源（図示せず）を設け、点光源からの光の角膜反射像を撮像部で所定時間撮影することにより、学習者の視認対象を検出する方法が挙げられる。点光源の種類は特に限定されず、可視光、赤外光が挙げられるが、例えば赤外線ＬＥＤを用いることで、学習者に不快感を与えることなく、視認対象を検出することができる。
【００３４】
学習者の状態として、視認対象の他には、集中度を挙げることができる。一般的に、人間は、集中している場合、低い頻度で安定した間隔で瞬きしており、瞳孔が開く傾向にあるため、瞬きの回数及び瞳孔の状態（サイズ）を検出することで、学習者の集中度を評価することができる。例えば、瞬きの回数を所定時間検出し、所定時間内で瞬きが安定した間隔で行われている場合、学習者がある対象を注視している可能性が高いといえる。また、瞳孔のサイズを所定時間検出し、所定時間内で瞳孔が大きくなっている時間が長い場合は、学習者がある対象を注視している可能性が高いといえる。
【００３５】
瞬きの回数を検出する方法としては、特に限定されないが、例えば、赤外光を学習者の目に対して照射し、開眼時と、閉眼時との赤外光量反射量の差を検出する方法等が挙げられる。
【００３６】
瞳孔の状態を検出する方法としては、特に限定されないが、例えば、ハフ変換を利用して、目の画像から円形の瞳孔を検出する方法等が挙げられる。瞳孔のサイズに関して、閾値を設定し、瞳孔のサイズが閾値以上である場合は「開」、瞳孔のサイズが閾値未満である場合は「閉」として評価してもよい。
【００３７】
また、集中度の評価として、視認対象が所定時間以上変化しないことを検出することも可能である。例えば、上述した技術を用いて学習者の視認対象を検出して、学習者がオブジェクトを視認している時間（図３における「視線停留時間」）を計測することができる。
【００３８】
状態検出部１１２は、学習者の視認対象、瞳孔の状態及び瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動き及び顎の動きのうち少なくとも１つを検出すればよいが、これらを組み合わせることが好ましい。このように検出方法を組み合わせることで、状態検出部１１２は、あるオブジェクトを視認しているときの学習者の集中度を好適に評価することができる。
【００３９】
目の状態以外では、例えば、眉の内側を持ち上げるか、外側を上げるか等の眉の動き、上瞼を上げる、瞼を緊張させる等の瞼の動き、鼻に皺を寄せる等の鼻の動き、上唇を持ち上げる、唇をすぼめる等の唇の動き、頬を持ち上げる等の頬の動き、顎を下げる等の顎の動き等の顔の各部位の状態が挙げられる。学習者の状態として、顔の複数の部位の状態を組み合わせてもよい。
【００４０】
状態検出部１１２は、学習者の顔の表情から学習者の機嫌を判断することによって学習者の集中度を算出してもよい。学習者の機嫌に係る状態は、例えば、上述したように、顔の特徴量を参照し、学習者の状態として、例えば、学習者の視認対象、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動き及び顎の動きのうち少なくとも１つを検出し、検出した学習者の顔の各部位の状態に基づいて判断することができる。
【００４１】
学習者の集中度を顔の表情から判断する方法としては、例えば、眉が上方向に動いた場合には、視認対象をより注視しているため集中していると判断することができる。また、例えば、人の顔を視認しているときに頬が上方向に動いた場合には、相手に対して表情を作っているとして、視認対象に集中していると判断することができる。
【００４２】
また、学習者の表情を検出させる場合、状態検出部１１２は、学習者の表情に関する情報を機械学習により算出することもできる。表情に関する情報を取得するための学習処理の具体的な構成は本実施形態を限定するものではないが、例えば、以下のような機械学習的手法の何れか又はそれらの組み合わせを用いることができる。
【００４３】
・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、データをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、又は多次元的配列化に加え、例えば、データアーギュメンテーション（Deta Argumentation）等の手法を用いることができる。
【００４４】
また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。
【００４５】
また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。
【００４６】
（視認対象特定部）
視認対象特定部１１３は、顔情報取得部１１１が取得した顔情報、又は状態検出部１１２から取得した検出結果を参照して、学習者が視認する対象を特定する。視認する対象（視認対象）は、人であっても物体であってもよい。
【００４７】
また、視認対象特定部１１３は、状態検出部１１２から取得した検出結果に基づき、作業学習者の集中度を特定する。
【００４８】
このように、情報処理装置１００は、視認対象特定部１１３を備えることで、学習者が視認している対象及び集中度を正確に判定することができる。
【００４９】
視認対象特定部１１３の具体的な処理について説明する。視認対象特定部１１３は、状態検出部１１２から取得した検出結果から、学習者の視線の先の位置座標を判定することで、視認対象を特定する。例えば、視認対象特定部１１３は、図３に示すように、学習者の視線の先の位置座標が客の足元の座標内にあると特定する。また、視線の情報に加えて、（状態検出部）で記載したように、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動き及び顎の動きの検出結果を参照することで、学習者がどのオブジェクトを集中して視認しているかをさらに好適に特定することができる。
【００５０】
視認対象特定部１１３は、学習者がどのオブジェクトを集中して視認しているかの特定を、（状態検出部）に記載の機械学習的手法を用いて特定してもよい。
【００５１】
視認対象特定部１１３は、特定した結果を差異情報導出部１１８へ送信する。
【００５２】
（音声情報取得部）
音声情報取得部１１４は、各時点における学習者による発話の情報を含む音声情報を取得する。音声情報取得部１１４は、例えば、ヘッドマウントディスプレイ２００のマイクから学習者の音声情報を取得することができる。学習者の音声情報として、例えば、声の周波数、声の大きさ等を取得する。音声情報の特定には、公知の音声認識技術を用いることができる。
【００５３】
音声情報取得部１１４が取得した音声情報は、意思決定情報特定部１１６に入力される。
【００５４】
（動き情報取得部）
動き情報取得部１１５は、各時点における作業学習者の体の少なくとも一部の動きを示す動き情報を取得する。動き情報取得部１１５は、例えば、図１に示すように、ヘッドマウントディスプレイ２００動きセンサ２３０、又は装着型インターフェース３００の動きセンサ３１０又はボタン３２０から取得する。また、ヘッドマウントディスプレイ２００のカメラ２１０が学習の身体を撮影した撮影画像から取得する。
【００５５】
動き情報取得部１１５が取得した動き情報は、意思決定情報特定部１１６に入力される。
【００５６】
（意思決定情報特定部）
意思決定情報特定部１１６は、音声情報取得部１１４が取得した音声情報及び動き情報取得部１１５が取得した動き情報をもとに、各時点において学習者の意思を示す意思決定情報を特定する。本実施形態において、意思決定情報には、一例として、学習者の発話内容、声のトーン及び行動の内容が含まれる。
【００５７】
一例として、意思決定情報特定部１１６は、学習者が発した発話内容及び声のトーンを特定する。例えば、図３に示すように、意思決定情報特定部１１６は、発話内容を、「いらっしゃいませ」又は「ご注文は何に致しますか」のように発話内容を示すテキストとして特定し、声のトーンを、一例として高中低のいずれかとして特定する。
【００５８】
また、意思決定情報特定部１１６は、動き情報取得部１１５が取得した動き情報を参照して、各時点において学習者が行った動作を特定する。例えば、意思決定情報特定部１１６は、図３に示すように、動作を「おじぎ」又は「水を置く」等のように特定する。
【００５９】
なお、意思決定情報特定部１１６は、（状態検出部）に記載の機械学習的手法を用いて意思決定情報を特定してもよい。
【００６０】
意思決定情報特定部１１６が特定した意思決定情報は、差異情報導出部１１８に入力される。
【００６１】
（差異情報導出部）
差異情報導出部１１８は、視認対象特定部１１３から取得した視認対象、意思決定情報特定部１１６から取得した意思決定情報、及び集中度を参照して、記憶部１４０に記憶されている情報との差異を差異情報として導出する。差異情報の導出の一例を図３〜５を用いて説明する。
【００６２】
図３は、視認対象特定部１１３及び意思決定情報特定部１１６が特定した学習者のデータである。図３は、学習者のデータの一例として、オブジェクトを視認したタイミング、視認対象、発話内容、声のトーン、動作及び集中度を示している。
【００６３】
図４は、記憶部１４０に予め記憶されているベテラン接客者のデータの一例を示す表である。図４は、ベテラン接客者のデータの一例として、オブジェクトを視認したタイミング、視認対象、発話内容、声のトーン、動作及び集中度を示している。図４における「第１の参照情報」、「第２の参照情報」及び「第３の参照情報」は、それぞれ、ベテラン接客者の視認対象、発話及び動作に対応する。
【００６４】
情報処理装置１００は、一例において、学習者又はベテラン接客者がオブジェクトを視認したタイミングから所定時間内に行われる一連の意思決定（発話及び動作等）を一つのまとまり（図３〜５における「イベント」）として扱う。図３〜５に示すように、一例において、イベントには、タイミング、視認対象、発話、動作、及び集中度が含まれ、それぞれのイベントはＩＤによって識別可能である。図３〜５に示すように、学習者におけるイベントと、ベテラン接客者におけるイベントとは、一例としてイベントＩＤを用いて対応させることができる。本明細書においては、例えば、図３に示すように、学習者のデータにおけるイベントＩＤ１におけるデータは、00;00;03のタイミングにおいて視認した視認対象及びオブジェクトを視認してから一定時間内に行われる意思決定を含む。
【００６５】
また、図３及び４における「タイミング」のデータは、一例として、オブジェクトを視認した時点を示すデータであるが、発話のタイミング又は動作のタイミング、ならびにオブジェクトを視認した時点と意思決定（発話及び動作）が終了した時点との間の中間の時点を等であってもよく、また、これらを複数組み合わせたものをデータとしてもよい（図示せず）。さらに、一例において、差異情報導出部１１８は、視認対象特定部１１３と意思決定情報特定部１１６とからそれぞれ取得したタイミングの情報を参照することによって、視認から意思決定（発話又は動作）までの経過時間を算出し、データとして含めてもよい（図示せず）。
【００６６】
差異情報導出部１１８は、図３及び４にそれぞれ示した学習者のデータ及びベテラン接客者のデータに基づいて、イベントＩＤごとに差異情報を導出する。図５は、差異情報導出部１１８が導出した差異情報のデータの一例を示す表である。図５において、差異情報は、それぞれのイベントＩＤごとに導出された情報であり、対応するイベントＩＤにおける、オブジェクトを視認したタイミング、視認対象、発話内容、声のトーン、動作及び集中度の差異を示す。
【００６７】
図５における「第１の差異情報」、「第２の差異情報」及び「第３の差異情報」は、それぞれ、学習者とベテランとにおける視認対象、発話及び動作の差異に対応する。
【００６８】
差異情報は、図３に示す学習者のデータと図４に示すベテラン接客者のデータとの「ずれ」の情報（表中の「＋／−」又は「＋／−」を用いた（学習者−ベテラン接客者）の値によって示される定量的な情報）、又はベテラン接客者のデータに一致するかどうかの情報（表中の「○／×」によって示される定性的な情報）である。一例において、図５に示したように、学習者のデータとベテラン接客者とのデータが一致しない場合は、差異情報導出部１１８が導出する差異情報は、ベテラン接客者のデータ（表中の「正解」）を含むものであってもよい。
【００６９】
一例において、学習者のデータを示す図３中のイベントＩＤ１によれば、タイミング「00；00；03」において、視認対象特定部１１３は、学習者の視認対象が「客の足元」であることを特定している。また、図４中のイベントＩＤ１に示す、記憶部１４０に予め記憶されている情報であるベテラン接客者の情報によれば、タイミング「00；00；03」におけるベテラン接客者の視認対象は「客の目」である。差異情報導出部１１８は、両データに基づいて、学習者の視認対象はベテラン接客者と一致しないと判断し、図５のイベントＩＤ１に示すように、視認対象の項目に関する差異情報として「×」を導出する。さらに、差異情報導出部１１８は、ベテラン接客者の視認対象である「客の目」を正解として導出する。
【００７０】
また、図３のイベントＩＤ１に示すように、タイミング「00；00；03」において、意思決定情報特定部１１６は、学習者が「いらっしゃいませ」と発話し、「おじぎ」の動作を行っていることを特定している。また、図４のイベントＩＤ１に示すように、記憶部１４０に予め記憶されている情報によれば、ベテラン接客者は、タイミング「00；00；03」において「いらっしゃいませ」と発話し、「おじぎ」の動作を行っている。差異情報導出部１１８は、両データに基づいて、学習者の発話内容及び動作はベテラン接客者と一致すると判断し、図５のイベントＩＤ１に示すように、発話内容の項目と動作の項目に関する差異情報として「○」を導出する。
【００７１】
そして、図３のイベントＩＤ１に示すように、タイミング「00；00；03」において、例えば、意思決定情報特定部１１６は、学習者の声のトーンが「中」であることを特定している。また、図４のイベントＩＤ１に示すように、記憶部１４０に予め記憶されている情報によれば、タイミング「00；00；03」におけるベテラン接客者の声のトーンは「高」である。差異情報導出部１１８は、両データに基づいて、学習者の声のトーンはベテラン接客者とより低いと判断し、図５のイベントＩＤ１に示すように、声のトーンの項目に関する差異情報として「−」を導出する。
【００７２】
さらに、タイミング「00；00；03」において、視認対象特定部１１３は、図３のイベントＩＤ１に示すように、学習者の瞬き（回／分）が「５」であることを特定している。また、図４のイベントＩＤ１に示すように、記憶部１４０に予め記憶されている情報によれば、タイミング「00；00；03」におけるベテラン接客者の瞬きは「１０」である。差異情報導出部１１８は、両データに基づいて、学習者の瞬きはベテラン接客者より５少ないと判断し、図５のイベントＩＤ１に示すように、瞬きの項目に関する差異情報として「−５」を導出する。
【００７３】
タイミング「00；00；05」において、視認対象特定部１１３は、図３のイベントＩＤ２に示すように、学習者の瞳孔の状態が「閉」であることを特定している。また、図４のイベントＩＤ２に示すように、記憶部１４０に予め記憶されている情報によれば、タイミング「00；00；05」におけるベテラン接客者の瞬きは「開」である。差異情報導出部１１８は、両データに基づいて、学習者の瞳孔の状態はベテラン接客者と一致しないと判断し、図５のイベントＩＤ２に示すように、瞳孔の状態の項目に関する差異情報として「×」を導出する。
【００７４】
タイミング「00；00；05」において、視認対象特定部１１３は、図３のイベントＩＤ２に示すように、学習者の視線停留時間（秒）が「０．０」であることを特定している。また、図４のイベントＩＤ２に示すように、記憶部１４０に予め記憶されている情報によれば、タイミング「00；00；05」におけるベテラン接客者の視線停留時間は「０．８」である。差異情報導出部１１８は、両データに基づいて、学習者の視線停留時間はベテラン接客者より０．８少ないと判断し、図５のイベントＩＤ２に示すように、視線停留時間の項目に関する差異情報として「−０．８」を導出する。
【００７５】
また、タイミング「00；00；05」において、視認対象特定部１１３は、図３のイベントＩＤ２に示すように、学習者の表情について、眉の動き及び頬の動きが検出されていないことを、「−」として特定している。一方、図４のイベントＩＤ２に示すように、記憶部１４０に予め記憶されている情報によれば、タイミング「00；00；05」におけるベテラン接客者の表情は、眉の動きが「−」、頬の動きが「上方向」である。この場合、差異情報導出部１１８は、両データに基づいて、学習者の眉の動きはベテラン接客者と一致していると判断し、図５のイベントＩＤ２に示すように、眉の動きの項目に関する差異情報として「○」を導出する。また、差異情報導出部１１８は、両データに基づいて、学習者の頬の動きはベテラン接客者と一致しないと判断し、図５のイベントＩＤ２に示すように、頬の動きの項目に関する差異情報として「×」を導出する。
【００７６】
また、視認対象特定部１１３及び意思決定情報特定部１１６によれば、学習者は、図３のイベントＩＤ３に示すように、タイミング「00;00;40」において、「客のテーブル」を視認し、「ご注文は何に致しますか」と発話し、「水を置く」動作を行っている。一方、図４のイベントＩＤ３に示すように、記憶部１４０に予め記憶されている情報によれば、「客のテーブル」を視認し、「ご注文は何に致しますか」と発話し、「水を置く」動作を行うタイミングは「00;00;33」である。差異情報導出部１１８は、両データに基づいて、学習者の一連のデータのまとまりは、ベテラン接客者より00;00;07遅いと判断し、図５のイベントＩＤ３に示すように、タイミングの項目に関する差異情報として「＋00;00;07」を導出する。
【００７７】
なお、図４のイベントＩＤ４に示すように、記憶部１４０に予め記憶されている情報によれば、ベテラン接客者は、タイミング「00;00;47」において「自分の手元」を視認し、「ご注文を確認いたします」と発話し、「注文内容を復唱」という動作を行っている。その一方で、図３に示すように、視認対象特定部１１３及び意思決定情報特定部１１６はいずれもタイミング「00;00;47」において学習者の視認対象及び意思決定情報を特定しておらず、また、タイミングによらず、「自分の手元」の視認、「ご注文を確認いたします」という発話及び「注文内容を復唱」という動作のいずれも特定されていない。このような場合、差異情報導出部１１８は、両データに基づいて、学習者のデータ中にベテラン接客者のデータに対応するデータが存在しないと判断し、図５の６００に示すように、差異情報として「データ無」、「×」及び正解となる情報を導出する。
【００７８】
図５の表から、学習者は、客の目を見ておらず、注文を取るタイミングが遅い傾向にあることが判定される。また、図５の表から、学習者は、客に対して注文の確認をしていないことが判定される。
【００７９】
差異情報導出部１１８は、（状態検出部）に記載の機械学習的手法を用いて差異情報を導出してもよい。
【００８０】
差異情報導出部１１８で導出された差異情報は、提示情報生成部１１９に入力される。
【００８１】
（学習者情報取得部）
学習者情報取得部１１７は、例えば、情報管理サーバ４００が管理する学習者の情報を学習者情報として取得する。一例として、学習者の情報は、学習者の属性を示す属性情報と、他の学習者と対象学習者とを識別するための学習者識別情報を含む。学習者の属性情報とは、例えば、学習者の年齢、性別、職歴及び本提示システム８００を用いたこれまでの学習期間等である。また、学習者識別情報とは、例えば、学習者のＩＤ又は学習者のメールアドレス等である。
【００８２】
このように、学習者の情報が、属性情報と学習者識別情報とを含むことで、後述する提示情報生成部１１９は、個々の学習者の属性に応じて、各学習者にとって効果的な提示情報を提示することができる。詳細は（提示情報生成部）の項目で述べる。
【００８３】
学習者情報取得部１１７は、情報管理サーバ４００から取得した学習者情報を提示情報生成部１１９に入力する。
【００８４】
（提示情報生成部）
提示情報生成部１１９は、差異情報導出部１１８が導出した差異情報（視認対象特定部１１３が顔情報から特定する視認対象及び集中度、意思決定情報特定部１１６が音声情報から特定する発話及び動き情報から特定する動作に基づいて導出される）に基づいて提示情報を生成する。一例において、提示情報生成部１１９が生成する提示情報は画像である。
【００８５】
提示情報生成部１１９は、学習者が視認する対象が、ベテラン接客者が視認対象と異なる場合に、ベテラン接客者が視認する対象を強調表示した提示情報を生成する。図８は、提示情報生成部１１９が生成した提示情報の一例を示す図である。図８に示す画像２００Ｃは、学習者が視認すべき対象を強調表示した画像であり、図２に示した画像２００Ａに記号として矢印ポインタ２００Ｃ１が加えられている。図８においては、矢印ポインタ２００Ｃ１は矢印の形をしているが、任意の形状及び色であってよい。
【００８６】
また、視認対象の強調表示の例としては、他にも、視認対象を枠囲みする、視認対象の周辺の背景色を変更する、視認対象を他のイメージよりも大きく表示する、及び視認対象の画像をポップアップウィンドウとして表示する等が挙げられる。
【００８７】
提示情報生成部１１９が生成する提示情報は常に強調表示を含んでいてもよいし、例えば、差異情報導出部１１８が導出した差異情報に応じて、適宜、強調の有無及び度合いを変更してもよい。
【００８８】
また、提示情報生成部１１９は、差異情報導出部１１８が導出した差異情報に応じた点数を算出し、算出した点数を提示情報に含ませてもよい。
【００８９】
図７は、提示情報生成部１１９が生成した提示情報の一例を示す図である。図７に示す画像２００Ｂは、テキストとして、指示ウィンドウ２００Ｂ１及び点数ウィンドウ２００Ｂ２を含んでいる。
【００９０】
画像２００Ｂにおける指示ウィンドウ２００Ｂ１は、学習者が行うべき発話内容及び動作のガイド示すテキストを表示するウィンドウである。ガイドの内容は、記憶部１４０に予め記憶されているベテラン接客者のデータに基づくものである。テキストは、図７に示したように、学習者が行うべき発話内容及び動作の全てを指示するものであってもよいし、例えば、「客がメニューから顔を挙げました、どうしますか？」等のように学習者にヒントを与えるものであってもよい。
【００９１】
画像２００Ｂにおける点数ウィンドウ２００Ｂ２は、学習者の習熟度を示す点数を表示するウィンドウである。点数の算出方法としては、例えば、（ｉ）一致又は不一致で判断した差異情報と、ずれの程度を判断した差異情報とで加点又は減点の方法を分けて、不一致の項目については所定の点数を減点し、ずれている項目についてはずれの程度に応じて減点する点数を変化させる方法、及び（ｉｉ）ずれの程度を判断した差異情報だけでなく、一致又は不一致で判断した差異情報についても、予め定めた範囲を逸脱していなければ（例えば、ベテラン接客者の視認対象が「客の目」であるのに対して学習者の視認対象が「客の鼻」であった、ベテラン接客者の発話内容が「ご注文は何に致しますか」であるのに対して、学習者の発話内容が「ご注文をお伺いいたします」であった等）、程度に応じて減点する点数を変化させる方法等が挙げられるが、特に限られない。
【００９２】
一例において、提示情報生成部１１９が生成する提示情報は音声を含む（図示せず）。音声としては、声であっても効果音であってもよい。一例において、声は、指示ウィンドウ２００Ｂ１に表示されるテキストを読み上げるものである。また、効果音の例としては、差異情報の内容に応じて正解又は不正解を示す音（「ピンポン」又は「ブー」等）という音、及び視認対象の強調表示に伴って学習者に注意を促す音等が挙げられる。
【００９３】
提示情報生成部１１９は、提示情報を生成するにあたって、学習者情報取得部１１７が取得した学習者情報を参照する。学習者情報を参照することによって、提示情報生成部１１９は、個々の学習者の属性に応じて、各学習者が効果的に学習できるような提示情報を提示することができる。
【００９４】
例えば、本実施形態における学習者が接客業を全く経験したことがない場合には、提示情報生成部１１９は、視認対象をより強調表示した提示情報を生成したり、より具体的な内容のガイドを含む提示情報を生成したりする。また、例えば、学習者のこれまでの学習期間が所定期間より長い場合には、提示情報生成部１１９は、より厳しい条件で算出した学習者の習熟度を示す点数を含む提示情報を生成することができる。さらに、提示情報生成部１１９は、一例において、学習者が好きなアニメのキャラクター等の音声を含む提示情報を生成することができる。
【００９５】
提示情報生成部１１９は、生成した提示情報をヘッドマウントディスプレイ２００へ送信する。また、提示情報生成部１１９は、提示情報を表示部５００へ送信する。
【００９６】
＜表示部＞
図１に示すように、提示システム８００は、表示部５００を備えている。表示部５００は、提示情報生成部１１９が生成した提示情報を、主に学習者を指導する指導者等向けに表示する。表示部５００が表示する画像は、図３に示した学習者のデータを示す表、及び図５に示した差異情報を示す表を含んでいてよく、さらに、図４に示したベテラン接客者のデータを示す表を含んでいてもよい。また、表示部５００が表示する画像は、ヘッドマウントディスプレイ２００のディスプレイ２７０が表示する画像の一部を含んでいてもよい。
【００９７】
２．提示システムの処理例
図６は、提示システム８００の処理を示すフローチャートである。図６に基づいて提示システム８００の処理について説明する。
【００９８】
まず提示システムの使用を開始（ステップＳ１００）し、処理を開始する。ステップＳ（以下、「ステップ」は省略する）１０２に進む。
【００９９】
Ｓ１０２では、情報処理装置１００の制御部１１０における学習者情報取得部１１７が、学習者情報を取得する（学習者情報取得ステップ）。処理の詳細は、（学習者情報取得部）に記載の通りである。学習者情報取得部１１７は、学習者情報を提示情報生成部１１９に送信し、Ｓ１０４に進む。
【０１００】
Ｓ１０４では、顔情報取得部１１１が、学習者のヘッドマウントディスプレイ２００におけるカメラ２１０から取得し、顔画像から顔の各部位を抽出する（顔情報取得ステップ）。処理の詳細は、（顔情報取得部）に記載の通りである。顔情報取得部１１１は、抽出した結果を状態検出部１１２に送信し、Ｓ１０６に進む。
【０１０１】
Ｓ１０６では、状態検出部１１２が、学習者の視認対象、瞬き、瞳孔の状態、及び顔の各部位の状態を検出する（状態検出ステップ）。処理の詳細は（状態検出部）に記載の通りである。検出結果を視認対象特定部１１３に送信し、Ｓ１０８に進む。
【０１０２】
Ｓ１０８では、視認対象特定部１１３が、学習者が視認する視認対象を特定する（視認対象特定ステップ）。処理の詳細は、（視認対象特定部）に記載の通りである。このとき、視認対象特定部１１３は、視認対象の特定と同時に、視認しているときの集中度を特定してもよい。視認対象特定部１１３は、特定した結果を、差異情報導出部１１８に送信し、Ｓ１１０に進む。
【０１０３】
Ｓ１１０では、音声情報取得部１１４又は動き情報取得部１１５の少なくとも一方が、学習者の意思決定情報を、ヘッドマウントディスプレイ２００等が備えるマイク２２０及び動きセンサ３１０等からそれぞれ取得する（意思決定情報取得ステップ）。処理の詳細は、（音声情報取得部）及び（動き情報取得部）に記載の通りである。Ｓ１１２に進む。
【０１０４】
Ｓ１１２では、音声情報取得部１１４又は動き情報取得部１１５の少なくとも一方が、音声情報又は動き情報等（以下、「意思決定情報」ということがある）が取得されたかどうかを参照することによって、意思決定情報の有無を判定する。意思決定情報があった場合は、音声情報取得部１１４及び動き情報取得部１１５は、取得した意思決定情報を意思決定情報特定部１１６に送信し、Ｓ１１３に進む。また、意思決定情報がなかった場合はＳ１１４に進む。
【０１０５】
Ｓ１１３では、意思決定情報特定部１１６が、学習者の発話内容、声のトーン及び動作等の意思決定情報を特定する（意思決定情報特定ステップ）。処理の詳細は（意思決定情報特定部）に記載の通りである。意思決定情報特定部１１６は、特定した結果を、差異情報導出部１１８に送信し、Ｓ１１４に進む。
【０１０６】
Ｓ１１４では、差異情報導出部１１８が、記憶部１４０に予め記憶されているベテラン接客者の視認対象及び意思決定情報等の参照情報を取得する（参照情報取得ステップ）。Ｓ１１６に進む。
【０１０７】
Ｓ１１６では、差異情報導出部１１８が、視認対象特定部１１３が特定した視認対象と、意思決定情報特定部１１６が特定した意思決定情報と、記憶部１４０から取得した参照情報とを参照し、差異情報を導出する（差異情報導出ステップ）。処理の詳細は、（差異情報導出部）に記載の通りである。差異情報導出部１１８は、導出した差異情報を、提示情報生成部１１９に送信し、Ｓ１１８に進む。
【０１０８】
Ｓ１１８では、提示情報生成部１１９が、差異情報導出部１１８が導出した差異情報と、学習者情報取得部１１７から取得した学習者情報とを参照し、提示情報を生成する（提示情報生成ステップ）。処理の詳細は、（提示情報生成部）に記載の通りである。情報処理装置１００の制御部１１０は、通信部１３０に、提示情報生成部１１９が生成した提示情報をヘッドマウントディスプレイ２００及び表示部５００に送信させ、Ｓ１２０に進む。
【０１０９】
Ｓ１２０では、ヘッドマウントディスプレイ２００の制御部２５０が、ディスプレイ２７０等に、提示情報生成部１１９が生成した提示情報を表示させ（提示情報表示ステップ）、Ｓ１２２に進み、処理を終了する。このとき、ヘッドマウントディスプレイ２００の制御部２５０は、スピーカー２４０等に提示情報生成部１１９が生成した提示情報を音声として出力してもよい（図示せず）。
【０１１０】
なお、図７の指示ウィンドウ２００Ｂ１及び点数ウィンドウ２００Ｂ２、並びに図８の矢印ポインタ２００Ｃ１等の提示情報の全てが、必ずしも進行中の接客作業の学習においてリアルタイムに表示されずともよく、例えば今回の接客作業の学習において生成された提示情報が、次回以降の接客作業の学習の際に表示される構成でもよい。また、情報処理装置１００が、ディスプレイ２７０等に表示される映像を記憶部１４０に録画する機能を有しており、当該映像を後から再生した場合に各提示情報が表示される構成でもよい。また、後述する実施形態２においても同様である。
【０１１１】
〔実施形態２〕
１．提示システム
本実施形態に係る提示システム８００ａは、図１に示す提示システム８００と同等の機能を有し、更に、上述した差異情報に対して後述する判断ルールを適用した結果に応じた提示情報を学習者に提示する。これにより、作業学習者に対して、自立的かつ体験的な学習を、より好適に支援することが可能である。以下においては、実施形態１と同様に、接客が必要とされる飲食店等で働く学習者が接客作業を学習する状況において提示システム８００ａを用いる場合を例に挙げて説明する。
【０１１２】
図９は、本発明の一実施形態に係る提示システムの構成要素を示すブロック図である。図９に示すように、本実施形態に係る提示システム８００ａは、図１に示す提示システム８００から、制御部１１０ａが、差異情報についての分析を行う差異分析部１２０を更に備える。また、本実施形態に係る提示情報生成部１１９ａは、差異情報導出部１１８から入力された差異情報に加え、差異分析部１２０から入力された判断結果を参照して提示情報を生成する。また、本実施形態に係る記憶部１４０ａは、判断ルールに関するデータベースである判断ルールデータベース１４１を有する。なお、別の態様として、判断ルールデータベース１４１が、記憶部１４０に含まれず、図示しないメモリ等に別途格納される構成でもよい。
【０１１３】
（差異分析部）
差異分析部１２０は、差異情報導出部１１８が導出した第１〜第３の差異情報の少なくとも何れかに対して、判断ルールデータベース１４１から読みだした判断ルールを適用した判断処理を行う。
【０１１４】
図３〜５に示す差異情報のうち、学習者のデータとベテラン接客者とデータとの「ずれ」の情報、及びベテラン接客者のデータに一致するかどうかの情報の全てが提示情報として学習者に提示されたとした場合、却って学習者は、どのデータに着目すればよいかが分かり難くなる。そこで、両者のデータ間の差異が所定の閾値以内であるか、所定の判断基準が満たされていれば、学習者には当該差異は提示されない方が好ましい場合がある。判断ルールデータベース１４１に含まれる判断ルールとは、各差異についての上記閾値または判断基準を規定したデータセットであるものと解してもよい。
【０１１５】
例えば、あるタイミングにおいて、ベテラン接客者の視認対象が客の目である場合であって、判断ルールが客の目を含む所定の範囲内を示す場合、差異分析部１２０は、当該タイミングにおける学習者の視認対象が正確には客の目ではなかったとしても上記所定の範囲内であれば許容されるものとして、当該視認対象の差異については学習者に提示しないものとして判断してもよい。一方で、差異分析部１２０は、上記の場合において学習者の視認対象が自分の手元等であったときには、当該視認対象の差異について学習者に提示するものとして判断してもよい。なお、学習者に提示しないものとして許容される上記所定の範囲は、連続しない複数の範囲であってもよい。
【０１１６】
また、例えばあるタイミングにおいて、ベテラン接客者の発話内容が「ご注文は何に致しますか」であった場合、学習者の発話内容が「ご注文をお伺いいたします」であったとしても、同様の内容を示しているものとして、差異分析部１２０は、当該発話内容の差異については学習者に提示しないものとして判断してもよい。一方で、差異分析部１２０は、上記の場合において学習者の発話内容が「ご注文を確認いたします」等であった時には、当該発話内容の差異について学習者に提示するものとして判断してもよい。また、上述した例のように、差異分析部１２０は、発話内容の所定部分が一致していれば同様の内容を示しているものと判断してもよい。また、ベテラン接客者のある発話内容に対して許容される学習者の発話内容を示すデータセットが判断ルールデータベース１４１に含まれる構成でもよい。また、発話内容自体に限定されず、声のトーンの高低についても学習者に提示されるか否かの閾値が設定されていてもよい。
【０１１７】
また、例えばあるタイミングにおいて、ベテラン接客者の動作が「前方を示す」であった場合、学習者の動作が「テーブル番号を述べる」であったとしても、差異分析部１２０は、差異分析部１２０は、当該動作の差異については学習者に提示しないものとして判断してもよい。一方で、差異分析部１２０は、上記の場合において学習者の動作が「注文を尋ねる」等であった時には、当該動作の差異について学習者に提示するものとして判断してもよい。また、ベテラン接客者のある動作に足して許容される学習者の動作を示すデータセットが判断ルールデータベース１４１に含まれる構成でもよい。
【０１１８】
また、上述した各例に限定されず、例えば判断ルールデータベース１４１が、両者の各行動のタイミングの差異についての閾値を含み、差異分析部１２０が、上記閾値を超えるタイミングの差異を、学習者に提示するものとして判断してもよい。
【０１１９】
また、差異分析部１２０は、各時刻においてベテラン接客者および学習者が何れの視認対象物を視認しているかを示す情報、並びに所定時間内において、各視認対象物が視認された時間に関する情報を生成する。上記各情報の一例については後述する。
【０１２０】
２．提示システムの処理例
図１０は、提示システム８００ａの処理を示すフローチャートである。図１０に基づいて提示システム８００ａの処理について説明する。
【０１２１】
図１０のフローチャートに基づく処理において、Ｓ１００からＳ１１６までは、実施形態１と同様の処理が実行される。Ｓ１１６における処理が行われたのち、Ｓ１１７に進む。
【０１２２】
Ｓ１１７では、差異分析部１２０が、差異情報導出部１１８が導出した第１〜第３の差異情報の少なくとも何れかに対して、判断ルールデータベース１４１から読みだした判断ルールを適用した判断処理を行う。処理の詳細は、（差異分析部）に記載の通りである。また、差異分析部１２０は、各時刻においてベテラン接客者および学習者が何れの視認対象物を視認しているかを示す情報、並びに所定時間内において、各視認対象物が視認された時間に関する情報を生成する。差異分析部１２０は、判断処理の判断結果および上記各情報を、提示情報生成部１１９ａに送信したのち、Ｓ１１８’に進む。
【０１２３】
Ｓ１１８’では、提示情報生成部１１９ａが、差異分析部１２０による判断結果を参照して提示情報を生成する。換言すれば、提示情報生成部１１９ａは、差異分析部１２０が学習者に提示するものとして判断した差異情報を提示するための提示情報を生成する。また、提示情報生成部１１９ａは、差異分析部１２０から入力された、視認対象物に関する情報であって、図１１に例示する情報を提示情報に含めてもよい。図１１（Ａ）は、学習者が各時刻において何れの視認対象物が視認していたかを示す図である。また、図１１において、Ｏ１〜Ｏ５は、それぞれ視認対象物を示しており、例えばＯ１が「客の目」等に対応する。また、図１１（Ｂ）は、所定時間内において各視認対象物が視認された時間に関する情報であって、学習者が各視認対象物を視認していた時間の割合を示す図である。また、提示情報生成部１１９ａは、ベテラン接客者が視認していた視認対象物についても図１１に例示する情報を生成してもよい。また、提示情報生成部１１９ａは、実施形態１のＳ１１８における提示情報生成部１１９と同様の処理も行ってもよい。Ｓ１２０’に進む。
【０１２４】
Ｓ１２０’では、ヘッドマウントディスプレイ２００の制御部２５０が、ディスプレイ２７０等に、提示情報生成部１１９ａが生成した提示情報を表示させ（提示情報表示ステップ）、Ｓ１２２に進み、処理を終了する。このとき、ヘッドマウントディスプレイ２００の制御部２５０は、スピーカー２４０等に提示情報生成部１１９ａが生成した提示情報を音声として出力してもよい（図示せず）。なお、ディスプレイ２７０等に表示される提示情報は、全ての情報が一画面に表示されずともよく、例えばユーザの指示によって表示される情報が切り替え可能であってもよい。また、Ｓ１１８’において、提示情報生成部１１９ａが、ベテラン接客者が視認していた視認対象物についても図１１に例示した情報を生成した場合、制御部２５０は、ベテラン接客者と学習者とに対応する図１１に例示した情報を、比較可能にディスプレイ２７０等に表示させてもよい。これにより、学習者は、ベテラン接客者によるデータと比較して、自身がより着目すべき視認対象物を容易に把握することができる。
【０１２５】
〔ソフトウェアによる実現例〕
情報処理装置１００（１００ａ）の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【０１２６】
後者の場合、情報処理装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）等をさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワーク又は放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１２７】
本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１２８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【０１２９】
１００、１００ａ  情報処理装置
１１０、１１０ａ  制御部
１１１  顔情報取得部
１１２  状態検出部
１１３  視認対象特定部
１１４  音声情報取得部
１１５  動き情報取得部
１１６  意思決定情報特定部
１１７  学習者情報取得部
１１８  差異情報導出部
１１９、１１９ａ  提示情報生成部
１２０  差異分析部
１３０  通信部
１４０、１４０ａ  記憶部
１４１  判断ルールデータベース
２００  ヘッドマウントディスプレイ
２１０  カメラ
２２０  マイク
２３０  動きセンサ
２４０  スピーカー
２５０  制御部
２６０  通信部
２７０  ディスプレイ
３００  装着型インターフェース
３１０  動きセンサ
３２０  ボタン
４００  情報管理サーバ
５００  表示部
【図１】
2020115202.tif 000003
【図２】
2020115202.tif 000004
【図３】
2020115202.tif 000005
【図４】
2020115202.tif 000006
【図５】
2020115202.tif 000007
【図６】
2020115202.tif 000008
【図７】
2020115202.tif 000009
【図８】
2020115202.tif 000010
【図９】
2020115202.tif 000011
【図１０】
2020115202.tif 000012
【図１１】
2020115202.tif 000013