(57)【要約】【課題】対象者が発言した履歴情報に基づいて生成した表示画像を表示装置に仮想的に表示することができる情報処理装置、情報処理システム及びプログラムを提供する。【解決手段】情報処理装置３は、対象者が発言した会話履歴テーブル３１２に基づいて対象者の発言に関する情報を含む表示画像を生成する表示画像生成手段３０３と、現実空間に仮想空間の画像が重なるように表示するＨＭＤ装置２に、生成された表示画像を仮想画像１００として表示するように指示する送信手段３０４とを備える。【選択図】図６
2019061557.tif 000002
【特許請求の範囲】
【請求項１】
対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段と、
を備えた情報処理装置。
【請求項２】
前記対象者が発言した前記履歴情報は、現在行われているイベントへの参加者が発言した履歴情報であり、
前記生成手段が生成する前記表示画像は、前記参加者の発言に関する情報を含む、
請求項１に記載の情報処理装置。
【請求項３】
前記発言に関する情報は、発言回数又は発言時間に基づいて求まる発言量である、
請求項２に記載の情報処理装置。
【請求項４】
前記生成手段が生成する前記表示画像は、前記イベントの進捗を示す進捗情報を含む、
請求項１に記載の情報処理装置。
【請求項５】
前記対象者が発言した前記履歴情報は、会話の履歴情報であり、
前記生成手段が生成する前記表示画像は、前記会話から抽出された特徴語を含む、
請求項１に記載の情報処理装置。
【請求項６】
前記生成手段が生成する前記表示画像は、前記特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、
請求項５に記載の情報処理装置。
【請求項７】
前記生成手段が生成する前記表示画像は、前記表示装置の使用者との間、及び前記対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者に関する情報を含む、
請求項５又は６に記載の情報処理装置。
【請求項８】
前記生成手段が生成する前記表示画像は、予定の会話の情報を含む、
請求項５から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記生成手段が生成する前記表示画像は、前記対象者の内面的な情報を含む、
請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記生成手段が生成する前記表示画像は、前記対象者の属性情報を含む、
請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
現実空間に仮想空間の画像が重なるように表示する表示装置と、
対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記表示装置に指示する指示手段と、
を備えた情報処理システム。
【請求項１２】
現実空間に仮想空間の画像が重なるように表示するとともに、音声入力部を有する第１の表示装置及び第２の表示装置と、
前記第２の表示装置を使用する者であって、現在行われているイベントへの参加者が発言して前記音声入力部により入力された履歴情報に基づいて前記参加者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、
を備えた情報処理システム。
【請求項１３】
現実空間に仮想空間の画像が重なるように表示する第１の表示装置及び第２の表示装置と、
前記第１の表示装置を使用する第１の者の会話の履歴情報に基づいて前記第１の者の発言に関する情報を含む第１の表示画像を生成し、前記第２の表示装置を使用する第２の者の会話の履歴情報に基づいて前記第２の者の発言に関する情報を含む第２の表示画像を生成する生成手段と、
生成された前記第１の表示画像を前記仮想空間の画像として表示するように前記第２の表示装置に指示し、生成された前記第２の表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、
を備えた情報処理システム。
【請求項１４】
コンピュータを、
対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段として、
機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
近年、現実世界環境の実際の直視を可能にし、同時に仮想物体の画像をエンドユーザの視野に投影し、それによりエンドユーザによって知覚される現実世界環境を、仮想物体を用いて拡張する電子デバイスが提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載された電子デバイスは、個々に識別され、又は特定のグループに所属するものとして識別され得る特定の人物がＨＭＤ（ヘッドマウントディスプレイ）の視野内に存在する場合、又は特定の人物がＨＭＤから特定の距離内に存在する場合、その特定の人物に関連付けられたリマインダが表示され得る拡張現実環境を、ＨＭＤのユーザに対して生成および表示するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１６−５０６５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、対象者が発言した履歴情報に基づいて生成した表示画像を表示装置に仮想的に表示することができる情報処理装置、情報処理システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段と、を備えた情報処理装置。
［２］前記対象者が発言した前記履歴情報は、現在行われているイベントへの参加者が発言した履歴情報であり、
前記生成手段が生成する前記表示画像は、前記参加者の発言に関する情報を含む、前記［１］に記載の情報処理装置。
［３］前記発言に関する情報は、発言回数又は発言時間に基づいて求まる発言量である、前記［２］に記載の情報処理装置。
［４］前記生成手段が生成する前記表示画像は、前記イベントの進捗を示す進捗情報を含む、前記［１］に記載の情報処理装置。
［５］前記対象者が発言した前記履歴情報は、会話の履歴情報であり、
前記生成手段が生成する前記表示画像は、前記会話から抽出された特徴語を含む、前記［１］に記載の情報処理装置。
［６］前記生成手段が生成する前記表示画像は、前記特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、前記［５］に記載の情報処理装置。
［７］前記生成手段が生成する前記表示画像は、前記表示装置の使用者との間、及び前記対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者に関する情報を含む、前記［５］又は［６］に記載の情報処理装置。
［８］前記生成手段が生成する前記表示画像は、予定の会話の情報を含む、前記［５］から［７］のいずれかに記載の情報処理装置。
［９］前記生成手段が生成する前記表示画像は、前記対象者の内面的な情報を含む、前記［１］から［８］のいずれかに記載の情報処理装置。
［１０］前記生成手段が生成する前記表示画像は、前記対象者の属性情報を含む、前記［１］から［９］のいずれかに記載の情報処理装置。
［１１］現実空間に仮想空間の画像が重なるように表示する表示装置と、
対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記表示装置に指示する指示手段と、を備えた情報処理システム。
［１２］現実空間に仮想空間の画像が重なるように表示するとともに、音声入力部を有する第１の表示装置及び第２の表示装置と、
前記第２の表示装置を使用する者であって、現在行われているイベントへの参加者が発言して前記音声入力部により入力された履歴情報に基づいて前記参加者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、を備えた情報処理システム。
［１３］現実空間に仮想空間の画像が重なるように表示する第１の表示装置及び第２の表示装置と、
前記第１の表示装置を使用する第１の者の会話の履歴情報に基づいて前記第１の者の発言に関する情報を含む第１の表示画像を生成し、前記第２の表示装置を使用する第２の者の会話の履歴情報に基づいて前記第２の者の発言に関する情報を含む第２の表示画像を生成する生成手段と、
生成された前記第１の表示画像を前記仮想空間の画像として表示するように前記第２の表示装置に指示し、生成された前記第２の表示画像を前記仮想空間の画像として表示するように前記第１の表示装置に指示する指示手段と、を備えた情報処理システム。
［１４］コンピュータを、対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段として、機能させるためのプログラム。
【発明の効果】
【０００７】
請求項１、１１〜１４に係る発明によれば、対象者が発言した履歴情報に基づいて生成した表示画像を表示装置に仮想的に表示することができる。
請求項２に係る発明によれば、表示装置を使用する者がイベントに参加した参加者の発言に関する情報を認識することができる。
請求項３に係る発明によれば、表示装置を使用する者がどの参加者が発言量が少ないかを認識することができる。
請求項４に係る発明によれば、イベントの進捗状況を見ながらイベントの進行をスムーズに進めることができる。
請求項５、６に係る発明によれば、対象者が発言した会話の特徴を認識することができる。
請求項７に係る発明によれば、表示装置を使用する者が対象者と他の対象者との間でされた会話を認識することができる。
請求項８に係る発明によれば、予定の会話の情報を見ながら対象者と会話することができる。
請求項９に係る発明によれば、対象者は表示装置を使用する者のみに内面的な情報を伝えることができる。
請求項１０に係る発明によれば、対象者の属性情報を話すきっかけにすることができる。
【図面の簡単な説明】
【０００８】
【図１】図１（ａ）は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図、図１（ｂ）は、ヘッドマウントディスプレイ装置の一例を示す外観図である。
【図２】図２は、ＨＭＤ装置の制御系の一例を示す図である。
【図３】図３は、情報処理装置の制御系の一例を示すブロック図である。
【図４】図４は、ユーザ属性テーブルの一例を示す図である。
【図５】図５は、会話履歴テーブルの一例を示す図である。
【図６】図６は、仮想画像の表示例を示す図である。
【図７】図７は、第１の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。
【図８】図８は、仮想画像の変形例１を示す図である。
【図９】図９は、仮想画像の変形例２を示す図である。
【図１０】図１０は、仮想画像の変形例３を示す図である。
【図１１】図１１（ａ）、（ｂ）は、仮想画像の変形例４を示す図である。
【図１２】図１２は、本発明の第２の実施の形態に係る情報処理システムの構成例を示す図である。
【図１３】図１３は、第２の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。
【図１４】図１４は、会話履歴テーブルの一例を示す図である。
【図１５】図１５は、推奨話題テーブルの一例を示す図である。
【図１６】図１６は、仮想画像の表示例を示す図である。
【図１７】図１７は、仮想画像の表示例を示す図である。
【図１８】図１８は、第２の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。
【図１９】図１９（ａ）、（ｂ）は、仮想画像の変形例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。
【００１０】
［実施の形態の要約］
本実施の形態に係る情報処理装置は、対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段とを備える。
た情報処理装置。
【００１１】
「表示装置」には、使用者の頭部に装着され、使用者が表示画像を仮想空間の画像として視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置、外景を撮影した画像に表示画像を仮想空間の画像として重ねて表示する携帯型情報端末等が含まれる。光透過方式の頭部装着型表示装置は、ゴーグル型でもメガネ型でもよい。携帯型情報端末は、頭部装着型でもよい。
【００１２】
［第１の実施の形態］
図１（ａ）は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図、図１（ｂ）は、ヘッドマウントディスプレイ装置の一例を示す外観図である。
【００１３】
この情報処理システム１は、第１の者が使用するヘッドマウントディスプレイ装置（以下「ＨＭＤ装置」という。）２Ａと、第２の者が使用するＨＭＤ装置２Ｂと、各ＨＭＤ装置２Ａ、２Ｂ（これらを総称するときは、以下「ＨＭＤ装置２」という。）を制御する情報処理装置３とを備える。ＨＭＤ装置２と情報処理装置３とは、互いに無線によって通信可能に接続されている。第１の者が使用するＨＭＤ装置２Ａは、第１の表示装置の一例である。第２の者が使用するＨＭＤ装置２Ｂは、第２の表示装置の一例である。第２の者は、対象者の一例である。
【００１４】
このような情報処理システム１は、本実施の形態の場合、例えば、オフィス、公共施設、病院等の会議室、多目的室、談話室、講演会場等で用いられ得る。本実施の形態において、第１の者は、例えば、会議で司会者の役割を有するファシリテータ（一般的には会議ごとに１人）であり、第２の者は、例えば、会議への参加者（一般的には複数）である。会議は、イベントの一例である。ファシリテータ及び参加者を総称するときは、以下、使用者又はユーザともいう。
【００１５】
ＨＭＤ装置２は、現実空間に仮想空間の画像（以下「仮想画像」ともいう。）が重なるように表示するもの、すなわち仮想画像を仮想的に表示するものである。具体的には、ＨＭＤ装置２は、図１（ｂ）に示すように、使用者の頭部に装着されるものであり、使用者が仮想画像を視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置である。
【００１６】
ＨＭＤ装置２は、表示部２２と、外向きカメラ２３Ａとを備える。表示部２２は、耳に装着されるフレーム２２０と、右側透過型ディスプレイ２２１ａ及び左側透過型ディスプレイ２２１ｂ（これらを総称するときは「透過型ディスプレイ２２１」ともいう。）とを備える。
【００１７】
透過型ディスプレイ２２１は、例えば、透過型液晶ディスプレイ、透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ等を用いることができる。右側透過型ディスプレイ２２１ａは、右眼用の表示画像を表示し、左側透過型ディスプレイ２２１ｂは、左眼用の表示画像を表示する。右眼用の表示画像及び左眼用の表示画像は、外景に重なって仮想画像として使用者に視認される。
【００１８】
図２は、ＨＭＤ装置２の制御系の一例を示す図である。ＨＭＤ装置２は、ＨＭＤ装置２の各部を制御する制御部２０と、各種の情報を記憶する記憶部２１と、上記の表示部２２と、上記の外向きカメラ２３Ａと、内向きカメラ２３Ｂと、センサ部２４と、音声入力部２５と、位置検出部２６と、処理部２７と、無線通信部２８とを備える。
【００１９】
制御部２０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより送信手段２００、受信手段２０１、表示制御手段２０２等として機能する。各手段２００〜２０２の詳細は後述する。
【００２０】
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム、データ等が記憶されている。
【００２１】
外向きカメラ２３Ａは、対面する者の顔や自分の手等を含む外景を撮影し、撮影した画像を制御部２０に送る。内向きカメラ２３Ｂは、当該ＨＭＤ装置２の使用者の眼を撮影し、撮影した画像を制御部２０に送る。外向きカメラ２３Ａ及び内向きカメラ２３Ｂが撮影する画像は、静止画でも動画でもよい。使用者を顔画像により特定する場合は、静止画でもよいが、使用者の手等を撮影してジェスチャーを検出する場合や視線方向を検出する場合は、動画又は１秒間に複数枚撮影する連続的な静止画が好ましい。
【００２２】
センサ部２４は、距離画像センサと、加速度センサと、ジャイロセンサとを備える。距離画像センサは、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ等を用いることができる。距離画像センサは、赤外線、レーザ又は超音波等を照射し、その反射の時間差から画素ごとに距離を読み取って距離画像を得る。加速度センサは、ＨＭＤ装置２に加わる加速度を検出する。ジャイロセンサは、ＨＭＤ装置２に加わる角速度を検出する。
【００２３】
音声入力部２５は、マイクロフォンで構成され、当該ＨＭＤ装置２の使用者が発声した音声を電気信号である音声信号に変換して入力する。
【００２４】
処理部２７は、外向きカメラ２３Ａ、内向きカメラ２３Ｂ、センサ部２４及び音声入力部２５により入力された情報を処理するものであり、ジェスチャー検出部２７０と、視線検出部２７１と、音声認識部２７２と備える。
【００２５】
ジェスチャー検出部２７０は、使用者の動きを示すジェスチャーを検出する。具体的には、ジェスチャー検出部２７０は、センサ部２４の距離画像センサが検出した距離画像から、使用者の手の動き（例えば、２本指によるピンチ動作等）により予め定められた手のジェスチャーを検出する。また、ジェスチャー検出部２７０は、センサ部２４の加速度センサが検出したＨＭＤ装置２の加速度と、ジャイロセンサが検出したＨＭＤ装置２の角速度とに基づいて、使用者の頭部の動き（例えば、左右に振る等）により予め定められた頭部のジェスチャーを検出する。ジェスチャー検出部２７０は、検出したジェスチャーに対応するコマンドを制御部２０に送信する。
【００２６】
視線検出部２７１は、内向きカメラ２３Ｂが使用者の眼を撮影した画像から使用者の視線方向を検出し、検出した視線方向に対応するコマンドを制御部２０に送信する。視線検出技術としては、例えば、内向きカメラ２３Ｂに可視光カメラを用いて、目頭の位置に対する虹彩の位置に基づいて視線方向を検出してもよく、内向きカメラ２３Ｂに赤外線カメラと赤外線ＬＥＤを用いて、角膜反射の位置に対する瞳孔の位置に基づいて視線方向を検出してもよい。なお、ジェスチャーの代わりに視線方向を用いてもよい。
【００２７】
音声認識部２７２は、音声入力部２５が入力した音声信号をデジタルの音声データに変換し、音声データを制御部２０に送信する。
【００２８】
無線通信部２８は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｗｉ−Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いて情報処理装置３と通信する。なお、無線通信部２８は、ＨＭＤ装置２同士で通信してもよい。
【００２９】
位置検出部２６は、自装置２の位置を示す位置情報をＧＰＳ（Global Positioning  
System）等を用いて定期的に検出し、検出した位置情報を制御部２０に送信する。なお、自装置２の位置をビーコン信号を用いて検出してもよい。すなわち、位置検出部２６は、ビーコン発信機を識別するビーコンＩＤを含むビーコン信号を検出し、ビーコンＩＤ及びビーコン信号の強度情報を情報処理装置３に送信する。情報処理装置３は、ビーコンＩＤに対応するビーコン発信機の位置の情報及びビーコン信号の強度からＨＭＤ装置２の位置情報を取得する。
【００３０】
次に、ＨＭＤ装置２の各手段２００〜２０２について説明する。
【００３１】
送信手段２００は、外向きカメラ２３Ａにより撮影された画像、処理部２７による処理結果（例えば、ジェスチャー検出部２７０が検出したジェスチャーに対応するコマンド、視線検出部２７１が検出した視線方向や視線方向に対応するコマンド、又は音声認識部２７２により認識された音声データ）、又は位置検出部２６が検出した位置情報を、当該ＨＭＤ装置２の使用者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。
【００３２】
受信手段２０１は、情報処理装置３の送信手段３０４から送信された表示画像、及び表示画像を仮想画像として視認させるべき位置を示す位置情報を受信する。
【００３３】
表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて表示部２２を制御する。すなわち、表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて右眼用の表示画像及び左眼用の表示画像を生成し、右眼用の表示画像を右側透過型ディスプレイ２２１ａに表示し、左眼用の表示画像を左側透過型ディスプレイ２２１ｂに表示して位置情報に対応する位置に仮想画像が当該ＨＭＤ装置２の使用者に視認されるよう制御する。
【００３４】
図３は、情報処理装置３の制御系の一例を示すブロック図である。情報処理装置３は、情報処理装置３の各部を制御する制御部３０と、各種の情報を記憶する記憶部３１と、各ＨＭＤ装置２と無線通信を行う無線通信部３２とを備える。
【００３５】
無線通信部３２は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｗｉ−Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いてＨＭＤ装置２と通信する。
【００３６】
制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受信手段３００、ユーザ特定手段３０１、取得手段３０２、表示画像生成手段３０３、送信手段３０４等として機能する。各手段３００〜３０４の詳細は後述する。表示画像生成手段３０３は、生成手段の一例である。送信手段３０４は、指示手段の一例である。
【００３７】
記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、ユーザ属性テーブル３１１（図４参照）、会話履歴テーブル３１２（図５参照）等が記憶されている。会話履歴テーブル３１２は、現在行われているイベントへの参加者が発言した履歴情報の一例である。なお、本明細書において、テーブルに情報を書き込む場合に記録を用い、記憶部に情報を書き込む場合に記憶を用いる。
【００３８】
（ユーザ属性テーブルの構成）
図４は、ユーザ属性テーブル３１１の一例を示す図である。ユーザ属性テーブル３１１には、ユーザの属性情報が予め記録されている。ユーザ属性テーブル３１１は、ユーザＩＤが記録された「ユーザＩＤ」欄と、ユーザ名が記録された「ユーザ名」欄と、ユーザが所属する部署が記録された「所属部署」欄と、ユーザが正社員か派遣社員か、管理職か一般職か等の種別が記録された「ユーザ種別」欄と、勤続年数が記録された「勤続年数」欄と、ユーザの顔を撮影して得られた顔画像から抽出された顔特徴情報が記録された「顔特徴情報」欄とを有する。「顔特徴情報」とは、顔を構成する眼、鼻、口等の大きさ、形、位置等の顔の特徴を示す情報をいう。なお、顔特徴情報に顎や首の特徴を含めてもよい。ＨＭＤ装置２を頭に装着すると、眼の特徴を抽出し難いため、顔特徴情報に顎や首を含めることによりユーザの特定が容易になる。
【００３９】
（会話履歴テーブルの構成）
図５は、会話履歴テーブル３１２の一例を示す図である。会話履歴テーブル３１２は、会議が開催されるごとに作成される。会話履歴テーブル３１２は、会議を識別する会議ＩＤ及びファシリテータを識別するユーザＩＤに紐付けられて記憶部３１に記憶されている。同図に示す会話履歴テーブル３１２は、会議ＩＤが「Ｃ００１」、ファシリテータのユーザＩＤが「ｕｓｅｒ０１０」のものを示している。
【００４０】
会話履歴テーブル３１２は、参加者を識別するユーザＩＤが記録される「ユーザＩ」欄と、参加者が発言した時刻が記録される「発言時刻」欄と、発言時間が記録される「発言時間」欄と、参加者が発言した発言内容が記録される「発言内容」欄と、ＨＭＤ装置２Ｂの位置を示す位置情報が記録される「位置情報」欄とを有する。ＨＭＤ装置２Ｂの位置情報は、参加者の位置情報の一例である。「位置情報」欄に記録される位置情報は、例えば、経度、緯度を示す（ｘ、ｙ）が記録される。なお、位置情報は、経度、緯度、高度を示す（ｘ、ｙ、ｚ）でもよい。
【００４１】
次に、情報処理装置３の各手段３００〜３０４について説明する。
【００４２】
受信手段３００は、ＨＭＤ装置２から送信されるユーザＩＤ、顔画像、音声データ、位置情報及び各種のコマンド等を受信する。
【００４３】
ユーザ特定手段３０１は、ＨＭＤ装置２から送信される顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、顔画像に対応するユーザＩＤを特定する。なお、音声の特徴を示す音声特徴情報を元にユーザＩＤを特定してもよい。この場合、図４に示すユーザ属性テーブル３１１には、ユーザの音声特定情報を予め記録しておく。
【００４４】
取得手段３０２は、受信手段３００が発言回数の表示要求を示すコマンドを受信すると、会話履歴テーブル３１２からユーザＩＤごとにユーザ名及び発言回数を取得する。
【００４５】
表示画像生成手段３０３は、ＨＭＤ装置２の表示部２２に表示させる表示画像、例えば、取得手段３０２により取得されたユーザ名及び発言回数を含む表示画像を生成する。なお、表示画像生成手段３０３は、ユーザ名ごとに発言回数×発言時間＝発言量を算出し、ユーザ名及び発言量を含む表示画像を生成してもよい。
【００４６】
送信手段３０４は、ＨＭＤ装置２に、生成された表示画像を仮想空間の画像として表示するように指示する。具体的には、送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び表示画像を仮想画像として視認させるべき位置情報をＨＭＤ装置２（本実施の形態ではファシリテータが使用するＨＭＤ装置２Ａ）に送信する。仮想画像を視認させる位置情報は、例えば、会話履歴テーブル３１２の「位置情報」欄に記録された座標に基づいて算出された相手（本実施の形態では参加者）の頭上とする。なお、仮想画像を視認させる位置情報は、相手の頭上に限られず、相手の横等の近傍でもよい。
【００４７】
（第１の実施の形態の動作）
次に、情報処理システム１の動作の一例について、図６を参照し、図７のフローチャートに従って説明する。
【００４８】
（１）参加者の特定
ファシリテータが手を動かして参加者の顔の撮影を指示するジェスチャー（第１のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から、第１のジェスチャーを検出し、それに対応する第１のコマンドを制御部２０に送信する。
【００４９】
制御部２０は、ジェスチャー検出部２７０から第１のコマンドが送信される度に、外向きカメラ２３Ａを制御して参加者の顔を撮影する。制御部２０は、外向きカメラ２３Ａにより参加者を撮影して得られた顔画像を取得する。
【００５０】
ＨＭＤ装置２Ａの送信手段２００は、顔画像を、ファシリテータを識別するユーザＩＤとともに情報処理装置３に送信する。
【００５１】
情報処理装置３の受信手段３００は、ＨＭＤ装置２Ａから送信された顔画像及びユーザＩＤを受信する（Ｓ１）。
【００５２】
ユーザ特定手段３０１は、受信手段３００が受信した顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１に記録されている顔特徴情報とを照合し、ＨＭＤ装置２Ｂの使用者である参加者のユーザＩＤを特定する（Ｓ２）。ユーザ特定手段３０１は、ユーザＩＤを会話履歴テーブル３１２の「ユーザＩＤ」欄に記録する。これにより会議に参加している参加者を特定することができる。また、ファシリテータのユーザＩＤは、情報処理装置３の記憶部３１に予め記憶しておくことにより、会議ごとに参加者を特定することができる。
【００５３】
（２）発言内容の記録
情報処理装置３の受信手段３００は、音声データを受信したか否かを判断する（Ｓ３）。
【００５４】
参加者が会話すると、参加者が使用するＨＭＤ装置２Ｂの音声入力部２５は、参加者が発生した音声を音声信号に変換して入力する。音声認識部２７２は、音声信号を音声データに変換する。送信手段２０１は、音声データをユーザＩＤ及びＨＭＤ装置２Ｂの位置を示す位置情報とともに情報処理装置３に送信する。
【００５５】
情報処理装置３の受信手段３００は、音声データ、ユーザＩＤ及び位置情報を受信すると（Ｓ３：Ｙｅｓ）、会話履歴テーブル３１２の「ユーザＩＤ欄」に記録されているユーザＩＤに対応する、「発言時刻」欄に発言時刻を記録し、「発言時間」欄に発言時間を記録し、「発言内容」欄に音声データである発言内容を記録し、「位置情報」欄に位置情報を記録する（Ｓ４）。図５は、ユーザＩＤが「ｕｓｅｒ００１」の参加者が発言した「私もそう思います・・・」が記録されている場合を示す。
【００５６】
（３）表示画像の生成
ファシリテータが手を動かして発言回数の表示要求を示すジェスチャー（第２のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、第２のジェスチャーを検出し、それに対応する第２のコマンドを制御部２０に送信する。送信手段２００は、第２のコマンドをファシリテータのユーザＩＤとともに情報処理装置３に送信する。
【００５７】
情報処理装置３の受信手段３００は、発言回数の表示要求を示す第２のコマンド及びユーザＩＤを受信したか否かを判断する（Ｓ５）。受信手段３００が第２のコマンド及びユーザＩＤを受信すると（Ｓ５：Ｙｅｓ）、取得手段３０２は、会話履歴テーブル３１２から参加者のユーザ名、発言回数及び位置情報を取得する（Ｓ６）。発言回数は、会話履歴テーブル３１２における当該ユーザＩＤの記録数を計数することにより求められる。
【００５８】
表示画像生成手段３０３は、取得手段３０２が取得したユーザ名及び発言回数を含む表示画像を生成する（Ｓ７）。表示画像は、ユーザ名及び発言回数を含む２次元の画像である。
【００５９】
（４）表示画像及び位置情報の送信
送信手段３０４は、表示画像生成手段３０３が生成した表示画像及び位置情報をファシリテータが使用するＨＭＤ装置２Ａに送信する（Ｓ８）。
【００６０】
ＨＭＤ装置２Ａの表示制御手段２０２は、表示画像及び位置情報に基づいて表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。
【００６１】
ファシリテータには、図６に示すように、参加者の頭上に表示されたユーザ名及び発言回数を含む仮想画像１００が視認される。この場合、発言回数が最も少ない参加者の仮想画像１００ａを他の仮想画像１００と異なる表示態様、例えば異なる色で表示してもよい。なお、発言回数が閾値以下の参加者の仮想画像１００の表示態様を他の仮想画像１００と異なるようにしてもよい。また、ファシリテーが指名した回数を表示画像に含ませてもよい。指名回数は、ファシリテータが使用するＨＭＤ装置２Ａの音声入力部２５に入力され、音声認識部により認識された音声データに基づいて算出してもよい。また、予め定められた時間発話の無い場合は、他と異なる色の仮想画像を表示してもよい。
【００６２】
＜変形例１＞
図８は、仮想画像の変形例１を示す図である。図６では、ユーザ名及び発言回数を含む仮想画像１００をファシリテータに視認させたが、図８に示すように、参加者の属性情報を仮想画像１０１を視認させてもよい。
【００６３】
ファシリテータが手を動かして参加者の属性情報の表示要求を示すジェスチャー（第３のジェスチャー）を行うと、ファシリテータが使用するＨＭＤ装置２Ａのジェスチャー検出部２７０は、第３のジェスチャーを検出し、それに対応する第３のコマンドを制御部２０に送信する。送信手段２００は、第３のコマンド及びユーザＩＤを情報処理装置３に送信する。
【００６４】
情報処理装置３の受信手段３００は、第３のコマンド及びユーザＩＤを受信する。取得手段３０２は、受付手段３００が受け付けたユーザＩＤに対応するユーザ名及びユーザの履歴情報をユーザ属性テーブル３１１から取得する。
【００６５】
表示画像生成手段３０３は、取得手段３０２により取得されたユーザ名及びユーザの属性情報を含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。
【００６６】
ＨＭＤ装置２Ａの受信手段２０２は、表示画像及び位置情報を受信し、表示制御手段２０２は、表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図８に示すように、参加者の頭上に表示されたユーザの属性情報を含む仮想画像１０１が視認される。図８に示す仮想画像１０１には、例えば、参加者のユーザ名、所属部署、勤続年数が含まれる。
【００６７】
＜変形例２＞
図９は、仮想画像の変形例２を示す図である。変形例１は、ファシリテータの意思によって表示内容を切り替えるものであるが、この変形例２は、参加者の意思を表示するものである。参加者が手を動かして発言したいことを示すジェスチャー（第４のジェスチャー）を行うと、参加者が使用するＨＭＤ装置２Ｂのジェスチャー検出部２７０は、第４のジェスチャーを検出し、それに対応する第４のコマンドを制御部２０に送信する。送信手段２００は、第４のコマンド及びユーザＩＤを情報処理装置３に送信する。参加者の意思は、対象者の内面的な情報の一例である。内面的な情報とは、気分、心情等の感情や意見、合図、意思等の考えをいう。
【００６８】
情報処理装置３の受信手段３００は、第４のコマンド及びユーザＩＤを受信し、表示画像生成手段３０３は、受信手段３００が受信した第４のコマンドに対応する発言したいことを示す情報を含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。
【００６９】
ＨＭＤ装置２Ａの受信手段２０１は、表示画像及び位置情報を受信する。表示制御手段２０２は、表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図９に示すように、当該参加者の頭上に表示された発言したいことを示す情報（例えば、「意見あり」）を含む仮想画像１０２が視認される。このような表示は、自ら発言する勇気は無いが、指名されると発言できる参加者には、有効である。
【００７０】
＜変形例３＞
図１０は、仮想画像の変形例３を示す図である。この変形例３は、参加者の気分を示す顔アイコンを表示するものである。参加者が手を動かして自己の気分の表示要求を示すジェスチャー（第５のジェスチャー）を行うと、参加者が使用するＨＭＤ装置２Ｂのジェスチャー検出部２７０は、第５のジェスチャーを検出し、それに対応する第５のコマンドを制御部２０に送信する。送信手段２００は、第５のコマンド及びユーザＩＤを情報処理装置３に送信する。第５のジェスチャーは、気分の種類に応じて動作が異なるものとする。
【００７１】
情報処理装置３の受信手段３００は、第５のコマンド及びユーザＩＤを受信し、表示画像生成手段３０３は、第５のコマンドの種類に対応する顔アイコンを含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。
【００７２】
ＨＭＤ装置２Ａの受信手段２０１は、表示画像及び位置情報を受信する。表示制御手段２０２は、表示画像が当該参加者の頭上に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図１０に示すように、当該参加者の頭上に表示された顔アイコンを含む仮想画像１０３ａ〜１０３ｃが視認される。なお、参加者の賛成、反対等の意見を仮想画像として視認されるように表示してもよい。自己の気分や意見をファシリテータのみに伝えたい場合に有効である。
【００７３】
＜変形例４＞
図１１（ａ）、（ｂ）は、仮想画像の変形例４を示す図である。この変形例４は、会議の進捗状況を表示するものである。この場合、会議予定情報（会議を構成する項目ごとの予定時間）を記憶部３１に記憶しておく。ファシリテータが手を動かして会議の進捗状況の表示要求を示すジェスチャー（第６のジェスチャー）を行うと、ファシリテータが使用するＨＭＤ２Ａのジェスチャー検出部２７０は、第６のジェスチャーを検出し、それに対応する第６のコマンドを制御部２０に送信する。送信手段２００は、第６のコマンド及びユーザＩＤを情報処理装置３に送信する。
【００７４】
情報処理装置３の受信手段３００は、第６のコマンド及びユーザＩＤを受信する。表示画像生成手段３０３は、記憶部３１から会議予定情報を読み出し、会議の進捗状況を含む表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＨＭＤ装置２Ａに送信する。この変形例４の位置情報は、ＨＭＤ装置２の位置情報ではなく、予め定められた会議室の後方の壁の位置情報である。
【００７５】
ＨＭＤ２Ａの受信手段２０１は、表示画像及び位置情報を受信する。表示制御手段２０２は、表示画像が会議室の後方の壁に仮想画像として視認されるよう表示部２２を制御する。ファシリテータには、図１１（ａ）、（ｂ）に示すように、会議室の後方の壁に表示された会議の進捗状況を含む仮想画像１０４ａ、１０４ｂが視認される。図１１（ａ）に示す仮想画像１０４ａは、現在行うべき会議の項目及び時間を表示している。図１１（ｂ）に示す仮想画像１０４ｂは、現在予定より遅れていること、及び遅れている時間を表示している。なお、予定より進んでいる場合には、予定より進んでいること、及び進んでいる時間を表示してもよい。
【００７６】
［第２の実施の形態］
図１２は、本発明の第２の実施の形態に係る情報処理システムの構成例を示す図である。
【００７７】
この情報処理システム１は、第１の実施の形態と同様に、第１の者が使用するＨＭＤ装置２Ａと、第２の者が使用するＨＭＤ装置２Ｂと、各ＨＭＤ装置２Ａ、２Ｂを制御する情報処理装置３とを備える。ＨＭＤ装置２と情報処理装置３とは、互いに無線によって通信可能に接続されている。ＨＭＤ装置２の構成は、第１の実施の形態と同様であるので、その説明を省略する。
【００７８】
このような情報処理システム１は、本実施の形態の場合、例えば、オフィス、公共施設、病院等に用いられ得る。本実施の形態において、第１の者及び第２の者は、例えば、使用者の類似度が閾値を満たすほどに関連性を有する者である。関連性を有する者は、例えば、同一の組織に属する者や、協業関係を有する場合は異なる企業に属する者も含む。「組織」とは、人の集まりをいい、例えば、企業、企業に属する組織（部門、チーム、グループ等）、団体等が該当する。第２の者は、対象者の一例である。第１の者及び第２の者を総称するときは、以下、使用者又はユーザともいう。
【００７９】
図１３は、情報処理装置３の制御系の一例を示すブロック図である。情報処理装置３は、図３に示す情報処理装置３に対して制御部３０に特徴語抽出手段３０５を付加し、記憶部３１に推奨話題テーブル３１３（図１５参照）を付加したものである。以下、第１の実施の形態と異なる点を中心に説明する。
【００８０】
制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受信手段３００、ユーザ特定手段３０１、取得手段３０２、表示画像生成手段３０３、送信手段３０４、特徴語抽出手段３０５等として機能する。各手段３００〜３０５の詳細は後述する。表示画像生成手段３０３は、生成手段の一例である。送信手段３０４は、指示手段の一例である。
【００８１】
記憶部３１は、プログラム３１０、ユーザ属性テーブル３１１（図４参照）、会話履歴テーブル３１２ａ（図１４参照）、推奨話題テーブル３１３（図１５参照）等が記憶されている。会話履歴テーブル３１２ａは、対象者が発言した会話の履歴情報の一例である。
【００８２】
（会話履歴テーブルの構成）
図１４は、会話履歴テーブルの一例を示す図である。会話履歴テーブル３１２ａは、会話が成立したグループを識別する会話グループＩＤが記録される「会話グループＩＤ」欄と、会話した者を識別するユーザＩＤが記録される「ユーザＩＤ」欄と、ユーザが発言した時刻が記録される「発言時刻」欄と、発言時間が記録される「発言時間」欄と、会話した者が発言した発言内容が記録される「発言内容」欄と、ＨＭＤ装置２の位置を示す位置情報が記録される「位置情報」欄とを有する。ＨＭＤ装置２の位置情報は、第１の者又は第２の者の位置情報の一例である。
【００８３】
（推奨話題テーブルの構成）
図１５は、図１４に示す会話履歴テーブル３１２ａから抽出されて作成された推奨話題テーブルの一例を示す図である。推奨話題テーブル３１３は、ユーザ名が記録される「ユーザ名」欄と、当該ユーザが行った会話に含まれた特徴語の出現回数が記録される「特徴語」欄とを有する。図１５に示す場合は、特徴語として「天気」、「○社案件」、「□作業の納期」、「△の特許」が含まれている。また、図１５に示す場合は、例えば、ユーザ名のＡさんは「天気」を１回、「○社案件」を５回使い、「□作業の納期」は１回も使っていないことを示している。「特徴語」とは、会話の内容を特徴付ける単語であって、会話中に頻出する単語をいう。回数が多いほど推奨される話題となる。最も回数が多い特徴語が複数存在する場合は、複数の特徴語からユーザが選択してもよい。
【００８４】
次に、情報処理装置３の各手段３００〜３０５について説明する。
【００８５】
受信手段３００は、第１の実施の形態と同様に、ＨＭＤ装置２から送信されるユーザＩＤ、顔画像、音声データ、位置情報及び各種のコマンド等を受信する。
【００８６】
ユーザ特定手段３０１は、ＨＭＤ装置２から送信される会話の相手の顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、会話の相手のユーザＩＤを特定する。
【００８７】
取得手段３０２は、受信手段３００が会話の相手の発言に関する情報の表示要求を示すコマンドを受信すると、ユーザ属性テーブル３１１、会話履歴テーブル３１２又は特徴語会話テーブル３１３から相手に関する情報を取得する。取得手段３０２は、現在会話しようとする対象者の特徴語だけでなく、当該ＨＭＤ装置２の使用者との間、及び対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者の会話内容から特徴語を抽出してもよい。これにより、例えば、部下のＢさんと部下のＣさんとの間の会話の内容を上司のＡさんとＢさんとが会話する際に、仮想画像としてＡさんが視認することが可能になり、同一の組織で情報の共有が図られ易くなる。
【００８８】
表示画像生成手段３０３は、表示部２２に表示するための表示画像、例えば、取得手段３０２により取得された対象者の特徴語を含む表示画像を生成する。なお、表示画像生成手段３０３は、特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として表示画像に含めてもよい。例えば、予め定められた回数を３回とすると、図１５に示す場合は、Ｂさんに関する特徴語は「○社案件」と「□作業の納期」が表示画像に含まれる。
【００８９】
送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び表示画像を仮想画像として表示させるべき位置情報をＨＭＤ装置２に送信する。仮想画像を表示する位置情報は、例えば、会話履歴テーブル３１２の「位置情報」欄に記録された座標に基づいて算出された相手の頭上とする。
【００９０】
特徴語抽出手段３０５は、会話履歴テーブル３１２ａの「会話内容」欄に記録されたから特徴語を抽出し、推奨話題テーブル３１３に記録する。なお、特徴語抽出手段３０５は、ＨＭＤ装置２から送信される音声データから会話状態か否かを判定し、会話状態と判定した場合に、音声データから特徴語を抽出してもよい。
【００９１】
特徴語抽出手段３０５は、ｔｆ−ｉｄｆ（Term Frequency−Inverse Document  Frequency）等の公知の特徴抽出アルゴリズムを用いて特徴語を抽出してもよい。ｔｆ−ｉｄｆ法とは、ベクトル空間モデル等において単語の特徴ベクトルの重み付けにｔｆ−ｉｄｆの値を利用した手法のことである。
【００９２】
なお、特徴語を抽出する際に、協調フィルタリングを用いて他のユーザの会話履歴から関連する会話を抽出してもよい。
【００９３】
会話から特徴語を抽出し、抽出した特徴語間の類似度を計算し、類似度が閾値を満たす場合も同じ特徴語として推奨話題テーブル３１３に記録する。類似度は、例えば、コサイン類似度（ベクトル間類似度）、ピアソン相関係数等により求めてもよい。
【００９４】
図１６は、仮想画像の表示例を示す図である。図１６（ａ）に示すように、ユーザ属性テーブル３１１から相手の属性情報を取得し、会話の相手の頭上に仮想画像として視認されるように表示部２２を制御してもよい。同図は、所属部署や業務内容を表示した場合を示す。
【００９５】
（第２の実施の形態の動作）
次に、情報処理システム１の動作の一例について、図１８のフローチャートに従って説明する。以下、第１の者と第２の者が会話する場合について説明する。
【００９６】
（１）会話する者の特定
第１の者が使用するＨＭＤ装置２Ａ、及び第２の者が使用するＨＭＤ装置２Ｂから会話可能状態であることの通知を受けたか否かを判断する（Ｓ１１）。具体的には、ＨＭＤ装置２の制御部２０は、相手との距離が予め定められた距離（例えば、１ｍ）以内であり、かつ、視線方向が相手の顔に向いたかどうかを判断する。
【００９７】
相手との距離は、自装置２Ａのセンサ部２４の距離画像センサが検出した距離画像から算出する。視線方向については、自装置２Ａの視線検出部２７１が検出した視線方向を算出する。
【００９８】
第１の者が使用するＨＭＤ装置２Ａ、及び第２の者が使用するＨＭＤ装置２Ｂの制御部２０は、相手と会話可能状態にあると判断すると、会話可能状態にあることをユーザＩＤとともに情報処理装置３に通知する。
【００９９】
また、第１の者が使用するＨＭＤ装置２Ａの送信手段２００は、外向きカメラ２３Ａにより撮影された画像を第１の者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。これと同様に、第２の者が使用するＨＭＤ装置２Ｂの送信手段２００は、外向きカメラ２３Ａにより撮影された画像を第２の者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。
【０１００】
また、ＨＭＤ装置２の送信手段２００は、位置検出部２６が検出した位置情報をユーザＩＤとともに情報処理装置３に送信する。
【０１０１】
情報処理装置３の受信手段３００は、ＨＭＤ装置２Ａ及びＨＭＤ装置２Ｂから 相手と会話可能状態にあること、及び顔画像をユーザＩＤとともに受信すると（Ｓ１１：Ｙｅｓ）、ユーザ特定手段３０１は、ＨＭＤ装置２Ａから送信された顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、第２の者のユーザＩＤを特定する。これと同様に、ユーザ特定手段３０１は、ＨＭＤ装置２Ｂから送信された顔画像から顔特徴情報を抽出し、抽出した顔特徴情報とユーザ属性テーブル３１１の「顔特徴情報」欄に記録されている顔特徴情報とを照合し、第１の者のユーザＩＤを特定する。
【０１０２】
ユーザ特定手段３０１は、特定したユーザＩＤの第１の者と第２の者は会話グループを形成したと判断し、会話グループＩＤを発行する。続いてユーザ特定手段３０１は、図１４に示すように、会話グループＩＤ（例えば、Ｇ００１）を会話履歴テーブル３１２ａの「会話グループＩＤ」欄に記録し、第１の者のユーザＩＤ（例えば、ｕｓｅｒ００１）、及び第２の者のユーザＩＤ（例えば、ｕｓｅｒ００２）を「ユーザＩＤ」欄に記録し、「位置情報」欄に位置情報（例えば、（ｘ１，ｙ１）、（ｘ２，ｙ２））を記録する。
【０１０３】
（２）表示画像の生成、表示画像及び位置情報の送信
取得手段３０２は、会話履歴テーブル３１２ａを参照して第１の者及び第２の者は、相手と会話したことがあるか否かを判断する（Ｓ１３）。
【０１０４】
会話したことがないと判断すると（Ｓ１３：Ｎｏ）、取得手段３０２は、第１の者及び第２の者の属性情報をユーザ属性テーブル３１１から読み出す。表示画像生成手段３０３は、第２の者の属性情報を含む第１の表示画像を生成し、第１の者の属性情報を含む第２の表示画像を生成する（Ｓ１４）。
【０１０５】
送信手段３０４は、第１の表示画像及び第２の者が使用するＨＭＤ装置２Ｂの位置情報を第１の者が使用するＨＭＤ装置２Ａに送信し、第２の表示画像及び第１の者が使用するＨＭＤ装置２Ａの位置情報を第２の者が使用するＨＭＤ装置２Ｂに送信する（Ｓ１６）。
【０１０６】
ＨＭＤ装置２Ａの表示制御手段２０２は、第１の表示画像が第２の者の頭上に仮想画像として視認されるように表示部２２を制御する。ＨＭＤ装置２Ｂの表示制御手段２０２は、第２の表示画像が第１の者の頭上に仮想画像として視認されるように表示部２２を制御する。
【０１０７】
図１６に示すように、相手（第２の者）の頭上に相手（第２の者）の属性情報を含む仮想画像１０５が第１の者に視認され、相手（第１の者）の頭上に相手（第１の者）の属性情報を含む仮想画像１０５が第２の者に視認される。
【０１０８】
上記ステップＳ１３において、会話したことがあると判断すると（Ｓ１３：Ｙｅｓ）、取得手段３０２は、推奨する話題の項目を推奨話題テーブル３１３から読み出す。表示画像生成手段３０３は、第２の者に対して推奨する話題の項目を含む第１の表示画像を生成し、第１の者に対して推奨する話題の項目を含む第２の表示画像を生成する（Ｓ１５）。
【０１０９】
送信手段３０４は、第１の表示画像及び第２の者が使用するＨＭＤ装置２Ｂの位置情報を第１の者が使用するＨＭＤ装置２Ａに送信し、第２の表示画像及び第１の者が使用するＨＭＤ装置２Ａの位置情報を第２の者が使用するＨＭＤ装置２Ｂに送信する（Ｓ１６）。
【０１１０】
ＨＭＤ装置２Ａの表示制御手段２０２は、第１の表示画像が第２の者の頭上に仮想画像として視認されるように表示部２２を制御する。ＨＭＤ装置２Ｂの表示制御手段２０２は、第２の表示画像が第１の者の頭上に仮想画像として視認されるように表示部２２を制御する。
【０１１１】
図１７に示すように、第１の者であるＡさんには、Ｂさんの頭上にＡさんに推奨の話題の項目を含む仮想画像１０６ａが視認され、第２の者であるＢさんには、Ａさんの頭上にＢさんに推奨の話題の項目を含む仮想画像１０６ｂが視認される。なお、推奨の話題を項目とともに、又はこれとは別に予定の会話の情報として、例えば、メモ内容を仮想画像として表示してもよい。会話を予定しているメモ内容と会話の一致箇所又は不一致箇所を色分けて表示してもよい。これにより伝え忘れや勘違いを防ぐことが可能になる。また、自分の健康状態や空いている時間帯を顔アイコン等で仮想画像として自分の頭上等に表示してもよい。また、業務内容の類似性や互いの興味の類似性を事前に計算しておき、互いに興味を持つ情報を推奨の話題として表示してもよい。
【０１１２】
（３）会話の内容の記録
情報処理装置３の受信手段３００は、会話状態か否かを判断する。具体的には、受信手段３００は、音響ノイズを基に会話の音声データを受信したか否かを判断する（Ｓ１７）。
【０１１３】
第１の者又は第２の者が発言すると（Ｓ１７：Ｙｅｓ）、第１の者又は第２の者が使用するＨＭＤ装置２Ａ、２Ｂの音声入力部２５は、第１の者又は第２の者が発生した音声を音声信号に変換して入力する。音声認識部２７２は、音声信号を音声データに変換する。送信手段２０１は、音声データをユーザＩＤ及びＨＭＤ装置２の位置を示す位置情報とともに情報処理装置３に送信する。
【０１１４】
受信手段３００は、音声データ、ユーザＩＤ及び位置情報を受信すると（Ｓ１７：Ｙｅｓ）、会話履歴テーブル３１２ａの「ユーザＩＤ欄」に記録されているユーザＩＤに対応する、「発言時刻」欄に発言時刻を記録し、「発言時間」欄に発言時間を記録し、「発言内容」欄に音声データである発言内容を記録し、「位置情報」欄に位置情報を記録する（Ｓ１８）。
【０１１５】
特徴語抽出手段３０５は、会話履歴テーブル３１２ａの「会話内容」欄に新たに記録された会話内容から特徴語を抽出し、推奨話題テーブル３１３に記録する（Ｓ１９）。会話状態が継続している間は（Ｓ１７：Ｙｅｓ）、上記ステップＳ１８、Ｓ１９が繰り返される。
【０１１６】
受付手段３００が音声データを予め定められた時間（例えば、３０秒）受け付けていない場合は、会話状態でないと判断し（Ｓ１７：Ｎｏ）、処理を終了する。
【０１１７】
＜変形例＞
図１９は、仮想画像の変形例を示す図である。例えば、図１９（ａ）に示すように、Ａさんには、Ｂさんに関する会話履歴情報として発話日時、最終発話時間、発話内容の要約を含む仮想画像１０７ａを視認させ、Ｂさんには、Ａさんに関する会話履歴情報として発話日時、最終発話時間、発話内容の要約を含む仮想画像１０７ｂを視認させてもよい。
【０１１８】
また、図１９（ｂ）に示すように、Ａさんに、Ｂさんに関する情報として、体調を示す顔アイコンと空き時間を含む仮想画像１０８ａ、話題一覧を含む仮想画像１０８ｂ、話題目的を含む仮想画像１０８ｃを視認させてもよい。
【０１１９】
以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。例えば、各実施の形態では、表示装置として光透過方式の頭部装着型表示装置について説明したが、本発明は、現実空間（外景）を撮影した画像に表示画像を仮想画像として重ねて表示するスマートフォン等の携帯型情報端末にも同様に適用することができる。
【０１２０】
また、情報処理装置３が有する機能の一部をＨＭＤ装置２に移してもよく、ＨＭＤ装置２が有する機能の一部を情報処理装置３に移してもよい。例えば、ＨＭＤ装置２が有する音声認識機能を情報処理装置３に移し、ＨＭＤ装置２から音声信号を情報処理装置３に送信し、情報処理装置３の音声認識機能により音声信号を音声データに変換してもよい。
【０１２１】
上記各実施の形態では、仮想画像の位置は、対象者の頭上としたが、会社状態のときの加速度センサによる加速度の値（例えば、上下動よりも左右動の方が大きい加速度の値）に基づいて、対象者が立って話していると判断できる場合には、対象者の背面の壁に仮想画像を表示してもよい。また、会話状態のときの加速度センサに基づいて対象者が座っていると判断できる場合には、仮想画像の位置を対象者に最も近い机の上としてもよい。また、ＨＭＤ装置の使用者がジェスチャーによって仮想画像を表示する位置を示してもよい。
【０１２２】
制御部２０、３０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。
【０１２３】
また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。
【符号の説明】
【０１２４】
１…情報処理システム、２、２Ａ、２Ｂ…ＨＭＤ装置、３…情報処理装置、２０…制御部、２１…記憶部、２２…表示部、２３Ａ…外向きカメラ、２３Ｂ…内向きカメラ、２４…センサ部、２５…音声入力部、２６…位置検出部、２７…処理部、２８…無線通信部、３０…制御部、３１…記憶部、３２…無線通信部、１００、１００ａ、１０１、１０２、１０３ａ〜１０３ｃ、１０４ａ、１０４ｂ、１０５、１０６ａ、１０６ｂ１０７ａ、１０７ｂ、１０８ａ〜１０８ｃ…仮想画像、２００…送信手段、２０１…受信手段、２０２…表示制御手段、２２０…フレーム、２２１…透過型ディスプレイ、２２１…透過型ディスプレイ、２２１ａ…右側透過型ディスプレイ、２２１ｂ…左側透過型ディスプレイ、２７０…ジェスチャー検出部、２７１…視線検出部、２７２…音声認識部、３００…受信手段、３０１…ユーザ特定手段、３０２…取得手段、３０３…表示画像生成手段、３０４…送信手段、３０５…特徴語抽出手段、３１０…プログラム、３１１…ユーザ属性テーブル、３１２、３１２ａ…会話履歴テーブル、３１３…推奨話題テーブル
【図１】
2019061557.tif 000003
【図２】
2019061557.tif 000004
【図３】
2019061557.tif 000005
【図４】
2019061557.tif 000006
【図５】
2019061557.tif 000007
【図６】
2019061557.tif 000008
【図７】
2019061557.tif 000009
【図８】
2019061557.tif 000010
【図９】
2019061557.tif 000011
【図１０】
2019061557.tif 000012
【図１１】
2019061557.tif 000013
【図１２】
2019061557.tif 000014
【図１３】
2019061557.tif 000015
【図１４】
2019061557.tif 000016
【図１５】
2019061557.tif 000017
【図１６】
2019061557.tif 000018
【図１７】
2019061557.tif 000019
【図１８】
2019061557.tif 000020
【図１９】
2019061557.tif 000021