(57)【要約】【課題】対話に参加していない場合には相手側から姿を見られることなく、対話に途中参加する場合には相手側から姿を見られるように切り替える。【解決手段】対話システム１は、第１居室のユーザのうち対話の参加者を撮影した第１参加者画像と、第１居室を撮影した第１背景画像を合成した第１合成画像を第２居室に設けられた第２表示部に表示させる第１表示制御部１５０と、第２居室のユーザのうち対話の参加者を撮影した第２参加者画像と、第２居室を撮影した第２背景画像を合成した第２合成画像を第１居室に設けられた第１表示部に表示させる第２表示制御部１６０と、第２居室にいる対話に参加していないユーザの中から対話への参加候補者を検出する検出部２１０と、参加候補者と、第１居室にいる対話の参加者のそれぞれから所定の操作を受け付けた場合に、参加候補者を対話の参加者に登録する参加登録部２４０と、を備える。【選択図】図８
2018107609.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１ユーザがいる第１居室に設けられた第１装置と、前記第１ユーザとの対話に参加している第２ユーザを含む複数のユーザがいる第２居室に設けられた第２装置との双方向通信により、前記第１居室にいるユーザと前記第２居室にいるユーザとの間で前記対話を実行させる対話システムであって、
前記第１居室のユーザのうち前記対話の参加者を撮影した第１参加者画像を取得する第１参加者画像取得部と、
前記第１居室を撮影した第１背景画像を取得する第１背景画像取得部と、
前記第１参加者画像と前記第１背景画像を合成した第１合成画像を前記第２居室に設けられた第２表示部に表示させる第１表示制御部と、
前記第２居室のユーザのうち前記対話の参加者を撮影した第２参加者画像を取得する第２参加者画像取得部と、
前記第２居室を撮影した第２背景画像を取得する第２背景画像取得部と、
前記第２参加者画像と前記第２背景画像を合成した第２合成画像を前記第１居室に設けられた第１表示部に表示させる第２表示制御部と、
前記第２居室にいる前記対話に参加していないユーザの中から前記対話への参加候補者を検出する検出部と、
前記参加候補者と、前記第１居室にいる前記対話の参加者のそれぞれから所定の操作を受け付けた場合に、前記参加候補者を前記対話の参加者に登録する参加登録部と、を備えることを特徴とする対話システム。
【請求項２】
前記検出部は、前記第２居室にいる前記対話に参加していないユーザのうち、前記第２表示部との距離が第１閾値以下であり、且つ前記対話の参加者への視線の量が第２閾値以上であるユーザを、前記参加候補者として検出することを特徴とする請求項１に記載の対話システム。
【請求項３】
前記参加候補者に前記対話への参加の意思を問い合わせる第１問合せ部と、
前記第１問合せ部による問合せに応じて前記参加候補者が確認操作を実行する場合に、前記第１居室にいる前記対話の参加者に対して、前記参加候補者の前記対話への参加の許可を問い合わせる第２問合せ部と、を備え、
前記参加登録部は、前記第２問合せ部による問合せに応じて前記第１居室にいる前記対話の参加者が許可操作を実行する場合に、前記参加候補者を前記対話の参加者に登録することを特徴とする請求項１又は２に記載の対話システム。
【請求項４】
前記第１問合せ部は、前記参加候補者を特定する特定情報とともに、前記対話への参加の意思を問い合わせる第１問合せ画面を前記第２表示部に表示させ、
前記第２問合せ部は、前記参加候補者の前記特定情報とともに、前記参加候補者の前記対話への参加の許可を問い合わせる第２問合せ画面を前記第１表示部に表示させることを特徴とする請求項３に記載の対話システム。
【請求項５】
前記第１居室のユーザのうち前記対話の参加者の発話音声である第１音声情報を取得する第１音声取得部と、
前記第１音声情報を前記第２居室に設けられた第２スピーカで出力させる第１音声出力制御部と、
前記第２居室のユーザのうち前記対話の参加者の発話音声である第２音声情報を取得する第２音声取得部と、
前記第２音声情報を前記第１居室に設けられた第１スピーカで出力させる第２音声出力制御部と、を備えることを特徴とする請求項１乃至４のいずれかに記載の対話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話への途中参加機能を備える対話システムに関する。
【背景技術】
【０００２】
遠隔地に離れたユーザの居室にそれぞれ設置された端末装置が、それぞれの居室において取得した音声と画像とを端末装置間で伝送し合うことにより、双方のユーザが相手の顔を見ながら対話を可能とした対話システムが知られている（例えば、下記の特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２７５１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の対話システムでは、居室内にいる者全員の姿が相手側の装置に映し出されてしまう。そのため、居室内に対話の参加者と非参加者が混在している場合にも、非参加者が望まないにもかかわらず、相手側にその姿が見られてしまうという状況が生じてしまっていた。
また、当初は対話に非参加でも途中から対話に参加したいという者に対しては、対話参加の際には相手側からその姿が見られる状態にしなければ、円滑なコミュニケーションが実現できない。
【０００５】
本発明は上記の課題に鑑みてなされたものであって、その目的は、対話に参加していない場合には相手側から姿を見られることなく、対話に途中参加する場合には相手側から姿を見られるように切り替えることができる対話システムを提供することにある。
【課題を解決するための手段】
【０００６】
前記課題は、本発明に係る対話システムによれば、少なくとも第１ユーザがいる第１居室に設けられた第１装置と、前記第１ユーザとの対話に参加している第２ユーザを含む複数のユーザがいる第２居室に設けられた第２装置との双方向通信により、前記第１居室にいるユーザと前記第２居室にいるユーザとの間で前記対話を実行させる対話システムであって、前記第１居室のユーザのうち前記対話の参加者を撮影した第１参加者画像を取得する第１参加者画像取得部と、前記第１居室を撮影した第１背景画像を取得する第１背景画像取得部と、前記第１参加者画像と前記第１背景画像を合成した第１合成画像を前記第２居室に設けられた第２表示部に表示させる第１表示制御部と、前記第２居室のユーザのうち前記対話の参加者を撮影した第２参加者画像を取得する第２参加者画像取得部と、前記第２居室を撮影した第２背景画像を取得する第２背景画像取得部と、前記第２参加者画像と前記第２背景画像を合成した第２合成画像を前記第１居室に設けられた第１表示部に表示させる第２表示制御部と、前記第２居室にいる前記対話に参加していないユーザの中から前記対話への参加候補者を検出する検出部と、前記参加候補者と、前記第１居室にいる前記対話の参加者のそれぞれから所定の操作を受け付けた場合に、前記参加候補者を前記対話の参加者に登録する参加登録部と、を備えることにより解決される。
上記の対話システムによれば、対話に参加していない場合には相手側から姿を見られることなく、対話に途中参加する場合には相手側から姿を見られるように切り替えることができる。これにより、対話への非参加者の意思も尊重しつつ、非参加者が途中から参加することも可能となる。
【０００７】
上記の対話システムにおいて、前記検出部は、前記第２居室にいる前記対話に参加していないユーザのうち、前記第２表示部との距離が第１閾値以下であり、且つ前記対話の参加者への視線の量が第２閾値以上であるユーザを、前記参加候補者として検出することとしてよい。
こうすることで、対話に注意を向けているユーザを参加候補者として検出できる。これにより、参加候補者の誤検出を防止できる。
【０００８】
上記の対話システムにおいて、前記参加候補者に前記対話への参加の意思を問い合わせる第１問合せ部と、前記第１問合せ部による問合せに応じて前記参加候補者が確認操作を実行する場合に、前記第１居室にいる前記対話の参加者に対して、前記参加候補者の前記対話への参加の許可を問い合わせる第２問合せ部と、を備え、前記参加登録部は、前記第２問合せ部による問合せに応じて前記第１居室にいる前記対話の参加者が許可操作を実行する場合に、前記参加候補者を前記対話の参加者に登録することとしてよい。
こうすることで、参加候補者に参加の意思があり、相手側の対話参加者が許可した場合に、参加候補者を対話に参加させることができる。
これにより、参加を自ら希望せず、また他の参加者が望まない者を対話に参加させてしまうことを防止できる。
【０００９】
上記の対話システムにおいて、前記第１問合せ部は、前記参加候補者を特定する特定情報とともに、前記対話への参加の意思を問い合わせる第１問合せ画面を前記第２表示部に表示させ、前記第２問合せ部は、前記参加候補者の前記特定情報とともに、前記参加候補者の前記対話への参加の許可を問い合わせる第２問合せ画面を前記第１表示部に表示させることとしてよい。
こうすることで、誰が参加候補者として検出されたか、また誰が参加を希望しているかをユーザに認識させることができる。
【００１０】
上記の対話システムにおいて、前記第１居室のユーザのうち前記対話の参加者の発話音声である第１音声情報を取得する第１音声取得部と、前記第１音声情報を前記第２居室に設けられた第２スピーカで出力させる第１音声出力制御部と、前記第２居室のユーザのうち前記対話の参加者の発話音声である第２音声情報を取得する第２音声取得部と、前記第２音声情報を前記第１居室に設けられた第１スピーカで出力させる第２音声出力制御部と、を備えることとしてよい。
こうすることで、対話の参加者の発話音声のみを相手側で出力させることができる。これにより、対話参加者の発話音声が聞きやすくなるとともに、非参加者の発話音声が相手側に聞かれることを防止できる。
【発明の効果】
【００１１】
本発明に係る対話システムによれば、対話に参加していない場合には相手側から姿を見られることなく、対話に途中参加する場合には相手側から姿を見られるように切り替えることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る対話システムのシステム構成図である。
【図２】対話システムのハードウェア構成を示す図である。
【図３】居室におけるユーザの参加状況と第２装置の表示内容の一例を説明する図である。
【図４】居室におけるユーザの参加状況と第２装置の表示内容の一例を説明する図である。
【図５】居室におけるユーザの参加状況と第２装置の表示内容の一例を説明する図である。
【図６】居室におけるユーザの参加状況と第１装置の表示内容の一例を説明する図である。
【図７】居室におけるユーザの参加状況と第２装置の表示内容の一例を説明する図である。
【図８】対話システムに備えられる機能を示す図である。
【図９】第１参加者テーブルの一例を示す図である。
【図１０】第２参加者テーブルの一例を示す図である。
【図１１】対話開始時の対話システムによる処理のシーケンス図である。
【図１２】送信に関する対話制御処理のフロー図である。
【図１３】受信に関する対話制御処理のフロー図である。
【図１４】対話途中参加時の対話システムによる処理のシーケンス図である。
【発明を実施するための形態】
【００１３】
以下、図１乃至図１４に基づき、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【００１４】
［１．本実施形態に係る対話システム１のシステム構成］
図１には、本実施形態に係る対話システム１の全体構成を示した。図１に示されるように、対話システム１は、第１装置１０及び第２装置２０を備え、第１装置１０と第２装置２０はそれぞれネットワークＮに接続し、ネットワークＮを介してデータ通信可能となっている。
【００１５】
ここで、第１装置１０は、ユーザＵ１のいる居室Ｒ１に設置されるコンピュータシステムである。第１装置１０は、ユーザＵ１のいる居室Ｒ１の様子をカメラ１６で撮影した撮影画像と、居室Ｒ１で集音した音声とを第２装置２０に送信する。
また、第１装置１０は、第２装置２０からはユーザＵ２、ユーザＵ３のいる居室Ｒ２の様子をカメラ２６で撮影した撮影画像と、居室Ｒ２で集音した音声を受信し、再生する。
本実施形態では、第１装置１０は、居室Ｒ２を撮影した背景画像と、居室Ｒ２において対話に参加しているユーザを撮影したユーザ画像とを合成した合成画像を表示することとする。そして、第１装置１０は、居室Ｒ２において対話に参加しているユーザの発した音声を出力することとする。
【００１６】
第２装置２０は、複数のユーザＵ２のいる居室Ｒ２に設置されるコンピュータシステムである。第２装置２０は、複数のユーザＵ２のいる居室Ｒ２の様子をカメラ２６で撮影した撮影画像と、居室Ｒ２で集音した音声とを第１装置１０に送信する。
また、第２装置２０は、第１装置１０からはユーザＵ１のいる居室Ｒ１の様子をカメラ１６で撮影した撮影画像と、居室Ｒ１で集音した音声を受信し、再生する。
本実施形態では、第２装置２０は、居室Ｒ１を撮影した背景画像と、居室Ｒ１において対話に参加しているユーザを撮影したユーザ画像とを合成した合成画像を表示することとする。そして、第２装置２０は、居室Ｒ１において対話に参加しているユーザの発した音声を出力することとする。
【００１７】
［１．１．第１装置１０及び第２装置２０のハードウェア構成］
以下、対話システム１に備えられる上記の各装置のハードウェア構成の一例について説明する。なお、本実施形態においては、第１装置１０と第２装置２０とのハードウェア構成は同一であるため、以下においては第１装置１０のハードウェア構成について説明し、第２装置２０のハードウェア構成についての説明は省略する。
【００１８】
図１に示されるように、第１装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、カメラ１６、マイク１７、スピーカ１８、及び赤外線センサ１９を備える。
【００１９】
制御部１１は、例えば中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含み構成され、記憶部１２に記憶されるプログラムやデータに基づいて各種の演算処理を実行するとともに、第１装置１０の各部を制御する。
【００２０】
記憶部１２は、例えばメモリ、磁気ディスク装置を含み構成され、各種のプログラムやデータを記憶するほか、制御部１１のワークメモリとしても機能する。なお、記憶部１２には、フラッシュメモリ、光学ディスク等の情報記憶媒体を含むこととしてよい。
【００２１】
通信部１３は、ネットワークＮに接続し、ネットワークＮに接続する第２装置２０等のデバイスと通信する。
【００２２】
入力部１４は、例えばタッチパネル、キーボード、マウス等の入力デバイスを含み構成され、ユーザの操作情報の入力を受け付ける。
【００２３】
表示部１５は、例えば液晶ディスプレイ装置等の表示デバイスを含み構成され、制御部１１により生成されるグラフィックデータに基づく画面を表示させる。本実施形態では、表示部１５は、対話相手の人物映像を等身大サイズにて表示するのに十分な画面サイズに構成されることとしてよい。
【００２４】
カメラ１６は、撮像範囲（画角）内にある被写体を撮影する撮影装置である。ここで、カメラ１６により撮影された画像（撮影画像）とは、静止画又は連続している複数のフレーム画像の集合体によって構成された動画のいずれも含むこととしてよい。また、カメラ１６は、表示部１５の左右方向中央（上下方向位置は直上、直下、中心等としてよい）に設置され、表示部１５の正面側に位置する被写体を撮影することとしてよい。
本実施形態では、カメラ１６は、ユーザＵ１が写った映像を撮影する。また、カメラ２６は、ユーザＵ２、ユーザＵ３が写った映像を撮影する。
【００２５】
マイク１７は、集音装置であり、本実施形態では、ユーザＵ１の発話音声を集音する。また、第２装置２０のマイク２７は、ユーザＵ２、ユーザＵ３の発話音声を集音する。
ここで、第１装置１０はマイク１７を複数備えることで、音声が発せられた方向を検出することとしてよい。同様に、第２装置２０はマイク２７を複数備えることで、音声が発せられた方向を検出することとしてよい。
【００２６】
スピーカ１８は、電気信号に基づいて音を出力する装置であり、本実施形態では、第２装置２０から受信する居室Ｒ２における対話参加者の音声データに基づいて、居室Ｒ２における対話参加者の発話音声を出力する。また、第２装置２０のスピーカ２８は、第１装置１０から受信する居室Ｒ１における対話参加者の音声データに基づいて、居室Ｒ１における対話参加者の発話音声を出力する。
【００２７】
赤外線センサ１９は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測するためのセンサである。具体的に説明すると、赤外線センサ１９は、計測対象物に向けて赤外線を照射し、その反射光を受光することで計測対象物各部の深度を計測する。ここで、「深度」とは、基準面から計測対象物までの距離（すなわち、奥行距離）のことである。ちなみに、本実施形態では、表示部１５の映像表示面（画面）が基準面に該当する。つまり、赤外線センサ１９は、深度として、表示部１５の画面と計測対象物の間の距離、より厳密には表示部１５の画面の法線方向（換言すると、表示部１５を貫く方向）における距離を計測することになる。
【００２８】
赤外線センサ１９は、例えばユーザＵ１等を計測対象物として深度を計測する。また、赤外線センサ２９は、例えばユーザＵ２やユーザＵ３等を計測対象物として深度を計測する。
【００２９】
［２．本実施形態の概要］
ここで、図３乃至図７を参照しながら、本実施形態に係る対話システム１において実行される処理の概要について説明する。
【００３０】
図３には、居室Ｒ２の状況と、居室Ｒ２に設置された第２装置２０の表示部２５に表示される画面の一例を示した。
図３には、居室Ｒ１にいるユーザＵ１と、居室Ｒ２にいるユーザＵ２とが、第１装置１０と第２装置２０とが通信することにより実現される対話を開始した時点の様子を示している。この場合、ユーザＵ１とユーザＵ２とは参加者として登録され、それ以外のユーザ（例えばユーザＵ３）は非参加者となる。
【００３１】
図３に示されるように、表示部２５のメイン画面Ｄ２１には、対話相手であるユーザＵ１と、居室Ｒ１の背景画像を合成した合成画像が表示される。
また、表示部２５の第１サブ画面Ｄ２２には、第１装置１０の表示部１５において表示されるメイン画面Ｄ１１の内容が表示される。すなわち、第１サブ画面Ｄ２２には、対話相手のユーザＵ１が見ている画面が表示される。
【００３２】
図３に示す例では、ユーザＵ２は対話の参加者であるが、ユーザＵ３は対話の参加者ではない。そのため、第１サブ画面Ｄ２２（すなわち第１装置１０で表示されるメイン画面Ｄ１１）には、ユーザＵ２のみが映し出され、ユーザＵ３は映し出されない。そして、この場合には、第１装置１０ではユーザＵ２の音声のみが出力され、ユーザＵ３の音声は出力されない。
【００３３】
そして、図３に示されるように、ユーザＵ３は、第２装置２０について設定された参加者検出領域ＡＲ（例えば、第２装置２０の画面中央から半径Ｒ以内の領域）外におり、また、ユーザＵ３の視線Ｖは対話の参加者（具体的には、第２装置２０に映されるユーザＵ１、ユーザＵ２）に向いていない。この場合には、第２装置２０は、ユーザＵ３はユーザＵ１とユーザＵ２により行われている対話に関心がないものと判断し、ユーザＵ３に対しては対話への参加を促さない。
なお、ユーザＵ３と第２装置２０との距離、ユーザＵ３の視線Ｖの情報は、カメラ２６、赤外線センサ２９の計測データに基づいて得ることとしてよい。
【００３４】
次に、図４に示されるように、ユーザＵ３が第２装置２０に近づき、参加者検出領域ＡＲ内に入るとともに、ユーザＵ３の視線Ｖが対話の参加者（具体的には、第２装置２０に映されるユーザＵ１、ユーザＵ２）に向くようになったとする。この場合には、第２装置２０は、ユーザＵ３はユーザＵ１とユーザＵ２により行われている対話に関心を有しているものと判断し、ユーザＵ３を参加候補者に設定するとともに、ユーザＵ３に対話への参加を促す。
【００３５】
具体的には、第２装置２０は、図５に示すように、表示部２５に新たに第２サブ画面Ｄ２３を表示させ、ユーザＵ３に対話への参加の意思を問い合わせる。
ここで、第２サブ画面Ｄ２３には、参加候補者として設定されたユーザＵ３を撮影したユーザ画像が表示されるとともに、参加の肯定的意思を選択するための「ＹＥＳ」アイコンＰ１、参加の否定的意思を選択するための「ＮＯ」アイコンＰ２が表示される。
なお、「ＹＥＳ」アイコンＰ１と「ＮＯ」アイコンＰ２の選択は、例えば、ユーザＵ３からの音声入力により行うこととしてもよいし、ユーザＵ３が行う選択動作に応じて両者のいずれかを選択するようにしてもよい。
以下では、ユーザＵ３が参加の肯定的意思を選択したものとして説明を続ける。
【００３６】
図６には、居室Ｒ１の状況と、居室Ｒ１に設置された第１装置１０の表示部１５に表示される画面の一例を示した。
図６に示されるように、表示部１５のメイン画面Ｄ１１には、ユーザＵ１の対話相手のユーザＵ２と、居室Ｒ２の背景画像を合成した合成画像が表示される。
また、表示部１５の第１サブ画面Ｄ１２には、第２装置２０の表示部２５において表示されるメイン画面Ｄ２１の内容が表示される。すなわち、第１サブ画面Ｄ１２には、対話相手のユーザＵ２（またユーザＵ３）が見ている画面が表示される。
【００３７】
そして、上述したように、ユーザＵ３が参加の意思を選択した場合には、図６に示されるように、第１装置１０は、表示部１５に新たに第２サブ画面Ｄ１３を表示し、ユーザＵ１にユーザＵ３の対話への参加を許可するか否かを問い合わせる。
すなわち、第２サブ画面Ｄ１３には、参加候補者として設定されたユーザＵ３を撮影したユーザ画像が表示されるとともに、参加の許可を選択するための「ＹＥＳ」アイコンＰ３、参加の拒否を選択するための「ＮＯ」アイコンＰ４が表示される。
なお、「ＹＥＳ」アイコンＰ３と「ＮＯ」アイコンＰ４の選択は、例えば、ユーザＵ１からの音声入力により行うこととしてもよいし、ユーザＵ１が行う選択動作に応じて両者のいずれかを選択するようにしてもよい。
【００３８】
以下では、ユーザＵ１がユーザＵ３の参加を許可したものとして説明を続ける。この場合には、第１装置１０から第２装置２０にユーザＵ３が許可された旨の通知が届き、これにより、第２装置２０はユーザＵ３を参加者に登録する。
具体的には、図７に示すように、第２装置２０はユーザＵ２に加えてユーザＵ３を対話の参加者として登録したことで、第１サブ画面Ｄ２２（すなわち第１装置１０で表示されるメイン画面Ｄ１１）には、ユーザＵ２に加えて、今まで映し出されていなかったユーザＵ３が映し出される。
なお、この場合には、第１装置１０ではユーザＵ２とユーザＵ３の両者の音声が出力されることとなる。
【００３９】
以上のように、対話システム１では、対話に参加していない者は対話相手から見られず、また発話音声も聞かれることがない。一方で、対話システム１は、対話の非参加者の動きに基づいて、対話の非参加者の中から対話に関心を持っている参加候補者を検出し、検出した参加候補者に参加の意思があり、且つ対話の相手方にも参加の許可が取れたときには、参加候補者を参加者として登録する。これにより、対話に当初非参加であった者が途中から対話に参加できるようになる。
【００４０】
［３．対話システム１の機能の説明］
次に、以上説明した処理を実現するために対話システム１に備えられる機能について説明する。
図８には対話システム１に備えられる機能を示した。以下に説明する機能は、対話システム１における主要な機能の一部であり、対話システム１が他の機能を更に備えていてもよい。
【００４１】
図８に示されるように、対話システム１は、機能としてデータ記憶部１００、第１参加者画像取得部１１０、第２参加者画像取得部１２０、第１背景画像取得部１３０、第２背景画像取得部１４０、第１表示制御部１５０、第２表示制御部１６０、第１音声取得部１７０、第２音声取得部１８０、第１音声出力制御部１９０、第２音声出力制御部２００、検出部２１０、第１問合せ部２２０、第２問合せ部２３０、参加登録部２４０を備える。
【００４２】
対話システム１に備えられる上記の機能は、第１装置１０の制御部１１が、記憶部１２に記憶されるプログラムに基づいて、第１装置１０の各部を動作させ、第２装置２０の制御部２１が、記憶部２２に記憶されるプログラムに基づいて、第２装置２０の各部を動作させることにより実現されるものである。なお、第１装置１０及び第２装置２０は、上記のプログラムを、情報記憶媒体から読み込むこととしてもよいし、ネットワークＮ等の通信網を介してダウンロードしてもよい。
以下、上記の各部の機能について説明する。
【００４３】
［データ記憶部１００］
データ記憶部１００は、居室Ｒ１に設けられた第１装置１０と、居室Ｒ２に設けられた第２装置２０との双方向通信により、居室Ｒ１にいるユーザと居室Ｒ２にいるユーザとの間で対話を実行させるための各種データ（後述する第１参加者テーブル１０１、第２参加者テーブル１０２を含む）を記憶する機能である。
例えば、データ記憶部１００は、主に第１装置１０の記憶部１２と、第２装置２０の記憶部２２により実現される。
以下、データ記憶部１００に記憶されるデータを具体的に説明する。
【００４４】
データ記憶部１００には、第１参加者テーブル１０１及び第２参加者テーブル１０２が記憶される。
【００４５】
第１参加者テーブル１０１は、居室Ｒ１にいるユーザに関する情報を記憶するテーブルであり、例えば第１装置１０の記憶部１２に記憶される。
図９には、第１参加者テーブル１０１の一例を示した。図９に示されるように、第１参加者テーブル１０１は、居室Ｒ１にいるユーザをそれぞれ識別するユーザＩＤ、ユーザが対話に参加しているか否かを示す参加フラグ、ユーザの居室Ｒ１における位置を示す位置データ、ユーザの視線の方向を示す視線データの情報を記憶する。
なお、第１装置１０の制御部１１は、例えばカメラ１６による居室Ｒ１の撮影画像から抽出した人物画像に対してそれぞれ固有の識別子を付与する。そして、第１装置１０の制御部１１は、それぞれの人物画像に対して設定した人体モデルに基づいて、上記の位置データ、視線データの情報を得ることとしてよい。
また、上記の参加フラグは、参加を示すＴ（真）と、不参加を示すＦ（偽）の二値により表される。なお、対話の開始時点においては、対話の開始を要求したユーザと、当該要求に応答し対話を開始したユーザに対してのみＴ（真）が設定され、それ以外のユーザに対してはＦ（偽）が設定される。
【００４６】
第２参加者テーブル１０２は、居室Ｒ２にいるユーザに関する情報を記憶するテーブルであり、例えば第２装置２０の記憶部２２に記憶される。
図１０には、第２参加者テーブル１０２の一例を示した。図１０に示されるように、第２参加者テーブル１０２は、居室Ｒ２にいるユーザをそれぞれ識別するユーザＩＤ、ユーザが対話に参加しているか否かを示す参加フラグ、ユーザの居室Ｒ２における位置を示す位置データ、ユーザの視線の方向を示す視線データの情報を記憶する。
なお、第２装置２０の制御部２１は、例えばカメラ２６による居室Ｒ２の撮影画像から抽出した人物画像に対してそれぞれ固有の識別子を付与する。そして、第２装置２０の制御部２１は、それぞれの人物画像に対して設定した人体モデルに基づいて、上記の位置データ、視線データの情報を得ることとしてよい。
【００４７】
［第１参加者画像取得部１１０］
第１参加者画像取得部１１０は、カメラ１６により居室Ｒ１のユーザのうち対話の参加者を撮影した第１参加者画像を取得する機能である。
例えば、第１参加者画像取得部１１０は、主に第１装置１０の制御部１１、記憶部１２及びカメラ１６を用いて、以下のように実現される。
【００４８】
第１装置１０の制御部１１は、カメラ１６による居室Ｒ１の撮影画像から抽出した人物画像のうち、第１参加者テーブル１０１において参加者フラグがＴのユーザに対応する人物画像を第１参加者画像として得る。なお、参加者フラグがＴのユーザが複数いる場合には、第１参加者画像にはその各々のユーザに対応する人物画像が含まれることとなる。
なお、第１参加者画像取得部１１０による第１参加画像の取得処理は、対話が実行されている間は、所定のタイミングごとに継続的に実行される。
【００４９】
［第２参加者画像取得部１２０］
第２参加者画像取得部１２０は、カメラ２６により居室Ｒ２のユーザのうち対話の参加者を撮影した第２参加者画像を取得する機能である。
例えば、第２参加者画像取得部１２０は、主に第２装置２０の制御部２１、記憶部２２及びカメラ２６を用いて、以下のように実現される。
【００５０】
第２装置２０の制御部２１は、カメラ２６による居室Ｒ２の撮影画像から抽出した人物画像のうち、第２参加者テーブル１０２において参加者フラグがＴのユーザに対応する人物画像を第２参加者画像として得る。なお、参加者フラグがＴのユーザが複数いる場合には、第２参加者画像にはその各々のユーザに対応する人物画像が含まれることとなる。
なお、第２参加者画像取得部１２０による第２参加画像の取得処理は、対話が実行されている間は、所定のタイミングごとに継続的に実行される。
【００５１】
［第１背景画像取得部１３０］
第１背景画像取得部１３０は、居室Ｒ１を撮影した第１背景画像を取得する機能である。
例えば、第１背景画像取得部１３０は、主に第１装置１０の制御部１１、記憶部１２及びカメラ１６を用いて、以下のように実現される。
【００５２】
第１装置１０の制御部１１は、カメラ１６による居室Ｒ１の撮影画像に人物が写り込んでいない状態における、カメラ１６による居室Ｒ１の撮影画像を上記の第１背景画像として得る。また、第１装置１０の制御部１１は、カメラ１６による撮影画像に人物が写り込んでいる場合であっても、当該人物を画像処理により消すことにより上記の第１背景画像を得てもよい。
なお、第１背景画像取得部１３０は、対話開始前の任意のタイミングにおいて上記の第１背景画像を取得することとしてよい。
【００５３】
［第２背景画像取得部１４０］
第２背景画像取得部１４０は、居室Ｒ２を撮影した第２背景画像を取得する機能である。
例えば、第２背景画像取得部１４０は、主に第２装置２０の制御部２１、記憶部２２及びカメラ２６を用いて、以下のように実現される。
【００５４】
第２装置２０の制御部２１は、カメラ２６による居室Ｒ２の撮影画像に人物が写り込んでいない状態における、カメラ２６による居室Ｒ２の撮影画像を上記の第２背景画像として得る。また、第２装置２０の制御部２１は、カメラ２６による撮影画像に人物が写り込んでいる場合であっても、当該人物を画像処理により消すことにより上記の第２背景画像を得てもよい。
なお、第２背景画像取得部１４０は、対話開始前の任意のタイミングにおいて上記の第２背景画像を取得することとしてよい。
【００５５】
［第１表示制御部１５０］
第１表示制御部１５０は、第１参加者画像と第１背景画像を合成した第１合成画像を居室Ｒ２に設けられた表示部２５に表示させる機能である。
例えば、第１表示制御部１５０は、主に第１装置１０の制御部１１、記憶部１２及び通信部１３と、第２装置２０の制御部２１、記憶部２２及び通信部２３を用いて、以下のように実現される。
【００５６】
第１装置１０の制御部１１は、対話の初回通信時に、第１背景画像取得部１３０により取得された第１背景画像を、通信部１３を介して第２装置２０に送信する。また、第１装置１０の制御部１１は、対話の継続中においては、第１参加者画像取得部１１０により取得された第１参加者画像を、通信部１３を介して第２装置２０に順次送信する。なお、第１装置１０の制御部１１は、第１参加者画像取得部１１０により第１参加者画像が取得されるごとに、取得した第１参加者画像を第２装置２０に送信することとしてよい。
第２装置２０の制御部２１は、通信部２３を介して第１装置１０から受信した第１背景画像を記憶部２２に記憶する。そして、第２装置２０の制御部２１は、第１装置１０から第１参加者画像を取得するごとに、記憶部２２に記憶される第１背景画像を下位のレイヤー、第１参加者画像を上位のレイヤーとして両者を重ね合わせて合成した第１合成画像を表示部２５に表示する。
【００５７】
［第２表示制御部１６０］
第２表示制御部１６０は、第２参加者画像と第２背景画像を合成した第２合成画像を居室Ｒ１に設けられた表示部１５に表示させる機能である。
例えば、第２表示制御部１６０は、主に第１装置１０の制御部１１、記憶部１２及び通信部１３と、第２装置２０の制御部２１、記憶部２２及び通信部２３を用いて、以下のように実現される。
【００５８】
第２装置２０の制御部２１は、対話の初回通信時に、第２背景画像取得部１４０により取得された第２背景画像を、通信部２３を介して第１装置１０に送信する。また、第２装置２０の制御部２１は、対話の継続中においては、第２参加者画像取得部１２０により取得された第２参加者画像を、通信部２３を介して第１装置１０に順次送信する。なお、第２装置２０の制御部２１は、第２参加者画像取得部１２０により第２参加者画像が取得されるごとに、取得した第２参加者画像を第１装置１０に送信することとしてよい。
第１装置１０の制御部１１は、通信部１３を介して第２装置２０から受信した第２背景画像を記憶部１２に記憶する。そして、第１装置１０の制御部１１は、第２装置２０から第２参加者画像を取得するごとに、記憶部１２に記憶される第２背景画像を下位のレイヤー、第２参加者画像を上位のレイヤーとして両者を重ね合わせて合成した第２合成画像を表示部１５に表示する。
【００５９】
［第１音声取得部１７０］
第１音声取得部１７０は、居室Ｒ１のユーザのうち対話の参加者の発話音声である第１音声情報を取得する機能である。
例えば、第１音声取得部１７０は、主に第１装置１０の制御部１１、記憶部１２及びマイク１７を用いて、以下のように実現される。
【００６０】
第１装置１０の制御部１１は、マイク１７により居室Ｒ１の各ユーザから発せられた音声を記録する。ここで、第１装置１０の制御部１１は、記録された音声の方向と、第１参加者テーブル１０１において参加者フラグがＴのユーザの位置とに基づいて、記録された音声の中から対話の参加者の音声を抽出し、これを第１音声情報として得る。
なお、音声の方向は、複数のマイク１７にそれぞれ入力される音声データに基づいて特定することとしてよい。
【００６１】
［第２音声取得部１８０］
第２音声取得部１８０は、居室Ｒ２のユーザのうち対話の参加者の発話音声である第２音声情報を取得する機能である。
例えば、第２音声取得部１８０は、主に第２装置２０の制御部２１、記憶部２２及びマイク２７を用いて、以下のように実現される。
【００６２】
第２装置２０の制御部２１は、マイク２７により居室Ｒ２の各ユーザから発せられた音声を記録する。ここで、第２装置２０の制御部２１は、記録された音声の方向と、第２参加者テーブル１０２において参加者フラグがＴのユーザの位置とに基づいて、記録された音声の中から対話の参加者の音声を抽出し、これを第２音声情報として得る。
なお、音声の方向は、複数のマイク２７にそれぞれ入力される音声データに基づいて特定することとしてよい。
【００６３】
［第１音声出力制御部１９０］
第１音声出力制御部１９０は、第１音声情報を居室Ｒ２に設けられたスピーカ２８で出力させる機能である。
例えば、第１音声出力制御部１９０は、主に第１装置１０の制御部１１、記憶部１２及び通信部１３と、第２装置２０の制御部２１、記憶部２２、通信部２３及びスピーカ２８を用いて、以下のように実現される。
【００６４】
第１装置１０の制御部１１は、対話の継続中においては、第１音声取得部１７０により取得された第１音声情報を、通信部１３を介して第２装置２０に順次送信する。なお、第１装置１０の制御部１１は、第１音声取得部１７０により第１音声情報が取得されるごとに、取得した第１音声画像を第２装置２０に送信することとしてよい。
第２装置２０の制御部２１は、通信部２３を介して第１装置１０から受信した第１音声情報に基づく電気信号をスピーカ２８に伝送して、スピーカ２８から第１音声情報に基づく音声を出力させる。
【００６５】
［第２音声出力制御部２００］
第２音声出力制御部２００は、第２音声情報を居室Ｒ１に設けられたスピーカ１８で出力させる機能である。
例えば、第２音声出力制御部２００は、主に第１装置１０の制御部１１、記憶部１２、通信部１３及びスピーカ１８と、第２装置２０の制御部２１、記憶部２２及び通信部２３を用いて、以下のように実現される。
【００６６】
第２装置２０の制御部２１は、対話の継続中においては、第２音声取得部１８０により取得された第２音声情報を、通信部２３を介して第１装置１０に順次送信する。なお、第２装置２０の制御部２１は、第２音声取得部１８０により第２音声情報が取得されるごとに、取得した第２音声画像を第１装置１０に送信することとしてよい。
第１装置１０の制御部１１は、通信部１３を介して第２装置２０から受信した第２音声情報に基づく電気信号をスピーカ１８に伝送して、スピーカ１８から第２音声情報に基づく音声を出力させる。
【００６７】
［検出部２１０］
検出部２１０は、対話に参加していないユーザの中から対話への参加候補者を検出する機能である。本実施形態では、検出部２１０は、居室Ｒ２にいる対話の非参加者の中から参加候補者を検出する場合を例として説明するが、居室Ｒ１に対しても同様に実現可能である。
具体的には、検出部２１０は、居室Ｒ２にいる対話に参加していないユーザのうち、表示部２５との距離が第１閾値（例えばＲメートル）以下であり、且つ対話の参加者への視線の量が第２閾値（例えば時間割合が５０％）を超えるユーザを、参加候補者として検出することとする。
例えば、検出部２１０は、主に第２装置２０の制御部２１、記憶部２２及びカメラ２６を用いて、以下のように実現される。
【００６８】
第２装置２０の制御部２１は、カメラ２６による居室Ｒ２の撮影画像から抽出した人物画像のうち、第２参加者テーブル１０２において参加者フラグがＦのユーザに対応する人物画像を特定する。そして、第２装置２０の制御部２１は、カメラ２６、赤外線センサ２９により得られる情報に基づいて、上記特定した人物画像の居室Ｒ２における位置と、視線方向を所定時間に渡り計測する。ここで、検出部２１０による参加候補者の検出基準の例について以下に説明する。
【００６９】
（１）第２装置２０の制御部２１は、上記計測したユーザの位置が、例えば表示部２５の中央部からＲメートル（第１閾値に相当し、例えば１．２メートル）以内であり、且つ、上記の所定時間においてユーザの視線が対話の参加者（同じ居室内の参加者と、表示部２５に映し出される参加者を含む）の方向を向いている時間が所定割合（第２閾値に相当し、例えば５０％）を超える場合に、そのユーザを参加候補者とする。
【００７０】
（２）また、第２装置２０の制御部２１は、上記計測したユーザの位置が、表示部２５の中央部からＲメートル以内であり、且つ、上記の所定時間においてユーザの視線が対話の発話者の方向を向いている時間が所定割合（第２閾値に相当し、例えば５０％）を超える場合に、そのユーザを参加候補者としてもよい。
【００７１】
また、上記（１）及び（２）において、第２装置２０の制御部２１は、ユーザの視線が対話の発話者の方向を向いている時間が、発話者以外の参加者の方向を向いている時間よりも長い場合に限って、そのユーザを参加候補者としてもよい。
【００７２】
また、上記（１）及び（２）において、第２装置２０の制御部２１は、ユーザが表示部２５の中央部からＲメートルよりも外側から近づいてきた場合に限って、そのユーザを参加候補者としてもよい。
【００７３】
なお、検出部２１０による参加候補者の検出基準は上記の例に限定されるものではない。例えば、検出部２１０は、対話の非参加者が所定の所作、又は言葉を発したことを検出した場合に、当該非参加者を参加候補者として検出することとしてもよい。
【００７４】
［第１問合せ部２２０］
第１問合せ部２２０は、検出部２１０により検出された参加候補者に対話への参加の意思を問い合わせる機能である。
例えば、第１問合せ部２２０は、主に第２装置２０の制御部２１、記憶部２２、通信部２３、入力部２４及び表示部２５を用いて、以下のように実現される。
【００７５】
第２装置２０の制御部２１は、検出部２１０により検出された参加候補者を特定する特定情報とともに、参加候補者に対話への参加の意思を問い合わせる第２サブ画面Ｄ２３（第１問合せ画面の一例）を表示部２５に表示させる。
ここで、上記の特定情報は、参加候補者を撮影した撮影画像（例えば顔が写し出されている画像）としてもよいし、参加候補者のユーザ属性（名前、ＩＤ等）が特定可能な場合には、ユーザ属性であってもよい。
【００７６】
そして、第２装置２０の制御部２１は、上記の問合せに対する入力部２４への参加候補者の操作入力（動き、音による入力を含む）に基づいて、参加候補者の参加意思を判定する。
第２装置２０の制御部２１は、参加候補者に参加意思があると判定する場合（すなわち参加意思があることの確認操作が実行される場合）には、通信部２３を介してその旨及び参加候補者の特定情報を第１装置１０に通知する。
【００７７】
［第２問合せ部２３０］
第２問合せ部２３０は、第１問合せ部２２０による問合せに応じて参加候補者が確認操作を実行する場合に、居室Ｒ１にいる対話の参加者に対して、参加候補者の対話への参加の許可を問い合わせる機能である。
例えば、第２問合せ部２３０は、主に第１装置１０の制御部１１、記憶部１２、通信部１３、入力部１４及び表示部１５を用いて、以下のように実現される。
【００７８】
第１装置１０の制御部１１は、第１問合せ部２２０の問合せの結果、参加候補者に参加意思があり、参加候補者の特定情報が通信部１３を介して受信された場合には、居室Ｒ１の対話参加者に参加候補者の対話への参加の許可を問い合わせる第２サブ画面Ｄ１３（第２問合せ画面の一例）を表示部１５に表示させる。
【００７９】
そして、第１装置１０の制御部１１は、上記の問合せに対する入力部１４への対話参加者の操作入力（動き、音による入力を含む）に基づいて、対話参加者が参加を許可したか否かを判定する。
第１装置１０の制御部１１は、対話参加者が参加候補者の参加を許可したと判定する場合（すなわち参加を許可することの許可操作が実行される場合）には、通信部１３を介してその旨（参加許可情報）を第２装置２０に通知する。
【００８０】
［参加登録部２４０］
参加登録部２４０は、参加候補者と、対話の参加者のそれぞれから所定の操作を受け付けた場合に、参加候補者を対話の参加者に登録する機能である。
本実施形態では、参加登録部２４０は、第２問合せ部２３０による問合せに応じて居室Ｒ１にいる対話の参加者が許可操作を実行する場合に、参加候補者を対話の参加者に登録することとする。
例えば、参加登録部２４０は、主に第２装置２０の制御部２１、記憶部２２及び通信部２３を用いて、以下のように実現される。
【００８１】
第２装置２０の制御部２１は、通信部２３を介して第１装置１０から参加許可情報を受信する場合に、第２参加者テーブル１０２における参加候補者の参加フラグをＴ（真）に更新する。これにより、第２装置２０の制御部２１は、参加候補者を対話の参加者に設定する。
【００８２】
［４．対話システム１における処理の流れ］
【００８３】
次に、図１１乃至図１４に基づいて、対話システム１において実行される処理の流れについて説明する。
【００８４】
［４．１．対話開始処理］
図１１は、対話開始時における第１装置１０と第２装置２０の処理を示すシーケンス図である。以下に説明する例では、第１装置１０から第２装置２０に対して対話要求がなされることとする。
【００８５】
図１１に示されるように、第１装置１０の制御部１１は、入力部１４を介してユーザＵ１からユーザＵ２との対話の開始要求を受け付けると（Ｓ１０１）、ユーザＵ２のアカウントに基づいて特定された第２装置２０に対し対話の開始を要求する対話開始要求データを送信する（Ｓ１０２）。この対話開始要求データには、ユーザＵ１の特定情報、対話要求先のユーザＵ２の特定情報を含むこととしてよい。
また、第１装置１０の制御部１１は、上記の対話開始要求データを送信するとともに、記憶部１２に記憶される第１参加者テーブル１０１におけるユーザＵ１の参加者フラグをＴ（真）に更新する。
【００８６】
第２装置２０の制御部２１は、通信部２３を介して第１装置１０から対話開始要求データを受信すると（Ｓ２０１）、受信した対話開始要求データに基づいて、ユーザＵ２にユーザＵ１との対話を開始するか否かを問い合わせるための対話開始問合せ画面を表示部２５に表示する（Ｓ２０２）。例えば、対話開始問合せ画面には、要求元のユーザＵ１の情報、要求先のユーザＵ２の情報が表示されるとともに、対話を開始するか否かを選択するためのアイコンが表示されることとしてよい。
【００８７】
この例においては、第２装置２０の制御部２１は、入力部２４を介してユーザＵ２から対話の開始が選択されたことを示す対話開始操作を受け付けたこととして（Ｓ２０３）、説明を続ける。
【００８８】
第２装置２０の制御部２１は、記憶部２２に記憶される第２参加者テーブル１０２におけるユーザＵ２の参加者フラグをＴ（真）に更新して、ユーザＵ２を対話の参加者に登録する（Ｓ２０４）。
【００８９】
次いで、第２装置２０の制御部２１は、通信部２３を介して第１装置１０と通信し、対話制御処理を実行して（Ｓ２０５）、居室Ｒ１の対話参加者と、居室Ｒ２の対話参加者との間の対話を実現させる。
同様に、第１装置１０の制御部１１は、通信部１３を介して第２装置２０と通信し、対話制御処理を実行して（Ｓ１０３）、居室Ｒ１の対話参加者と、居室Ｒ２の対話参加者との間の対話を実現させる。
【００９０】
［４．２．対話制御処理］
ここで、図１２及び図１３を参照しながら、第１装置１０と第２装置２０において実行される上記の対話制御処理の流れについて説明する。
なお、第１装置１０と第２装置２０において実行される対話制御処理は同一であるため、以下では第１装置１０が実行する対話制御処理について説明する。
また、第１装置１０と第２装置２０は相互にデータの送信とデータの受信を行うものであり、以下では、データの送信に関する処理と、データの受信に関する処理とを分けて説明するが、これらの処理は並行して実行されるものである。
【００９１】
［４．２．１．送信処理］
まず、図１２を参照しながら、対話制御処理における送信側の処理について説明する。
図１２に示されるように、対話開始に先立ち、第１装置１０の制御部１１は、通信部１３を介して、居室Ｒ１の背景画像（第１背景画像）を送信する（Ｓ１）。
【００９２】
次に、第１装置１０の制御部１１は、カメラ１６により居室Ｒ１を撮影した撮影画像を取得し（Ｓ２）、取得した撮影画像の中から、居室Ｒ１のユーザのうち第１参加者テーブル１０１において参加者フラグがＴ（真）であるユーザ（参加者）に対応する画像を切り出す（Ｓ３）。
【００９３】
また、第１装置１０の制御部１１は、マイク１７により居室Ｒ１の音声を取得し（Ｓ４）、取得した音声の中から、居室Ｒ１のユーザのうち第１参加者テーブル１０１において参加者フラグがＴ（真）であるユーザ（参加者）に対応する音声を抽出する（Ｓ５）。
【００９４】
次に、第１装置１０の制御部１１は、Ｓ３及びＳ５で得られた参加者の画像と音声とを、通信部１３を介して第２装置２０に送信する（Ｓ６）。
【００９５】
第１装置１０の制御部１１は、対話を終了しない場合には（Ｓ７：Ｎｏ）、Ｓ２に戻り処理を継続し、対話を終了する場合には（Ｓ７：Ｙｅｓ）、処理を終える。
【００９６】
［４．２．２．受信処理］
次に、図１３を参照しながら、対話制御処理における受信側の処理について説明する。
図１３に示されるように、対話開始に先立ち、第１装置１０の制御部１１は、通信部１３を介して、相手側である第２装置２０から送信された居室Ｒ２の背景画像（第２背景画像）を受信する（Ｓ１１）。
【００９７】
次に、第１装置１０の制御部１１は、相手側である第２装置２０から送信された、相手側の参加者の画像と音声とを通信部１３を介して受信する（Ｓ１２）。
そして、第１装置１０の制御部１１は、Ｓ１１で受信した背景画像と、Ｓ１２で受信した参加者の画像とを合成した合成画像を表示部１５に表示する（Ｓ１３）。
また、第１装置１０の制御部１１は、Ｓ１２で受信した参加者の音声をスピーカ１８から出力させる（Ｓ１４）。
【００９８】
第１装置１０の制御部１１は、対話を終了しない場合には（Ｓ１５：Ｎｏ）、Ｓ１２に戻り処理を継続し、対話を終了する場合には（Ｓ１５：Ｙｅｓ）、処理を終える。
【００９９】
［４．３．途中参加処理］
次に、図１４を参照しながら、対話システム１において実行中の対話処理に、対話に参加していないユーザ（非参加者）が途中から参加する際の処理（途中参加処理）の流れについて説明する。
なお、以下においては、ユーザＵ１とユーザＵ２が参加者として登録されている対話処理に、居室Ｒ２にいるユーザＵ３が参加する際の処理を想定して説明を行うこととするが、居室Ｒ１にいるユーザＵ１以外の非参加者の途中参加に対しても同様の処理が適用可能である。
【０１００】
図１４に示されるように、第２装置２０の制御部２１は、記憶部２２に記憶される第２参加者テーブル１０２において参加フラグがＦ（偽）であるユーザ（非参加者であり、例えばユーザＵ３）の位置、視線方向の計測データを取得する（Ｓ２１１）。例えば、上記の計測データは、カメラ２６、赤外線センサ２９から得られるデータに基づいて計測することとしてよい。
【０１０１】
ここで、第２装置２０の制御部２１は、Ｓ２１１で計測された非参加者の位置に基づいて、非参加者と第２装置２０との距離がＲ（第１閾値）以下であるか否かを判定する（Ｓ２１２）。ここで、非参加者と第２装置２０との距離とは、非参加者の位置と、第２装置２０の表示部２５の中心部との距離としてよい。
そして、Ｓ２１２において、非参加者と第２装置２０との距離がＲ以下である場合には（Ｓ２１２：Ｙｅｓ）、第２装置２０の制御部２１はＳ２１３に進む。
【０１０２】
Ｓ２１３において、非参加者が所定時間内において参加者（例えばユーザＵ１、ユーザＵ２）に向ける視線量が基準値（第２閾値）以上であるか否かを判定する（Ｓ２１３）。ここで、所定時間内において参加者に向ける視線量とは、例えば所定時間内において非参加者が参加者の方に視線を合わせている時間の割合である。
そして、Ｓ２１３において、非参加者が所定時間内において参加者に向ける視線量が基準値以上である場合には（Ｓ２１３：Ｙｅｓ）、第２装置２０の制御部２１は、上記の非参加者を参加候補者に設定する（Ｓ２１４）。
【０１０３】
次に、第２装置２０の制御部２１は、上記設定された参加候補者に対し参加意思を問い合わせるための問合せ画面（第１問合せ画面）を表示部２５に表示させる（Ｓ２１５）。例えば、図５における第２サブ画面Ｄ２３が上記の第１問合せ画面の一例に相当する。なお、この例においては、参加候補者に参加の意思があることとして説明を続ける。
【０１０４】
第２装置２０の制御部２１は、入力部２４を介して参加候補者から参加の意思を示す操作を受け付けると（Ｓ２１６）、通信部２３を介して第１装置１０に対して参加候補者の参加許可を問い合わせるための参加許可問合せ情報を送信する（Ｓ２１７）。
なお、上記の参加許可問合せ情報には、参加候補者の特定情報（例えば参加候補者を撮影したユーザ画像）が含まれることとしてよい。
【０１０５】
第１装置１０の制御部１１は、通信部１３を介して第２装置２０から参加許可問合せ情報を受け付けると（Ｓ１１１）、参加候補者の参加を許可するか否かを問い合わせるための問合せ画面（第２問合せ画面）を表示部２５に表示させる（Ｓ１１２）。例えば、図６における第２サブ画面Ｄ１３が上記の第２問合せ画面の一例に相当する。なお、この例においては、居室Ｒ１の参加者（ユーザＵ１）が、参加候補者の参加を許可することとして説明を続ける。
【０１０６】
第１装置１０の制御部１１は、入力部１４を介して参加者から参加の許可を示す操作を受け付けると（Ｓ１１３）、参加を許可する旨を示す参加許可情報を、通信部１３を介して第２装置２０に送信する（Ｓ１１４）。
【０１０７】
第２装置２０の制御部２１は、通信部２３を介して第１装置１０から参加許可情報を受信すると（Ｓ２１８）、記憶部２２に記憶される第２参加者テーブル１０２に対し、参加候補者の参加フラグをＴ（真）に更新して、参加候補者を実行中の対話の参加者として登録する（Ｓ２１９）。
【０１０８】
第２装置２０の制御部２１は、通信部２３を介して第１装置１０と通信し、対話制御処理を実行して（Ｓ２２０）、居室Ｒ１の対話参加者（ユーザＵ１）と、居室Ｒ２の対話参加者（ユーザＵ２及びユーザＵ３）との間の対話を実現させる。
同様に、第１装置１０の制御部１１は、通信部１３を介して第２装置２０と通信し、対話制御処理を実行して（Ｓ１１５）、居室Ｒ１の対話参加者（ユーザＵ１）と、居室Ｒ２の対話参加者（ユーザＵ２及びユーザＵ３）との間の対話を実現させる。
なお、対話制御処理（Ｓ１１５、Ｓ２２０）の内容は、上述した通りであるためここでの説明は省略する。
【０１０９】
また、Ｓ２１２で非参加者と第２装置２０との距離がＲ以下でない場合（Ｓ２１２：Ｎｏ）、又はＳ２１３で非参加者が所定時間内において参加者に向ける視線量が基準値以上でない場合には（Ｓ２１３：Ｎｏ）、新たに参加者を登録しないまま、第１装置１０と第２装置２０は対話制御処理（Ｓ１１５、Ｓ２２０）を実行する。
同様に、Ｓ２１５の問合せの結果、参加候補者に参加の意思がない場合、又はＳ１１２の問合せの結果、参加者が参加候補者の参加を許可しない場合にも、新たに参加者を登録しないまま、第１装置１０と第２装置２０は対話制御処理（Ｓ１１５、Ｓ２２０）を実行する。
【０１１０】
以上説明した対話システム１によれば、対話に参加していない場合には相手側から姿を見られることがなく、対話に途中から参加する場合には相手側から姿を見られるように切り替えることができる。これにより、対話への非参加者の意思も尊重しつつ、非参加者が途中から参加することも可能となる。
また、対話システム１によれば、対話に注意を向けているユーザを参加候補者として検出できる。これにより、参加候補者の誤検出を防止できる。
また、対話システム１によれば、参加候補者に参加の意思があり、相手側の対話参加者が許可した場合に、参加候補者を対話に参加させることができる。これにより、参加を自ら希望せず、また他の参加者が望まない者を対話に参加させてしまうことを防止できる。
また、対話システム１によれば、誰が参加候補者として検出されたか、また誰が参加を希望しているかをユーザに認識させることができる。
また、対話システム１によれば、対話の参加者の発話音声のみを相手側で出力させることができる。これにより、対話参加者の発話音声が聞きやすくなるとともに、非参加者の発話音声が相手側に聞かれることを防止できる。
【０１１１】
［５．その他の実施形態］
【０１１２】
本発明は上記の実施形態に限定されるものではない。例えば、上記の実施形態では対話システム１を第１装置１０と第２装置２０が双方向通信するコンピュータシステムとして構成した例について説明したが、第１装置１０と第２装置２０とがそれぞれサーバにアクセスして、サーバを介して通信するようにしてもよい。この場合には、サーバが図８に示す機能を備えるようにしてもよい。
【０１１３】
また、上記の実施形態では、対話システム１により参加候補者として検出されたユーザに対して参加の意思を問い合わせることとしたが、参加の意思を問い合わせなくともよい。この場合には、例えば、参加候補者として検出されたユーザの視線量が、対話の発話者に向いている時間が、対話の受話者に向いている時間よりも長い場合に、対話システム１は、参加候補者に参加の意思があるものと判定することとしてよい。
【０１１４】
また、上記の実施形態では、対話システム１が対話参加者の発話音声を抽出して相手側で出力させるようにしたが、対話参加者の発話音声を抽出せずに、マイク１７、マイク２７で記録された音声をそのまま相手側で出力させてもよい。
【符号の説明】
【０１１５】
ＡＲ  参加者検出領域
Ｄ１１  メイン画面
Ｄ１２  第１サブ画面
Ｄ１３  第２サブ画面
Ｄ２１  メイン画面
Ｄ２２  第１サブ画面
Ｄ２３  第２サブ画面
Ｎ  ネットワーク
Ｐ１  アイコン
Ｐ２  アイコン
Ｐ３  アイコン
Ｐ４  アイコン
Ｒ１  居室（第１の居室）
Ｒ２  居室（第２の居室）
Ｕ１  ユーザ（第１ユーザ）
Ｕ２  ユーザ（第２ユーザ）
Ｕ３  ユーザ
Ｖ  視線
１  対話システム
１０  第１装置
１１  制御部
１２  記憶部
１３  通信部
１４  入力部
１５  表示部
１６  カメラ
１７  マイク
１８  スピーカ
１９  赤外線センサ
２０  第２装置
２１  制御部
２２  記憶部
２３  通信部
２４  入力部
２５  表示部
２６  カメラ
２７  マイク
２８  スピーカ
２９  赤外線センサ
１００  データ記憶部
１０１  第１参加者テーブル
１０２  第２参加者テーブル
１１０  第１参加者画像取得部
１２０  第２参加者画像取得部
１３０  第１背景画像取得部
１４０  第２背景画像取得部
１５０  第１表示制御部
１６０  第２表示制御部
１７０  第１音声取得部
１８０  第２音声取得部
１９０  第１音声出力制御部
２００  第２音声出力制御部
２１０  検出部
２２０  第１問合せ部
２３０  第２問合せ部
２４０  参加登録部
【図１】
2018107609.tif 000003
【図２】
2018107609.tif 000004
【図３】
2018107609.tif 000005
【図４】
2018107609.tif 000006
【図５】
2018107609.tif 000007
【図６】
2018107609.tif 000008
【図７】
2018107609.tif 000009
【図８】
2018107609.tif 000010
【図９】
2018107609.tif 000011
【図１０】
2018107609.tif 000012
【図１１】
2018107609.tif 000013
【図１２】
2018107609.tif 000014
【図１３】
2018107609.tif 000015
【図１４】
2018107609.tif 000016