(57)【要約】【課題】突然の対話要求を受けた場合でも、相手側に見られたくない格好を見せることなく対話を行う。【解決手段】対話システム１は、第１ユーザ側に設けられた第１端末１０と、第２ユーザ側に設けられた第２端末２０との双方向通信により第１ユーザと第２ユーザとの間で対話を行わせる。対話システム１は、第２ユーザから第１ユーザに向けられた対話の開始要求を受け付ける開始要求受付部３３０と、第１ユーザを撮影した撮影画像を取得する撮影画像取得部３１０と、撮影画像における第１ユーザの衣服領域から抽出される画像特徴に基づいて、第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する衣服レベル判定部３４０と、第１ユーザの衣服レベルが所定レベル以下である場合に、第１ユーザの衣服領域に所定レベルより上の衣服レベルの衣服画像を合成した合成画像を第２端末２０の表示部２５に表示させる表示制御部３７０と、を備える。【選択図】図３
2017175543.tif 000002
【特許請求の範囲】
【請求項１】
第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムであって、
前記第２ユーザから前記第１ユーザに向けられた対話の開始要求を受け付ける受付手段と、
前記第１ユーザを撮影した撮影画像を取得する取得手段と、
前記受付手段により対話の開始要求を受け付けた後であって前記対話の開始前に、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する判定手段と、
前記判定手段により判定された前記第１ユーザの衣服レベルが所定レベル以下である場合に、前記第１ユーザの衣服領域に前記所定レベルより上の衣服レベルの衣服画像を合成した合成画像を前記第２端末の表示部に表示させる表示制御手段と、
を備えることを特徴とする対話システム。
【請求項２】
前記所定レベルの衣服を着用している時間帯において前記取得手段により取得される撮影画像に基づいて、前記所定レベルに該当する画像特徴の条件を学習する学習手段を備え、
前記判定手段は、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴が前記学習された画像特徴の条件を満足する場合に、前記第１ユーザの衣服レベルが前記所定レベルであると判定する
ことを特徴とする請求項１に記載の対話システム。
【請求項３】
前記判定手段は、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴に基づいて、前記第１ユーザに衣服の着用が検出されない場合には、前記第１ユーザの衣服レベルが前記所定レベル未満と判定する
ことを特徴とする請求項１又は２に記載の対話システム。
【請求項４】
前記所定レベルより上の衣服レベルについて衣服画像を記憶する記憶手段と、
前記判定手段により判定された前記第１ユーザの衣服レベルが前記所定レベル以下である場合に、前記所定レベルより上の衣服レベルのいずれかを選択する選択手段と、を備え、
前記表示制御手段は、前記選択手段により選択された衣服レベルについて前記記憶手段に記憶される衣服画像を合成した合成画像を前記第２端末の表示部に表示させる
ことを特徴とする請求項１乃至３のいずれかに記載の対話システム。
【請求項５】
前記第２ユーザに関連付けて前記所定レベルより上のいずれかの衣服レベルを記憶する衣服レベル記憶手段を備え、
前記選択手段は、前記判定された前記第１ユーザの衣服レベルが前記所定レベル以下である場合に、前記第２ユーザに関連付けて前記衣服レベル記憶手段に記憶される衣服レベルを選択する
ことを特徴とする請求項４に記載の対話システム。
【請求項６】
前記第２ユーザに関連付けて衣服画像を記憶する衣服画像記憶手段を備え、
前記表示制御手段は、前記判定手段により判定された前記第１ユーザの衣服レベルが前記所定レベル以下である場合に、前記第２ユーザに関連付けて前記衣服画像記憶手段に記憶される衣服画像を前記第１ユーザの衣服領域に合成した合成画像を前記第２端末の表示部に表示させる
ことを特徴とする請求項１乃至５のいずれかに記載の対話システム。
【請求項７】
前記表示制御手段は、前記判定手段により判定された前記第１ユーザの衣服レベルが前記所定レベルより上である場合には、前記撮影画像を前記第２端末に表示させる
ことを特徴とする請求項１乃至６のいずれかに記載の対話システム。
【請求項８】
第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムの制御方法であって、
前記対話システムが、前記第２ユーザから前記第１ユーザに向けられた対話の開始要求を受け付ける受付ステップと、
前記対話システムが、前記第１ユーザを撮影した撮影画像を取得する取得ステップと、
前記対話システムが、前記受付ステップで対話の開始要求を受け付けた後であって前記対話の開始前に、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する判定ステップと、
前記対話システムが、前記判定ステップで判定された前記第１ユーザの衣服レベルが所定レベル以下である場合に、前記第１ユーザの衣服領域に前記所定レベルより上の衣服レベルの衣服画像を合成した合成画像を前記第２端末の表示部に表示させる表示制御ステップと、
を有することを特徴とする対話システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話システム及び対話システムの制御方法に関する。
【背景技術】
【０００２】
遠隔地に離れた二人のユーザが、互いの端末装置において取得した音声と画像とを伝送し合うことにより、双方において相手の顔を見ながら対話を可能とした対話システムが知られている（例えば、下記の特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２７５１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、こうした対話システムにおいて、ユーザ（以下、第１ユーザ）が自宅で室内着に着替えてくつろいでいるタイミングで、他のユーザ（例えば仕事の同僚等であり、以下、第２ユーザ）から対話開始要求を受け付けた場合には、第１ユーザはその姿を第２ユーザに見られてしまうことに気恥ずかしさを感じるために対話要求に応えることができず、対話の機会を失うことがある。また、対話に応えたとしても、ユーザ間に気まずさが生じ、対話の内容に集中できないことも考えられる。
【０００５】
本発明は上記の課題に鑑みてなされたものであって、その目的は、ユーザが突然の対話要求を受けた場合でも、相手側に見られたくない格好を見せることなく対話を行うことができる対話システム及び対話システムの制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記課題は、第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムであって、前記第２ユーザから前記第１ユーザに向けられた対話の開始要求を受け付ける受付手段と、前記第１ユーザを撮影した撮影画像を取得する取得手段と、前記受付手段により対話の開始要求を受け付けた後であって前記対話の開始前に、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する判定手段と、前記判定手段により判定された前記第１ユーザの衣服レベルが所定レベル以下である場合に、前記第１ユーザの衣服領域に前記所定レベルより上の衣服レベルの衣服画像を合成した合成画像を前記第２端末の表示部に表示させる表示制御手段と、を備えることを特徴とする対話システムにより解決される。
【発明の効果】
【０００７】
本発明に係る対話システムによれば、ユーザが突然の対話要求を受けた場合でも、相手側に見られたくない格好を見せることなく対話を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る対話システムのシステム構成図である。
【図２】対話システムの処理の概要を説明する図である。
【図３】対話システムの機能ブロック図である。
【図４】衣服レベルテーブルの一例を示す図である。
【図５】着替衣服情報テーブルの一例を示す図である。
【図６】衣服画像テーブルの一例を示す図である。
【図７】画像特徴の学習処理の一例を説明するフロー図である。
【図８】衣服パターンの生成処理の一例を説明するフロー図である。
【図９】画像特徴の学習処理の一例を説明するフロー図である。
【図１０】対話開始処理の一例を説明するシーケンス図である。
【図１１】対話処理の一例を説明するシーケンス図である。
【発明を実施するための形態】
【０００９】
以下、図１乃至図１１に基づき、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【００１０】
［１．本実施形態に係る対話システム１のシステム構成］
図１には、本実施形態に係る対話システム１のシステム構成図を示した。図１に示されるように、対話システム１は、第１端末１０、第２端末２０、対話制御サーバ３０を備え、第１端末１０、第２端末２０、対話制御サーバ３０はそれぞれネットワーク２に接続し、ネットワーク２を介してデータ通信可能となっている。以下に説明する対話システム１においては、第１ユーザＵ１が操作する第１端末１０と、第２ユーザＵ２が操作する第２端末２０とが対話制御サーバ３０を介して通信することで、第１ユーザＵ１と第２ユーザＵ２とが互いの映像と音声を送受信することで遠隔対話を実行する。
【００１１】
第１端末１０は、第１ユーザＵ１により操作されるコンピュータである。第１端末１０は、第１ユーザＵ１を撮影した撮影画像と、第１ユーザＵ１の音声とを第２端末２０に送信するとともに、第２端末２０からは第２ユーザＵ２を撮影した撮影画像と、第２ユーザＵ２の音声とを受信し再生する。
【００１２】
第２端末２０は、第２ユーザＵ２により操作されるコンピュータである。第２端末２０は、第２ユーザＵ２を撮影した撮影画像と、第２ユーザＵ２の音声とを第１端末１０に送信するとともに、第１端末１０からは第１ユーザＵ１を撮影した撮影画像と、第１ユーザＵ１の音声とを受信し再生する。
【００１３】
対話制御サーバ３０は、第１端末１０と第２端末２０との通信を中継し、両者間での対話処理を制御するコンピュータである。
【００１４】
［１．１．第１端末１０及び第２端末２０のハードウェア構成］
以下、対話システム１に備えられる上記の各装置のハードウェア構成の一例について説明する。なお、本実施形態においては、第１端末１０と第２端末２０とのハードウェア構成は同一であるため、以下においては第１端末１０のハードウェア構成について説明し、第２端末２０のハードウェア構成についての説明は省略する。
【００１５】
図１に示されるように、第１端末１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、カメラ１６、マイク１７、スピーカ１８、及び赤外線センサ１９を備える。
【００１６】
制御部１１は、例えば中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含み構成され、記憶部１２に記憶されるプログラムやデータに基づいて各種の演算処理を実行するとともに、第１端末１０の各部を制御する。
【００１７】
記憶部１２は、例えばメモリ、磁気ディスク装置を含み構成され、各種のプログラムやデータを記憶するほか、制御部１１のワークメモリとしても機能する。なお、記憶部１２には、フラッシュメモリ、光学ディスク等の情報記憶媒体を含むこととしてよい。
【００１８】
通信部１３は、ネットワーク２に接続し、ネットワーク２に接続する第２端末２０や対話制御サーバ３０等のデバイスと通信する。
【００１９】
入力部１４は、例えばタッチパネル、キーボード、マウス等の入力デバイスを含み構成され、ユーザの操作情報の入力を受け付ける。
【００２０】
表示部１５は、例えば液晶ディスプレイ装置等の表示デバイスを含み構成され、制御部１１により生成されるグラフィックデータに基づく画面を表示させる。本実施形態では、表示部１５は、対話相手の人物映像を等身大サイズにて表示するのに十分な画面サイズに構成されることとしてよい。
【００２１】
カメラ１６は、撮影範囲（画角）内にある被写体を撮影する撮影装置である。ここで、カメラ１６により撮影された画像（撮影画像）とは、静止画又は連続している複数のフレーム画像の集合体によって構成された動画のいずれも含むこととしてよい。また、カメラ１６は、表示部１５の直上位置に設置され、表示部１５の正面に位置する被写体を撮影することとしてよい。本実施形態では、カメラ１６は、第１ユーザＵ１を被写体として撮影する。一方で、第２端末２０のカメラ２６は、第２ユーザＵ２を被写体として撮影する。
【００２２】
マイク１７は、集音装置であり、本実施形態では、第１ユーザＵ１の発話音声を集音する。一方で、第２端末２０のマイク２７は、第２ユーザＵ２の発話音声を集音する。
【００２３】
スピーカ１８は、音信号に基づいて音を出力する装置であり、本実施形態では、第２端末２０から受信する第２ユーザＵ２の音声データに基づいて、第２ユーザＵ２の発話音声を出力する。一方で、第２端末２０のスピーカ２８は、第１端末１０から受信する第１ユーザＵ１の音声データに基づいて、第１ユーザＵ１の発話音声を出力する。
【００２４】
赤外線センサ１９は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測するためのセンサである。具体的に説明すると、赤外線センサ１９は、計測対象物に向けて赤外線を照射し、その反射光を受光することで計測対象物各部の深度を計測する。ここで、「深度」とは、基準面から計測対象物までの距離（すなわち、奥行距離）のことである。ちなみに、本実施形態では、表示部１５の映像表示面（画面）が基準面に該当する。つまり、赤外線センサ１９は、深度として、表示部１５の画面と計測対象物の間の距離、より厳密には表示部１５の画面の法線方向（換言すると、表示部１５を貫く方向）における距離を計測することになる。
【００２５】
赤外線センサ１９は、第１ユーザＵ１を計測対象物として深度を計測する。一方で、第２端末２０の赤外線センサ２９は、第２ユーザＵ２を計測対象物として深度を計測する。
【００２６】
［１．２．対話制御サーバ３０のハードウェア構成］
次に、対話制御サーバ３０のハードウェア構成について説明する。図１に示されるように、対話制御サーバ３０は、制御部３１、記憶部３２、及び通信部３３を備えるコンピュータである。
【００２７】
制御部３１は、例えば中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含み構成され、記憶部３２に記憶されるプログラムやデータに基づいて各種の演算処理を実行するとともに、対話制御サーバ３０の各部を制御する。
【００２８】
記憶部３２は、例えばメモリ、磁気ディスク装置を含み構成され、各種のプログラムやデータを記憶するほか、制御部３１のワークメモリとしても機能する。なお、記憶部３２には、フラッシュメモリ、光ディスク等の情報記憶媒体を含むこととしてもよい。
【００２９】
通信部３３は、ネットワーク２に接続し、ネットワーク２に接続する第１端末１０、第２端末２０等のデバイスと通信する。
【００３０】
［２．本実施形態の概要］
ここで、図２に基づいて本実施形態に係る対話システム１における処理の概要について説明する。以下説明する例では、第１端末１０は第１ユーザＵ１の自宅に置かれており、第２端末２０は職場に置かれていることとする。そして、第２端末２０から第１端末１０に対して対話開始を要求した場面で行われる処理について説明する。
【００３１】
図２（Ａ）には、第２端末２０から第１端末１０に対して対話開始が要求された時点で、第１端末１０のカメラ１６により撮影される第１撮影画像Ｐ１と、第２端末２０のカメラ２６により撮影される第２撮影画像Ｐ２の一例を示した。
【００３２】
図２（Ａ）に示されるように、対話開始の要求を受け付けた時点で、第１ユーザＵ１は自宅において既に室内着Ｒを着用しており、仮に第１撮影画像Ｐ１がこのまま第２端末２０に送信されると、第２端末２０の表示部２５には、室内着Ｒを着用した状態の第１ユーザＵ１が第２ユーザＵ２に見られてしまうこととなる。
【００３３】
そこで、本実施形態に係る対話システム１では、第１ユーザＵ１の第１撮影画像Ｐ１において衣服が映し出されている衣服領域を特定し、特定した衣服領域の画像特徴に基づいて、第１ユーザＵ１の着用している衣服のレベル（衣服レベル）を判定する。具体的には、衣服レベルには、「０：未着衣、１：室内着、２：外出着、３：仕事着」の４段階があることとし、対話システム１は、この中でも特に第１ユーザＵ１が着用している衣服が未着衣（レベル「０」）又は室内着（レベル「１」）であるか否かを判定する。なお、衣服レベルは、レベルが上がるにつれてよりフォーマルな衣服であることを示すこととする。
【００３４】
そして、対話システム１では、第１ユーザＵ１の着用している衣服のレベルが１以下であると判定した場合には、第１ユーザＵ１の衣服領域に衣服レベル「２」以上の衣服画像（この例では衣服レベル「３」の仕事着Ｗ）を合成した合成画像を生成し、生成した合成画像を第１ユーザＵ１の画像として第２端末２０に送信することとする。上記の例においては、第１撮影画像Ｐ１において第１ユーザＵ１が着用している衣服は室内着（レベル「１」）と判定され、第１ユーザＵ１に仕事着Ｗ（レベル「３」）の衣服画像を合成した合成画像が第２端末２０に送信されることとなる。
【００３５】
すなわち、図２（Ｂ）に示されるように、実際の対話が開始すると、第２端末２０の表示部２５に表示される第１ユーザＵ１の画像は、実際にカメラ１６で撮影される第１撮影画像Ｐ１ではなく、第１ユーザＵ１の衣服領域に仕事着Ｗの衣服画像を合成した第２表示画像Ｄ２となる。一方、第１端末１０の表示部１５に表示される第２ユーザＵ２の画像は、実際にカメラ２６により撮影された第２撮影画像Ｐ２となる。
【００３６】
また、仮に第２端末２０から対話の開始要求を受け付けた時点で、第１ユーザＵ１が仕事着Ｗを着用している場合には、第１ユーザＵ１の衣服レベルがレベル「１」よりも高いと判定され、カメラ１６による第１ユーザＵ１の撮影画像がそのまま第２端末２０に送信され、表示されることとなる。
【００３７】
このようにすることで、対話システム１では突然の対話開始要求を受け付けた場合において、第１ユーザＵ１の着用している衣服のレベルが所定レベル以下（例えば室内着のレベルであるレベル「１」以下）であるときには、第１ユーザＵ１に所定レベルより高い衣服画像を合成して相手側に表示させることができる。これにより、第１ユーザＵ１は、相手側の第２ユーザＵ２に見られたくない格好を見せることなく対話を行うことができる。また、対話要求を行う第２ユーザＵ２にとっても、相手側の第１ユーザＵ１がわざわざ着替えることを要しないため、対話をしたいタイミングで対話を実現させることができる。以下では、上述した処理を実現するために対話システム１に備えられる機能について説明する。
【００３８】
［３．対話システム１の機能の説明］
図３には対話システム１に備えられる機能を示した。以下に説明する機能は、対話システム１における主要な機能の一部であり、対話システム１が他の機能を更に備えていてもよいことは勿論である。
【００３９】
図３に示されるように、第１端末１０は、機能として撮影画像送信部１００を備える。
【００４０】
第１端末１０に備えられる上記の機能は、第１端末１０の制御部１１が、記憶部１２に記憶されるプログラムに基づいて、第１端末１０の各部を動作させることにより実現されるものである。なお、第１端末１０は、上記のプログラムを、情報記憶媒体から読み込むこととしてもよいし、通信部１３によりネットワーク２等の通信網を介してダウンロードしてもよい。
【００４１】
図３に示されるように、第２端末２０は、機能として開始要求部２００及び表示制御部２１０を備える。
【００４２】
第２端末２０に備えられる上記の機能は、第２端末２０の制御部２１が、記憶部２２に記憶されるプログラムに基づいて、第２端末２０の各部を動作させることにより実現されるものである。なお、第２端末２０は、上記のプログラムを、情報記憶媒体から読み込むこととしてもよいし、通信部２３によりネットワーク２等の通信網を介してダウンロードしてもよい。
【００４３】
図３に示されるように、対話制御サーバ３０は、データ記憶部３００、撮影画像取得部３１０、学習部３２０、開始要求受付部３３０、衣服レベル判定部３４０、衣服画像選択部３５０、画像合成部３６０及び表示制御部３７０を備える
【００４４】
対話制御サーバ３０に備えられる上記の機能は、対話制御サーバ３０の制御部３１が、記憶部３２に記憶されるプログラムに基づいて、対話制御サーバ３０の各部を動作させることにより実現されるものである。なお、対話制御サーバ３０は、上記のプログラムを、情報記憶媒体から読み込むこととしてもよいし、通信部３３によりネットワーク２等の通信網を介してダウンロードしてもよい。以下、上記の各部の機能の詳細について説明する。
【００４５】
［３．１．データ記憶部３００］
データ記憶部３００は、主に対話制御サーバ３０の記憶部３２により実現される。データ記憶部３００は、ユーザの撮影画像に映し出された衣服のレベルを判定するためのデータ、着せ替え判定がなされた場合にユーザに着せ替える衣服レベルを設定するためのデータ、衣服レベルに応じた衣服画像を設定するためのデータ等の各種データが記憶される。例えば、本実施形態においては、データ記憶部３００には、衣服レベルテーブル３０１、着替衣服情報テーブル３０２、及び衣服画像テーブル３０３が記憶される。以下、上記の各テーブルの詳細について説明する。
【００４６】
［３．１．１．衣服レベルテーブル３０１］
衣服レベルテーブル３０１は、ユーザの衣服レベルと、各衣服レベルについて学習された画像特徴の情報を格納したテーブルである。なお、画像特徴とは、対象となる画像領域の色、輝度、輪郭等の情報を要素とする特徴ベクトルとしてよい。
【００４７】
図４には、衣服レベルテーブル３０１の一例を示した。図４に示されるように、衣服レベルテーブル３０１には、ユーザを識別するユーザＩＤ、衣服レベル、衣服のカテゴリ、衣服の着用時間帯、学習された画像特徴の情報が関連付けて記憶される。
【００４８】
衣服レベルとは、衣服の着用状態、衣服の正装度に基づいて衣服を複数段階に区分した情報であり、本実施形態では、０から３の４段階に区分されている。
【００４９】
本実施形態では、衣服レベルが高くなるにつれて衣服の正装度が高くなることを示す。具体的には、衣服レベル「０」は着衣がない状態、衣服レベル「１」は室内着、衣服レベル「２」は外出着、衣服レベル「３」は仕事着に対応する。
【００５０】
ここで、「室内着」とは、ユーザが自宅で主に着用する衣服であり、就寝時に着用する衣服を含む。そして、「室内着」として着用する衣服の画像特徴は、予め定められていてもよいし、カメラ１６によりユーザを撮影した画像のうち、２１：００〜６：００の間に撮影された画像においてユーザが着用している衣服の画像特徴に基づいて学習することとしてもよい。なお、衣服の画像特徴の学習処理の詳細については後述する。
【００５１】
「外出着」とは、主にユーザが仕事以外の用事で外出する際に着用する衣服である。そして、「外出着」として着用する衣服の画像特徴は、予め定められていてもよいし、カメラ１６によりユーザを撮影した画像のうち、休日（土日休日）の１０：００〜２０：００の間に撮影された画像においてユーザが着用している衣服の画像特徴に基づいて学習することとしてもよい。
【００５２】
「仕事着」とは、主にユーザが仕事で外出する際に着用する衣服である。そして、「仕事着」として着用する衣服の画像特徴は、予め定められていてもよいし、カメラ１６によりユーザを撮影した画像のうち、平日の７：００〜２０：００の間に撮影された画像においてユーザが着用している衣服の画像特徴に基づいて学習することとしてもよい。
【００５３】
［３．１．２．着替衣服情報テーブル３０２］
着替衣服情報テーブル３０２は、ユーザの衣服を着せ替えると判定された場合において、当該ユーザに着せ替える衣服の情報を格納したテーブルである。
【００５４】
図５には、着替衣服情報テーブル３０２の一例を示した。図５に示されるように、着替衣服情報テーブル３０２には、対話の要求を受け付けるユーザ（要求先ユーザ）のユーザＩＤ（要求先ユーザＩＤ）、対話を要求するユーザ（要求元ユーザ）のユーザＩＤ（要求元ユーザＩＤ）、要求先ユーザについて着せ替える衣服のレベル（衣服レベル）、要求先ユーザについて着せ替える衣服画像の情報が関連付けて記憶される。
【００５５】
なお、本実施形態では、要求先ユーザについて衣服レベルのみが関連付けられている場合には、当該関連付けられている衣服レベルに紐付けられるいずれかの衣服画像がユーザの衣服領域に合成される。そして、要求先ユーザについて衣服画像が関連付けられている場合には、当該関連付けられている衣服画像がユーザの衣服領域に合成される。
【００５６】
図５に示した例においては、例えば第２ユーザＵ２から第１ユーザＵ１に対して対話の要求があり、第１ユーザＵ１の衣服を着せ替えると判定された場合には、衣服レベル「３」（仕事着）に紐付けられる衣服画像が、第１ユーザＵ１の衣服領域に合成されることなる。
【００５７】
一方で、例えば第３ユーザＵ３から第１ユーザＵ１に対して対話の要求があり、第１ユーザＵ１の衣服を着せ替えると判定された場合には、衣服レベル「２」（外出着）のうち特定の衣服画像（図５の例ではＩｍｇ３）が、第１ユーザＵ１の衣服領域に合成されることなる。
【００５８】
なお、着替衣服情報テーブル３０２の記憶内容は、ユーザが入力した情報に基づいて予め登録されることとしてよい。
【００５９】
［３．１．３．衣服画像テーブル３０３］
衣服画像テーブル３０３は、ユーザごとに、衣服レベルと、衣服画像との対応関係を記憶したテーブルである。
【００６０】
図６には、衣服画像テーブル３０３の一例を示した。図６に示されるように、衣服画像テーブル３０３には、ユーザのユーザＩＤ、衣服レベル、衣服画像の情報が関連付けて記憶される。なお、上記の衣服画像は、例えばカメラ１６によるユーザの撮影画像から切り出した衣服画像の情報としてよい。
【００６１】
ここで、衣服レベルに対して複数の衣服画像の情報が関連付けられている場合には、いずれかの衣服画像をランダムに選択してもよいし、主たる衣服画像（図の例ではＩｍｇ１を主とする）を選択することとしてもよい。例えば、一の衣服レベルに関連付けられる複数の衣服画像のうち、ユーザの使用頻度が最も高い衣服に対応する衣服画像を上記の主たる衣服画像として設定することとしてよい。
【００６２】
［３．２．撮影画像送信部１００、撮影画像取得部３１０］
撮影画像送信部１００は、主に第１端末１０の制御部１１、記憶部１２、通信部１３、カメラ１６及び赤外線センサ１９により実現される。また、撮影画像取得部３１０は、主に対話制御サーバ３０の制御部３１、記憶部３２、及び通信部３３により実現される。
【００６３】
撮影画像送信部１００は、第１ユーザＵ１をカメラ１６により撮影した撮影画像と、赤外線センサ１９による測定情報とを対話制御サーバ３０に送信する。例えば、撮影画像送信部１００は非対話状態においては、定期的なタイミング（例えば１時間に１度）でカメラ１６による第１ユーザＵ１の撮影画像と、赤外線センサ１９による測定情報とを送信することとしてよい。また、撮影画像送信部１００は、対話開始要求を受け付けたタイミングでカメラ１６による第１ユーザＵ１の撮影画像と、赤外線センサ１９による測定情報とを対話制御サーバ３０に送信することとしてよい。そして、撮影画像送信部１００は、対話実行中においては、所定の間隔で連続的に（例えば１／６０秒おきに）撮影した第１ユーザＵ１の撮影画像を対話制御サーバ３０に送信することとしてよい。
【００６４】
撮影画像取得部３１０は、撮影画像送信部１００により送信される撮影画像と測定情報とを受信し、取得する。撮影画像取得部３１０は、取得した撮影画像と測定情報については、撮影日時（測定日時）とともにデータ記憶部３００に記憶することとしてよい。
【００６５】
［３．３．学習部３２０］
学習部３２０は、主に対話制御サーバ３０の制御部３１及び記憶部３２により実現される。学習部３２０は、データ記憶部３００に記憶される撮影画像に基づいて、ユーザの衣服レベルの画像特徴の情報を機械学習する。以下、学習部３２０による処理の一例について、図７乃至図９に示されるフロー図に基づいて説明する。なお、以下に説明するフロー図は、ユーザの室内着の画像特徴を学習する例を説明したものである。
【００６６】
図７に示されるように、対話制御サーバ３０の制御部３１は、データ記憶部３００から撮影画像、赤外線センサ１９による測定情報を取得する（Ｓ１）。なお、対話制御サーバ３０の制御部３１は、Ｓ１においては、非対話状態において撮影画像送信部１００により送信される情報を取得することとしてよい。
【００６７】
そして、対話制御サーバ３０の制御部３１は、取得した撮影画像に対する画像処理（例えば二値化、エッジ処理等）により顔領域を特定（顔認識処理）する（Ｓ２）。そして、対話制御サーバ３０の制御部３１は、予めデータ記憶部３００に記憶されるユーザＩＤと顔領域の画像特徴のうち、Ｓ２で特定された顔領域の画像特徴に類似する画像特徴を特定することにより、撮影画像に映し出されるユーザのユーザＩＤを特定する（Ｓ３）。
【００６８】
次に、対話制御サーバ３０の制御部３１は、撮影画像に映し出されたユーザの衣服パターンを特定する（Ｓ４）。ここで、「衣服パターン」とは、ユーザが着用している衣服の特徴であり、具体的には、撮影画像中において特定される衣服領域（衣服が映し出された領域）の画像特徴により表される。なお、衣服パターンの特定処理の詳細については後述する。
【００６９】
対話制御サーバ３０の制御部３１は、Ｓ４において特定された衣服パターンが、当該ユーザＩＤについて直前の衣服パターンから変化がある場合には（Ｓ５：Ｙ）、Ｓ６に進み、Ｓ４において特定された衣服パターンが、当該ユーザＩＤについて直前の衣服パターンから変化がない場合には（Ｓ５：Ｎ）、Ｓ１０に進む。
【００７０】
Ｓ６において、対話制御サーバ３０の制御部３１は、撮影画像の撮影時間が夜間である（例えば、２１：００〜２：００）場合には（Ｓ６：Ｙ）、変化後の衣服パターンを、Ｓ３で特定したユーザＩＤの室内着の衣服パターンに分類し（Ｓ７）、Ｓ１０に進む。一方、Ｓ６において、対話制御サーバ３０の制御部３１は、撮影画像の撮影時間が夜間でなく（Ｓ６：Ｎ）、朝である（例えば、５：００〜８：００）場合には（Ｓ８：Ｙ）、変化前の衣服パターンを、Ｓ３で特定したユーザＩＤの室内着の衣服パターンに分類し（Ｓ９）、Ｓ１０に進む。
【００７１】
そして、Ｓ１０において、データ記憶部３００に記憶される撮影画像、測定情報に未処理のデータがある場合には（Ｓ１０：Ｎ）、Ｓ１に戻る。一方で、Ｓ１０において、データ記憶部３００に記憶される撮影画像、測定情報に未処理のデータがない場合には（Ｓ１０：Ｙ）、ユーザＩＤの室内着として分類された衣服パターンに基づいて室内着の画像特徴を学習する（Ｓ１１）。
【００７２】
具体的には、対話制御サーバ３０の制御部３１は、ユーザＩＤの室内着に分類された衣服パターンの画像特徴である特徴ベクトルの代表ベクトルを決定し、決定した代表ベクトルを室内着の画像特徴とすることとしてよい。なお、代表ベクトルは、室内着に分類された特徴ベクトルの平均や重心としてもよいし、室内着に分類された特徴ベクトルのうち最も他の特徴ベクトルとの距離が近いもの（すなわちより中心に位置するもの）を代表ベクトルとして選択してもよい。また、室内着に分類される衣服パターンのうち、同一衣服として認識される衣服パターンのうち最も使用頻度が高い衣服パターンの情報に基づいて、上記の画像特徴の学習処理を行うこととしてもよい。
【００７３】
また、対話制御サーバ３０の制御部３１は、Ｓ１１で学習された画像特徴を、衣服レベルテーブル３０１において対応するユーザＩＤと衣服レベルに関連付けて記憶することとする。
【００７４】
なお、上記の例においては室内着（衣服レベル「１」）の画像特徴を学習する例について説明したが、他の衣服レベルの画像特徴についても同様に学習することとしてよい。例えば、上記のフローにおいて、撮影時間が平日夜間であり、衣服パターンに変化が検出された場合には、変化前の衣服パターンを仕事着に分類し、撮影時間が平日朝であり、衣服パターンに変化が検出された場合には、変化後の衣服パターンを仕事着に分類するようにしてよい。また、上記のフローにおいて、撮影時間が休日夜間であり、衣服パターンに変化が検出された場合には、変化前の衣服パターンを外出着に分類し、撮影時間が休日朝であり、衣服パターンに変化が検出された場合には、変化後の衣服パターンを外出着に分類するようにしてよい。
【００７５】
ここで、図８に示されるフロー図に基づいて、上記のＳ４において実行される衣服パターンの特定処理について説明する。
【００７６】
図８に示されるように、対話制御サーバ３０の制御部３１は、撮影画像とともに取得された赤外線センサ１９の測定情報に基づいて、第１ユーザＵ１の骨格モデルを作成する（Ｓ２１）。そして、対話制御サーバ３０の制御部３１は、Ｓ２１で作成した骨格モデルに基づいて、第１ユーザＵ１の衣服領域を抽出する（Ｓ２２）。なお、衣服領域とは、衣服が映し出される画像領域のことをいう。
【００７７】
次に、対話制御サーバ３０の制御部３１は、Ｓ２２で抽出された第１ユーザＵ１の上半身と下半身の衣服のそれぞれの色ヒストグラムを生成するとともに（Ｓ２３）、それぞれの形状データ（エッジデータ）を生成する（Ｓ２４）。
【００７８】
そして、対話制御サーバ３０の制御部３１は、第１ユーザＵ１の上半身と下半身のそれぞれの衣服の色、形状の情報を含む衣服パターンの情報を生成し（Ｓ２５）、衣服パターンの特定処理を終了する。
【００７９】
次に、図９に示されるフロー図に基づいて、室内着の画像特徴を学習する他の処理について説明する。
【００８０】
図９に示されるように、対話制御サーバ３０の制御部３１は、対象日の朝に撮影された撮影画像から得られた第１衣服パターンと、対象日の前日夜に撮影された撮影画像から得られた第２衣服パターンとを取得する（Ｓ３１）。
【００８１】
そして、対話制御サーバ３０の制御部３１は、第１衣服パターンと第２衣服パターンとの差異が閾値以内であって、両者が一致しているとみなせる場合には（Ｓ３２：Ｙ）、第１衣服パターンと第２衣服パターンとを室内着に分類する（Ｓ３３）。
【００８２】
そして、対話制御サーバ３０の制御部３１は、室内着に分類された衣服パターンに基づいて画像特徴を学習する（Ｓ３４）。なお、Ｓ３４における画像特徴の学習処理については、図７におけるＳ１１の処理と同様であるため説明を省略する。
【００８３】
Ｓ３４の後、又はＳ３２において第１衣服パターンと第２衣服パターンとが一致していない場合には（Ｓ３２：Ｎ）、処理を終了する。
【００８４】
以上の処理によれば、ユーザが就寝時に着用している衣服の特徴を学習することができる。
【００８５】
［３．４．開始要求部２００、開始要求受付部３３０］
開始要求部２００は、主に第２端末２０の制御部２１、記憶部２２、通信部２３及び入力部２４により実現される。また、開始要求受付部３３０は、対話制御サーバ３０の制御部３１、記憶部３２及び通信部３３により実現される。
【００８６】
開始要求部２００は、指定されたユーザとの対話の開始を要求する。例えば、開始要求部２００は、入力部２４により第２ユーザＵ２から入力された情報に基づいて、第１ユーザＵ１を指定した対話の開始要求を受け付けた場合に、対話制御サーバ３０に対して、要求先ユーザを第１ユーザＵ１とした対話の開始を要求する。
【００８７】
開始要求受付部３３０は、開始要求部２００から対話の開始要求を受け付ける。例えば、開始要求受付部３３０は、開始要求部２００から対話の開始要求を受け付けると、当該対話の相手先である要求先ユーザ（ここでは第１ユーザＵ１）に関連付けて記憶されるデバイス（ここでは第１端末１０）に開始要求を転送する。なお、第１端末１０では、対話制御サーバ３０から開始要求の転送を受けると、その転送を受けた後にカメラ１６により撮影された撮影画像を撮影画像送信部１００により対話制御サーバ３０に送信する。
【００８８】
［３．５．衣服レベル判定部３４０］
衣服レベル判定部３４０は、主に対話制御サーバ３０の制御部３１及び記憶部３２により実現される。衣服レベル判定部３４０は、開始要求受付部３３０において対話の開始要求を受け付けた後に、撮影画像送信部１００により送信され撮影画像取得部３１０で受信された撮影画像、赤外線センサ１９の測定情報に基づいて、当該受信された撮影画像に映し出されている第１ユーザＵ１の衣服のレベルを判定する。
【００８９】
例えば、衣服レベル判定部３４０は、対話の開始要求を受付後に、撮影画像取得部３１０により受信された撮影画像及び赤外線センサ１９の測定情報に基づいて、撮影画像における第１ユーザＵ１の衣服領域を特定するとともに、特定した衣服領域の画像特徴（衣服パターン）を取得する。なお、衣服パターンの取得処理は、図８のフロー図に示した通りである。
【００９０】
次に、衣服レベル判定部３４０は、上記取得した衣服パターン（対象衣服パターン）が、複数段階の衣服レベルのうちどれに該当するかを判定する。具体的には、衣服レベル判定部３４０は、衣服レベルテーブル３０１において第１ユーザＵ１に関連付けて記憶される各衣服レベルについて学習された画像特徴と、対象衣服パターンとの類似度（例えばベクトル間距離）を算出し、最も類似度が高い（例えば最もベクトル間距離が近い）画像特徴の衣服レベルに該当することと判定する。なお、衣服レベル判定部３４０は、撮影画像から衣服領域が検出されなかった場合には、衣服の着用がないとして衣服レベル「０」と判定することとしてよい。
【００９１】
［３．６．衣服画像選択部３５０］
衣服画像選択部３５０は、主に対話制御サーバ３０の制御部３１及び記憶部３２により実現される。衣服画像選択部３５０は、衣服レベル判定部３４０により判定された衣服レベルが所定レベル（例えばレベル「１」）以下である場合に、第１ユーザＵ１の衣服領域に合成する衣服画像を選択する。なお、合成する衣服画像は、所定レベルよりも上の衣服レベルの衣服画像としてよい。また、衣服画像は、衣服の３次元モデルに基づいて生成されるデータとしてもよい。
【００９２】
具体的には、衣服画像選択部３５０は、衣服レベル判定部３４０により判定された衣服レベルが所定レベル（例えばレベル「１」）以下である場合に、着替衣服情報テーブル３０２において、要求先ユーザＩＤ（ここでは第１ユーザＵ１のユーザＩＤ）と、要求元ユーザＩＤ（ここでは第２ユーザＵ２のユーザＩＤ）に関連付けて記憶される衣服レベル、衣服画像の情報に基づいて衣服画像を選択する。
【００９３】
第２ユーザＵ２から第１ユーザＵ１に対して対話の要求があり、第１ユーザＵ１の衣服レベルが１（又は０）である場合において、図５に示される着替衣服情報テーブル３０２の例では、衣服画像選択部３５０は、衣服レベル「３」（仕事着）を選択するとともに、図６に示される衣服画像テーブル３０３において第１ユーザＵ１の衣服レベル「３」に関連付けられる衣服画像（Ｉｍｇ２）を、第１ユーザＵ１の着せ替え用の衣服画像として選択することなる。
【００９４】
また、例えば第３ユーザＵ３から第１ユーザＵ１に対して対話の要求があり、第１ユーザＵ１の衣服レベルが１（又は０）である場合においては、衣服画像選択部３５０は、衣服レベル「２」（外出着）のうち特定の衣服画像（図５の例ではＩｍｇ３）を、第１ユーザＵ１の着せ替え用の衣服画像として選択することとなる。
【００９５】
また、要求先ユーザに対して対応付けられた衣服レベル、衣服画像が存在しない場合には、衣服画像選択部３５０は、最大の衣服レベルを選択するとともに、選択した衣服レベルに関連付けられる衣服画像を選択することとしてもよい。
【００９６】
そして、衣服レベル判定部３４０により判定された衣服レベルが所定レベル（例えばレベル「１」）以下である場合には、衣服画像選択部３５０により衣服画像が選択された後に第１端末１０と第２端末２０との対話処理が開始される。また、衣服レベル判定部３４０により判定された衣服レベルが所定レベル（例えばレベル「１」）以下でない場合には、その判定処理の以後に第１端末１０と第２端末２０との対話処理が開始される。
【００９７】
［３．７．画像合成部３６０］
画像合成部３６０は、主に対話制御サーバ３０の制御部３１及び記憶部３２により実現される。画像合成部３６０は、衣服レベル判定部３４０により判定された第１ユーザＵ１の衣服レベルが所定レベル（例えばレベル「１」）以下である場合に、対話開始以後に撮影画像取得部３１０により取得される第１ユーザＵ１の撮影画像における衣服領域に、衣服画像選択部３５０により選択される衣服画像を合成した合成画像を生成する。
【００９８】
［３．８．表示制御部３７０、表示制御部２１０］
表示制御部３７０は、主に対話制御サーバ３０の制御部３１、記憶部３２及び通信部３３により実現される。また、表示制御部２１０は、主に第２端末２０の制御部２１、記憶部２２、通信部２３及び表示部２５により実現される。
【００９９】
表示制御部３７０は、衣服レベル判定部３４０により判定された第１ユーザＵ１の衣服レベルが所定レベル（例えばレベル「１」）以下である場合には、画像合成部３６０により生成された合成画像を、第１ユーザＵ１の撮影画像として第２端末２０に送信し、第２端末２０の表示部２５に表示させる。一方で、表示制御部３７０は、衣服レベル判定部３４０により判定された第１ユーザＵ１の衣服レベルが所定レベル（例えばレベル「１」）以下でない場合には、撮影画像取得部３１０により取得された撮影画像を第２端末２０に送信し、第２端末２０の表示部２５に表示させる。
【０１００】
表示制御部２１０は、表示制御部３７０により送信された撮影画像を受信し、受信した撮影画像を表示部２５に表示させる。
【０１０１】
なお、対話開始以後には、第１端末１０からは、第１ユーザＵ１の撮影画像とともにマイク１７により集音された音声データが対話制御サーバ３０に送信されている。そして、対話制御サーバ３０は、第１ユーザＵ１の撮影画像（合成画像）とともに、音声データを第２端末２０に送信しており、第２端末２０では、第１ユーザＵ１の撮影画像（合成画像）と音声データとが同期再生される。同様に、対話開始以後には、第２端末２０からは、第２ユーザＵ２の撮影画像とともにマイク２７により集音された音声データが対話制御サーバ３０に送信されている。そして、対話制御サーバ３０は、第２ユーザＵ２の撮影画像（合成画像）とともに、音声データを第１端末１０に送信しており、第１端末１０では、第２ユーザＵ２の撮影画像（合成画像）と音声データとが同期再生される。
【０１０２】
［４．対話システム１における対話制御処理の流れ］
次に、図１０及び図１１に示すシーケンス図に基づいて、対話システム１において実行される対話制御処理の一例について説明する。
【０１０３】
図１０に示されるように、第２端末２０の制御部２１は、入力部２４により第２ユーザＵ２から受け付けた操作に基づいて、第１ユーザＵ１を対話相手に指定した対話の開始を対話制御サーバ３０に対して要求する（Ｓ２０１）。
【０１０４】
対話制御サーバ３０の制御部３１は、通信部３３を介して第２端末２０から対話開始要求を受け付ける（Ｓ３０１）。ここで、対話制御サーバ３０の制御部３１は、対話相手に指定された第１ユーザＵ１に紐付けられたデバイス情報に基づいて第１端末１０を特定するとともに、特定した第１端末１０に対話開始要求を転送する（Ｓ３０２）。
【０１０５】
第１端末１０の制御部１１は、通信部１３を介して対話制御サーバ３０から対話開始要求を受け付けると（Ｓ１０１）、カメラ１６により第１ユーザＵ１を撮影し、撮影した画像（撮影画像）を対話制御サーバ３０に送信する（Ｓ１０２）。
【０１０６】
対話制御サーバ３０の制御部３１は、通信部３３を介して第１端末１０から撮影画像を受信する（Ｓ３０３）。そして、対話制御サーバ３０の制御部３１は、受信した撮影画像の中から第１ユーザＵ１の衣服が映し出された衣服領域を抽出する（Ｓ３０４）。
【０１０７】
対話制御サーバ３０の制御部３１は、上記抽出した衣服領域の画像特徴に基づいて、第１ユーザＵ１の衣服レベルを判定する（Ｓ３０５）。具体的には、対話制御サーバ３０の制御部３１は、第１ユーザＵ１の衣服レベルがレベル「０」（未着衣）、レベル「１」（室内着）、レベル「２」（外出着）、レベル「３」（仕事着）のいずれであるかを判定する。なお、Ｓ３０５における衣服レベルの判定処理は衣服レベル判定部３４０により実行されるものである。
【０１０８】
対話制御サーバ３０の制御部３１は、Ｓ３０５での判定の結果、衣服レベルが１以下である場合には（Ｓ３０６：Ｙ）、着替フラグをＯＮに設定するとともに（Ｓ３０７）、着替用の衣服画像を選択する（Ｓ３０８）。なお、着替用の衣服画像は、衣服レベルが２以上の衣服の画像であり、Ｓ３０８における衣服画像の選択処理は、衣服画像選択部３５０により実行されるものである。
【０１０９】
そして、Ｓ３０８の後、又はＳ３０６で衣服レベルが１以下でない場合には（Ｓ３０６：Ｎ）、対話制御サーバ３０の制御部３１は、第１端末１０と第２端末２０のそれぞれに対して、対話の開始処理を通知して、対話処理を開始させる（Ｓ３０９）。
【０１１０】
第１端末１０の制御部１１は、対話制御サーバ３０から対話の開始が通知されると、第２端末２０との対話処理を開始する（Ｓ１０３）。同様に、第２端末２０の制御部２１は、対話制御サーバ３０から対話の開始が通知されると、第１端末１０との対話処理を開始する（Ｓ２０２）。ここで、対話の開始以後に実行される処理について図１１に示すシーケンス図に基づいて説明する。
【０１１１】
図１１に示されるように、第１端末１０の制御部１１は、カメラ１６により撮影される第１ユーザＵ１の撮影画像と、マイク１７により集音される音声データとを対話制御サーバ３０に送信する（Ｓ１１１）。
【０１１２】
対話制御サーバ３０の制御部３１は、通信部３３を介して第１ユーザＵ１の撮影画像と音声データとを受信する（Ｓ３１１）。そして、対話制御サーバ３０の制御部３１は、第１ユーザＵ１について着替フラグがＯＮに設定されている場合には（Ｓ３１２：Ｙ）、第１ユーザＵ１の撮影画像における衣服領域に、着せ替え用の衣服画像を合成した合成画像を生成する（Ｓ３１３）。この場合、上記生成した合成画像が第２端末２０における再生用の画像となる。一方で、第１ユーザＵ１について着替フラグがＯＮに設定されていない場合には（Ｓ３１２：Ｎ）、Ｓ３１１で受信された撮影画像が、第２端末２０における再生用の画像となる。
【０１１３】
Ｓ３１３の後、または第１ユーザＵ１について着替フラグがＯＮに設定されていない場合には（Ｓ３１２：Ｎ）、対話制御サーバ３０の制御部３１は、上記の再生用の画像と、Ｓ３１１で受信した音声データとを第２端末２０に送信する（Ｓ３１４）。
【０１１４】
第２端末２０の制御部２１は、通信部２３を介して再生用の画像と音声データとを受信し、受信した画像を表示部２５に表示させるとともに、受信した音声データをスピーカ２８により出力して再生する（Ｓ２１１）。
【０１１５】
また、第２端末２０の制御部２１は、カメラ２６により撮影される第２ユーザＵ２の撮影画像と、マイク２７により集音される音声データとを対話制御サーバ３０に送信する（Ｓ２１２）。
【０１１６】
対話制御サーバ３０の制御部３１は、通信部３３を介して第２ユーザＵ２の撮影画像と音声データとを受信する（Ｓ３１５）。そして、対話制御サーバ３０の制御部３１は、Ｓ３１５で受信した撮影画像と音声データをそれぞれ、再生用の画像及び音声データとして第１端末１０に送信する（Ｓ３１６）。
【０１１７】
第１端末１０の制御部１１は、通信部１３を介して再生用の画像と音声データとを受信し、受信した画像を表示部１５に表示させるとともに、受信した音声データをスピーカ１８により出力して再生する（Ｓ１１２）。
【０１１８】
第１端末１０の制御部１１は、対話処理を終了しない場合には（Ｓ１１３：Ｎ）、Ｓ１１１に戻る。同様に、第２端末２０の制御部２１は、対話処理を終了しない場合には（Ｓ２１３：Ｎ）、Ｓ２１１に戻る。
【０１１９】
また、第１端末１０の制御部１１は、例えば入力部１４で受け付けた操作に基づいて対話処理を終了する場合には（Ｓ１１３：Ｙ）、終了処理を実行し（Ｓ１１４）、対話処理を終了する。この場合、第１端末１０の制御部１１は、対話制御サーバ３０に終了を通知し、対話制御サーバ３０の制御部３１は第２端末２０に対話処理の終了を通知して処理を終了させる（Ｓ３１７）。第２端末２０の制御部２１は、対話の終了の通知を受けた場合には、対話処理を終了する（Ｓ２１４）。
【０１２０】
同様に、第２端末２０の制御部２１は、例えば入力部２４で受け付けた操作に基づいて対話処理を終了する場合には（Ｓ２１３：Ｙ）、終了処理を実行し（Ｓ２１４）、対話処理を終了する。この場合、第２端末２０の制御部２１は、対話制御サーバ３０に終了を通知し、対話制御サーバ３０の制御部３１は第１端末１０に対話処理の終了を通知して処理を終了させる（Ｓ３１７）。第１端末１０の制御部１１は、対話の終了の通知を受けた場合には、対話処理を終了する（Ｓ１１４）。
【０１２１】
以上説明した対話システム１によれば、第２ユーザＵ２から対話要求を受けた第１ユーザＵ１の着用する衣服のレベルが所定レベル以下（例えば室内着又は未着衣のレベル）である場合には、第１ユーザＵ１の衣服を所定レベルより上（例えば外出着又は仕事着）の衣服画像に着せ替えた状態で第２ユーザＵ２の表示部２５に第１ユーザＵ１の姿を表示させることができる。
これにより、第１ユーザＵ１が突然の対話要求を受けた場合でも、相手側に見られたくない格好を見せることなく対話を行うことができる。
第２ユーザＵ２にとっても、相手側がわざわざ着替えることを要しないため、対話をしたいタイミングで対話を実現させることができる。
【０１２２】
また、対話システム１では第１ユーザＵ１の着用する衣服が所定レベルより上の場合、すなわち第１ユーザＵ１が相手側に見られてもよい格好の場合にはそのままの姿を相手側に見せて対話を実行できる。これにより、着せ替え不要の場合には処理負荷を軽減できる。
【０１２３】
また、対話システム１では、ユーザが普段着用している衣服から着替えの対象とする衣服（例えば室内着）の画像特徴を学習することにより、ユーザが着替えの対象とする衣服を着用しているか否かを精度良く判定できる。
【０１２４】
また、対話システム１では、第１ユーザＵ１が衣服を着用していない状態である場合には、所定レベルより上の衣服画像に着せ替えた状態で第２ユーザＵ２の表示部２５に第１ユーザＵ１の姿を表示させることができる。
これにより、突然の対話要求を受けたユーザが、相手側に非着衣の状態を見せることなく対話を行うことができる。
【０１２５】
また、対話システム１では、第１ユーザＵ１について着せ替える衣服画像を、衣服レベルについて予め登録することができる。
また、対話システム１では、第１ユーザＵ１について着せ替える衣服画像を、衣服レベル及び対話相手のユーザ（第２ユーザＵ２）について予め登録することができる。
また、対話システム１では、第１ユーザＵ１について着せ替える衣服画像を、対話相手のユーザ（第２ユーザＵ２）について予め登録することができる。
【０１２６】
［５．その他の実施形態］
本発明は上記の実施形態に限定されるものではない。例えば、上記の実施形態においては、第１端末１０と第２端末２０との通信を対話制御サーバ３０が中継することとしたが、第１端末１０と第２端末２０とが直接通信するようにしてもよい。この場合においては、第１端末１０が対話制御サーバ３０の機能を有し、対話制御サーバ３０が実行する処理を行うこととしてよい。また、第２端末２０が対話制御サーバ３０の機能を有し、対話制御サーバ３０が実行する処理を行うこととしてもよい。
【０１２７】
また、上記の実施形態では、第２ユーザＵ２から対話要求を受けた第１ユーザＵ１の衣服レベルが所定レベル以下である場合に第１ユーザＵ１の衣服領域に所定レベルより上の衣服画像を合成して第２ユーザＵ２の表示部２５に表示させることについて説明したが、更に、第２ユーザＵ２の衣服レベルが所定レベル以下である場合に第２ユーザＵ２の衣服領域に所定レベルより上の衣服画像を合成して第１ユーザＵ１の表示部１５に第２ユーザＵ２の姿を表示させるようにしても構わない。
【０１２８】
また、上記の実施形態において、第１ユーザＵ１の衣服レベルが所定レベル以下である場合であって、第２ユーザＵ２の衣服レベルが所定レベルより上である場合には、第１ユーザＵ１の衣服領域に、第２ユーザＵ２の衣服レベルと同等の衣服レベルの衣服画像を合成するようにしてもよい。同様に、第２ユーザＵ２の衣服レベルが所定レベル以下である場合であって、第１ユーザＵ１の衣服レベルが所定レベルより上である場合には、第２ユーザＵ２の衣服領域に、第１ユーザＵ１の衣服レベルと同等の衣服レベルの衣服画像を合成するようにしてもよい。こうすることで、対話を行う第１ユーザＵ１と第２ユーザＵ２の衣服レベルのうち、一方が所定レベルよりも上である場合には、高い方の衣服レベルに揃えることができる。
【０１２９】
また、上記の実施形態では、ユーザの衣服を着せ替える基準をレベル「１」以下である場合について説明したが、当該基準はレベル「０」又は「２」としても構わない。また、上記の実施形態では、衣服レベルを４段階としたが、これに限られるものではない。
【０１３０】
［６．付記］
本発明の代表的な態様は以下の通りである。
【０１３１】
本発明に係る対話システムは、第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムであって、前記第２ユーザから前記第１ユーザに向けられた対話の開始要求を受け付ける受付手段と、前記第１ユーザを撮影した撮影画像を取得する取得手段と、前記受付手段により対話の開始要求を受け付けた後であって前記対話の開始前に、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する判定手段と、前記判定手段により判定された前記第１ユーザの衣服レベルが所定レベル以下である場合に、前記第１ユーザの衣服領域に前記所定レベルより上の衣服レベルの衣服画像を合成した合成画像を前記第２端末の表示部に表示させる表示制御手段と、を備える。
【０１３２】
また、本発明に係る対話システムの制御方法は、第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムの制御方法であって、前記対話システムが、前記第２ユーザから前記第１ユーザに向けられた対話の開始要求を受け付ける受付ステップと、前記対話システムが、前記第１ユーザを撮影した撮影画像を取得する取得ステップと、前記対話システムが、前記受付ステップで対話の開始要求を受け付けた後であって前記対話の開始前に、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する判定ステップと、前記対話システムが、前記判定ステップで判定された前記第１ユーザの衣服レベルが所定レベル以下である場合に、前記第１ユーザの衣服領域に前記所定レベルより上の衣服レベルの衣服画像を合成した合成画像を前記第２端末の表示部に表示させる表示制御ステップと、を有する。
【０１３３】
上記の対話システム及び対話システムの制御方法によれば、第１ユーザの着用する衣服のレベルが所定レベル以下である場合には、第１ユーザの衣服を所定レベルより上の衣服画像に着せ替えた状態で第２ユーザの表示部に第１ユーザの姿を表示させることができる。これにより、ユーザが突然の対話要求を受けた場合でも、相手側に見られたくない格好を見せることなく対話を行うことができる。
対話要求を行うユーザにとっても、相手側がわざわざ着替えることを要しないため、対話をしたいタイミングで対話を実現させることができる。
【０１３４】
また、上記の対話システムにおいて、前記所定レベルの衣服を着用している時間帯において前記取得手段により取得される撮影画像に基づいて、前記所定レベルに該当する画像特徴の条件を学習する学習手段を備え、前記判定手段は、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴が前記学習された画像特徴の条件を満足する場合に、前記第１ユーザの衣服レベルが前記所定レベルであると判定することとしてもよい。
こうすることで、ユーザが普段着用している衣服から着替えの対象とする衣服の画像特徴を学習し、ユーザが着替えの対象とする衣服を着用しているか否かを精度良く判定できる。
【０１３５】
また、上記の対話システムにおいて、前記判定手段は、前記撮影画像における前記第１ユーザの衣服領域から抽出される画像特徴に基づいて、前記第１ユーザに衣服の着用が検出されない場合には、前記第１ユーザの衣服レベルが前記所定レベル未満と判定することとしてもよい。
こうすることで、第１ユーザが衣服を着用していない状態である場合には、所定レベルより上の衣服画像に着せ替えた状態で第２ユーザの表示部に第１ユーザの姿を表示させることができる。これにより、突然の対話要求を受けたユーザが、相手側に非着衣の状態を見せることなく対話を行うことができる。
【０１３６】
また、上記の対話システムにおいて、前記所定レベルより上の衣服レベルについて衣服画像を記憶する記憶手段と、前記判定手段により判定された前記第１ユーザの衣服レベルが前記所定レベル以下である場合に、前記所定レベルより上の衣服レベルのいずれかを選択する選択手段と、を備え、前記表示制御手段は、前記選択手段により選択された衣服レベルについて前記記憶手段に記憶される衣服画像を合成した合成画像を前記第２端末の表示部に表示させることとしてもよい。
こうすることで、第１ユーザについて着せ替える衣服画像を、衣服レベルについて予め登録することができる。
【０１３７】
また、上記の対話システムにおいて、前記第２ユーザに関連付けて前記所定レベルより上のいずれかの衣服レベルを記憶する衣服レベル記憶手段を備え、前記選択手段は、前記判定された前記第１ユーザの衣服レベルが前記所定レベル以下である場合に、前記第２ユーザに関連付けて前記衣服レベル記憶手段に記憶される衣服レベルを選択することとしてもよい。
こうすることで、第１ユーザについて着せ替える衣服画像を、衣服レベル及び対話相手のユーザについて予め登録することができる。
【０１３８】
また、上記の対話システムにおいて、前記第２ユーザに関連付けて衣服画像を記憶する衣服画像記憶手段を備え、前記表示制御手段は、前記判定手段により判定された前記第１ユーザの衣服レベルが前記所定レベル以下である場合に、前記第２ユーザに関連付けて前記衣服画像記憶手段に記憶される衣服画像を前記第１ユーザの衣服領域に合成した合成画像を前記第２端末の表示部に表示させることとしてもよい。
こうすることで、第１ユーザについて着せ替える衣服画像を、対話相手のユーザについて予め登録することができる。
【０１３９】
また、上記の対話システムにおいて、前記表示制御手段は、前記判定手段により判定された前記第１ユーザの衣服レベルが前記所定レベルより上である場合には、前記撮影画像を前記第２端末に表示させることとしてもよい。
こうすることで、対話要求を受けたユーザが相手側に見られてもよい格好の場合にはそのままの姿を相手側に見せて対話を実行できる。これにより、着せ替え不要の場合には処理負荷を軽減できる。
【符号の説明】
【０１４０】
Ｕ１  第１ユーザ
Ｕ２  第２ユーザ
Ｐ１  第１撮影画像
Ｐ２  第２撮影画像
Ｄ１  第１表示画像
Ｄ２  第２表示画像
Ｒ  室内着
Ｗ  仕事着
１  対話システム
２  ネットワーク
１０  第１端末
１１  制御部
１２  記憶部
１３  通信部
１４  入力部
１５  表示部
１６  カメラ
１７  マイク
１８  スピーカ
１９  赤外線センサ
２０  第２端末
２１  制御部
２２  記憶部
２３  通信部
２４  入力部
２５  表示部
２６  カメラ
２７  マイク
２８  スピーカ
２９  赤外線センサ
３０  対話制御サーバ
３１  制御部
３２  記憶部
３３  通信部
１００  撮影画像送信部
２００  開始要求部
２１０  表示制御部
３００  データ記憶部
３０１  衣服レベルテーブル
３０２  着替衣服情報テーブル
３０３  衣服画像テーブル
３１０  撮影画像取得部
３２０  学習部
３３０  開始要求受付部
３４０  衣服レベル判定部
３５０  衣服画像選択部
３６０  画像合成部
３７０  表示制御部
【図１】
2017175543.tif 000003
【図２】
2017175543.tif 000004
【図３】
2017175543.tif 000005
【図４】
2017175543.tif 000006
【図５】
2017175543.tif 000007
【図６】
2017175543.tif 000008
【図７】
2017175543.tif 000009
【図８】
2017175543.tif 000010
【図９】
2017175543.tif 000011
【図１０】
2017175543.tif 000012
【図１１】
2017175543.tif 000013