(57)【要約】【課題】移動体の動きとともに移動体を操作するユーザの映像を多くのユーザが視認することが可能なコミュニケーション支援システムを提供する。【解決手段】本発明のコミュニケーション支援システムは、移動体を操作するリモート拠点のユーザと移動体が存在する遠隔拠点のユーザとのコミュニケーションを支援する。かかるシステムは、リモート拠点から遠隔拠点に配置された移動体を操作する操作部１１０と、リモート拠点にて移動体を操作するユーザを撮像する撮像部と、遠隔拠点に設けられ、撮像部により撮像された映像を、移動体が移動する移動面を含む表示面に表示する表示部と、表示面における移動体の位置を検出する位置検出部２１０と、位置検出部２１０により検出された移動体の位置に基づいて表示面に表示される映像の表示方法を制御する映像制御部２４０とを備える。映像制御部２４０は、撮像部により撮像された映像を移動体近傍の表示面に表示する。【選択図】図１
2010219989.tif 000002
【特許請求の範囲】
【請求項１】
遠隔操作可能な移動体を操作するリモート拠点のユーザと前記移動体が存在する遠隔拠点のユーザとのコミュニケーションを支援するコミュニケーション支援システムであって、
前記リモート拠点から前記遠隔拠点に配置された前記移動体を操作する操作部と、
前記リモート拠点にて前記移動体を操作するユーザを撮像する撮像部と、
前記遠隔拠点に設けられ、前記撮像部により撮像された映像を、前記移動体が移動する移動面を含む表示面に表示する表示部と、
前記表示面における前記移動体の位置を検出する位置検出部と、
前記位置検出部により検出された前記移動体の位置に基づいて前記表示面に表示される映像の表示方法を制御する映像制御部と、
を備え、
前記映像制御部は、前記撮像部により撮像された映像を、前記表示面のうち前記移動体近傍の前記表示面に表示する、コミュニケーション支援システム。
【請求項２】
前記映像制御部は、前記映像を、前記移動体の動きに追従させて前記移動体近傍の前記表示面に表示する、請求項１に記載のコミュニケーションシステム。
【請求項３】
前記映像制御部は、前記映像を、前記表示面における前記移動体の位置と前記表示面の境界との距離が最大となる方向に表示する、請求項１または２に記載のコミュニケーション支援システム。
【請求項４】
前記リモート拠点にて前記移動体を操作するユーザの音声を入力する音声入力部と、
前記音声入力部に入力された音声を解析する音声解析部と、
をさらに備え、
前記映像制御部は、前記音声解析部による音声の解析結果に基づいて、前記映像の表示方法を変更する、請求項１〜３のいずれかに記載のコミュニケーション支援システム。
【請求項５】
前記映像制御部は、
前記移動体が所定時間以上動作していないか否かを判定し、
前記移動体が所定時間以上動作していない場合、前記音声解析部による音声の解析結果により前記移動体を操作するユーザが発話しているか否かを判定し、
前記ユーザが発話していると判定した場合、前記映像を表示する映像サイズを拡大する、請求項４に記載のコミュニケーション支援システム。
【請求項６】
前記映像制御部は、前記映像が前記表示面の境界内に収まるように前記映像サイズを調整する、請求項５に記載のコミュニケーション支援システム。
【請求項７】
前記映像制御部は、前記音声解析部により解析された音声の大きさに基づいて、前記表示部に表示する映像のサイズを変更する、請求項４に記載のコミュニケーション支援システム。
【請求項８】
前記表示部は、前記映像を投射する映像投射部と、前記映像投射部から投射された映像が表示される表示面とからなる、請求項１〜７のいずれかに記載のコミュニケーション支援システム。
【請求項９】
遠隔拠点に配置された遠隔操作可能な移動体を操作するリモート拠点のユーザの映像を、前記遠隔拠点の表示部の表示面に表示させる表示制御装置であって、
前記移動体が移動する移動面を含む前記表示面における前記移動体の位置を検出する位置検出部と、
前記位置検出部により検出された前記移動体の位置に基づいて、前記表示面に表示する映像の表示方法を制御する映像表示部と、
を備え、
前記映像制御部は、前記映像を、前記表示面のうち前記移動体近傍の表示面に表示する、表示制御装置。
【請求項１０】
遠隔拠点に配置された遠隔操作可能な移動体を操作するリモート拠点のユーザの映像を、前記遠隔拠点の表示部の表示面に表示する表示制御方法であって、
前記遠隔拠点に配置された前記移動体を操作する操作情報を、前記リモート拠点の操作部から入力するステップと、
前記リモート拠点にて前記移動体を操作するユーザを撮像するステップと、
前記リモート拠点のユーザの映像を、前記遠隔拠点に設けられた表示部の表示面に表示するステップと、
前記移動体が移動する移動面を含む前記表示面における前記移動体の位置を検出するステップと、
前記移動体の位置に基づいて、前記撮像部により撮像された映像を、前記表示面のうち前記移動体近傍の前記表示面に表示するステップと、
を含む、表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーション支援システム、表示制御装置および表示制御方法に関する。
【背景技術】
【０００２】
音声や映像などのメディアを用いた遠隔コミュニケーションにおいて、実際にコミュニケーションを行う人の身体に関する情報がコミュニケーションするそれぞれの空間において欠如するために生じる問題が従来から存在していた。例えば、単純にカメラで撮影されている映像が遠隔の場に送信されたとしても、そのカメラを動かすことができないために遠隔の場のユーザが見ることができる範囲が制限されたり、遠隔ユーザの身体の向きや姿勢等によって表現されている非言語的情報を的確に送受信することができず自然なコミュニケーションを行うことが困難であるという問題がある。
【０００３】
このような問題を解決する方法として、遠隔ユーザの分身として動作する移動体であるロボットを用いたロボットシステムが提案されている（例えば、特許文献１、２）。これらのシステムでは、重要な非言語表現を行うため、ロボットとして動作可能な身体とともに参加者の表情を表示するディスプレイを備えている。これにより、遠隔の場にいるユーザから発せられた情報をより多く伝達することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００１−５２４２８６号公報
【特許文献２】特開２００２−０４６０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１、２に記載のシステムでは、ユーザの表情を表示するためのディスプレイがロボットに搭載されており、またそのディスプレイが通常使用されている平面の画像を表示するディスプレイであるため、実際にはディスプレイに提示される表情を見ることができる範囲が制限されるという問題があった。このため、ある場所にいるユーザはディスプレイに表示された画像を見ることができるが、他の場所のユーザにはその画像が見づくなっていた。また、ディスプレイをロボットに搭載するためディスプレイのサイズに制限が生じ、結果ディスプレイに表示されたロボットを操作するユーザの表情を十分に視認することができないという問題もあった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、移動体の動きとともに移動体を操作するユーザの映像を多くのユーザが視認することが可能な、新規かつ改良されたコミュニケーション支援システム、表示制御装置および表示制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、遠隔操作可能な移動体を操作するリモート拠点のユーザと移動体が存在する遠隔拠点のユーザとのコミュニケーションを支援するコミュニケーション支援システムが提供される。かかるコミュニケーション支援システムは、リモート拠点から遠隔拠点に配置された移動体を操作する操作部と、リモート拠点にて移動体を操作するユーザを撮像する撮像部と、遠隔拠点に設けられ、撮像部により撮像された映像を、移動体が移動する移動面を含む表示面に表示する表示部と、表示面における移動体の位置を検出する位置検出部と、位置検出部により検出された移動体の位置に基づいて表示面に表示される映像の表示方法を制御する映像制御部と、を備える。映像制御部は、撮像部により撮像された映像を、表示面のうち移動体近傍の表示面に表示する。
【０００８】
本発明によれば、遠隔拠点のユーザは、リモート拠点のユーザにより操作されて遠隔拠点で動作する移動体の動作からリモート拠点のユーザの非言語的感情を認識するとともに、リモート拠点のユーザの映像を目視してリモート拠点のユーザの表情を認識する。このとき、遠隔拠点に表示されるリモート拠点のユーザの映像を、移動体が移動する移動面を含む表示面に表示する。これにより、より多くの遠隔拠点のユーザが映像を目視することができる。また、映像を移動体の近傍の表示面に表示させることにより、遠隔拠点のユーザが移動体と映像との双方を一度に把握しやすくなる。
【０００９】
ここで、映像制御部は、映像を、移動体の動きに追従させて移動体近傍の表示面に表示するようにしてもよい。これにより、ユーザが移動体の動きを追って視線を移動させたときにも、映像も移動体の動きに追従するため、移動体と映像との双方を一度に把握することができる。
【００１０】
また、映像制御部は、映像を、表示面における移動体の位置と表示面の境界との距離が最大となる方向に表示してもよい。これにより、映像を表示する領域を大きく確保することができる。
【００１１】
さらに、コミュニケーション支援システムに、リモート拠点にて移動体を操作するユーザの音声を入力する音声入力部と、音声入力部に入力された音声を解析する音声解析部と、を備えることもできる。このとき、映像制御部は、音声解析部による音声の解析結果に基づいて、映像の表示方法を変更する。これにより、話者の存在感も表現することが可能となる。
【００１２】
例えば、映像制御部は、移動体が所定時間以上動作していないか否かを判定し、移動体が所定時間以上動作していない場合、音声解析部による音声の解析結果により移動体を操作するユーザが発話しているか否かを判定するようにしてもよい。そして、ユーザが発話していると判定した場合、映像を表示する映像サイズを拡大する。これにより、移動体を操作するユーザが発話に集中して移動体の操作を停止していた場合にも、当該ユーザの映像のサイズが拡大されることにより、話者であるユーザの存在感をアピールすることができる。
【００１３】
あるいは、映像制御部は、音声解析部により解析された音声の大きさに基づいて、表示部に表示する映像のサイズを変更するようにしてもよい。これにより、話者の発言の内容の強さ等も表現することができる。
【００１４】
また、映像制御部は、表示面の境界内に収めるように映像サイズを調整してもよい。これにより、映像が確実に表示面の境界内に表示されるので、見やすい映像をユーザに提供することができる。
【００１５】
表示部は、例えば、映像を投射する映像投射部と、映像投射部から投射された映像が表示される表示面とから構成することもできる。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、遠隔拠点に配置された遠隔操作可能な移動体を操作するリモート拠点のユーザの映像を、遠隔拠点の表示部の表示面に表示させる表示制御装置が提供される。かかる表示制御装置は、移動体が移動する移動面を含む表示面における移動体の位置を検出する位置検出部と、位置検出部により検出された移動体の位置に基づいて、移動面を含む表示面に表示する映像の表示方法を制御する映像表示部と、を備える。映像制御部は、映像を、表示面のうち移動体近傍の表示面に表示する。
【００１７】
さらに、上記課題を解決するために、本発明の別の観点によれば、遠隔拠点に配置された遠隔操作可能な移動体を操作するリモート拠点のユーザの映像を、遠隔拠点の表示部の表示面に表示する表示制御方法が提供される。かかる表示制御方法は、遠隔拠点に配置された移動体を操作する操作情報を、リモート拠点の操作部から入力するステップと、リモート拠点にて移動体を操作するユーザを撮像するステップと、リモート拠点のユーザの映像を、遠隔拠点に設けられた表示部の表示面に表示するステップと、移動体が移動する移動面を含む表示面における移動体の位置を検出するステップと、移動体の位置に基づいて、撮像部により撮像された映像を、表示面のうち移動体近傍の表示面に表示するステップと、を含む。
【発明の効果】
【００１８】
以上説明したように本発明によれば、移動体の動きとともに移動体を操作するユーザの映像を多くのユーザが視認することが可能なコミュニケーション支援システム、表示制御装置および表示制御方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態にかかるコミュニケーション支援システムの概略を示す説明図である。
【図２】同実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。
【図３Ａ】同実施形態における映像表示位置の算出方法を示すフローチャートである。
【図３Ｂ】同実施形態における映像表示位置の算出方法を示すフローチャートである。
【図４】同実施形態における映像表示位置の算出方法を説明するための説明図である。
【図５】ロボットの方向を説明するための説明図である。
【図６】ロボットに映像表示部が搭載された場合におけるユーザの映像の見やすさについて説明する説明図である。
【図７】ロボットと映像表示部とが別個に配置された場合におけるユーザの映像の見やすさについて説明する説明図である。
【図８】同実施形態にかかる映像表示方法により映像を表示した場合におけるユーザの映像の見やすさについて説明する説明図である。
【図９】本発明の第２の実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。
【図１０】同実施形態における映像サイズ変更処理を示すフローチャートである。
【図１１】同実施形態における映像サイズ変更処理を説明するための説明図である。
【図１２】ロボットが載置される載置台の一例を示す説明図である。
【図１３】ロボットが載置される載置台の他の一例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
（第１の実施形態）
＜コミュニケーション支援システムの概略＞
まず、図１に基づいて、本実施形態にかかるコミュニケーション支援システムの概略について説明する。なお、図１は、本実施形態にかかるコミュニケーション支援システムの概略を示す説明図である。
【００２２】
本実施形態では、移動体であるロボット２２０を操作するユーザが存在するリモート拠点（拠点Ａ）と、ロボット２２０が配置される遠隔のローカル拠点（拠点Ｂ）とに存在するユーザのコミュニケーションを支援するコミュニケーション支援システムについて説明する。コミュニケーション支援システムは、図１に示すように、ネットワーク１０を介して接続された、リモート拠点およびローカル拠点に配置された構成要素を機能させることにより実現される。
【００２３】
リモート拠点には、ローカル拠点のロボット２２０を操作するユーザＵ１が存在する。ユーザＵ１は、操作部１１０を操作してロボット２２０の動きを操作する。ロボット２２０は、ローカル拠点を撮像するカメラを搭載している。ロボット２２０を動作させることで、ローカル拠点にある撮像対象を変化させることができ、また、カメラで取得する映像を変化させるためのロボット２２０の動きや向きが、ユーザＵ１の関心や興味を自然に表現することになる。
【００２４】
また、ユーザＵ１は、例えばカメラなどの表情映像取得部１２０により撮影されている。表情映像取得部１２０は、取得したユーザＵ１の表情映像を、後述する通信部およびネットワーク１０を介して、ローカル拠点のシステム構成要素へ送信する。さらに、リモート拠点には、ロボット２２０に搭載されたカメラなどにより撮像されたローカル拠点に存在するユーザＵ２〜Ｕ４の表情映像を表示するための表示部１４０が設けられている。
【００２５】
一方、ローカル拠点には、リモート拠点に存在するユーザＵ１に操作されるロボット２２０が配置される。ロボット２２０は、ユーザＵ１が操作部１１０を用いて入力した操作情報に基づいて動作する。これにより、ロボット２２０と同一空間に存在するユーザＵ２〜Ｕ４は、ロボット２２０の動きからユーザＵ１の興味関心を容易に理解することができる。なお、ユーザＵ２〜Ｕ４は、ロボット２２０が自律移動するものではなく、リモート拠点にいるユーザＵ１によってリモート操作されていることを認識しているものとする。
【００２６】
また、ローカル拠点では、リモート拠点のユーザＵ１の表情映像が、ロボット２２０が移動する移動面を含む表示面２６０に表示される。例えば、表示面２６０に対して上方からプロジェクタなどの映像投射装置２５２により表示面２６０へ映像が投射されることにより、表示面２６０に映像２５４が表示される。ローカル拠点に存在するユーザＵ２〜Ｕ４は、表示面２６０に表示されたユーザＵ１の映像２５４を視認することができる。
【００２７】
このように、リモート拠点のユーザＵ１は、ローカル拠点に配置されたロボット２２０を動作させながら、ローカル拠点に存在するユーザＵ２〜Ｕ４とコミュニケーションを行う。
【００２８】
以上、本実施形態にかかるコミュニケーション支援システムの概略について説明した。以下、図２〜図５に基づいて、コミュニケーション支援システムの構成とその機能について詳細に説明していく。なお、図２は、本実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。図３Ａおよび図３Ｂは、本実施形態における映像表示位置の算出方法を示すフローチャートである。図４は、本実施形態における映像表示位置の算出方法を説明するための説明図である。図５は、ロボット２２０の方向を説明するための説明図である。
【００２９】
＜コミュニケーション支援システムの構成＞
まず、図２に基づいて、コミュニケーション支援システムの構成を説明する。本実施形態にかかるコミュニケーション支援システムは、上述したように、リモート拠点のシステム構成要素群１００と、ローカル拠点のシステム構成要素群２００とがネットワーク１０を介して接続されている。ネットワーク１０は、インターネット網やＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの一般的なネットワークである。
【００３０】
リモート拠点のシステム構成要素群１００は、図２に示すように、操作部１１０と、表情映像取得部１２０と、通信部１３０とからなる。
【００３１】
操作部１１０は、リモート拠点に存在するユーザがローカル拠点に配置されたロボット２２０を操作するための機能部である。操作部１１０は、ユーザによる操作からロボット２２０を操作する操作情報を含むデータを生成し、通信部１３０へ出力する。操作部１１０は、例えば、ジョイスティック型コントローラなどの物理的な装置として構成することもでき、コンピュータシステム上のＧＵＩ要素などソフトウェア的に構成することもできる。
【００３２】
表情映像取得部１２０は、リモート拠点に存在するユーザの表情を取得する機能部であって、例えばカメラなどの撮像部から構成される。表情映像取得部１２０は、操作部１１０を用いてロボット２２０の操作を行っているユーザの表情を撮影し、符号化して映像データ化する。そして、表情映像取得部１２０は、生成した映像データを通信部１３０へ出力する。
【００３３】
通信部１３０は、ネットワーク１０を介して、リモート拠点のシステム構成要素により生成した情報をローカル拠点のシステム構成要素へ送信し、また、ローカル拠点のシステム構成要素から送信された情報を受信する機能部である。通信部１３０は、例えば、操作部１１０により生成された操作情報や、表情映像取得部１２０により生成された映像データを、ネットワーク１０を介してローカル拠点のシステム構成要素へ送信する。
【００３４】
一方、ローカル拠点のシステム構成要素群２００は、位置検出部２１０と、ロボット２２０と、通信部２３０と、映像制御部２４０と、映像表示部２５０とからなる。
【００３５】
位置検出部２１０は、ロボット２２０の移動面におけるロボット２２０の位置を検出する機能部であって、例えば赤外線センサや静電容量センサ等から構成される。また、位置検出部２１０は、例えばロボット２２０に搭載されている電子コンパスと通信したり、ロボット２２０を撮影してその映像を認識したりするなどの方法により、ロボット２２０の向いている方向を検出することもできる。
【００３６】
ロボット２２０は、リモート拠点に存在するユーザによって操作されることで、当該ユーザの非言語的情報を伝達する。ロボット２２０は、車輪や脚部等の移動機構を備えており、空間を移動することができる。また、ロボット２２０は、ロボット２２０の向きを変更するための回転機構を備えている。このような機構を備えることにより、ロボット２２０の位置や姿勢、向いている方向によってロボット２２０を操作しているユーザの興味や関心を物理空間内で表現することができる。さらに、ロボット２２０は、カメラなどの撮像機構を備えることもでき、撮像機構により取得した映像を遠隔地に送信することもできる。
【００３７】
通信部２３０は、ネットワーク１０を介して、ローカル拠点のシステム構成要素により生成した情報をリモート拠点のシステム構成要素へ送信し、また、リモート拠点のシステム構成要素から送信された情報を受信する機能部である。通信部２３０は、例えば、リモート拠点の通信部１３０から受信したロボット２２０の操作情報をロボット２２０へ送信したり、映像データを映像表示部２５０へ送信したりする。また、通信部２３０は、映像表示方法を変更する変更データを映像制御部２４０へ送信することもできる。
【００３８】
映像制御部２４０は、映像表示部２５０に表示される映像の表示方法を制御する機能部である。映像制御部２４０は、ロボット２２０の位置情報を位置検出部２１０から受信し、そのロボット２２０の位置情報に基づいて映像の表示位置を決定する。映像制御部２４０による映像表示位置の算出方法については、後述する。
【００３９】
映像表示部２５０は、リモート拠点のユーザの表情映像を表示する機能部である。映像表示部２５０は、例えば液晶ディスプレイのような表示部が表示面に直接映像を表示する一体型の表示手段でもよく、プロジェクタなどの映像投射部と当該映像投射部から映像が投射されるスクリーン面などの表示面を備える表示部とからなる分離型の表示手段でもよい。プロジェクタを用いる場合、映像表示位置や映像サイズを容易かつ自由に変更することが可能である。また、分離型の表示手段である場合、映像表示部２５０の映像投射部は、例えば空間上方の所定の位置に固定されていてもよく、空間上方を移動可能に設けられていてもよい。また、表示部として、例えば会議卓などのテーブルの平面を利用することもできる。映像表示部２５０は、映像制御部２４０により算出された表示位置に映像を表示する。なお、映像表示部２５０は、２次元映像を表示することもでき、３次元映像を表示することもできる。
【００４０】
以上、本実施形態にかかるコミュニケーション支援システムの構成について説明した。なお、図２に示した各拠点のシステム構成要素は、本実施形態の特徴を明確にするため、必要最小限の構成要素を記載している。したがって、当該システムに、一般的な遠隔コミュニケーションで利用される、音声を取得するマイクや固定カメラによる映像を送受信するための要素を各拠点に設けてもよい。
【００４１】
このような構成要素からなるコミュニケーション支援システムでは、図１に基づいて説明したように、ロボット２２０の動きと映像表示部２５０に表示される表情映像とにより、リモート拠点にいるユーザの非言語的情報をローカル拠点のユーザに伝達する。このとき、ローカル拠点に存在するより多くのユーザに対してリモート拠点のユーザの表情映像を視認させるため、ロボット２２０の移動する移動面を含む表示面に、ロボット２２０の動きに追従してロボット２２０の近傍に表情映像を表示する。このように表情映像を表示させることで、ユーザはロボット２２０への視線の向きと略同一方向に表情映像がされるので、ユーザにとってロボット２２０の動きと表情映像とを同時に見やすくなる。また、ロボット２２０の移動面を含む表示面に表像映像を表示することで、ユーザの位置によって表像映像が見えなくなったりすることを低減することができる。
【００４２】
＜映像表示位置の算出方法＞
以下、図３Ａおよび図３Ｂのフローチャートに基づいて、本実施形態における映像表示位置の算出方法について説明する。
【００４３】
まず、移動面におけるロボット２２０の位置ｐ（ｘ，ｙ）およびロボット２２０の向きａ１（ｄｘ，ｄｙ）を取得する（ステップＳ１００）。ここで、図４に基づいて、ロボット２２０の移動する移動面を含む表示面におけるロボット２２０の大きさと位置、表示面の境界、および映像表示位置の平面的関係を説明する。
【００４４】
本実施形態では、図１に示すように、ロボット２２０は会議卓のような限定的空間内で動作するとしており、このとき移動面の境界は会議卓の辺、あるいは会議卓の平面のうちロボット２２０が移動可能である領域（移動面）を囲む外郭線とすることができる。すなわち、移動面は、会議卓と同一の大きさであってもよく、別個に移動面の境界を設定してもよい。本実施形態では、移動面と表示面は同一領域であるとする。図４では、表示面の境界２８０を、幅（ｘ方向の長さ）ｌｗ、高さ（ｙ方向の長さ）ｌｈで規定される略長方形の領域として表わしている。このとき、左下角を原点Ｏ（０，０）とする。また、図１では、映像表示部２５０を構成する映像投射部２５２は、移動面を含む、あるいは移動面と同一の表示面に映像を投射する。
【００４５】
図４において、ｐ（ｘ，ｙ）は表示面におけるロボット２２０の位置を示す。ロボット２２０の位置は、位置検出部２１０により検出される。また、ロボット２２０の向きは二次元ベクトル（ｄｘ，ｄｙ）によって表現される。このロボット２２０の向きは、図５に示すように、例えばロボットの存在する点（すなわち、ｐ（ｘ，ｙ））を原点としたときの長さが１となるように調整された方向ベクトルとして表現することができる。例えば、ロボット２２０が図５の図面上部を向いている状態の方向ベクトルを（０，１）で表わすと、時計回りに９０°回転した状態は方向ベクトル（１，０）と表すことができる。ステップＳ１００にて算出するロボット２２０の向きは、例えばロボット２２０の正面の向きとすることができる。ロボット２２０の向きは、ロボット２２０に搭載された電子コンパスにより測定することができる。
【００４６】
次いで、方向ベクトルａ１から他の３つの向きを表す方向ベクトルａ２、ａ３、ａ４を算出する（ステップＳ１０２）。方向ベクトルａ２は、方向ベクトルａ１と正反対の方向を示す方向ベクトルであって、ａ２（−ｄｘ，−ｄｙ）で表わされる。方向ベクトルａ３は、方向ベクトルａ１を時計回りに９０°回転させた方向を示す方向ベクトルであって、ａ３（−ｄｙ，ｄｘ）で表わされる。方向ベクトルａ４は、方向ベクトルａ１を反時計回りに９０°回転させた方向を示す方向ベクトルであって、ａ４（ｄｙ，−ｄｘ）で表わされる。
【００４７】
さらに、ステップＳ１００およびＳ１０２にて算出したロボット２２０の４つの向きａ１〜ａ４について、ロボット２２０の位置ｐ（ｘ，ｙ）から表示面の境界２８０までの距離を算出する（ステップＳ１０４〜Ｓ１２６）。まず、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線と表示面の境界２８０との間の距離ｄ１を算出する。距離ｄ１を求めるため、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線と表示面の境界２８０との交点Ｐ１（ｐｘ，ｐｙ）を算出する。なお、方向ベクトルは、ａ１〜ａ４の４種類あるが、その成分を（ａｘ，ａｙ）と表記する場合もある。
【００４８】
まず、方向ベクトルａ１のｘ成分（ａｘ）が０以上であるか否かを判断する（ステップＳ１０６）。ａｘが０以上である場合には、ｘ方向における表示面の境界２８０をｘ＝ｌｗに設定する（ステップＳ１０８）。一方、ａｘが０より小さい場合には、ｘ方向における表示面の境界２８０をｘ＝０に設定する（ステップＳ１１０）。
【００４９】
次いで、方向ベクトルａ１のｙ成分（ａｙ）が０以上であるか否かを判断する（ステップＳ１１２）。ａｙが０以上である場合には、ｙ方向における表示面の境界２８０をｙ＝ｌｈに設定する（ステップＳ１１４）。一方、ａｙが０より小さい場合には、ｙ方向における表示面の境界２８０をｙ＝０に設定する（ステップＳ１１６）。
【００５０】
さらに、ステップＳ１０６〜Ｓ１１６にて設定された表示面のｘ方向の境界２８０およびｙ方向の境界２８０と、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線との交点ｃｘ，ｃｙを算出する（ステップＳ１１８）。ｃｘは、水平境界（ｙ方向の境界）と直線との交点のｘ座標であり、ｃｙは、垂直境界（ｘ方向の境界）と直線との交点のｙ座標である。
【００５１】
ここで、一例として、ｐ（ｘ１，ｙ１）、ａｘ＜０かつａｙ≧０であるときの表示面の境界２８０との交点の算出方法について具体的に説明する。Ｐ１（ｐｘ，ｐｙ）を算出することは、ｐを通る傾きａｙ／ａｘの直線と、直線ｙ＝ｌｈとの交点を算出することに相当する。ここで、ａｘ＜０より垂直境界はｘ＝０となり、ａｙ≧０より水平境界はｙ＝ｌｈとなる。これより、直線ｙ＝ｌｈとの交点Ｐ１１は、
ｙ−ｙ１＝ａｙ／ａｘ（ｘ−ｘ１）
ｙ＝ｌｈ
の連立方程式を解くことにより、
ｃｘ＝ｐｘ＝ａｘ／ａｙ（ｌｈ−ｙ１）＋ｘ１
ｐｙ＝ｌｈ
を得ることができ、ｃｘを取得できる。
【００５２】
同様に、直線ｘ＝０との交点Ｐ１２は、
ｐｘ＝０
ｃｙ＝ｐｙ＝−（ａｙ×ｘ１／ａｘ）＋ｙ１
を得ることができ、ｃｙを取得できる。
【００５３】
図３Ａの映像表示位置の算出方法の説明に戻り、ステップＳ１１８で表示面の境界２８０との交点が算出されると、ｃｘ＜ｌｗかつｃｙ＞ｌｈを満たすか否かを判定する（ステップＳ１２０）。これにより、Ｐ１１とＰ１２のうちどちらが表示面の境界２８０内に存在するかを判定する。
【００５４】
ｃｘ＜ｌｗかつｃｙ＞ｌｈである場合には、表示面の水平境界との交点とロボット２２０の位置ｐとの距離をｄとする（ステップＳ１２２）。距離ｄはユークリッド距離で表現される。例えば、ｐ（ｘ１，ｙ１）とすると、距離ｄは、
ｄ＝ｓｑｒｔ（（ｘ１−ｃｘ）２＋ｙ１２）
で表わされる。
【００５５】
一方、ｃｘ＜ｌｗかつｃｙ＞ｌｈを満たさない場合には、表示面の垂直境界との交点とロボット２２０の位置ｐとの距離をｄとする（ステップＳ１２４）。例えば、ｐ（ｘ１，ｙ１）とすると、距離ｄは、
ｄ＝ｓｑｒｔ（ｘ１２＋（ｙ１−ｃｙ）２）
で表わされる。
【００５６】
このようにして、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ１（ｄｘ，ｄｙ）で表わされる向きに伸ばした直線と表示面の境界２８０との間の距離ｄ１を算出することができる。以下、ロボット２２０の位置ｐ（ｘ，ｙ）から方向ベクトルａ２、ａ３、ａ４で表わされる向きに伸ばした直線と表示面の境界２８０との間の距離ｄ２、ｄ３、ｄ４についても、ステップＳ１０４〜ステップＳ１２６の処理を繰り返すことで算出することができる。
【００５７】
次いで、図３Ｂに示すように、ステップＳ１０４〜ステップＳ１２６において算出された距離ｄ１〜ｄ４のうち最大となる距離の方向を映像の表示方向ベクトルＡとする（ステップＳ１２８）。これにより、表示面におけるロボット２２０の位置からみて映像を表示する領域を多く確保できる方向が映像の表示方向として決定される。例えば、図４では、距離ｄ１〜ｄ４のうち距離が最大であるｄ２の方向ベクトルａ２が映像の表示方向ベクトルＡとされる。
【００５８】
さらに、ロボットサイズＲ、ロボット２２０の位置ｐおよび表示方向ベクトルＡから映像の表示位置Ｐ（Ｘ，Ｙ）を算出する（ステップＳ１３０）。ロボットサイズＲは、ロボット２２０の領域を円として表わしたときの半径である。表示面に表示する映像がロボット２２０の領域と重複しないように、ロボット２２０の領域外に映像の表示位置Ｐを決定する。ここで、表示方向ベクトルＡをＡ（Ａｘ，Ａｙ）として表わすと、Ａｘ、Ａｙは距離が１となるように正規化されているため、映像の表示位置Ｐ（Ｘ，Ｙ）は、
Ｘ＝ｘ＋Ｒ×Ａｘ
Ｙ＝ｙ＋Ｒ×Ａｙ
と表わされる。
【００５９】
その後、ステップＳ１３０にて算出された映像の表示位置Ｐ（Ｘ，Ｙ）を始点として、表示面に映像を表示する（ステップＳ１３２）。例えば図４に示すように、表示する映像の形状を長方形であるとき、ロボット２２０の領域を表す境界とロボット２２０の位置ｐから方向ベクトルａ２に延びる直線との交点が映像の表示位置Ｐとなり、表示位置Ｐを長方形の一角とした所定サイズの映像２５４が表示面に表示される。なお、ロボット２２０の位置および向きを考慮して表示位置Ｐが算出される場合を例に挙げて説明したが、本発明はかかる例に限定されない。例えば、ロボット２２０の位置に基づいて表示位置Ｐが算出されてもよい。より具体的には、例えば、ロボット２２０の位置から表示面の境界までの直線距離が最大となる直線上の位置に表示位置Ｐが存在するように算出されてもよい。
【００６０】
なお、ロボット２２０の領域は、ロボット２２０が実際に存在する領域を少なくとも含んでいればよく、必ずしもロボット２２０の実際の大きさと同一でなくともよい。しかし、映像がロボット２２０の近傍に表示されるように設定しなければならない。また、本実施形態では、ロボット２２０の領域を円形で表わしたが、例えば楕円形や多角形など、ロボット２２０の形状に応じて変更することもできる。例えば、ロボット２２０の領域が楕円形の場合、上記ロボットサイズＲを楕円形の長い方の半径（長半径）とする。ここで、ロボット２２０の近傍とは、表情映像を目視するための視線の方向が、ロボット２２０の目視するための視線の方向とほぼ一致する範囲内であるとする。また、映像として表示されたリモート拠点のユーザの頭部が、ロボット２２０の位置ｐの方向を向くように表示させてもよい。これにより、ユーザの表情を映像から認識しやすくすることができる。
【００６１】
以上、本実施形態にかかる映像表示位置の算出方法について説明した。かかる処理は、例えばロボット２２０がリモート拠点のユーザによって操作される度に実行される。これにより、ロボット２２０が位置や向きを変更する度に映像の表示位置も変更されることになる。すなわち、ロボット２２０の動きに追従して映像の表示位置が変更されるので、ユーザがロボット２２０の動きを追って視線を移動させたときにも、ロボット２２０と映像との双方を一度に把握することができる。また、リモート拠点におけるユーザの表情映像がロボット２２０が移動する移動面を含む表示面に表示されるので、より多くのユーザが表情映像を視認することができる。
【００６２】
＜映像表示方法の比較＞
ここで、図６〜図８に基づいて、映像表示方法の相違による映像の見やすさについて検討する。図６は、ロボット２０に映像表示部２２が搭載された場合におけるユーザＵの映像の見やすさについて説明する説明図である。図７は、ロボット２０と映像表示部２２とが別個に配置された場合におけるユーザＵの映像の見やすさについて説明する説明図である。図８は、本実施形態にかかる映像表示方法により映像を表示した場合におけるユーザＵの映像の見やすさについて説明する説明図である。
【００６３】
まず、図６は、例えば特許文献１、２のような映像の表示形態である。かかる表示方法では、ロボット２０に平面の映像表示部２２が搭載されているため、ロボット２０の向きや姿勢によっては、図６に示すようにユーザＵと映像表示部２２の表示面とが対向しない状態となり、ユーザＵが映像を目視できないという問題が生じる。
【００６４】
次に、図７に示すように、映像表示部２２とロボット２０とが別個に配置されている場合には、図６のようなロボット２０の位置や姿勢によって映像が見え難くなるという問題は生じない。しかし、ユーザＵが、身体的にリモート拠点のユーザの関心等を表現しているロボット２０に向ける視線の方向と、リモート拠点のユーザの表情映像を表示する映像表示部２２に向ける視線の方向とが一致しない。このため、ユーザＵは、絶えずロボット２０と映像表示部２２との間で視線を往復させる必要があり、円滑なコミュニケーションを阻害する。
【００６５】
そこで、図８に示すように、本実施形態の映像表示方法を用いて、映像２５４をロボット２２０が移動する移動面を含む表示面２６０に表示する、すなわち、リモート拠点のユーザの表情映像をロボット２２０が動作する空間上に表示することにより、ロボット２２０の向きや姿勢によってユーザＵが映像を目視することができないといった問題は生じない。また、ロボット２２０の位置に応じて、映像の表示位置が適宜変更されるため、ロボット２２０の身体によって表現される情報を取得するための視線の方向と、リモート拠点のユーザの表情映像を目視するための視線の方向とが一致する。このように、本実施形態の映像表示方法を用いることにより、図６および図７の形態において生じていた問題を解決することができる。
【００６６】
（第２の実施形態）
次に、本発明の第２の実施形態にかかるコミュニケーション支援システムについて説明する。上述した第１の実施形態では、ロボット２２０が動作している場合に、ロボット２２０の位置に追従するように映像の表示位置を変更するという映像の表示方法について説明した。ここで、通常、リモート拠点に存在するロボット２２０を操作するユーザは会議の主要話者になっている場合には、ロボット２２０を操作する回数が減少し、ロボット２２０が動作しない状態となることが考えられる。このようにロボット２２０が動作しない状態では、通常の映像の表示や音声表示システムと同様に、遠隔話者の存在感を提示することが困難である。
【００６７】
そこで、本実施形態では、このような問題を解決するために、リモート拠点でロボットを操作するユーザが音声発話を所定時間以上続けている場合に、提示されるユーザの表情映像を発話時間に応じて拡大させる処理を行う。これにより、ロボットが必ずしも動作しない場合でもリモート拠点に存在するユーザの存在を簡易かつ明瞭に伝えることができる。
【００６８】
以下、図９〜図１１に基づいて、本実施形態にかかるコミュニケーション支援システムの構成とその機能について説明する。なお、図９は、本実施形態にかかるコミュニケーション支援システムの構成を示すブロック図である。図１０は、映像サイズ変更処理を示すフローチャートである。図１１は、本実施形態における映像サイズ変更処理を説明するための説明図である。また、以下では、第１の実施形態と同一の動作を行うシステム構成要素についての詳細な説明は省略する。
【００６９】
＜コミュニケーション支援システムの構成＞
まず、図９に基づいて、コミュニケーション支援システムの構成を説明する。本実施形態にかかるコミュニケーション支援システムは、第１の実施形態と同様、リモート拠点のシステム構成要素群３００と、ローカル拠点のシステム構成要素群４００とがネットワーク１０を介して接続されている。
【００７０】
リモート拠点のシステム構成要素群３００は、図９に示すように、操作部３１０と、表情映像取得部３２０と、通信部３３０と、音声取得部３４０と、音声解析部３５０とからなる。ここで、操作部３１０および表情映像取得部３２０は、第１の実施形態にかかる操作部１１０および表情映像取得部１２０と同一の構成とすることができるため、これらの説明は省略する。
【００７１】
通信部３３０は、ネットワークを介して１０を介して、リモート拠点のシステム構成要素により生成した情報をローカル拠点のシステム構成要素へ送信し、また、ローカル拠点のシステム構成要素から送信された情報を受信する機能部である。通信部３３０は、例えば、操作部３１０により生成された操作情報や、表情映像取得部３２０により生成された映像データを、ネットワーク１０を介してローカル拠点のシステム構成要素へ送信する。さらに、本実施形態の通信部３３０は、音声取得部３４０により取得された音声データや、音声解析部３５０による音声解析結果を、ネットワーク１０を介してローカル拠点のシステム構成要素へ送信する。
【００７２】
音声取得部３４０は、例えばマイク等から実装される音声信号取得機能と、当該音声信号取得機能により取得した音声信号をネットワーク１０経由でローカル拠点のシステム構成要素へ送信可能な状態に処理する信号処理機能とを備える機能部である。音声取得部３４０は、音声信号取得機能により取得した音声信号を音声解析部３５０へ出力するとともに、さらに信号処理機能により処理された音声信号を音声データとして通信部３３０へ出力する。
【００７３】
音声解析部３５０は、音声信号を解析する機能部である。音声解析部３５０は、例えば、リモート拠点においてロボット４２０を操作するユーザの音声データを取得し、その音声データを解析して、解析結果を通信部３３０へ出力する。音声解析部３５０は、上記解析により、例えば音声データから話者を識別したり、音量を判定したり、所定時間において発言した時間で表わされる発言率を算出したりする。
【００７４】
一方、ローカル拠点のシステム構成要素群４００は、位置検出部４１０と、ロボット４２０と、通信部４３０と、映像制御部４４０と、映像表示部４５０と、音声提示部４６０とからなる。ここで、位置検出部４１０、ロボット４２０および映像表示部４５０は、第１の実施形態にかかる位置検出部２１０、ロボット２２０および映像表示部２５０と同一の構成とすることができるため、これらの説明は省略する。
【００７５】
通信部４３０は、ネットワークを介して１０を介して、ローカル拠点のシステム構成要素により生成した情報をリモート拠点のシステム構成要素へ送信し、また、リモート拠点のシステム構成要素から送信された情報を受信する機能部である。通信部４３０は、例えば、リモート拠点の通信部３３０から受信したロボット４２０の操作情報をロボット４２０へ送信したり、映像データを映像表示部４５０へ送信したりする。また、通信部４３０は、音声解析結果を映像制御部４４０へ送信することもできる。さらに、通信部４３０は、リモート拠点の通信部３３０から受信した音声データを音声提示部４６０へ出力する。
【００７６】
映像制御部４４０は、映像表示部４５０に表示される映像の表示方法を制御する機能部である。映像制御部４４０は、ロボット４２０の位置情報を位置検出部４１０から受信し、そのロボット４２０の位置情報に基づいて映像の表示位置を決定する。映像制御部４４０による映像表示位置の算出方法としては、第１の実施形態にて説明した方法を用いることができる。また、映像制御部４４０は、リモート拠点のシステム構成要素である音声解析部３５０の解析結果に基づいて、表示面に表示する映像サイズを変更する。映像サイズの変更処理の詳細については後述する。
【００７７】
音声提示部４６０は、リモート拠点の音声取得部３４０により生成された音声データを復号化して、実際の音声として出力する機能部である。音声提示部４６０は、例えばスピーカ等を用いることができる。また、音声提示部４６０は、ローカル拠点の通信部４３０、ネットワーク１０およびリモート拠点の通信部３３０を介して音声取得部３４０と通信することもできる。
【００７８】
以上、本実施形態にかかるコミュニケーション支援システムの構成について説明した。本実施形態にかかるコミュニケーション支援システムでは、図３Ａおよび図３Ｂに示した映像表示方法を用いて、ロボット４２０の移動面を表示面に映像を表示するが、ステップＳ１３０に続いて図１０に示す映像サイズ変更処理を行うことにより、ロボット４２０が動作しない場合にもリモート拠点におけるユーザの存在感をアピールする。以下、図１０および図１１に基づいて、本実施形態にかかる映像サイズ変更処理について説明する。
【００７９】
＜映像サイズ変更処理＞
映像サイズ変更処理では、まず、映像制御部４４０が映像表示位置の算出処理を実行してから所定時間が経過したか否かを判定する（ステップＳ２００）。映像表示位置の算出処理を実行してからの経過時間は、タイマー（図示せず。）により計測することができる。上述したように、映像表示位置の算出処理は、ロボット４２０が動作する度に実行される。つまり、ステップＳ２００では、所定時間ロボット４２０が操作されなかった時間を判定していることになる。所定時間は、例えば１分と設定することができる。
【００８０】
ステップＳ２００にて、経過時間が所定時間を超えたと判定された場合、映像制御部４４０は、音声解析部３５０によりロボット４２０を操作可能なユーザが発話しているか否かを解析させて、当該ユーザが発話しているか否かを判定させる（ステップＳ２０２）。音声解析部３５０は、音声取得部３４０により取得された音声信号を解析して、発話しているユーザを特定し、ロボット４２０を操作可能なユーザが発話しているか否かを判定する。発話の有無の判定方法は、単純に音声入力の有無を判定してもよく、周囲の雑音を緩和するなどの信号処理を加えるなどの既存の処理を実施した後の音声データに基づいて判定してもよい。音声解析部３５０は、通信部３３０、ネットワーク１０および通信部４３０を介して映像制御部４４０へ、判定結果を解析結果として送信する。
【００８１】
ステップＳ２０２にて、音声入力があると判定された場合には、映像制御部４４０は、映像サイズの拡大率ｒを所定割合だけ増加させる（ステップＳ２０４）。所定割合は、任意に設定することができ、例えば１０％とすることができる。これにより、ロボット４２０を操作可能なユーザがロボット４２０の操作は行っていないがリモート拠点側の主要話者となっている場合に、その存在感をローカル拠点側にアピールするために映像サイズが拡大されるようにする。一方、ステップＳ２０２にて、音声入力がないと判定された場合には、映像制御部４４０は、映像サイズの拡大率ｒを所定割合だけ減少させる（ステップＳ２０６）。当該所定の割合も任意に設定することができ、映像サイズを拡大する場合の割合と同一でもよく相違してもよい。ステップＳ２０６により映像サイズを縮小することによって、ロボット４２０を操作可能なユーザが主要話者ではないことや、当該ユーザの興味関心の低下を伝えることができるようにする。
【００８２】
ステップＳ２００にて、経過時間が未だ所定時間を超えていないと判定された場合や、ステップＳ２０４またはＳ２０６により映像サイズの拡大率の変更を行った後、映像制御部４４０は、その時点での映像サイズの拡大率ｒによって映像を表示した場合に、当該映像が表示面内に収まるか否かを判定する（ステップＳ２０８）。例えば、映像の形状が長方形である場合、基準となる基準映像サイズを幅（ｘ方向の長さ）ｓｗ、高さ（ｙ方向の長さ）ｓｈによって表すとする。このとき、各辺の長さを拡大率ｒに応じて変化させたときの映像サイズは、図１１に示すように、（ｓｗ×ｒ）×（ｓｈ×ｒ）となる。この映像サイズと、映像の表示位置Ｐ（Ｘ，Ｙ）とによって、表示面に表示される映像が表示面の境界２８０内に収まるか否かを判定することができる。
【００８３】
ステップＳ２０８にて、映像サイズが表示面の境界２８０内に収まると判定された場合には、映像制御部４４０は、当該映像サイズが最小映像サイズよりも大きいか否かを判定する（ステップＳ２１０）。最小映像サイズは予め設定されており、例えば映像により映し出されるユーザの顔の形状を認識できる最小のサイズとしてもよく、点状にして映像をほぼ見えないようにしてもよい。
【００８４】
ステップＳ２１０で映像サイズが最小サイズ以下であると判定された場合には、映像制御部４４０は、拡大率ｒを所定割合だけ増加させて（ステップＳ２１２）、再度ステップＳ２０８から処理を行う。一方、ステップＳ２１０で映像サイズが最小サイズより大きいと判定された場合には、映像制御部４４０は、現在指定された拡大率ｒで映像を表示する（ステップＳ２１４）。
【００８５】
以上、映像サイズ変更処理について説明した。本実施形態では、第１の実施形態で説明した映像表示方法を用いて、リモート拠点のユーザの表情映像をロボット４２０が動作する空間上に表示することにより、より多くのユーザが当該表情映像を目視することができる。また、ロボット４２０の位置に応じて、映像の表示位置が適宜変更されるため、ロボット４２０の身体によって表現される情報を取得するための視線の方向と、リモート拠点のユーザの表情映像を目視するための視線の方向とを一致させて、これらの情報を同時に取得しやすくなる。
【００８６】
このような第１の実施形態での効果に加え、さらに、ロボット４２０を操作可能なユーザが発話に集中してロボット４２０の操作を行わない場合にも、ユーザの発話状態に応じて表情映像の映像サイズを適宜変更させることにより、会議に参加しているユーザの注意を喚起したりするなど、発話者の存在感を強くアピールすることが可能となる。また、ロボット４２０が配置されている移動面を含む表示面に映像を表示する場合、表示可能な映像サイズに限りがある場合が多い。このような場合でも、映像サイズの変更により実装の制限を超えたユーザの存在感を表現することもできる。また、映像が表示面からはみ出さないように表示させることもできる。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８８】
例えば、上記実施形態では、ロボットが載置される載置台（上記実施形態では会議卓）の表示面２６０は平面であったが、本発明はかかる例に限定されない。例えば、図１２に示すように、ロボット２２０を、平面部２６２と当該平面部２６２から突出した突出部２６４とを備える載置台に載置した場合も、上記実施形態で説明した映像表示方法および映像サイズ変更処理を適用することができる。この場合、例えば、映像制御部は、映像２５４を平面部２６２または突出部２６４のいずれかのみに表示させるようにしてもよい。これにより、映像２５４が段差にまたがって表示されることで、表情映像を認識し難くなるのを防止することもできる。また、図１３に示すように、載置台の表示面２６０上にフィルム等の薄膜２７０が設けられている場合も上記実施形態で説明した映像表示方法および映像サイズ変更処理を適用することができる。
【００８９】
また、上記実施形態では、位置検出部と映像表示部とは別個の構成としたが、本発明はかかる例に限定されない。例えば、タッチパネルディスプレイ等のように１つの要素として構成してしてもよい。
【００９０】
さらに、上記実施形態では、ロボットを操作するリモート拠点のユーザは１人であったが、本発明はかかる例に限定されず、同様のコミュニケーション支援システムを複数利用して、複数の話者やロボットを設けてコミュニケーションを図ることもできる。
【００９１】
また、上記第２の実施形態では、話者の音量に応じて映像サイズを変更したが、本発明はかかる例に限定されない。例えば、音声の大きさに比例して映像の大きさを変更してもよい。すなわち、音声の大きさが大きくなるにつれて映像サイズを拡大し、音声の大きさが小さくなるにつれて映像サイズを縮小する。これにより、ユーザの発話の有無や発言内容の強さを表現することもできる。あるいは、所定時間内におけるロボットを操作可能なユーザの発言時間が所定の割合以上であった場合に当該ユーザが主要話者であると判断し、映像サイズを拡大する処理を行ってもよい。一方、所定時間内におけるロボットを操作可能なユーザの発言時間が所定の割合以下であった場合には映像サイズを縮小する処理を行ってもよい。
【符号の説明】
【００９２】
１００、３００    リモート拠点のシステム構成要素群
１１０、３１０    操作部
１２０、３２０    表情映像取得部
１３０、３３０    通信部
２００、４００    ローカル拠点のシステム構成要素群
２１０、４１０    位置検出部
２２０、４２０    ロボット
２３０、４３０    通信部
２４０、４４０    映像制御部
２５０、４５０    映像表示部
２５４            映像
２６０            表示面
２８０            表示面の境界
３４０            音声取得部
３５０            音声解析部
４６０            音声提示部
【図１】
2010219989.tif 000003
【図２】
2010219989.tif 000004
【図３Ａ】
2010219989.tif 000005
【図３Ｂ】
2010219989.tif 000006
【図４】
2010219989.tif 000007
【図５】
2010219989.tif 000008
【図６】
2010219989.tif 000009
【図７】
2010219989.tif 000010
【図８】
2010219989.tif 000011
【図９】
2010219989.tif 000012
【図１０】
2010219989.tif 000013
【図１１】
2010219989.tif 000014
【図１２】
2010219989.tif 000015
【図１３】
2010219989.tif 000016