(57)【要約】【課題】相手に自分の存在を提示する度合いの調整を行うことが可能な技術を提供することにある。【解決手段】第１拠点１１Ａに配置されたテレビ会議端末１０Ａおよび第２拠点１１Ｂに配置されたテレビ会議端末１０Ｂとの間で通信ネットワークＮを経由したコミュニケーションを補助するコミュニケーション補助装置であって、第１拠点には、推定された第２拠点の状況を表す第２拠点状況情報を受信する無線通信部５３と、第１拠点にいる第１参加者１３が知覚可能な感覚量の範囲を算出する感覚量範囲算出部５５ａと、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点にいる第２参加者の意思量を算出する意思量算出部５５ｂと、意思量に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力部５７と、を備える。【選択図】図２
2015220534.tif 000002
【特許請求の範囲】
【請求項１】
第１拠点に配置された第１会議端末および第２拠点に配置された第２会議端末の間でネットワークを経由したコミュニケーションを補助するコミュニケーション補助装置であって、
前記第１拠点には、
推定された前記第２拠点の状況を表す第２拠点状況情報を受信する受信手段と、
前記第１拠点にいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出手段と、
前記第２拠点状況情報と前記第１参加者の感覚量の範囲に基づいて、前記第２拠点にいる第２参加者の意思量を算出する意思量算出手段と、
前記意思量に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力手段と、を備えることを特徴とするコミュニケーション補助装置。
【請求項２】
前記第１拠点の状況を表す第１拠点状況情報を推定する第１推定手段を備え、
前記意思量算出手段は、
前記第１拠点状況情報、前記第２拠点状況情報および前記第１参加者の感覚量の範囲に基づいて、前記第２参加者の意思量を算出することを特徴とする請求項１記載のコミュニケーション補助装置。
【請求項３】
前記感覚量範囲算出手段は、前記第１参加者が知覚可能な感覚量の分布を算出し、
前記意思量算出手段は、前記第２拠点状況情報、前記第１参加者の感覚量の分布に基づいて、前記意思量を算出することを特徴とする請求項１記載のコミュニケーション補助装置。
【請求項４】
前記第１推定手段は、
前記第１拠点の音声信号、及び映像信号を計測する第１音声映像計測手段と、
前記第１拠点の映像信号に基づいて第１特徴的動作情報を抽出する第１特徴的動作抽出手段と、
前記第１拠点の音声信号と映像信号に基づいて発言者情報と当該発言者の対話相手情報を特定する特定手段と、
前記対話相手情報が前記第２参加者を表すか否かを判定する判定手段と、を備え、
前記第１推定手段は、
前記第１特徴的動作情報、前記発言者情報、及び前記対話相手情報を前記第１拠点状況情報として出力することを特徴とする請求項１記載のコミュニケーション補助装置。
【請求項５】
前記刺激出力手段は、
前記刺激を出力するように構成されたロボット部を備え、
前記第１推定手段は、
前記第１参加者と前記ロボット部の間の距離を計測する測距手段を備え、
前記距離を前記第１拠点状況情報として推定することを特徴とする請求項１記載のコミュニケーション補助装置。
【請求項６】
前記刺激出力手段は、
前記第１参加者が目視することにより感知可能な光波信号を発生する光波発生手段、
前記第１参加者が聴取することにより感知可能な音波信号を発生する音波発生手段、
前記第１参加者が接触することにより感知可能な振動を発生する振動発生手段、
前記第１参加者が嗅取することにより感知可能な臭気を発生する臭気発生手段のうち、少なくとも１つであることを特徴とする請求項１又は５項に記載のコミュニケーション補助装置。
【請求項７】
前記第２推定手段は、
前記第２拠点の状況として音声信号、及び映像信号を計測する第２音声映像計測手段と、
所定時間内における前記第２拠点の音声信号が所定音量以下である場合に、前記第２拠点の映像信号に基づいて第２特徴的動作情報を抽出する第２特徴的動作抽出手段と、
前記第２特徴的動作情報を前記第２拠点状況情報として前記第１拠点側に送信する送信手段と、を備えることを特徴とする請求項１記載のコミュニケーション補助装置。
【請求項８】
請求項１乃至６の何れか１つに記載のコミュニケーション補助装置を第１ユニットとし、
請求項７記載のコミュニケーション補助装置を第２ユニットとして備えることを特徴とするコミュニケーション補助システム。
【請求項９】
第１拠点に配置された第１会議端末および第２拠点に配置された第２会議端末の間でネットワークを経由したコミュニケーションを補助するコミュニケーション補助方法であって、
前記第１拠点には、
推定された前記第２拠点の状況を表す第２拠点状況情報を受信する受信ステップと、
前記第１拠点にいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出ステップと、
前記第２拠点状況情報と前記第１参加者の感覚量の範囲に基づいて、前記第２拠点にいる第２参加者の意思量を算出する意思量算出ステップと、
前記意思量に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力ステップと、を備えることを特徴とするコミュニケーション補助方法。
【請求項１０】
請求項９記載の各ステップをプロセッサに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信ネットワークを介して、遠隔地間でのコミュニケーションを補助するのに好適なコミュニケーション補助装置、コミュニケーション補助システム、コミュニケーション補助方法及びプログラムに関する。
【背景技術】
【０００２】
近年、通信ネットワーク技術が向上し、遠隔地とのコミュニケーションが手軽に行えるようになっている。例えば、遠隔地間で行われるテレビ会議では、音声と映像を送受信することにより、拠点を移動せずに会議を実施することができるため、空間的制約も少なく需要も高まっており、既に多くの場面で活用されている。
また、携帯電話のメールやチャットなど、文字を送受信することで、遠隔地間で手軽にコミュニケーションを行うことが可能となっている。
しかし、音声や映像ならびに文字を用いた遠隔コミュニケーションにおいては、参加者が実際に１つの空間を共有していない。
例えば、テレビ会議では、一つの拠点内でテレビ会議が白熱すると、異なる拠点にいる参加者の存在を忘れてしまう場合があり、一つの拠点内で会議が盛り上がってしまうといった問題が発生し易い。
例えば、テレビ会議では、一つの拠点で異なる拠点の様子を映像としてモニタに表示するが、映像には限りがあるので、充分に目視確認が可能な映像情報（非言語情報）の伝達ができていないため、このような問題が起こり易い。
【０００３】
特許文献１には、映像に非言語情報を付加して会議を行う一例として、参加者が発言者に対して同調の度合いを表す情報に基づいて、次に発言しようとしている参加者の候補が選択されて各参加者に提示させる。
また、非特許文献１では、移動機能とカメラによる映像撮影機能を有するロボットによって、遠隔地にいる参加者がロボットを操縦し、自分（参加者）がどこを見ているのかを異なる拠点の参加者に提示させている。さらに見られているという意識を異なる拠点の参加者に持たせることで存在感を表現させている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、参加者が発言しようと試みた場合に対してのみ有効である。一方、参加者が発言するまでではないが、自分の存在を異なる拠点の参加者に気にして欲しい場合には無効である。つまり、自分が異なる拠点の参加者に提示したい自分の存在を表す度合いを調整できないという問題があった。
さらに、テレビ会議で資料のみをモニタに表示させた場合、参加者がモニタに表示されていないので、異なる拠点の参加者に自分の存在を気にして欲しくても気にしてもらえないといった問題があった。
また、非特許文献１は、さりげなく存在感を提示することは難しい。テレビ会議の最中にロボットが動き回った場合、参加者の感覚に与える刺激が強く、必要以上にロボットの存在感が提示される。したがって、異なる拠点の参加者に自分が提示したい存在の度合いを調整できないといった問題があった。
以上のように、従来の遠隔コミュニケーションでは、相手に自分の存在を提示する度合いを表す量を調整できず、遠隔地の参加者の存在感が低下するという問題があった。逆に、ロボットを用いた場合、遠隔地の参加者が存在感を強く提示されるという問題があった。
本発明は、上記に鑑みてなされたもので、その目的としては、相手に自分の存在を提示する度合いの調整を行うことが可能な技術を提供することにある。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、上記課題を解決するため、第１拠点に配置された第１会議端末および第２拠点に配置された第２会議端末の間でネットワークを経由したコミュニケーションを補助するコミュニケーション補助装置であって、前記第１拠点には、推定された前記第２拠点の状況を表す第２拠点状況情報を受信する受信手段と、前記第１拠点にいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出手段と、前記第２拠点状況情報と前記第１参加者の感覚量の範囲に基づいて、前記第２拠点にいる第２参加者の意思量を算出する意思量算出手段と、前記意思量に応じた刺激を前記第１参加者が知覚できるように出力する刺激出力手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、第２拠点状況情報と第１参加者の感覚量の範囲に基づいて、第２拠点にいる第２参加者意思量を算出し、当該意思量に応じた刺激を第１参加者が知覚できるように出力することで、相手に自分の存在を提示する度合いの調整を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係るコミュニケーション補助システムがテレビ会議システムに使用されている構成について説明するための模式図である。
【図２】本発明の第１実施形態に係るコミュニケーション補助システムを示すブロック図である。
【図３】本発明の第１実施形態に係るコミュニケーション補助システムの動作を表すフローチャートである。
【図４】本発明の第２実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図３に示すステップＳ２００の具体的な例を示すフローチャートである。
【図５】本発明の第３実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図４に示す第１拠点状況算出処理（ステップＳ２１０）の具体的な例を表すフローチャートである。
【図６】本発明の第４実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図４に示す第２拠点状況算出処理（ステップＳ２５０）の具体的な例を説明するためのフローチャートである。
【図７】本発明の第５実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図５とは異なる図４に示す第１拠点状況算出処理（ステップＳ２１０）の具体的な例を説明したフローチャートである。
【図８】本発明の第６実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図３に示す刺激量算出処理（ステップＳ３００）の具体的な例を説明するためのフローチャートである。
【図９】本発明の第７実施形態に係るコミュニケーション補助システムに用いる、図１に示す第２参加者を表すアバターロボットの具体的な例を説明した図である。
【図１０】第１拠点１１Ａの第１参加者１３と第３参加者１４の感覚Ｅの分布のさりげない範囲を具体的に説明するためのグラフで示した図である。
【図１１】（ａ）は第１拠点１１Ａの第１参加者１３と第３参加者１４の感覚Ｅの分布から第１拠点１１Ａの感覚Ｅのさりげない範囲を具体的に説明するためのグラフ図であり、（ｂ）は第１拠点１１Ａに沢山の参加がいた場合参加者毎の感覚Ｅの分布のさりげないと感じる範囲から、第２参加者が与えたいと思っている感覚Ｅを算出する方法を説明するためのグラフで示した図である。
【図１２】（ａ）は、第１拠点１１Ａに存在する複数参加者のさりげないと感じる感覚の最大値Ｅ＿ｍａｘの確率密度の具体例を説明するためのグラフで示した図であり、（ｂ）は第１拠点１１Ａに存在する複数参加者のさりげないと感じる感覚の最小値Ｅ＿ｍｉｎの確率密度の具体例を説明した図であり、（ｃ）は第１拠点１１Ａのテレビ会議の拠点状況情報に応じて、第１拠点１１Ａのさりげないと感じる感覚量の範囲Ｅ＿ｍａｘとＥ＿ｍｉｎを更新する具体的な例を説明するためのグラフで示した図である。
【図１３】第２拠点１１Ｂの第２参加者１５が自分の存在に気付いて欲しいと思っている度合いを反映し、第１拠点参加者に提示する感覚量Ｅを算出する具体的な例を説明するためのグラフで示した図である。
【発明を実施するための形態】
【０００８】
本発明は、遠隔地間でのコミュニケーションによる会議や会話の進行を止めることなく、さりげなく自分の存在感を相手側に提示することで、遠隔地という空間が異なることによる存在感の差を低減できるようにし、これにより通信ネットワークを介して行われるコミュニケーションの一体感を提供することを可能にする。
一般に、人間の感覚量は刺激強度と関係性を有している。例えばフェヒナーの法則では、感覚量は刺激強度の対数に比例する。
ここで、定数Ｋ、刺激量Ｒとすると、感覚量（心理量）Ｅは、Ｅ＝Ｋ・ｌｏｇ（Ｒ）と表すことができる。
従って、遠隔地の参加者に与える刺激量を調整すれば、自分の存在感の量を調整できることが期待できるため、遠隔地の参加者にさりげない存在感の提示が可能になる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【０００９】
本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
図１は本発明の第１実施形態に係るコミュニケーション補助システムがテレビ会議システムに使用されている構成の一例について説明するための模式図である。
ここで、図１を参照して、コミュニケーション補助システムの機能構成について説明する。
図１に示すコミュニケーション補助システムは、第１拠点１１Ａ、第２拠点１１Ｂに夫々設置されたテレビ会議端末（会議端末）１０Ａ、テレビ会議端末（会議端末）１０Ｂと、これらテレビ会議端末１０Ａ、テレビ会議端末１０Ｂが接続される通信ネットワークＮで構成される。
テレビ会議端末１０Ａ、テレビ会議端末１０Ｂは、夫々撮像装置４、マイク５、スピーカ６、ディスプレイ７、処理装置８を備えている。
【００１０】
例えば、第１拠点１１Ａに設置されたテレビ会議端末１０Ａの撮像装置４で撮影された画像（静止画像又は動画像）は、撮像装置４と処理装置８との連携動作により画像データに補正処理を施し、当該テレビ会議端末１０Ａ内のディスプレイ７に画像を表示する。同時に、この補正処理を施した画像データは、通信ネットワークＮに接続された第２拠点１１Ｂに設置されている相手側のテレビ会議端末１０Ｂにも伝送されて、そのディスプレイ７に画像が表示される。
例えば、第２拠点１１Ｂに設置されているテレビ会議端末１０Ｂにおいて、操作者が操作部（図示しない）の拡大／縮小ボタンを押下すると、当該テレビ会議端末１０Ｂ内に設けられた同じく撮像装置４と処理装置８と連携動作によりデジタルズーム処理が施される。この結果、デジタルズーム画像が当該テレビ会議端末１０Ｂのディスプレイ７に表示される。同時に、通信ネットワークＮに接続された第１拠点１１Ａに設置されているテレビ会議端末１０Ａにも画像データが伝送されて、そのディスプレイ７に画像表示される。
【００１１】
図１において、第１拠点１１Ａには第１参加者１３、第３参加者１４が存在し、第２拠点１１Ｂには、第２参加者１５が存在している。さらに、第１拠点１１Ａには第２拠点１１Ｂに存在する第２参加者１５を表すアバターロボット１７が移動自在に配置される。
本発明は、３人以上で２つの異なる拠点間においてコミュニケーションを行う場合に効力を発揮するものである。以下、遠隔地に配置されているテレビ会議端末１０Ａ、１０Ｂを用いてテレビ会議を行う場合を一例にして説明する。
図１は、異なる拠点間においてコミュニケーションを行う場合の具体的な例である。
第１拠点１１Ａでの会話が白熱した状況、つまり、第１参加者１３と第３参加者１４がテレビ会議の会話が盛り上がり、第２参加者１５の存在を忘れて会話を継続している状況を想定する。
第２参加者１５は、第１参加者１３と第３参加者１４に向けて発言し、第１参加者１３と第３参加者１４との会話中に割り込むことで、第１参加者１３と第３参加者１４に第２参加者１５の存在を知らしめることも可能である。
しかし、第２参加者１５は、テレビ会議の進行を停止することは望んでおらず、発言はしたくないと思っていると仮定する。しかし、自分の存在には気付いて欲しいとは思っている。このような場合に、第１拠点１１Ａに存在する、第２参加者１５を表すアバターロボット１７がさりげなく第２参加者１５の存在を提示することで、テレビ会議の進行を妨げることなく、第２参加者１５の存在を、第１参加者１３と第３参加者１４に伝えることができる。本発明は、上記のような状況において使用する発明である。
【００１２】
図１において、本発明の第１実施形態に係るコミュニケーション補助システムは、第１拠点状況計測推定ユニット２０、中継ユニット３０、第２拠点状況計測推定ユニット４０、刺激量算出出力ユニット５０等のコミュニケーション補助装置を備えている。
図２は本発明の第１実施形態に係るコミュニケーション補助システムを示すブロック図である。
図２において、コミュニケーション補助システムは、第１拠点状況計測推定ユニット２０、第２拠点状況計測推定ユニット４０、刺激量算出出力ユニット５０を備えている。
第１拠点状況計測推定ユニット２０は、第１拠点状況計測部２１、第１拠点状況取込部２３、第１拠点状況推定部２５、無線通信部２７を備える。第１拠点状況計測部２１は、第１拠点１１Ａの状況を計測する。第１拠点状況取込部２３は、第１拠点状況計測部２１で計測した第１拠点１１Ａの状況を取り込む。第１拠点状況推定部２５は、第１拠点状況取込部２３で取り込まれた第１拠点１１Ａの状況から第１拠点１１Ａの状況の情報を示す第１拠点状況情報を推定する。無線通信部２７は、第１拠点状況推定部２５で推定された第１拠点状況情報を無線通信部５１に送信する。このように、第１拠点状況計測推定ユニット２０は、第１拠点１１Ａの状況を表す第１拠点状況情報を推定し、無線通信部２７から刺激量算出出力ユニット５０に設けられた無線通信部５１に第１拠点状況情報を送信する。
【００１３】
中継ユニット３０は、通信ネットワークＮを介して送受信される通信情報を第２拠点状況計測推定ユニット４０と刺激量算出出力ユニット５０との間で無線中継する。
第２拠点状況計測推定ユニット４０は、第２拠点状況計測部４１、第２拠点状況取込部４３、第２拠点状況推定部４５、第２拠点通信制御部４７を備える。第２拠点状況計測部４１は、第２拠点１１Ｂの状況を計測する。第２拠点状況取込部４３は、第２拠点状況計測部４１で計測した第２拠点１１Ｂの状況を取り込む。第２拠点状況推定部４５は、第２拠点状況取込部４３で取り込まれた第２拠点１１Ｂの状況から第２拠点１１Ｂの状況の情報を示す第２拠点状況情報を推定する。第２拠点通信制御部４７は、中継ユニット３０に第２拠点状況情報を送信する。このように、第２拠点状況計測推定ユニット４０は、第２拠点１１Ｂの状況を表す第２拠点状況情報を推定し、第２拠点通信制御部４７から中継ユニット３０に第２拠点状況情報を送信する。
中継ユニット３０は、第２拠点通信制御部４７から通信ネットワークＮを経由して送信された第２拠点状況情報を受信し、当該第２拠点状況情報を刺激量算出出力ユニット５０に送信する。
刺激量算出出力ユニット５０は、無線通信部５１、無線通信部５３、刺激量算出部５５、刺激出力部５７を備えている。
【００１４】
無線通信部５１は、第１拠点状況計測推定ユニット２０から第１拠点状況情報を受信し、刺激量算出部５５に出力する。
無線通信部５３は、第２拠点状況計測推定ユニット４０から第２拠点状況情報を受信し、刺激量算出部５５に出力する。
刺激量算出部５５は、第１拠点１１Ａにいる第１参加者が知覚可能な感覚量の範囲を算出する感覚量範囲算出部５５ａ、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を算出する意思量算出部５５ｂ、当該意思量に応じた刺激量を算出する刺激量算出部５５ｃを備えている。
刺激量算出部５５は、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量から刺激量を算出しているが、本発明はこれに限定されるものではない。すなわち、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を意思量算出部５５ｂにより算出し、刺激出力部５７により意思量に応じた刺激を第１参加者が知覚できるように出力してもよい。
刺激出力部５７は、刺激量に応じた刺激を第１参加者が知覚できるように出力する。
なお、各ユニットに設けられた各無線通信部は、第１拠点１１Ａにおいてユニット間で無線通信を利用したデータ通信を行うためのものである。第１拠点状況計測推定ユニット２０に設けられた無線通信部２７は、刺激量算出出力ユニット５０に設けられた無線通信部５１に対向している。一方、中継ユニット３０は、刺激量算出出力ユニット５０に設けられた無線通信部５３に対向している。
【００１５】
詳しくは、第１拠点状況計測推定ユニット２０は、図１に示す第１拠点１１Ａに存在する第１参加者１３と第３参加者１４の状況を計測し推定する。また、第１拠点状況計測推定ユニット２０は、図１に示す第１拠点１１Ａに存在する第１参加者１３と第３参加者１４とアバターロボット１７（第２参加者１５を表す）の状況を計測し推定する。
第１拠点状況計測推定ユニット２０は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、状況データ収集処理を実行する。
第２拠点状況計測推定ユニット４０は、図１に示す第２拠点１１Ｂに存在する第３参加者１４の状況を計測し推定する。
第２拠点状況計測推定ユニット４０は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、状況データ収集処理を実行する。
刺激量算出出力ユニット５０は、第１拠点状況計測推定ユニット２０で推定された第１拠点１１Ａの状況と、第２拠点状況計測推定ユニット４０で推定された第２拠点１１Ｂの状況と、から図１に示す第２参加者１５を表すアバターロボット１７が、第２参加者１５の存在をさりげなく提示するための刺激量を算出し出力する。
刺激量算出出力ユニット５０は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、刺激量算出処理を実行する。
【００１６】
第１拠点状況計測部２１と第２拠点状況計測部４１は、例えばマイクとカメラを用いて音声信号と映像信号を計測する。又は、マイクと加速度センサを用いて音声信号と加速度の信号を計測する。第１拠点状況計測部２１と第２拠点状況計測部４１は、同じ種類の信号を用いてもよいし、異なる種類の信号を用いてもよい。具体的には、第１拠点状況計測部２１と第２拠点状況計測部４１は、共にマイクとカメラを用いて音声信号と映像信号を計測してもよい。また、第１拠点状況計測部２１と第２拠点状況計測部４１は、共にマイクと加速度センサを用いて音声信号と加速度の信号を計測してもよい。また、第１拠点状況計測部２１はマイクとカメラを用いて音声信号と映像信号を計測してもよく、第２拠点状況計測部４１はマイクと加速度センサを用いて音声信号と加速度の信号を計測してもよい。また、第１拠点状況計測部２１はマイクと加速度センサを用いて音声信号と加速度の信号を計測してもよく、第２拠点状況計測部４１はマイクとカメラを用いて音声信号と映像信号を計測してもよい。
【００１７】
第１拠点状況取込部２３は、第１拠点状況計測部２１から得られたデータを取り込む。第２拠点状況取込部４３は、第２拠点状況計測部４１から得られたデータを取り込む。
第１拠点状況取込部２３と第２拠点状況取込部４３の夫々は、例えば、音声信号を参加者の発言内容や発音の有無を検出するためにノイズを除去する。また、参加者の発言内容や発音の有無を検出するために適切なサンプリング周期で信号を処理する。また、映像信号からノイズを除去し、図１に示す第１参加者１３と第２参加者１５と第３参加者１４とアバターロボット１７の姿勢や動きの信号のデータを取り込みやすくする前処理を行う。また、加速度の信号からノイズを除去し、第１参加者１３、第２参加者１５と第３参加者１４とアバターロボット１７の姿勢や動きの信号を抽出しやすくする前処理を行う。
【００１８】
第１拠点状況推定部２５は、第１拠点状況取込部２３から得られた信号に基づいて第１拠点１１Ａの状況を推定する。第２拠点状況推定部４５は、第２拠点状況取込部４３から得られた信号に基づいて第２拠点１１Ｂの状況を推定する。
例えば、音声信号から図１に示す第１参加者１３と第２参加者１５と第３参加者１４の発言の内容や、発言している時間や、発言していない時間や、発言の音量から、第１拠点１１Ａのテレビ会議の白熱の度合いや、第１拠点１１Ａのテレビ会議の参加の状況や、第２拠点１１Ｂのテレビ会議の参加状況や、第２参加者１５の状況を推定する。
具体的には、第１拠点状況推定部２５は、例えば、映像信号から、図１に示す第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的には、うなずく、みつめる、頬杖をつくなどの動作や、発言者を特定し、その発言者の視線の先を特定し、発言相手を特定することなどからテレビ会議の状況を推定する。
例えば、映像信号から、図１に示す第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７（ロボット部）との相対距離から第１拠点１１Ａの状況を推定する。例えば、加速度の信号から、第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的には、うなずく、みつめる、頬杖をつくなどの動作からテレビ会議の状況を推定する。動作や音声の有無や回数のみならず、その動作の大きさについても考慮し、状況の推定に反映させる。
具体的には、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４が、第２参加者１５を表すアバターロボット１７や、遠隔テレビ会議を行う時、多くの場合利用される第２参加者１５の姿を投影させた映像など、に視線を向けることなく、第１拠点１１Ａの第１参加者１３と第３参加者１４のみで会話を続けたりし、第２参加者１５に向けた発言を行わないという状況を、音声信号や映像信号や、加速度の信号を用いて音と体の動きや視線から推定する。
【００１９】
例えば、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４のみで会話を続けている時間の長さや、会話の音量、動作の大きさ、から、第２拠点１１Ｂの第２参加者１５の存在を忘れてテレビ会議に白熱している度合いを推定する。また、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離から、後述する刺激量算出出力ユニット５０から出力する刺激量を調整する。例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離が離れている場合には、第２参加者１５を表すアバターロボットが出力する刺激量を、第１拠点１１Ａの第１参加者１３と第３参加者１４が感じにくい状況と推定する。上記感じにくいと推定された場合には、第２参加者１５を表すアバターロボット１７が大きな刺激を出力する。
例えば、第１拠点状況推定部２５では、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離が近い場合には、第１拠点１１Ａの第１参加者１３と第３参加者１４が感じやすい状況と推定する。その結果、第２参加者１５を表すアバターロボット１７は小さな刺激を出力することとなる。上記感じやすいと推定された場合には、これは、同じ刺激を出力した場合に、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離に応じて、第１拠点１１Ａの第１参加者１３と第３参加者１４が感じる感覚の量が異なることに対応するためである。
【００２０】
第２拠点状況推定部４５では、第２拠点１１Ｂの第２参加者１５が、予め定められた時間以上発言しておらず、頬杖をついたり、うなずいたり、ため息をついたりなどの特徴的な動作（挙動、言動）を行い、第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている状況を、音声信号や映像信号や加速度の信号を用いて音と体の動きや視線から推定する。動作や音声の有無や回数のみならず、その動作の大きさについても考慮し、拠点状況情報の推定に反映させる。第２拠点１１Ｂの第２参加者１５が発言していない時間の長さや、動作の大きさ、から、第２拠点１１Ｂの第２参加者１５が自分の存在に気づいて欲しいと思っている度合いを推定する。
【００２１】
刺激量算出部５５は、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定されたと拠点状況情報から刺激量を算出する。具体的には、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている拠点状況情報であると推定された時、かつ、第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている拠点状況情報であると推定された時、第１拠点１１Ａの第１参加者１３と第３参加者１４に、第２拠点１１Ｂの第２参加者１５の存在をさりげなく提示するために、刺激量を算出する。
例えば、刺激量算出部５５は、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定されたと拠点状況情報に基づいて刺激量を算出する。刺激量算出部５５は、出力する刺激量を、第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いと、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている度合いによって調節する。例えば、第２拠点１１Ｂの第２参加者１５が自分の存在に気づいて欲しいと思っている度合いが大きい場合には、予め定められた刺激の範囲の中から大きい刺激量を算出する。第２拠点１１Ｂの第２参加者１５が自分の存在に気づいて欲しいと思っている度合いが小さい場合には、予め定められた刺激の範囲の中から小さい刺激量を算出する。第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いが大きい場合には、予め定められた刺激の範囲の中から大きい刺激量を算出する。第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いが小さい場合には、予め定められた刺激の範囲の中から小さい刺激量を算出する。
例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離が離れている場合には第２参加者１５を表すアバターロボット１７が大きな刺激量を算出し、距離が近い場合には第２参加者１５を表すアバターロボット１７が小さな刺激量を算出する。
【００２２】
刺激量算出部５５は、上記算出された刺激量から、刺激出力部５７に応じた信号への変換を行う部である。後に説明するが、例えば刺激出力部５７がモータなどの振動を利用する場合、上記算出された刺激量に応じて振幅と周波数を算出する。例えば刺激出力部５７が発光ダイオードＬＥＤなどの光を発する場合、上記算出された刺激量に応じて出力する光量や電流、電圧の値を算出する。刺激出力部５７がＬＥＤなどの色を出力する場合、算出された刺激量に応じて出力する色の濃淡、例えば濃い赤や薄い赤、や、色の変化、例えば青や赤、を出力する。刺激出力部５７は、第１参加者が目視することにより感知可能な光波信号を発生する。
刺激出力部５７がスピーカなどの音を出力する場合、上記算出された刺激量に応じて出力する音量を算出する。刺激出力部５７がスピーカなどの音を出力する場合、上記算出された刺激量に応じて出力する言語又は音声の内容やその音量を算出する。具体的には、「あーあ」「んー」等の言語又は音声を選んだり、その音声の音量を算出したりする。刺激出力部５７は、第１参加者が聴取することにより感知可能な音波信号を発生する。
刺激出力部５７は、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定された拠点状況情報に基づいて刺激量算出部５５で算出された刺激量を出力する。例えば、図１に示す第２参加者１５を表すアバターロボット１７に、モータやＬＥＤやスピーカなどのデバイスが具備されており、上記デバイスが、第１拠点状況取込部２３で推定された拠点状況情報と第２拠点状況取込部４３で推定されたと拠点状況情報に基づいて刺激量算出部５５で算出された刺激量を出力する。
【００２３】
図３は本発明の第１実施形態に係るコミュニケーション補助システムの動作を表すフローチャートである。
まずステップＳ１００では状況入力処理を行う。図２に示す第１拠点状況計測部２１と、第１拠点状況取込部２３と、第２拠点状況計測部４１と、第２拠点状況取込部４３とを用いて、図１に示す第１拠点１１Ａと第２拠点１１Ｂの状況を計測して取り込む。ここで、状況入力処理に用いる入力は、図２に示す第１拠点状況計測部２１と第２拠点状況計測部４１と、から得られる計測データである。
ステップＳ１００では、上記得られた計測データを、ステップＳ２００で用いるデータへ変換する。
具体的には、例えば、ステップＳ１００は、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている状況かどうか、ならびに第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し第２拠点１１Ｂの第２参加者１５の存在を忘れている状況であるかどうかを計測し取り込むステップである。例えばマイクとカメラを用いて音声信号と映像信号を入力する。又は、マイクと加速度センサを用いて音声信号と加速度の信号を入力する。ここで、音声信号を参加者の発言内容や発音の有無を検出するためにノイズを除去したり、参加者の発言内容や発音の有無を検出するために適切なサンプリング周期で信号を処理したり、映像信号からノイズを除去し、図１に示す第１参加者１３と第２参加者１５と第３参加者１４とアバターロボット１７の姿勢や動きの信号を抽出したりする。
ステップＳ１００の出力は、上記状況入力処理を行うステップＳ１００で処理されたデータである。
【００２４】
状況算出処理を行うステップＳ２００では、図２に示す第１拠点状況推定部２５と、第２拠点状況推定部４５を用いて、図１に示す第１拠点１１Ａと第２拠点１１Ｂの拠点状況情報を推定し算出する。
ステップＳ２００の入力は、ステップＳ１００の出力である。
ステップＳ２００の処理は、図２に示す第１拠点状況推定部２５と、第２拠点状況推定部４５を用いて、図１に示す第１拠点１１Ａと第２拠点１１Ｂの拠点状況情報を推定し算出する。
ステップＳ２００の出力は、上記推定された図１に示す第１拠点１１Ａと第２拠点１１Ｂの拠点状況情報である。
具体的には、例えば、ステップＳ２００では、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在に気づいて欲しいと思っている度合いを算出する、ならびに第１拠点１１Ａの第１参加者１３と第３参加者１４が議論に白熱し、第２拠点１１Ｂの第２参加者１５の存在を忘れている度合いを算出する。
ステップＳ２００の入力は、例えばマイクやカメラや加速度センサを用いて得られた音声信号や映像信号や加速度の信号からノイズを除去し、参加者の発言内容や発音の有無を検出するために適切なサンプリング周期で信号を処理された信号である。
【００２５】
ステップＳ２００では、例えば音声信号から図１に示す第１参加者１３と第２参加者１５と第３参加者１４の発言の内容や、発言している時間、発言していない時間や、発言の音量から、図１に示す第１拠点１１Ａのテレビ会議の白熱の度合いや、図１に示す第１拠点１１Ａのテレビ会議の参加の拠点状況情報を推定する。例えば、映像信号から、図１に示す第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的にはうなずく、みつめる、頬杖をつくなどの動作や、視線の先を特定し誰に向かって会話しているのか等の情報からテレビ会議の拠点状況情報を推定する。例えば、動作や音声の有無や回数のみならず、その動作の大きさについても考慮し、拠点状況情報を推定する。
ステップＳ２００の出力は、上記推定された図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報や、図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報である。例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いである。例えば、図１に示す第１拠点１１Ａの第１参加者１３と第３参加者１４が第２拠点１１Ｂの第２参加者１５の存在を忘れていると推定された拠点状況情報かどうかや、第２拠点１１Ｂの参加者が自分の存在に気づいて欲しいと思っていると推定された状態かどうかである。例えば図１に示す第２参加者１５を表すアバターロボット１７と第１拠点１１Ａの第１参加者１３と第３参加者１４の距離により、第２参加者１５に気づきやすい拠点状況情報かどうかを表す値である。
【００２６】
刺激量算出処理を行うステップＳ３００は、図２に示す第１拠点状況推定部２５で推定された拠点状況情報と第２拠点状況推定部４５で推定されたと拠点状況情報に基づいて、刺激量算出部５７を用いて、刺激量を算出する。
ステップＳ３００の入力は、上記ステップＳ２００の出力である。ステップＳ３００は、図２に示す第１拠点状況推定部２５で推定された拠点状況情報と第２拠点状況推定部４５で推定されたと拠点状況情報に基づいて、刺激量算出部５７を用いて、刺激量を算出する。ステップＳ３００の出力は、上記処理にて算出された刺激量を表す値である。
具体的には、例えば、ステップＳ３００では、図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報と図１に示す第２拠点１１Ｂのテレビ会議の拠点状況情報に応じて刺激量を算出する。
ステップＳ３００の入力は、例えば、図１に示す第１拠点１１Ａの第１参加者１３と第３参加者１４が第２拠点１１Ｂの第２参加者１５の存在を忘れていると推定された拠点状況情報かどうかや、第２拠点１１Ｂの参加者が自分の存在に気づいて欲しいと思っていると推定された状態かどうかである。例えば図１に示す第２参加者１５を表すアバターロボット１７と第１拠点１１Ａの第１参加者１３と第３参加者１４の距離により、第２参加者１５に気づきやすい拠点状況情報かどうかを表す値である。例えば、図１に示す第１拠点１１Ａのテレビ会議の拠点状況情報や、図１の第１拠点１１Ａのテレビ会議の拠点状況情報である。例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いである。
ステップＳ３００では、第２拠点状況情報、第１参加者１３の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者１５の言動に現れる会議への参加意思の程度を表す意思量を算出する。
ステップＳ３００では、例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いに応じて図１に示す第１拠点１１Ａにいる第１参加者１３と第３参加者１４に提示する刺激量を算出する。
ステップＳ３００の出力は、例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いに応じて図１に示す第１拠点１１Ａにいる第１参加者１３と第３参加者１４に提示する刺激量である。
【００２７】
刺激出力処理を行うステップＳ４００では、図２に示す刺激量算出部５５で算出された刺激量を用いて刺激を出力する。
ステップＳ４００の入力は、ステップＳ３００の出力である。ステップＳ４００は、ステップＳ３００にて出力された値を算出された刺激出力部５７の入力値に変換する。
ステップＳ４００の出力は、図２に示す刺激出力部５７で算出された刺激量を用いて実際に刺激を出力するものである。
具体的には、例えば、ステップＳ４００では、上記ステップＳ３００の出力である刺激を実際に刺激の出力として使用する機器の信号へと変換し、実際に刺激を出力する。
ステップＳ４００の入力は、例えば、図１に示す第１拠点１１Ａのテレビ会議の白熱度合いや、第２拠点１１Ｂにいる第２参加者１５が自分の存在に気づいて欲しいと思っている度合いに応じて図１に示す第１拠点１１Ａにいる第１参加者１３と第３参加者１４に提示する刺激量である。
【００２８】
ステップＳ４００では、例えば、図２に示す刺激出力部５７で算出された刺激量を振動モータに出力する場合、上記入力された刺激量を振幅と周波数に変換する。振幅は固定で周波数に上記入力された刺激量を変換してもよいし、周波数は固定で振幅に上記入力された刺激量を変換してもよい。
ステップＳ４００の出力は、例えば、図２に示す刺激出力部５７で算出された刺激量を振動モータに出力する場合、上記処理にて変換された振幅と周波数にて振動モータを振動させることである。
なお、本実施形態によれば、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量から刺激量を算出しているが、本発明はこれに限定されるものではない。すなわち、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を意思量算出部５５ｂにより算出し、刺激出力部５７により意思量に応じた刺激を第１参加者が知覚できるように出力してもよい。これにより、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
また、第１拠点状況情報、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
【００２９】
＜第２実施形態＞
図４は本発明の第２実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図３に示すステップＳ２００の具体的な例を示すフローチャートである。
ステップＳ２１０は第１拠点状況算出処理を行うためのサブルーチンであり、ステップＳ２５０は第２拠点状況算出処理を行うためのサブルーチンである。図３に示すステップＳ２００は、第１拠点状況算出処理Ｓ２１０と、第２拠点状況算出処理Ｓ２５０からなるステップである。
ステップＳ２１０の入力は、図２に示す第１拠点状況取込部２３により取り込まれた情報である。一方、ステップＳ２１０では、図２に示す第１拠点状況推定部２５を用いて第１拠点１１Ａの拠点状況情報を算出する。ステップＳ２１０の出力は、上記処理で算出された第１拠点１１Ａの拠点状況情報である。
具体的には、例えば、ステップＳ２１０の入力は、図１に示す第１拠点１１Ａの第１参加者１３と第３参加者１４の状況を計測した情報である。例えば、ノイズの除去や適切なサンプリング周期へ信号変換されたような、前処理を加えた音声信号や映像信号や加速度の信号のデータである。例えば、図１に示す第１参加者１３と第２参加者１５と第３参加者１４のテレビ会議中の体の動きや、予め定められた特徴的な動作、具体的にはうなずく、みつめる、頬杖をつくなどの動作や、視線の先を特定し誰に向かって会話しているのか等のデータである。
【００３０】
ステップＳ２１０では、例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４が、第２参加者１５を表すアバターロボット１７や、多くの場合遠隔テレビ会議に存在する第２参加者１５の姿を投影する映像に視線を向けることなく、第１拠点１１Ａの第１参加者１３と第３参加者１４のみで会話を続けたりし、第２参加者１５に向けた発言を行わないという拠点状況情報を、音声信号や映像信号や、加速度の信号を用いて音と体の動きや視線から推定し算出する。例えば、第１拠点１１Ａの第１参加者１３と第３参加者１４と、第２参加者１５を表すアバターロボット１７との距離を算出する。
ステップＳ２１０の出力は、第１拠点１１Ａの第１参加者１３と第３参加者１４が第２拠点１１Ｂの第２参加者１５の存在を忘れてテレビ会議に白熱している度合いを表す値である。
ステップＳ２５０の入力は、図２に示す第２拠点状況取込部４３により取り込まれたデータである。
ステップＳ２５０では、図２に示す第２拠点状況推定部４５を用いて図１に示す第２拠点１１Ｂの拠点状況情報を推定し算出する。
【００３１】
ステップＳ２５０の出力は、上記処理で算出された図１に示す第２拠点１１Ｂの拠点状況情報を表すデータある。
具体的には、例えば、ステップＳ２５０の入力は、図１に示す第２拠点１１Ｂの第２参加者１５の拠点状況情報を計測した情報である。例えば、ノイズの除去や適切なサンプリング周期へ信号変換されたような、前処理を加えた音声信号や映像信号や加速度の信号のデータである。例えば、図１に示す第２拠点１１Ｂの第２参加者１５の音声信号であったり、例えば、頬杖をついたり、うなずいたり、ため息をついたりなどの特徴的な動作の信号である。
ステップＳ２５０では、図１に示す第２拠点１１Ｂにいる第２参加者１５の拠点状況情報を算出する。例えば第２拠点１１Ｂの第２参加者１５のテレビ会議の参加が、発言を予め定められた時間以上発言しておらず、例えば、頬杖をついたり、うなずいたり、ため息をついたりなどの特徴的な動作を行い、第１拠点１１Ａの第１参加者１３と第３参加者１４に存在に気づいて欲しいと思っている拠点状況情報を、音声信号や映像信号や加速度の信号を用いて音と体の動きや視線から推定し算出する処理である。
ステップＳ２５０の出力は、例えば第２拠点１１Ｂの第２参加者１５が発言するまでではないが、第１拠点１１Ａの第１参加者１３と第３参加者１４に自分の存在を気にして欲しい又は気づいて欲しいと思っている拠点状況情報の度合いを表す値である。
このように、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
【００３２】
＜第３実施形態＞
図５は本発明の第３実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図４に示す第１拠点状況算出処理（Ｓ２１０）の具体的な例を表すフローチャートである。
まず、図５に示すフローチャートについて概略的に説明する。
ステップＳ２１１では、第２参加者１５が予め定められた時間以上発言していないか判定する。第２参加者１５が予め定められた時間以上発言していない場合は、ステップＳ２１２に進み、変数の初期化を行う。ステップＳ２１３では、参加者の挙動に特徴的動作があるか判定する。特徴的動作がある場合はステップＳ２１４に進み、発言者の特定と視線検出の処理を行う。
ステップＳ２１５では、発言者の視線の先は第２参加者１５に相当する場所以外であるか判定する。発言者の視線の先は第２参加者１５に相当する場所以外である場合はステップＳ２１６に進み、検出された第１拠点１１Ａの特徴的動作の回数を更新する。次いで、ステップＳ２１７では、検出された第１拠点１１Ａの特徴的動作の総量を更新する。次いで、ステップＳ２１８では、ループ変数を更新する。次いで、ステップＳ２１９では、次のステップで考慮する時刻が０より小さいか判定する。
次のステップで考慮する時刻が０より小さい場合は、ステップＳ２２０に進み、検出された第１拠点１１Ａの特徴的動作の回数が予め定められた特徴的動作の回数の閾値より大きいか判定する。
第１拠点１１Ａの特徴的動作の回数が予め定められた特徴的動作の回数の閾値より大きい場合は、ステップＳ２２１に進み、第１拠点１１Ａの拠点状況情報を表すフラグを算出する。次いで、ステップＳ２２２では、算出されたデータを出力する。
【００３３】
ここで、図５に示すフローチャートに用いる変数の定義について説明する。
Ｔｉｍｅ＿ｃｕｒｅｎｔは、現在の時刻を表す。Ｔｉｍｅ＿ｉｎｔｅｒｖａｌは、予め定められた時間の間隔を表す値で、現在の時刻からこの時間の間隔毎に特長的動作の検出を行うために使用する。Ｔｉｍｅ＿ｎｏｎＶｏｉｃｅは、予め定められた時間の長さを表す値で、第２参加者１５がこの値以上に無音区間であるかを判定するステップで使用する。Ｆｌａｇ＿１１Ａは、第１拠点１１Ａの拠点状況情報を表すフラグであり、０か１の値をとる。
１の時に、第１拠点１１Ａの拠点状況情報は第２拠点１１Ｂの拠点状況情報を忘れて議論に白熱している状態を表す。それ以外のときは０の値をとる。ｊは、ループの変数を表す。ＭｏｔｉｏｎＶａｌｕｅ＿ａｖｅｒａｇｅは、予め定められた特徴的動作の大きさの平均値を表す。ＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄは、予め定められた特徴的動作の回数の閾値を表す。ＭｏｔｉｏｎＶａｌｕｅ＿ｄｅｔｅｃｔｉｏｎは、検出された特徴的動作の量を表す。ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａは、検出された第１拠点１１Ａの特徴的動作の総量を表す。ＭｏｔｉｏｎＣＴＳ＿１１Ａは、検出された第１拠点１１Ａの特徴的動作の回数を表す。
【００３４】
図５に示すフローチャートにおいて、第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２１１の入力は、第２拠点１１Ｂの拠点状況情報を計測したデータである。例えば、第２拠点１１Ｂの第２参加者１５のマイクにより計測された音声信号である。
第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２１１の処理は、第２参加者１５が予め定められた時間Ｔｉｍｅ＿ｎｏｎＶｏｉｃｅ以上に発言していないか判定する処理である。現在の時刻Ｔｉｍｅ＿ｃｕｒｅｎｔからＴｉｍｅ＿ｃｕｒｅｎｔ−Ｔｉｍｅ＿ｎｏｎＶｏｉｃｅまで第２参加者１５が予め定められた音量以上の音声を発していない場合、第２参加者１５が予め定められた時間以上発言していない、と判定される。第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２１１の出力は、「はい」又は「いいえ」である。「はい」である場合はＳ２１２へ、「いいえ」である場合は終了のステップへ進む。加えて、現在の時刻Ｔｉｍｅ＿ｃｕｒｅｎｔを出力する。
次いで、変数の初期化を行うステップＳ２１２の入力は、Ｓ２１１の出力である。変数の初期化を行うステップＳ２１２の処理は、変数の初期化を行う処理である。具体的には、第１拠点１１Ａの拠点状況情報を表すフラグＦｌａｇ＿１１Ａと、検出された第１拠点１１Ａの特徴的動作の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａと、検出された第１拠点１１Ａの特徴的動作の回数ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ループの変数ｊと、の値を０にすることである。変数の初期化を行うステップＳ２１２の出力は、Ｆｌａｇ＿１１ＡとＭｏｔｉｏｎＶａｌｕｅ＿１１ＡとＭｏｔｉｏｎＣＴＳ＿１１Ａとｊと、Ｓ２１１で出力されたＴｉｍｅ＿ｃｕｒｅｎｔの値である。
【００３５】
次いで、特徴的動作があるか判定するステップＳ２１３の入力は、Ｓ２１２の出力と、予め定められた正規化された特徴的動作の信号である。特徴的動作があるか判定するステップＳ２１３の処理は、時刻｛Ｔｉｍｅ＿ｃｕｒｅｎｔ  −  ｊ×予め定められた時間の間隔Ｔｉｍｅ＿ｉｎｔｅｒｖａｌ｝から、時刻｛Ｔｉｍｅ＿ｃｕｒｅｎｔ  −  （ｊ＋１）×Ｔｉｍｅ＿ｉｎｔｅｒｖａｌ｝まで、の間に予め定められた特徴的動作があるか判定する処理である。
具体的には、加速度センサの信号を用いる場合、予め定められた正規化された特徴的動作、例えば、うなずくという動作の、加速度センサのｘ、ｙ、ｚの信号を用意し、パターン認識の処理により、上記時刻の区間に、うなずくという動作の信号とマッチしている信号があるかを判定する。上記の予め定められた特徴的動作は、１つの動作に限ることなく、複数の動作を用意しておいてもよい。検出したい動作の数だけ用意する必要がある。
【００３６】
このフローチャートでは、検出したい特徴的動作が１つである場合を例に説明したものである。特徴的動作があるか判定するステップＳ２１３の出力は、「はい」、又は「いいえ」、である。上記処理にて特徴的動作が抽出された場合は「はい」、されなかった場合は「いいえ」、を出力する。「はい」である場合はステップＳ２１４へ、「いいえ」である場合はＳ２１８のステップに進む。
加えて、上記処理にて得られた特徴的動作のデータである特徴的動作情報の種類、回数、その大きさを出力する。具体的には、特徴的動作の大きさは、検出された特徴的動作の量ＭｏｔｉｏｎＶａｌｕｅ＿ｄｅｔｅｃｔｉｏｎの変数に保持する。例えば、大きくうなずいた場合、予め定められた正規化された加速度センサの信号より大きな信号となる。加速度センサの信号、具体的には波形の振幅などのデータにより、ステップＳ２１３の処理にて大きさを算出し、出力する。
加えて、ｊ、Ｆｌａｇ＿１１Ａ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＣＴＳ＿１１Ａ、Ｔｉｍｅ＿ｃｕｒｅｎｔの値も出力する。これらの変数の値は、その度、出力してもよいし、データベースで管理してもよい。今後、出力や入力に関するデータについては必要に応じて省略する。
【００３７】
次いで、発言者の特定と視線検出の処理を行うステップＳ２１４の入力は、ステップＳ２１３の出力である。発言者の特定と視線検出の処理を行うステップＳ２１４の処理は、第１拠点１１Ａで発言している発言者の特定と、発言している発言者の発言相手を視線検出により特定する処理である。
具体的には、例えば、音声信号により、第１拠点１１Ａにいる第１参加者１３と第３参加者１４のうち、どちら、又は両方が会話しているのか、又はだれも会話していないのかを判定する。１人以上の発話が確認された場合、映像信号により、視線を検出し、発言相手を特定する処理を行う。発言者の特定と視線検出の処理を行うステップＳ２１４の出力は、発言者とその視線の先を表すデータである。
発言者の視線の先は第２参加者１５に相当する場所以外であるか判定するステップＳ２１５の入力は、ステップＳ２１４の出力である。
【００３８】
発言者の視線の先は、第２参加者１５に相当する場所以外であるか判定するステップＳ２１５の処理は、ステップＳ２１４の出力である、発言者の視線の先が第２参加者１５を表すものでないかを判定する処理である。発言者の視線の先は第２参加者１５に相当する場所以外であるか判定するステップＳ２１５の出力は、「はい」又は「いいえ」である。「はい」である場合はＳ２２０へ、「いいえ」である場合は終了のステップに進む。
例えば、図１に示す第１拠点１１Ａには第２参加者１５を表すアバターロボット１７が存在しているとする。具体的には、発言者の視線の先がアバターロボット１７である場合は、発言者の視線の先は第２参加者１５を表すものであるため、判定は「いいえ」、となる。例えば、多くの遠隔テレビ会議で用いられているように、スクリーンに遠隔地参加者の様子を映す場合、発言者の視線の先がスクリーンであった場合、判定は「いいえ」となる。逆に、発言者が、自分と同じ拠点にいる参加者に向けて発言している場合、具体的には、第１拠点１１Ａの第１参加者１３が第３参加者１４に向けて発言している場合は、判定は、「はい」、になる。
【００３９】
次いで、検出された第１拠点１１Ａの特徴的動作情報の回数を更新するステップＳ２１６の入力は、ステップＳ２１５の出力、「はい」、である。加えて、ステップＳ２１３で検出した特徴的動作情報のデータである。検出された第１拠点１１Ａの特徴的動作情報の回数を更新するステップＳ２１６の処理は、検出された第１拠点１１Ａの特徴的動作情報の回数ＭｏｔｉｏｎＣＴＳ＿１１Ａの値を更新する処理である。
具体的には、例えば、ステップＳ２１３にて検出された特徴的動作情報が１つである場合、ＭｏｔｉｏｎＣＴＳ＿１１Ａの値に１を加える。仮に、ステップＳ２１３にて検出された特徴的動作情報が１つ以上である場合には、その数に応じて値を加えてもよい。検出された第１拠点１１Ａの特徴的動作情報の回数を更新するステップＳ２１６の出力は、更新されたＭｏｔｉｏｎＣＴＳ＿１１Ａの値である。
次いで、検出された第１拠点１１Ａの特徴的動作情報の総量を更新するステップＳ２１７の入力は、ステップＳ２１３で検出した特徴的動作情報のデータである。具体的には、例えば、検出された特徴的動作情報の量Ｍｏｔｉｏｎ＿ｄｅｔｅｃｔｉｏｎである。検出された第１拠点１１Ａの特徴的動作情報の総量を更新するステップＳ２１７の処理は、ステップＳ２１７の入力データから特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａを更新する処理を行う。
【００４０】
例えば、ステップＳ２１３にて検出された特徴的動作情報が１つである場合、具体的には、その検出された特徴的動作情報の大きさの平均値がＭｏｔｉｏｎＶａｌｕｅ＿ａｖｅｒａｇｅである場合、検出された第１拠点１１Ａの特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は、現在のＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値に、ＭｏｔｉｏｎＶａｌｕｅ＿ｄｅｔｅｃｔｉｏｎ÷ＭｏｔｉｏｎＶａｌｕｅ＿ａｖｅｒａｇｅの値を加えたものである。
ステップＳ２１３にて検出された特徴的動作情報が大きい場合、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は大きな値が加えられることになる。これは、議論が白熱すれば体の動きも大きくなることを反映した値である。検出された第１拠点１１Ａの特徴的動作情報の総量を更新するステップＳ２１７の出力は、上記処理にて算出され、更新された、第１拠点１１Ａの特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａである。
【００４１】
次いで、ループ変数を更新するステップＳ２１８の入力は、現在のｊの値である。ループ変数を更新するステップＳ２１８の処理は、ｊに１を加える処理である。ループ変数を更新するステップＳ２１８の出力は、更新されたｊの値である。これは、ステップＳ２１３にて特徴的動作情報を検出する時刻の区間を更新するために行う処理である。
次のステップで考慮する時刻が０より小さいか判定するステップＳ２１９の入力は、ステップＳ２１８の出力であるｊと、Ｔｉｍｅ＿ｃｕｒｅｎｔとＴｉｍｅ＿ｉｎｔｅｒｖａｌである。次のステップで考慮する時刻が０より小さいか判定するステップＳ２１９の処理は、次のステップで行うステップＳ２１３にて特徴的動作情報を検出する時刻の区間が、０より小さいかを判定するステップである。具体的には、Ｔｉｍｅ＿ｃｕｒｅｎｔ  −（ｊ＋１）×Ｔｉｍｅ＿ｉｎｔｅｒｖａｌの値が０より小さいかを判定する。０より小さい場合は、「はい」、０以上である場合は「いいえ」、となる。
次のステップで考慮する時刻が０より小さいか判定するステップＳ２１９の出力は、「はい」、又は「いいえ」である。「はい」である場合はステップＳ２２０へ、「いいえ」である場合はステップＳ２１３のステップへ進む。
次いで、検出された第１拠点１１Ａの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２２０の入力は、ステップＳ２１９の「はい」、とＭｏｔｉｏｎＣＴＳ＿１００と予め定められた特徴的動作情報の回数の閾値ＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄの値である。
【００４２】
検出された第１拠点１１Ａの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２２０の処理は、ステップＳ２１６にて更新されたＭｏｔｉｏｎＣＴＳ＿１００の値がＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄより大きいかを判定する処理を行う。
ＭｏｔｉｏｎＣＴＳ＿１００の値がＭｏｔｉｏｎＣＴＳ＿Ｔｈｒｅｓｈｏｌｄより大きい場合には「はい」、小さい場合には「いいえ」と判定する。例えば、第１拠点１１Ａにいる第１参加者１３が、かつステップＳ２１４、ステップＳ２１５で第２参加者１５を表すもの以外に視線を向けた状態で、特徴的動作情報の回数が多く検出された場合、具体的には、第２拠点１１Ｂの第２参加者１５を忘れて議論が白熱している可能性がある状態である。その回数が予め定められた回数以上である場合には、議論が白熱している状態であると判定する処理を行っている。検出された第１拠点１１Ａの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２２０の出力は、上記処理にて判定された「はい」、又は「いいえ」である。
【００４３】
第１拠点１１Ａの拠点状況情報を表すフラグを算出するステップＳ２２１の入力は、ステップＳ２２０の出力、「はい」、である。第１拠点１１Ａの拠点状況情報を表すフラグを算出するステップＳ２２１の処理は、第１拠点１１Ａの拠点状況情報を表すフラグＦｌａｇ＿１１Ａの値を算出する処理である。Ｆｌａｇ＿１１Ａは、０か１の値をとる。Ｆｌａｇ＿１１Ａは、１の時、第１拠点１１Ａの拠点状況情報は第２拠点１１Ｂの状況を忘れて議論に白熱している状態を表す。それ以外のときは０の値をとる。具体的には、例えば、ステップＳ２２０にて、第２拠点１１Ｂの第２参加者１５を忘れて議論が白熱している状態であると判定された場合には１の値を設定する。それ以外の時には０の値を設定する処理を行う。第１拠点１１Ａの拠点状況情報を表すフラグを算出するステップＳ２２１の出力は、Ｆｌａｇ＿１１Ａの値である。
算出されたデータを出力するステップＳ２２２の入力は、Ｆｌａｇ＿１１Ａと、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値である。算出されたデータを出力するステップＳ２２２の処理は、入力データを出力することである。これまでのステップにて算出、更新されたデータの値を出力する処理を行う。算出されたデータを出力するステップＳ２２２の出力は、Ｆｌａｇ＿１１Ａと、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値である。
【００４４】
例えば、第１拠点１１Ａの状況が第２拠点１１Ｂの状況を忘れて議論に白熱している状態である場合、具体的には、Ｆｌａｇ＿１１Ａは１の値をとる。白熱している度合いが大きい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値が大きくなり、白熱している度合いが小さい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は小さくなる。
このように、第１特徴的動作情報、発言者情報、及び対話相手情報を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
また、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出するので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を算出することができる。
【００４５】
＜第４実施形態＞
図６は、本発明の第４実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図４に示す第２拠点状況算出処理（ステップＳ２５０）の具体的な例を説明するためのフローチャートである。
まず、図６に示すフローチャートについて概略的に説明する。
ステップＳ２５１では、第２参加者が予め定められた時間以上発言していないか判定する。ステップＳ２５２では、変数の初期化を行う。ステップＳ２５３では、特徴的動作情報があるか判定する。ステップＳ２５４では、検出された第２拠点１１Ｂの特徴的動作情報の回数を更新する。ステップＳ２５５では、検出された第２拠点１１Ｂの特徴的動作情報の総量を更新する。ステップＳ２５６では、ループ変数を更新する。ステップＳ２５７では、次のステップで考慮する時刻が０より小さいか判定する。ステップＳ２５８では、検出された第２拠点１１Ｂの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定する。ステップＳ２５９では、第２拠点１１Ｂの拠点状況情報を表すフラグを算出する。ステップＳ２６０では、算出されたデータを出力する。
【００４６】
ここで、図６に示すフローチャートに用いる変数の定義について説明する。
なお、変数の定義のうち、図５を参照して説明した変数については省略する。
Ｆｌａｇ＿１１Ｂは、第２拠点１１Ｂの拠点状況情報を表すフラグ。０か１の値をとる。１の時に、第２拠点１１Ｂの拠点状況情報は第１拠点１１Ａにいる参加者に発言するまでではないが自分の存在に気づいて欲しいと思っている拠点状況情報を表す。それ以外のときは０の値をとる。ｉは、ループの変数を表す。ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂは、検出された第２拠点１１Ｂの特徴的動作情報の総量を表す。ＭｏｔｉｏｎＣＴＳ＿１１Ｂは、検出された第２拠点１１Ｂの特徴的動作情報の回数を表す。
第２参加者１５が予め定められた時間以上発言していないか判定するステップＳ２５１は、図５に示すステップＳ２１１と同じである。
変数の初期化を行うステップＳ２５２は、図４に示すステップＳ２１２と同様の内容である。ステップＳ２５２では、検出された第２拠点１１Ｂの特徴的動作情報の総量ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ、検出された第２拠点１１Ｂの特徴的動作情報の回数ＭｏｔｉｏｎＣＴＳ＿１１Ｂと、ループの変数ｉと、第２拠点１１Ｂの拠点状況情報を表すフラグＦｌａｇ＿１１Ｂを用いており、ＭｏｔｉｏｎＶａｌｕｅ＿１１ＢはステップＳ２１２のＭｏｔｉｏｎＶａｌｕｅ＿１１Ａに、ＭｏｔｉｏｎＣＴＳ＿１１ＢはステップＳ２１２のＭｏｔｉｏｎＣＴＳ＿１１Ａに、ｉはステップＳ２１２のｊに、Ｆｌａｇ＿１１ＢはステップＳ２１２のＦｌａｇ＿１１Ａに相当する。
【００４７】
特徴的動作情報があるか判定するステップＳ２５３は、図４に示すステップＳ２１３と同様の内容である。ただし、図４に示すステップＳ２１３では、第１拠点１１Ａの第１参加者１３と第３参加者１４の、テレビ会議に白熱している様子を表す特徴的動作情報を抽出していたが、ステップＳ２５３で対象とする特徴的動作情報は、第２拠点１１Ｂの第２参加者１５が、自分の存在にきづいて欲しいと思った時にみせる特徴的動作情報である。例えば、ため息をつく動作など、テレビ会議においていかれていると思った時にみせる特徴的動作情報である。
次いで、検出された第２拠点１１Ｂの特徴的動作情報の回数を更新するステップＳ２５４は、図５のステップＳ２１６と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。
検出された第２拠点１１Ｂの特徴的動作情報の総量を更新するステップＳ２５５は、図５に示すステップＳ２１７と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。
ループ変数を更新するステップＳ２５６は、図５に示すステップＳ２１８と同様の内容である。ただし用いる変数はｉである。
次のステップで考慮する時刻が０より小さいか判定するステップＳ２５７は、図５に示すステップＳ２１９と同様の内容である。
【００４８】
次いで、検出された第２拠点１１Ｂの特徴的動作情報の回数が予め定められた特徴的動作情報の回数の閾値より大きいか判定するステップＳ２５８は、図５に示すステップＳ２２０と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。
次いで、第２拠点１１Ｂの拠点状況情報を表すフラグを算出するステップＳ２５９は、図５のステップＳ２２１と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。Ｆｌａｇ＿１１Ｂは、第２拠点１１Ｂの拠点状況情報を表すフラグである。１の時、第２拠点１１Ｂの拠点状況情報は第１拠点１１Ａにいる参加者に発言するまでではないが自分の存在に気づいて欲しいと思っている拠点状況情報を表す。それ以外のときは０の値をとる。
次いで、算出されたデータを出力するステップＳ２６０は、図５に示すステップＳ２２２と同様の内容である。ただし、用いる変数は、図６の変数の定義にて説明した第２拠点１１Ｂに関する変数である。具体的には、例えば、第２拠点１１Ｂの第２参加者１５が、第１拠点１１Ａの第１参加者１３と第３参加者１４に、発言するほどではないが、自分の存在を提示したいと思っている度合いが大きい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値が大きくなり、発言するほどではないが、自分の存在を提示したいと思っている度合いが小さい場合には、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値は小さくなる。
このように、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出するので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を算出することができる。
【００４９】
＜第５実施形態＞
図７は本発明の第５実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図５とは異なる図４に示す第１拠点状況算出処理（ステップＳ２１０）の具体的な例を説明したフローチャートである。
ステップＳ２２３では、第１拠点１１Ａにいる参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７を算出する処理を行う。ステップＳ２２４では、Ｆｌａｇ＿１１Ａ、ＭｏｔｉｏｎＣＴＳ＿１１Ａ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、Ｄｉｓｔａｎｃｅ＿１７を出力する。
ここで、図７に示すフローチャートに用いる変数の定義について説明する。
なお、図５、図６で定義済みの変数については省略する。
Ｄｉｓｔａｎｃｅ＿１７は、第１拠点１１Ａにいる参加者とアバターロボット１７との距離を表す。
図７に示すフローチャートは図５に示すフローチャートとほぼ同じである。異なる点は、図５に示すフローチャートには存在しなかった、第１拠点１１Ａにいる参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７を算出する処理を行うステップＳ２２３があることである。また、図５に示すステップＳ２２２に代わって、図５に示すステップＳ２２２で出力していたデータに第１拠点１１Ａの参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７を加えて出力しているステップＳ２２４があることである。
【００５０】
第１拠点１１Ａの状況を計測し、算出するステップにおいて、例えばステップＳ２１３、第１参加者１３と第３参加者１４の状況に加えて、第２参加者１５を表すアバターロボット１７の状況も計測し、後のステップにてこの拠点状況情報についても算出することで、図５に示す場合より、詳しく第１拠点１１Ａの拠点状況情報を算出することができる。
具体的には、ステップＳ２１３では、映像データから、第１拠点１１Ａの第１参加者１３と第２参加者１５を表すアバターロボット１７との距離と、第１拠点１１Ａの第３参加者１４と第２参加者１５を表すアバターロボット１７との距離と、を計測し、上記計測された距離の平均を算出し、変数Ｄｉｓｔａｎｃｅ＿１７に代入する処理を行う。
例えば、距離の平均のみならず、第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａにいる参加者のうちいずれか近いほうの距離を変数Ｄｉｓｔａｎｃｅ＿１７に代入してもよいし、いずれか遠いほうの距離を変数Ｄｉｓｔａｎｃｅ＿１７に代入してもよいし、距離を予め定められた関数を用いて算出した値を代入してもよい。
【００５１】
第１拠点１１Ａにいる参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７は、刺激を出力するアバターロボット１７が、同程度の刺激を出力したとしても、Ｄｉｓｔａｎｃｅ＿１７の値が大きければ、つまり、第１拠点１１Ａにいる参加者とアバターロボット１７との距離が遠ければ、第１拠点１１Ａの参加者が感じる感覚量が小さくなる。
逆に、Ｄｉｓｔａｎｃｅ＿１７の値が小さければ、つまり、第１拠点１１Ａの参加者とアバターロボット１７との距離が近ければ、第１拠点１１Ａにいる参加者が感じる感覚量は大きくなる、ということに対応するために用いる値である。第１拠点１１Ａの参加者とアバターロボット１７との距離Ｄｉｓｔａｎｃｅ＿１７に応じて、第１拠点１１Ａの参加者に提示する刺激量を調整することを可能とするために必要なステップである。上記の例は、距離に関してだが、距離以外の値を用いてもよい。例えば、第１拠点１１Ａの参加者と第２参加者の１００２を表すアバターロボット１７が共に動いている場合、相対速度をもって上記ステップを行ってもよい。
このように、第１参加者とロボット部１７の間の距離を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
【００５２】
＜第６実施形態＞
図８は、本発明の第６実施形態に係るコミュニケーション補助システムの動作を表すフローチャートであり、特に、図３に示す刺激量算出処理を行うステップＳ３００の具体的な例を説明するためのフローチャートである。
まず、図８に示すフローチャートについて概略的に説明する。
ステップＳ３０１では、フラグを判定する。ステップＳ３０２では、データの取り込みを行う。ステップＳ３０３では、第１拠点１１Ａの拠点状況情報から感覚量の範囲を算出する処理を行う。ステップＳ３０４では、第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行う。ステップＳ３０５では、刺激量Ｒの算出を行う。
ステップＳ３０６では、刺激出力部５７のための信号変換処理を行う。ステップＳ３０７では、刺激出力部５７への出力処理を行う。
【００５３】
ここで、図８に示すフローチャートに用いる変数の定義について説明する。
なお、図５、図６、図７を参照して、定義済みの変数については省略する。
Ｅは、第１参加者１３の感覚量を表す。Ｅ＿ｍａｘは、感覚量の閾値の最大値を表す。Ｅ＿ｍｉｎは、感覚量の閾値の最小値を表す。Ｅ＿ｍａｘ＿ｂａｓｉｓは、予め定められた基準となる感覚量の閾値の最大値を表す。Ｅ＿ｍｉｎ＿ｂａｓｉｓは、予め定められた基準となる感覚量の閾値の最小値を表す。ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓは、予め定められた基準となる第１拠点１１Ａの拠点状況情報を表す値を表す。ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓは、予め定められた基準となる第１拠点１１Ａの拠点状況情報を表す値を表す。Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓは、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最大値を表す。Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓは、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最小値を表す。Ｗ＿ｃｔｓは、重み付けの値を表す。Ｗ＿ｖａｌｕｅは、重み付けの値を表す。Ｒは、刺激量を表す。Ｋは、予め定められた定数を表す。Ｒ＿ｂａｓｉｓは、予めさだめられた刺激量の基準値を表す。
Ａは、振幅の値を表す。Ａ＿ｂａｓｉｓは、予め定められた振幅の基準値を表す。
【００５４】
フラグを判定するステップＳ３０１の入力は、図５に示すステップＳ２２２の出力である第１拠点１１Ａの拠点状況情報を表すフラグＦｌａｇ＿１１Ａと、図６に示すステップＳ２６０の出力である第２拠点１１Ｂの拠点状況情報を表すフラグＦｌａｇ＿１１Ｂである。フラグを判定するステップＳ３０１の処理は、Ｆｌａｇ＿１１ＡとＦｌａｇ＿１１Ｂの乗算が１であるかを判定するステップである。上記、乗算が１である場合は、第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している状況、かつ、第２拠点１１Ｂの第２参加者１５が自分の存在にきづいて欲しいと思っている状況である。フラグを判定するステップＳ３０１の出力は、「はい」、又は「いいえ」である。上記処理にて上記乗算の積が１である場合は「はい」、それ以外である場合は「いいえ」を出力する。「はい」である場合はステップＳ３０２へ、「いいえ」である場合は終了のステップへ進む。
データの取り込みを行うステップＳ３０２の入力は、図５に示すステップＳ２２２の出力と、図６に示すステップＳ２６０の出力である。仮に、Ｄｉｓｔａｎｃｅ＿１７の計測も行っている場合には、図６に示すステップＳ２６０の代わりに図７に示すステップＳ２２４の出力を用いる。データの取り込みを行うステップＳ３０２の処理は、データを取り込む処理である。具体的には、ＭｏｔｉｏｎＣＴＳ＿１１Ａ、ＭｏｔｉｏｎＣＴＳ＿１１Ｂ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ、場合によってはＤｉｓｔａｎｃｅ＿１７も加えた上記変数である。データの取り込みを行うステップＳ３０２の出力は、上記変数の出力である。例えば、第１拠点１１Ａの拠点状況情報を表すデータ、具体的には、第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いを表すデータと、第２拠点１１Ｂの第２参加者１５が自分の存在にきづいて欲しいと思っている度合いを表すデータを取り込むステップである。
【００５５】
次いで、第１拠点１１Ａの拠点状況情報から感覚量の範囲を算出する処理を行うステップＳ３０３の入力は、第１拠点１１Ａの拠点状況情報を表すデータ、例えば第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いを表すデータＭｏｔｉｏｎＶａｌｕｅ＿１１Ａと、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値である。
加えて、予め基準となる第１拠点１１Ａにいる参加者がテレビ会議に白熱している度合いを表すデータＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓと、ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓと、予め、基準となる感覚量の閾値の値、Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓと、重み付けの値として、Ｗ＿ｃｔｓとＷ＿ｖａｌｕｅも入力のデータとして用意する。
第１拠点１１Ａの状況から感覚量の範囲を算出する処理を行うステップＳ３０３の処理は、第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いを表すデータに応じて、感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値を算出し、更新する処理を行うステップである。例えば、以下の式（１）（２）を用いて、感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値を算出し、更新する。
【００５６】
Ｅ＿ｍａｘ＝｛Ｗ＿ｃｔｓ×（ＭｏｔｉｏｎＣＴＳ＿１１Ａ÷ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓ）＋Ｗ＿ｖａｌｕｅ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ÷ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓ）｝×Ｅ＿ｍａｘ＿ｂａｓｉｓ            （１）
Ｅ＿ｍｉｎ＝｛Ｗ＿ｃｔｓ×（ＭｏｔｉｏｎＣＴＳ＿１１Ａ÷ＭｏｔｉｏｎＣＴＳ＿１１Ａ＿ｂａｓｉｓ）＋Ｗ＿ｖａｌｕｅ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ÷ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ＿ｂａｓｉｓ）｝×Ｅ＿ｍｉｎ＿ｂａｓｉｓ              （２）
【００５７】
Ｗ＿ｃｔｓとＷ＿ｖａｌｕｅは足して１になる値をとり、０から１までの値をとるとする。そうすると、感覚量の閾値に反映させる、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの割合を調整することができる。基準となる感覚量の閾値の値、Ｅ＿ｍａｘ＿ｂａｓｉｓとＥ＿ｍｉｎ＿ｂａｓｉｓは、Ｅｍａｘ＿ｂａｓｉｓ＞Ｅ＿ｍｉｎ＿ｂａｓｉｓを満たす。また、Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓは、極端に大きすぎず、かつ小さすぎる値であってはならない。
具体的には、例えば、ヒトが予め決められた条件下で、さりげないと感じる感覚量の値であって、例えば、小さい振幅で振動しているものがヒトの視野に入る位置にあった状態の時、例えば１０人中８人が振動していることを感知できる振幅の振動が与える感覚量をＥ＿ｍａｘ＿ｂａｓｉｓ、１０人中２人が振動していることを感知できる振幅の振動が与える感覚量をＥ＿ｍｉｎ＿ｂａｓｉｓとする。
Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓは、ヒトが感知できない感覚量であってはならないし、だれしもが、確実に沢山の量を感知できる感覚量であってもならない。誰もが気づく大きな振幅で振動しては、さりげない状態ではないということである。
Ｅ＿ｍａｘ＿ｂａｓｉｓ、Ｅ＿ｍｉｎ＿ｂａｓｉｓの値を基準にして算出するＥ＿ｍａｘとＥ＿ｍｉｎの値も同様である。上記式は、ＭｏｔｉｏｎＣＴＳ＿１１Ａと、ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａの値を重み付けし、加算した値を感覚量の閾値に反映させた例だが、加算のみならず、乗算でもよい。
このほかの関係式を用いて感覚量の閾値を算出してもよい。第１拠点１１Ａの拠点状況情報から感覚量の範囲を算出する処理を行うステップＳ３０３の出力は、上記処理にて算出され、更新された感覚量の閾値の最大値Ｅ＿ｍａｘと感覚量の閾値の最小値Ｅ＿ｍｉｎの値である。具体的には、第１拠点１１Ａの拠点状況情報を表すデータ、例えば第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いが高ければ、Ｅ＿ｍａｘとＥ＿ｍｉｎの値は共に増加の傾向にある。具体的には、第１拠点１１Ａの拠点状況情報を表すデータ、例えば第１拠点１１Ａの第１参加者１３と第３参加者１４がテレビ会議に白熱している度合いが低ければ、Ｅ＿ｍａｘとＥ＿ｍｉｎの値は小さく設定される。
【００５８】
次いで、第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行うステップＳ３０４の入力は、具体的には、例えば、ステップＳ３０２の出力であるＥ＿ｍａｘとＥ＿ｍｉｎの値と、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最大値Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓと予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最小値Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓと、第２拠点１１Ｂの拠点状況情報を表すＭｏｔｉｏｎＣＴＳ＿１１ＢとＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂと、重み付けの値Ｗ＿ｃｔｓとＷ＿ｖａｌｕｅである。第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行うステップＳ３０４の処理は、上記入力データから、第１拠点１１Ａにいる参加者に提示する感覚量Ｅを算出するステップである。例えば、感覚量Ｅを下記の式にて求める処理である。
【００５９】
Ｅ＝｛（Ｗ＿ｖａｌｕｅ×ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ＋Ｗ＿ｃｔｓ×ＭｏｔｉｏｎＣＴＳ＿１１Ｂ）÷（Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓ＋Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓ）｝×（Ｅ＿ｍａｘ＋Ｅ＿ｍｉｎ）          （３）
上記式（３）に示す（Ｗ＿ｖａｌｕｅ×ＭｏｔｉｏｎＶａｌｕｅ＿１１Ｂ＋Ｗ＿ｃｔｓ×ＭｏｔｉｏｎＣＴＳ＿１１Ｂ）の部分では、第２拠点１１Ｂの拠点状況情報、つまり第２参加者１５が自分の存在に気づいて欲しいと思っている度合いについて、回数と量を重み付け数Ｗで重み付けし、第２拠点１１Ｂの拠点状況情報を数値化する。
【００６０】
上記式（３）に示す÷（Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓ＋Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓ）｝の部分では、予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最大値Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓと予め定められた基準となる第２拠点１１Ｂの拠点状況情報の最小値Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓとの値と比較して、上記第２拠点１１Ｂの拠点状況情報を数値化した値がどの程度かを算出する。
上記式（３）に示す×（Ｅ＿ｍａｘ＋Ｅ＿ｍｉｎ）の部分では、ステップＳ３０３にて更新された感覚量の範囲の中で、上記第２拠点１１Ｂの拠点状況情報を数値化した値がどの程度かを算出した値がどの程度かを算出している。
ただし、Ｍｏｔｉｏｎ＿ｍａｘ＿ｂａｓｉｓ＞Ｍｏｔｉｏｎ＿ｍｉｎ＿ｂａｓｉｓを満たす必要がある。簡単にいうと、予め定められたＭｏｔｉｏｎ＿ｂａｓｉｓの範囲からみて、第２拠点１１Ｂの拠点状況情報がどの程度かを算出し、その程度を感覚量の範囲へ変換する処理を行うステップである。上記の式はあくまで例であり、このほかの関係式を用いてもよい。第２拠点１１Ｂの拠点状況情報から感覚量Ｅを算出する処理を行うステップＳ３０４の出力は、感覚量Ｅの値である。
【００６１】
刺激量Ｒの算出を行うステップＳ３０５の入力は、例えば、ステップＳ３０４で算出された感覚量Ｅの値と、予め定められた定数Ｋの値である。刺激量Ｒの算出を行うステップＳ３０５の処理は、例えば、人間の感覚量と与えられる刺激量との関係を定義したフェフィナーの法則を用いると、刺激量Ｒ＝１０＾（感覚量Ｅ／予め定められた定数Ｋ）により、感覚量Ｒを算出する処理である。
上記式（３）は、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量Ｅから刺激量Ｒを算出する式である。第２拠点１１Ｂの参加者が自分の存在を提示したいと思っている度合いが大きければ感覚量Ｅの値がステップＳ３０４にて大きく算出されるため、ステップＳ３０５で算出される刺激量Ｒも大きくなる。また、第１拠点１１Ａで第２参加者１５を忘れてテレビ会議が白熱している場合は、ステップＳ３０３で算出される感覚量の範囲Ｅ＿ｍａｘとＥ＿ｍｉｎの値が大きく算出されるため、ステップＳ３０４で算出される感覚量Ｅも大きくなり、ステップＳ３０５で算出される刺激量Ｒも大きくなる。刺激量Ｒが小さくなる場合はその逆である。上記は、フェフィナーの法則をもちいて感覚量Ｅから刺激量Ｒを算出したれいだが、そのほかの変換の式を用いてもよい。刺激量Ｒの算出を行うステップＳ３０５の出力は、刺激量Ｒの値である。
なお、本実施形態によれば、第２拠点１１Ｂの第２参加者１５が第１拠点１１Ａにいる参加者に向けて提示したい感覚量Ｅから刺激量Ｒを算出しているが、本発明はこれに限定されるものではない。すなわち、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の言動に現れる会議への参加意思の程度を表す意思量を意思量算出部５５ｂにより算出し、刺激出力部５７により意思量に応じた刺激を第１参加者が知覚できるように出力してもよい。これにより、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
【００６２】
次いで、刺激出力部５７のための信号変換処理を行うステップＳ３０６の入力は、ステップＳ３０５の出力である刺激量Ｒの値である。刺激出力部５７のための信号変換処理を行うステップＳ３０６の処理は、例えば刺激出力部５７が振動モータである場合、刺激量Ｒを振幅と周波数へ変換する処理である。例えば刺激量Ｒを振幅へ変換する処理である。例えば、刺激量Ｒを周波数へ変換する処理である。例えば基準となる振幅Ａ＿ｂａｓｉｓがあり、基準となる刺激量Ｒ＿ｂａｓｉｓがあった場合、出力する振幅Ａは、以下の式（４）で算出される。
Ａ＝Ａ＿ｂａｓｉｓ×（Ｒ÷Ｒ＿ｂａｓｉｓ）                （４）
上記の例は振幅の例だが、周波数にして当てはめてもよい。また、刺激部がＬＥＤだった場合、ＬＥＤに流す電流の量を上記の式と同様に算出し、明るさを調整してもよい。
上記の式（４）はあくまで例であり、他の関係式を用いてもよい。刺激量Ｒから刺激部への入力値として適切な値へと変換する処理を行えばよい。刺激出力部５７のための信号変換処理を行うステップＳ３０６の出力は、上記処理にて算出された刺激出力部５７へ入力できる信号のデータである。例えば、振幅の値である。例えば周波数の値である。例えば電流の値である。例えば電圧の値である。出力の値は１つであってもよいし、複数であってもよい。例えば、振幅と周波数の値であってもよい。
【００６３】
次いで、刺激出力部５７への出力処理を行うステップＳ３０７の入力は、ステップＳ３０６の出力であり、刺激出力部５７のための信号変換処理を行ったデータである。例えば、刺激出力部５７が振動モータである場合、振幅の値である。刺激出力部５７への出力処理を行うステップＳ３０７の処理は、上記入力データを刺激出力部５７へ入力し、刺激出力を実際に行う処理である。例えば、振動モータに、振幅の値の指令を入力する処理である。刺激出力部５７への出力処理を行うステップＳ３０７の出力は、刺激出力部５７が出力をしていることである。例えば、上記処理にて振動モータに入力された振幅にて振動モータが振動している状態である。上記は、振動モータについて、振幅の値を変化させる様子について具体的に説明したが、ＬＥＤなどを用いて光量や色を変化させるために電流値や抵抗値や電圧を変化させてもよい。また、スピーカを用いて音量を変化させるような出力の処理をおこなってもよい。
このように、第１参加者が感知可能な光波信号、音波信号、振動、臭気のうち、少なくとも１つを発生することで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示することができる。
【００６４】
＜第７実施形態＞
図９は、本発明の第７実施形態に係るコミュニケーション補助システムに用いる、図１に示す第２参加者１５を表すアバターロボット１７の具体的な例を説明した図である。
１７は第２参加者１５を表すアバターロボット、１７ａはアバターロボットの耳に位置する刺激部、１７ｂはアバターロボットの目に位置する刺激部、１７ｃはアバターロボットの口に位置する刺激部、１７ｄはアバターロボットの手に位置する刺激部、１７ｅはアバターロボットの足に位置する刺激部、１７ｆはアバターロボットの内部に位置する刺激部である。
例えば、第２参加者１５を表すアバターロボット１７は、視覚を刺激する場合、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてが動いたり、色が変わったり、状態が時間に応じて変化するような刺激部を具備するアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、聴覚を刺激するとは、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてから出力される音が時間に応じて変化するような刺激部を具備するアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、触覚を刺激するとは、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてが動いたりし、状態が時間に応じて変化し、ロボットに触れると状態の違いを認識することができるような刺激部を具備するアバターロボットである。刺激出力部５７は、第１参加者が接触することにより感知可能な振動を発生する。
【００６５】
例えば、第２参加者１５を表すアバターロボット１７は、臭覚を刺激するとは、刺激部１７ａ〜１７ｆのいずれか又は一部又はすべてから時間変化に応じて匂いを発し、臭覚を用いて状態の違いを認識することができるような刺激部を具備するアバターロボットである。刺激出力部５７は、第１参加者が嗅取することにより感知可能な臭気を発生する。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの耳に位置する刺激部１７ａが、振動モータであるアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの目に位置する刺激部１７ｂが、ＬＥＤであるアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの口に位置する刺激部１７ｃがスピーカであるアバターロボットである。
例えば、第２参加者１５を表すアバターロボット１７は、アバターロボットの手に位置する刺激部１７ｄが振動モータであるアバターロボットである。
上記の説明はある特定の刺激部に限って説明したものだが、上記の刺激部は、図９に示す刺激部１７ａ〜１７ｆの少なくとも１つでもよい。
このように、第１参加者とロボット部１７の間の距離を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
【００６６】
＜第８実施形態＞
図１０〜図１３は、本発明の第８実施形態に係るコミュニケーション補助システムに用いる、第１拠点１１Ａのテレビ会議の白熱度合いを反映した、第１拠点１１Ａの感覚Ｅの分布について説明するためのグラフ図である。
図１０は、第１拠点１１Ａの第１参加者１３と第３参加者１４の感覚Ｅの分布のさりげない範囲を具体的に説明するためのグラフ図である。
例えば、計測された第１拠点１１Ａの会議の白熱度合いから、会議参加者毎に感覚Ｅの分布をもち、さりげないと感じる感覚の範囲Ｅ＿ｍｉｎからＥ＿ｍａｘをもっているとする。
【００６７】
図１１（ａ）は、第１拠点１１Ａの第１参加者１３と第３参加者１４の感覚Ｅの分布から第１拠点１１Ａの感覚Ｅのさりげない範囲を具体的に説明するためのグラフ図である。
例えば、第１拠点１１Ａにいる第１参加者１３と第３参加者１４の２人ともがさりげないと感じる範囲を、第１拠点１１Ａの感覚Ｅのさりげない範囲とする。上記は参加者のＡＮＤをとった値となっているが、そのほかの方法で複数参加者の感覚Ｅの分布から第１拠点１１Ａの感覚Ｅのさりげない範囲を算出してもよい。下記の式（５）（６）で算出することもできる。
【００６８】
Ｅ＿ｍａｘ＝ｍｉｎ［Ｅ＿ｍａｘ＿１３、Ｅ＿ｍａｘ＿１４］            （５）
Ｅ＿ｍｉｎ＝ｍａｘ［Ｅ＿ｍｉｎ＿１３、Ｅ＿ｍａｘ＿１４］            （６）
【００６９】
図１１（ｂ）は、第１拠点１１Ａに沢山の参加がいた場合、参加者毎の感覚Ｅの分布のさりげないと感じる範囲から、第２参加者が与えたいと思っている感覚Ｅを算出する方法を説明するためのグラフ図である。
たとえば、第１拠点１１Ａに沢山参加者がいて、図１１（ｂ）のように感覚Ｅの分布のさりげないと感じる範囲が参加者毎に存在する場合を考える。例えば、第２参加者が自分の存在に気付いて欲しいと思っている度合いがとても高い場合には、すべて参加者がさりげないと思っている感覚Ｅの値を算出したりする方法が具体例の一つである。
例えば、第２参加者が自分の存在に気付いて欲しいと思っている度合いがとても低い場合には、数人がさりげないと思っており、残りのヒトはＥ＿ｍｉｎより小さい値であるような感覚Ｅの値を算出したりする方法が具体例の一つである。
【００７０】
図１２（ａ）は、第１拠点１１Ａに存在する複数参加者のさりげないと感じる感覚の最大値Ｅ＿ｍａｘの確率密度の具体例を説明するためのグラフ図である。
例えば、第１拠点１１Ａの感覚Ｅの範囲の更新は、図１２（ａ）に示すような確率密度分布を用いて更新する方法がある。例えば、第１拠点１１Ａが盛り上がっている場合には、確率密度が高くなるようなＥ＿ｍａｘの値を、第１拠点１１Ａのさりげないと感じる感覚の最大値Ｅ＿ｍａｘとして採用したりする方法がある。逆に、第１拠点１１Ａが盛り上がっていない場合には、確率密度が低くなるようなＥ＿ｍａｘの値を、第１拠点１１Ａのさりげないと感じる感覚の最大値Ｅ＿ｍａｘとして採用したりする方法がある。
図１２（ｂ）は、第１拠点１１Ａに存在する複数参加者のさりげないと感じる感覚の最小値Ｅ＿ｍｉｎの確率密度の具体例を説明した図である。
第１拠点１１Ａの感覚Ｅの範囲の更新において、さりげないと感じる感覚の最小値について説明した図である。具体的な方法は（ａ）と同様である。
【００７１】
図１２（ｃ）は、予め定められた第１拠点１１Ａのさりげないと感じる感覚Ｅの範囲がＥ＿ｍａｘ＿ｂａｓｉｓとＥ＿ｍｉｎ＿ｂａｓｉｓとして定められており、第１拠点１１Ａのテレビ会議の拠点状況情報に応じて、第１拠点１１Ａのさりげないと感じる感覚量の範囲Ｅ＿ｍａｘとＥ＿ｍｉｎを更新する具体的な例を説明するためのグラフ図である。
予め定められた第１拠点１１Ａのさりげないと感じる感覚Ｅの範囲がＥ＿ｍａｘ＿ｂａｓｉｓとＥ＿ｍｉｎ＿ｂａｓｉｓとして定められており、例えば第１拠点１１Ａのテレビ会議が白熱している場合には、第１拠点１１Ａのさりげないと感じる感覚量の範囲Ｅ＿ｍａｘとＥ＿ｍｉｎは大きい値へと変換、又は算出される。下記式を用いて算出される。
【００７２】
Ｅ＿ｍａｘ＝ｆ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＣｏｕｎｔ＿１１Ａ、Ｅ＿ｍａｘ＿ｂａｓｉｓ）              （７）
Ｅ＿ｍｉｎ＝ｆ（ＭｏｔｉｏｎＶａｌｕｅ＿１１Ａ、ＭｏｔｉｏｎＣｏｕｎｔ＿１１Ａ、Ｅ＿ｍｉｎ＿ｂａｓｉｓ）              （８）
ただしｆは予めさだめられた関数である。
【００７３】
図１３は、第２拠点１１Ｂの第２参加者１５が自分の存在に気付いて欲しいと思っている度合いを反映し、第１拠点参加者に提示する感覚量Ｅを算出する具体的な例を説明するためのグラフ図である。
例えば、第２参加者１５が自分の存在に気付いて欲しいと思っている度合いは、図１３に示す範囲の中で、上記度合いによってその範囲の中で値を調整することで算出する。例えば、自分の存在に強く気付いて欲しいと思っている場合には、Ｅ＿ｍａｘに近い値をとる。自分の存在に気付いて欲しいと思っている度合いが小さい場合にはＥ＿ｍｉｎに近い値をとる。
【００７４】
上記これまでの実施例すべてについて、以下に記載の内容であってもよい。
例えば、第２拠点１１Ｂにいる参加者１５の自分の存在に気づいて欲しい度合いはこれまでの実施例では、第２参加者の動作をもって算出していたが、例えば、動作に現れない思いを脳波などの信号をもって計測し算出してもよい。
また、刺激Ｒの算出処理は、第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａの第１参加者１３と第３参加者１４との距離、又は第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａの第１参加者１３との距離、又は、第２参加者１５を表すアバターロボット１７と、第１拠点１１Ａの第３参加者１４との距離に比例する強さで算出する処理であってもよい。
また、第１拠点１１Ａの拠点状況情報を計測し、上記算出処理、判定処理を行う際の話者は、複数いてもよい。
このように、第２拠点状況情報、第１参加者の感覚量の分布に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
【００７５】
＜本発明の実施態様例と効果＞
＜第１態様＞
本態様のコミュニケーション補助装置は、第１拠点１１Ａに配置されたテレビ会議端末１０Ａおよび第２拠点１１Ｂに配置されたテレビ会議端末１０Ｂとの間で通信ネットワークＮを経由したコミュニケーションを補助するコミュニケーション補助装置であって、第１拠点１１Ａには、推定された第２拠点１１Ｂの状況を表す第２拠点状況情報を受信する無線通信部５３と、第１拠点１１Ａにいる第１参加者１３が知覚可能な感覚量の範囲を算出する感覚量範囲算出部５５ａと、第２拠点状況情報と第１参加者の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者の意思量を算出する意思量算出部５５ｂと、意思量に応じた刺激を第１参加者が知覚できるように出力する刺激出力部５７と、を備えることを特徴とする。
本態様によれば、第２拠点状況情報と第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【００７６】
＜第２態様＞
本態様のコミュニケーション補助装置は、第１拠点１１Ａの状況を表す第１拠点状況情報を推定する第１拠点状況推定部２５を備え、意思量算出部５５ｂは、第１拠点状況情報、第２拠点状況情報および第１参加者の感覚量の範囲に基づいて、第２参加者の意思量を算出することを特徴とする。
本態様によれば、第１拠点状況情報、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【００７７】
＜第３態様＞
本態様のコミュニケーション補助装置は、感覚量範囲算出部５５ａは、第１参加者が知覚可能な感覚量の分布を算出し、参加意思量算出部５５ｂは、第２拠点状況情報、第１参加者の感覚量の分布に基づいて、意思量を算出することを特徴とする。
本態様によれば、第２拠点状況情報、第１参加者の感覚量の分布に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【００７８】
＜第４態様＞
本態様のコミュニケーション補助装置は、第１拠点状況推定部２５は、第１拠点１１Ａの音声信号、及び映像信号を計測する第１音声映像計測手段と、第１拠点１１Ａの映像信号に基づいて第１特徴的動作情報を抽出する第１特徴的動作抽出手段と、第１拠点１１Ａの音声信号と映像信号に基づいて発言者情報と当該発言者の対話相手情報を特定する特定手段と、対話相手情報が第２参加者を表すか否かを判定する判定手段と、を備え、第１拠点状況推定部２５は、第１特徴的動作情報、発言者情報、及び対話相手情報を第１拠点状況情報として出力することを特徴とする。
本態様によれば、第１特徴的動作情報、発言者情報、及び対話相手情報を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【００７９】
＜第５態様＞
本態様のコミュニケーション補助装置は、刺激出力部５７は、刺激を出力するように構成されたロボット部１７を備え、第１拠点状況推定部２５は、第１参加者とロボット部１７の間の距離を計測する測距手段を備え、距離を第１拠点状況情報として推定することを特徴とする。
本態様によれば、第１参加者とロボット部１７の間の距離を第１拠点状況情報として用いることで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【００８０】
＜第６態様＞
本態様のコミュニケーション補助装置は、刺激出力部５７は、第１参加者が目視することにより感知可能な光波信号を発生する光波発生手段、第１参加者が聴取することにより感知可能な音波信号を発生する音波発生手段、第１参加者が接触することにより感知可能な振動を発生する振動発生手段、第１参加者が嗅取することにより感知可能な臭気を発生する臭気発生手段のうち、少なくとも１つであることを特徴とする。
本態様によれば、第１参加者が感知可能な光波信号、音波信号、振動、臭気のうち、少なくとも１つを発生することで、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示することができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【００８１】
＜第７態様＞
本態様のコミュニケーション補助装置は、第２拠点状況推定部４５は、第２拠点１１Ｂの状況として音声信号、及び映像信号を計測する第２音声映像計測手段と、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出する第２特徴的動作抽出手段と、第２特徴的動作情報を第２拠点状況情報として第１拠点１１Ａ側に送信する送信手段と、を備えることを特徴とする。
本態様によれば、所定時間内における第２拠点１１Ｂの音声信号が所定音量以下である場合に、第２拠点１１Ｂの映像信号に基づいて第２特徴的動作情報を抽出するので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を算出することができる。
【００８２】
＜第８態様＞
本態様のコミュニケーション補助システムは、第１乃至６態様の何れか１つに記載のコミュニケーション補助装置を刺激量算出出力ユニット５０とし、第７態様に記載のコミュニケーション補助装置を第２拠点状況推定ユニット４０として備えることを特徴とする。
本態様によれば、刺激量算出出力ユニット５０と、第２拠点状況推定ユニット４０とを用いてコミュニケーション補助システムを構成することができる。
【００８３】
＜第９態様＞
本態様のコミュニケーション補助方法は、第１拠点１１Ａに配置された第１会議端末１０Ａおよび第２拠点１１Ｂに配置された第２会議端末１０Ｂの間で通信ネットワークＮを経由したコミュニケーションを補助するコミュニケーション補助方法であって、第１拠点１１Ａには、推定された第２拠点１１Ｂの状況を表す第２拠点状況情報を受信する受信ステップＳ２００と、第１拠点１１Ａにいる第１参加者１３が知覚可能な感覚量の範囲を算出する感覚量範囲算出ステップＳ３００と、第２拠点状況情報と第１参加者１３の感覚量の範囲に基づいて、第２拠点１１Ｂにいる第２参加者１５の意思量を算出する意思量算出ステップＳ３００と、意思量に応じた刺激を第１参加者１３が知覚できるように出力する刺激出力ステップＳ４００と、を備えることを特徴とする。
本態様によれば、第２拠点状況情報、第１参加者の感覚量の範囲に基づいて、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。すなわち、相手に自分の存在を提示する度合いの調整を行うことができる。
【００８４】
＜第１０態様＞
本態様のプログラムは、第９態様の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをＣＰＵに実行させることができるので、遠隔地の参加者の言動に現れる会議への参加意思の程度を表す意思量を提示する度合いの調整を行うことができる。
【符号の説明】
【００８５】
４…撮像装置、５…マイク、６…スピーカ、７…ディスプレイ、８…処理装置、１０…テレビ会議端末、１１Ａ…第１拠点、１１Ｂ…第２拠点、１３…第１参加者、１４…第３参加者、１５…第２参加者、１７…アバターロボット、２０…第１拠点状況計測推定ユニット、２１…第１拠点状況計測部、２３…第１拠点状況取込部、２５…第１拠点状況推定部、２７…無線通信部、３０…中継ユニット、４０…第２拠点状況計測推定ユニット、４１…第２拠点状況計測部、４３…第２拠点状況取込部、４５…第２拠点状況推定部、５０…刺激量算出出力ユニット、５５…刺激量算出部、５５ａ…感覚量範囲算出部、５５ｂ…意思量算出部、５５ｃ…刺激量算出部、５７…刺激出力部、Ｎ…通信ネットワーク
【先行技術文献】
【特許文献】
【００８６】
【特許文献１】特許第５２１１００１号
【非特許文献】
【００８７】
【非特許文献１】ｈｔｔｐ：／／ＷＷＷ．ｏｋｉ．ｃｏｍ／ｊｐ／ｏｔｒ／２００８／ｎ２１３／ｐｄｆ／２１３＿ｒ０６．ｐｄｆ
【図１】
2015220534.tif 000003
【図２】
2015220534.tif 000004
【図３】
2015220534.tif 000005
【図４】
2015220534.tif 000006
【図５】
2015220534.tif 000007
【図６】
2015220534.tif 000008
【図７】
2015220534.tif 000009
【図８】
2015220534.tif 000010
【図９】
2015220534.tif 000011
【図１０】
2015220534.tif 000012
【図１１】
2015220534.tif 000013
【図１２】
2015220534.tif 000014
【図１３】
2015220534.tif 000015