(57)【要約】【課題】話者の心情を効果的に相手話者に通知できるようにしてコミュニケーションのさらなる円滑化を図り、話者相互間の意思の疎通をより一層正確かつ容易にする。【解決手段】各通信端末ＴＭ１〜ＴＭｎにおいて、テレビジョン会議通信中に話者が発言中であるか応答中であるかを判定する。そして、応答中のときには、話者の視線位置と頭部の動きをそれぞれ検出して、その検出結果をもとに当該応答者の心情を推定し、この推定された心情を表す識別ＩＤを人物識別ＩＤと共に発言者の通信端末へ送信する。これに対し発言中のときには、応答者側の通信端末から送られる応答者の心情識別ＩＤ及び人物識別ＩＤを受信し、この受信された心情識別ＩＤに対応する心情の内容を表す文字データをデータベース２２から選択的に読み出し、この読み出された文字データを対応する応答者の受信顔画像データに重畳してモニタ８に表示するようにしたものである。【選択図】      図５
2005269207.tif 000002
【特許請求の範囲】
【請求項１】
第１の通信端末と第２の通信端末との間で、通信ネットワークを介して音声及び映像を用いた電話通信を行う際に、
前記第１の通信端末において、当該話者の頭部の動きを計測する過程と、
前記第１の通信端末において、当該話者の視線の位置を計測する過程と、
前記第１の通信端末において、前記頭部の動きの計測結果及び前記視線の位置の計測結果に基づいて当該話者の心情を推定する過程と、
前記推定された心情を表す情報を、前記第１の通信端末から前記第２の通信端末へ伝送する過程と、
前記第２の通信端末において、前記伝送された心情を表す情報を当該第２の通信端末の話者に提示する過程と
を具備することを特徴とする情報伝達方法。
【請求項２】
前記心情を表す情報を伝送する過程は、推定された心情を表す情報を識別コードに変換し、この変換された識別コードを前記第１の通信端末から前記第２の通信端末へ伝送し、
前記伝送された心情を表す情報を話者に提示する過程は、前記伝送された識別コードをもとに心情を表す提示情報を生成し、この生成された提示情報を出力することを特徴とする請求項１記載の情報伝達方法。
【請求項３】
前記伝送された心情を表す情報を話者に提示する過程は、前記伝送された識別コードをもとに心情を文字データにより表した提示情報を生成し、この生成された文字データにより表される提示情報を前記第１の通信端末から伝送される映像情報に重畳して表示することを特徴とする請求項２記載の情報伝達方法。
【請求項４】
前記伝送された心情を表す情報を話者に提示する過程は、前記伝送された識別コードをもとに心情を音声または音響データにより表した提示情報を生成し、この生成された音声または音響データからなる提示情報を、前記第１の通信端末から伝送される音声情報に挿入または合成して出力することを特徴とする請求項２記載の情報伝達方法。
【請求項５】
前記伝送された心情を表す情報を話者に提示する過程は、前記伝送された識別コードをもとに心情を空気圧により表した提示情報を生成し、この生成された空気圧により表される提示情報を出力することを特徴とする請求項２記載の情報伝達方法。
【請求項６】
前記第１の通信端末が複数台存在する場合に、
前記第２の通信端末において、前記複数の第１の通信端末からそれぞれ伝送された心情を表す情報の多数決をとり、この多数決の結果を当該第２の通信端末の話者に提示する過程を、さらに具備することを特徴とする請求項１記載の情報伝達方法。
【請求項７】
相手側の通信装置との間で通信ネットワークを介して音声及び映像を用いた電話通信を行う通信装置であって、
話者の頭部の動きを計測する手段と、
前記話者の視線の位置を計測する手段と、
前記頭部の動きの計測結果及び前記視線の位置の計測結果に基づいて当該話者の心情を推定する手段と、
前記推定された心情を表す情報を前記相手側の通信装置へ送信する送信手段と
を具備することを特徴とする通信装置。
【請求項８】
前記送信手段は、前記推定された心情を表す情報を識別コードに変換し、この変換された識別コードを前記相手側の通信装置へ送信することを特徴とする請求項７記載の通信装置。
【請求項９】
話者の頭部の動き及び視線の位置をそれぞれ計測し、その各計測結果に基づいて当該話者の心情を推定して送信する機能を備えた相手側の通信装置との間で、通信ネットワークを介して音声及び映像を用いた電話通信を行う通信装置であって、
前記相手側の通信装置から送信された心情を表す情報を受信する受信手段と、
前記受信された心情を表す情報を、自装置を使用する話者に提示する提示手段と
を具備することを特徴とする通信装置。
【請求項１０】
前記相手側の通信装置が、推定された心情を表す情報を識別コードに変換して、この変換された識別コードを送信する機能を備える場合に、
前記受信手段は、前記相手側の通信装置から送信された識別コードを受信し、
前記提示手段は、前記受信された識別コードをもとに心情を表す提示情報を生成し、この生成された提示情報を出力することを特徴とする請求項９記載の通信装置。
【請求項１１】
前記提示手段は、前記受信された識別コードをもとに心情を文字データにより表した提示情報を生成し、この生成された文字データにより表される提示情報を、受信された映像情報に重畳して表示することを特徴とする請求項１０記載の通信装置。
【請求項１２】
前記提示手段は、前記受信された識別コードをもとに心情を音声または音響データにより表した提示情報を生成し、この生成された音声または音響データにより表される提示情報を、受信された音声情報に挿入または合成して出力することを特徴とする請求項１０記載の通信装置。
【請求項１３】
前記提示手段は、前記受信された識別コードをもとに心情を空気圧により表した提示情報を生成し、この生成された空気圧により表される提示情報を出力することを特徴とする請求項１０記載の通信装置。
【請求項１４】
前記相手側の通信装置が複数台存在する場合に、
前記受信手段は、前記複数台の相手側通信装置からそれぞれ送信された心情を表す情報をそれぞれ受信し、
前記提示手段は、前記受信された複数の心情を表す情報の多数決をとり、この多数決の結果を話者に提示する機能をさらに備えることを特徴とする請求項９記載の通信装置。
【請求項１５】
相手側の通信装置との間で通信ネットワークを介して音声及び映像を用いた電話通信を行う、コンピュータを備えた通信装置で使用されるプログラムであって、
話者の頭部の動きを検出する処理と、
前記話者の視線の位置を検出する処理と、
前記頭部の動きの検出結果及び前記視線の位置の検出結果に基づいて当該話者の心情を推定する処理と、
前記推定された心情を表す情報を前記相手側の通信装置へ送信する処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
【請求項１６】
前記送信する処理は、
前記推定された心情を表す情報を識別コードに変換する処理と、
前記変換された識別コードを前記相手側の通信装置へ送信する処理と
を、前記コンピュータに実行させることを特徴とする請求項１５記載のプログラム。
【請求項１７】
話者の頭部の動き及び視線の位置をそれぞれ計測し、その各計測結果に基づいて当該話者の心情を推定して送信する機能を備えた相手側の通信装置との間で、通信ネットワークを介して音声及び映像を用いた電話通信を行う、コンピュータを備えた通信装置で使用されるプログラムであって、
前記相手側の通信装置から送信された心情を表す情報を受信する処理と、
前記受信された心情を表す情報を、自装置を使用する話者に提示する処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
【請求項１８】
前記相手側の通信装置が、推定された心情を表す情報を識別コードに変換して、この変換された識別コードを送信する機能を備える場合に、
前記受信する処理は、前記相手側の通信装置から送信された識別コードを受信し、
前記提示する処理は、前記受信された識別コードをもとに心情を表す提示情報を生成し、この生成された提示情報を出力することを特徴とする請求項１７記載のプログラム。
【請求項１９】
前記相手側の通信装置が複数台存在する場合に、
前記受信する処理は、前記複数台の相手側通信装置から送信された心情を表す情報をそれぞれ受信し、
前記提示する処理は、前記受信された複数の心情を表す情報の多数決をとり、この多数決の結果を話者に提示する処理機能をさらに備えることを特徴とする請求項１７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばテレビジョン電話装置やテレビジョン会議システムを使用した協調作業支援システムにおいて、会議者同士、遠隔協調作業者同士の通話時の意思疎通をさらに円滑化するための、情報伝達方法及びこの方法を実現するための通信装置とそのプログラムに関する。
【背景技術】
【０００２】
近年、インターネット等の通信ネットワークを利用した種々サービスが提唱されており、その中にテレビジョン電話装置やテレビジョン会議システムを使用して、遠隔地にいる作業員を支援する遠隔協調作業システムが提案されている。この種のシステムでは、通信相手同士の円滑なコミュニケーションがきわめて重要になる。ところが、この種のシステムは、一般に映像及び音声のみを用いてコミュニケーションを行っている。このため、通話者の意図や感情等が通話相手に十分伝達されにくく、話者相互の意思疎通を図り難い。  
そこで、通話者の感情を画像で伝達する機能を備えたテレビジョン電話装置が提案されている（例えば、特許文献１を参照。）。
【０００３】
【特許文献１】特開２００２−３５４４３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、この従来提案されたテレビジョン電話装置では、感情を表す画像が伝達されるだけである。このため、送話者が発言した内容や伝えたい内容を相手話者が理解したかどうか、或いは送話者が提案した内容に関して相手話者がどう反応したかを判断し難い。例えば、自己の提案について賛成なのか反対なのか、または考え中で保留なのかを即座に確認できない。このため、相手話者とのコミュニケーションが途切れ途切れになる場合が多く、円滑なコミュニケーションを行えないという問題が発生する。また、通話相手の心情状態を効果的かつ相手に気づかれないように知りうることが難しい。
【０００５】
この発明は上記事情に着目してなされたもので、その目的とするところは、話者の心情を効果的に相手話者に通知できるようにしてコミュニケーションのさらなる円滑化を図り、これにより話者相互間の意思の疎通をより一層正確かつ容易にした、情報伝達方法及びこの方法を実現するための通信装置とそのプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は、上記事情に着目してなされたもので、その目的とするところは、第１の通信端末と第２の通信端末との間で通信ネットワークを介して音声及び映像を用いた電話通信を行う際に、第１の通信端末において、当該話者の頭部の動き及び視線の位置をそれぞれ計測してその各計測結果をもとに当該話者の心情を推定し、この推定された心情を表す情報を前記第２の通信端末へ伝送する。そして、上記第１の通信端末から伝送された心情を表す情報を、第２の通信端末においてその話者に提示するようにしたものである。
【０００７】
したがってこの発明によれば、第１の通信端末では話者の頭部の動きや視線の位置をもとに当該話者の心情が自動的に推定され、この推定された話者の心情が第２の通信端末に伝送されて話者に提示される。このため、第２の通信端末の話者は、電話通信を行いながら相手話者の心情を把握することができる。例えば、話者の頭部の動きや視線の位置をもとに、問いかけに対し話者が同意したか、否定したか或いは保留したかを推定し、これを当該話者の心情を表す情報として定義すれば、第２の通信端末の話者は自身の問いかけに対する相手話者の心情を、相手話者の音声や画像等に頼ることなく明確に把握することが可能となる。したがって、通話中の話者間のコミュニケーションをさらに円滑にし、意思の疎通を正確かつ容易にすることができる。
【０００８】
上記心情を表す情報を伝送する際には、第１の通信端末において、推定された心情を表す情報を識別コードに変換したのち第２の通信端末へ伝送し、第２の通信端末において、上記伝送された識別コードをもとに心情を表す提示情報を生成して出力するとよい。このようにすると、心情を表す情報のデータ量を大幅に減らすことができ、これにより心情を表す情報を簡単かつ短時間に伝送することができる。
【０００９】
また、心情を表す情報の提示形態としては次のような各種形態が考えられる。  
第１の形態は、伝送された識別コードをもとに心情を文字データにより表した提示情報を生成し、この生成された文字データにより表される提示情報を、第１の通信端末から伝送される映像情報に重畳して表示するものである。このようにすると、第２の通信端末の話者は、例えばテレビジョン電話通信中に相手話者の顔画像を見ながら当該相手話者の心情を文字データにより確認することができる。
【００１０】
第２の形態は、伝送された識別コードをもとに心情を音声または音響データにより表した提示情報を生成し、この生成された音声または音響データからなる提示情報を、第１の通信端末から伝送される音声情報に挿入または合成して出力するものである。このようにすると、第２の通信端末の話者は、例えば電話通信中に相手話者の音声を聞きながら当該相手話者の心情を合成音声または音響データにより確認することができる。
【００１１】
第３の形態は、伝送された識別コードをもとに心情を空気圧により表した提示情報を生成し、この生成された空気圧により表される提示情報を出力するものである。このようにすると、第２の通信端末の話者は、受信映像や受話音声に手を加えることなく、空気圧の吐出パターンにより相手話者の心情を確認することができる。
【００１２】
さらに、第１の通信端末が複数台存在する場合には、第２の通信端末において、上記複数の第１の通信端末からそれぞれ伝送された心情を表す情報の多数決をとり、この多数決の結果を当該第２の通信端末の話者に提示するとよい。このようにすると、テレビジョン電話会議を行っている状態で第２の通信端末の話者は、多数決の結果から他の各通話相手の心情を大勢を即時判断することができる。
【発明の効果】
【００１３】
要するにこの発明では、第１の通信端末と第２の通信端末との間で通信ネットワークを介して音声及び映像を用いた電話通信を行う際に、第１の通信端末において、当該話者の頭部の動き及び視線の位置をそれぞれ計測してその各計測結果をもとに当該話者の心情を推定し、この推定された心情を表す情報を前記第２の通信端末へ伝送する。そして、上記第１の通信端末から伝送された心情を表す情報を、第２の通信端末においてその話者に提示するようにしている。  
したがってこの発明によれば、話者の心情を効果的に相手話者に通知できるようになり、これによりコミュニケーションのさらなる円滑化を図って、話者相互間の意思の疎通をより一層正確かつ容易にすることが可能な情報伝達方法及びこの方法を実現するための通信装置とそのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
（第１の実施形態）  
図１は、この発明に係わる情報伝達方法を実現するための通信システム及び通信装置の第１の実施形態を示すブロック図である。  
この通信システムは、複数の通信装置ＴＭ１〜ＴＭｎを通信ネットワークＮＷを介して相互に接続し、これらの通信装置ＴＭ１〜ＴＭｎ間でテレビジョン会議通信を可能としたものである。
【００１５】
通信ネットワークＮＷは、例えば有線加入通信網及び移動通信網とにより構成される。有線加入通信網には、ＰＳＴＮ（Public Switched Telephone Network）やＩＳＤＮ（Integrated Service Digital Network）に加え、有線ＬＡＮ（Local Area Network）等の企業内通信ネットワーク、ＣＡＴＶ（Cable Television）ネットワークが含まれる。また移動通信網には、例えば携帯電話システム、ＰＨＳ（Personal Handyphone System）、無線ＬＡＮが含まれる。なお、通信ネットワークＮＷにはインターネット等のＩＰ網を含めることも可能である。
【００１６】
通信装置ＴＭ１〜ＴＭｎは次のように構成される。なお、各通信装置ＴＭ１〜ＴＭｎは同一構成のため、ここでは通信装置ＴＭ１についてのみ説明し、他の通信装置ＴＭ２〜ＴＭｎについての説明は省略する。  
通信装置ＴＭ１はテレビジョン電話通信端末であり、テレビジョン電話通信に必要な機能としてカメラ７、モニタ８、マイクロホン９、スピーカ１０、映像制御部１１、音響制御部１２、多重・分離部１３及び通信処理部６を備えている。
【００１７】
このうち映像制御部１１は、上記カメラ７及びモニタ８を制御して、自端末を使用する話者の顔画像等を撮像して符号化すると共に、受信された映像データを復号してモニタ８に表示させる。音響制御部１２は、マイクロホン９により入力された送話音声信号を符号化すると共に、受信された音声または音響データを復号してスピーカ１０から拡声出力する。多重・分離部１３は、上記映像制御部１１において符号化された映像データと、上記音響制御部１２により符号化された送話音声データとを多重化すると共に、受信された多重化データから映像データと音声または音響データとを分離する。
【００１８】
また通信装置ＴＭ１は、この発明に係わる新たな機能として、視線検出部１と、頭部動作検出部２と、発話者検出部３と、応答者処理部４と、発話者処理部５Ａとを備えている。視線検出部１は、図２に示すように画像記憶手段１４及び視線検出手段１５を備え、上記映像制御部１１により得られた話者の顔画像データから、話者の視線の位置を表す座標値を検出する。
【００１９】
頭部動作検出部２は、図２に示すように頭部姿勢計測手段１６及び頭部動作方向検出手段１７を備える。頭部姿勢計測手段１６は、ジャイロまたは磁気センサ等の３軸姿勢角度センサにより構成され、話者の頭部に装着される。頭部動作方向検出手段１７は、上記頭部姿勢計測手段１６から出力される検出信号をもとに、話者の頭部の動作方向（角度）を検出する。
【００２０】
発話者検出部３は、上記視線検出部１及び頭部動作検出部２によりそれぞれ検出される話者の視線位置及び頭部の動作角度と、上記音響制御部１２から出力される送話音声データとをもとに、当該話者が発言中であるか否かを判定する。
応答者処理部４は、上記発話者検出部３により当該話者が発言中ではないと判定された場合、つまり受話中（応答中）と判定された場合に、当該受話中の話者（応答者）の心情を推定するもので、図２に示すように構成される。すなわち、応答者処理部４は、心情識別手段１８と、心情識別結果記憶手段１９とを備える。心情識別手段１８は、上記視線検出部１及び頭部動作検出部２により検出された話者の視線位置及び頭部の動作角度に基づいて、当該受話中（応答中）の話者の心情情報を推定する処理を行う。そして、この推定された心情情報を心情の種別を表す心情識別ＩＤに変換する。心情識別結果記憶手段１９は、上記心情識別手段１８により得られた心情識別ＩＤを、当該受話中（応答中）の話者の識別ＩＤに対応付けてメモリに記憶する。
【００２１】
発話者処理部５Ａは、上記発話者検出部３により当該話者が発言中と判定された場合に、当該話者の発言内容に対する相手話者の心情情報を相手話者の通信端末ＴＭ２〜ＴＭｎから受信して、当該発言中の話者に提示するもので、図３に示すようにデータベース（ＤＢ）２２と、受信結果記憶手段２４と、データベース検索手段２３と、検索結果記憶手段２１と、重畳手段２０とを備える。
【００２２】
データベース２２は、図４に示すように人物識別テーブル２５と、心情識別テーブル２９とから構成される。人物識別テーブル２５には、人物識別ＩＤ２６に対応付けて、その参加者（話者）名２７及び心情識別ＩＤ２８がそれぞれ記憶される。心情識別テーブル２９には、心情識別ＩＤ２８に対応付けて、心情を表現するテキストファイル名３０が記憶される。
【００２３】
受信結果記憶手段２４は、受信された心情識別ＩＤ及び話者識別ＩＤを記憶保持する。データベース検索手段２３は、上記受信された心情識別ＩＤ及び人物識別ＩＤをもとに上記データベース２２を検索し、対応する心情を表現する文字データを読み出す。検索結果記憶手段２１は、上記読み出された心情を表現する文字データを記憶保持する。重畳手段２０は、上記心情を表現する文字データを、多重・分離部１３により分離された映像データに重畳するための処理を行う。
【００２４】
通信処理部６は、通信相手となる通信端末ＴＭ１〜ＴＭｎとの間で、通信ネットワークＮＷにより規定される通信プロトコルに従い、上記多重化データ、心情識別ＩＤ及び話者識別ＩＤの送受信を行う。通信プロトコルとしては、通信ネットワークＮＷが例えばＩＰ網を含んでいればＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）が使用される。
【００２５】
次に、以上のように構成された通信端末ＴＭ１の動作を説明する。  
テレビジョン会議通信が開始されると、通信端末ＴＭ１では映像及び音声の送受信が行われると共に、話者の心情情報の推定とその送受信処理が行われる。図５は心情情報の推定及び送受信処理の手順と内容を示すフローチャートである。
【００２６】
すなわち、通信端末ＴＭ１は、先ずステップ５ａにおいて通話参加者の視線位置を検出する。視線位置の検出方法としては、例えば「眼球形状モデルに基づく視線測定法：画像センシングシンポジウム，２００２」に記載された技術を使用することができる。次に、ステップ５ｂにおいて、通話参加者の頭部に装着されたジャイロあるいは磁気センサの検出信号をもとに、話者の頭部の動きの３軸姿勢角度を検出する。そして、ステップ５ｃにより、音響制御部１２から出力される音声信号をもとに、話者が発言中であるかまたは受話中（応答中）であるか判定する。
【００２７】
この判定の結果、話者が応答中であればステップ５ｇに移行して応答者処理部４により当該応答者の心情情報を判別し、ステップ５ｈにより発言中の話者にこの心情情報に相当する心情識別ＩＤ及び人物識別ＩＤを送信する。これに対し、話者が発言中の場合にはステップ５ｄに移行し、受話中（応答中）の通信端末ＴＭ２〜ＴＭｎから送られた心情情報ＩＤ及び人物識別ＩＤを受信する。そして、発話者処理部５Ａにより、応答者の映像に含まれる視線情報をもとに心情情報の提示方式を選択し（ステップ５ｅ）、この選択された提示方式に応じて上記受信された応答者の心情情報を提示する（ステップ５ｆ）。  
以上の処理をテレビジョン会議通信が終了するまで続ける。
【００２８】
ところで、上記視線検出部１による通話参加者の視線位置検出処理、頭部動作検出部２による話者参加者の頭部動作の検出処理、発話者検出部３による発言中であるか応答中であるかの判定処理、及び応答者処理部４による心情情報の推定処理は、それぞれ例えば次のように行われる。図６はその処理手順と処理内容を示すフローチャートである。
【００２９】
先ずステップ６ａにより、カメラ７で撮像された話者の顔画像を映像制御部１１から取り込み、ステップ６ｂにより、上記取り込まれた顔画像を画像処理することにより視線位置を検出する。この視線位置の検出は、モニタ８の画面内における眼球の座標を取得することにより行われる。この処理を画像フレームレートごとに行う。座標位置が検出されるとステップ６ｃからステップ６ｄに移行して、ここでフレーム間の視線位置座標の差を演算し、視線位置の移動量を計算する。そして、この計算された視線位置の移動量を用いて、ステップ６ｅ及びステップ６ｆにより、視線が注視状態にあるかどうかを検出する。
【００３０】
具体的には、先ず連続フレーム間の視線移動量を計算する。この計算された視線移動量が予め設定したしきい値以内であれば、差分元フレームの視線位置を基準にして次フレーム以降の視線位置の移動量を計算する。この計算された視線位置の移動量が、連続して予め設定されたしきい値以内で、かつこのしきい値以内の連続回数が予め設定された回数以上、つまり設定時間以上であれば、このときの状態を視線がある位置を注視しているとみなす。
【００３１】
次に、上記視線位置の検出処理と並行して、頭部動作の姿勢角度を計測する。いま仮に頭部動作として「首のかしげ」、「首ふり」、「うなずき」の３種類の動きを定義し、これらの動きに相当する角度を図６（ｂ）に示すようにそれぞれ（α，β，γ）とする。先ずステップ６ｇにおいて、この頭部の３軸姿勢角度（α，β，γ）をサンプリング周期毎に計測し、ステップ６ｈにより姿勢角度ごとにその変化量を演算する。そして、演算された変化量をもとに頭部動作を以下のように判別する。
【００３２】
例えば、首ふり（姿勢角度：β）、うなずき（姿勢角度：γ）については、先ずステップ６ｉ及びステップ６ｊにより、その姿勢角度の変化量が予め設定した値以上で、最新の姿勢角度が設定値以上かどうかを判定する。この条件を満足した場合には、続いてステップ６ｌにより連続した変化量に符号変化があるかどうかを判定する。これは、「首ふり」、「うなずき」は頭部の連続的な往復動作と考えられるためである。この判定の結果、符号変化があった場合には往復動作とみなし、その回数を記憶しておく。そして、ステップ６ｍでこの回数が設定以上の場合には、「首ふり」、「うなずき」が行われたとみなす。一方、首のかしげ（姿勢角度：α）については、往復動作でないため、ステップ６ｋにおいて、サンプリング周期ごとの変化量が設定値以上で、かつ最新の姿勢角度が設定値以上であれば首をかしげたとみなす。
【００３３】
上記手順に従って頭部動作を検出した後、次に先に検出された視線位置の注視状態と組み合わせることで心情を判別する。例えば、各動作と注視が連続的に行われたときには、その姿勢角度がγ（うなずき）なら同意、姿勢角度がβ（首ふり）ならば否定と判別し、一方姿勢角度がα（首のかしげ）ならば保留と判別する。そして、ステップ６ｏ、ステップ６ｐ、ステップ６ｑにおいて、上記判別された各心情に対応する識別ＩＤを付与し、この心情識別ＩＤを人物識別ＩＤとともに発言中の話者の通信端末に向け送信する。
【００３４】
一方、応答者の通信端末から送られた心情識別ＩＤ及び人物識別ＩＤの提示処理は次のように行われる。図７は、発話者処理部５Ａによる上記心情情報の提示処理手順と処理内容を示すフローチャートである。  
発話者の発言に対し、応答者側の複数の通信端末から人物識別ＩＤ及び心情識別ＩＤが到来すると、これらの人物識別ＩＤ及び心情識別ＩＤはステップ７ａの制御の下、通信処理部６で受信されたのち発話者処理部５Ａに取り込まれ、ステップ７ｂにより受信結果記憶手段２４に記憶される。
【００３５】
上記人物識別ＩＤ及び心情識別ＩＤが受信・記憶されると発話者処理部５Ａは、ステップ７ｃにおいてこれらの識別ＩＤをもとにデータベース２２を検索する。そして、人物識別ＩＤをもとに参加話者の中から対応する話者を選択し（ステップ７ｄ）、さらに心情識別ＩＤをもとに対応する話者ごとの心情情報を表すテキストファイル名を選択して、そのファイルを取得する（ステップ７ｅ）。また人物識別ＩＤをもとに、モニタ８に表示されている対応する話者の顔画像を識別し（ステップ７ｆ）、この対応する話者の顔画像にテキストファイル内の文字データを重畳手段２０により重畳する（ステップ７ｇ）。この文字データが重畳された応答者の顔画像は、映像制御部１１を介してモニタ８に供給され表示される。
【００３６】
図８は、上記文字データが重畳された応答者の顔画像の表示例を示すものである。同図に示すように、モニタ８の主画面３２に主たる応答者の顔画像とその心情を表す文字データが表示され、副画面３２〜３４にはそれぞれ他の各応答者の顔画像とその心情を表す文字データが表示される。
【００３７】
以上述べたように第１の実施形態では、各通信端末ＴＭ１〜ＴＭｎにおいて、テレビジョン会議通信中に話者が発言中であるか応答中であるかを判定する。そして、応答中のときには、話者の視線位置と頭部の動きをそれぞれ検出して、その検出結果をもとに当該応答者の心情を推定し、この推定された心情を表す識別ＩＤを人物識別ＩＤと共に発言者の通信端末へ送信する。これに対し発言中のときには、応答者側の通信端末から送られる応答者の心情識別ＩＤ及び人物識別ＩＤを受信し、この受信された心情識別ＩＤに対応する心情の内容を表す文字データをデータベース２２から選択的に読み出し、この読み出された文字データを対応する応答者の受信顔画像データに重畳してモニタ８に表示するようにしている。
【００３８】
したがって、通信端末ＴＭ１〜ＴＭｎでは応答中の話者の心情が自動的に推定され、この推定された話者の心情が発言者側の通信端末に伝送されて文字データに変換されたのち応答者の顔画像とともに表示される。このため、発言中の話者は、テレビジョン電話通信を行いながら、自身の発言に対する応答者の心情を文字データにより簡単かつ正確に把握することが可能となる。例えば、問いかけに対し応答者が同意したか、否定したか或いは保留したかを、応答者の音声や画像等からの推測に頼ることなく明確に把握することができる。したがって、通話中の話者間のコミュニケーションをさらに円滑にすることができ、意思の疎通をさらに正確かつ容易にすることができる。
【００３９】
（第２の実施形態）  
図９は、この発明の第２の実施形態に係わる通信端末の要部構成を示すブロック図である。なお、同図において前記図１乃至図３と同一部分には同一符号を付して詳しい説明は省略する。
第２の実施形態に係わる通信端末の発話者処理部５Ｂは、心情情報を文字データに変換して提示する処理部と、応答者の心情情報を文字データ以外のメディアに変換して提示する処理部とから構成されている。
【００４０】
文字データに変換して提示する処理部は、前記図３と同様に、受信された複数の応答者端末からの人物識別ＩＤ及び心情識別ＩＤを記憶する受信結果記憶手段２４と、この受信された各識別ＩＤをもとにデータベース２２から対応する心情を表す文字データを検索するデータベース検索手段２２と、検索された文字データを記憶する検索結果記憶手段２１と、上記検索された文字データを応答者の受信顔情報に重畳するための重畳手段２０とを備えている。
【００４１】
一方、心情情報を他のメディアに変換して提示する処理部は、重畳画像記憶手段４３と、特徴領域抽出手段４４と、提示手法識別手段３６と、データベース（ＤＢ２）４０と、データベース検索手段３９と、音声・音響ファイル選択手段３７と、音声・音響出力手段３８と、空気圧制御手段４１と、空気圧発生手段４２とを備えている。
【００４２】
重畳画像記憶手段４３は、上記重畳手段２０において文字データが重畳された応答者の顔家画像データを記憶する。特徴領域抽出手段４４は、視線検出部１で検出された当該話者の視線位置と重畳画像の特徴領域を抽出する。提示手法識別手段３６は、応答者の心情情報をどのようなメディアに変換して提示するかを決定する。
【００４３】
データベース４０は、心情情報を表す他のメディアデータを格納するもので、図１０に示すように人物識別テーブル２５と、心情識別テーブル２９と、視線位置テーブル４６とから構成される。人物識別テーブル２５には、人物識別ＩＤ２６に対応付けて、その参加者（話者）名２７及び心情識別ＩＤ２８が記憶される。心情識別テーブル２９には、心情識別ＩＤ２８に対応付けて、心情を表現するテキストファイル名３０と、視線位置ＩＤが記憶される。視線位置テーブル４６には、視線位置ＩＤに対応付けて、心情を表現する音声・音響ファイル名４７と、空気圧パラメータ設定ファイル名４８が記憶される。
【００４４】
データベース検索手段３９は、提示手法判別手段３６の判別結果に基づいて、上記受信された心情識別ＩＤと人物識別ＩＤ、及び上記検出された視線位置ＩＤをもとに上記データベース４０を検索し、これにより対応する心情を表現する音声・音響ファイル名４７又は空気圧パラメータ設定ファイル名４８を読み出す。
【００４５】
音声・音響ファイル選択手段３７は、上記提示手法判別手段３６により音声・音響データを用いた提示手法が指定された場合に、上記データベース検索手段３９により読み出された音声・音響ファイル名に対応する音声・音響ファイルを選択する。音声・音響出力手段３８は、上記選択された音声・音響ファイルをスピーカ１０から出力させる。
【００４６】
空気圧制御手段４１は、上記提示手法判別手段３６により空気圧を用いた提示手法が指定された場合に、上記データベース検索手段３９により読み出された空気圧パラメータ設定ファイル名に対応する空気圧の吐出パターンを選択する。空気圧発生手段４２は、上記選択された空気圧の吐出パターンに応じた空気圧を吐出する。
【００４７】
次に、以上のように構成された通信端末の発話者処理部５Ｂによる心情情報の提示処理動作を説明する。図１１は、その処理手順と処理内容を示すフローチャートである。  
複数の応答者の通信端末から当該話者の顔画像データが送られると、この顔画像データはステップ１１ａの制御の下、通信処理部６、多重・分離部１３及び映像制御部１１により受信されたのち、ステップ１１ｂにより受信結果記憶手段に記憶される。
【００４８】
またそれと共に、上記各応答者の通信端末から人物識別ＩＤ及び心情識別ＩＤが送られると、これらの識別ＩＤはステップ１１ｃの制御の下通信処理部６で受信されたのち受信結果記憶部２４に一旦記憶される。発話者処理部５Ｂは、先ずステップ１１ｄにより、上記受信された各識別ＩＤをもとにデータベース４０を検索し、心情識別ＩＤにマッチングするテキストファイル名を読み出して、このテキストファイル内に記述されている文字データを取得する。そして、ステップ１１ｆにより、上記取得された文字データを上記受信された応答者の顔画像データに重畳し、この文字データが重畳された顔画像データをステップ１１ｇによりモニタ８に表示させる。さらに、上記の文字データが重畳された顔画像データをステップ１１ｈにおいて記憶するとともに、ステップ１１ｉにより受信顔画像との差分を演算する。そして、この演算された差分をもとに、ステップ１１ｊにより特徴領域を抽出する。
【００４９】
一方、発話者処理部５Ｂは、ステップ１１ｋにより、カメラ７により撮像された発話者の顔画像データを映像制御部１１から視線検出部１に取り込み、ステップ１１ｌにおいて上記取り込んだ発話者の顔画像データから画面内の視線位置座標（ｘ，ｙ）を演算する。そして、この演算された視線位置座標と、上記ステップ１１ｊにおいて抽出された特徴領域から、視線位置が文字データ重畳領域、人物領域、その他の領域のうちどの領域に存在するかをステップ１１ｍにより識別し、この識別された領域に対応する視線位置ＩＤを取得する。
【００５０】
次に、発話者処理部５Ｂは、上記識別結果に応じた心情情報の提示処理を実行する。例えば、視線位置が人物領域にある場合には、ステップ１１ｎにより視線位置ＩＤをもとにデータベース４０を検索して対応する音声・音響ファイル名を取得し、この取得された音声・音響ファイル名により表される音声・音響ファイルをステップ１１ｏの制御の下、スピーカ１０から出力させる。したがってこの場合には、応答者の心情情報が例えば合成された音声または音響により発言者に提示される。
【００５１】
これに対し、視線位置が文字データとの重畳領域にある場合には、発話者処理部５Ｂはステップ１１ｐにより、上記人物領域の場合と同様に視線位置ＩＤをもとにデータベース４０を検索して対応する音声・音響ファイル名を取得し、この取得された音声・音響ファイル名により表される音声・音響ファイルをステップ１１ｑの制御の下、スピーカ１０から出力させる。またそれと共に、ステップ１１ｒにおいて、上記視野位置ＩＤをもとにデータベース４０を検索して、空気圧発生のための吐出圧力の大きさや吐出時間等の空気圧パラメータを記述してあるファイル名を取得する。そして、取得されたファイルに記述してあるパラメータをもとに、ステップ１１ｓ及びステップ１１ｔによりそれぞれ空気圧力及び圧力吐出時間を設定し、この設定された空気圧及び圧力吐出時間に従い、ステップ１１ｕにより空気圧発生手段４２から発言中の話者に対し空気を吐出させる。
【００５２】
また、視線位置が人物領域でもなく、また文字データ重畳領域でもない場合には、発話者処理部５Ｂはステップ１１ｖにより、視線位置ＩＤをもとにデータベース４０から空気圧パラメータ設定ファイル名を取得する。そして、この取得された空気圧パラメータ設定ファイルの内容に従い、ステップ１１ｗ及びステップ１１ｘによりそれぞれ空気圧力及び圧力吐出時間を設定し、この設定された空気圧及び圧力吐出時間に従い、ステップ１１ｙにより空気圧発生手段４２から発言中の話者に向け空気を吐出させる。
【００５３】
以上述べたように第２の実施形態では、応答者の心情情報を提示する際に、発言者の顔画像をもとに視線位置を検出し、この検出された視線位置が受信画像中のどの位置にあるかを判定する。そして、視野位置が人物領域にあると判定された場合には心情情報を音声・音響情報に変換して出力し、視線位置が文字データとの重畳領域にあると判定された場合には、心情情報を音声・音響情報に変換して出力すると共に空気圧パターンに変換して空気を吐出する。また視線位置が人物領域でもなく、また文字データ重畳領域でもない場合には、心情情報を空気圧パターンに変換して空気を吐出する。  
したがって、発言者の視野位置に応じ最適な提示手法により応答者の心情情報が提示されることになり、これにより発言者はテレビジョン会議通信を行いながら、自身の発言に対する応答者の心情をさらに的確に把握できるようになる。
【００５４】
（第３の実施形態）  
図１２は、この発明の第３の実施形態に係わる通信端末の要部構成を示すブロック図である。なお、同図において前記図１乃至図３及び図９と同一部分には同一符号を付して詳しい説明は省略する。
第３の実施形態に係わる通信端末の発話者処理部５Ｃは、心情情報を文字データに変換して提示する処理部と、心情情報別の応答者の人数を提示する処理部と、心情情報別の応答者数が最大となる心情情報を提示する処理部とを備えている。
【００５５】
文字データに変換して提示する処理部は、前記図３及び図９と同様に、受信された複数の応答者端末からの人物識別ＩＤ及び心情識別ＩＤを記憶する受信結果記憶手段２４と、この受信された各識別ＩＤをもとにデータベース２２から対応する心情を表す文字データを検索するデータベース検索手段２２と、検索された文字データを記憶する検索結果記憶手段２１と、上記検索された文字データを応答者の受信顔情報に重畳するための重畳手段２０とを備えている。
【００５６】
心情情報別の応答者の人数を提示する処理部は、映像記憶手段４９と、領域検出手段５０と、心情別人数出力手段５１と、心情情報別人数演算手段５２とを備える。映像記憶手段４９は、カメラ７により撮像された顔画像データを記憶する。領域検出手段５０は、文字データを表示する文字情報表示ウインドウの領域を検出する。心情情報別人数演算手段５２は、各応答者の通信端末から送られた心情識別ＩＤをもとに心情別の応答者の人数を計数する。心情別人数表示手段５１は、上記演算された心情別の応答者の人数をモニタ８に表示させる。
【００５７】
心情情報別の応答者数が最大となる心情情報を提示する処理部は、判定手段５３と、音声・音響ファイル選択手段３７と、音声・音響出力手段３８と、空気圧設定ファイル選択手段５４と、空気圧制御手段４１と、空気圧発生手段４２とを備える。判定手段５３は、心情別の応答者の人数をもとに最大人数となる心情情報を判定する。音声・音響ファイル選択手段３７及び音声・音響出力手段３８は、上記判定手段５３による判定結果に基づいて、最大人数の心情に相当する音声・音響データを発話者に提示する。空気圧設定ファイル選択手段５４、空気圧制御手段４１及び空気圧発生手段４２は、上記判定手段５３による判定結果に基づいて、最大人数の心情を空気圧により発話者に提示する。
【００５８】
次に、以上のように構成された通信端末の発話者処理部５Ｃによる心情情報の提示処理動作を説明する。図１３は、その処理手順と処理内容を示すフローチャートである。  
発話者の発言に対し、応答者側の複数の通信端末から人物識別ＩＤ及び心情識別ＩＤが到来すると、これらの人物識別ＩＤ及び心情識別ＩＤは通信処理部６で受信されたのち発話者処理部５Ｃに取り込まれ、受信結果記憶手段２４に一旦記憶される。
【００５９】
上記人物識別ＩＤ及び心情識別ＩＤが受信・記憶されると発話者処理部５Ｃは、ステップ１３ａにおいて、これらの識別ＩＤをもとにデータベース２２を検索する。そして、人物識別ＩＤをもとに参加話者の中から対応する話者を選択すると共に、心情識別ＩＤをもとに対応する話者ごとの心情情報を表すテキストファイル名を選択して、そのファイルを取得する。また人物識別ＩＤをもとに、モニタ８に表示されている対応する話者の顔画像を識別し、この対応する話者の顔画像にテキストファイル内の文字データを重畳手段２０により重畳する。この文字データが重畳された応答者の顔画像は、映像制御部１１を介してモニタ８に供給され表示される。
【００６０】
次に発話者処理部５Ｃは、ステップ１３ｃの制御の下、心情識別ＩＤをもとに対応する応答者の心情情報別の人数を心情別人数演算手段５２により演算する。またそれと共に、ステップ１３ｃにより発話者のモニタ画面上の視線位置を検出し、この検出された視線位置が文字情報表示用ウインドウ領域にあるか否かをステップ１３ｄで判定する。そして、視線位置が文字情報表示用ウインドウ領域にあると判定されると、ステップ１３ｅに移行して、上記心情別人数演算手段５２により算出された応答者の心情情報別の人数を心情別人数表示手段５１によりモニタ８に表示させる。これに対し、発話者の視線位置が文字情報表示用ウインドウ領域にないと判定された場合には、上記ステップ１３ｃ及びステップ１３ｄによる視線位置の検出と判定の処理を繰り返す。
【００６１】
第１４図は、上記応答者の心情情報別の人数の表示例を示すものである。同図に示すように、主画面３２に文字情報表示用ウインドウ領域５５が設けられ、この文字情報表示用ウインドウ領域５５に心情情報別の応答者の人数、つまり「賛成」、「反対」及び「保留」の各人数が表示される。
【００６２】
さらに発話者処理部５Ｃは、上記心情別人数演算手段５２により算出された心情情報別の人数をもとに、応答者の人数が最大となる心情情報をステップ１３ｆで選択する。そして、この選択された応答者の人数が最大となる心情情報に対応する音声・音響ファイルおよび空気圧パラメータ設定ファイルをそれぞれデータベース２２から取得する。そして、この取得された音声・音響ファイルに基づいて、ステップ１３ｇにより音声・音響ファイルをスピーカ１０から出力させる。またそれと共に、上記取得された空気圧パラメータ設定ファイルに記述された吐出力パラメータ及び吐出時間パラメータに応じた空気圧を、ステップ１３ｈにより空気圧発生手段４２から吐出させる。これにより、発話者は自分の発言に対する応答者全員の大まかな心情を即座に把握することが可能となる。
【００６３】
以上述べたように第３の実施形態では、応答者の心情情報を提示する際に、応答者の心情情報別の人数が算出されてモニタ８の文字情報表示用ウインドウ領域５５に表示される。またそれと共に、上記算出された心情情報別の応答者の人数をもとに、応答者の人数が最大となる心情情報を選択し、この選択された心情情報を合成音声及び空気圧を使用して発話者に提示するようにしている。  
したがって、発話者はテレビジョン会議通信中に、自身の発言に対する各応答者の心情情報を文字データによりそれぞれ個別に把握した上で、さらに心情情報別の応答者の人数と、人数が最大となる心情情報、つまり応答者の心情の大勢を一目で把握することが可能となる。
【００６４】
（その他の実施形態）  
応答者の心情を表す文字データを表示する際に、発言者の視線位置を検出し、検出された視線位置に対応する応答者の心情を表す文字データの表示サイズを、それ以外の応答者の心情を表す文字データの表示サイズより大きくするように構成するとよい。このようにすると、発言者が注視している応答者の心情を表す文字データをより明確に視認することが可能となる。
【００６５】
心情情報の伝送方式としては、心情情報を映像データ及び音声データと別に制御データの一部として伝送する方式や、心情情報を表す文字データを映像データ及び音声データとともに共通のパケットに多重して伝送する方式等が使用可能である。このとき多重方式としては、例えばITU-T H.223に規定された方式等のマルチメディア多重伝送に使用する方式が適用可能である。
【００６６】
また前記実施形態では、三者以上の話間でテレビジョン会議通信を行う場合を例にとって説明したが、二者間でテレビジョン電話通信を行う場合や、二者間で音声のみによる通信を行う場合にも、この発明を適用可能である。さらに、その際使用する通信端末としては、パーソナル・コンピュータ等の有線通信端末以外に、ＰＤＡ（Personal Digital Assistants）や携帯電話機等の移動通信端末を使用することが可能である。
【００６７】
その他、心情情報の種類やその検出方法、提示形態、心情情報の伝送方式、通信端末の種類やその構成、通信ネットワークの種類やその構成、通信プロトコル等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる各実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００６８】
【図１】この発明の第１の実施形態に係わる通信システム及び通信端末の構成を示すブロック図。
【図２】図１に示した通信端末の応答者処理部とその周辺部の構成を示すブロック図。
【図３】図１に示した通信端末の発話者処理部とその周辺部の構成を示すブロック図。
【図４】図３に示した発話処理部で使用されるデータベースの構成を示す図。
【図５】図１に示した通信端末による心情情報の送受信処理手順と処理内容を示すフローチャート。
【図６】図５に示した心情情報の送受信処理手順のうち、心情情報の推定処理手順と処理内容を示すフローチャート。
【図７】図５に示した心情情報の送受信処理手順のうち、心情情報の受信提示処理手順と処理内容を示すフローチャート。
【図８】心情情報の表示結果の一例を示す図。
【図９】この発明の第２の実施形態に係わる通信端末の要部構成を示すブロック図。
【図１０】図９に示した通信端末において発話処理部で使用されるデータベースの構成を示す図。
【図１１】図９に示した通信端末による心情情報の受信提示処理手順と処理内容を示すフローチャート。
【図１２】この発明の第３の実施形態に係わる通信端末の要部構成を示すブロック図。
【図１３】図１２に示した通信端末による心情情報の提示処理手順と処理内容を示すフローチャート。
【図１４】図１３に示した心情情報提示処理による心情情報の表示結果の一例を示す図。
【符号の説明】
【００６９】
ＴＭ１〜ＴＭｎ…通信端末、ＮＷ…通信ネットワーク、１…視線検出部、２…頭部動作検出部、３…発話者検出部、４…応答者処理部、５Ａ，５Ｂ，５Ｃ…発話者処理部、６…通信処理部、７…カメラ、８…モニタ、９…マイクロホン、１０…スピーカ、１１…映像制御部、１２…音響制御部、１３…多重・分離部、１４…画像記憶手段、１５…視線検出手段、１６…頭部姿勢検出手段、１７…頭部動作方向検出手段、２０…重畳手段、２１…検索結果記憶手段、２２…データベース（ＤＢ）、２３…データベース検索手段、２４…受信結果記憶手段、２５…人物識別テーブル、２６…人物識別ＩＤ、２７…人物識別ＩＤ、２８…心情識別ＩＤ、２９…心情識別テーブル、３０…テキストファイル名、３１…心情情報提示画面、３２〜３５…重畳画面、３６…提示手法判別手段、３７…音声・音響ファイル選択手段、３８…音声・音響出力手段、３９…データベース検索手段、４０…データベース（ＤＢ２）、４１…空気圧制御手段、４２…空気圧発生手段、４３…重畳画像記憶手段、４４…特徴領域抽出手段、４５…視線位置ＩＤ、４６…視線位置テーブル、４７…音声・音響ファイル名、４８…空気圧パラメータ設定ファイル名、４９…映像記憶手段、５０…領域検出手段、５１…心情別人数表示手段、５２…心情別人数演算手段、５３…判定手段、５４…空気圧設定ファイル選択手段、５５…文字情報表示用ウィンドウ。
【図１】
2005269207.tif 000003
【図２】
2005269207.tif 000004
【図３】
2005269207.tif 000005
【図４】
2005269207.tif 000006
【図５】
2005269207.tif 000007
【図６】
2005269207.tif 000008
【図７】
2005269207.tif 000009
【図８】
2005269207.tif 000010
【図９】
2005269207.tif 000011
【図１０】
2005269207.tif 000012
【図１１】
2005269207.tif 000013
【図１２】
2005269207.tif 000014
【図１３】
2005269207.tif 000015
【図１４】
2005269207.tif 000016