(57)【要約】【課題】  円滑な通信会議を可能とする会議システム、通信会議支援方法、会議端末装置及びそれに用いるプログラムを提供する【解決手段】  遠隔にある複数の地点を結び通信会議を行う会議端末装置において、自装置を操作する自ユーザの頭部の上下方向の動きを検出する動作検出部と、動作検出部によって検出された自ユーザの頭部の上下方向の動きに基づいて自ユーザの会議への集中度を判定する集中度判定手段と、集中度判定手段によって判定された判定の結果を通信相手の会議端末装置にネットワークを介して送信する送信手段と、通信相手の会議端末装置から送信されてきた上記判定の結果を受信する受信手段と、受信手段が受信した上記判定の結果に基づいて表示制御を行う表示制御手段を備え、動作検出部は自ユーザの頭部に装着する。【選択図】  図２
2010141843.tif 000002
【特許請求の範囲】
【請求項１】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、
会議に参加している自ユーザを撮像する撮像部と、
前記撮像部から出力される映像データを前記ネットワークを介して通信相手の会議端末装置へ送信する映像データ送信手段と、
前記会議端末装置から送信される映像データを受信する映像データ受信手段と、
前記映像データ受信手段により受信した映像データに応じた画像を表示する表示部と、  自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、
前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とする会議端末装置。
【請求項２】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、
自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、
前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とする会議端末装置。
【請求項３】
前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像に関連付けて、他ユーザが集中状態である旨を示す画像を前記表示部に表示することを特徴とする請求項１に記載の会議端末装置。
【請求項４】
前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像を、他の通信相手の会議端末装置から送信される前記映像データに応じた画像よりも大きなサイズで前記表示部に表示することを特徴とする請求項１または３に記載の会議端末装置。
【請求項５】
自ユーザによる発言が行われているか否かを判定する発言判定手段を備え、
前記表示制御手段は、前記発言判定手段により自ユーザにより発言が行われていると判定された場合に、前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行う一方で、前記発言判定手段により自ユーザにより発言が行われていないと判定された場合には前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行わないことを特徴とする請求項１から４の何れか１項に記載の会議端末装置。
【請求項６】
自ユーザの脈拍を計測する脈拍計測部を備え、
前記集中度判定手段は、前記動作検出部で検出された自ユーザの頭部の動作情報に加え、さらに前記脈拍計測部により計測された自ユーザの脈拍に基づいて、自ユーザの会議への集中度の判定を行うことを特徴とする請求項１から５の何れか１項に記載の会議端末装置。
【請求項７】
前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記上下方向のふれ幅及び前記頭部の上下動の回数に基づいて自ユーザの集中度を判定することを特徴とする請求項１から５の何れか１項に記載の会議端末装置。
【請求項８】
前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記脈拍計測部により計測された脈拍と基準脈拍との差を算出し、前記頭部の上下方向のふれ幅、前記頭部の上下動の回数及び前記脈拍と基準脈拍との差に基づいて、自ユーザの集中度の判定することを特徴とする請求項６に記載の会議端末装置。
【請求項９】
自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信するか否かの入力を自ユーザから受け付ける集中度通知有無入力部を備え、
前記送信手段は、通信相手の会議端末装置に対して送信する旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信する一方で、通信相手の会議端末装置に対して送信しない旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しないことを特徴とする請求項１から８の何れか１項に記載の会議端末装置。
【請求項１０】
前記集中度判定手段により判定した自ユーザの集中度が低い状態であるとき、光又は音により自ユーザに刺激を与える制御を行う刺激制御手段を備えたことを特徴とする請求項１から９の何れか１項に記載の会議端末装置。
【請求項１１】
集中度が低い状態の自ユーザに刺激を与えるか否かの設定を自ユーザから受け付ける刺激制御設定部を備え、
前記刺激制御手段は、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行う一方で、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行わず、
前記送信手段は、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しない一方で、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信することを特徴とする請求項１０に記載の会議端末装置。
【請求項１２】
コンピュータを、請求項１から１１の何れか１項に記載の会議端末装置における各手段として機能させるためのプログラム。
【請求項１３】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信して行う通信会議を支援する通信会議支援方法であって、
自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得するステップと、
取得された前記自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行うステップと、
前記判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信するステップと、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信するステップと、
受信した前記他ユーザの会議への集中度を示す情報に応じた表示を行うステップと、を有する通信会議支援方法。
【請求項１４】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおいて、
前記前記会議端末装置の各々は、
自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、
前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とする会議システム。
【請求項１５】
複数の会議端末装置とネットワークを介して接続され、前記会議端末装置間での会議を管理するサーバ装置において、
前記複数の会議端末装置の各ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得されたユーザの頭部の動作情報に基づいて、該ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づく集中度を示す情報を前記複数の会議端末装置に送信する送信手段と、を備えたことを特徴とするサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の拠点間で会議を行うための会議システム、通信会議支援方法、会議端末装置及びプログラムの技術分野に関する。
【背景技術】
【０００２】
従来、会議システムは、遠隔に配置された複数の会議端末装置（以下、端末装置という。）を、ネットワークを介して接続し、これらの端末装置間で、テレビ会議や音声会議等の通信会議を行うものとして知られている。
【０００３】
この会議システムでは、テレビ会議を行うとき、各端末装置間で映像や音声等のデータが送受信される。そして、各端末装置のユーザは、通信相手の端末装置のユーザの映像や音声を見聞きしながら会議を行う。
【０００４】
例えば、３以上の端末装置間でテレビ会議を行う場合、各端末装置の表示部には全通信相手の端末装置のユーザの映像が表示される。これにより、各端末装置のユーザは、全通信相手の端末装置のユーザの映像を見ながらテレビ会議を行うことができる。
【０００５】
しかしながら、通信相手の端末装置のユーザの映像は、一つの表示部で表示することから、通信相手の端末装置の数が増えてくると、各端末装置の表示部に表示される各通信相手の端末装置のユーザの映像は小さくなってしまう。そのため、各端末装置のユーザは、表示画面上で通信相手の端末装置のユーザの様子を把握することが困難となる場合がある。
【０００６】
一方、この会議システムにおいて、音声会議を行うとき、各端末装置間で音声データを送受信し、各端末装置のユーザは、音声通話により通信相手の端末装置のユーザと会議を行う。このときも、各端末装置のユーザは、通信相手の端末装置のユーザの音声しか聞けないので、通信相手の端末装置のユーザの様子を把握することが困難になる場合がある。
【０００７】
そこで、通信相手の端末装置のユーザの様子を容易に把握することができるように、特許文献１に記載の技術では、各端末装置において撮影した自装置のユーザ（以下、「自ユーザ」という。）の映像を画像処理することにより自ユーザの反応を解析し、その解析結果を通信相手の端末装置へ通知することができるようにしている。
【特許文献１】特開２００１−６７４８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の技術では、撮影した映像を画像解析することによりユーザの反応を解析しているため、ユーザの反応を正確に把握することが困難な場合がある。例えば、ユーザが撮影範囲外の位置に移動したり、自ユーザの撮影はできるものの自ユーザの頭部の動きなどが検出できない方向からの撮影となったりすることがあり、このような場合には、通信相手の端末装置のユーザの反応を把握することができない。話し手は相手の反応がわからないと、相手が集中して話を聞いているのか、話している内容が相手に伝わっているのか、話している内容に反応しているのか不安になり、時には話を中断して相手の様子を確認したりして、円滑な会議を自ら妨げてしまうことも発生した。円滑な通信会議を支援し、話し手が不安感を抱かず、快適に会議を行うには、話し手が相手の反応を的確に把握できるようにすることが不可欠である。
【０００９】
そこで、本発明は、円滑な通信会議を可能とする会議システム、通信会議支援方法、会議端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、会議に参加している自ユーザを撮像する撮像部と、前記撮像部から出力される映像データを前記ネットワークを介して通信相手の会議端末装置へ送信する映像データ送信手段と、前記会議端末装置から送信される映像データを受信する映像データ受信手段と、前記映像データ受信手段により受信した映像データに応じた画像を表示する表示部と、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とするものである。
【００１１】
また、請求項２に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とするものである。
【００１２】
また、請求項３に係る発明は、請求項１に記載の会議端末装置において、前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像に関連付けて、他ユーザが集中状態である旨を示す画像を前記表示部に表示することを特徴とするものである。
【００１３】
また、請求項４に係る発明は、請求項１または３に記載の会議端末装置において、前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像を、他の通信相手の会議端末装置から送信される前記映像データに応じた画像よりも大きなサイズで前記表示部に表示することを特徴とするものである。
【００１４】
また、請求項５に係る発明は、請求項１から４の何れか１項に記載の会議端末装置において、自ユーザによる発言が行われているか否かを判定する発言判定手段を備え、前記表示制御手段は、前記発言判定手段により自ユーザにより発言が行われていると判定された場合に、前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行う一方で、前記発言判定手段により自ユーザにより発言が行われていないと判定された場合には前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行わないことを特徴とするものである。
【００１５】
また、請求項６に係る発明は、請求項１から５の何れか１項に記載の会議端末装置において、自ユーザの脈拍を計測する脈拍計測部を備え、前記集中度判定手段は、前記動作検出部で検出された自ユーザの頭部の動作情報に加え、さらに前記脈拍計測部により計測された自ユーザの脈拍に基づいて、自ユーザの会議への集中度の判定を行うことを特徴とするものである。
【００１６】
また、請求項７に係る発明は、請求項１から５の何れか１項に記載の会議端末装置において、前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記上下方向のふれ幅及び前記頭部の上下動の回数に基づいて自ユーザの集中度を判定することを特徴とするものである。
【００１７】
また、請求項８に係る発明は、請求項６に記載の会議端末装置において、前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記脈拍計測部により計測された脈拍と基準脈拍との差を算出し、前記頭部の上下方向のふれ幅、前記頭部の上下動の回数及び前記脈拍と基準脈拍との差に基づいて、自ユーザの集中度の判定することを特徴とするものである。
【００１８】
また、請求項９に係る発明は、請求項１から８の何れか１項に記載の会議端末装置において、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信するか否かの入力を自ユーザから受け付ける集中度通知有無入力部を備え、前記送信手段は、通信相手の会議端末装置に対して送信する旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信する一方で、通信相手の会議端末装置に対して送信しない旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しないことを特徴とするものである。
【００１９】
また、請求項１０に係る発明は、請求項１から９の何れか１項に記載の会議端末装置において、前記集中度判定手段により判定した自ユーザの集中度が低い状態であるとき、光又は音により自ユーザに刺激を与える制御を行う刺激制御手段を備えたことを特徴とするものである。
【００２０】
また、請求項１１に係る発明は、請求項１０に記載の会議端末装置において、集中度が低い状態の自ユーザに刺激を与えるか否かの設定を自ユーザから受け付ける刺激制御設定部を備え、前記刺激制御手段は、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行う一方で、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行わず、前記送信手段は、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しない一方で、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信することを特徴とするものである。
【００２１】
また、請求項１２に係る発明は、コンピュータに、請求項１から１１の何れか１項に記載の会議端末装置における各手段として機能させるためのプログラムとした。
【００２２】
また、請求項１３に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信して行う通信会議を支援する通信会議支援方法であって、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得するステップと、取得された前記自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行うステップと、前記判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信するステップと、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信するステップと、受信した前記他ユーザの会議への集中度を示す情報に応じた表示を行うステップと、を有するものである。
【００２３】
また、請求項１４に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおいて、前記前記会議端末装置の各々は、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とするものである。
【００２４】
また、請求項１５に係る発明は、複数の会議端末装置とネットワークを介して接続され、前記会議端末装置間での会議を管理するサーバ装置において、前記複数の会議端末装置の各ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得されたユーザの頭部の動作情報に基づいて、該ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づく集中度を示す情報を前記複数の会議端末装置に送信する送信手段と、を備えたことを特徴とするものである。
【発明の効果】
【００２５】
本発明によれば、動作検出部が自ユーザの頭部の動作を検出し、この動作検出部により検出された動作情報に基づいて集中度判定手段が自ユーザの会議への集中度を判定し、送信手段がこの集中度判定手段による判定結果（集中度を示す情報）を通信相手の会議端末装置に対して送信する。一方、受信手段が通信相手の会議端末装置により送信された当該会議端末装置のユーザである他ユーザの集中度を示す情報を受信し、表示制御手段が受信した他ユーザの集中度を示す情報に基づいて表示制御する。
【００２６】
これにより、自ユーザは、通信相手である他ユーザの集中度を把握し、他ユーザの集中度に応じて会議の進め方を変更することができるため、円滑な通信会議が可能となる。
【００２７】
特に、動作検出部をユーザの頭部に装着するようにしたので、ユーザの頭部の動きを直接検出することができる。これにより、ユーザの頭部の動作を高精度に検出することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の第１の実施形態を図面に基づいて説明する。
【００２９】
［第１の実施形態］
［会議システム１の概要］
まず始めに、図１を参照して、本発明の第１の実施形態に係る会議システムの概要について説明する。図１は、本発明の第１の実施形態に係る会議システムの概略構成を示す図である。
【００３０】
図１に示すように、第１の実施形態に係る会議システム１は、遠隔に配置された会議端末装置間でテレビ会議等の通信会議を行うものであり、複数の会議端末装置１００ａ〜１００ｄがネットワークに接続されることにより構成されている。なお、本実施形態では、会議システム１は４台の会議端末装置１００ａ〜１００ｄにより構成されているが、これに限定されるものではない。また、以下においては、会議端末装置１００ａ〜１００ｄのうち任意の会議端末装置を示すときには、「会議端末装置１００」とする。
【００３１】
以上のように構成される会議システム１では、会議端末装置１００ａ〜１００ｄ間で、映像及び音声をやりとりすることでテレビ会議の通信会議が行われる。なお、この会議システム１では、会議端末装置１００ａ〜１００ｄ間で、映像のやりとりをせず、音声をやりとりすることで音声会議の通信会議を行うこともできる。
【００３２】
［会議端末装置の概要］
次に、第１の実施形態に係る会議システム１の主要部である会議端末装置１００の概要について説明する。図２は、第１の実施形態に係る会議端末装置１００の概略構成を示す図である。
【００３３】
図２に示すように、会議端末装置１００は、動作検出部、脈拍計測部、動作情報取得手段、脈拍情報取得手段、集中度判定手段、送信手段、受信手段、表示制御手段、表示部及び撮像部を備えている。
【００３４】
動作検出部は、自装置のユーザ（以下、「自ユーザ」という。）の頭部に装着されており、自ユーザの頭部の動作を検出する。動作検出部として、例えば、加速度センサ、速度センサなどを用いることができる。また、動作検出部の装着は、例えば、動作検出部を内蔵したヘッドセットタイプの頭部装着具を用いることができる。
【００３５】
動作情報取得手段は、動作検出部により検出された自ユーザの頭部の動作に関する動作情報を取得する。例えば、動作検出部が加速度センサであれば、加速度情報を動作情報として取得し、動作検出部が速度センサであれば、速度情報を動作情報として取得する。なお、動作検出部と動作情報取得手段との間の接続は、通信ケーブルなどで行うことができるが、無線による接続であってもよい。
【００３６】
脈拍計測部は、自ユーザの手首に装着されており、自ユーザの脈拍を計測する。脈拍計測部は、脈拍計と、この脈拍計を自ユーザの手首に装着するための装着具とから構成される。
【００３７】
脈拍情報取得手段は、脈拍計測部により計測された脈拍に関する脈拍情報を取得する。例えば、脈拍情報として１分当たりの脈拍数を順次脈拍計測部から取得する。なお、脈拍計測部と脈拍情報取得手段との間の接続は、通信ケーブルなどで行うことができるが、無線による接続であってもよい。
【００３８】
集中度判定手段は、動作情報取得手段により取得した動作情報と、脈拍情報取得手段により取得した脈拍情報とに基づいて自ユーザの会議への集中度の判定を行う。例えば、集中度判定手段は、動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出すると共に、所定期間における頭部の上下動の回数を検出し、また、脈拍計測部により計測した脈拍と基準脈拍との差を算出して、これらの情報に基づいて自ユーザの集中度を判定する。
【００３９】
集中度判定手段は、例えば、自ユーザが集中状態であるとき集中度が高いと判定し、自ユーザが睡眠状態であるとき集中度が低いと判定し、それ以外のときに集中度が中程度であると判定する。
【００４０】
送信手段は、集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報（以下、「集中度情報」という。）を通信相手の会議端末装置１００に対して送信する。また、この送信手段は、撮像部から出力される映像データをネットワークを介して通信相手の会議端末装置１００へ送信する映像データ送信手段としても機能する。
【００４１】
受信手段は、通信相手の会議端末装置により送信されたこの通信相手の会議端末装置１００のユーザ（以下、「他ユーザ」という。）の集中度情報を受信する。また、この受信手段は、通信相手の会議端末装置１００から送信される映像データを受信する映像データ受信手段としても機能する。
【００４２】
表示制御手段は、表示部を制御することで、受信手段により受信した他ユーザの集中度情報に応じた表示を行う。例えば、表示制御手段は、集中度が所定以上の他ユーザの会議端末装置１００から送信される映像データに応じた画像に関連付けて、他ユーザが集中状態である旨を示す画像を表示部に表示させる。また、表示制御手段は、集中度が所定以上の他ユーザの会議端末装置１００から送信される映像データに応じた画像を、他の通信相手の会議端末装置１００から送信される映像データに応じた画像よりも大きなサイズで表示部に表示させる。
【００４３】
上記した会議システム１の会議端末装置１００によれば、動作検出部が検出した自ユーザの動作情報に基づいて集中度判定手段が自ユーザの集中度を判定し、送信手段が自ユーザの集中度情報を他ユーザに対して送信する一方、受信手段が他ユーザの集中度情報を受信し、表示制御手段が受信した他ユーザの集中度情報に基づいて表示制御するようにしたので、自ユーザは他ユーザの会議への集中度を把握することができる。また、動作検出部を自ユーザの頭部に装着するようにしたので、高精度に自ユーザの頭部の動作を検出することができ、信頼性の高い集中度の判定を行うことができる。
【００４４】
このように自ユーザは他ユーザの会議への集中度を把握することができるため、例えば、自ユーザが発言者であるときに他ユーザの集中度が高ければ自ユーザはそれを把握して気分よく発言を行うことできる。また、ある通信相手の会議端末装置１００のユーザの集中度が高いと判定され、別の通信相手の会議端末装置１００のユーザの集中度が低いと判定された場合には、自ユーザは、上記集中度が高い他ユーザに対して話しかけて会話をすることで、その会話により会議に上記集中度が低い他ユーザの興味を引かせることができ、その結果、上記集中度が低いユーザの集中度をアップさせることが可能となり、自ユーザは気分よく会議を行うことができる。
【００４５】
［会議端末装置の具体的な構成］
次に、第１の実施形態に係る会議端末装置１００について、具体的な一例を示して詳細に説明する。図３は、第１の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。なお、会議端末装置１００は、図１における各拠点に配置された会議端末装置１００と同等のものであり、適宜、会議端末装置１００ａ〜１００ｄとして区別し、その場合には、会議端末装置１００ａを発言者側の会議端末装置、会議端末装置１００ｂ〜１００ｄを視聴者側の会議端末装置とする。
【００４６】
図３に示すように、会議端末装置１００は、装置本体部１１０、ヘッドセット１２０、脈拍計１３０、撮像部１４０及び表示部１５０により構成されている。なお、自ユーザの数に応じて、１又は複数のヘッドセット１２０及び脈拍計１３０が装置本体部１１０に接続されるようになっている。
【００４７】
［装置本体部１１０の構成］
装置本体部１１０は、汎用コンピュータを適用可能であり、ＣＰＵ１１１、記憶部１１２、通信ＩＦ１１３、操作部１１４及び図示しない画像データ入力部を備えるコンピュータ装置である。これらの各種構成要素はシステムバス１１５によって接続されている。また、ＣＰＵ１１１は、記憶部１１２とともに制御部１１６を構成する。
【００４８】
記憶部１１２は、会議制御プログラム、ユーザデータとしてユーザ名やユーザの基準脈拍等、及び会議に関する各種フラグ等の設定データを記憶する。また記憶部１１２には、更に第１及び第２の判定テーブル（図１４，１５参照）や会議中における自ユーザ頭部の動作に関する情報（後述するふれ幅や上下動の回数等）を記憶する記憶領域（図示せず）が設けられている。
【００４９】
ＣＰＵ１１１は、記憶部１１２に記憶された会議制御プログラムに従い、会議端末装置１００のコンピュータとしての基本的な制御を行う。これにより、制御部１１６は、表示部１５０の制御等を行う表示制御手段、自ユーザに対し刺激制御を行う刺激制御手段、自ユーザの集中度を判定する集中度判定手段、自ユーザによる発言が行われているか否かを判定する発言判定手段、加速度計１２３から動作情報を取得する動作情報取得手段、脈拍計１３０から脈拍情報を取得する脈拍情報取得手段として機能することになる。
【００５０】
なお、会議制御プログラムは、例えば、インターネットに接続されたサーバ等から記憶部１１２にダウンロードされるようにしてもよく、又ＣＤ−ＲＯＭ等の記録媒体に記録されてから当該記録媒体のドライブを介して、記憶部１１２に読み込まれるようにしてもよい。
【００５１】
通信ＩＦ１１３は、例えば、ＮＩＣ（Network Interface Card）であり、ルータを介してネットワークに接続されている。この通信ＩＦ１１３は、通信相手の会議端末装置１００に対して、自ユーザに関する通信データとして、自ユーザを撮像した映像データ、自ユーザの音声を集音した音声データ及び自ユーザの集中度情報等を送信する。また、通信ＩＦ１１３は、通信相手の会議端末装置１００により送信された他ユーザに関する通信データとして、他ユーザを撮像した映像データ、他ユーザの音声を集音した音声データ及び他ユーザの集中度情報等を受信する。なお、通信ＩＦ１１３は、制御部１１６と共に送信手段及び受信手段として機能する。
【００５２】
操作部１１４は、集中度通知有無入力部１１７、刺激制御設定部１１８、図示しないマウス及びキーボードにより構成されている。集中度通知有無入力部１１７は、通信相手の会議端末装置１００に対して、自ユーザの集中度情報を送信するか否かの入力を、自ユーザから受け付ける入力ボタンである。また、刺激制御設定部１１８は、睡眠状態の自ユーザに対して覚醒制御や退室制御等の刺激制御を行うか否かの設定を受け付ける設定ボタンである。
【００５３】
［ヘッドセット１２０及び脈拍計１３０の構成］
ヘッドセット１２０は、図４に示すように、自ユーザの頭部に装着され、通信相手である他ユーザと音声通話を行うものであり、音声通話のための機能以外にも自ユーザの頭部の動作を検出する機能を有している。このヘッドセット１２０は、マイク１２１と、スピーカ１２２と、ヘッドセット１２０にかかる加速度を検出する加速度計１２３とを備えている。
【００５４】
加速度計１２３は、図５に示すように、自ユーザの頭部が上下方向に動作するとき、この頭部の上下動の加速度を検出するものである。なお、本実施形態では加速度計１２３をヘッドセット１２０と一体に設けるようにしたが、これには限定されず、例えば、自ユーザの顎等に固定するようにして設けてもよい。
【００５５】
脈拍計１３０は、自ユーザの脈拍を計測するものである。この脈拍計１３０はリストバンド等に固定され、自ユーザはこのリストバンドを手首に巻回することで脈拍計１３０を手首に装着できるようになっている。
【００５６】
［撮像部１４０及び表示部１５０の構成］
撮像部１４０は、例えば、撮像を行うと共に映像データを出力するＣＣＤカメラである。この撮像部１４０は会議に参加している自ユーザを撮像し、その結果得られる自ユーザの映像データを、通信ＩＦ１１３等を介して通信相手の会議端末装置１００に対して送信できるようになっている。
【００５７】
表示部１５０は、ＬＣＤ（liquid crystal display）等のモニタである。表示部１５０には、図６に示すように、画像データ入力部から入力された会議で使用する発表資料等（図６（ａ）参照）または通信相手の会議端末装置１００により送信された映像データに基づく他ユーザの映像（図６（ｂ）参照）が表示される。なお、設定により、発表資料等または他ユーザの映像を固定して表示したり、自ユーザの発言状況により順次これらの画面を切り替えて表示したりすることができる。
【００５８】
他ユーザの映像を表示する表示画面は、メイン表示領域とサブ表示領域とにより構成されている。メイン表示領域は、表示部１５０の表示画面における主表示領域であり、図６（ｂ）に示すような他ユーザの映像等を表示するようになっている。またサブ表示領域は、表示部１５０の表示画面における副表示領域であり、図７に示すように、会議に参加している会議端末装置１００のうち何れの装置であるかを表示する端末装置表示領域と、他ユーザの集中度情報に応じた表示を行う集中度表示領域とを有している。なお、自装置に対応する集中度表示領域は、自ユーザの集中度情報に応じた表示を行うにしてもよいが、ここでは、自ユーザが発言者であるか否かを表示することとしている。なお、サブ表示領域は、自ユーザの設定操作により表示しないこともできる。
【００５９】
集中度表示領域への他ユーザの集中度情報に応じた表示は、図７（ａ）に示すように、所定の状態を示すアイコンを表示することにより行われる。本実施形態では、会議端末装置１００ｂのユーザが通常状態、会議端末装置１００ｃのユーザが集中状態及び会議端末装置１００ｄのユーザが睡眠状態であることを表示している。なお、会議端末装置１００ａが発言者であることを表示している。また、各会議端末装置１００にそれぞれ複数のユーザがいるときは、ユーザの人数に応じた数のアイコンを表示することができる。また、状態表示部分の表示は、図７（ａ）に示すアイコンによる表示には限定されず、例えば図７（ｂ）に示す文字による表示や所定の状態を表す色による表示でもよい。ユーザの状態を色で表す場合には、例えば、ユーザが集中状態であることを赤系の色で表示し、ユーザが睡眠状態であることを青系の色で表示する。
【００６０】
以上が第１の実施形態に係る会議システム１及び会議端末装置１００の構成の説明となる。
【００６１】
[制御処理]
第１の実施形態に係る会議システムにおける会議端末装置１００のＣＰＵ１１１が記憶部１１２に記憶されている各種プログラムを読み出して行う制御処理について、図８〜１４を参照して説明する。
【００６２】
[メイン処理]
会議端末装置１００では、電源がオンされてからオフされるまでの間、図８に示すメイン処理を実行する。
【００６３】
このメイン処理では、まずＣＰＵ１１１は、ユーザデータの登録や会議の設定等を行う入力処理を実行する（ステップＳ１）。なお、この入力処理の詳細については図９を参照して後述する。
【００６４】
次に、ＣＰＵ１１１は、加速度計１２３及び脈拍計１３０を制御して、自ユーザの動作情報として自ユーザの頭部の上下動の加速度を検出させ、自ユーザの脈拍を計測させる（ステップＳ２）。なお、自ユーザの頭部の動きとして、本実施形態では上下方向の動きに着目することとしており、加速度の検出も自ユーザの頭部の上下方向の動きに対するものとしているが、自ユーザの頭部の左右方向の動きに対する加速度を検出するようにしてもよい。また、脈拍の計測は単位時間当たりの平均値を計測しており、単位時間としては、例えば、１分間である。
【００６５】
次に、ＣＰＵ１１１は、加速度計１２３及び脈拍計１３０から自ユーザの動作情報（自ユーザの頭部が上下方向に動くときの加速度）及び自ユーザの脈拍を取得する（ステップＳ３）。そして、ＣＰＵ１１１は、取得した動作情報に基づいて、自ユーザの頭部の上下方向のふれ幅や頭部の上下動の回数等を算出し、これらを自ユーザ頭部の動作に関する情報として記憶部１１２に記憶する。なお、本実施形態では、頭部の上下動の加速度を検出するようにしたが、これには限定されず、例えば速度計を用いて頭部が動くときの速度を検出し、この検出した速度に基づいて上記ふれ幅や回数等を算出するようにしてもよい。
【００６６】
次に、ＣＰＵ１１１は、加速度計１２３から取得した動作情報や脈拍計１３０から取得した脈拍情報に基づいて自ユーザの会議への集中度を判定する集中度判定処理を実行する（ステップＳ４）。なお、この集中度判定処理の詳細については図１０を参照して後述する。
【００６７】
次に、ＣＰＵ１１１は、所定の場合に、通信ＩＦ１１３を制御し、通信相手の会議端末装置１００に対して、自ユーザの集中度情報を送信することで、自ユーザの集中度を通知する集中度通知処理を実行する（ステップＳ５）。なお、この集中度通知処理の詳細については図１１を参照して後述する。
【００６８】
次に、ＣＰＵ１１１は、上記集中度判定処理の結果に基づいて、自ユーザに対して覚醒を促す覚醒制御や自ユーザを会議から退室させる退室制御を行う刺激制御処理を実行する（ステップＳ６）。なお、この刺激制御処理の詳細については図１２を参照して後述する。
【００６９】
次に、ＣＰＵ１１１は、通信相手の会議端末装置１００により送信された他ユーザの集中度情報等を受信したか否かを判定することで、他ユーザの集中度の通知を受けたか否かを判定する（ステップＳ７）。そして、ＣＰＵ１１１は、他ユーザの集中度の通知を受けたと判定する（ステップＳ７：Ｙｅｓ）と、ステップＳ８に処理を移行し、他ユーザの集中度の通知を受けていないと判定すると（ステップＳ７：Ｎｏ）、ステップＳ２に処理を戻す。
【００７０】
ステップＳ８において、ＣＰＵ１１１は、表示部１５０を制御して他ユーザの集中度に応じた表示を行う集中度情報受信時処理を実行し、ステップＳ２に処理を戻す。なお、この集中度情報受信処理の詳細については図１３を参照して後述する。
【００７１】
以上が、ＣＰＵ１１１が行うメイン処理の説明になる。次に、上記メイン処理のステップＳ２における「入力処理」について、図９を参照して詳細に説明する。
【００７２】
［入力処理］
メイン処理のステップＳ１における入力処理を起動すると、まずＣＰＵ１１１は、表示部１５０を制御し、会議の設定の手順を説明する画面を表示する（ステップＳ９）。すなわち、表示部１５０には、自ユーザに対してヘッドセット１２０や脈拍計１３０の装着を要求するメッセージやユーザ名の入力を要求するメッセージが表示され、その他にも、会議設定に関する操作手順等が表示される。
【００７３】
そして、脈拍計１３０を装着すると、脈拍計１３０により自ユーザの集中度を判定するときの基準となる脈拍（以下、「基準脈拍」という。）が算出される。すなわち、脈拍の所定期間における平均値を算出し、この算出した値に所定の値を足し引きして求められた値の範囲が基準脈拍となる。例えば、脈拍の５分平均を算出した値が６５拍／分であり、所定の値が５拍／分である場合には、基準脈拍は６０拍／分から７０拍／分の間の範囲となる。
【００７４】
次に、ＣＰＵ１１１は、ユーザ名の入力を受け付けると（ステップＳ１０）、続いて、記憶部１１２に記憶されたユーザデータを参照し、当該入力されたユーザ名の照会を行う（ステップＳ１１）。
【００７５】
次に、ＣＰＵ１１１は、ステップＳ１１で行ったユーザ名の照会結果に基づいて、ステップＳ１０で入力されたユーザ名に対応するユーザデータが登録済であるか否かを判定する（ステップＳ１２）。そして、ＣＰＵ１１１は、ユーザデータが登録済であると判定すると（ステップＳ１２：Ｙｅｓ）、ステップＳ１４に処理を移行し、ユーザデータが未登録であると判定すると（ステップＳ１２：Ｎｏ）、ステップＳ１３に処理を移行する。
【００７６】
ステップＳ１３において、ＣＰＵ１１１は、新たなユーザデータを登録する。すなわち、ＣＰＵ１１１は、記憶部１１２に、新たなユーザデータとしてユーザ名やステップＳ９において計測された基準脈拍等を記憶する。この処理が終了すると、ステップＳ１４に処理を移行する。
【００７７】
ステップＳ１４において、ＣＰＵ１１１は、登録されたユーザデータを、会議で使用するユーザデータとして設定する。このとき、会議で使用するユーザデータとして、登録されたユーザデータの中から、ステップＳ１０で入力されたユーザ名に対応するユーザデータが設定される。なお、ステップＳ１２でユーザデータが登録済であると判定された場合であっても、所定の操作により新たなユーザデータを登録し、その新たなユーザデータを会議で使用するユーザデータとして設定することもできるようになっている。
【００７８】
次に、ＣＰＵ１１１は、自ユーザの集中度を通信相手である他ユーザに通知するか否かを選択する集中度通知有無入力部１１７への操作を促す画面を表示部１５０に表示し、自ユーザに集中度通知有無入力部１１７を操作させる。ＣＰＵ１１１は、自ユーザによる集中度通知有無入力部１１７の操作に基づき、自ユーザの集中度を通知するか否かを判定する（ステップＳ１５）。
【００７９】
そして、ＣＰＵ１１１は、自ユーザによる集中度通知有無入力部１１７への操作が自ユーザの集中度を通知する旨の操作であると（ステップＳ１５：Ｙｅｓ）、ステップＳ１６に処理を移行し、自ユーザによる集中度通知有無入力部１１７の操作が自ユーザの集中度を通知しない旨の操作であると（ステップＳ１５：Ｎｏ）、ステップＳ１７に処理を移行する。
【００８０】
ステップＳ１６において、ＣＰＵ１１１は、他ユーザに対して自ユーザの集中度を通知する設定を行う集中度通知設定処理を実行する。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶されていた集中度通知フラグの設定値を「０」から「１」へ変更する。なお、集中度通知設定処理を実行しない場合には、記憶部１１２に記憶される集中度通知フラグの設定値は「０」のままとなる。この処理が終了すると、ステップＳ１７に処理を移行する。
【００８１】
ステップＳ１７において、ＣＰＵ１１１は、会議中に自ユーザが睡眠状態であるときに自ユーザに対して覚醒を促す覚醒制御をするか否かを選択する刺激制御設定部１１８の操作を促す画面を表示部１５０に表示し、自ユーザに刺激制御設定部１１８を操作させる。ＣＰＵ１１１は、自ユーザによる刺激制御設定部１１８の操作に基づき、自ユーザの覚醒制御を行うか否かを判定する。そして、自ユーザによる刺激制御設定部１１８への操作が自ユーザの覚醒制御を行う旨の操作であると（ステップＳ１７：Ｙｅｓ）、ＣＰＵ１１１は、ステップＳ１８に処理を移行する。
【００８２】
ステップＳ１８において、ＣＰＵ１１１は、自ユーザに対して覚醒を促す制御の設定を行う覚醒制御設定処理を実行する。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶される覚醒制御フラグの設定値を「０」から「１」へ変更する。なお、覚醒制御設定処理を実行しない場合には、記憶部１１２に記憶される覚醒制御フラグの設定値は「０」のままとなる。この処理が終了すると、ＣＰＵ１１１は、ステップＳ１９に処理を移行する。
【００８３】
一方、自ユーザによる刺激制御設定部１１８の操作が自ユーザの覚醒制御を行わない旨の操作であると（ステップＳ１７：Ｎｏ）、ＣＰＵ１１１は、ステップＳ１９に処理を移行する。
【００８４】
ＣＰＵ１１１は、会議中に自ユーザが睡眠状態であるときに自ユーザを会議から退室させる退室制御を行うか否かを選択する操作部１１４の操作を促す画面を表示部１５０に表示し、自ユーザに操作部１１４を操作させる。ＣＰＵ１１１は、自ユーザによる操作部１１４の操作に基づき、自ユーザの退室制御を行うか否かを判定する（ステップＳ１９）。
【００８５】
そして、自ユーザによる刺激制御設定部１１８の操作が自ユーザの退室制御を行う旨の操作であると（ステップＳ１９：Ｙｅｓ）、ＣＰＵ１１１は、ステップＳ２０に処理を移行する。一方、自ユーザによる刺激制御設定部１１８の操作が自ユーザの退室制御を行う旨の操作であると（ステップＳ１９：Ｎｏ）、ＣＰＵ１１１は、メイン処理のステップＳ２に処理を移行する。
【００８６】
ステップＳ２０において、ＣＰＵ１１１は、睡眠状態である自ユーザを会議から退室させる制御の設定を行う退室制御設定処理を実行する。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶されていた退室制御フラグの設定値を「０」から「１」へ変更する。なお、退室制御設定処理を実行しない場合には、記憶部１１２に記憶される退室制御フラグの設定値は「０」のままとなる。この処理が終了すると、ＣＰＵ１１１は、メイン処理のステップＳ２に処理を移行する。
【００８７】
［集中度判定処理］
次に、メイン処理のステップＳ４における「集中度判定処理」について、図１０を参照して詳細に説明する。
【００８８】
メイン処理のステップＳ１における集中度判定処理を起動すると、まずＣＰＵ１１１は、自ユーザの頭部の動作が、意識が低下して頭部を上下に振る動作（以下、「こっくり」という。）であるか否かを判定する（ステップＳ２１）。「こっくり」であるか否かは、自ユーザの頭部の動作、自ユーザの脈拍及び記憶部１１２に記憶された第１の判定テーブル（図１４参照）に基づいて判定される。すなわち、自ユーザの頭部の上下動のふれ幅Ｗ、頭部の上下動の回数ｎ、頭部が上下動するときの周期Ｔ及び自ユーザの脈拍Ｐが第１の判定テーブルに記載された要件を満たすか否かにより判定される。なお、この「こっくり」の判定においては、「こっくり」のパターンに応じて、「こっくり１」と、「こっくり２」とに区別するが、以下の説明では、これらをまとめて「こっくり」として説明する。
【００８９】
具体的には、自ユーザの頭部の上下動のふれ幅Ｗが５ｃｍよりも大きいが１２ｃｍより小さく、頭部が上下動するときの周期Ｔが１０秒以上３０秒以下で、頭部の上下動の回数ｎが５回以上であり、かつ、計測した脈拍Ｐが基準脈拍Ｐ０の８割以下である場合に自ユーザの頭部の動作が「こっくり１」であると判定される。また、頭部の上下動のふれ幅Ｗが１２ｃｍ以上となり、かつ、計測した脈拍Ｐが基準脈拍Ｐ０の８割以下となる場合に自ユーザの頭部の動作が「こっくり２」であると判定される。なお、自ユーザが複数の場合には、設定により、自ユーザの中の特定のユーザについて判定したり、全ての自ユーザについて判定したりしてもよい。特定のユーザとは、例えば、特定のヘッドセット１２０を装着したユーザである。
【００９０】
そして、ＣＰＵ１１１は、自ユーザの頭部の動作が「こっくり」であると判定すると（ステップＳ２１：Ｙｅｓ）、ステップＳ２２に処理を移行し、自ユーザの頭部の動作が「こっくり」でないと判定すると(ステップＳ２１：Ｎｏ)、ステップＳ２３に処理を移行する。
【００９１】
なお、上記した「こっくり」であるか否かの判定は、所望の判定精度に応じて様々な変更が可能である。例えば、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度に基づいて判定を行うことができる。すなわち、第１のテーブルを参照して自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定を行うと共に第２の判定テーブル（図１５参照）を参照して頭部の上下動の加速度に基づく判定を行う。具体的には、ふれ幅Ｗが１２ｃｍ以上となり、計測した脈拍Ｐが基準脈拍Ｐ０の８割以下となり、加速度αが下方向に１０ｃｍ／ｓ２以上となる場合に自ユーザの頭部の動作が「こっくり２」であると判定する。これによると、「こっくり」であると判定するための判定要件を増やすことができ、判定精度を高めることができる。
【００９２】
また、自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定において脈拍に基づく判定を省略することもできる。具体的には、第１のテーブルを参照して頭部の上下動のふれ幅Ｗ、頭部の上下動の回数ｎ、頭部が上下動するときの周期Ｔ基づく判定を行い、ふれ幅Ｗが５ｃｍよりも大きいが１２ｃｍより小さく、周期Ｔが１０秒以上３０秒以下で、回数ｎが５回以上である場合に「こっくり１」であると判定し、ふれ幅Ｗが１２ｃｍ以上となる場合に「こっくり２」であると判定する。この場合には、判定精度は低下する虞が生じるが、判定を簡略化することが可能となる。
【００９３】
さらに、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度の中から頭部の上下動のふれ幅Ｗ、頭部の上下動の加速度α及び自ユーザの脈拍Ｐに基づいた判定を行うこともできる。具体的には、第１のテーブルを参照して頭部の上下動のふれ幅Ｗと自ユーザの脈拍Ｐに基づく判定を行うと共に第２の判定テーブルを参照して頭部の上下動の加速度αに基づく判定を行い、ふれ幅Ｗが１２ｃｍ以上となり、計測した脈拍Ｐが基準脈拍Ｐ０の８割以下となり、加速度αが下方向に１０ｃｍ／ｓ２以上となる場合に自ユーザの頭部の動作が「こっくり２」であると判定する。
【００９４】
ステップＳ２２において、ＣＰＵ１１１は、自ユーザが睡眠状態であると設定する睡眠状態設定処理を実行する。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶されていた低集中度フラグの設定値を「０」から「１」へ変更する。なお、睡眠状態設定処理を実行しない場合には、記憶部１１２に記憶される低集中度フラグの設定値は「０」のままとなる。なお、集中度判定されたユーザが複数の場合には、自ユーザの設定により、集中度判定されたユーザの中の特定のユーザの判定結果に基づいて睡眠状態設定処理を実行したり、集中度判定された全てのユーザの判定結果に基づいて睡眠状態設定処理を実行したりしてよい。例えば、集中度判定された全てのユーザの判定結果に基づいて睡眠状態設定処理を実行する場合には、頭部の動作が「こっくり」であると判定されたユーザ毎に当該ユーザの判定結果に基づいて睡眠状態設定処理を実行する。
【００９５】
ステップＳ２３において、ＣＰＵ１１１は、自ユーザの頭部の動作が、頭部を上下に振ることによって相手に了解や承諾等の意思表示をする動作（以下、「うなずき」という。）であるか否かを判定する。「うなずき」であるか否かは、自ユーザの頭部の動作、自ユーザの脈拍及び記憶部１１２に記憶された第１の判定テーブルに基づいて判定される。すなわち、自ユーザの頭部の上下動のふれ幅Ｗ、頭部の上下動の回数ｎ、頭部が上下動するときの周期Ｔ及び自ユーザの脈拍Ｐが第１の判定テーブルに記載された要件を満たすか否かにより判定される。
【００９６】
具体的には、自ユーザの頭部の上下動のふれ幅Ｗが２ｃｍ以上５ｃｍ以下で、頭部が上下動するときの周期Ｔが１秒以下で、頭部の上下動の回数ｎが１〜３回であり、かつ、計測した脈拍Ｐが基準脈拍Ｐ０の１．２倍以上である場合に自ユーザの頭部の動作が「うなずき」であると判定される。なお、「こっくり」の判定と同様に、自のユーザが複数の場合には、自ユーザの設定により、自ユーザの中の特定のユーザについて判定したり、全ての自ユーザについて判定したりしてもよい。特定のユーザとは、例えば、特定のヘッドセット１２０を装着したユーザである。
【００９７】
そして、ＣＰＵ１１１は、自ユーザの頭部の動作が「うなずき」であると判定すると（ステップＳ２３：Ｙｅｓ）、ステップＳ２４に処理を移行し、自ユーザの頭部の動作が「うなずき」でないと判定すると(ステップＳ２３：Ｎｏ)、メイン処理のステップＳ５に処理を移行する。
【００９８】
なお、上記した「うなずき」であるか否かの判定は、所望の判定精度に応じて様々な変更が可能である。例えば、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度に基づいて判定を行うことができる。すなわち、第１のテーブルを参照して自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定を行うと共に第２の判定テーブルを参照して頭部の上下動の加速度に基づく判定を行う。具体的には、ふれ幅Ｗが２ｃｍ以上５ｃｍ以下となり、計測した脈拍Ｐが基準脈拍Ｐ０の１．２倍以上となり、加速度αが上下方向に８ｃｍ／ｓ２以下となる場合に自ユーザの頭部の動作が「うなずき」であると判定する。これによると、「うなずき」であると判定するための判定要件を増やすことができ、判定精度を高めることができる。
【００９９】
また、自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定において脈拍に基づく判定を省略することもできる。具体的には、第１のテーブルを参照して頭部の上下動のふれ幅Ｗ、頭部の上下動の回数ｎ、頭部が上下動するときの周期Ｔ基づく判定を行い、ふれ幅Ｗが２ｃｍ以上５ｃｍ以下となり、周期Ｔが１秒以下で、回数ｎが１〜３回である場合に「うなずき」であると判定する。この場合には、判定精度は低下する虞が生じるが、判定を簡略化することが可能となる。
【０１００】
さらに、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度の中から頭部の上下動のふれ幅Ｗ、頭部の上下動の加速度α及び自ユーザの脈拍Ｐに基づいた判定を行うこともできる。具体的には、第１のテーブルを参照して頭部の上下動のふれ幅Ｗと自ユーザの脈拍Ｐに基づく判定を行うと共に第２の判定テーブルを参照して頭部の上下動の加速度αに基づく判定を行い、ふれ幅Ｗが２ｃｍ以上５ｃｍ以下となり、計測した脈拍Ｐが基準脈拍Ｐ０の１．２倍以上となり、加速度αが上下方向に８ｃｍ／ｓ２以下となる場合に自ユーザの頭部の動作が「うなずき」であると判定する。
【０１０１】
ステップＳ２４において、ＣＰＵ１１１は、自ユーザの集中状態であると設定する集中状態設定処理を実行する。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶されていた高集中度フラグの設定値を「０」から「１」へ変更する。このとき、記憶部１１２に記憶される自ユーザの頭部の動作に関する情報に基づいて、最後に「うなずき」を検知したときから所定期間前までの頭部の上下動の平均回数が算出され、この算出された頭部の上下動の平均回数の情報が記憶部１１２に記憶される。所定期間前とは、例えば、３０秒である。なお、集中状態設定処理を行わない場合には、記憶部１１２に記憶される高集中度フラグの設定値は「０」のままとなる。集中度判定されたユーザが複数の場合には、自ユーザの設定により、集中度判定されたユーザの中の特定のユーザの判定結果に基づいて集中状態設定処理を実行したり、集中度判定された全てのユーザの判定結果に基づいて集中状態設定処理を実行したりしてよい。例えば、集中度を判定された全てのユーザの判定結果に基づいて集中状態設定処理を実行する場合には、頭部の動作が「うなずき」である判定されたユーザ毎に当該ユーザの判定結果に基づいて集中状態設定処理を実行する。この処理が終了すると、メイン処理のステップＳ５に処理を移行する。
【０１０２】
次に、メイン処理のステップＳ５における「集中度通知処理」について、図１１を参照して詳細に説明する。
【０１０３】
［集中度通知処理］
メイン処理のステップＳ５における集中度通知処理を起動すると、まずＣＰＵ１１１は、集中度通知設定されているか否かを判定する（ステップＳ２５）。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶される集中度通知フラグを参照し、集中度通知フラグの設定値が「１」のときに集中度通知を行うと判定し、集中度通知フラグの設定値が「０」のときに集中度通知を行わないと判定する。そして、ＣＰＵ１１１は、集中度通知設定されていると判定すると（ステップＳ２５：Ｙｅｓ）、ステップＳ２６に処理を移行し、集中度通知設定されていないと判定すると（ステップＳ２５：Ｎｏ）、メイン処理のステップＳ６に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて集中度通知設定されているか否かを判定する。
【０１０４】
ステップＳ２６において、ＣＰＵ１１１は、睡眠状態設定がされているか否かを判定する。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶される低集中度フラグを参照し、低集中度フラグの設定値が「１」のとき睡眠状態設定がされていると判定し、低集中度フラグの設定値が「０」のとき睡眠状態設定されていないと判定する。ＣＰＵ１１１は、睡眠状態設定がされていると判定すると（ステップＳ２６：Ｙｅｓ）、ステップＳ２７に処理を移行し、睡眠状態設定されていないと判定すると（ステップＳ２６：Ｎｏ）、ステップＳ２８に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて睡眠状態設定されているか否かを判定する。
【０１０５】
ステップＳ２７において、ＣＰＵ１１１は、他ユーザに対して、自ユーザが睡眠状態であることを通知する睡眠状態通知処理を行う。具体的には、ＣＰＵ１１１は、通信ＩＦ１１３を制御し、通信相手の会議端末装置１００に対して、自ユーザが睡眠状態であることを示す集中度情報を送信する。すなわち、通信相手の会議端末装置１００に対して、低集中度フラグ「１」が付された集中度情報が送信される。このとき、記憶部１１２に記憶される低集中度フラグの設定値が「１」から「０」に変更される。この処理が終了すると、メイン処理のステップＳ６に処理を移行する。なお、自ユーザが複数の場合には、睡眠状態設定された全ての自ユーザそれぞれについて睡眠状態通知処理を行う。
【０１０６】
ステップＳ２８において、ＣＰＵ１１１は、集中状態設定がされているか否かを判定する。すなわち、ＣＰＵ１１１は、記憶部１１２に記憶される高集中度フラグを参照し、高集中度フラグの設定値が「１」のとき自ユーザが集中状態であると判定し、高集中度フラグの設定値が「０」のとき自ユーザが集中状態でないと判定する。そして、ＣＰＵ１１１は、自ユーザが集中状態であると判定すると（ステップＳ２８：Ｙｅｓ）、ステップＳ２９に処理を移行し、自ユーザが集中状態でないと判定すると（ステップＳ２８：Ｎｏ）、メイン処理のステップＳ６に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて集中状態設定されているか否かを判定する。
【０１０７】
ステップＳ２９において、ＣＰＵ１１１は、他ユーザに対して、自ユーザが集中状態であることを通知する。具体的には、ＣＰＵ１１１は、通信ＩＦ１１３を制御し、通信相手の会議端末装置１００に対して、自ユーザが集中状態であることを示す集中度情報と頭部の上下動の平均回数の情報とを送信する。すなわち、通信相手の会議端末装置１００に対して、高集中度フラグ「１」が付された集中度情報が送信される。このとき、記憶部１１２に記憶される高集中度フラグの設定値が「１」から「０」に変更され、記憶部１１２に記憶される頭部の上下動の平均回数の情報が消去される。この処理が終了すると、メイン処理のステップＳ６に処理を移行する。なお、自ユーザが複数の場合には、集中状態設定された全ての自ユーザそれぞれについて集中状態通知処理を行う。
【０１０８】
次に、メイン処理のステップＳ６における「刺激制御処理」について、図１２を参照して詳細に説明する。
【０１０９】
［刺激制御処理］
メイン処理のステップＳ６における刺激制御処理を起動すると、まずＣＰＵ１１１は、睡眠状態設定がされているか否かを判定する（ステップＳ３０）。すなわち、ＣＰＵ１１１は、上記したステップＳ２６の処理と同様に、記憶部１１２に記憶される低集中度フラグを参照し、低集中度フラグの設定値が「１」のとき睡眠状態設定がされていると判定し、低集中度フラグの設定値が「０」のとき睡眠状態設定されていないと判定する。そして、ＣＰＵ１１１は、睡眠状態設定がされていると判定すると（ステップＳ３０：Ｙｅｓ）、ステップＳ３１に処理を移行し、睡眠状態設定されていないと判定すると（ステップＳ３０：Ｎｏ）、メイン処理のステップＳ７に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて低集中度フラグを参照し、低集中度フラグの設定値が「１」に設定されたユーザが所定（例えば、６割）以上であるときに睡眠状態設定されていると判定する。
【０１１０】
ステップＳ３１において、ＣＰＵ１１１は、覚醒制御設定されているか否かを判定する。覚醒制御設定されているか否かは、記憶部１１２に記憶される覚醒制御フラグを参照することで判定され、覚醒制御フラグの設定値が「１」のとき覚醒制御設定されていると判定され、覚醒制御フラグの設定値が「０」のとき覚醒制御設定されていないと判定される。そして、ＣＰＵ１１１は、覚醒制御設定されていると判定すると（ステップＳ３１：Ｙｅｓ）、ステップＳ３２に処理を移行し、覚醒制御設定されていないと判定すると（ステップＳ３１：Ｎｏ）、ステップＳ３３に処理を移行する。
【０１１１】
ステップＳ３２において、ＣＰＵ１１１は、自ユーザに対して覚醒を促す覚醒制御を行う覚醒制御処理を実行する。すなわち、ＣＰＵ１１１は、表示部１５０を制御し、表示画面を明滅したり、図１６に示すような覚醒を促す画面（例えば、点滅表示）を表示する一方、ヘッドセット１２０のスピーカ１２２を制御し、スピーカ１２２の出力を大きくしたり、覚醒を促すメッセージを出力し、メイン処理のステップＳ７に処理を移行するする。これにより、睡眠状態である自ユーザを覚醒させることができ、自ユーザを会議へ復帰することができるため、円滑な通信会議を行うことができる。
【０１１２】
ステップＳ３３において、ＣＰＵ１１１は、退室制御設定されているか否か判定する。退室制御設定されているか否かは、記憶部１１２に記憶される退室制御フラグを参照することで判定され、退室制御フラグの設定値が「１」のとき退室制御設定されていると判定され、退室制御フラグの設定値が「０」のとき退室制御設定されていないと判定される。そして、ＣＰＵ１１１は、退室制御設定されていると判定すると（ステップＳ３３：Ｙｅｓ）、ステップＳ３４に処理を移行し、退室制御設定されていないと判定すると（ステップＳ３３：Ｎｏ）、メイン処理のステップＳ６に処理を移行する。
【０１１３】
ステップＳ３４において、ＣＰＵ１１１は、自ユーザを会議から退室させる退室制御処理を実行する。すなわち、ＣＰＵ１１１は、表示部１５０を制御して表示部１５０に表示されている画像等を非表示にすると共に、ヘッドセット１２０のスピーカ１２２を制御してスピーカの出力を小さくし、メイン処理のステップＳ６に処理を移行する。
【０１１４】
次に、メイン処理のステップＳ８における「集中度情報受信時処理」について、図１３を参照して詳細に説明する。なお、本実施形態に係る表示部の表示モードは、常時、発表資料または他ユーザの映像を表示する一般的なモードとは異なる、自ユーザの発言量に応じて発表資料と他ユーザの映像とを順次切り替えて表示するプレゼンテーションモードとして説明する。
【０１１５】
［集中度情報受信時処理］
メイン処理のステップＳ８における集中度情報受信時処理を起動すると、まずＣＰＵ１１１は、自ユーザによる発言が行われているか否かを判定する（ステップＳ３５）。自ユーザによる発言が行われているか否かは、ヘッドセット１２０のマイク１２１が所定以上の期間、自ユーザの音声を集音したか否かにより判定される。例えば、ヘッドセット１２０のマイク１２１が１０秒以上の期間、自ユーザの音声を集音したときに自ユーザによる発言が行われていると判定される。そして、ＣＰＵ１１１は、自ユーザによる発言が行われていると判定すると（ステップＳ３５：Ｙｅｓ）、ステップＳ３６に処理を移行し、自ユーザによる発言が行われていないと判定すると（ステップＳ３５：Ｎｏ）、ステップＳ３７に処理を移行する。
【０１１６】
ステップＳ３６において、ＣＰＵ１１１は、表示部１５０を制御し、通信相手である他ユーザの映像及び他ユーザの集中度情報に基づく画像を表示させる。すなわち、ＣＰＵ１１１は、表示部１５０のメイン表示領域を通信相手の会議端末装置１００の数に応じて分割し、これらの通信相手の会議端末装置１００の数に応じた数の分割表示領域を形成し、この分割表示領域に他ユーザの映像を表示させる。また、ＣＰＵ１１１は、表示部１５０のサブ表示領域に他ユーザの集中度情報に基づく画像を表示させる。
【０１１７】
例えば、図１に示すように、４つの会議端末装置１００ａ〜１００ｄにより通信会議を行う場合には、図６（ｂ）に示すように、会議端末装置１００ａのＣＰＵ１１１は、自装置の表示部１５０を制御し、メイン表示領域を縦横２列に４分割し、４つの分割表示領域を形成する。そして、ＣＰＵ１１１は、右下の分割表示領域に会議端末装置１００ｂのユーザの映像を表示させ、左上の分割表示領域に会議端末装置１００ｃのユーザの映像を表示させ、左下の分割表示領域に会議端末装置１００ｄのユーザの映像を表示させる。
【０１１８】
また、ＣＰＵ１１１は、サブ表示領域に他ユーザの集中度を示すアイコンを表示させる。このとき、表示部の表示画面には、受信した集中度情報が集中状態設定されたものであれば図７（ａ）の「ｃ」に示すアイコンが表示され、受信した集中度情報が睡眠状態設定されたものであれば図７（ｂ）の「ｄ」に示すアイコンが表示され、集中度情報を受信していないときには図７（ａ）の「ｂ」に示すアイコンが表示される。ユーザが複数存在する通信相手の会議端末装置の場合には、その全てのユーザそれぞれについて集中度情報が通知されることから、集中状態設定がされた集中度情報を所定数以上受信したとき、「ｃ」に示すアイコンを表示し、集中状態設定がされた睡眠状態設定を所定数以上受信したとき、「ｄ」に示すアイコンを表示し、それ以外のときに「ｂ」に示すアイコンを表示する。なお、自ユーザの設定操作により、サブ表示領域を表示しないこともできる。また、ユーザが複数存在する通信相手の会議端末装置の場合には、その全てのユーザそれぞれについて集中度情報に応じたアイコンを表示することができる。このようにすることで、通信相手の会議端末装置の全てのユーザの集中度を個別具体的に把握することができる。
【０１１９】
このように、自ユーザが発言を行っているとき、自装置の表示部１５０に通信相手である他ユーザの映像を表示するようにしたので、自ユーザは他ユーザの様子を見ながら発表等の発言を行うことができ、円滑な通信会議を行うことができる。この処理が終了すると、ステップＳ３８に処理を移行する。
【０１２０】
ステップＳ３７において、ＣＰＵ１１１は、表示部１５０を制御し、図６に示すような会議で使用する発表資料等を表示し、メイン処理のステップＳ２に処理を移行する。
【０１２１】
ステップＳ３８において、ＣＰＵ１１１は、関連表示を行うか否かを判定する。関連表示を行うか否かは、記憶部１１２に記憶していた、関連表示を行うか否かの判定用の関連表示フラグを参照することにより判定され、関連表示フラグの設定値が「１」のとき関連表示すると判定され、関連表示フラグの設定値が「０」のとき関連表示しないと判定される。なお、記憶部１１２に関連表示フラグを記憶する処理は、上記したステップＳ１６の集中度設定処理において行っておけばよい。そして、ＣＰＵ１１１は、関連表示すると判定すると（ステップＳ３８：Ｙｅｓ）、ステップＳ３９に処理を移行し、関連表示しないと判定すると（ステップＳ３８：Ｎｏ）、ステップＳ４０に処理を移行する。
【０１２２】
ステップＳ３９において、ＣＰＵ１１１は、関連表示処理を実行する。すなわち、他ユーザの映像データに基づく映像と、集中状態である旨の画像とが関連付けて表示される。具体的には、通信相手の会議端末装置１００により送信された、通信相手のユーザの頭部の上下動の平均回数の情報を参照し、この平均回数が最も多いユーザの映像に、このユーザが集中状態である旨の画像が関連付けて表示される。例えば、図１７に示すように、会議端末装置１００ｃのユーザが集中状態であり、かつ、所定期間における頭部の上下動の回数の平均値（ユーザが複数存在する通信相手の会議端末装置１００の場合、各ユーザの平均値を加算し、ユーザ数で除算した値）が最も高い場合には、会議端末装置１００ｃのユーザの映像を表示する領域（図中左上）内に、会議端末装置１００ｃのユーザが集中状態であることを示すアイコンが表示される。これにより、自ユーザは、他ユーザの映像上に表示される他ユーザの集中度情報を見ることができる。また、関連表示させる期間は、設定により任意の期間とすることができる。自ユーザが他ユーザの状態を把握しやすくするためである。
【０１２３】
また、ユーザが複数存在する通信相手の会議端末装置１００の場合には、設定により、該会議端末装置１００のユーザの中の特定のユーザの頭部の上下動の回数の平均値に基づき関連表示したり、該会議端末装置１００のユーザの全てのユーザの頭部の上下動の回数の平均値に基づいて関連表示したりしてよい。
【０１２４】
次に、ステップＳ４０において、ＣＰＵ１１１は、集中状態を示すユーザの映像を拡大表示するか否かを判定する。拡大表示を行うか否かは、記憶部１１２に記憶していた、拡大表示を行うか否かの判定用の拡大表示フラグを参照することにより判定され、拡大表示フラグの設定値が「１」のとき拡大表示すると判定され、拡大表示フラグの設定値が「０」のとき拡大表示しないと判定される。なお、記憶部１１２に拡大表示フラグを記憶する処理は、上記したステップＳ１６の集中度設定処理において行っておけばよい。そして、ＣＰＵ１１１は、拡大表示すると判定すると（ステップＳ４０：Ｙｅｓ）、ステップＳ４１に処理を移行し、拡大表示しないと判定すると（ステップＳ４０：Ｎｏ）、メイン処理のステップＳ２に処理を移行する。
【０１２５】
ステップＳ４１において、ＣＰＵ１１１は、拡大表示処理を実行する。すなわち、集中状態の中でも特に集中度が高いユーザの映像を拡大表示させる。具体的には、通信相手の会議端末装置１００により送信された、通信相手のユーザの頭部の上下動の平均値（ユーザが複数存在する通信相手の会議端末装置１００の場合、各ユーザの平均値を加算し、ユーザ数で除算した値）の情報を参照し、この平均値が最も多いユーザの映像を他の通信相手のユーザの映像よりも大きなサイズで表示させる。例えば、図１８に示すように、会議端末装置１００ｃのユーザが集中状態である場合には、会議端末装置１００ｃのユーザの映像を表示する領域が拡大され、このユーザの映像のサイズが拡大して表示される。これにより、会議端末装置１００ｃのユーザの様子を把握しやすいように表示されることで、自ユーザは集中度の高いユーザの様子を容易に把握することができる。また、関連表示させるときと同様に、拡大表示させる期間は、設定により任意の期間とすることができる。自ユーザが他ユーザの状態を把握しやすくするためである。
【０１２６】
なお、通信相手の会議端末装置１００のユーザが複数の場合には、設定により、該会議端末装置１００のユーザの中の特定のユーザの頭部の上下動の回数の平均値に基づき拡大表示したり、該会議端末装置１００のユーザの全てのユーザの頭部の上下動の回数の平均値に基づいて拡大表示したりしてよい。
【０１２７】
なお、会議端末装置１００ｃのユーザの映像を拡大表示するとき、会議端末装置１００ｃのユーザ以外の通信相手の会議端末装置１００ｃ，１００ｄのユーザの映像を縮小し、常に全通信相手のユーザの映像を表示するようにしてもよい。
【０１２８】
以上、本発明の第１の実施形態に係る会議端末装置の構成・処理について説明した。
【０１２９】
このように本実施形態の会議端末装置１００では、加速度計１２３と、集中度判定手段として機能する制御部１１６と、通信ＩＦ１１３とを備えるようにしたので、加速度計１２３により自装置を操作する自ユーザの頭部の上下方向の動き（加速度情報）を検出し、集中度判定手段である制御部１１６により加速度情報に基づいて自ユーザの集中度を判定し、この判定結果（集中度情報）を通信相手である他ユーザに対し通信ＩＦ１１３により送信することができる。
【０１３０】
また、本実施形態の会議端末装置１００では、表示制御手段として機能する制御部１１６を備えることから、通信ＩＦ１１３は通信相手である他ユーザから送信されてきた上記集中度情報を受信し、表示制御手段である制御部１１６は通信ＩＦ１１３が受信した上記集中度情報に基づいてこの集中度情報に応じた表示制御をすることができる。
【０１３１】
これにより、発言を行っている自ユーザは、通信相手である他ユーザの集中度に応じた発表等を行うことができるため、円滑な通信会議を行うことができる。
【０１３２】
特に、加速度計１２３を自ユーザの頭部に装着するようにしたので、直接的・機械的に自ユーザの頭部の上下方向の動きを検出することができるため、検出精度を高精度にすることができる。すなわち、撮像部１４０などにより自ユーザの頭部を撮像し、この撮像結果を画像解析する場合には、自ユーザの頭部が撮像範囲外になったり、自ユーザの頭部は撮像できるものの自ユーザの頭部の動きが検出できない方向からの撮像となったりして、自ユーザの頭部の動きの検出精度が悪くなる。しかし、本実施形態の会議端末装置１００では、直接的・機械的に自ユーザの頭部の上下方向の動きを検出するため、検出精度を高精度にすることができる。
【０１３３】
また、上記入力処理の覚醒制御設定処理(ステップＳ１７)において予め所定の設定を行っておくことで、ＣＰＵ１１１は、自ユーザが睡眠状態であると判定した場合、表示部１５０及びヘッドセット１２０のスピーカ１２２を制御して自ユーザに対し覚醒を促す。これにより、自ユーザの会議への参加意識が低下することが防止される。
【０１３４】
以上、第１の実施形態を例に挙げて本発明を説明したが、本発明はこの実施形態に限定されず、様々な変形が可能である。
【０１３５】
また、会議中、一時的に集中度判定処理及び集中度通知処理を行わないように制御する制御ボタンを会議端末装置に設けてもよい。この制御ボタンにより制御することで、各会議端末装置のユーザは、会議の内容とは異なることで「うなずき」等をしても、誤った集中度情報が通知されない。
【０１３６】
［第２の実施形態］
次に、本発明の第２の実施形態を図面に基づいて説明する。
［会議システム２の概要］
まず始めに、図１９を参照して、本発明の第２の実施形態に係る会議システムの概要について説明する。図１９は、本発明の第２の実施形態に係る会議システムの概略構成を示す図である。
【０１３７】
図１９に示すように、第２の実施形態に係る会議システム２は、遠隔に配置された会議端末装置間でテレビ会議等の通信会議を行うものであり、複数の会議端末装置２００ａ〜２００ｄがネットワークを介してサーバ装置３００に接続されることにより構成されている。なお、本実施形態では、会議システム２は４台の会議端末装置２００ａ〜２００ｄにより構成されているが、これに限定されるものではない。また、以下においては、会議端末装置２００ａ〜２００ｄのうち任意の会議端末装置を示すときには、「会議端末装置２００」とする。
【０１３８】
以上のように構成される会議システム２では、サーバ装置３００を介して会議端末装置２００ａ〜２００ｄ間で、映像及び音声をやりとりすることでテレビ会議の通信会議が行われる。なお、この会議システム２では、会議端末装置２００ａ〜２００ｄ間で、映像のやりとりをせず、音声をやりとりすることで音声会議の通信会議を行うこともできる。
【０１３９】
次に、第２の実施形態に係る会議システム２の主要部である会議端末装置１００およびサーバ装置３００の概要について説明する。まず図２０を参照して会議端末装置２００の概要について説明する。図２０は、第２の実施形態に係る会議端末装置２００の概略構成を示す図である。
【０１４０】
［会議端末装置の概要］
図２０に示すように、会議端末装置２００は、動作検出部、脈拍計測部、送信手段、受信手段、表示部及び撮像部を備えている。なお、動作検出部、脈拍計測部、表示部及び撮像部については、上記第１の実施形態と同様であるため説明を省略する。
【０１４１】
送信手段は、動作検出部により検出された動作情報及び脈拍計測部により計測された自ユーザの脈拍をサーバ装置３００に対して送信する。また、この送信手段は、撮像部から出力される映像データをネットワークを介してサーバ装置３００へ送信する映像データ送信手段としても機能する。
【０１４２】
受信手段は、サーバ装置３００により送信された各ユーザの集中度情報を受信する。また、この受信手段は、サーバ装置３００から送信される合成映像データを受信する合成映像データ受信手段としても機能する。
【０１４３】
次に、図２１を参照してサーバ装置３００の概要について説明する。図２１は、第２の実施形態に係るサーバ装置３００の概略構成を示す図である。
【０１４４】
［サーバ装置の概要］
図２１に示すように、サーバ装置３００は、動作情報取得手段、脈拍情報取得手段、集中度判定手段、映像合成手段、送信手段及び受信手段を備えている。なお、動作情報取得手段、脈拍情報取得手段及び集中度判定手段については、上記第１の実施形態と同様であるため説明を省略する。
【０１４５】
映像合成手段は、各会議端末装置２００の撮像部により出力された映像データを合成すると共に、この合成映像に各ユーザの集中度情報に応じた画像のデータを合成し、各会議端末装置毎の合成映像データを生成する。これにより、会議端末装置２００の表示部２５０のメイン表示領域には通信相手のユーザの映像を合成した合成映像が表示され、サブ表示領域には集中度情報に応じた画像（アイコン）が表示される。また、映像合成手段は、集中度が所定以上のユーザの会議端末装置２００から送信される映像データに応じた画像に関連付けて、このユーザが集中状態である旨を示す画像を合成することができる。さらに、映像合成手段は、集中度が所定以上のユーザの会議端末装置２００から送信される映像データに応じた画像を、このユーザの会議端末装置２００以外の各会議端末装置２００から送信される映像データに応じた画像よりも大きなサイズで表示部に表示することもできる。
【０１４６】
受信手段は、各会議端末装置２００により送信された各会議端末装置のユーザ（以下、「各ユーザ」という。）の動作情報及び各ユーザの脈拍情報を受信する。また、この受信手段は、各会議端末装置２００から送信される映像データを受信する映像データ受信手段としても機能する。
【０１４７】
送信手段は、集中度判定手段により行われた判定の結果に基づいて各ユーザの集中度情報を各会議端末装置に対して送信する。また、この送信手段は、合成映像生成手段により生成される合成映像データをネットワークを介して各会議端末装置２００へ送信する合成映像データ送信手段としても機能する。
【０１４８】
上記した会議システム２の会議端末装置２００及びサーバ装置３００によれば、各会議端末装置２００の動作検出部が検出した各ユーザの動作情報に基づいてサーバ装置３００の集中度判定手段が各ユーザの集中度を判定し、サーバ装置３００の送信手段が各ユーザの集中度情報を各ユーザに対して送信する一方、各会議端末装置２００の受信手段が各ユーザの集中度情報を受信し、各会議端末装置２００の表示制御手段が受信した各ユーザの集中度情報に基づいて表示制御するようにしたので、各ユーザはそれぞれ通信相手の会議端末装置のユーザの会議への集中度を把握することができる。
【０１４９】
特に、動作検出部を各ユーザの頭部に装着するようにしたので、高精度に各ユーザの頭部の動作を検出することができ、信頼性の高い集中度の判定を行うことができる。
［会議端末装置の具体的な構成］
次に、第２の実施形態に係る会議端末装置２００について、具体的な一例を示して詳細に説明する。図２２は、第２の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。なお、会議端末装置２００は、図１９における各拠点に配置された会議端末装置２００と同等のものであり、適宜、会議端末装置２００ａ〜２００ｄとして区別し、その場合には、会議端末装置２００ａを発言者側の会議端末装置、会議端末装置２００ｂ〜２００ｄを視聴者側の会議端末装置とする。
【０１５０】
図２２に示すように、会議端末装置２００は、装置本体部２１０、ヘッドセット２２０、脈拍計２３０、撮像部２４０及び表示部２５０により構成されている。なお、第１の実施形態の会議端末装置１００との相違点は、記憶部２１２に記憶されるプログラムの種類である。また、ヘッドセット２２０、脈拍計２３０、撮像部２４０及び表示部２５０については、上記第１の実施形態に係るヘッドセット１２０、脈拍計１３０、撮像部１４０及び表示部１５０と同様であるため説明を省略する。
【０１５１】
［装置本体部２１０の構成］
装置本体部２１０は、汎用コンピュータを適用可能であり、ＣＰＵ２１１、記憶部２１２、通信ＩＦ２１３、操作部２１４及び図示しない画像データ入力部を備えるコンピュータ装置である。これらの各種構成要素はシステムバス２１５によって接続されている。なお、操作部２１４については、上記第１の実施形態に係る操作部１１４と同様であるため説明を省略する。
【０１５２】
記憶部２１２は、端末装置制御プログラムを記憶している。また、記憶部２１２には、会議中における自ユーザ頭部の動作に関する情報を記憶する記憶領域（図示せず）が設けられている。ＣＰＵ２１１は、記憶部２１２に記憶された端末装置制御プログラムに従い、会議端末装置１００のコンピュータとしての基本的な制御を行う。これにより、制御部２１６は、刺激制御手段、発言判定手段として機能することになる。
【０１５３】
なお、端末装置制御プログラムは、例えば、インターネットに接続されたサーバ等から記憶部２１２にダウンロードされるようにしてもよく、又ＣＤ−ＲＯＭ等の記録媒体に記録されてから当該記録媒体のドライブを介して、記憶部２１２に読み込まれるようにしてもよい。
【０１５４】
通信ＩＦ２１３は、上記した通信ＩＦ１１３と同様のものである。この通信ＩＦ２１３は、サーバ装置３００に対して、自ユーザに関する通信データとして、自ユーザを撮像した映像データ、自ユーザの音声を集音した音声データ、自ユーザの動作情報及び自ユーザの脈拍等を送信する。また、通信ＩＦ２１３は、サーバ装置３００により送信された各ユーザに関する通信データとして、通信相手となるユーザの撮像を合成した合成映像データ、通信相手となるユーザの音声を集音した音声データ及び各ユーザの集中度情報等を受信する。なお、通信ＩＦ１１３は、制御部１１６と共に送信手段及び受信手段として機能する。
【０１５５】
以上が第２の実施形態に係る会議端末装置２００の具体的な構成の説明となる。続いて、第２の実施形態に係るサーバ装置３００の具体的な構成について説明する。
【０１５６】
［サーバ装置３００の具体的な構成］
次に、第２の実施形態に係るサーバ装置３００について、具体的な一例を示して詳細に説明する。図２３は、第２の実施形態に係るサーバ装置の具体的な構成を示すブロック図である。
【０１５７】
図２３に示すように、サーバ装置３００は、汎用コンピュータを適用可能であり、ＣＰＵ３１１、記憶部３１２、通信ＩＦ３１３、操作部３１４及び図示しない画像データ入力部を備えるコンピュータ装置である。これらの各種構成要素はシステムバス３１５によって接続されている。なお、操作部３１４については、上記操作部１１４と同様であるため説明を省略する。
【０１５８】
記憶部３１２は、サーバ装置制御プログラム、ユーザデータとしてユーザ名やユーザの基準脈拍等、及び会議に関する各種フラグ等の設定データを記憶し、更に第１及び第２の判定テーブルを記憶するための判定テーブル記憶領域（図示せず）が設けられている。
【０１５９】
ＣＰＵ３１１は、記憶部３１２に記憶されたサーバ装置プログラムに従い、サーバ装置３００のコンピュータとしての基本的な制御を行う。これにより、制御部３１６は、各ユーザの集中度を判定する集中度判定手段、会議端末装置２００の加速度計２２３から動作情報を取得する動作情報取得手段、会議端末装置２００の脈拍計２３０から脈拍情報を取得する脈拍情報取得手段及び各ユーザの映像データを合成し合成映像を生成する映像合成手段として機能することになる。
【０１６０】
なお、サーバ装置プログラムは、例えば、インターネットに接続されたサーバ等から記憶部１１２にダウンロードされるようにしてもよく、又ＣＤ−ＲＯＭ等の記録媒体に記録されてから当該記録媒体のドライブを介して、記憶部１１２に読み込まれるようにしてもよい。
【０１６１】
通信ＩＦ３１３は、上記した通信ＩＦ１１３と同様のものである。この通信ＩＦ３１３は、各会議端末装置２００により送信された各ユーザに関する通信データとして、各ユーザを撮像した映像データ、各ユーザの音声を集音した音声データ、各ユーザの動作情報及び脈拍情報等を受信する。また、通信ＩＦ３１３は、各会議端末装置２００に対して、各ユーザに関する通信データとして、各ユーザを撮像した映像を合成した合成映像データ、各ユーザの音声を集音した音声データ及び各ユーザの集中度情報等を送信する。なお、通信ＩＦ３１３は、制御部３１６と共に送信手段及び受信手段として機能する。
【０１６２】
以上が本発明の第２の実施形態に係る会議端末装置２００及びサーバ装置３００の構成の説明となる。
【０１６３】
[制御処理]
次に、本発明の第２の実施形態に係る会議端末装置２００のＣＰＵ２１１及びのサーバ装置３００のＣＰＵ３１１の制御処理について、図２４，２５を参照して説明する。
【０１６４】
[会議端末装置２００のメイン処理]
まず、会議端末装置２００のＣＰＵ２１１のメイン処理について説明する。会議端末装置２００では、電源がオンされてからオフされるまでの間、図２４に示すメイン処理を実行する。
【０１６５】
まず会議端末装置２００のＣＰＵ２１１（以下、「ＣＰＵ２１１」という。）は、サーバ装置３００に対して接続要求を行う（ステップＳ４２）。すなわち、ＣＰＵ２１１は、通信ＩＦ２１３を制御し、サーバ装置３００に対して、会議端末装置２００とサーバ装置３００との接続を要求する要求信号を送信する。
【０１６６】
ステップＳ４３において、ＣＰＵ２１１は、サーバ装置３００からの応答信号を受信したか否かを判定しながら待機し、応答信号を受信したと判定すると（ステップＳ４３：Ｙｅｓ）、ステップＳ４４に処理を移行する。
【０１６７】
次に、ＣＰＵ２１１は、会議端末装置２００とサーバ装置３００との接続処理を行ったのち（ステップＳ４４）、ユーザデータ登録や会議設定等の入力処理を実行する（ステップＳ４５）。なお、この入力処理は第１の実施形態における図９の説明と同様であるため説明を省略する。
【０１６８】
次に、ＣＰＵ２１１は、入力情報送信処理を行う（ステップＳ４６）。すなわち、ＣＰＵ２１１は、通信ＩＦ２１３を制御し、サーバ装置３００に対して、入力情報としてステップＳ４５の入力処理において設定されたユーザデータや会議に関する設定データを送信する。
【０１６９】
次に、ＣＰＵ２１１は、サーバ装置３００からの会議に関する設定の完了を通知する通知信号を受信したか否かを判定しながら待機し（ステップＳ４７）、設定完了通知を受けたと判定すると（ステップＳ４７：Ｙｅｓ）、会議が開始可能な状態になったと判定し、ステップＳ４８に処理を移行する。
【０１７０】
次に、ＣＰＵ２１１は、会議中の処理を実行する（ステップＳ４８）。すなわち、ＣＰＵ２１１は、撮像部２４０を制御して自ユーザを撮影し、ヘッドセット２２０のマイク２２１を制御して自ユーザの音声を集音し、ヘッドセット１２０の加速度計１２３を制御して自ユーザの頭部の上下動の加速度（動作情報）を検出し、さらに、脈拍計１３０を制御して自ユーザの脈拍を計測する。このとき、ＣＰＵ１１１は、検出した動作情報に基づいて、自ユーザの頭部の上下方向のふれ幅や頭部の上下動の回数等を算出し、これらを自ユーザ頭部の動作に関する情報として記憶部２１２に記憶する。
【０１７１】
次に、ＣＰＵ２１１は、通信ＩＦ２１３を制御し、サーバ装置３００の通信ＩＦ３１３に対して、自ユーザを撮影した映像データ、自ユーザの音声を集音した音声データ、自ユーザの頭部の動作に関する情報及び自ユーザの計測した脈拍の情報を送信する（ステップＳ４９）。
【０１７２】
次に、ＣＰＵ２１１は、サーバ装置３００の通信ＩＦ３１３により送信された、各ユーザの集中度情報及び各ユーザの映像データを合成した合成映像データを受信したか否かを判定しながら待機する（ステップＳ５０）。そして、ＣＰＵ２１１は、合成映像データや各ユーザの集中度情報等を受信したと判定すると（ステップＳ５０：Ｙｅｓ）、刺激制御処理を実行する（ステップＳ５１）。
【０１７３】
次に、ＣＰＵ２１１は、ステップＳ５２において受信した各ユーザの集中度情報の中の自ユーザの集中度情報に基づいて、自ユーザに対して覚醒を促す覚醒制御や自ユーザを会議から退室させる退室制御を行う刺激制御処理を実行する（ステップＳ５１）。なお、この刺激制御処理は第１の実施形態での図１２の説明と同様であるため説明を省略する。
【０１７４】
次に、ＣＰＵ２１１は、会議を終了するか否かを判定し（ステップＳ５２）、会議を終了すると判定すると（ステップＳ５２：Ｙｅｓ）、ステップＳ５３に処理を移行する一方、会議を終了すると判定すると（ステップＳ５２：Ｎｏ）、ステップＳ４７に処理を戻す。
【０１７５】
ステップＳ５３において、ＣＰＵ２１１は、通信ＩＦ２１３を制御し、サーバ装置３００に対して、会議を終了して会議端末装置２００とサーバ装置３００との通信を切断することを要求する信号（以下、「会議終了通知信号」という。）を送信し、会議終了通知を行い、会議端末装置２００とサーバ装置３００との通信を切断する（ステップＳ５４）。
【０１７６】
[サーバ装置３００のメイン処理]
次に、サーバ装置３００のＣＰＵ３１１のメイン処理について説明する。サーバ装置３００では、電源がオンされてからオフされるまでの間、図２５に示すメイン処理を実行する。
【０１７７】
まず、サーバ装置３００のＣＰＵ３１１（以下、「ＣＰＵ３１１」という。）は、会議端末装置２００からの接続要求があるか否かを判定しながら待機し（ステップＳ５５）、会議端末装置２００からの接続要求があると判定すると（ステップＳ５５：Ｙｅｓ）、ステップＳ５６に処理を移行する。
【０１７８】
次に、ＣＰＵ３１１は、通信ＩＦ３１３を制御し、会議端末装置２００に対して、会議端末装置２００からの要求信号に対する応答信号を送信したのち（ステップＳ５６）、サーバ装置３００と会議端末装置２００との接続を行う（ステップＳ５７）。
【０１７９】
次に、ＣＰＵ３１１は、会議端末装置２００からの設定データ等を受信したか否か判定しながら待機し（ステップＳ５８）、受信したと判定すると（ステップＳ５８：Ｙｅｓ）、ステップＳ５９に処理を移行する。
【０１８０】
次に、ＣＰＵ３１１は、会議端末装置２００により送信された設定データを、会議に使用するデータとして設定して記憶部３１２に記憶し（ステップＳ５９）、ステップＳ６０に処理を移行する。
【０１８１】
ステップＳ６０において、ＣＰＵ３１１は、通信ＩＦ３１３を制御し、会議端末装置２００に対して、会議に関する設定の完了を通知する通知信号を送信し、ステップＳ６１に処理を移行する。
【０１８２】
次に、ＣＰＵ３１１は、会議端末装置２００からの上記映像データ、音声データ、動作情報及び脈拍情報を受信したか否かを判定しながら待機し（ステップＳ６１）、受信したと判定すると（ステップＳ６１：Ｙｅｓ）、ステップＳ６２に処理を移行する。
【０１８３】
ステップＳ６２において、ＣＰＵ３１１は、ステップＳ６１で受信した各会議端末装置２００のユーザである各ユーザの動作情報や脈拍情報に基づいて、各ユーザの会議への集中度を判定する集中度判定処理を実行し、ステップＳ６２に処理を移行する。なお、この集中度判定処理は第１の実施形態での図１０の説明と同様であるため説明を省略する。
【０１８４】
次に、ＣＰＵ３１１は、各会議端末装置２００により送信された各会議端末装置のユーザの映像を合成することで、送信する会議端末装置毎の合成映像を生成し、さらに、各ユーザの集中度情報に基づく画像をこの合成映像に付加するように合成する（ステップＳ６３）。
【０１８５】
例えば、図２０に示すように、４つの会議端末装置２００ａ〜２００ｄをサーバ装置３００に接続して通信会議を行い、サーバ装置３００がその中の会議端末装置２００ａに対して合成映像データを送信する場合、ＣＰＵ３１１は、図６（ｂ）に示すように、メイン表示領域を４つに分割し、縦横２列に並べた４つの分割表示領域を形成する。そして、ＣＰＵ３１１は、会議端末装置２００ｂのユーザの映像を右下の分割表示領域に表示し、会議端末装置２００ｃのユーザの映像を左上の分割表示領域に表示し、会議端末装置２００ｄのユーザの映像を左下の分割表示領域に表示するように各会議端末装置２００ｂ〜２００ｄのユーザの映像を合成する。さらに、ＣＰＵ３１１は、図７（ａ）に示すように、サブ表示領域に各ユーザの集中度を示すアイコンを付加して表示するように映像を合成する。
【０１８６】
また、ＣＰＵ３１１は、各ユーザの操作により、集中度情報に基づく画像と映像データに基づく画像とを関連付けて映像を合成させたり、集中状態であることを示すユーザの映像を拡大して表示する映像を合成させたりする。例えば、図１７に示すように集中状態のユーザの集中度を示すアイコンをこのユーザの映像に関連付けて表示させたり、図１８に示すように集中状態のユーザの映像のサイズをその他のユーザの映像のサイズよりも大きくして表示させたりする。
【０１８７】
次に、ＣＰＵ３１１は、合成映像送信処理を実行する（ステップＳ６４）。すなわち、ＣＰＵ３１１は、ステップＳ６３で生成された合成映像データと各ユーザの集中度情報とを各会議端末装置２００に対して送信する。例えば図２０に示すように、４台の会議端末装置２００とサーバ装置３００とにより通信会議を行う場合、ＣＰＵ３１１は、会議端末装置２００ａに対して、会議端末装置２００ｂ〜２００ｄのユーザの映像を合成した合成映像データと、各会議端末装置２００ａ〜２００ｄのユーザの集中度情報を送信する。
【０１８８】
次に、ＣＰＵ３１１は、会議端末装置２００からの会議終了通知信号を受信したか否かを判定しながら待機し（ステップＳ６５）、会議終了通知信号を受信したと判定すると（ステップＳ６５：Ｙｅｓ）、サーバ装置３００と会議端末装置２００との通信を切断し（ステップＳ６６）、会議を終了する。
【０１８９】
以上、本発明の第２の実施形態に係る会議端末装置及びサーバ装置の構成・処理について説明した。このように本実施形態の会議端末装置２００及びサーバ装置３００では、各会議端末装置２００のヘッドセット２２０に加速度計２２３及び脈拍計２３０を備えるようにしたので、各会議端末装置毎に当該会議端末装置のユーザの動作情報及び脈拍情報が取得される。
【０１９０】
また、会議端末装置２００に通信ＩＦ２１３を備えると共に、サーバ装置３００に通信ＩＦ３１３を備えるようにしたので、動作情報や脈拍情報、及び集中度情報が会議端末装置２００とサーバ装置３００との間で送受信される。
【０１９１】
さらに、サーバ装置３００に、集中度制御手段（ＣＰＵ３１１）を備えるようにしたので、各会議端末装置のユーザである各ユーザの集中度が判定される。
【０１９２】
また、会議端末装置２００に、表示制御手段（ＣＰＵ２１１）を備えるようにしたので、判定された集中度情報に基づく表示制御がされる。
【０１９３】
このように、本実施形態の会議システム２によれば、各会議端末装置２００のヘッドセット１２０の加速度計１２３検出した各会議端末装置のユーザの頭部の上下動の加速度と、脈拍計１３０が計測した各会議端末装置のユーザの脈拍に基づいて、サーバ装置３００の集中度判定手段（ＣＰＵ３１１）が各会議端末装置のユーザの集中度を判定し、各会議端末装置２００の表示部２５０が集中度判定手段により判定された各装置のユーザである各ユーザの集中度に応じた表示制御をするようにしたので、各ユーザは、他の装置のユーザである他ユーザの会議への集中度を把握することができ、会議内で発表を行う場合には、他ユーザの集中度に応じた発表の進行が可能となり、円滑な通信会議を行うことができる。
【０１９４】
特に、加速度計２２３を自ユーザの頭部に装着するようにしたので、直接的・機械的に自ユーザの頭部の上下方向の動きを検出することができるため、検出精度を高精度にすることができる。
【０１９５】
以上、第１及び第２の実施形態を挙げて本発明を説明したが、本発明はこの実施形態に限定されず、様々な変形が可能である。
【０１９６】
例えば、集中度判定手段や表示制御手段等の各手段は、サーバ装置や１つの会議端末装置に配置される必要はなく、システム全体の何れかに配置されていればよい。
【０１９７】
また、ユーザが複数存在する会議端末装置の場合には、各ユーザそれぞれの集中度情報を通信相手の会議端末装置へ通知するようにしたが、集中状態設定がされたユーザの数が所定数以上のときに集中状態通知処理を行い、睡眠状態設定がされたユーザの数が所定数以上のときに睡眠状態通知処理を行うようにしてもよい。
【図面の簡単な説明】
【０１９８】
【図１】本発明の第１の実施形態に係る会議システムの概略構成を示す図である。
【図２】本発明の第１の実施形態に係る会議端末装置の概略構成を示す図である。
【図３】本発明の第１の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。
【図４】本発明の第１の実施形態に係るヘッドセットの概略構成例を示す図である。
【図５】自ユーザの頭部の上下方向の動作を示す図である。
【図６】本発明の第１の実施形態に係る表示部のメイン表示領域を示す図である。
【図７】本発明の第１の実施形態に係る表示部のサブ領域を示す図である。
【図８】本発明の第１の実施形態に係る会議端末装置におけるメイン処理の一例を示すフローチャートである。
【図９】本発明の第１の実施形態に係る会議端末装置における入力処理の一例を示すフローチャートである。
【図１０】本発明の第１の実施形態に係る会議端末装置における集中度判定処理の一例を示すフローチャートである。
【図１１】本発明の第１の実施形態に係る会議端末装置における集中度通知処理一例を示す図である。
【図１２】本発明の第１の実施形態に係る会議端末装置における刺激制御処理の一例を示すフローチャートである。
【図１３】本発明の第１の実施形態に係る会議端末装置における情報受信時処理の一例を示すフローチャートである。
【図１４】本発明の第１の実施形態に係る第１の判定テーブルの一例を示す図である。
【図１５】本発明の第１の実施形態に係る第２の判定テーブルの一例を示す図である。
【図１６】覚醒制御した表示部の表示画面の一例を示す図である。
【図１７】集中度情報を各ユーザの映像に関連付けて表示した表示画面の一例を示す図である。
【図１８】集中度が高いユーザの映像を拡大表示した表示画面の一例を示す図である。
【図１９】本発明の第２の実施形態に係る会議システムの概略構成を示す図である。
【図２０】本発明の第２の実施形態に係る会議端末装置の概略構成を示す図である。
【図２１】本発明の第２の実施形態に係るサーバ装置の概略構成を示す図である。
【図２２】本発明の第２の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。
【図２３】本発明の第２の実施形態に係るサーバ装置の具体的な構成を示すブロック図である。
【図２４】本発明の第２の実施形態に係る会議端末装置におけるメイン処理の一例を示すフローチャートである。
【図２５】本発明の第２の実施形態に係るサーバ装置におけるメイン処理の一例を示すフローチャートである。
【符号の説明】
【０１９９】
１，２  会議システム
１００，２００  会議端末装置
１１０，２１０  装置本体部
１１１，２１１，３１１  ＣＰＵ
１１２，２１２，３１２  記憶部
１１３，２１３，３１３  通信ＩＦ
１１４，２１４  操作部
１１５，２１５，３１５  システムバス
１１６，２１６，３１６  制御部
１１７，２１７  集中度通知有無入力部
１１８，２１８  刺激制御設定部
１２０，２２０  ヘッドセット
１２１，２２１  マイク
１２２，２２２  スピーカ
１２３，２２３  加速度計
１３０，２３０  脈拍計
１４０，２４０  撮像部
１５０，２５０  表示部
３００  サーバ装置
【図１】
2010141843.tif 000003
【図２】
2010141843.tif 000004
【図３】
2010141843.tif 000005
【図４】
2010141843.tif 000006
【図５】
2010141843.tif 000007
【図６】
2010141843.tif 000008
【図７】
2010141843.tif 000009
【図８】
2010141843.tif 000010
【図９】
2010141843.tif 000011
【図１０】
2010141843.tif 000012
【図１１】
2010141843.tif 000013
【図１２】
2010141843.tif 000014
【図１３】
2010141843.tif 000015
【図１４】
2010141843.tif 000016
【図１５】
2010141843.tif 000017
【図１６】
2010141843.tif 000018
【図１７】
2010141843.tif 000019
【図１８】
2010141843.tif 000020
【図１９】
2010141843.tif 000021
【図２０】
2010141843.tif 000022
【図２１】
2010141843.tif 000023
【図２２】
2010141843.tif 000024
【図２３】
2010141843.tif 000025
【図２４】
2010141843.tif 000026
【図２５】
2010141843.tif 000027