(57)【特許請求の範囲】
【請求項１】
利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、
会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、
遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するシステムであって、
前記制御手段が、
前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、
前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、
前記会議端末から取得した画像の画像状態に応じて次回の参加者認証処理を行なう時間間隔を決定し、前記時間間隔で前記参加者認証処理を繰り返すとともに、前記参加者認証処理によって特定された参加者の画像を追跡し、前記参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、アラームの出力処理を実行する継続監視手段
を備えたことを特徴とする遠隔会議管理システム。
【請求項２】
前記会議運営情報記憶手段には、会議開催条件として参加者の必要数が記録されており、
前記開始管理手段及び継続監視手段が、参加状況として参加者人数を特定し、この参加者人数と、前記会議運営情報記憶手段に記録された必要数とを照合することを特徴とする請求項１に記載の遠隔会議管理システム。
【請求項３】
前記会議運営情報記憶手段には、会議開催条件として必須参加者の利用者識別子が記録されており、
前記開始管理手段及び継続監視手段が、前記参加者の利用者識別子を参加状況として特
定し、この利用者識別子の中に、前記会議運営情報記憶手段に記録された必須参加者の利用者識別子が含まれるかどうかを照合することを特徴とする請求項１又は２に記載の遠隔会議管理システム。
【請求項４】
利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、
会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、
遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理する方法であって、
前記制御手段が、
前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理段階、
前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理段階、
前記会議端末から取得した画像の画像状態に応じて次回の参加者認証処理を行なう時間間隔を決定し、前記時間間隔で前記参加者認証処理を繰り返すとともに、前記参加者認証処理によって特定された参加者の画像を追跡し、前記参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、アラームの出力処理を実行する継続監視段階
を実行することを特徴とする遠隔会議管理方法。
【請求項５】
利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、
会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、
遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するプログラムであって、
前記制御手段を、
前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、
前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、
前記会議端末から取得した画像の画像状態に応じて次回の参加者認証処理を行なう時間間隔を決定し、前記時間間隔で前記参加者認証処理を繰り返すとともに、前記参加者認証処理によって特定された参加者の画像を追跡し、前記参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、アラームの出力処理を実行する継続監視手段
として機能させることを特徴とする遠隔会議管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地に設置された会議端末同士を、ネットワークを介して接続し、映像や音声を用いて会議を行なうための遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラムに関する。
【背景技術】
【０００２】
今日、企業において異なる事業所間をネットワークで接続して対話を行なうことができるようにした遠隔会議管理システムが利用されている。しかし、このような遠隔会議管理システムでは、会議参加者が本人であることを認証することや、会議参加者が実際に会議に参加していることを証明することが困難であった。
【０００３】
そこで、会議の信頼性を向上させるための会議システムが検討されている（例えば、特許文献１、２を参照。）。この文献１に記載の会議システムは、認証手段が、会議開催端末から送信された主催者からの生体情報と、識別子情報と、暗証番号との整合性を、利用者データ記憶部に記憶されている認証データを元に確認することで主催者の認証を行なう。また、議事録作成手段が、会議内容記憶部に記録された内容より議事録を作成し、署名受付手段が、送られてきた署名を受け付けて議事録と共に会議内容記憶部に記録する。
【０００４】
また、この文献２に記載の会議システムにおいても、正しい主催者であることを参加者端末に示すために用いる認証用情報を主催者端末側で生成し、認証用情報を参加者端末に提供して会議参加の依頼を行なう。そして、主催者端末からの会議参加依頼を待機し、主催者端末からの会議参加依頼に対し、提供された認証用情報を元に、操作者が会議接続の可否を判断し、会議参加のための接続処理を行なう。
【特許文献１】特開２００２−２７１４９８号公報（第１頁）
【特許文献２】特開２００３−１６７８５６号公報（第１頁）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような遠隔会議管理システムは、より厳格性が求められる場面においても利用される可能性がある。例えば、会社法では、取締役会議事録の記載事項において、「取締役会が開催された日時及び場所（当該場所に存しない取締役、執行役、会計参与、監査役、会計監査人又は株主が取締役会に出席をした場合における当該出席の方法を含む。」（施行規則１０１条３項１号）が含まれており、テレビ会議方式によって取締役会が実施されることが想定されている。このような会議では、会議開催条件が厳格に求められるが、遠隔地間での会議においては、物理的な出席により達成される様々な知覚に匹敵する確証を出席者全員が確実に取得していると認識することが困難である。具体的には、参加者一人一人について、以下の条件が求められる。
【０００６】
・  各出席者の存在が相互に他の出席者に認められており、その確証を得ることができること。
・  各出席者の発言が相互に他の出席者に正確かつ完全に聞きとられており、その確証を得ることができること。
【０００７】
特許文献１、２においては、認証処理を行なうことにより、遠隔会議管理システムの信頼性の向上を図っているが、認証や署名行為は、会議の中で特定の時点での行為であり、認証の継続性という視点は考慮されていない。すなわち、このような会議においては、上述の条件が会議の継続中、一貫して持続しているという確証を出席者全員が取得している
という認識を得ることが必要である。しかしながら、特許文献１、２においては、会議継続中の条件を満足されている状態が維持されていることの証明ができない。
【０００８】
本発明は、上述の問題に鑑みてなされたものであり、この目的は、遠隔地に設置された会議端末同士を、ネットワークを介して接続し、映像や音声を用いて確実に会議を行なうための遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記問題点を解決するために、請求項１に記載の発明は、利用者識別子毎に、本人認証
を行なうための特徴量に関するデータを記録した認証情報記憶手段と、会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するシステムであって、前記制御手段が、前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、前記会議端末から取得した画像の画像状態に応じて次回の参加者認証処理を行なう時間間隔を決定し、前記時間間隔で前記参加者認証処理を繰り返すとともに、前記参加者認証処理によって特定された参加者の画像を追跡し、前記参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、アラームの出力処理を実行する継続監視手段を備えたことを要旨とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の遠隔会議管理システムにおいて、前記会議運営情報記憶手段には、会議開催条件として参加者の必要数が記録されており、前記開始管理手段及び継続監視手段が、参加状況として参加者人数を特定し、この参加者人数と、前記会議運営情報記憶手段に記録された必要数とを照合することを要旨とする。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の遠隔会議管理システムにおいて、前記会議運営情報記憶手段には、会議開催条件として必須参加者の利用者識別子が記録されており、前記開始管理手段及び継続監視手段が、前記参加者の利用者識別子を参加状況として特定し、この利用者識別子の中に、前記会議運営情報記憶手段に記録された必須参加者の利用者識別子が含まれるかどうかを照合することを要旨とする。
【００１４】
請求項４に記載の発明は、利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、会議識別子毎に、参加予定者の利用者識別子及び会議開催条件に関するデータを記録した会議運営情報記憶手段と、遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理する方法であって、前記制御手段が、前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理段階、前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理段階、前記会議端末から取得した画像の画像状態に応じて次回の参加者認証処理を行なう時間間隔を決定し、前記時間間隔で前記参加者認証処理を繰り返すとともに、前記参加者認証処理によって特定された参加者の画像を追跡し、前記参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、アラームの出力処理を実行する継続監視段階を実行することを要旨とする。
【００１５】
請求項５に記載の発明は、利用者識別子毎に、本人認証を行なうための特徴量に関するデータを記録した認証情報記憶手段と、会議識別子毎に、参加予定者の利用者識別子及び
会議開催条件に関するデータを記録した会議運営情報記憶手段と、遠隔地の会議端末に接続された制御手段とを用いて、遠隔会議を管理するプログラムであって、前記制御手段を、前記会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、前記特徴量と、前記会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する認証処理手段、前記特定した参加者の参加状況と前記会議運営情報記憶手段に記録された会議開催条件とを照合し、前記参加状況が会議開催条件を満たした場合には、会議開始許可を出力する開始管理手段、前記会議端末から取得した画像の画像状態に応じて次回の参加者認証処理を行なう時間間隔を決定し、前記時間間隔で前記参加者認証処理を繰り返すとともに、前記参加者認証処理によって特定された参加者の画像を追跡し、前記参加者の画像を追跡できなくなった場合、この時点の参加状況と前記会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、アラームの出力処理を実行する継続監視手段として機能させることを要旨とする。
【００１６】
（作用）
請求項１、４又は５に記載の発明によれば、制御手段が、会議端末から参加者の画像を取得し、この画像中の人物の特徴量を算出し、特徴量と、会議運営情報記憶手段に記録された参加予定者の特徴量とを比較して、参加者を特定する参加者認証処理を実行する。そして、参加者の参加状況と会議運営情報記憶手段に記録された会議開催条件とを照合し、参加状況が会議開催条件を満たした場合には、会議開始許可を出力する。会議端末から取得した画像において参加者を監視し、参加者認証処理によって特定された参加者の画像を追跡できなくなった場合、この時点の参加状況と会議開催条件とを照合し、会議開催条件を満たさなくなった場合には、会議中断指示を出力する。これにより、画像を用いて、参加者状況を継続的に把握し、厳格に会議を実施することができる。
【００１７】
請求項２に記載の発明によれば、制御手段が、参加状況として参加者人数を特定し、この参加者人数と、会議運営情報記憶手段に記録された必要数とを照合する。これにより、会議を開催する場合に必要な参加者人数を継続的に維持しながら、厳格に会議を実施することができる。
【００１８】
請求項３に記載の発明によれば、制御手段は、参加者の利用者識別子を参加状況として特定し、この利用者識別子の中に、会議運営情報記憶手段に記録された必須参加者の利用者識別子が含まれるかどうかを照合する。これにより、会議を開催する場合に必要な人物の参加状態を継続的に維持しながら、厳格に会議を実施することができる。
【００１９】
本発明によれば、制御手段が、画像状態に応じて再度認証を行なう時間間隔を決定する。そして、時間間隔に応じて、参加者認証処理を繰り返す。これにより、システム処理負担を軽減しながら、厳格に会議を実施することができる。
【００２０】
本発明によれば、制御手段が、参加者認証処理の結果に基づいて、会議端末から取得した画像において参加者認証処理によって特定された参加者の画像を追跡する。これにより、認証処理の負荷を軽減しながら、会議開催に必要な条件を維持することができる。
【発明の効果】
【００２１】
本発明によれば、遠隔地に設置された会議端末同士を、ネットワークを介して接続し、映像や音声を用いて確実に会議を行なうことができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を具体化した遠隔会議管理システムの一実施形態を、図１〜図８に従って説明する。本実施形態では、図１に示すように、遠隔地の会議室に設置された複数のＴＶ会議端末（１０Ａ，１０Ｂ）を用いて、遠隔地の参加者により会議を行なう場合に用いる遠隔会議管理システム、遠隔会議管理方法及び遠隔会議管理プログラムとして説明する。各ＴＶ会議端末（１０Ａ，１０Ｂ）は、ネットワークを介して会議管理サーバ２０に相互に接続される。このようなＴＶ会議端末（１０Ａ，１０Ｂ）や会議管理サーバ２０には、それぞれ通信先を特定するためのアドレス（例えばＩＰアドレス）が付与されており、このアドレスを用いて、他のＴＶ会議端末や会議管理サーバ２０と通信を行なう。
【００２３】
各ＴＶ会議端末（１０Ａ，１０Ｂ）は、各利用者が遠隔会議を行なうためのコンピュータ端末である。具体的には、ＴＶ会議端末（１０Ａ，１０Ｂ）は、ＣＰＵ、ＲＡＭ、ＲＯＭから構成された制御手段としての制御部１１、操作部１２、入力手段としての入力部１３、出力手段としての出力部１４を備える。
【００２４】
操作部１２は、利用者の各種操作を受け付ける処理を実行する。この操作部１２は、キーボードやポインティングデバイスから構成される。
入力部１３は、自端末側の音声データや画像データを取得する処理を実行する。具体的には、マイクや撮像カメラから構成される。
【００２５】
出力部１４は、相手側の音声データや画像データを出力する処理を実行する。具体的には、スピーカやディスプレイから構成される。
制御部１１は、後述するように、入力部１３を介して取得した音声データや画像データを会議管理サーバ２０や他のＴＶ会議端末（１０Ａ，１０Ｂ）に送信する処理を実行する。更に、他のＴＶ会議端末（１０Ａ，１０Ｂ）から受信した音声データや画像データを、出力部１４を介して出力する処理を実行する。
【００２６】
また、各ＴＶ会議端末（１０Ａ，１０Ｂ）は、一方のＴＶ会議端末（例えば、ＴＶ会議端末１０Ａ）が送信した音声データや画像データが、相手側のＴＶ会議端末（例えば、ＴＶ会議端末１０Ｂ）に確実に出力されているかどうかを確認する動作確認処理を実行する。ＴＶ会議端末（１０Ａ，１０Ｂ）の制御部１１は、動作確認プログラムが実行されることにより、相手端末に対してのデータ送信段階、相手端末からのデータ受信段階、エコー抽出段階、アラーム出力段階等の各処理を実行する。このため、各ＴＶ会議端末（１０Ａ，１０Ｂ）は、図３に示すように、音声・画像データ記憶部１５を備える。そして、各ＴＶ会議端末（１０Ａ，１０Ｂ）の制御部１１は、音声・画像取得手段１１ａ、記録手段１１ｂ、音声・画像転送手段１１ｃ、音声・画像取得手段１１ｄ、エコー抽出手段１１ｅ、アラーム出力手段１１ｆ、エコー消去手段１１ｇ、記録手段１１ｈ、音声・画像出力手段１１ｉとして機能する。
【００２７】
この音声・画像データ記憶部１５には、自端末の入力部１３を介して取得した音声データや画像データが一時記憶される。
音声・画像取得手段１１ａは、自端末の入力部１３を介して、自端末側の音声データや画像データを取得する処理を実行する。
【００２８】
記録手段１１ｂは、自端末の入力部１３を介して、取得した音声データや画像データを音声・画像データ記憶部１５に記録する処理を実行する。
音声・画像転送手段１１ｃは、自端末の入力部１３を介して、取得した音声データや画像データを、ネットワークを介して、相手端末であるＴＶ会議端末（１０Ａ，１０Ｂ）や会議管理サーバ２０に送信する処理を実行する。
【００２９】
音声・画像取得手段１１ｄは、ネットワークを介して、相手端末からの音声データや画像データを取得する処理を実行する。
エコー抽出手段１１ｅは、自端末から先に送信した送信信号（音声データや画像データ）のエコー信号を、相手端末から取得した音声データや画像データから抽出する処理を実行する。
【００３０】
アラーム出力手段１１ｆは、送信信号の強度（オリジナル信号レベル）とエコー信号の強度（エコー信号レベル）とを比較し、この比較値が基準値以下の場合にはアラームを出力する処理を実行する。
【００３１】
エコー消去手段１１ｇは、相手端末から取得した音声データや画像データから、自端末から送信した音声データや画像データのエコー信号を消去する処理を実行する。
記録手段１１ｈは、相手端末から取得した音声データや画像データからエコー信号を消去したデータを音声・画像データ記憶部１５に記録する処理を実行する。
音声・画像出力手段１１ｉは、エコー信号が消去された音声データや画像データを、出力部１４を介して出力する処理を実行する。
【００３２】
そして、このＴＶ会議端末（１０Ａ，１０Ｂ）は、図１に示すように、ネットワークを介して会議管理サーバ２０に接続される。
【００３３】
この会議管理サーバ２０は、ＴＶ会議端末（１０Ａ，１０Ｂ）間の遠隔会議を管理するコンピュータシステムである。会議管理サーバ２０は、会議管理データ記憶部２２、利用者データ記憶部２３、実況データ記憶部２４、議事録データ記憶部２５を備えている。
【００３４】
会議管理データ記憶部２２は会議運営情報記憶手段として機能し、図２（ａ）に示すように、会議の実施スケジュールについての会議管理レコード２２０が記録されている。この会議管理レコード２２０は、参加者が決定されて、会議が設定登録された場合に記録される。この会議管理レコード２２０は、会議管理識別子、開始予定日時、会議開催条件、利用者識別子、参加フラグに関するデータを記録するためのデータ領域を含んで構成される。
【００３５】
会議管理識別子データ領域には、各会議を特定するための識別子に関するデータが記録される。
開始予定日時データ領域には、この会議が開始される予定日時に関するデータが記録される。
【００３６】
会議開催条件データ領域には、この会議が成立するための開催条件に関するデータが記録される。本実施形態では、会議が成立するために必要な参加人数（必要数）に関するデータが記録される。
【００３７】
利用者識別子データ領域には、この会議に参加する利用者を特定するための識別子に関するデータが記録される。
参加フラグデータ領域には、この会議に参加した利用者を特定するためのフラグが記録される。
【００３８】
利用者データ記憶部２３は認証情報記憶手段として機能し、図２（ｂ）に示すように、この会議に参加する利用者を特定するための利用者レコード２３０が記録されている。この利用者レコード２３０は、本システムを利用する利用者が登録された場合に記録される。この利用者レコード２３０は、利用者識別子に対して、事前登録認証データ、認証時刻及び逐次認証データを記録するためのデータ領域を含んで構成される。
【００３９】
利用者識別子データ領域には、このシステムを利用することができる利用者を特定するための識別子に関するデータが記録される。
事前登録認証データ領域には、本人認証を行なうために予め登録された認証データが記録される。事前登録認証データ領域には、本人の顔画像や音声の特徴量に関するデータが記録される。なお、本実施形態の参加者確認処理においては、顔認証を用いる。
【００４０】
認証時刻データ領域には、後述する継続認証処理により、逐次、認証を行なった日時に関するデータが記録される。
逐次認証データ領域には、継続認証処理により算出した現在の顔画像の特徴量に関するデータが記録される。
【００４１】
実況データ記憶部２４には、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した音声データや画像データが、タイムスタンプとともに時系列に記録される。このタイムスタンプにより、各データが記録された日時を特定することができる。更に、実況データ記憶部２４には、音声データや画像データのハッシュ値が記録される。
【００４２】
議事録データ記憶部２５には、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した音声データを用いて生成したテキストデータが、タイムスタンプ及び発言者の利用者識別子に関連付けられて時系列に記録される。
【００４３】
会議管理サーバ２０の制御部２１は、遠隔会議管理プログラムが実行されることにより、認証処理段階、開始管理段階、継続監視段階等の各処理を実行する。そして、制御部２１は、実況データ取得手段２１ａ、実況データ記録手段２１ｂ、ハッシュ処理手段２１ｃ、会議進行管理手段２１ｄ、本人認証手段２１ｅ、認証管理手段２１ｆ、発言確認手段２１ｇ、音声認識手段２１ｈ、参加者画像追跡手段２１ｉとして機能する。本実施形態では、会議進行管理手段２１ｄは開始管理手段として機能し、本人認証手段２１ｅは認証処理手段として機能し、認証管理手段２１ｆや参加者画像追跡手段２１ｉが、継続監視手段として機能する。
【００４４】
実況データ取得手段２１ａは、各ＴＶ会議端末（１０Ａ，１０Ｂ）から音声データや画像データを取得する処理を実行する。
実況データ記録手段２１ｂは、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した音声データや画像データを、逐次、実況データ記憶部２４に記録する処理を実行する。
【００４５】
ハッシュ処理手段２１ｃは、実況データ記憶部２４に格納された音声データや画像データのハッシュ値を算出する処理を実行する。ハッシュ処理手段２１ｃは、ハッシュアルゴリズムを用いて、タイムスタンプとともに、遠隔会議における連続した音声データや画像データのハッシュ値を算出し、実況データ記憶部２４に記録する。このハッシュ値を用いることにより、音声データや画像データの改竄の有無の検証を行なうことができる。
【００４６】
会議進行管理手段２１ｄは、参加者の参加状況を確認しながら会議の進行を管理する処理を実行する。
本人認証手段２１ｅは、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した実況データと
事前登録認証データとを用いて、参加者の本人認証を行なう。本実施形態では、画像データに含まれる顔画像を用いて本人認証を行なう。
【００４７】
認証管理手段２１ｆは、通信状態に応じて次回の認証時期を特定する処理を実行する。このため、認証管理手段２１ｆは、継続的に行なわれる認証の時間間隔（認証間隔）を決定するために、認証間隔の初期値をメモリに保持している。更に、認証管理手段２１ｆは、通信速度に対応する認証間隔の補正値（通信状況補正値）や、顔画像の特徴量の一致度に対応する認証間隔の補正値（認証状況補正値）を記録した補正テーブルを保持している。
【００４８】
発言確認手段２１ｇは、参加者の発言状況を確認する処理を実行する。
音声認識手段２１ｈは、発言者を特定するとともに、音声認識処理により、音声データからテキストデータを生成する処理を実行する。
参加者画像追跡手段２１ｉは、画像解析技術を用いて、本人認証された利用者の画像を追跡する処理を実行する。
【００４９】
次に、上記システムを利用して実行される処理を、図４〜８を用いて説明する。本実施形態では、二つのＴＶ会議端末（１０Ａ，１０Ｂ）を用いて、遠隔会議を行なう場合を想定する。まず、テレビ会議に利用するＴＶ会議端末（１０Ａ，１０Ｂ）を、ネットワークを介して接続する。この場合、各ＴＶ会議端末（１０Ａ，１０Ｂ）は、会議管理サーバ２０を中継して相手側のＴＶ会議端末に接続される。そして、各ＴＶ会議端末（１０Ａ，１０Ｂ）の制御部１１は、ネットワークを介して、会議管理サーバ２０や相手側のＴＶ会議端末（１０Ａ，１０Ｂ）との通信を開始する。
【００５０】
本実施形態では、会議開始時に参加者確認処理を実行し、会議開始後には継続性確認処理を実行する。この継続性確認処理の中では、継続認証処理、画像追跡処理、発言確認処理を実行する。更に、会議開始前から会議終了までの期間には、継続的に動作確認処理を実行する。
【００５１】
（参加者確認処理）
まず、図４を用いて参加者確認処理を説明する。
ここでは、会議管理サーバ２０の制御部２１は、会議開始依頼の取得処理を実行する（ステップＳ１−１）。具体的には、会議の主催者は、ＴＶ会議端末（例えば、ＴＶ会議端末１０Ａ）を用いて、会議管理サーバ２０にアクセスする。この場合、制御部２１の会議進行管理手段２１ｄは、現在の日時を用いて、テレビ会議が可能な会議を会議管理データ記憶部２２において特定する。そして、会議進行管理手段２１ｄは、特定した会議を一覧表示させるための画面を生成し、ＴＶ会議端末１０Ａに送信する。
【００５２】
ＴＶ会議端末１０Ａの出力部１４に出力された一覧表示画面を用いて、会議の主催者は開催予定の会議を選択して会議開始希望を入力する。この場合、ＴＶ会議端末１０Ａは、会議管理サーバ２０に会議開始依頼を送信する。この会議開始依頼には、ＴＶ会議端末１０Ａにおいて指定された会議の会議識別子に関するデータを含める。これにより、会議進行管理手段２１ｄは、会議開始依頼を取得する。
【００５３】
次に、会議管理サーバ２０の制御部２１は、遠隔会議の参加者情報の取得処理を実行する（ステップＳ１−２）。具体的には、制御部２１の会議進行管理手段２１ｄは、指定された会議識別子に関連付けられた利用者識別子を、会議管理データ記憶部２２から抽出する。そして、会議進行管理手段２１ｄは、本人認証手段２１ｅに対して認証指示を行なう。
【００５４】
そこで、会議管理サーバ２０の制御部２１は、参加者画像の取得処理を実行する（ステップＳ１−３）。具体的には、制御部２１の本人認証手段２１ｅは、実況データ取得手段２１ａを介して、各ＴＶ会議端末（１０Ａ，１０Ｂ）の入力部１３によって撮影された画像データを取得する。そして、本人認証手段２１ｅは、取得した撮影画像の中に含まれるすべての人物について、顔画像の部分のトリミングを行なう。
【００５５】
次に、会議管理サーバ２０の制御部２１は、参加者の認証情報の取得処理を実行する（ステップＳ１−４）。具体的には、制御部２１の本人認証手段２１ｅは、特定した利用者識別子に関連付けられた利用者レコード２３０を利用者データ記憶部２３から抽出する。そして、本人認証手段２１ｅは、利用者レコード２３０の事前登録認証データを取得する。
【００５６】
そして、会議管理サーバ２０の制御部２１は、認証処理を実行する（ステップＳ１−５）。具体的には、制御部２１の本人認証手段２１ｅは、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した顔画像の特徴量を算出する。次に、本人認証手段２１ｅは、算出した特徴量と、利用者データ記憶部２３に記録された事前登録認証データの特徴量とを比較して、参加者の認証を行なう。そして、本人認証手段２１ｅは、会議進行管理手段２１ｄに対して、認証結果を通知する。この認証結果には、参加者の利用者識別子に対して、算出した特徴量と、認証可否に関するデータを含める。
【００５７】
そこで、会議管理サーバ２０の制御部２１は、会議開催条件を満足しているかどうかの判定処理を実行する（ステップＳ１−６）。具体的には、制御部２１の会議進行管理手段２１ｄは、本人認証手段２１ｅから取得した認証結果に基づいて、認証ができた参加者の人数を算出する。そして、会議管理データ記憶部２２に記録されている会議開催条件としての必要数と比較する。
【００５８】
認証ができた参加者人数が必要数に満たないため、会議開催条件を満足していない場合（ステップＳ１−６において「ＮＯ」の場合）、会議管理サーバ２０の制御部２１は待機処理を実行する（ステップＳ１−７）。具体的には、制御部２１の会議進行管理手段２１ｄは、必要数に達していないことを各ＴＶ会議端末（１０Ａ，１０Ｂ）に通知する。そして、会議進行管理手段２１ｄは、所定時間の待機後に参加者画像の取得処理（ステップＳ１−３）を繰り返す。
【００５９】
一方、認証ができた人数が必要数に達している場合（ステップＳ１−６において、「ＹＥＳ」の場合）、会議管理サーバ２０の制御部２１は、会議参加者の登録処理を実行する（ステップＳ１−８）。具体的には、制御部２１の会議進行管理手段２１ｄは、認証ができた参加者について、会議管理レコード２２０に参加フラグを記録する。
【００６０】
そして、会議管理サーバ２０の制御部２１は、アクション許可処理を実行する（ステップＳ１−９）。具体的には、制御部２１の会議進行管理手段２１ｄは、各ＴＶ会議端末（１０Ａ，１０Ｂ）に対して、会議を開始（アクション）が可能であることを通知する。
【００６１】
（継続性確認処理）
次に、図５を用いて、会議の継続性確認処理について説明する。会議が開始された場合、各ＴＶ会議端末（１０Ａ，１０Ｂ）の入力部１３において取得された音声データや画像データを、ネットワークを介して、会議管理サーバ２０に送信する。この場合、会議管理サーバ２０の制御部２１は、実況データの記録処理を実行する（ステップＳ２）。具体的には、制御部２１の実況データ取得手段２１ａは、実況データ記録手段２１ｂを介して、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した音声データや画像データを実況データ記憶部２４に記録する。そして、本実施形態では、継続性確認処理として、継続認証処理（
ステップＳ３−１〜Ｓ３−４）や、後述する画像追跡処理（ステップＳ４）、発言確認処理（ステップＳ５）を実行する。
【００６２】
（継続認証処理）
ここでは、図５を用いて、継続認証処理を説明する。この継続認証処理は、後述するように、所定のタイミングで定期的に実行される。
【００６３】
まず、会議管理サーバ２０の制御部２１は、参加者毎に画像検証処理を実行する（ステップＳ３−１）。ここでは、顔画像の特徴量の変化状況に応じた動き検知と、デフォーカスによる平面検知とを行なう。
【００６４】
動き検知においては、制御部２１の認証管理手段２１ｆは、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した画像データについて、本人認証手段２１ｅに対して、本人認証処理の実行を指示する。本人認証手段２１ｅは、顔画像から算出した特徴量と、利用者データ記憶部２３に記録された事前登録認証データの特徴量とを比較して、参加者の認証を行なう。そして、本人認証手段２１ｅは、認証管理手段２１ｆに対して、認証結果を通知する。
【００６５】
ここで、認証管理手段２１ｆは、本人認証手段２１ｅから取得した顔画像の特徴量が、利用者データ記憶部２３に記録されている先の本人認証時における顔画像の特徴量に一致するかどうかを検証する。ここで、先の本人認証時において算出した特徴量が、今回の特徴量と一致している場合には、顔画像に動きがないことになる。
【００６６】
一方、平面検知においては、認証管理手段２１ｆは、ＴＶ会議端末（１０Ａ，１０Ｂ）の入力部１３を用いてフォーカス変更処理を実行する。そして、認証管理手段２１ｆは、取得した画像データにおいて、顔や背景のデフォーカス状況を検証する。全体の画像が一定の割合でデフォーカスされている場合には、平面画像が撮影されていることになる。
【００６７】
このように、認証結果、特徴量の変化状況や平面画像の撮影等の異常を検知した場合には、認証管理手段２１ｆは、相手側のＴＶ会議端末（１０Ａ，１０Ｂ）にアラームを出力する。
【００６８】
次に、会議管理サーバ２０の制御部２１は、認証情報の記録処理を実行する（ステップＳ３−２）。具体的には、制御部２１の認証管理手段２１ｆは、今回取得した顔画像の特徴量を逐次認証データとして、認証時刻とともに利用者データ記憶部２３に記録する。
【００６９】
そして、会議管理サーバ２０の制御部２１は、次回の認証時期の設定処理を実行する（ステップＳ３−３）。具体的には、制御部２１の認証管理手段２１ｆは、ネットワークにおける通信状態（ここでは通信速度）を取得し、この通信状態における通信状況補正値を、補正テーブルを用いて取得する。更に、認証管理手段２１ｆは、顔画像の特徴量の一致度を用いて、補正テーブルから認証状況補正値を取得する。そして、認証管理手段２１ｆは、両補正値と初期値とを乗算して時間間隔を算出し、この時間間隔を用いて次の認証時期を決定する。
【００７０】
そして、会議管理サーバ２０の制御部２１は、次の認証時期まで待機処理を実行する（ステップＳ３−４）。具体的には、制御部２１の認証管理手段２１ｆは、タイマを用いて次の認証時期の到来を待つ。そして、認証時期が到来した場合には、画像検証処理（ステップＳ３−１）を再実行する。
【００７１】
（画像追跡処理）
次に、図６を用いて、画像追跡処理を実行する。
ここでは、会議管理サーバ２０の制御部２１は、画像追跡による所在検知処理を実行する（ステップＳ４−１）。具体的には、制御部２１の参加者画像追跡手段２１ｉは、認証管理手段２１ｆにおいて認証された参加者の画像の所在を、各ＴＶ会議端末（１０Ａ，１０Ｂ）から取得した画像データにおいて画像解析技術により特定する。これにより、一つの画像に複数の参加者が撮影されている場合にも、各参加者を特定することができる。
【００７２】
そして、会議管理サーバ２０の制御部２１は、この顔画像を追従できているかどうかの判定処理を実行する（ステップＳ４−２）。具体的には、制御部２１の参加者画像追跡手段２１ｉは、画像解析技術により特定した顔画像が、ＴＶ会議端末（１０Ａ，１０Ｂ）の入力部１３から取得した画像データの撮影範囲内に存在するかどうかを判定する。ここで、顔画像を追従できている場合（ステップＳ４−２において「ＹＥＳ」の場合）には、画像追跡による所在検知（ステップＳ４−１）を継続する。
【００７３】
一方、顔画像を追従できていない場合（ステップＳ４−２において、「ＮＯ」の場合）、会議管理サーバ２０の制御部２１は、会議開催条件を維持しているかどうかの判定処理を実行する（ステップＳ４−３）。具体的には、制御部２１の参加者画像追跡手段２１ｉは、顔画像を追従できている参加者の人数を算出する。そして、参加者画像追跡手段２１ｉは、会議管理データ記憶部２２に記録された必要数と、算出した参加者人数とを比較する。
【００７４】
ここで、参加者人数が必要数以上であり、会議開催条件を維持している場合（ステップＳ４−３において「ＹＥＳ」の場合）、会議管理サーバ２０の制御部２１は、画像追跡による所在検知（ステップＳ４−１）を継続する。
【００７５】
一方、参加者人数が必要数よりも少なくなり、会議開催条件を維持できない場合（ステップＳ４−３において、「ＮＯ」の場合）、会議管理サーバ２０の制御部２１は、アラーム処理を実行する（ステップＳ４−４）。具体的には、制御部２１の参加者画像追跡手段２１ｉは、各ＴＶ会議端末（１０Ａ，１０Ｂ）に対して、会議開催条件を満足できないことを通知する。この場合、主催者は会議を中断する。
【００７６】
（発言確認処理）
次に、図７を用いて、発言確認処理を説明する。
ここでは、まず、会議管理サーバ２０の制御部２１は、参加者による発言を検知したかどうかについて判定処理を実行する（ステップＳ５−１）。具体的には、制御部２１の発言確認手段２１ｇは、参加者の発言を、実況データ記憶部２４に逐次記録された音声データから取得する。音声データにおいて参加者の発言が記録されていない場合（ステップＳ５−１において「ＮＯ」の場合）には、発言確認手段２１ｇは待機する。
【００７７】
一方、音声データにおいて参加者の発言を検知した場合（ステップＳ５−１において「ＹＥＳ」の場合）、会議管理サーバ２０の制御部２１は、音声認識処理を実行する（ステップＳ５−２）。具体的には、制御部２１の発言確認手段２１ｇは、音声認識手段２１ｈに対して、参加者の音声データの音声認識処理を指示する。
【００７８】
そして、音声認識手段２１ｈは、利用者データ記憶部２３に記録された事前登録認証データの音声特徴量を用いて、音声データの音声認識処理を実行する。この音声認識処理では、発言者の認識と音声データのテキスト化を行なう。そして、音声認識手段２１ｈは、認識結果（テキストデータ）を、タイムスタンプ及び発言者の利用者識別子に関連付けて議事録データ記憶部２５に記録する。
【００７９】
次に、会議管理サーバ２０の制御部２１は、発言時の顔画像の取得処理を実行する（ステップＳ５−３）。具体的には、制御部２１の発言確認手段２１ｇは、発言を検知した時刻と同じタイミングの発言者の画像データを実況データ記憶部２４において特定し、顔画像を取得する。
【００８０】
更に、会議管理サーバ２０の制御部２１は、リップシンクロ確認処理を実行する（ステップＳ５−４）。具体的には、制御部２１の発言確認手段２１ｇは、発言音声と同じタイミングで取得した顔画像において、口元の動きをトリミングする。
【００８１】
そして、発言確認手段２１ｇは、発言と口元の動きとが同期しているかどうかについて判定処理を実行する（ステップＳ５−５）。ここで、発言と口元の動きとが同期（リップシンクロ）している場合（ステップＳ５−５において、「ＹＥＳ」の場合）には、会議管理サーバ２０の制御部２１は、次の発言を待機する（ステップＳ５−１）。
【００８２】
一方、発言と口元の動きとが同期していない場合（ステップＳ５−５において「ＮＯ」の場合）、会議管理サーバ２０の制御部２１は、アラーム処理を実行する（ステップＳ５−６）。具体的には、制御部２１の発言確認手段２１ｇは、各ＴＶ会議端末（１０Ａ，１０Ｂ）に対して、音声と画像とが同期していないことを通知する。
【００８３】
（動作確認処理）
次に、図８を用いて、動作確認処理について説明する。この処理は、各ＴＶ会議端末（１０Ａ，１０Ｂ）において、それぞれ独立に実行される。ここでは、送信元端末であるＴＶ会議端末１０Ａから、送信先端末であるＴＶ会議端末１０Ｂに対して、音声データや画像データを送信する場合を想定する。
【００８４】
まず、ＴＶ会議端末１０Ａの制御部１１は、送信元端末におけるオリジナル音声・画像の取得処理を実行する（ステップＳ６−１）。具体的には、制御部１１の音声・画像取得手段１１ａは、入力部１３を介して音声データや画像データを取得する。
【００８５】
次に、ＴＶ会議端末１０Ａの制御部１１は、オリジナル音声・画像の記録処理を実行する（ステップＳ６−２）。具体的には、制御部１１の記録手段１１ｂが、音声・画像取得手段１１ａが取得した音声データや画像データを、音声・画像データ記憶部１５に一時記録する。
【００８６】
次に、ＴＶ会議端末１０Ａの制御部１１は、送信先端末へのオリジナル音声・画像の転送処理を実行する（ステップＳ６−３）。具体的には、制御部１１の音声・画像転送手段１１ｃは、音声データや画像データを、ネットワークを介して、ＴＶ会議端末１０Ｂに送信する。
【００８７】
そして、ＴＶ会議端末１０Ｂは、取得した音声データや画像データを、出力部１４を介して出力する。この場合、ＴＶ会議端末１０Ｂの入力部１３は、出力部１４から出力された画像や音声を取得する。そして、ＴＶ会議端末１０Ｂの制御部１１は、エコーキャンセル処理を行なうことなく、ＴＶ会議端末１０Ａに対して、ＴＶ会議端末１０Ｂの入力部１３において取得した音声データや画像データを送信する。
【００８８】
そして、ＴＶ会議端末１０Ａの制御部１１は、送信先端末からの音声・画像の取得処理を実行する（ステップＳ６−４）。具体的には、制御部１１の音声・画像取得手段１１ｄは、ＴＶ会議端末１０Ｂからネットワークを介して音声データや画像データを取得する。
【００８９】
次に、ＴＶ会議端末１０Ａの制御部１１は、エコー音声・画像の抽出処理を実行する（
ステップＳ６−５）。具体的には、制御部１１のエコー抽出手段１１ｅは、音声・画像データ記憶部１５を用いて、ＴＶ会議端末１０Ｂから取得した音声データや画像データにおいて、ＴＶ会議端末１０Ａから送信したオリジナル音声データや画像データに対応するエコー音声・画像の信号成分を抽出する。そして、エコー抽出手段１１ｅは、抽出したエコー信号をアラーム出力手段１１ｆに供給する。
【００９０】
次に、ＴＶ会議端末１０Ａの制御部１１は、エコー信号のレベルが基準値以上あるかどうかについての判定処理を実行する（ステップＳ６−６）。具体的には、制御部１１のアラーム出力手段１１ｆは、エコー抽出手段１１ｅから取得したエコー信号レベルを算出する。更に、アラーム出力手段１１ｆは、音声・画像データ記憶部１５を用いて、オリジナル音声・画像の信号レベルを算出する。そして、オリジナル信号レベルとエコー信号レベルとを比較する。ここでは、アラーム出力手段１１ｆは、エコー信号レベルをオリジナル信号レベルで除算した比較値を算出する。
【００９１】
この比較値が基準値以上の場合（ステップＳ６−６において「ＹＥＳ」の場合）には、ＴＶ会議端末１０Ａの制御部１１は、そのまま動作確認処理を継続する。
一方、比較値が基準値に達していない場合（ステップＳ６−６において「ＮＯ」の場合）には、ＴＶ会議端末１０Ａの制御部１１は、アラームの出力処理を実行する（ステップＳ６−７）。具体的には、制御部１１のアラーム出力手段１１ｆは、各ＴＶ会議端末（１０Ａ，１０Ｂ）に対して、音声データや画像データが送信先端末（ここでは、ＴＶ会議端末１０Ｂ）に適切に届いていないことを通知する。以上の処理は、ＴＶ会議端末１０Ｂにおいても、同様に実行される。
【００９２】
本実施形態の遠隔会議管理システムによれば、以下のような効果を得ることができる。
・  本実施形態では、会議管理サーバ２０の制御部２１は、参加者画像の取得処理（ステップＳ１−３）、参加者の認証情報の取得処理（ステップＳ１−４）、認証処理（ステップＳ１−５）を実行する。そして、会議開催条件を満足しているかどうかの判定処理を実行する（ステップＳ１−６）。そして、認証ができた人数が必要数に達している場合（ステップＳ１−６において、「ＹＥＳ」の場合）、会議管理サーバ２０の制御部２１は、アクション許可処理を実行する（ステップＳ１−９）。これにより、参加者が会議開催地から離れた遠隔地にいる場合でも、会議開催条件を確認して、厳格に会議を実施することができる。
【００９３】
・  本実施形態では、会議管理サーバ２０の制御部２１は、画像検証処理を実行する（ステップＳ３−１）。ここでは、顔画像の特徴量の一致度に応じた動き検知と、デフォーカスによる平面検知とを行なう。特徴量の変化状況や平面画像の撮影等の異常を検知した場合には、認証管理手段２１ｆは、相手側のＴＶ会議端末（１０Ａ，１０Ｂ）にアラームを出力する。これにより、不正な形態での会議参加を抑制することができる。
【００９４】
・  本実施形態では、会議管理サーバ２０の制御部２１は、ネットワークにおける通信状態や顔画像の特徴量の一致度を用いて、次回の認証時期の設定処理を実行する（ステップＳ３−３）。これにより、状況に応じて、認証処理の負荷を軽減しながら、厳格に会議の実施を行なうことができる。すなわち、例えば、通信状態が悪い場合や顔画像の特徴量の一致度が悪い場合には、認証処理の頻度を高くして、不正を検知しやすくすることができる。更に、顔画像の特徴量が完全に一致する場合には写真等を用いての不正の可能性があるが、認証処理の頻度を高くして、この不正を検知しやすくすることができる。
【００９５】
・  本実施形態では、会議管理サーバ２０の制御部２１は、画像追跡による所在検知処理を実行する（ステップＳ４−１）。そして、顔画像を追従できていない場合（ステップＳ４−２において、「ＮＯ」の場合）、制御部２１は、会議開催条件を維持しているかど
うかの判定処理を実行する（ステップＳ４−３）。参加者人数が必要数よりも少なくなり、会議開催条件を維持できない場合（ステップＳ４−３において、「ＮＯ」の場合）、制御部２１は、アラーム処理を実行する（ステップＳ４−４）。これにより、間歇的に行なわれた本人認証結果を引き継いで、画像解析により、参加者の参加状況を継続的に監視することができる。そして、参加状況に問題がある場合には、会議を中断させることができるので、厳格に会議を運営することができる。
【００９６】
・  本実施形態では、音声データにおいて参加者の発言を検知した場合（ステップＳ５−１において「ＹＥＳ」の場合）、会議管理サーバ２０の制御部２１は、音声認識処理を実行する（ステップＳ５−２）。これにより、議事録の作成負担を軽減することができる。更に、会議管理サーバ２０の制御部２１は、発言時の顔画像を取得し（ステップＳ５−３）、リップシンクロ確認処理を実行する（ステップＳ５−４）。これにより、音声と画像とを用いて、確実に発言を記録することができる。そして、音声と画像との同期状況に問題がある場合には、会議を中断させることができるので、厳格に会議を運営することができる。
【００９７】
・  本実施形態では、ＴＶ会議端末１０Ａの制御部１１は、オリジナル音声・画像の記録処理（ステップＳ６−２）、送信先端末へのオリジナル音声・画像の転送処理（ステップＳ６−３）を実行する。そして、ＴＶ会議端末１０Ａの制御部１１は、送信先端末からの音声・画像を取得した場合（ステップＳ６−４）、エコー音声・画像の抽出処理を実行する（ステップＳ６−５）。ここで、エコー信号レベルをオリジナル信号レベルで除算した比較値が基準値に達していない場合（ステップＳ６−６において「ＮＯ」の場合）には、ＴＶ会議端末１０Ａの制御部１１は、アラーム処理を実行する（ステップＳ６−７）。これにより、エコー信号を用いて、ネットワークの通信状況や相手端末の動作状況を確認して、音声や画像を確実に相手側に供給することができる。
【００９８】
また、上記実施形態は、以下のように変更してもよい。
○  上記実施形態では、会議開始依頼の取得時に参加者確認処理を実行する。参加者確認処理の実行のタイミングは、これに限定されるものではなく、議決段階に実行するように構成することも可能である。
【００９９】
○  上記実施形態では、会議開催条件として、会議が成立するための必要数に関するデータが記録される。ここで、会議開催条件として、必須の参加者を設定することも可能である。この場合には、会議管理データ記憶部２２に、必須参加者の利用者識別子に関するデータを会議開催条件として記録しておく。そして、ステップＳ１−６やステップＳ４−３において、会議開催条件を確認する場合には、この参加者を認証できているかを確認する。
【０１００】
○  上記実施形態では、動作確認処理は、各ＴＶ会議端末（１０Ａ，１０Ｂ）において、それぞれ独立に実行される。これに代えて、会議管理サーバ２０の制御部２１が、動作確認処理を実行するように構成することも可能である。この場合には、会議管理サーバ２０に音声・画像データ記憶部１５を設ける。そして、制御部２１を、音声・画像取得手段１１ａ、記録手段１１ｂ、音声・画像転送手段１１ｃ、音声・画像取得手段１１ｄ、エコー抽出手段１１ｅ、アラーム出力手段１１ｆ、エコー消去手段１１ｇ、記録手段１１ｈ、音声・画像出力手段１１ｉとして機能させる。この場合には、ネットワークの通信状況に障害がない場合には、会議管理サーバ２０において各ＴＶ会議端末（１０Ａ，１０Ｂ）の動作状況を確認することができる。従って、各ＴＶ会議端末（１０Ａ，１０Ｂ）の処理負担の軽減を図ることができる。
【０１０１】
○  上記実施形態では、顔画像認証を用いて本人認証を行なったが、本人認証方法はこ
れに限定されるものではなく、指紋認証や静脈認証等の他のバイオメトリクス認証技術を用いることも可能である。この場合には、各ＴＶ会議端末に利用者認証用画像（バイオメトリクス情報）の読取装置を接続し、ネットワークを介して会議管理サーバ２０に送信する。会議管理サーバ２０においては、顔画像の代わりに各利用者認証用画像を用いて本人認証処理を実行する。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施形態のシステム概略図。
【図２】各データ記憶部に記録されたデータの説明図であって、（ａ）は会議管理データ記憶部、（ｂ）は利用者データ記憶部。
【図３】ＴＶ会議端末の機能ブロックの説明図。
【図４】本実施形態の処理手順の説明図。
【図５】本実施形態の処理手順の説明図。
【図６】本実施形態の処理手順の説明図。
【図７】本実施形態の処理手順の説明図。
【図８】本実施形態の処理手順の説明図。
【符号の説明】
【０１０３】
１０Ａ，１０Ｂ…ＴＶ会議端末、１１…制御部、１１ａ…音声・画像取得手段、１１ｂ…記録手段、１１ｃ…音声・画像転送手段、１１ｄ…音声・画像取得手段、１１ｅ…エコー抽出手段、１１ｆ…アラーム出力手段、１１ｇ…エコー消去手段、１１ｈ…記録手段、１１ｉ…音声・画像出力手段、１２…操作部、１３…入力部、１４…出力部、２０…会議管理サーバ、２１…制御部、２１ａ…実況データ取得手段、２１ｂ…実況データ記録手段、２１ｃ…ハッシュ処理手段、２１ｄ…会議進行管理手段、２１ｅ…本人認証手段、２１ｆ…認証管理手段、２１ｇ…発言確認手段、２１ｈ…音声認識手段、２１ｉ…参加者画像追跡手段、２２…会議管理データ記憶部、２３…利用者データ記憶部、２４…実況データ記憶部、２５…議事録データ記憶部。
【図１】
0004718567.tif 000002
【図２】
0004718567.tif 000003
【図３】
0004718567.tif 000004
【図４】
0004718567.tif 000005
【図５】
0004718567.tif 000006
【図６】
0004718567.tif 000007
【図７】
0004718567.tif 000008
【図８】
0004718567.tif 000009