(57)【要約】【課題】遠隔会議における議事録作成や、会議のデータを蓄積した媒体への適切なアクセス、会議欠席者への会議データへのアクセス、途中参加者への補助を効率的に行うための検索を可能にする。【解決手段】会議に関する音声情報、映像情報、センサ情報及び時刻情報を蓄積する蓄積部３１〜３４と、音声情報、映像情報、センサ情報及び時刻情報の少なくとも１つから特徴量を算出する信号特徴量処理部５６と、を設け、映像情報とともに算出された特徴量が同時に一覧可能に表示されるようにする。【選択図】        図４
2004173058.tif 000002
【特許請求の範囲】
【請求項１】
会議に関する蓄積された音声情報、映像情報、センサ情報及び時刻情報の少なくとも１つから特徴量を算出する段階と、
前記映像情報とともに前記算出された特徴量を同時に一覧可能に表示する段階と、
を有する会議情報可視化方法。
【請求項２】
前記会議の開催中に、当該会議の音声情報及び映像情報と、当該会議の参加者に関するセンサ情報とを時刻情報に関連付けて蓄積する段階をさらに有する、請求項１に記載の会議情報可視化方法。
【請求項３】
前記会議に関連して入力された注釈情報および／またはインデックス情報を前記映像情報および前記特徴量とともに同時に一覧可能に表示する、請求項１または２に記載の会議情報可視化方法。
【請求項４】
前記特徴量は、前記音声情報から抽出されたピッチ周波数および前記映像情報から抽出されたオプティカルフローの少なくとも一方を含む、請求項１乃至３のいずれか１項に記載の会議情報可視化方法。
【請求項５】
会議に関する音声情報、映像情報、センサ情報及び時刻情報を蓄積する蓄積手段と、
前記音声情報、前記映像情報、前記センサ情報及び前記時刻情報の少なくとも１つから特徴量を算出する特徴量処理手段と、
前記映像情報とともに前記算出された特徴量を同時に一覧可能に表示する表示手段と、
を有する、会議情報可視化装置。
【請求項６】
前記会議の開催中に、当該会議の音声情報及び映像情報と、当該会議の参加者に関するセンサ情報とを時刻情報に関連付けて前記蓄積手段に格納する記憶制御手段をさらに有する、請求項５に記載の会議情報可視化装置。
【請求項７】
前記会議に関連する注釈情報および／またはインデックス情報を受け付ける注釈入力手段と、
受け付けた注釈情報および／またはインデックス情報を蓄積する注釈記憶手段と、をさらに有し、
前記表示手段は、前記注釈情報および／または前記インデックス情報を前記映像情報および前記特徴量とともに同時に一覧可能に表示する、請求項５または６に記載の会議情報可視化装置。
【請求項８】
前記特徴量は、前記音声情報から抽出されたピッチ周波数および前記映像情報から抽出されたオプティカルフローの少なくとも一方を含む、請求項５乃至７のいずれか１項に記載の会議情報可視化装置。
【請求項９】
コンピュータに、
会議に関する蓄積された音声情報、映像情報、センサ情報及び時刻情報の少なくとも１つから特徴量を算出する処理と、
前記映像情報とともに前記算出された特徴量を同時に一覧可能に表示する画面データを作成する処理と、
を実行させるプログラム。
【請求項１０】
前記コンピュータに、さらに、
前記会議の開催中に、当該会議の音声情報及び映像情報と、当該会議の参加者に関するセンサ情報とを時刻情報に関連付けて蓄積する処理を実行させる、請求項９に記載のプログラム。
【請求項１１】
前記コンピュータに、さらに、
前記会議に関連して入力された注釈情報および／またはインデックス情報を前記映像情報および前記特徴量とともに同時に一覧可能に表示する画像データを作成する処理を実行させる、請求項９または１０に記載のプログラム。
【請求項１２】
コンピュータが読取り可能な記録媒体であって、請求項９乃至１１のいずれか１項に記載のプログラムを格納した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、遠隔会議の実行を支援する方法および装置に関し、特に、遠隔会議の議事録作成支援、議事進行支援、欠席者補助、途中参加者補助などを行う方法および装置に関する。
【０００２】
【従来の技術】
近年、電子会議システムによる会議や、ビデオ会議、テレビジョン電話会議などの遠隔会議が盛んに行われるようになっておきている。こうした遠隔会議では、参加者が一堂に会する従来の会議とは異なって、議事録作成や議事進行、欠席者や途中参加者に対する議事内容説明に関し、特別の配慮が必要である。
【０００３】
遠隔会議を録音・録画するための蓄積および検索方法は、古くから提案されている。例えば、特開２０００―２２２４２５号公報（特許文献１）には、遠隔会議に限らず会議一般における音声データを蓄積し、蓄積された会議音声データとその音声認識結果を記憶装置上でリンクして保存しておき、音声認識結果を検索することによりリンクされた音声を再生することができるようにした音声検索システムが開示されている。しかしながらこの音声検索システムでは、誤認識が生じたときにうまく検索できないという課題がある。
【０００４】
特許第３２６６９５９号（特許文献２）は、音声画像の記録と入力手段（電子ペン）などからの入力とをインデックスとして、そのインデックスから蓄積された会議中の音声・映像を検索する電子会議システムを開示している。この電子会議システムでは、電子ペンなどからの入力がなかったときに、うまく会議を検索する方法がない、という課題がある。
【０００５】
【特許文献１】
特開２０００―２２２４２５
【特許文献２】
特許第３２６６９５９号
【非特許文献１】
高木、鳥脇、田村、“画像処理アルゴリズムの最新動向”，ｐｐ．  １２８―１４４、株式会社新技術コミューニケーションズ、１９８６
【非特許文献２】
鈴木久喜、“音声のデジタル信号処理”，ｐｐ．  １６３―１６５、コロナ社、１９８３
【０００６】
【発明が解決しようとする課題】
遠隔会議における議事内容を検索するシステムはこれまでもいくつか提案されているものの、上述したように、必ずしも検索をうまく行えない場合がある、などの課題がある。
【０００７】
本発明の目的は、遠隔会議における議事録作成や、会議のデータを蓄積した媒体への適切なアクセス、会議欠席者への会議データへのアクセス、途中参加者への補助を効率的に行うための検索を可能にする、会議情報可視化方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の会議情報可視化方法は、会議に関する蓄積された音声情報、映像情報、センサ情報及び時刻情報の少なくとも１つから特徴量を算出する段階と、映像情報とともに算出された特徴量を同時に一覧可能に表示する段階と、を有する。
【０００９】
本発明の会議情報可視化装置は、会議に関する音声情報、映像情報、センサ情報及び時刻情報を蓄積する蓄積手段と、音声情報、映像情報、センサ情報及び時刻情報の少なくとも１つから特徴量を算出する特徴量処理手段と、映像情報とともに算出された特徴量を同時に一覧可能に表示する表示手段と、を有する。
【００１０】
本発明では、音声情報、映像情報、センサ情報などを蓄積しておいてこれらの情報から特徴量を抽出し、少なくとも映像情報とともにこの特徴量を同時に一覧可能な形態で表示するので、会議欠席者や途中参加者への議事内容の理解や、議事内容へのアクセスを容易にすることができる。また、その可視化されたものに対して注釈やインデックスを付与できるようにすることにより、さらに、議事内容の理解や議事内容へのアクセスを容易にすることができる。
【００１１】
【発明の実施の形態】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は、本発明の実施の一形態の会議情報可視化方法が適用される遠隔会議システムを構成の一例を示している。
【００１２】
この遠隔会議システムは、ＬＡＮ（ローカルエリアネットワーク）やインターネットなどのネットワーク１と、ネットワーク１に接続したサーバ２と、ネットワーク１に接続した複数台のクライアントＰＣ（パーソナルコンピュータ）３とから構成されている。クライアントＰＣ３は、それぞれ、会議参加者からの各種の情報の入力装置として、音声情報を入力するマイクロホン１１と、映像情報を入力するカメラ１２と、チャット入力などに用いられるキーボード１３と、共有資料への書込みやポインティングなどに使用されるマウス１４と、その他のセンサ１５とを備えている。その他のセンサ１５として、会議参加者に係る種々の情報を収集するものが適宜使用される。センサ１５としては、複数種類のものが備えられていてもよい。例えば、センサ１５としては、会議参加者の発汗・脈拍・姿勢情報・筋電信号などを検出するものや、電子ペン入力情報を検出するもの、さらにはモーションキャプチャーなどを用いることができる。もちろん、ここで例示されている以外の情報を取得するセンサを用いることもできる。また、クラインアントＰＣ３には、出力装置として、液晶表示パネルなどの表示装置１６と、スピーカ１７が設けられている。
【００１３】
この遠隔会議システムでは、各クライアントＰＣ３に接続された入力装置から入力したそれぞれのモダリティの情報は、クライアントＰＣ３を介してネットワーク１に送出され、サーバ２に到着する。サーバ２では、それぞれの情報をそのサーバ２に接続した外部記憶装置に蓄積するとともに、映像・音声・チャット入力・マウスによる共有資料への書込み情報およびポインティング情報については、サーバ２上でミキシングして再び各クライアントＰＣ３に送出する。なお、サーバ２上でのミキシングと各クライアントＰＣ３に送出するための機構に関しては、当業者にはよく知られているので、説明をわかりやすくするため、図示を省略する。なお、本発明においては、“映像”には、動画像のみならず、静止画像など、動いているか動いていないかを問わず、視覚的に認識できる全ての情報が含まれる。
【００１４】
以下、上述した遠隔会議システムに適用された本実施形態の会議情報可視化方法について説明する。最初に、クライアントＰＣ３及びサーバ２のそれぞれのシステム構成を説明する。
【００１５】
図２は、クライアントＰＣ３の構成をその内部での処理の流れに即して示したブロック図ある。クライアントＰＣ３は、マイクロホン１１からの音声信号が入力する音声入力部２１と、カメラ１２からの映像信号が入力する映像映像部２２と、キーボード１３からのキーボード入力信号が入力するキーボード入力管理部２３と、マウス１４からの信号が入力するマウス入力管理部２４と、センサ１５からの検出信号（センサ信号）が入力するセンサ入力管理部２５と、を備えている。マイクロホン１１からの音声信号は、音声入力部２１で適度に増幅されたのち、音声信号中における発話部（有音期間）を検出するＶＡＤ（音声アクティビティ検出）部２６に入力されるようになっている。さらにこのクライアントＰＣ３には、音声や映像、キーボード入力、マウス入力、センサ入力などの符号化を行う符号化部２７と、時刻情報を発生する時間管理部２８と、符号化部２７で符号化された信号をネットワーク１上に送出するネットワーク管理部２９とが設けられている。
【００１６】
ＶＡＤ部２６は、音声の発話状態を監視しており、音声発話を検出すると、符号化部２７に対して指令を送り、符号化部２７における音声の符号化を開始させる。音声信号については、音声の発話が行われている間だけ、符号化が行われる。発話検出の技術としては、これまでにもさまざまなものが知られており、ここでは、携帯電話機などに実装されている一般的な技術を使うことができる。
【００１７】
カメラ入力は映像入力部２２を通して、符号化部２７で符号化される。またマウス入力についても同様に、マウスのロータリーエンコーダの回転量およびボタンのクリックの状態がマウス入力管理部２４入力し、マウス入力管理部２４は、ロータリーエンコーダの回転の相対量から画面上のポインティングされているピクセルの画素座標を算出し、これをマウス座標値（ピクセル値）として出力する。また、マウス１４におけるボタン入力は、ボタンの押すタイミングなどから、クリックやダブルクリックなどの状態に判別されて、マウス入力管理部２４から出力される。この場合、ピクセル値（マウス座標値）は符号化部２７に常時送信され、クリックやダブルクリックなどの情報はそのイベント発生時点に符号化部２７に送信されるように構成されている。キーボード入力についても、キーボード入力管理部２３からの入力をそのまま符号化部２７に送るように構成する。もっとも、クライアントＰＣ３には仮名漢字変換の機能が備えられており、この仮名漢字変換の機能を用いたキーボード入力があった場合には、クライアントＰＣ３の内部の辞書（不図示）を参照して仮名漢字変換した結果も併せて符号化されるようにする。
【００１８】
センサ１５は、その出力する信号の種類がアナログ信号であるか２値（バイナリ）信号であるかに応じて、アナログセンサと２値センサとに分類される。アナログセンサに対しては、センサ入力管理部２５はＡ／Ｄ（アナログ／デジタル）変換器を備えており、センサからのアナログ信号をデジタルに変換した値が符号化部２７に送信されるようになっている。スイッチ入力などの２値センサについては、これら２値（例えば“０”と“１”、あるいは“オン”と“オフ”）の間での遷移があったときにその遷移時点の情報（イベント）がセンサ入力管理部２５から符号化部２７に送信されるように構成されている。アナログセンサは、例えば、脳波や心電波形などの生体情報や会議参加者に装着されたモーションセンサの情報を取得するために使用される。また２値センサは、例えば、着座センサ（圧力センサなどで座席に設置）などを想定しており、会議参加者の在席から離席状態への遷移や逆の状態への遷移などのイベントを取得するために使用される。
【００１９】
また符号化部２７は、入力した情報を符号化するとともに、時間管理部２８からの時刻情報を参照してこの符号化された情報に時刻情報を付与し、ネットワーク符号化を行い送信するように構成されている。ネットワーク制御部２９は、符号化された情報を適当にバッファリングしパケット化してネットワーク１に送出する。
【００２０】
次に、サーバ２の構成をついて説明する。サーバ２には、上述した外部記憶装置に実装されるものとして、音声を蓄積する音声蓄積部３１と、映像を蓄積する映像蓄積部３２と、センサ情報を蓄積するセンサ情報蓄積部３３と、時刻・番地対応情報を蓄積する時刻・番地対応情報蓄積部３４と、後述するように会議情報に付与された注釈を記憶する注釈記憶部３５と、後述する信号特徴量処理の結果を記憶する信号特徴量処理結果記憶部３６とが設けられている。さらにサーバ２は、大別すると、各クライアントＰＣ３からの情報を各蓄積部３１〜３４に蓄積する蓄積部と、本発明に基づく会議情報可視化のための処理を実行する会議情報可視化部とを備えている。図３は蓄積部を中心としてサーバ２の構成を示すブロック図であり、図４は会議情報可視化部を中心としてサーバ２の構成を示すブロック図である。もっとも、後述するように、会議情報可視化部は、サーバ２ではなくて各クライアントＰＣ３に実装することも可能である。
【００２１】
図３を参照すると、サーバ２には、ネットワーク１に接続するネットワーク制御装置４１と、ネットワーク制御装置４１で受信したパケットを一時的に保管するバッファ４２と、パケットを復号するネットワーク復号部４３と、復号された各クライアントＰＣ３からの情報を音声情報、映像情報、キーボード入力方法、マウス入力情報、センサ情報などに分離する分離部４４と、分離部４４で分離された情報のうち音声情報を音声蓄積部３１に、映像情報を映像蓄積部３２に、センサ情報をセンサ情報蓄積部３３に蓄積し、また、時刻・番地対応情報を時刻・番地対応情報蓄積部３４に蓄積する記憶制御部４５と、を備えている。ここで時刻・番地対応情報とは、時刻情報と、その時刻情報に対応する音声情報、映像情報、センサ情報の各蓄積部３１〜３３での格納位置の番地とを対応付ける情報である。
【００２２】
サーバ２の蓄積部では、ネットワーク１上を流れてきたパケットがまずネットワーク制御装置４１で受け取られ、そのパケットはバッファ４２に一時的に蓄積される。復号できる量までパケットがバッファ４２に貯まると、ネットワーク復号部４３はパケットの復号処理を開始する。復号結果は、分離部４４に入力して、各クライアンＰＣ３からの時刻情報付きの音声情報、映像情報、マウス入力情報、キーボード入力情報、センサ情報などに分離される。
【００２３】
音声情報は、記憶制御部３５により、リニアＰＣＭ（ｐｕｌｓｅ  ｃｏｄｅ  ｍｏｄｕｌａｔｉｏｎ）形式やμ−ｌａｗ（μ法則）形式などで音声蓄積部３１に保存される。この際、ＶＡＤ情報も音声蓄積部３１に保存される。映像情報は、記憶制御部３５により、ＭＰＥＧ４やモーションＪＰＥＧやＡＶＩ形式などの圧縮形式で映像蓄積部３２に保存される。時刻・番地対応情報蓄積部３４には、各ユーザ固有のＩＤ情報も時刻・番地対応情報ともに記録される。
【００２４】
次に、会議情報可視化部の構成について、図４を用いて説明する。会議情報可視化部は、ユーザが指定した範囲の情報を、時刻・番地対応情報蓄積部３４内の時刻・番地対応情報を利用して、外部記憶装置の各蓄積部３１〜３３から取得する。また音声情報や映像情報について特徴量を算出し、算出した特徴量を出力できるようになっている。
【００２５】
このような会議情報可視化部は、分離部４４でマウス情報やキーボード情報を入力として、ユーザの指定内容を判別するユーザ操作入力部５１と、ユーザ操作入力部５１で判別した内容に基づいて時刻・番地対応情報蓄積部３４を参照することにより、ユーザが指定した範囲を各蓄積部３１〜３３における番地の情報として表わす時刻情報変換部５２と、時刻情報変換部５２で得られた番地情報にしたがって各蓄積部３１〜３３から音声情報、映像情報、センサ情報を取得するデータ取得部５３と、取得した音声情報を再生して出力する音声再生部５４と、取得した映像情報を再生して出力する映像再生部５５と、取得した音声情報、映像情報、センサ情報などから特徴量を算出して出力する信号特徴量処理部５６と、ユーザ操作入力部５１で判別した内容に基づいて、可視化された会議情報に注釈を付する処理を行う注釈処理部５７と、を備えている。信号特徴量処理部５６で算出された特徴量は信号特徴量結果記憶部３６に蓄積され、注釈処理部５７で付された注釈は注釈記憶部３５に蓄積されるようになっている。
【００２６】
会議情報可視化部がサーバ２に設けられる場合には、音声再生部５４及び映像再生部５５は、それぞれ、再生した音声信号及び映像信号をクライアントＰＣ３側に送出する。また、信号特徴量処理部５６は、特徴量を表わす画像がクライアントＰＣ３の表示装置１６の画面上に表示されるような信号を送出する。その場合、一般には、サーバ２が備える符号化器（不図示）によってこれらの信号が符号化され、クライアントＰＣ３側で復号される。
【００２７】
これに対し会議情報可視化部がクライアントＰＣ３に設けられる場合には、ユーザ操作入力部５１は、クライアントＰＣ３のキーボード入力管理部２３及びマウス入力管理部２４から直接、キーボード情報、マウス情報を取得すればよい。そして、時刻情報変換部５２は、ネットワーク１を介してサーバ２にアクセスして時刻・番地対応情報蓄積部３４を参照し、データ取得部５５は、ネットワーク１を介してサーバ２にアクセスして音声情報蓄積部３１、映像情報蓄積部３２及びセンサ情報蓄積部３３からそれぞれ音声情報、映像情報、センサ情報を取得するようにすればよい。音声再生部５４及び映像再生部５５は、それぞれ、再生した音声信号及び映像信号をクライアントＰＣ３のスピーカ１７及び表示装置１６に出力する。信号特徴量処理部５６は、特徴量を表わす画像がクライアントＰＣ３の表示装置１６の画面上に表示されるようにする。この場合、信号特徴量処理結果記憶部３６は、サーバ２側でなくてクライアントＰＣ３側にローカルに設けられるようにしてもよい。さらに、注釈処理部５７は、ネットワーク１を介してサーバ２にアクセスし、注釈を注釈記憶部３５に格納する。
【００２８】
本実施形態の遠隔会議システムでは、蓄積された音声情報、映像情報やセンサ情報がユーザに提示されるだけでなく。音声情報、映像情報、センサ情報および時刻情報から算出された特徴量情報が、音声情報や映像情報とともに同時にユーザに提示される。ここでユーザに提示される特徴量情報としては、例えば、音声のピッチ周波数や画像のオプティカルフローなどが上げられる。さらにこの遠隔会議システムでは、このように映像情報（や音声情報）と特徴量情報が提示されているとしてその提示された情報に対する注釈情報およびインデックス情報を入力し、これらの注釈情報、インデックス情報も同時に一覧可能に表示されるようにしている。
【００２９】
このような遠隔会議システムを実現するために、信号特徴量処理部５６では、各種の手法を用いて特徴量を算出する。音声情報から特徴量を算出する場合であれば、例えば、ピッチ周波数を用いることができる。以下に処理の詳細を述べる（非特許文献１：鈴木久喜、音声のデジタル信号処理、ｐｐ．１６３―１６５、１９８３、コロナ社を参照）。
【００３０】
１．  まず、音声信号を例えば９００Ｈｚの低域フィルタに通し、１０ｋＨｚでサンプリングする。
【００３１】
２．サンプリング後、３０ミリ秒（３００サンプル）の長さのセグメントを１０ミリ秒間隔で抽出する。したがって、各セグメントは２０ミリ秒ずつの重複がある。
【００３２】
３．  平均振幅を１００サンプルの方形窓を使って計算する。各フレームのピークの信号値を、暗騒音の５０ミリ秒の長さの内のピーク値を測定したしきい値と比較する。ピーク信号値のほうがしきい値より高ければ、そのセグメントは音声であって雑音ではないとみなして次の処理に進む。そうでなければそのセグメントは無音とみなし、何もしない。
【００３３】
４．  音声セグメントの最初の１００サンプルと、最後の１００サンプルの絶対値の最大値の小さいほうの値の一定の割合（例えば６８％）の値を、クリッピングレベルとする。
【００３４】
５．  このクリッピングレベルを用いて、３−レベルセンタクリッパで音声を処理し、その信号に対して、ピッチ周期として想定される範囲にわたって自己相関関数を計算する。
【００３５】
６．  自己相関関数の最大のピークの値を求め、そのピーク値とある一定の閾値（例えば自己相関関数の０次の値の３０％など）と比較する。もし、ピーク値が閾値より低ければ、そのセグメントは無声音に分類し、高ければその最大のピークの位置をピッチ周期と決める。
【００３６】
また、映像情報から算出される特徴量としては、以下のようなオプティカルフローのような特徴量を使うことができる。この特徴量は画像中の物体の動きの量を表している。オプティカルフローの計算の処理の概要を述べる（非特許文献２：高木、鳥脇、田村、“画像処理アルゴリズムの最新動向”、ｐｐ．１２８―１４４、株式会社新技術コミューニケーションズ、１９８６を参照）。
【００３７】
１．  画像上の点（ｘ，ｙ）の時刻ｔでの明るさをｆ（ｘ，ｙ，ｔ）とする。入力画像ｆ（ｘ，ｙ，ｔ）に２種類の異なったフィルタｇ，ｈを作用させて２枚の画像を取得し、それぞれから次のような勾配法の拘束式を得る。
【００３８】
（ｇ＊ｆ）ｘｕ＋（ｇ＊ｆ）ｙｖ＋（ｇ＊ｆ）ｔ＝０
（ｈ＊ｆ）ｙｕ＋（ｈ＊ｆ）ｖｖ＋（ｈ＊ｆ）ｔ＝０
ただし、＊は畳み込み積分を表す。
【００３９】
２．  これらの式を連立させて解いて、（ｕ，ｖ）を求める。
【００４０】
３．  それぞれのフレームにおいて、各画素の（ｕ，ｖ）を合計する。この合計値は画像中の物体の動きの激しさを表している。
【００４１】
ここで用いられるフィルタ出力は、次のような特徴がなくてはならない。
【００４２】
（１）勾配法での画像の微分可能性を保証するための連続性，
（２）勾配法のテーラー展開で高次項を無視しているため、高次項の影響の抑制，
（３）２つの拘束式が独立性となる。
【００４３】
上の条件（１）、（２）を満たすには、フィルタに平滑化効果があればよい。そこで、空間フィルタとして、ガウシアンフィルタを採用する。さらに、条件（３）を満たすには、フィルタに方向性があればよい。よって、ｘ方向に分散大きく、かつ微分されたガウシアンフィルタｇと、ｙ方向に分散大きく、かつ微分されたガウシアンフィルタｈを採用する。
【００４４】
【数１】
2004173058.tif 000003
【００４５】
ただし、σ１，σ２は重み係数である。
【００４６】
このようにすると、分散の大きい方向に平行なエッジの方が、垂直な方向よりも敏感である。フィルタｇ，ｈでは敏感なエッジの方向が異なるため、異なる方向のエッジが交差するような点では、フィルタによって敏感なエッジが異なり、ｕｖ空間での拘束式の傾きに差がでることになる。また、時間方向に関しても、微分可能性を補償するためにスムージングフィルタをかける。
【００４７】
このようにして、信号特徴量処理部５６は、音声情報や映像情報から特徴量を算出することができる。また特徴量としても、ここで述べたピッチ周波数やオプティカルフローに限定されるものではなく、他のものを使用することができる。
【００４８】
次に、ユーザの操作に基づく情報を注釈として付与すること（付箋書込み、インデックス付与）について説明する。
【００４９】
注釈処理部５７は、ユーザからの注釈書込み要求への処理を行っており、以下のような動作を行う。図５に処理の概略フローチャートを示す。
【００５０】
まず、ユーザ操作入力部５１を監視し（ステップ９１）、ユーザ入力があればステップ９２に進む。ステップ９２では、ユーザ入力が注釈入力要求であるか、インデックス入力要求であるか、そのいずれでもないのかを判別する。注釈入力要求でもインデックス入力要求でもない場合にはステップ９１に戻り、インデックス入力要求であればステップ９３に移行し、注釈入力要求であればステップ９５に移行する。
【００５１】
ステップ９３では、後述するタイムカーソルの位置を調べてそのタイムカーソルの位置にインデックスウィンドウを表示し、ステップ９４に移行する。ステップ９４では、タイムカーソルの位置を注釈記憶部３５に格納し、ステップ９１に戻る。
【００５２】
一方、ステップ９５では、タイムカーソルの位置を調べてそのタイムカーソルの位置に注釈ウィンドウを表示し、ステップ９６においては、記録すべき注釈としてキーボードからの入力を注釈ウィンドウ内に表示する。そして、ステップ９７において、ユーザからの入力が終了したかどうかを判定する。ここで、ユーザ入力の終了をユーザ操作入力部５１から通知された場合には、ステップ９４において、タイムカーソルの位置と入力された注釈とを注釈記憶部３５に記憶し、ステップ９１に戻る。
【００５３】
このようにして、注釈の書込みが行われる。
【００５４】
以上のような会議情報可視化を行ったことにより、各蓄積部３１〜３４にはそれぞれの情報が蓄積されるとともに、各ユーザユーザのクライアントＰＣ３の表示装置１６上には、蓄積された各種情報が一覧形式で表示される。図６は、蓄積された各種情報を一覧するためのブラウジングツールでの表示の一例を示している。このブラウジングツール画面は、会議参加者等のクライアントＰＣ３の表示装置１６の画面上に表示されるものである。すなわち、会議情報可視化部の画像再生部５５及び信号特徴量処理部５６からの出力に応じて表示される画面を示している。このように複数の出力を組み合わせてクライアントＰＣの画面上に表示させる技術自体は、動画像を含むウェブページを動的に作成する方法あるいはそのようなウェブページを表示（再生）する方法などとして、当業者にはよく知られているとことである。例えば、会議情報可視化部がサーバ２に設けられている場合であれば、以下に図６を用いて説明するように映像情報と特徴量とを組み合わせて同時に一覧可能である表示画面を動的に生成する、画面生成部をサーバ２に設けておけばよい。なお、映像情報の再生に同期させて音声再生部５４より音声信号が出力されており、これによって、クライアントＰＣ３のスピーカ１７から会議を再生した音声が出力されるようになっている。
【００５５】
ブラウジングツールにおいて、横軸は時間情報を表しており、ひし形のマーク８０は、現在再生している時刻を表している。各人のセンサ情報および、音声情報、画像情報およびそれらの特徴量情報は、この図のように、参加者ごとに整列され表示される。以後この参加者ごとに整列した情報領域のことを個人情報表示トラックと呼ぶこととする。個人情報表示トラック中の長方形は、音声バー８４であって、そのタイミングでその参加者の音声発話が存在することを表している。ここで、音声バー８４は、その濃淡で話者のピッチ周波数を表している。音声バー情報を表示することにより、話者が激しく興奮した様子を見分ける手がかりやまた時間当たりの発話数が一目にして分かるため、例えば、時間当たりの発話数を観察することにより、会議の盛り上がり度合いなどを知る手がかりとなる。
【００５６】
図中の破線は、ユーザによって挿入されたインデックス８６を表わす。また議事ブラウジング中に思いついたことなどを、付箋メモ８３として、付箋紙のような形で貼り付けるような構成にしてもよい。また左側の顔写真は、蓄積されている動画情報（画像８１）を表している。また下のテキスト情報は、テキストチャット８８による入力を表している。個人情報表示トラック中の細い長方形の色変化は、画像情報のオプティカルフロー８５の大きさを表しており、会議中の激しいジェスチャリングを見つける手がかりとなる。
【００５７】
画像中の三角印は２値センサからのイベント情報（２値センサイベント８７）を表し、会議参加者の在席から離席状態への移行またはその逆を見つける手がかりとなる。
【００５８】
また画面上部の資料表示部には、共有資料８２と、共有資料情報への書込み情報を表す。共有資料８２への書込みや、共有資料の共有資料も会議参照の大きな手がかりである。各自の書込み情報を各自の個人情報トラックに表示するように構成してもよい。
【００５９】
画面最下部には、いわゆるスクロールバー８９が表示されている。ユーザはこのスクロールバー８９を操作することによって、会議の開催中の任意の時刻を選択してそこから会議を再生することができるようになっている。
【００６０】
以上説明したように、ブラウジングツールのユーザは、付箋紙、破線によるインデックス情報、画像情報、音声バーの濃淡、画像の時間的変化量、共有資料情報表示情報、センサ情報を手がかりに、会議について蓄積された情報を素早く閲覧することができる。
【００６１】
以上説明した会議情報可視化方法は、サーバ２あるいはクライアントＰＣ３に会議情報可視化部を組み込むことで実現される。会議情報可視化部は、サーバ２やクライアントＰＣ３において専用のハードウエアとして実装することも可能であるが、一般的には、上述したような会議情報の可視化を実現するためのプログラムを、一般的なコンピュータシステムとしてのサーバ２やクライアントＰＣ３に読込ませ、そのプログラムを実行させることによっても実現できる。会議情報の可視化を行うためのプログラムは、磁気テープなどの記録媒体によって、コンピュータシステムに読込まれる。あるいは、そのプログラムは、ネットワークを介してコンピュータシステムに配布されて読込まれる。
【００６２】
【発明の効果】
以上説明したように本発明は、マルチメディア会議データを可視化して表示することにより、会議検索・閲覧などの高速化が達成される、という効果がある。具体的には、遠隔会議における議事録作成、途中参加者に対する会議内容の説明、会議データへのアクセスに対する効率的かつ効果的な支援を行うことができる。また、音声や画像の特徴量情報、およびセンサ情報（マルチモダリティ情報）を可視化することができ、議事参照の際の豊富な手掛かりを得ることが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の会議情報可視化方法が適用される遠隔会議システムの構成の一例を示すブロック図である。
【図２】クライアントＰＣの構成を示すブロック図である。
【図３】サーバにおける蓄積部の構成を示すブロック図である。
【図４】会議情報可視化部の構成を示すブロック図である。
【図５】注釈処理部での処理の概要を示すフローチャートである。
【図６】会議検索インタフェースＧＵＩの一例を示す図である。
【符号の説明】
１    ネットワーク
２    サーバ
３    クライアントＰＣ
１１    マイクロホン
１２    カメラ
１３    キーボード
１４    マウス
１５    センサ
１６    表示装置
１７    スピーカ
２１    音声入力部
２２    映像入力部
２３    キーボード入力管理部
２４    マウス入力管理部
２５    センサ入力管理部
２６    ＶＡＤ部
２７    符号化部
２８    時間管理部
２９    ネットワーク管理部
３１    音声蓄積部
３２    映像蓄積部
３３    センサ情報蓄積部
３４    時刻・番地対応情報蓄積部
３５    注釈記憶部
３６    信号特徴量処理結果記憶部
４１    ネットワーク制御装置
４２    バッファ
４３    ネットワーク復号部
４４    分離部
４５    記憶制御部
５１    ユーザ操作入力部
５２    時刻情報変換部
５３    データ取得部
５４    音声再生部
５５    映像再生部
５６    信号特徴量処理部
【図１】
2004173058.tif 000004
【図２】
2004173058.tif 000005
【図３】
2004173058.tif 000006
【図４】
2004173058.tif 000007
【図５】
2004173058.tif 000008
【図６】
2004173058.tif 000009