(57)【要約】【課題】  例えば会議に関連の深い人物や当該会議に関連の深い発言を行なう人物等を優先的に撮影する等して会議等において効果的な画像を提供する。【解決手段】  参加者認識部３は参加者の個人認識を行い、処理部５は、人物に係る人物情報を人物毎に保持するデータベース１１から、個人認識がなされた人物の人物情報を取得し、推論部１０ａは、認識された各人物の人物情報に基づいて各人物について優先度を決定する。カメラ１は、各人物について決定された優先度に基づいて制御がなされる。【選択図】  図１
2007067972.tif 000002
【特許請求の範囲】
【請求項１】
人物の個人認識を行う認識手段と、
人物に係る人物情報を人物毎に保持する第１のデータベースから、前記認識手段により認識された人物の人物情報を取得する人物情報取得手段と、
前記認識手段により認識された各人物の人物情報に基づいて、前記各人物について優先度を決定する優先度決定手段と、
前記各人物について決定された優先度に基づいて、複数の撮像装置の制御を行う制御手段とを有することを特徴とする会議システム。
【請求項２】
前記優先度決定手段は、第２のデータベースに保持されるキーワード情報と、前記人物情報取得手段により取得された前記各人物の人物情報とを照合し、その照合結果に基づいて前記各人物について優先度を決定することを特徴とする請求項１に記載の会議システム。
【請求項３】
前記優先度決定手段は、前記第２のデータベースに保持されるキーワード情報と、そのキーワード情報に対応する前記人物情報に含まれるキーワード情報との一致度に応じて、決定する優先度を変更することを特徴とする請求項２に記載の会議システム。
【請求項４】
前記優先度決定手段は、前記第２のデータベースに保持されるキーワード情報と一致する前記人物情報に含まれるキーワード情報の内容に応じて、決定する優先度を変更することを特徴とする請求項２又は３に記載の会議システム。
【請求項５】
前記優先度決定手段は、前記第２のデータベースに保持されるキーワード情報と一致する前記人物情報に含まれるキーワード情報の数に応じて、決定する優先度を変更することを特徴とする請求項２に記載の会議システム。
【請求項６】
前記優先度決定手段は、前記第２のデータベースに保持されるキーワード情報と一致する前記人物情報に含まれるキーワード情報に対応する時期情報を前記第１のデータベースから参照し、前記時期情報に応じて、決定する優先度を変更することを特徴とする請求項２乃至５の何れか１項に記載の会議システム。
【請求項７】
前記第２のデータベースに保持されるキーワード情報は、会議の内容に係るキーワード情報であることを特徴とする請求項２乃至６の何れか１項に記載の会議システム。
【請求項８】
前記優先度決定手段は、前記各人物の人物情報に含まれる人物の役職を示す情報に応じて、決定する優先度を変更することを特徴とする請求項１乃至７の何れか１項に記載の会議システム。
【請求項９】
前記認識手段は、前記撮影手段により撮影された画像データに基づいて人物の個人認識を行うことを特徴とする請求項１乃至８の何れか１項に記載の会議システム。
【請求項１０】
前記認識手段は、接触又は非接触で通信を行う通信装置から受信する人物の個人情報に基づいて人物の個人認識を行うことを特徴とする請求項１乃至８の何れか１項に記載の会議システム。
【請求項１１】
音声データを取得する音声データ取得手段と、
前記音声データに基づいて人物の認識を行う認識手段と、
前記音声データから所定のキーワード情報を抽出するキーワード抽出手段と、
前記キーワード情報に基づいて、前記認識手段により認識された人物の優先度を決定する優先度決定手段と、
前記認識手段により認識された各人物について決定された優先度に基づいて、複数の撮像装置の制御を行う制御手段とを有することを特徴とする会議システム。
【請求項１２】
前記優先度決定手段は、第３のデータベースに保持されるキーワード情報と、前記キーワード抽出手段により抽出されるキーワード情報とを照合し、その照合結果に基づいて前記各人物について優先度を決定することを特徴とする請求項１１に記載の会議システム。
【請求項１３】
前記優先度決定手段は、前記第３のデータベースに保持されるキーワード情報と、そのキーワード情報に対応する前記キーワード抽出手段により抽出されるキーワード情報との一致度に応じて、決定する優先度を変更することを特徴とする請求項１２に記載の会議システム。
【請求項１４】
前記優先度決定手段は、前記第３のデータベースに保持されるキーワード情報と一致する前記キーワード抽出手段により抽出されるキーワード情報の内容に応じて、決定する優先度を変更することを特徴とする請求項１２又は１３に記載の会議システム。
【請求項１５】
前記優先度決定手段は、前記第３のデータベースに保持されるキーワード情報と一致する前記キーワード抽出手段により抽出されるキーワード情報の数に応じて、決定する優先度を変更することを特徴とする請求項１２に記載の会議システム。
【請求項１６】
前記優先度決定手段は、前記音声データに基づいて該当する人物の発言時間を検出し、その発言時間の長さに応じて、決定する優先度を変更することを特徴とする請求項１０乃至１５の何れか１項に記載の会議システム。
【請求項１７】
前記撮像装置により撮影される画像データを用いて各人物の動線を分析する動線分析手段と、
前記認識手段により人物の個人認識が行なわれた順序と、前記動線分析手段により人物の動線分析が行なわれた順序とに基づいて、各人物の位置を特定する位置特定手段とを更に有し、
前記制御手段は、前記位置特定手段により特定される各人物の位置に基づいて、前記撮像装置の制御を行うことを特徴とする請求項１乃至１６の何れか１項に記載の会議システム。
【請求項１８】
前記撮像装置により撮影される画像データを用いて各人物の位置を特定する位置特定手段を更に有し、
前記制御手段は、前記位置特定手段により特定される各人物の位置に基づいて、前記撮像装置の制御を行うことを特徴とする請求項１乃至１６の何れか１項に記載の会議システム。
【請求項１９】
複数の撮像装置を有する会議システムの制御方法であって、
人物の個人認識を行う認識ステップと、
人物に係る人物情報を人物毎に保持するデータベースから、前記認識ステップにより認識された人物の人物情報を取得する人物情報取得ステップと、
前記認識ステップにより認識された各人物の人物情報に基づいて、前記各人物について優先度を決定する優先度決定ステップと、
前記各人物について決定された優先度に基づいて、前記撮像装置の制御を行う制御ステップとを含むことを特徴とする会議システムの制御方法。
【請求項２０】
複数の撮像装置を有する会議システムの制御方法であって、
音声データを取得する音声データ取得ステップと、
前記音声データに基づいて人物の認識を行う認識ステップと、
前記音声データから所定のキーワード情報を抽出するキーワード抽出ステップと、
前記キーワード情報に基づいて、前記認識ステップにより認識された人物の優先度を決定する優先度決定ステップと、
前記認識ステップにより認識された各人物について決定された優先度に基づいて、画像を撮影する少なくとも一つの撮像装置の制御を行う制御ステップとを含むことを特徴とする会議システムの制御方法。
【請求項２１】
請求項１９又は２０に記載の会議システムの制御方法をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビ会議システム等に適用可能な会議システム及び会議システムの制御方法に関するものである。
【背景技術】
【０００２】
従来、遠隔地にいる複数の会議参加者同士で会議を行うことが可能なテレビ会議システムが実現されている。このシステムはカメラ、ディスプレイ、マイク等で構成され、固定カメラでお互いの会議室全体を撮影して会議を行う場合や、会議参加者が手動で相手側に設置されたカメラを遠隔操作して見たい映像を表示する場合や、音声によって発言者を特定して発言者を撮影する場合がある。その映像をディスプレイに表示して、遠隔地にいる参加者同士はそのディスプレイに表示された映像を通して会議を行っていた。
【０００３】
例えば、特許文献１には、テレビ会議や遠隔監視などの際に、利用者の希望するカメラ姿勢等を簡単かつ瞬時に指示できるようにすることを目的とするものが開示されている。これは、雲台付きカメラで撮影した映像と、広角カメラにより撮影した映像とを表示部に映し出し、映像を見ながら遠隔の雲台付きカメラの姿勢制御を行う時、カメラが運動して撮影できる全ての領域の映像を見ながら雲台を制御できるものである。これにより、利用者は、あたかもカメラマンのようにカメラを持ってその場所に居ながら撮影範囲を制御しているかのように感じられ、容易に操作することができるものである。
【０００４】
また、特許文献２には、設置作業が容易であって、参加者の数に制限のない会議撮影装置を提供することを目的とするものが開示されている。これは、無指向性マイクで周囲の音声を集音し、音声の中から参加者の声紋を抽出し、声紋データから発言者を特定し、参加者の中心に位置する回転カメラを発言した参加者の方に向けることにより、発言者の撮影を行う事ができるものである。
【０００５】
【特許文献１】特開２０００−０３２３１９号公報
【特許文献２】特開平１０−３０４３２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明の目的は、上記技術を改良して、例えば会議に関連の深い人物や当該会議に関連の深い発言を行なう人物等を優先的に撮影する等して会議等において効果的な画像を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の会議システムの第１の態様は、人物の個人認識を行う認識手段と、人物に係る人物情報を人物毎に保持する第１のデータベースから、前記認識手段により認識された人物の人物情報を取得する人物情報取得手段と、前記認識手段により認識された各人物の人物情報に基づいて、前記各人物について優先度を決定する優先度決定手段と、前記各人物について決定された優先度に基づいて、複数の撮像装置の制御を行う制御手段とを有することを特徴とする。
本発明の会議システムの第２の態様は、音声データを取得する音声データ取得手段と、前記音声データに基づいて人物の認識を行う認識手段と、前記音声データから所定のキーワード情報を抽出するキーワード抽出手段と、前記キーワード情報に基づいて、前記認識手段により認識された人物の優先度を決定する優先度決定手段と、前記認識手段により認識された各人物について決定された優先度に基づいて、複数の撮像装置の制御を行う制御手段とを有することを特徴とする。
本発明の会議システムの制御方法の第１の態様は、複数の撮像装置を有する会議システムの制御方法であって、人物の個人認識を行う認識ステップと、人物に係る人物情報を人物毎に保持するデータベースから、前記認識ステップにより認識された人物の人物情報を取得する人物情報取得ステップと、前記認識ステップにより認識された各人物の人物情報に基づいて、前記各人物について優先度を決定する優先度決定ステップと、前記各人物について決定された優先度に基づいて、前記撮像装置の制御を行う制御ステップとを含むことを特徴とする。
本発明の会議システムの制御方法の第２の態様は、複数の撮像装置を有する会議システムの制御方法であって、音声データを取得する音声データ取得ステップと、前記音声データに基づいて人物の認識を行う認識ステップと、前記音声データから所定のキーワード情報を抽出するキーワード抽出ステップと、前記キーワード情報に基づいて、前記認識ステップにより認識された人物の優先度を決定する優先度決定ステップと、前記認識ステップにより認識された各人物について決定された優先度に基づいて、画像を撮影する少なくとも一つの撮像装置の制御を行う制御ステップとを含むことを特徴とする。
本発明のプログラムは、前記会議システムの制御方法の第１又は第２の態様をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【０００８】
本発明においては、各人物の人物情報や音声データに含まれるキーワード情報に基づいて、各人物について優先度を決定し、その優先度に基づいて撮影装置の制御を行なうように構成している。従って、本発明によれば、例えば会議に関連の深い人物情報を有する人物や当該会議に関連の深い発言を行なう人物等に高い優先度を付与し、付与された優先度に基づいて或る人物を優先的に撮影する等して会議等に効果的な画像を提供することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１０】
本発明の実施形態に係るテレビ会議システムでは、参加者の属性や経歴情報等の参加者情報と会議の内容に沿って、参加者に優先度を付け、議題に関連の深い人物を中心としたカメラワークを行う。
【００１１】
図１は本発明の実施形態に係るテレビ会議システムの構成図である。本実施形態に係るテレビ会議システムは、参加者を撮影するための複数台のカメラ１（撮像装置）、外部地点の参加者を表示するディスプレイ２、マイク４からなる。また、参加者認識部３は、ディスプレイ２に内臓あるいは外部接続、参加者と参加者情報を対応させる処理部５、記録部６、参加者の優先度を算出する推論部１０ａ、参加者情報を持つデータベース１１及びキーワードデータベース１２で構成される。なお、処理部５、記録部６、推論部１０ａ、データベース１１及びキーワードデータベース１２は、パーソナルコンピュータなどの情報処理装置によって構成される。
【００１２】
次に図２を用いて、参加者認識部３によって参加者情報を取得する方法について説明する。図２は、参加者情報の取得方法について２つの実施形態を示したものである。図２（ａ）に示す例では、参加者認識部３がリーダ８によって構成される例を示している。リーダ８は、会議室の入口に設置され、参加者が所持しているタグ７内の個人情報を読み取ることにより参加者を認識する。なお、参加者が有するタグ７は無線通信により非接触でリーダ８と通信するが、他の実施形態として、リーダ８と接触型で通信を行ない、内部に記録される個人情報を接触型の通信でリーダ８に読み取らせる通信装置を用いてもよい。処理部５は、読み取られた参加者のＩＤからデータベース１１を参照して参加者に関する情報（参加者情報）を取得する。推論部１０ａは処理部５によって取得された参加者情報に基づいて参加者の優先度を算出し、記録部６に参加者情報と優先度を対応付けて記録する。
【００１３】
図２（ｂ）に示す例では、参加者認識部３がカメラ１及び画像処理部９ａによって構成され、画像認識によって参加者を認識する例を示したものである。具体的には、会議室に入室する参加者をカメラ１で撮影する。そして、画像処理部９ａは、カメラ１で撮影された画像データから参加者の特徴情報を抽出し、抽出した特徴情報と特徴データベース１３ａに登録された人物の特徴情報とから参加者を認識する構成からなる。そして、処理部５は、認識された参加者の識別情報に基づいて属性や経歴（参加者情報）をデータベース１１から取得する。推論部１０ａは、処理部５によって取得された参加者情報に基づいて優先度を算出し、記録部６に参加者情報と優先度を記録する。その他、ここでは図示しないが、入室する際の参加者認識部３が参加者の指紋・虹彩・静脈等を認識し、同様の後段の処理によってバイオメトリクスによる参加者の認証等を行ってもよい。
【００１４】
ここで、参加者情報の取得の際に用いられるデータベース１１について詳細に説明する。図３は、データベース１１において格納されるデータの一構成例を模式的に示す図である。属性には、役職、所属、専門、氏名といったものが記録されており、経歴には、過去の所属や担当業務などが記録されている。その他に関連分野のキーワード、個人の論文・特許といったものを記録しておく。論文や特許に関しては、社内ネットワークに接続されたデータベースではなく、ネットワークに接続された外部のデータベースから収集してきてもよい。これらの情報は、その参加者が会議の議題とどれだけ関連があるかといった関連の深さや、その議題に対して決定権を持つかといった判断に用いることができる。
【００１５】
テレビ会議システムにおいて特定の参加者に注目して撮影を行うためには、誰がどこにいるか参加者の位置を認識する必要がある。参加者の位置を取得する方法について図４を用いて説明する。図４は、参加者の位置の取得方法について２つの実施形態を示したものである。
【００１６】
図４（ａ）は、動線分析と参加者情報を結びつけることにより、参加者の位置情報を取得する方法である。この方法は以下のとおりである。まず、参加者の入室前に会議室の入口で参加者認識部３によって個人認識が行われる。そして、参加者を認識した順番が記録部６に記憶される。このとき認識された参加者にはそれぞれ入室順に番号を付与する。参加者が入室したときに、入室してきた参加者を室内に設置されているカメラ１で撮影し、第二の画像処理部９ｂによって動線分析を行う。具体的には、入室してきた参加者をカメラ１によってそれぞれ追尾し、動線分析結果として参加者の移動履歴および最終的な位置情報を蓄積することで参加者の動線を把握できる。そして、参加者認識部３によって参加者を認識した順番と、入室した順番に応じた動線分析の結果を対応付けることによって、誰がどこに座ったかを特定できる。その結果を参加者の位置情報として参加者情報とともに記録部６に記録する。
【００１７】
図４（ｂ）は、図２（ｂ）の参加者認識方式による参加者情報及び位置情報を取得する方法について示す。この場合、会議参加者が着席後にそれぞれのカメラ１が撮影した画像データに基づいて画像処理部９ａが画像認識を行って参加者を認識するとともに、カメラ１から当該参加者への方向及び距離を算出することで、参加者の認識及び参加者の位置情報の取得を行うことができる。そして、参加者の認識を行った後に処理部５が参加者の属性や経歴等の参加者情報をデータベース１１から参照し、推論部１０ａは参加者情報に基づいて優先度を算出し、位置情報とともに記録部６に記録する処理が行われる。
【００１８】
ここで図４（ａ）の場合において、会議室への入室時の参加者の認識の順番と参加者が入室する順番にずれによって、参加者情報と位置情報のミスマッチを防ぐために、図４（ｂ）に示した方法を併用してもよい。ただし、その場合は入室前にデータベース１１を参照して参加者情報を取得しているので、入室後に再度データベース１１を参照して参加者情報を取得する必要は無く、優先度を算出する必要もない。さらに、参加者は入室時に特定されているので、図４（ｂ）に示す方法での画像認識ではその参加者か否かを判断するだけでよい。もし、ミスマッチと判定されたら会議に参加している他の参加者を認識して正しい参加者と位置情報の対応付けを行う。
【００１９】
次に、参加者が認識された際に優先順位付けを行うための情報処理装置の処理の流れを図５のフローチャートを用いて説明する。ステップＳ１において参加者認証部３から参加者の認識情報を受信すると、ステップＳ２において、処理部５はデータベース１１に問い合わせて該当する参加者情報を取得する。このとき、参加者情報として参加者の属性情報、経歴情報、参加者の特許数及び内容のポイントが取得される。さらにステップＳ３において、処理部５は取得した参加者情報の数から参加者の人数をカウントする。ステップＳ４において、その会議に関連するキーワードと参加者情報から推論部１０ａによって優先度を算出し、記録部６に参加者情報とともに記録しておく。会議に関連するキーワードについては議長もしくは参加者が、情報処理装置が接続している社内イントラネットの会議予約システム等を利用して会議に関連したキーワードや会議内容などをあらかじめ入力し、記録部６に格納しておく。続くステップＳ５において、推論部１０ａは現在認識している参加者の人数が１人より多い場合、ステップＳ４で算出した優先度から優先順位付けを行う。この処理を全ての参加者に対して行うことで、参加者全員に優先順位のランキングを付けることができる。
【００２０】
ここで、ステップＳ４における優先度の算出方法について説明する。優先度は参加者の決定権と関連度から算出される。決定権は参加者が会議の決定権がどの程度あるかを示す値である。また、関連度は参加者が議題に対してどの程度関連があるかを示す値である。決定権は属性情報に含まれる役職に応じて数値を与える。例えば、役職が部長と一般職では決定権は部長の方が高い数値となる。その他、ネットワークに接続された検索システムを用いて名前を検索した際にヒットした数を考慮した社会的影響度を決定権に加えても良い。
【００２１】
次に関連度について以下に説明する。関連度は、各キーワードの一致度と関連の深さから得られる値とキーワード一致数と経歴から得られる値との合計から算出する。図６にキーワードデータベース１２に登録されたツリー構造のキーワード表の一例を示す。
【００２２】
まず、キーワード一致度と関連の深さについて説明する。例えば、議題に関連したキーワードとして「テンプレートマッチング」というキーワードが登録されていた時、参加者情報に「テンプレートマッチング」というキーワードがあれば、キーワード一致度は１とする。そして、「テンプレートマッチング」ではないが、類似性のある「マッチング」というキーワードがあれば、キーワード一致度は例えば０．９として算出する。さらに一致度には関連の深さが考慮され、一致したキーワードがツリー構造の枝の末端に存在するキーワードであれば関連の深さは１となる。しかし、ツリー構造の幹に近い言葉ほど広い意味のキーワードになるので関連の深さは０に近くなる。例えば、「画像処理」といったキーワードで一致度が高くても、「画像処理」に含まれる意味は広い（ツリー構造の幹に近い）。そのため、キーワード一致度に対応する値と関連の深さに対応する値との双方を考慮した場合、例えばこれらの値の乗算等が行われると、得られる値は１より小さい値となる。
【００２３】
次に、キーワード一致数と年数について説明する。これは、データベース１１を参照し、一致したキーワード数とそのキーワードが検出された経歴に基づいて算出する。例えば、参加者情報において議題に関連したキーワードと一致したキーワードの種類の合計が複数の参加者で同じであった場合、過去に関連していた参加者よりも現在この仕事に関連している参加者の方が関連があると判断する。また、キーワード数に関しては、検出したキーワード数のどこか一つの数値を境にして、関連性の有無を決定することは難しいので、曖昧さを持たせるためにファジィを用いる。図７にこの場合のファジィ変数とファジィルールの一例を示す。図７（ａ）は後件部ファジィ変数、図７（ｂ）はファジィルールである。解の合成手法においてMin-Max法において重心をとる演算は、求める重心をy0、横軸をy、合成したファジィ集合をμ(y)とすると式１のように定義できる。
【００２４】
【数１】
2007067972.tif 000003
【００２５】
このように関連度を、キーワード一致度と関連の深さから得られる値、およびキーワード一致数と経歴から得られる値の合計から算出する。優先度の算出にこの関連度を用いることで、同じ役職だとしても議題に関連した参加者の方が優先度は高くなる。
なお、便宜的にキーワード一致度と関連の深さから得られる値のみを関連度としてもよいし、キーワード一致数と年数から得られる値のみを関連度としてもよい。
【００２６】
以上説明したように、会議の議題、関連キーワードと参加者の属性、経歴情報から会議が行われる時に自動で参加者の優先順位付けを行うことによって、予定外の参加者にも柔軟に対応できる。さらに、議長が会議参加者の過去の経歴や専門分野などを知らなくても、会議内容に応じてその都度参加者の優先順位付けを行うことができる。
【００２７】
これまで説明した参加者の優先度に基づくカメラワーク例を図８に示す。参加者の位置情報は上述したとおり参加者情報とともに記録部６に記録されている。この位置情報に基づいて、カメラ１による参加者の撮影が行われる。参加者がカメラ１の台数を越える場合、発言者を撮影しているカメラ１以外は、参加者の優先順位順に、適切な位置に設置されているカメラ１を参加者の撮影に割り当てる制御が行なわれる。また、例えば、最も優先順位の高い参加者については、図８（ａ）に示すようにズームアップ撮影を行う制御をしてもよい。その次に優先順位の高い参加者については、図８（ｂ）のように数人程度まとめてズームして撮影を行う制御をしてもよい。その他の参加者については、図８（ｃ）のように広角で撮影を行う制御をしてもよい。このように撮影された映像を見ることによって、発言者や会議に参加している参加者は、議題に適した参加者の反応を見ることができる。なお、カメラワークはここで示したものに限ったものではない。
【００２８】
以上説明したように、優先順位に応じたカメラワークを行うことで、意思決定者や議題に関連の深い参加者を優先的に撮影することができ、発言者側もしくは、聞き手側にいる発言者の意見に対する、意思決定者や議題に関連の深い参加者の反応を見ることができる。
【００２９】
次に、本発明の他の実施形態として、参加者の音声からキーワードを検出・認識し、参加者に優先順位を付け、議題や話の流れに応じたカメラワークを行うテレビ会議システムについて説明する。
【００３０】
図９は本発明の他の実施形態に係るテレビ会議システムの構成図である。この実施の形態の情報処理装置は、記録部６，第二の推論部１０ｂ，キーワードデータベース１２，第二のデータベース１３ｂ，音声処理部１４を備える。音声処理部１４は、参加者の音声からキーワードを検出・認識し、参加者との対応付けを行う。第二の推論部１０ｂは、発言時間、発言キーワードによって優先度を算出する。なお、人物毎に音声データの特徴情報を記録する第二の特徴データベース１３ｂ以外の基本構成（例えば、参加者の位置を検出し、その検出結果に基づいてカメラ１の駆動制御を行うための構成等）は第１の実施形態と同じであるのでその説明は省略する。
【００３１】
初めに、参加者の発言を認識した際に優先順位付けを行う処理の流れを図１０のフローチャートを用いて説明する。ステップＳ１１において、音声処理部１４は、マイク４から発言者の音声データを取得し、取得した音声データの特徴情報と特徴データベース１３ａに登録された人物の特徴情報とから発言者を認識する。次に、音声処理部１４はステップＳ１２において発言者と参加者との対応を記録部６に記録する。
【００３２】
次に音声処理部１４はステップＳ１３において音声データの音声分割を行い、ステップＳ１４で参加者の発言からキーワードを抽出すると、ステップＳ１５で、記録部６において発言者及び参加者に発言時間を更に対応付けて登録する。
【００３３】
次に第二の推論部１０ｂは、ステップＳ１６で抽出された各キーワードから優先度を算出し、記録部６において発言者、参加者及び発言時間に優先度を更に対応付けて登録する。
【００３４】
キーワードデータベース１２においては、事前に登録したキーワードの他に、会議の中で頻繁に発生するキーワードも重要と判断し、優先度を算出するためのキーワードとしてキーワードデータベース１２に登録される。例えば事前に「背景差分」といったキーワードを登録していなかったとしても、会議の中で頻繁に使われるようであれば、それに関連した属性や経歴を持つ会議参加者の優先度は高くなる。従って、会議を始める時には優先度が高くなかった参加者だとしても、話の流れに応じては優先度が高くなる。これにより、会議の話の流れに応じてリアルタイムで参加者の優先度を算出できる。そのため、事前に予定していた会議の内容と途中で議題が変わってしまったとしても、会議内容に応じてその都度参加者の優先順位付け（ステップＳ１７）を行うことができる。
【００３５】
ここで、ステップ１６の優先度の算出方法について説明する。ステップＳ１６の優先度の算出方法は、図５のステップＳ４での優先度の算出方法に発言者か否かと発言時間の合計が更に考慮されたものである。発言中であれば発言者度を１とする。無音になった瞬間に発言者度を０にすると、一呼吸おいただけでも発言者ではないと判断されてしまうため、発言後も一定時間までは発言者であるとする。これを図１１に示す。発言時間は発言時間の合計から変換した値を用いる。本実施形態では、これらの値を図５のステップＳ４の優先度の算出に用いられる各要素の値に加算又は乗算することによって優先度を求める。但し、本実施形態では、優先度の算出処理の際に参加者情報は用いていないため、データベース１１を参照してキーワードが検出された経歴の年は優先度の算出に考慮されない。
【００３６】
図１２に、表示切り替え部によって選択された映像を、聞き手側のディスプレイに表示する際の画面表示レイアウト例を示す。図１２（ａ）は、発言者と発言者側にいる意思決定者を表示している場合である。また、図１２（ｂ）は、さらに、議題に関連が深い参加者を撮影した映像を同時に表示している場合を示している。表示方法のレイアウトに関してはここで示した種類に限ったものではない。画面構成は、マルチ画面ではなくシングル画面でもよい。画面設定は自動もしくは手動で変更できるものである。画面表示の切り替えに関しては、注目人物優先、発言者優先、ハイブリッドなどのモードがあり、注目人物優先モードでは、推論部１０ａによって算出された優先順位に応じて優先度の高い参加者をメイン画面に表示し、次に優先順位の高い参加者を撮影している映像をサブ画面に表示する処理が行われる。発言者優先モードでは、第二の推論部１０ｂによって算出された発言者の中で優先順位の高い参加者をメイン画面に表示して、次に優先順位の高い発言者を撮影している映像をサブ画面に表示する処理が行われる。ハイブリッドモードでは、発言者をメイン画面に表示し、意思決定者などの注目人物をサブ画面に表示する。この表示は逆でも良い。モードの設定は発言時間に応じて自動で切り替わるか参加者が手動で行っても良い。例えば、聞き手側のディスプレイには発言者優先モードもしくはハイブリッドモードで表示し、発言者側のディスプレイには注目人物優先モードで表示するというようになる。
【００３７】
上述した実施形態によれば、カメラは発言者に注目して撮影を行うだけではなく、参加者の属性情報や経歴によって、議題や話の流れに応じて参加者に優先順位をつけ、その発言に対する意思決定者や議題に関連の深い参加者を優先的に撮影することができる。従って、発言者やその他の会議参加者は、発言者側もしくは、別地点にいる意思決定者や議題に関連の深い参加者の意見に対する反応を見ることが可能となり、効果的な映像を表示することができるテレビ会議を行うことができる。
【００３８】
さらに、会議を行う場合に、重要な意見は議題に関連した知識を持つ参加者から出ることが多いと想定される。そのため、議題に応じた人物を中心的に撮影しておくことにより、カメラ映像が頻繁に切り替わったり、音に対してカメラが敏感に反応したりすることを少なくすることができる。
【００３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、上述した情報処理装置に供給し、その情報処理装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００４０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施形態に係るテレビ会議システムの構成図である。
【図２】参加者認証部によって参加者情報を取得する方法を説明するための図である。
【図３】データベースにおいて格納されるデータの一構成例を模式的に示す図である。
【図４】参加者の位置を取得する方法について説明するための図である。
【図５】参加者を認証した際に優先順位付けを行う処理の流れを示すフローチャートである。
【図６】キーワードデータベースに登録されたツリー構造のキーワード表の一例を示す図である。
【図７】ファジィ変換とファジィルールの一例を示す図である。
【図８】参加者の優先度に応じたカメラワーク例を示す図である。
【図９】本発明の他の実施形態に係るテレビ会議システムの構成図である。
【図１０】参加者の発言を認識した際に優先順位付けを行う処理の流れを示すフローチャートである。
【図１１】発言者度と発言時間との関係を示す図である。
【図１２】表示切り替え部によって選択された映像を、ディスプレイに表示する際の画面表示レイアウト例を示す図である。
【符号の説明】
【００４５】
１  カメラ
２  ディスプレイ
３  参加者認識部
４  マイク
５  処理部
６  記録部
７  タグ
８  リーダ
９  画像処理部
１０ａ  推論部
１０ｂ  第二の推論部
１１  データベース
１２  キーワードデータベース
１３ａ  特徴データベース
１３ｂ  第二の特徴データベース
１４  音声処理部
【図１】
2007067972.tif 000004
【図２】
2007067972.tif 000005
【図３】
2007067972.tif 000006
【図４】
2007067972.tif 000007
【図５】
2007067972.tif 000008
【図６】
2007067972.tif 000009
【図７】
2007067972.tif 000010
【図８】
2007067972.tif 000011
【図９】
2007067972.tif 000012
【図１０】
2007067972.tif 000013
【図１１】
2007067972.tif 000014
【図１２】
2007067972.tif 000015