(57)【要約】【課題】  振り返りを支援できる情報処理装置を提供することを目的とする。【解決手段】  マルチモーダル認識部３は、挙手、起立、板書などの動作解析などの画像処理、話者交代、話者同定や、キーパーソンの抽出などにより会議の重要部分を観測し、時間ごとの重要度重みを算出する。次に、マルチモーダル認識部３は、この重要度重みを発話単位毎に集計し、会議の重要部分を同定する。また、マルチモーダル認識部３は、所定区間内で、発話単語数、言い淀みの感動詞、声量、声量の変化率、音声のピッチ変化、顔の傾きを、所定の重みで換算し、場面ごとの重要度係数を算出する。次に、マルチモーダル認識部３は、この重要度係数に基づいて、場面ごとにキーパーソンを推定する。【選択図】          図１
2006279111.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術および画像情報から特徴量を認識する技術の少なくとも一方を用いて、該特徴量を抽出する抽出手段と、
前記抽出手段が抽出した特徴量を集計する集計手段と、
前記集計手段による集計結果に基づいて、前記撮影手段が撮影した空間の状態を推定する推定手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記推定手段は、前記集計手段による集計結果を所定の重要度に関連付けることによって前記撮影手段が撮影した空間の状態を推定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記推定手段は、前記集計手段による集計結果に基づいて、前記撮影手段が撮影した空間内のキーパーソンを推定することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記推定手段は、キーパーソンが発話した部分、発話速度が所定の速度よりも速い部分、音声が所定の大きさよりも大きい部分、ピッチが所定のピッチよりも高い部分、挙手した後の部分、議決した後の部分、所定の期間内に所定の回数だけ話者交代がある部分、起立している人がいる部分、板書している人がいる部分、所定の回数よりも私語が少ない部分および発話の後に所定区間だけ発言しない区間がある部分のうち少なくとも１つを、前記撮影手段が撮影した空間の状態として推定することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記映像情報を再生する再生装置の利用履歴を記録する記録手段と、
前記再生装置の利用履歴に基づいて、前記重要度を算出する関数を学習する制御手段とをさらに備えることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記抽出手段は、発話単語数、発話音素数、感動詞の出現回数、声量、声量の時間変化、音素のピッチ変化および顔の傾きのうち少なくとも１つを、前記特徴量として抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記音響情報から特徴量を認識する技術は、音源推定、発話単位検出、発話衝突検出、話速検出、ピッチ検出、音量検出、無音区間検出、音質同定、言い淀み検出および拍手検出のうちの少なくとも１つを含むことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記画像情報から特徴量を認識する技術は、顔検出、所作検出および位置検出のうちの少なくとも１つを含むことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記集計手段は、発話単位に前記特徴量を集計することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記推定手段が推定した撮影手段が撮影した空間の状態に基づいて、前記映像情報に対して索引を付与する付与手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術および画像情報から特徴量を認識する技術の少なくとも一方を用いて、該特徴量を抽出する抽出ステップと、
前記特徴量を集計する集計ステップと、
前記特徴量の集計結果に基づいて、前記撮影手段が撮影した空間の状態を推定する推定ステップと
を有することを特徴とする情報処理方法。
【請求項１２】
前記推定ステップは、前記特徴量の集計結果を、所定の重要度に関連付けることによって前記撮影手段が撮影した空間の状態を推定することを特徴とする請求項１１に記載の情報処理方法。
【請求項１３】
前記推定ステップは、前記特徴量の集計結果に基づいて、前記撮影手段が撮影した空間内のキーパーソンを推定することを特徴とする請求項１１に記載の情報処理方法。
【請求項１４】
前記映像情報を再生する再生装置の利用履歴を記録するステップと、
前記再生装置の利用履歴に基づいて、前記重要度を算出する関数を学習するステップとをさらに有することを特徴とする請求項１１に記載の情報処理方法。
【請求項１５】
前記推定された撮影手段が撮影した空間の状態に基づいて、前記映像情報に対して索引を付与するステップをさらに有することを特徴とする請求項１１に記載の情報処理方法。
【請求項１６】
撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術および画像情報から特徴量を認識する技術の少なくとも一方を用いて、該特徴量を抽出するステップ、
前記特徴量を集計するステップ、
前記特徴量の集計結果に基づいて、前記撮影手段が撮影した空間の状態を推定するステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、テレビ会議システムにおいて、カメラの制御を無線通信により取得した参加者の位置情報により制御する技術が提案されている。たとえば予めテレビ会議システムの本体装置側に会議参加者の重要度情報を組み込んでおき、この情報をもとにカメラを制御する。また、参加者が携帯している無線通信機能を有する発信機から定期的に自局情報のデータを送信し、テレビ会議システムの本体側では、発信機からの自局情報をアンテナ２本で受信し、電波強度の差から位置情報を計算・蓄積し、カメラ制御権のある発信機に対して、カメラの撮影位置を抽出し、カメラ制御権のある発信機を携帯する参加者が画面に正しく表示することを可能とする（特許文献１）。また、インデックスとインデックスに関連付けられた重要度からビデオストリームの重要度を定める方法が提案されている（特許文献２）。
【０００３】
【特許文献１】特開２０００−１９７０２７号公報
【特許文献２】特開２００４−８０７６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来から、会議においては、振り返りや、欠席者、関連者へ会議の状況を伝えるために議事録が作成されることがあった。近年、録音・録画が容易に行えるようになり、画像や音声を収録する場合もある。例えば、間隔を置いて定期的に開催される会議においては、会議の冒頭で前回の会議の要約を視聴することにより、会議の効率が上がることが知られている。このためには、主に手作業で録音や録画の要約を作成する必要があり、コストや手間に重大な課題があるために、一般的な会議では殆ど普及していない。
【０００５】
一方で、要約をすることなしに、未編集の録音や録画を視聴する場合を想定すると、視聴するために会議と同じ時間を要するなど、再利用のための効率が悪いという課題があった。そのため、未編集の録音や録画のビデオは殆ど活用されることはなかった。
【０００６】
そこで、本発明は、上記問題点に鑑みてなされたもので、振り返りを支援できる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術および画像情報から特徴量を認識する技術の少なくとも一方を用いて、該特徴量を抽出する抽出手段と、前記抽出手段が抽出した特徴量を集計する集計手段と、前記集計手段による集計結果に基づいて、前記撮影手段が撮影した空間の状態を推定する推定手段とを備えることを特徴とする情報処理装置である。これにより、特徴量を用いて撮影手段が撮影した空間の状態を推定することによって振り返りを支援できる。
【０００８】
前記推定手段は、前記集計手段による集計結果を所定の重要度に関連付けることによって前記撮影手段が撮影した空間の状態を推定することを特徴とする。
【０００９】
前記推定手段は、前記集計手段による集計結果に基づいて、前記映像内のキーパーソンを推定することを特徴とする。前記推定手段は、キーパーソンが発話した部分、発話速度が所定の速度よりも速い部分、音声が所定の大きさよりも大きい部分、ピッチが所定のピッチよりも高い部分、挙手した後の部分、議決した後の部分、所定の期間内に所定の回数だけ話者交代がある部分、起立している人がいる部分、板書している人がいる部分、所定の回数よりも私語が少ない部分および発話の後に所定区間だけ発言しない区間がある部分のうち少なくとも１つを、前記撮影手段が撮影した空間の状態として推定することを特徴とする。
【００１０】
本発明の情報処理装置は、前記映像情報を再生する再生装置の利用履歴を記録する記録手段と、前記再生装置の利用履歴に基づいて、前記重要度を算出する関数を学習する制御手段とをさらに備える。前記抽出手段は、発話単語数、発話音素数、感動詞の出現回数、声量、声量の時間変化、音素のピッチ変化および顔の傾きのうち少なくとも１つを、前記特徴量として抽出することを特徴とする。前記音響情報から特徴量を認識する技術は、音源推定、発話単位検出、発話衝突検出、話速検出、ピッチ検出、音量検出、無音区間検出、音質同定、言い淀み検出および拍手検出のうちの少なくとも１つを含むことを特徴とする。
【００１１】
前記画像情報から特徴量を認識する技術は、顔検出、所作検出および位置検出のうちの少なくとも１つを含むことを特徴とする。前記集計手段は、発話単位に前記特徴量を集計することを特徴とする。本発明の情報処理装置は、前記推定手段が推定した撮影手段が撮影した空間の状態に基づいて、前記映像情報に対して索引を付与する付与手段をさらに備える。
【００１２】
本発明は、撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術および画像情報から特徴量を認識する技術の少なくとも一方を用いて、該特徴量を抽出する抽出ステップと、前記特徴量を集計する集計ステップと、前記特徴量の集計結果に基づいて、前記撮影手段が撮影した空間の状態を推定する推定ステップとを有する情報処理方法である。前記推定ステップは、前記特徴量の集計結果を、所定の重要度に関連付けることによって前記撮影手段が撮影した空間の状態を推定することを特徴とする。前記推定ステップは、前記特徴量の集計結果に基づいて、前記映像内のキーパーソンを推定することを特徴とする。
【００１３】
本発明の情報処理方法は、前記映像情報を再生する再生装置の利用履歴を記録するステップと、前記再生装置の利用履歴に基づいて、前記重要度を算出する関数を学習するステップとをさらに有することを特徴とする。本発明の情報処理方法は、前記推定された撮影手段が撮影した空間の状態に基づいて、前記映像情報に対して索引を付与するステップをさらに有する。
【００１４】
本発明は、撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術および画像情報から特徴量を認識する技術の少なくとも一方を用いて、該特徴量を抽出するステップ、前記特徴量を集計するステップ、前記特徴量の集計結果に基づいて、前記撮影手段が撮影する空間の状態を推定するステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、振り返りを支援できる情報処理装置、情報処理方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について説明する。
【実施例１】
【００１７】
まず、第１実施例について説明する。図１は、第１実施例によるシステムの全体構成を示す図である。図１に示すように、システム１は、センサー２、マルチモーダル認識部３、音声・画像記録部４、データベース５、再生・利用部６および利用記録部７を備える。センサー２は、マイクロホンやディジタルビデオカメラ（撮影手段）等によって構成される。マイクロホンは、たとえば会議中の音声信号を入力するものである。ディジタルカメラは、会議中の風景が画像情報を入力するものである。これらの音声信号および画像情報は同期が取られている。
【００１８】
マルチモーダル認識部３は、挙手、起立、板書などの動作解析などの画像処理、話者交代、話者同定や、キーパーソンの抽出などにより会議の重要部分（会議のさび）を推定するものである。この会議の重要な部分は、音楽に例えると、「さび」相当する部分である。次に、マルチモーダル認識部３は、この重要度重みを発話単位（utterance）毎に集計し、会議の重要部分を同定する。
【００１９】
会議中の重要な部分は、たとえば以下のような特性がある。
・キーパーソンが発話する。
・発話速度が速い（音素の時間密度が高い）。
・声が大きく、ピッチが高い。
・挙手・議決した直後の部分。
・話者交代が比較的多い。
・起立、板書している人がいる。
・他の人の私語が少ない。
・発話単位の直後に誰も発言しない区間があることが多い。
・オンサイトの会議でも発話重複が起きる。
なお、情報統合部５０は、これらを撮影手段が撮影した空間の状態として推定する。
【００２０】
また、マルチモーダル認識部３は、会議中に複数の閲覧者がいる場合には、重みを加算し、重要度を更新する。音声・画像記録部４は、会議中に得た音声信号および映像信号を記録する。データベース５は、マルチモーダル認識部３が同定した重要度を、データベース５に記録された音声および画像のメタ情報として記録する。このメタ情報を再生時に用いることで、重要な部分を容易に検索することができる。
【００２１】
再生・利用部６は、容易に早送り・巻き戻しできるビデオ再生装置である。利用記録部７は、会議に関連する人が、早送りやスキップなどをせずに閲覧した部分を利用記録として記録するものである。利用記録部７は、重要度情報をマルチモーダル認識部３に提供する。ここで、重要度情報とは、記録されたビデオが繰り返し見られるなど、重要だと思われる部分や、早送りでスキップされることが多い部分など、ビデオを見るときの操作から得られる情報である。また、手作業で重要な部分にラベルつけを行い、重要度情報としてもよい。マルチモーダル認識部３は、利用記録部７からの重要度情報にあわせて、重要度重みを算出する関数を学習しなおし、精度を高める。
【００２２】
次に、マルチモーダル認識部３について説明する。図２は、第１実施例に係るマルチモーダル認識部３の構成を示すブロック図である。図２に示すように、マルチモーダル認識部３は、音声認識部１０、画像認識部２０、教師なし学習制御部３０、教師あり学習制御部４０および情報統合部５０を備える。なお、以下において認識と検出については、一般的な用語を使っているだけで、特に区別していない。
【００２３】
音声認識部１０は、撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術を用いて、特徴量を抽出するものである。また、音声認識部１０は、所定の音声認識技術を用いて音声信号から重要度に関連しそうな情報を数え上げるものである。音声認識部１０は、音源推定部１１、発話単位検出部１２、発話衝突検出部１３、話速検出部１４、ピッチ・音量検出部１５、無音区間検出部１６、言い淀み検出部１７および拍手検出部１８を備える。音源推定部１１は、マイクロホンアレー等を用いて、音源位置を推定する。なお、画像中の顔位置を用いて、音源を推定するようにしてもよいし、音・画像で情報融合により音源を推定してもよい。
【００２４】
発話単位検出部１２は、発話の始端および終端により発話を検出する。発話衝突検出部１３は、複数の話者の発話検出から、発話の衝突を検出する。ここで、話者の衝突とは、時間軸上で重複する部分である。話速検出部１４は、音素認識と、単位時間当たりの音素数から検出できる。ピッチ・音量検出部１５は、会議中の音声信号からピッチおよび音量を検出するものである。ピッチ・音量検出部１５は、たとえばピッチをアクセント句等の基本周波数（ＦＯ）などを用いて検出する。また、ピッチ・音量検出部１５は、音量をエネルギーから検出する。
【００２５】
無音区間検出部１６は、発話検出から誰も発話しない区間を得るものである。言い淀み検出部１７は、「ええとー」「あのー」などのワードスポッティングなどを用いて認識できる。拍手検出部１８は、音声認識技術を用いて、音から拍手を検出する。なお、画像から拍手を検出するようにしてもよい。なお、音声認識部１０は、構文解析を伴う音声認識を行わず、ピッチや声量の検出、音素の時間密度、言い淀みの感動詞程度の容易に実装可能な認識のみを行うのが良い。
【００２６】
画像認識部２０は、撮影手段で撮影した映像情報に基づいて、画像情報から特徴量を認識する技術を用いて、特徴量を抽出するものである。また、画像認識部２０は、所定の画像処理技術を用いて画像信号から得られる重要度に関連しそうな情報を数え上げる。画像認識部２０は、顔検出部２１、所作検出部２２、各人の位置を検出する位置検出部２３を備える。顔検出部２１は、従来からある画像処理技術を用いて各人の顔の状態を検出するものである。所作検出部２２は、起立、板書などの動き、ジェスチャーなどの所作を検出するものである。位置検出部２３は、各人の位置を検出するものである。
【００２７】
声質・顔同定部２５は、声による話者同定や、顔の同定を使って話者同定する。音声認識部１０および画像認識部２０は、認識技術の進展に伴い、他の項目を認識し、または検出することができる。実際の運用に当たっては、新たに認識される情報を追加して、統合することができる。教師なし学習制御部３０は、教師なし学習を制御するものであり、ＳＯＭ（自己組織化マップ）などにより、複数の入力の同時生起確率などから生成されるマップを構成する。教師なし学習制御部３０は、音声認識部１０および画像認識部２０から得られた情報に基づき、同時生起確率などから教師なしの学習を行う。
【００２８】
教師あり学習制御部４０は、情報統合部５０により統合された情報と、利用記録部７からの重要度情報に基づいて、その関連を学習する。この学習には、たとえば階層型ニューラルネットワークを用いることができる。但し、一般的に重要度と関連しそうな検出結果などとの関連を、初期値として類推に基づいて与えることを前提としており、初期値でも相応の効用を得ることができる。この教師あり学習に基づけば、たとえ、各認識部分が誤認識しても、誤認識を前提とした重要度との関連付けを得ることができるので、各認識部分は精度に課題があっても採用することができる。すなわち、現実のデータに基づいてより精度良く重要度を認識できるようにする。一旦、学習が終われば、統合された情報から、重要度を推定できるし、それを初期値として、更に追加学習も可能である。これにより、使用するに従って、徐々に学習結果が蓄積され、重要度を推定することができる。
【００２９】
情報統合部５０は、音声認識部１０および画像認識部２０が抽出した特徴量をたとえば発話単位に集計し、この集計結果に基づいて、撮影手段が撮影した空間の状態を推定する。たとえば、情報統合部５０は、集計結果を所定の重要度に関連付けることによって撮影手段が撮影した空間の状態を推定する。次に、情報統合部５０は、推定した撮影手段が撮影した空間の状態に基づいて、映像情報に対して索引（インデックス）を付与する。これによりたとえば会議の重要部分を簡単に振り返ることができる。
【００３０】
また、情報統合部５０は、音声認識部１０、画像認識部２０、他のセンサー情報６０、教師なし学習制御部３０および教師あり学習制御部４０からの情報を収集し、統合することによって、時間・重要度グラフを作成し、作成した時間・重要度グラフをデータベース５に送る。収集する過程で、例えば、音源推定で、発話者の音源（口）位置を推定して顔検出の基礎情報に用いたり、口位置を音源推定の候補として用いることもできる。検出された顔から顔同定、声から声質同定を協調してより頑強な同定が可能になる。このように、各認識要素の結果を相互に利用することにより、統合し、複数の情報を得ることができる。
【００３１】
次に、システムの動作について説明する。図３は、第１実施例に係るシステムの動作フローチャートである。ステップＳ１１で、教師あり学習制御部４０は、情報統合部５０により統合された情報と、利用記録部７からの重要度情報に基づいて、その関連を学習する。ステップＳ１２で、マイクロホンから会議中の音声信号を入力する。ディジタルカメラから会議中の風景が画像情報を入力する。ステップＳ１３で、音声認識部１０および画像認識部２０は、時間ごとの重要度重みを算出する。
【００３２】
ステップＳ１４で、情報統合部は、重要度重みを発話単位に集計して会議の重要部分を同定する。ステップＳ１５で、データベース５に、情報統合部５０が同定した重要度を、音声および画像のメタ情報として記録する。このメタ情報を再生時に用いることにより、会議の重要な部分を容易に検索することができる。
【００３３】
本実施例をまとめると、音響情報の特徴量には、現在の技術でも容易に認識できる、声の大きさ、音源方向、声の高低、発話速度、発話の衝突検出、話者交代、沈黙、や、ある程度は実用的に認識ができる、話者同定、拍手などが含まれる。また、画像情報からの特徴量には、顔、顔向き、視線方向、顔から人の同定、挙手、起立している、板書、筆記、体の動き、照明の明るさ、プロジェクタースクリーンの画像切り替え、入場、退席、まばたきの頻度、びんぼうゆすりなどが含まれる。これらの認識結果を集計して、予め定められた（または、他の方法で定めた）重要度と関連付ける（学習）。この関連付けに基づいて、音響や画像の特徴量から重要度を推定する。
【００３４】
より高度に、話の内容や、見る人の興味などを認識して、重要度を重み付けすることも将来は不可能ではないものであるが、現状の技術では見通しが立たない。そこで、本発明は、取得できる情報、特に、高度な認識機能を持った人間の振る舞いを多数収集し、学習することによって重要度を推定する。
【００３５】
例えば、
・「（１）興味深い話」があると、「（２）顔を上げる」癖がある。
・「（１）話がつまらない」と「（２）貧乏ゆすり」をする。
・「（１）発言の前」に「（２）口を開けて待っている。」
・「（１）議論が沸騰する」と、「（２）話者交代が頻繁に起きる。」
・「（１）議論が停滞する」と、「（２）誰も発話しない時間」が増える。
マルチモーダル認識部３によって、上記（２）を認識して集計することにより、上記（１）を推定してメタデータを付与する。話がつまらないとか、議論が沸騰するなど、個別の認識は有用性が乏しいが、「重要度」を評価するに長けた人が、ビデオを見ながら重要度な部分にメタ情報を振っておけば、「認識できる事象」と、「重要度」のある程度の関連付けは学習により可能になる。
【００３６】
また、記録したビデオを見る複数の人が、「社長の話」は見る人が多かったが、「Ｄさんの発言」は早送りして誰も見なかったなどを観測することにより、Ｄさんが発話している場面よりも、社長が発話している場面のほうが重要度が高そうであるということが推定できる。これらのことから、技術的に可能な範囲で認識できる情報から、具体的に何を話しているかを認識することなしに、重要度を推定することができる。
【００３７】
重要度は、音声認識の研究で行われている、音声・画像を見ながら手作業で入力する「ハンドラベル」のほか、記録したビデオを再生する際に、繰り返し見たり、早送りして見なかったりすることを自動的認識し、「視聴率」のようなものにより定めることができる。これらを繰り返し関連付けすることにより、帰納的に特徴量から重要度が得られる。
【実施例２】
【００３８】
次に、第２実施例について説明する。図４は、第２実施例に係るシステムの全体構成を示す図である。図４に示すように、システム１００は、センサー２、マルチモーダル認識部１０３、音声・画像記録部４、データベース５、再生・利用部６を備える。なお、同一箇所については同一符号を付して説明する。図５は、第２実施例に係るマルチモーダル認識部１０３の構成を示すブロック図である。
【００３９】
図５に示すように、マルチモーダル認識部１０３は、音声認識部１０、画像認識部２０、情報統合部５０および地位・立場入力部７０を備える。音声認識部１０は、撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術を用いて、特徴量を抽出する。また、所定の音声認識技術を用いて音声信号から重要度に関連しそうな情報を数え上げるものである。音声認識部１０は、音源推定部１１、発話単位検出部１２、発話衝突検出部１３、話速検出部１４、ピッチ・音量検出部１５、無音区間検出部１６、言い淀み検出部１７および拍手検出部１８を備える。画像認識部２０は、撮影手段で撮影した映像情報に基づいて、画像情報から特徴量を認識する技術を用いて、特徴量を抽出する。また、画像認識部２０は、所定の画像処理技術を用いて画像信号から得られる重要度に関連しそうな情報を数え上げるものである。地位・立場入力部７０は、発話者の地位・立場に関する情報を手動によって入力するものである。地位・立場入力部７０より事前に情報を付与することができる。
【００４０】
音声認識部１０および画像認識部２０によって、発話単語数、発話音素数、感動詞の出現回数、声量、声量の時間変化、音素のピッチ変化および顔の傾きを特徴量として抽出する。
【００４１】
一般的に、キーパーソンは、以下のような特性がある。
・発話時間が多い。
・発話中に言いよどみが少ない。
・声量が大きく、変化が少ない。
・音声のピッチ変化が比較的少ない。
・立場・地位が高い。
・キーパーソンの発話中に参加者が書き取る操作をすることが多い。
【００４２】
一方で、キーパーソンではない人は、
・発話時間の割に単語数が少ない。
・いいよどみが多く感動詞（ええと…、あの…）などが多い。
・声量が小さく、声量の変化も大きい。
・音声のピッチの変化が大きい。
・立場・地位が低い。
【００４３】
そこで、情報統合部５０は、抽出した特徴量を集計し、この集計結果に基づいて、撮影手段が撮影した空間内のキーパーソンを推定するものである。また、情報統合部５０は、所定区間内で、発話単語数（音素数でも可）、言い淀みの感動詞、声量、声量の変化率、音声のピッチ変化、顔の傾き（地位に関連すると考えられる）を、所定の重みで換算し、場面ごとの重要度係数を算出する。情報統合部５０は、この重要度係数に基づいて、場面ごとにキーパーソンを推定する。なお、メールのやり取りなどからも係数を導出することができ、勘案に含めることもできる。手動の操作などにより、特定の人の重みを加算したり、特定の人をキーパーソンと設定することもできる。
【００４４】
次に、第２実施例によるシステムの動作を説明する。図６は、第２実施例に係るシステムの動作フローチャートである。ステップＳ２１で、マイクロホンから会議中の音声信号を入力する。ディジタルカメラから会議中の風景が画像情報を入力する。ステップＳ２２で、情報統合部５０は、所定区間内で、発話単語数、感動詞、声量、声量の変化率、音声のピッチ変化、顔の傾きなどを、所定の重みで換算し、場面ごとの重要度係数を算出する。
【００４５】
ステップＳ２３で、情報統合部５０は、重要度係数に基づいて、場面ごとのキーパーソンを推定する。ステップＳ２４で、データベース５に、情報統合部５０が重要度係数を、音声および画像のメタ情報として記録する。このメタ情報を再生時に用いることにより、キーパーソンを容易に検索することができる。
【００４６】
第２実施例によれば、ブレーンストーミング形式のミーティングでは、事前の情報から必ずしもキーパーソンが同定できない場合でも、後からキーパーソンを推定することができる。また、シーンごとにキーパーソンが入れ替わるという特性にも対応することができる。
【００４７】
なお、本発明による情報処理方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。このプログラムは、撮影手段で撮影した映像情報に基づいて、音響情報から特徴量を認識する技術および画像情報から特徴量を認識する技術の少なくとも一方を用いて、該特徴量を抽出するステップ、前記特徴量を集計するステップ、前記特徴量の集計結果に基づいて、前記撮影手段が撮影する空間の状態を推定するステップをコンピュータに実行させる。
【００４８】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００４９】
【図１】第１実施例に係るシステムの全体構成を示す図である。
【図２】第１実施例に係るマルチモーダル認識部３の構成を示すブロック図である。
【図３】第１実施例に係るシステムの動作フローチャートである。
【図４】第２実施例に係るシステムの全体構成を示す図である。
【図５】第２実施例に係るマルチモーダル認識部１０３の構成を示すブロック図である。
【図６】第２実施例に係るシステムの動作フローチャートである。
【符号の説明】
【００５０】
１、１００  システム
２  センサー
３、１０３  マルチモーダル認識部
４  音声、画像記録部
５  データベース
６  再生・利用部
７  利用記録部
１０  音声認識部
２０  画像認識部
３０  教師なし学習制御部
４０  教師あり学習制御部
５０  情報統合部
７０  地位・立場入力部
【図１】
2006279111.tif 000003
【図２】
2006279111.tif 000004
【図３】
2006279111.tif 000005
【図４】
2006279111.tif 000006
【図５】
2006279111.tif 000007
【図６】
2006279111.tif 000008