(57)【要約】【課題】  確実に所望のシーンを振り返ることができる情報処理装置を提供することを目的とする。【解決手段】  情報処理システム１は、人物を撮影した映像情報に該人物の生体情報および人物を撮影するときに取得した音情報を同期させる同期部６と、人物の生体情報および音響情報の少なくとも一方に基づいて、人物の心的状態を推定する状態推定処理部１０と、状態推定処理部１０による推定結果を用いて所定の検索条件を満たす映像情報についてのサムネイルを所定の形式で表示する表示制御部１４とを含む。状態推定処理部１０は、所定の評価関数を用いて人物の興味度、人物の興奮度、人物の快適度、人物の理解度および人物の記憶度を推定する。【選択図】          図１
2005332376.tif 000002
【特許請求の範囲】
【請求項１】
人物を撮影したときに得た人物の生体情報および音響情報の少なくとも一方を用いて、前記人物の心的状態を推定する推定手段と、
前記推定手段が推定した人物の心的状態を用いて、前記撮影時の映像情報に対して索引を付与する付与手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記推定手段が推定した人物の心的状態の優先順位を判定する判定手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記人物の心的状態は、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の集中度、他人の意見に賛同する度合いを表す人物の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す人物の共有感覚度、主観による評価の度合いを表す前記人物の主観度、特定の個人的主観の考えから独立して普遍性をもっていることの度合いを表す人物の客観度、人心がけわしく悪いことの度合いを表す人物の嫌悪度および人物の疲労度のうち少なくとも一つを含む請求項１に記載の情報処理装置。
【請求項４】
前記推定手段は、所定の評価関数を用いて前記人物の心的状態を推定することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記評価関数は、前記人物の生体情報および前記音響情報を重み付けして加算するものであること特徴とする請求項４記載の情報処理装置。
【請求項６】
前記人物の生体情報および前記音響情報を前記映像情報に同期させる同期手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記同期手段により同期された情報を格納する格納手段と、前記索引付けがされた映像情報を格納する格納手段とをさらに備えることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記付与手段が付与した索引を前記映像情報の時刻情報と対応付けて記憶する記憶手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記付与手段が付与した索引を参照して、前記映像情報を所定の形式で表示する表示制御手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記表示制御手段は、前記映像情報に含まれる人物ごとに前記映像情報を表示することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記表示制御手段は、前記映像情報を前記人物ごとに表示させるための選択手段を表示することを特徴とする請求項９に記載の情報処理装置。
【請求項１２】
前記表示制御手段は、前記人物の心的状態別に前記映像情報を表示することを特徴とする請求項９に記載の情報処理装置。
【請求項１３】
前記表示制御手段は、所定のタイムラインスライダーを付加して表示することを特徴とする請求項９に記載の情報処理装置。
【請求項１４】
前記表示制御手段は、前記映像情報をサムネイルで表示することを特徴とする請求項９に記載の情報処理装置。
【請求項１５】
前記表示制御手段は、選択されたサムネイルに対応する映像情報を再生することを特徴とする請求項１４記載の情報処理装置。
【請求項１６】
前記人物の生体情報は、人物の瞬き、瞳孔径、注視対象、注視時間、脳波および顔面皮膚温に関する情報のうちの少なくとも一つを含むことを特徴とする請求項１に記載の情報処理装置。
【請求項１７】
前記音響情報は、発話の有無、音量、話者発話の有無、話者音量および環境音に関する情報のうちの少なくとも一つを含むことを特徴とする請求項１に記載の情報処理装置。
【請求項１８】
前記映像は会議映像である請求項１から請求項１７のいずれか一項に記載の情報処理装置。
【請求項１９】
前記人物の生体情報を検出する生体情報検出手段と、
前記撮影時の音響情報を検出する音響情報検出手段と、
前記映像情報を撮影する撮影手段と、
請求項１から請求項１８のいずれか一項に記載の情報処理装置と
を備えることを特徴とするシステム。
【請求項２０】
前記生体情報検出手段は、前記人物の瞬きおよび前記人物の眼球の状態を前記人物の生体情報として検出することを特徴とする請求項１９に記載のシステム。
【請求項２１】
前記生体情報検出手段は、前記人物の顔面皮膚温を前記人物の生体情報として検出することを特徴とする請求項１９に記載のシステム。
【請求項２２】
人物を撮影したときに得た人物の生体情報および音響情報の少なくとも一方を用いて、前記人物の心的状態を推定する推定ステップと、
前記推定した人物の心的状態を用いて、前記撮影時の映像情報に対して索引を付与する付与ステップと、
を有することを特徴とする情報処理方法。
【請求項２３】
前記人物の心的状態は、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の集中度、他人の意見に賛同する度合いを表す人物の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す人物の共有感覚度、主観による評価の度合いを表す前記人物の主観度、特定の個人的主観の考えから独立して普遍性をもっていることの度合いを表す人物の客観度、人心がけわしく悪いことの度合いを表す人物の嫌悪度および人物の疲労度のうち少なくとも一つを含む請求項２２に記載の情報処理方法。
【請求項２４】
前記推定ステップは、所定の評価関数を用いて前記人物の心的状態を推定することを特徴とする請求項２２に記載の情報処理方法。
【請求項２５】
人物を撮影したときに得た人物の生体情報および音響情報の少なくとも一方を用いて、前記人物の心的状態を推定する推定ステップ、
前記推定した人物の心的状態を用いて、前記撮影時の映像情報に対して索引を付与する付与ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議を特定し、さらに会議データの中から所望の箇所（シーン）を探し出す手間が煩わしくなる、あるいは探し出すことが困難若しくは不可能である、という問題が浮上する。
【０００３】
従来、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、決定事項に至った詳細な経緯などは記録されないため、振り返ることができない。また、本題から外れた内容であるが当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合がある。
【０００４】
このような振り返りを支援する技術として動画像を利用する方法を挙げることができる。すなわち、会議をビデオ撮影し、後で思い出したいシーンを再生することにより想起を支援する方法である。そのためには、見たいシーンをすばやく検索する技術が不可欠となる。
【０００５】
例えば、動画像からある一定の時間間隔で抽出したシーン（静止画）を代表画像としてユーザに提示することにより、ユーザはその代表画像を頼りに時間的前後関係を推測し、見たいシーンに辿り着くことができる（特許文献１）。しかし、この場合、ユーザに提示されるシーンは一定間隔の時間で切り出されたシーンであり、そのシーンが時間推定にどれだけ有用であるかは不明である。例えば、似たような複数のシーンが抽出された場合、それらから時間的前後関係を推測するのは難しい。
【０００６】
このような問題を解決するために、動画像の内容が大きく変化した場合の静止画を代表画像としてユーザに提示する方法がある（特許文献２）。この場合、単なる時間間隔で得られた代表画像と異なり、シーンが変化した時点を代表画像とするため、同じようなシーンが連続して代表画像となることはない。しかしながら、この方法では、画像中の変化が少ないために代表画像が得られない場合もある。あるいは、同じシーンの連続であるとしても視聴者にとっての理解の起伏や、感情の起伏、すなわち所望のシーンとは異なる可能性がある。逆に、カメラのパンやブレやズーム、又は誰かがカメラの前を通った場合はシーンが大きく変化したとみなされ、そのシーンが代表画像として提示される場合もある。それらは会議の振り返りをするユーザにとっては意味のない（記憶にない）シーンであるので役立たない。
【０００７】
このような問題を解決するために、視聴者の特定のスライドへの凝視率を関心度として算定する方法が提案されている（特許文献３）。しかし、会議やプレゼンテーションにおいて話者を凝視することは多く、必ずしもスライドへの凝視と関心度は結びつかない。
【０００８】
また、どの発言者がいつ発言したかを特定し、それをビジュアルにタイムラインとして表示し、そのタイムラインから再生したい部分の動画へアクセスする方法が提案されている（特許文献４）。しかし、ユーザは表示されたタイムラインを見て、自分が探しているシーンがどこに相当するかを見たいシーンを推測する必要がある。また、発言者に偏りが生じる会議やプレゼンテーション状況では、この方法では所望のシーンの候補が多数となる可能性がある。このため、長時間の会議になればなるほど、見る範囲も広くなり、ユーザに負担を強いることになる。
【０００９】
このような問題を解決するために、発話者の発話音量を重要度として判断する方法が提案されている（特許文献５）。しかし、会議やプレゼンテーションでは発言者が偏る状況も多く、視聴者にとっての意味のあるシーンは発話音量によっては特定され得ない。
【００１０】
このような問題を解決するために、撮影者が重要度を決定しタグ付けをしていく方法が提案されている（特許文献６）。しかし、撮影者一人の決定に依存し、視聴者の意図を反映することができない。さらに、撮影者が意図的にタグ付け作業を行わなければならない。
【００１１】
また、興味の度合として顔面皮膚温を取得する方法が提案されている（特許文献７）。しかし、これは情動の入力を支援する方法であり、その記録による重要シーンの振り返りを支援するシステムを具備していない。
【００１２】
また、端末操作時のオペレータの操作状況を監視して操作を支援するシステムが提案されている（特許文献８）。しかし、これは端末作業においてオペレータが支援を必要とするかどうかを判断するシステムであり、会議視聴者の状態を推定し会議情報と関連付ける装置を具備していない。
【００１３】
【特許文献１】特開２００２−２６２２４０号公報
【特許文献２】特開平１０−１２６７２号公報
【特許文献３】特開２００２−１４９１４５号公報
【特許文献４】特開２０００−１２５２７４号公報
【特許文献５】特開２００２−２３７１６号公報
【特許文献６】特開２０００−１９７００２号公報
【特許文献７】特開２００１−１００８８８号公報
【特許文献８】特開平５−１７６３２５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来の技術では、一定間隔の時間で切り出されたシーンからの所望のシーンの特定が困難であり、シーン切換による所望シーンの特定では視聴者にとって意味のないシーンが含まれ所望のシーンの特定が困難であり、会議、プレゼンテーションにおける関心度の特定はスライドへの凝視率から同定することは困難であり、発話者の音量から重要度を特定する場合に発話のない視聴者にとって意味のあるシーンを同定することは困難であり、会議視聴者それぞれにおける所望シーンに対応することは困難であり、結果として、視聴者が所望とするシーンを効率的に振り返ることが困難であった。
【００１５】
そこで、本発明は、上記問題点に鑑みてなされたもので、所望のシーンを効率的に振り返ることができる情報処理装置、システム、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明の情報処理装置は、人物を撮影したときに得た人物の生体情報および音響情報の少なくとも一方を用いて、前記人物の心的状態を推定する推定手段と、前記推定手段が推定した人物の心的状態を用いて、前記撮影時の映像情報に対して索引を付与する付与手段とを備える。本発明によれば、撮影時の映像情報に対して、人物の心的状態を索引として付与できるため、後で所望のシーンを効率良く検索できる。
【００１７】
本発明の情報処理装置は、前記推定手段が推定した人物の心的状態の優先順位を判定する判定手段をさらに備えることを特徴とする。本発明によれば、順位判定によりランドマークとして適切なシーンにすることができるため、候補が膨大となり検索性能が著しく劣化することを防止できる。
【００１８】
前記人物の心的状態は、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の集中度、他人の意見に賛同する度合いを表す人物の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す人物の共有感覚度、主観による評価の度合いを表す前記人物の主観度、特定の個人的主観の考えから独立して普遍性をもっていることの度合いを表す人物の客観度、人心がけわしく悪いことの度合いを表す人物の嫌悪度および人物の疲労度のうち少なくとも一つを含む。前記推定手段は、所定の評価関数を用いて前記人物の心的状態を推定することを特徴とする。前記評価関数は、前記人物の生体情報および前記音響情報を重み付けして加算するものである。
【００１９】
本発明の情報処理装置は、前記人物の生体情報および前記音響情報を前記映像情報に同期させる同期手段をさらに備える。本発明の情報処理装置は、前記同期手段により同期された情報を格納する格納手段と、前記索引付けがされた映像情報を格納する格納手段とをさらに備える。本発明の情報処理装置は、前記付与手段が付与した索引を前記映像情報の時刻情報と対応付けて記憶する記憶手段をさらに備える。本発明の情報処理装置は、前記付与手段が付与した索引を参照して、前記映像情報を所定の形式で表示する表示制御手段をさらに備える。
【００２０】
前記表示制御手段は、前記映像情報に含まれる人物ごとに前記映像情報を表示する。本発明によれば、特定の人物の心的状態を一目で把握することができる。前記表示制御手段は、前記映像情報を前記人物ごとに表示させるための選択手段を表示する。前記表示制御手段は、前記人物の心的状態別に前記映像情報を表示する。前記表示制御手段は、所定のタイムラインスライダーを付加して表示する。ライムラインスライダーバーを利用して微小な時間変更が可能となる。前記表示制御手段は、前記映像情報をサムネイルで表示することを特徴とする。前記表示制御手段は、選択されたサムネイルに対応する映像情報を再生することを特徴とする。
【００２１】
前記人物の生体情報は、人物の瞬き、瞳孔径、注視対象、注視時間、脳波および顔面皮膚温に関する情報のうちの少なくとも一つを含む。前記音響情報は、発話の有無、音量、話者発話の有無、話者音量および環境音に関する情報のうちの少なくとも一つを含む。前記映像は会議映像である。
【００２２】
本発明のシステムは、前記人物の生体情報を検出する生体情報検出手段と、前記撮影時の音響情報を検出する音響情報検出手段と、前記映像情報を撮影する撮影手段と、上記情報処理装置とを備える。前記生体情報検出手段は、前記人物の瞬きおよび前記人物の眼球の状態を前記人物の生体情報として検出する。前記生体情報検出手段は、前記人物の顔面皮膚温を前記人物の生体情報として検出する。
【００２３】
本発明の情報処理方法は、人物を撮影したときに得た人物の生体情報および音響情報の少なくとも一方を用いて、前記人物の心的状態を推定する推定ステップと、前記推定した人物の心的状態を用いて、前記撮影時の映像情報に対して索引を付与する付与ステップとを有する。本発明によれば、撮影時の映像情報に対して、人物の心的状態を索引として付与できるため、後で所望のシーンを効率良く検索できる。
【００２４】
前記人物の心的状態は、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の集中度、他人の意見に賛同する度合いを表す人物の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す人物の共有感覚度、主観による評価の度合いを表す前記人物の主観度、特定の個人的主観の考えから独立して普遍性をもっていることの度合いを表す人物の客観度、人心がけわしく悪いことの度合いを表す人物の嫌悪度および人物の疲労度のうち少なくとも一つを含む。前記推定ステップは、所定の評価関数を用いて前記人物の心的状態を推定する。
【００２５】
本発明のプログラムは、人物を撮影したときに得た人物の生体情報および音響情報の少なくとも一方を用いて、前記人物の心的状態を推定する推定ステップ、前記推定した人物の心的状態を用いて、前記撮影時の映像情報に対して索引を付与する付与ステップをコンピュータに実行させる。本発明によれば、撮影時の映像情報に対して、人物の心的状態を索引として付与できるため、後で所望のシーンを効率良く検索できる。
【発明の効果】
【００２６】
本発明によれば、所望のシーンを効率的に振り返ることができる情報処理装置、システム、情報処理方法およびプログラムを提供できる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための最良の形態について説明する。
【実施例１】
【００２８】
図１は、本実施例に係る情報処理システム１のブロック図である。図１に示すように、情報処理システム１は、生体情報検出部２、音響情報検出部３、会議映像検出部４、生体情報格納部５、音響情報格納部６、会議映像格納部７、同期部８、会議情報格納部９、状態推定処理部１０、状態順位判定部１１、インデックスファイル格納部１２、検索要求入力部１３、検索要求記録部１４、表示制御部１５及び表示部１６を備える。生体情報検出部２、音響情報検出部３および会議映像検出部４は、会議情報検出部２０として機能する。また状態推定処理部１０、状態順位判定部１１およびインデックスファイル格納部１２は、ランドマークを選定する処理を実行するランドマーク選定処理部２１として機能する。
【００２９】
この情報処理システム１は、会議の内容を生体情報、音響情報、会議映像情報の検出とともに記録し、記録された情報から人物の心的状態を推定してこれを動画像の索引として付与するものである。これにより、利用者は保存された会議の内容を手掛かりによって検索することができる。
【００３０】
生体情報検出部２は、カメラ及び画像処理装置等により構成され、人物の生体情報を検出するものである。ここで、人物の生体情報には、会議の視聴者の瞬き、瞳孔径、注視対象、注視時間など眼球に係る情報、脳波、顔面皮膚温などが含まれる。を検出する。瞬き及び瞳孔径に係る情報は、視聴者の顔を撮像した顔画像から顔領域を抽出し、更に眼領域を特定し、瞬きの数をカウントしたり、瞳孔径を測定したりすることによって取得できる。注視対象及び注視時間については、注視対象候補側に配置したカメラ等により撮像した画像を用い、前記手法により眼領域を特定し、撮像したカメラの位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することによって取得できる。顔面皮膚温は、赤外線カメラ、サーモグラフィ等により視聴者への計測機器を装着することなく取得することができる。ここで生体情報は、特に会議の視聴者への計測機器の装着無しに取得可能なものを対象とする。
【００３１】
音響情報検出部３は、例えば集音マイク等により構成され、会議の視聴者、話者の音声等を検出する。会議映像検出部４は、ビデオカメラ等により構成され、会議映像を検出する。会議映像検出部４は、会議で使用されるプレゼンテーション資料や視聴者等が広角で撮像できるカメラを用いても良い。上記生体情報検出部２、音響情報検出部３及び会議映像検出部４は、会議室内の所定の位置に設置される。会議映像検出部４が会議映像の撮影中に、会議の参加者の生体情報及び音響情報が生体情報検出部２及び音響情報検出部３により検出される。
【００３２】
生体情報格納部５は、生体情報検出部２で検出した生体情報をデータシートの形式で格納する。音響情報格納部６は、音響情報検出部３で検出した音響情報をデータシートの形式で格納する。会議映像格納部７は、会議映像検出部４によって検出された会議映像を一覧形式のデータシートの形式で格納する。
【００３３】
同期部８は、生体情報格納部５に格納された人物の生体情報及び音響情報格納部６に格納された音響情報を、会議映像格納部７に格納された映像情報に同期させるものである。会議情報格納部９は、同期部８で同期化させた情報を会議インデックスファイルとして保持する。
【００３４】
状態推定処理部１０は、人物を撮影したときに得た人物の生体情報および音響情報の少なくとも一方を用いて、人物の心的状態を推定し、推定した人物の心的状態を用いて、撮影時の映像情報に対して索引を付与するものである。より詳細には、状態推定処理部１０は、会議情報格納部９に格納された会議情報インデックスファイル内のデータをパラメータとして、所定の評価関数を用いて視聴者の心的状態を推定する処理を行う。状態推定処理部１０は、所定のプログラムを実行することでその機能が実現される。視聴者の心的状態には、例えば会議視聴者の認知的状態や精神的情報等を含む。視聴者の心的状態には、たとえば、人物が物事にひきつけられている度合いを表す人物の興味度、人物の感情の高まる度合いを表す人物の興奮度、具合がよくて気持ちのよい度合いを表す人物の快適度、物事の道理をさとり知ることの度合いを表す人物の理解度、物事を忘れずに覚えている度合いを表す人物の記憶度、人物の集中度、他人の意見に賛同する度合いを表す人物の支持度、他人の主張を自分も同じように感じたり理解したりする度合いを表す人物の共有感覚度、主観による評価の度合いを表す人物の主観度、特定の個人的主観の考えから独立して、普遍性をもっていることの度合いを表す人物の客観度、人心がけわしく悪いことの度合いを表す人物の嫌悪度および疲れの度合いを表す人物の疲労度を含む。評価関数は、視聴者の生体情報および視聴者を撮影する際に得られる音響情報を重み付けして加算するものである。
【００３５】
眼球運動心理学（眼球運動の実験心理学、瞬きの心理学、瞳孔運動の心理学）によれば、興味は、瞳孔径に関連し、理解度及び記憶度は、瞬目に関連し、興奮度及び快適度は、瞬目や顔面皮膚温に関連していると考えられている。但し、これら単体では、例えば室内温度環境による顔面皮膚温上昇など、精度を保つことができない。そこで、状態推定処理部１０は、これらデータ及び発話音量、環境音等を重み付けして加算した評価関数により、視聴者の状態推定値を求めて、視聴者の心的状態を同定する。
【００３６】
状態順位判定部１１は、状態推定処理部１０が推定した人物の心的状態の優先順位を判定するものである。より詳細には、状態順位判定部１１は、状態推定処理部１０が算出した視聴者の状態推定値に基づいて、視聴者の心的状態に順位を付ける。これにより、表示制御部１５が参照する状態推定処理部１０の推定結果の数を減らすことができ、ランドマークとして適切なシーン数にすることで、候補が膨大となり検索性能が著しく劣化するということを防止できる。状態順位判定部１１は、順位付けた視聴者の心的状態を会議映像の時刻情報を保持した状態で、インデックスファイル格納部１２に格納する。インデックスファイル格納部１２は、インデックスファイルを各視聴者の表形式のデータシートの形式で保持する。
【００３７】
検索要求入力部１３は、たとえばタッチパネル、マウス又はキーボード等により構成される。ユーザは検索要求入力部１３を用いて、特定の視聴者を指定し、更にその視聴者が興味を持った状態などの視聴者の心的状態を指定できる。検索要求記録部１４は、検索要求入力部１３から入力された検索条件を記録するものである。
【００３８】
表示制御部１５は、状態推定処理部１０が付与した索引を参照して、映像情報を所定の形式で表示するものである。より詳細には、表示制御部１５は、検索要求に基づき、インデックスファイル格納部１２を参照し、インデックスファイル内のデータを取得する。表示制御部１５は取得したインデックスファイル内のデータに基づいて、会議映像格納部７を参照して、会議映像情報を取得し、さらに、映像サムネイルを生成する。表示部１６は、表示制御部１５からの情報に基づいて、表示処理を行う。なお、上記各格納部は、たとえば半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成される。
【００３９】
図２は、生体情報格納部５内のデータシートを示す図である。図２に示すように、視聴者ごとに、時刻ｔに対応付けて、瞳孔径x、y、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報を保持する。特に注視対象は、注視対象側に設置されたカメラから撮像可能であったカメラ位置を特定することで注視対象とする。さらに、注視時間は各対象ごとに累積時間を算出して記録する。表現方法はこれに限らず、グラフ形式等であっても良い。
【００４０】
図３は、音響情報格納部６内のデータシートを示す図である。図３に示すように、音響情報は、発話有無、音量、話者発話有無、話者音量、環境音を含む。この音響情報は、視聴者ごとに、時刻ｔに対応させて格納されている。特に環境音は映像に付随して発生する音声情報などを含む。表現方法はこれに限らず、グラフ形式等であっても良い。図４は、会議映像格納部７内のデータシートを示す図である。図４に示すように、会議映像は、識別記号ＩＤに対応して格納されている。
【００４１】
図５は、会議情報格納部９内のデータシートを示す図である。図５に示すように、会議情報は、瞳孔径、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報と、発話有無、音量、話者発話有無、話者音量、環境音などの音響情報と、会議映像情報データＩＤとを時刻情報に対応付けて保持する。
【００４２】
図６は、インデックスファイル格納部１２内のインデックスファイルを示す図である。図６に示すように、左から時刻ｔ、会議映像情報ＩＤならびに興味度、興奮度、快適度、理解度および記憶度等の視聴者の心的状態の項目が設けられている。時刻ｔの欄には、会議映像情報に対応する時刻がそれぞれ入力されている。会議映像情報ＩＤは会議映像情報を識別する番号が入力されている。興味度、興奮度、快適度、理解度および記憶度等の視聴者の心的状態の各欄には、上記評価関数により得られた状態推定値が入力されている。また図中＊印は状態順位判定部１１で削除されたシーンである。これにより検索するシーン数を少なくしている。このようにして、インデックスファイル格納部１２は、興味度、興奮度、快適度、理解度などの索引が付与された映像情報ＩＤが格納され、さらに、興味度、興奮度、快適度、理解度などの索引を映像情報の時刻情報ｔと対応付けて記憶する。なお、同図では視聴者の心的状態として、興味度、興奮度、快適度、理解度および記憶度を表示しているが、視聴者の心的状態はこれらに限定されない。
【００４３】
次に、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の支持度、人物の共有感覚度、人物の主観度、人物の客観度、人物の嫌悪度及び人物の疲労度の状態推定値を求める評価関数を式（１）〜（１１）に示す。
【００４４】
・興味度f1＝w11＊瞳孔径（変化量,変化速度）＋w12＊注視（時間,回数）＋w13＊瞬目（率,回数,群発瞬目数）＋w14＊顔面皮膚温変化量＋w15＊発話音量＋w16＊話者発話音量＋W16＊環境音  ・・・（１）
【００４５】
・興奮度f2＝w21＊瞳孔径（変化量,変化速度）＋w22＊注視（時間,回数）＋w23＊瞬目（率,回数,群発瞬目数）＋w24＊顔面皮膚温変化量＋w25＊発話音量＋w26＊話者発話音量＋w26＊環境音  ・・・（２）
【００４６】
・快適度f3＝w31＊瞳孔径（変化量,変化速度）＋w32＊注視（時間,回数）＋w33＊瞬目（率,回数,群発瞬目数）＋w34＊顔面皮膚温変化量＋w35＊発話音量＋w36＊話者発話音量＋w36＊環境音  ・・・（３）
【００４７】
・理解度f4＝w41＊瞳孔径（変化量,変化速度）＋w42＊注視（時間,回数）＋w43＊瞬目（率,回数,群発瞬目数）＋w44＊顔面皮膚温変化量＋w45＊発話音量＋w46＊話者発話音量+w46＊環境音  ・・・（４）
【００４８】
・記憶度f5＝w51＊瞳孔径（変化量,変化速度）＋w52＊注視（時間,回数）＋w53＊瞬目（率,回数,群発瞬目数）＋w54＊顔面皮膚温変化量＋w55＊発話音量＋w56＊話者発話音量＋w5６＊環境音  ・・・（５）
【００４９】
・集中度f6＝w61＊瞳孔径（変化量,変化速度）＋w62＊注視（時間,回数）＋w63＊瞬目（率,回数,群発瞬目数）＋w64＊顔面皮膚温変化量＋w65*発話音量＋w66＊話者発話音量+w66＊環境音＋w67＊脳波（周波数）  ・・・（６）
【００５０】
・支持度f7＝w71＊瞳孔径（変化量,変化速度）＋w72＊注視（時間,回数）＋w73＊瞬目（率,回数,群発瞬目数）＋w74＊顔面皮膚温変化量＋w75＊発話音量＋w76＊話者発話音量+w76＊環境音＋w77＊脳波（周波数）  ・・・（７）
【００５１】
・共有感覚度f8＝ｗ81＊瞳孔径（変化量,変化速度）＋w82＊注視（時間,回数）＋w83＊瞬目（率,回数,群発瞬目数）＋ w84＊顔面皮膚温変化量＋w85＊発話音量＋w86＊話者発話音量＋w86＊環境音＋w87＊脳波（周波数）  ・・・（８）
【００５２】
・主観度f9＝w91＊瞳孔径（変化量,変化速度）＋w92＊注視（時間,回数）＋w93＊瞬目（率,回数,群発瞬目数）＋w94＊顔面皮膚温変化量＋w95＊発話音量＋w96＊話者発話音量+ｗ96＊環境音＋w97＊脳波（周波数）  ・・・（９）
【００５３】
・客観度f10＝w101＊瞳孔径（変化量,変化速度）＋w102＊注視（時間,回数）＋w103＊瞬目（率,回数,群発瞬目数）＋w104＊顔面皮膚温変化量＋w105＊発話音量＋w106＊話者発話音量＋w106＊環境音＋w107＊脳波（周波数）  ・・・（１０）
【００５４】
・疲労度f11＝w111＊瞳孔径（変化量,変化速度）＋w112＊注視（時間,回数）＋w113＊瞬目（率,回数,群発瞬目数）＋w114＊顔面皮膚温変化量＋w115＊発話音量＋w116＊話者発話音量＋w116＊環境音＋w117＊脳波（周波数）  ・・・（１１）
【００５５】
上記式について説明する。式（１）の興味度f1において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きい部分を、興味があるシーンとして映像を特定することができる。このため式（１）の興味度f1は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等をそれぞれ重み係数w11〜w1nで重み付けして加算することで状態推定値を算出することができる。
【００５６】
式（２）の興奮度f2は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w21〜w2nでそれぞれ重み付けして加算することで状態推定値を算出することができる。式（３）の快適度f3は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w31〜w3nでそれぞれ重み付けして加算することで状態推定値を算出することができる。
【００５７】
式（４）の理解度f4において、理解困難な場合は瞬目が増加すると考えられている（まばたきの心理学）。一般的に理解が困難な場合、視聴者は、補足情報を取得しようとし、注視時間が増加する傾向にあると考えられるため、注視時間が長く、瞬目回数が多い部分を、理解が困難であるシーンとして映像を特定する。このため、式（４）の理解度f4は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w41〜w4nでそれぞれ重み付けして加算することで状態推定値を算出することができる。
【００５８】
式（５）の記憶度f5は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数w51〜w5nでそれぞれ重み付けして加算することで状態推定値を算出することができる。
【００５９】
例えば、集中度f6において、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きいとき、注意を向けて集中している可能性が高い。あるいは、脳波において、β波は思考状態を示すと考えられ、注意を向けて集中している可能性が高い。これを利用して心理的状態を特定する。このため、集中度f6は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等、脳波等をそれぞれ重み係数w61〜w6nで重み付けして加算することで同定される。他の心的状態を表現する式においても同様にして同定できる。
【００６０】
図７は、表示制御部１５による表示例を示す図である。図７に示すように、表示制御部１５は、検索条件入力部４０、検索結果表示部５０を含むグラフィカルユーザインターフェース３０を表示部１６に表示する。図７では視聴者の心的状態中の理解度、興味度および快適度だけが表示されている。検索条件入力部４０は、対象会議入力部４１、選定状態選択部４２、選定順位選択部４３を含む。検索要求入力部１３を用いて、対象会議入力部４１、選定状態選択部４２、選定順位選択部４３に検索要求を入力できる。対象会議入力部４１を用いて、任意の会議映像を選択できる。選定状態選択部４２を用いて、視聴者の心的状態を選択できる。選定順位選択部４３を用いて、状態順位判定部１１で選択されるシーン数を決定できる。
【００６１】
また、図７に示すように、表示制御部１５は、検索結果表示部５０にサムネイルを表形式で表示する。表示制御部１５は、検索結果表示部５０に会議映像情報に含まれる視聴者ごとにサムネイルを表示することができる。ここでは、視聴者Ａの心的状態に応じたサムネイルが表示されている。表示制御部１５は、検索結果表示部５０に、人物ごとにサムネイルを表示するための視聴者タブ（選択手段）５１Ａ〜５１Ｄを表示する。表示制御部１５は、検索結果表示部５０に、サムネイルを視聴者の心的状態別に表示するための状態タブ５２Ａ〜５２Ｆを表示する。これにより、例えば視聴者Ａの全心的状態に連関するランドマークスライドを一覧することも可能とする。
【００６２】
また、表示制御部１５は、検索結果表示部５０に、タイムラインスライダー５３を付加して表示する。このライムラインスライダー５３を利用して微小な時間変更が可能となる。さらに、表示制御部１５は、サムネイルがクリックされると、選択されたサムネイル以降の映像情報を再生する。これにより、視聴者Ａは、図７の（１）、（２）、（５）、（６）、（９）の時点で会議の内容を理解していることが分かる。
【００６３】
次に、他の表示例について説明する。図８は、他の表示例を示す図である。図８に示すように、表示制御部１５は、検索結果表示部５０を含むグラフィカルユーザインターフェース６０を表示部１６に表示する。表示制御部１５は、検索結果表示部５０に、サムネイルを表形式で表示する。検索結果表示部５０には、会議映像情報に含まれる視聴者ごとにサムネイルを表示できる。ここでは、視聴者Ａの心的状態別に応じたサムネイルが表示されている。
【００６４】
また、表示制御部１５は、検索結果表示部５０に、サムネイルを人物ごとに表示するための視聴者タブ５１Ａ〜５１Ｄを表示する。これにより視聴者Ａから視聴者Ｄの興味度に連関するランドマークスライドを一覧することも可能とする。また、表示制御部１５は、検索結果表示部５０に、サムネイルを視聴者の心的状態別に表示するための状態タブ５２Ａ〜５２Ｆを表示する。表示制御部１５は、検索結果表示部５０は、タイムラインスライダー５３を表示する。検索結果表示部５０には、視聴者Ａについて、興味度、興奮度、快適度、理解度および記憶度に関するサムネイルが一度に表示されている。
【００６５】
図８の表示により、視聴者Ａは（１）の時点では会議の内容に興味があり、興奮しており、記憶状態も良いことが分かる。（２）の時点では会議の内容に興味はあるが、理解はしていないことが分かる。（３）の時点は会議の内容に興味はないが、快適な状態であり、会議の内容を理解していることが分かる。（４）の時点は興奮していることが分かる。会議の内容中の視聴者が興味のある箇所が分かり、興味のある内容についてその視聴者に仕事を任せることができる。
【００６６】
次に他の表示例について説明する。図９は、他の表示例を示す図である。図９に示すように、表示制御部１５は、検索結果表示部５０を含むグラフィカルユーザインターフェース７０を表示する。表示制御部１５は、検索結果表示部５０に、サムネイルを表形式で表示する。検索結果表示部５０には、会議映像情報に含まれるすべての視聴者Ａ〜Ｄについて理解度に関するサムネイルが一覧表示されている。表示制御部１５は、検索結果表示部５０に、サムネイルを人物ごとに表示させるための視聴者タブ５１Ａ〜５１Ｄを表示する。また、表示制御部１５は、検索結果表示部５０に、サムネイルを視聴者の心的状態別に表示するための状態タブ５２Ａ〜５２Ｆを表示する。表示制御部１５は、検索結果表示部５０に、タイムラインスライダー５３を付加して表示する。
【００６７】
次に、他の表示例について説明する。図１０は、他の表示例を示す図である。図１０に示すように、表示制御部１５は、検索結果表示部５０を含むグラフィカルユーザインターフェース８０を表示する。表示制御部１５は、検索結果表示部５０に、サムネイルを表形式で表示する。表示制御部１５は、検索結果表示部５０に、サムネイルを人物ごとに表示するための視聴者タブ５１Ａ、５１Ｂを表示する。また、表示制御部１５は、検索結果表示部５０に、サムネイルを視聴者の心的状態別に表示するための状態タブ５２Ａ〜５２Ｆを表示する。
【００６８】
検索結果表示部５０には、全ての視聴者について、興味度、興奮度、快適度、理解度および記憶度に関するサムネイルが一度に表示されている。なお図中視聴者Ａおよび視聴者Ｂに関するサムネイルのみが表示されているが画面をスクロールすることで全ての視聴者についてサムネイルを表示できる。
【００６９】
次に情報処理システム１の動作について説明する。図１１は、生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。参照符号２００は会議室を示す。図１２は、ランドマークシーン選定処理フローチャートである。図１１では、上述した生体情報検出部２は、赤外線カメラ２１１及び２１２により構成されている。赤外線カメラ２１１は、視聴者Ａがスライド表示部２０５を注視した場合に視聴者Ａの眼球映像を検出する。赤外線カメラ２１２は、話者２０６の注視状態を撮影する。音響情報検出部３は、図１１の音圧センサーと指向性マイク２０２で構成される。会議映像検出部４は、会議映像検出カメラ２０３により構成される。同期部８は、生体情報及び音響情報を会議映像情報に同期させてインデックスファイルとして会議情報格納部９に記録する。
【００７０】
ステップＳ１０１で、状態推定処理部１０は、会議情報格納部９内の会議情報インデックスファイルを読み出す。ステップＳ１０２で、状態推定処理部１０は、シーンＩＤごとに、会議情報インデックスファイルの情報をパラメータとして読み出し、上述した評価関数を算出し、人物の状態推定値を求める。状態順位判定部１１は、人物の状態推定値に基づいて、視聴者の心的状態の順位を付ける。ステップＳ１０３で、状態推定処理部１０が推定した人物の状態推定値及び状態順位判定部１１が判定した人物の心的状態の順位は、インデックス（索引）として、会議映像情報データＩＤに対応付けてインデックスファイル格納部１２に格納される。なお、状態順位判定処理は選択的に行うようにしても良い。
【００７１】
ユーザは、検索要求入力部１３から特定の視聴者を指定し、更にその視聴者が興味を持った状態、ランドマーク選定基準情報を入力する。ステップＳ１０４で、表示制御部１５は、評価関数ごとにランドマーク選定基準を参照し、ステップＳ１０５で、ランドマーク選定基準を満たすシーンＩＤを取得する。表示制御部１５は、会議映像格納部７を参照して、会議映像情報データＩＤに対応する会議映像情報を会議映像格納部７から取得し、サムネイルを生成し、図７から図１０に示したような表示処理を行う。これによりこの表示を見ている者は、所望のシーンを効率よく振り返ることができる。
【実施例２】
【００７２】
次に、実施例２について説明する。上記実施例１では、会議参加者の生体情報等を取得し、これに基づいた心理的状態を推定して表示し、再生したい部分の動画へアクセスするというものであった。また、実施例１に係る情報処理システム１では、会議参加者の心的状態を生体情報から推定して表示するもので、仮に、ユーザが、他の会議参加者の「理解していないにも関わらず」大きくうなずいている様子を憶えていて、会議後に「あの会議参加者の理解度が高かったシーン」として探した場合、この装置では理解度が低いシーンとして定義されているため、見つからない可能性がある。実施例２ではこれらの問題を解決する。
【００７３】
図１３は、実施例２に係る情報処理システム１００の構成を示す図である。図１３に示すように、情報処理システム１００は、生体情報検出部２、音響情報検出部３、会議映像検出部４、生体情報格納部５、音響情報格納部６、会議映像格納部７、同期部８、会議情報格納部９、状態推定処理部１０、状態順位判定部１１、インデックスファイル格納部１２、検索要求入力部１３、検索要求記録部１４、表示制御部１５、表示部１６及び状態情報入力部１０１を備える。生体情報検出部２、音響情報検出部３および会議映像検出部４は、会議情報検出部２０として機能する。また状態推定処理部１０、状態順位判定部１１およびインデックスファイル格納部１２は、ランドマークを選定する処理を実行するランドマーク選定処理部２１として機能する。
【００７４】
状態情報入力部１０１は、ユーザが会議参加者の心的状態を手動で入力するものであり、本実施例では、ボタンとスライダを含むグラフィカルユーザインターフェースとして実現される。ユーザは、たとえばタッチパネル、マウスまたはキーボードなどを用いて、状態情報入力部１０１が提供するグラフィカルユーザインターフェースに会議参加者の心的状態を入力することができる。状態情報入力部１０１から、例えば特定の視聴者を指定し、更にその視聴者が興味を持った状態などの視聴者の心的状態を、ユーザの意図によって入力することができる。状態情報入力部１０１から入力された会議視聴者の心的状態は、インデックスファイル格納部１２に記録される。インデックスファイル格納部１２は、状態推定処理部１０により推定された会議視聴者の心的状態と、状態情報入力部１０１から入力された会議視聴者の心的状態を区別して格納する。
【００７５】
図１４は、ボタンとスライダを付加した形式のグラフィカルユーザインターフェース１１０を示す図である。図１４に示すように、状態情報入力部１０１は、時刻ボタン部１５１、心的状態ボタン部１５２、付帯状況入力部１５３、参加者ボタン部１５４、心的状態スライダ部１５５をグラフィカルユーザインターフェース１１０内に表示する。心的状態ボタン部１５２は、理解度ボタン１５２１、興味度ボタン１５２２、快適度ボタン１５２３及び興奮度ボタン１５２４を含む。図１４では、視聴者Ａの心的状態を記録する状況が表示されている。まず視聴者Ａを指定するために参加者ボタン部１５４Ａが押され、次に心的状態ボタン部１５２を指定する理解度ボタン１５２１が押されている。更に詳細に心的状態を記録するため、心的状態スライダ部１５５のスライダバー１５５Ａによって数値を与えることも可能である。また、時刻ボタン部１５１には計算機から同期した時刻が表示されており、押すだけでタイムスタンプを与えることができる。付帯状況入力部１５３には、そのときの状況を必要に応じてテキスト入力することが可能である。
【００７６】
図１５は、インデックスファイル格納部１２内のインデックスファイルを示す図である。図１５に示すように、左から時刻ｔ、会議映像情報ＩＤならびに状態推定処理部１０による興味度、興奮度、快適度、理解度および記憶度等の視聴者の心的状態、状態情報入力部１０１による興味度、興奮度、快適度、理解度および記憶度等の視聴者の心的状態の項目が設けられている。時刻ｔの欄には、会議映像情報に対応する時刻がそれぞれ入力されている。会議映像情報ＩＤは、会議映像情報を識別する番号が入力されている。状態推定処理部１０による興味度、興奮度、快適度、理解度および記憶度等の視聴者の心的状態の各欄には、上記評価関数により得られた状態推定値が入力されている。また図中＊印は状態順位判定部１１で削除されたシーンである。これにより検索するシーン数を少なくしている。
【００７７】
なお、同図では視聴者の心的状態として、興味度、興奮度、快適度、理解度および記憶度を表示しているが、視聴者の心的状態はこれらに限定されない。更に、状態情報入力部１０１による興味度、興奮度、快適度、理解度および記憶度等の視聴者の心的状態の各欄には、状態情報入力部１０１により得られた値が入力されている。値は、０．１刻みで1までとする１０段階として記録するなどがあるが、これに限らない。
【００７８】
図１６は、表示例を示す図である。図１６に示すように、表示制御部１５は、検索条件入力部４０および検索結果表示部５０を含むグラフィカルユーザインターフェース１３０を表示する。検索条件入力部４０は、対象会議入力部４１、選定状態選択部４２、選定順位選択部４３およびソース選択部４４を含む。これらは検索要求入力部１３から検索要求を入力することができる。対象会議入力部４１から任意の会議映像を選択できる。選定状態選択部４２から視聴者の心的状態を選択できる。なお、図１６では、視聴者の心的状態中の理解度、興味度および快適度だけが表示されている。選定順位選択部４３で、状態順位判定部１１で選択されるシーン数が決定される。
【００７９】
検索結果表示部５０には、サムネイルが表形式で表示されている。検索結果表示部５０には、会議映像情報に含まれる視聴者ごとにサムネイルを表示できる。図１６に示す例では、視聴者Ａの心的状態に応じたサムネイルが表示されている。検索結果表示部５０には、サムネイルを人物ごとに表示させるための視聴者タブ５１Ａ〜５１Ｄが表示されている。検索結果表示部５０には、サムネイルを視聴者の心的状態別に表示させるための状態タブ５２Ａ〜５２Ｅが表示されている。これにより、例えば、視聴者Ａの全状態に連関するランドマークスライドを一覧することも可能とする。
【００８０】
表示制御部１５は、サムネイル表示形式において、状態推定処理部１０によって抽出されたものを図１６中（１）のように無色の枠で囲み、状態情報入力部１０１によって入力されたものを同図中（５）のように青色の枠で囲み、その違いを可視化可能にする。更に、状態推定処理部１０と状態情報入力部１０１によって抽出されたサムネイルが一致した場合は（９）のように赤色の枠で囲むなどによってその判別を可能にする。これによって、「ユーザが視聴者Ａは理解していると思っていた」が、実は理解していなかったシーン（５）を、「視聴者Ａが理解していたシーン」としてサムネイルに表示することも可能にする。また、状態推定処理部１０と状態情報入力部１０１のどちらか一方のみの出力を選択的に表示することも可能とする。
【００８１】
図１７は、実施例２にランドマークシーン選定処理のフローチャートである。ステップＳ２０１で、状態推定処理部１０は、会議情報格納部９内の会議情報インデックスファイルを読み出す。ステップＳ２０２では、シーンＩＤごとに、会議情報インデックスファイル内の情報をパラメータとして読み出し、上述した評価関数を算定し、人物の状態推定値を求める。状態順位判定部１１は、視聴者の状態推定値に基づいて、視聴者の心的状態の順位を付ける。状態順位判定部１１は、人物の状態推定値に基づいて、視聴者の心的状態の順位を付ける。ステップＳ２０３で、状態推定処理部１０が推定した人物の状態推定値及び状態順位判定部１１が判定した人物の心的状態の順位は、インデックス（索引）として、会議映像情報データＩＤに対応付けてインデックスファイル格納部１２に格納される。なお、順位判定処理は選択的に行うようにしても良い。
【００８２】
ユーザは、検索要求入力部１３から特定の視聴者を指定し、更にその視聴者が興味を持った状態、ランドマーク選定基準情報を入力する。このランドマーク選定基準は、図１６で示した検索条件入力部４０中の選定順位４３により変更することができる。この変更は検索条件入力部１３から行うことができる。ステップＳ２０４で、表示制御部１５は、評価関数ごとにランドマーク選定基準を参照し、ステップＳ２０５で、ランドマーク選定基準を満たすシーンＩＤを取得する。ステップＳ２０６で、表示制御部１５は、ソースの選択を参照し、選択された条件でサムネイルを表示するよう設定される。表示制御部１５は、会議映像格納部７を参照して、会議映像情報データＩＤに対応する会議映像情報を取得し、サムネイルを生成し、図１６に示したような表示処理を行う。これによりこの表示を見ている者は、所望のシーンを効率よく振り返ることができる。
【００８３】
上記各実施例によれば、検索したいシーンの手掛かりを、生体情報等を用いた視聴者の状態を使って与え、その手掛かりに合致したシーンを検索することができる。これにより一定間隔の時間で切り出されたシーンからの所望のシーンの特定ができる。また、発話者の音量から重要度を特定する場合に発話のない視聴者にとって意味のあるシーンを同定することができる。また、会議視聴者それぞれにおける所望シーンに対応させることができる。また、会議室で開催される会議やプレゼンテーション等を録画した動画像データの中から所望のシーンを検索する作業を支援することができる。また、会議視聴者それぞれの視点から所望のシーンを検索することを支援できる。したがって、視聴者が所望とするシーンを効率的に振り返ることができる。
【００８４】
なお、本発明による情報処理方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００８５】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば上記各実施例では映像として会議映像を用いて説明したが本発明の映像は会議映像に限られるものではない。
【図面の簡単な説明】
【００８６】
【図１】実施例１に係る情報処理システム１のブロック図である。
【図２】生体情報格納部３内のデータシートを示す図である。
【図３】音響情報格納部６内のデータシートを示す図である。
【図４】会議映像格納部７内のデータシートを示す図である。
【図５】会議情報格納部９内のデータシートを示す図である。
【図６】インデックスファイル格納部１２内のインデックスファイルを示す図である。
【図７】表示制御部１５による表示例を示す図である。
【図８】表示制御部１５による他の表示例を示す図である。
【図９】表示制御部１５による他の表示例を示す図である。
【図１０】表示制御部１５による他の表示例を示す図である。
【図１１】生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。
【図１２】実施例１に係るランドマークシーン選定処理のフローチャートである。
【図１３】実施例２に係る情報システム１００の構成を示す図である。
【図１４】状態情報入力部１０１が提供するグラフィカルユーザインターフェースを示す図である。
【図１５】インデックスファイル格納部１２内のインデックスファイルを示す図である。
【図１６】表示制御部１５による表示例を示す図である。
【図１７】実施例２に係るランドマークシーン選定処理のフローチャートである。
【符号の説明】
【００８７】
１  情報処理システム
２  生体情報検出部
２  音響情報検出部
４  会議映像検出部
５  生体情報格納部
６  音響情報格納部
７  会議映像格納部
８  同期部
９  会議情報格納部
１０  状態推定処理部
１１  状態順位判定部
１２  インデックスファイル格納部
１３  検索要求入力部
１４  検索要求記録部
１５  表示制御部
１６  表示部
【図１】
2005332376.tif 000003
【図２】
2005332376.tif 000004
【図３】
2005332376.tif 000005
【図４】
2005332376.tif 000006
【図５】
2005332376.tif 000007
【図６】
2005332376.tif 000008
【図７】
2005332376.tif 000009
【図８】
2005332376.tif 000010
【図９】
2005332376.tif 000011
【図１０】
2005332376.tif 000012
【図１１】
2005332376.tif 000013
【図１２】
2005332376.tif 000014
【図１３】
2005332376.tif 000015
【図１４】
2005332376.tif 000016
【図１５】
2005332376.tif 000017
【図１６】
2005332376.tif 000018
【図１７】
2005332376.tif 000019