(57)【要約】【課題】  会議参加者等の感情を含めて内容を振り返ることができる情報処理装置を提供する。【解決手段】  情報処置装置は、人物の生体情報を映像情報に同期させる同期８と、人物の生体情報又は前記撮影時の音声情報に基づいて、所定の評価関数を用いて、人物の心的状態を示す状態推定値を求める状態推定処理部１０と、状態推定値を映像のシーンに対応して格納するインデックスファイル格納部１２と、オブジェクトの移動に応じた状態推定値を持つ映像のシーンを検索する検索手段と、状態推定値に応じて、人物を表すオブジェクトを人物の心的状態を用いて表現された座標空間内に配置した画面を表示する表示制御部１６とを備える。これにより、人物を表すオブジェクトを人物の心的状態を用いて表現された座標空間内に配置するので、感情も含めて内容を振り返ることができる。また、心的状態を距離に変換して配置でき、主観情報を位置情報として表現できる。【選択図】          図１
2006268395.tif 000002
【特許請求の範囲】
【請求項１】
撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて推定された人物の心的状態を該撮影時の映像情報に対応させて格納する格納手段と、
前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面を表示する表示手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記座標空間内のオブジェクトの位置に応じた映像を前記格納手段から検索する検索手段をさらに備え、
前記表示手段は、前記検索手段が検索した映像を表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示手段は、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記オブジェクトを配置した画面のサムネイルを表示することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記表示手段は、選択されたサムネイルに対応する映像を表示することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記表示手段は、前記オブジェクトの遷移を表示することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記座標空間は、時間軸を一つの座標軸とすることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記人物の生体情報又は前記撮影時の音声情報に基づいて、所定の評価関数を用いて前記人物の心的状態の程度を表す状態推定値を求める推定手段をさらに備えることを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置。
【請求項８】
撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて推定された人物の心的状態を該撮影時の映像情報に対応させて格納する格納手段と、
前記人物を表すオブジェクト及び前記人物の心的状態を少なくとも一つの座標軸とする座標空間を表示する表示手段と、
前記座標空間内のオブジェクトの位置に応じた映像を前記格納手段から検索する検索手段と
を備えることを特徴とする情報処理装置。
【請求項９】
前記人物の心的状態は、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の支持度合い、人物の共有感覚度合い、人物の主観度合い、人物の客観度合い、人物の嫌悪度合い及び人物の疲労度のうちの少なくとも一つを含むことを特徴とする請求項１または請求項８に記載の情報処理装置。
【請求項１０】
撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて算出された人物の心的状態を示す状態推定値を取得するステップと、
前記状態推定値に応じて、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面を表示するステップと
を有することを特徴とする情報処理方法。
【請求項１１】
前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面のサムネイルを表示するステップをさらに有することを特徴とする請求項１０に記載の情報処理方法。
【請求項１２】
人物を表すオブジェクト及び人物の心的状態を少なくとも一つの座標軸とする座標空間内に配置した画面を表示するステップと、
前記オブジェクトの位置に対応する状態推定値を持つ映像シーンを検索するステップとを有することを特徴とする情報処理方法。
【請求項１３】
撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて算出された人物の心的状態を示す状態推定値を取得するステップ、
前記状態推定値に応じて、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面を表示するための情報を生成するステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、決定事項に至った詳細な経緯などは記録されないため、適切に振り返ることができない。
【０００３】
このような振り返りを支援する技術として動画像を利用する方法が提案されている。例えば、会議をビデオ撮影し、後で思い出したいシーンを再生することにより想起を支援する方法である。そのためには、見たいシーンをすばやく検索する技術が不可欠となる。
【０００４】
例えば、動画像からある一定の時間間隔で抽出したシーン（静止画）を代表画像としてユーザに提示することにより、ユーザはその代表画像を頼りに時間的前後関係を推測し、見たいシーンに辿り着くことができる。しかし、この場合、ユーザに提示されるシーンは一定間隔の時間で切り出されたシーンであり、そのシーンが時間推定にどれだけ有用であるかは不明である。例えば、似たような複数のシーンが抽出された場合、それらから時間的前後関係を推測するのは難しい。
【０００５】
このような問題を解決するために、動画像の内容が大きく変化した場合の静止画を代表画像としてユーザに提示する方法がある。この場合、単なる時間間隔で得られた代表画像と異なり、シーンが変化した時点を代表画像とするため、同じようなシーンが連続して代表画像となることはない。しかし、この方法では、画像中の変化が少ないために代表画像が得られない場合もある。逆に、カメラのパンやブレやズーム、又は誰かがカメラの前を通った場合はシーンが大きく変化したとみなされ、そのシーンが代表画像として提示される場合もある。それらは会議の振り返りをするユーザにとっては意味のない（記憶にない）シーンであるので役立たない。
【０００６】
また、どの発言者がいつ発言したかを特定し、それをビジュアルにタイムラインとして表示し、そのタイムラインから再生したい部分の動画へアクセスする方法が提案されている。しかし、ユーザは表示されたタイムラインを見て、自分が探しているシーンがどこに相当するかを見たいシーンを推測する必要がある。このため、長時間の会議になればなるほど、見る範囲も広くなり、ユーザに負担を強いることになる。
【０００７】
また、見たいシーンを画像としてユーザがシステムに与えることにより、システムはその与えられた画像と類似するシーンを検索するという方法がある。この場合、ユーザは画像を検索要求として与えるが、会議の録画の場合、設置されたカメラ位置を想定して、その位置から見える画像を作りシステムに与えなければならない。ユーザは通常、カメラの位置などについては考慮していないのでカメラ位置からの画像を作成して与えるのは難しい。
【０００８】
また、上記手法では、意味のあるシーンを検出することが不可能であるという問題があった。このような問題点を解決する従来技術として以下のようなものが提案されている。
【０００９】
例えば、プレゼンテーションの始めに順次表示された複数のスライドに対する参加者の関心の度合いを検出し、スライド番号と関心度のテーブルの形で保持しておき、一番関心度の高かったスライド番号に対応するスライド進行パターンに従って、スライドを取り出して表示するという手法が提案されている（特許文献１参照）。
【００１０】
また、プレゼンテーション実施時に発表者の音声を入力し、入力した音声の大きさおよび抑揚を分析し、音声の大きいあるいは抑揚の大きい強調部である場合にプレゼンテーション中の画面を強調表示する方法が提案されている（特許文献２参照）。
【００１１】
また、撮影者が重要度を決定し、映像にタグ付けしていく手法（特許文献３参照）、興味の度合いを顔面皮膚温と顔面距離から算定する手法（特許文献４参照）、端末操作時のオペレータの操作状況を監視して操作を支援する手法（特許文献５参照）が提案されている。
【００１２】
【特許文献１】特開２００２−１４９１４５号公報
【特許文献２】特開２００２−２３７１６号公報
【特許文献３】特開２０００−１９７００２号公報
【特許文献４】特開２００１−１００８８８号公報
【特許文献５】特開平５−１７６３２５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、後で、会議参加者の感情も含めて会議内容を振り返る場合、感情に関連する情報は手がかりが少なく振り返りにくい。また、遠隔会議においいては、会議参加者の位置が近接していないため、微妙な感情を表現しにくい（パーソナルスペース問題）。
【００１４】
また、特許文献１記載の装置では、対象を内容自体ではなく、スライドにおいており、会議やプレゼンテーション時において、参加者は話者と資料を補完しながら見るなど、必ずしもスライドへの凝視と関心度は結びつかないため、参加者の感情も含めて内容を振り返ることはできない。また、参加者各人の関心度を決定することができない。
【００１５】
特許文献２記載の装置では、会議では発話者が偏る状況も多く、またプレゼンテーションにおいては、視聴者が発話する機会は極端に少なく、発話音量により意味のあるシーンを特定することは困難である。特許文献３記載の装置では、撮影者１人の決定に依存し、視聴者の意図を反映することができない。さらに、撮影者が意図的にタグ付け作業を行わなければならない。
【００１６】
特許文献４記載の装置では、ＴＶゲームなどにおける情動の入力支援手法であり、その記録と映像のリンクによる重要シーンを振り返ることはできない。特許文献５記載の装置によっては、感情も含めた内容の振り返りを行うことはできない。
【００１７】
そこで、本発明は、上記問題点に鑑みてなされたもので、会議参加者等の感情を含めて内容を振り返ることができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明は、撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて推定された人物の心的状態を該撮影時の映像情報に対応させて格納する格納手段と、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面を表示する表示手段とを備える情報処理装置である。
【００１９】
本発明によれば、人物の心的状態を少なくとも一つの座標軸とする座標空間内に人物を表すオブジェクトを配置した画面を表示することにより感情も含めて内容を振り返ることができる。また、心的状態を距離に変換して配置することで、主観情報を位置情報として表現できる。つまり、パーソナルスペースを可視化できる。また、心的状態を位置情報にすることによって心的状態をパターンとして覚えておくことで、後で探し易くなる。ここで、座標空間には、２次元空間の場合の座標平面も座標空間に含まれる。
【００２０】
本発明は、前記座標空間内のオブジェクトの位置に応じた映像を前記格納手段から検索する検索手段をさらに備え、前記表示手段は、前記検索手段が検索した映像を表示することを特徴とする。本発明によれば、人物のオブジェクトを検索キーとして、直感的に目的の心理状態のシーンを探すことができる。
【００２１】
前記表示手段は、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記オブジェクトを配置した画面のサムネイルを表示することを特徴とする。これにより、心理状態を一瞥して確認できる。前記表示手段は、選択されたサムネイルに対応する映像を表示することを特徴とする。前記表示手段は、前記オブジェクトの遷移を表示することを特徴とする。前記座標空間は、時間軸を一つの座標軸とすることを特徴とする。本発明は、前記人物の生体情報又は前記撮影時の音声情報に基づいて、所定の評価関数を用いて前記人物の心的状態の程度を表す状態推定値を求める推定手段をさらに備える。
【００２２】
本発明は、撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて推定された人物の心的状態を該撮影時の映像情報に対応させて格納する格納手段と、前記人物を表すオブジェクト及び前記人物の心的状態を少なくとも一つの座標軸とする座標空間を表示する表示手段と、前記座標空間内のオブジェクトの位置に応じた映像を前記格納手段から検索する検索手段とを備える情報処理装置である。本発明によれば、人物のオブジェクトを移動させることにより、直感的に目的の心理状態のシーンを探すことができる。前記人物の心的状態は、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の支持度合い、人物の共有感覚度合い、人物の主観度合い、人物の客観度合い、人物の嫌悪度合い及び人物の疲労度のうちの少なくとも一つを含むことを特徴とする。
【００２３】
本発明は、撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて算出された人物の心的状態を示す状態推定値を取得するステップと、前記状態推定値に応じて、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面を表示するステップとを有する情報処理方法である。本発明によれば、人物の心的状態を少なくとも一つの座標軸とする座標空間内に人物を表すオブジェクトを配置した画面を表示するので、感情も含めて内容を振り返ることができる。また、心的状態を距離に変換して配置することで、主観情報を位置情報として表現できる。つまり、パーソナルスペースを可視化できる。また、心的状態を位置情報にすることによって心的状態をパターンとして覚えておくことで、後で探し易くなる。
【００２４】
本発明は、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面のサムネイルを表示するステップをさらに有する。本発明は、人物を表すオブジェクト及び人物の心的状態を少なくとも一つの座標軸とする座標空間内に配置した画面を表示するステップと、前記オブジェクトの位置に対応する状態推定値を持つ映像シーンを検索するステップとを有する情報処理方法である。
【００２５】
本発明は、撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて算出された人物の心的状態を示す状態推定値を取得するステップ、前記状態推定値に応じて、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面を表示するための情報を生成するステップをコンピュータに実行させるためのプログラムである。本発明によれば、人物の心的状態を少なくとも一つの座標軸とする座標空間内に人物を表すオブジェクトを配置した画面を表示するので、感情も含めて内容を振り返ることができる。また、心的状態を距離に変換して配置することで、主観情報を位置情報として表現できる。つまり、パーソナルスペースを可視化できる。また、心的状態を位置情報にすることによって心的状態をパターンとして覚えておくことで、後で探し易くなる。
【発明の効果】
【００２６】
本発明によれば、会議参加者等の感情を含めて内容を振り返ることができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態における情報検索システム１のブロック図である。図１に示すように、情報検索システム１は、生体情報検出部２、音声情報検出部３、会議映像検出部４、生体情報格納部５、音声情報格納部６、会議映像格納部７、同期部８、会議映像格納部９、状態推定処理部１０、状態順位判定部１１、インデクスファイル格納部１２、検索要求入力部１３、検索要求記録部１４、検索部１５、表示制御部１６及び表示部１７を備える。
【００２８】
この情報検索システム１は、会議の映像から所望のシーンを検索できるようにするものである。生体情報検出部２は、会議の視聴者の瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温などの生体情報を検出するものである。この生体情報は、特に会議の視聴者への計測機器の装着無しに取得可能なものであるのが好ましい。
【００２９】
生体情報検出部２は、例えば、瞬きや瞳孔径に係る情報を、公知の手法を用いて視聴者の顔をカメラで撮像した顔画像から顔領域を抽出し、更に眼領域を特定し、瞬きの数をカウントしたり、瞳孔径を測定したりすることによって取得する。注視対象、注視時間においては、注視対象候補側に配置したカメラ等により撮像した画像を用い、前記手法により眼領域を特定し、撮像したカメラの位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することにより取得できる。顔面皮膚温においては、赤外線カメラ、サーモグラフィ等により視聴者への計測機器を装着することなく取得することが可能である。
【００３０】
音声情報検出部３は、例えば集音マイク等により構成され、会議の視聴者、話者の音声等を検出する。会議映像検出部４は、ビデオカメラ等により構成され、会議に関する映像情報を検出する。会議映像検出部４には、会議で使用されるプレゼンテーション資料や視聴者等が広角で撮像できるカメラを用いても良い。
【００３１】
生体情報格納部５は、生体情報検出部２で検出した生体情報を表形式のデータシートとして格納する。図２は、生体情報格納部５に格納されたデータシートを示す図である。図２において、時刻ｔ、瞳孔径x、y、注視対象、注視時間、瞬目、顔面皮膚温は生体情報である。この生体情報は、視聴者ごとに、時刻ｔに対応させて格納されている。注視対象は、注視対象側に設置されたカメラから撮像可能であったカメラ位置を特定することで注視対象とする。注視時間は、対象ごとに累積時間を算出して記録する。
【００３２】
音声情報格納部６は、音声情報検出部２２で検出した音声等を表形式のデータシートとして格納する。図３は、音声情報格納部６に格納されたデータシートを示す図である。図３において、発話有無、音量、話者発話有無、話者音量及び環境音は音声情報である。この生体情報は、視聴者ごとに、時刻ｔに対応させて格納されている。特に環境音は、映像に付随して発生する音響情報を含む。
【００３３】
会議映像格納部７は、会議映像検出部４によって検出された会議映像を一覧形式のデータシートとして格納する。次に、会議映像格納部７に格納された会議映像について説明する。図４は、会議映像格納部７に格納されたデータシートを示す図である。図４に示すように、会議映像は、識別記号ＩＤに対応して格納されている。
【００３４】
同期部８は、人物の生態情報及び撮影時の音声情報を映像情報に同期させるものである。会議情報格納部９は、例えば、半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成され、同期部８で同期化させた情報を会議インデックスファイルとして保持する。図５は会議情報格納部９に格納されたデータシートを示す図である。図５に示すように、会議情報は、時刻、瞳孔径、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報と、発話有無、音量、話者発話有無、話者音量、環境音などの音情報と、会議映像情報データＩＤとを含む。会議情報は、視聴者ごとに、時刻に対応付けられている。
【００３５】
状態推定処理部１０は、人物の生体情報及び音声情報に基づいて、所定の評価関数を用いて状態推定値を求め、求めた状態推定値を会議映像のシーンＩＤに対応させてインデックスファイル格納部１２に格納する。このようにして、状態推定処理部１０によって、会議映像に対してインデックスが付与される。状態推定値は、人物の心的状態を示し、撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて算出されたものである。
【００３６】
この会議視聴者の心的状態には、例えば会議視聴者の認知的状態や精神的情報等を含む。ここで、人物の心的状態には、人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度、人物の支持度合い、人物の共有感覚度合い、人物の主観度合い、人物の客観度合い、人物の嫌悪度合い及び人物の疲労度等が含まれる。この評価関数は、視聴者の生態情報及び視聴者を撮影する際に得られる音情報を重み付けして加算するものである。状態推定処理部１０は、所定のプログラムを実行することでその機能が実現される。
【００３７】
状態順位判定部１１は、状態推定処理部１０により算出された視聴者の状態推定値を元に視聴者の状態に順位を付け、状態推定処理部１０の推定結果の数を減らす処理を行う。これにより、順位判定によりランドマークとして適切なシーン数にすることで、候補が膨大となり検索性能が著しく劣化するということを防止できる。
【００３８】
インデックスファイル格納部１２は、時間、会議映像ＩＤに対応付けられた人物の状態推定値をインデックスファイルとして格納する。このインデックスファイル格納部１２は、例えば各視聴者の表形式のデータシートで格納される。
【００３９】
図６はインデックスファイル格納部１２が格納するデータシートを示す図である。図６に示すように、左側から時刻ｔ、会議映像情報ＩＤ並びに興味度、興奮度、快適度、理解度及び記憶度等の視聴者の心的状態の項目が設けられている。時刻ｔの欄には、会議映像情報に対応する時刻がそれぞれ入力されている。会議映像情報ＩＤは、会議映像情報を識別する番号が入力されている。興味度、興奮度、快適度、理解度及び記憶度等の視聴者の心的状態の各欄には、評価関数により得られた状態推定値が入力されている。また、図中＊印は状態順位判定部１１で削除されたシーンである。これにより検索するシーン数を少なくしている。なお、同図では視聴者の心的状態として、興味度、興奮度、快適度、理解度及び記憶度を表示しているが、視聴者の心的状態はこれらに限定されない。
【００４０】
検索要求入力部１３は、例えばタッチパネル、マウス又はキーボード等により構成され、ユーザはこの検索要求入力部１３を操作することによって特定の検索要求を入力することができる。ユーザは、この検索要求入力部１３から例えば特定の視聴者を指定し、更にその視聴者が興味を持った状態などの視聴者の心的状態を指定することができる。検索要求記録部１４は、例えば半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成され、検索要求入力部１３で入力された検索条件を記録する。
【００４１】
検索部１５は、検索要求入力部１３から入力された検索要求に基づいて、座標空間内のオブジェクトの位置に応じた状態推定値を持つ映像シーン（オブジェクトの位置に応じた映像）をインデックスファイル格納部１２から検索する。表示制御部１６は、インデックスファイル格納部１２から会議映像データＩＤ及び状態推定値を取得し、状態推定値を位置情報に変換して、人物の心的状態を少なくとも一つの座標軸とする座標空間内に人物を表すオブジェクトを配置した画面を表示する。このとき、表示制御部１６は、会議映像データＩＤを参照して会議映像格納部７から映像情報を取得して、映像をオブジェクトに対応させて表示部１７に表示させる。
【００４２】
次に、状態推定処理部１０の動作について説明する。眼球運動心理学（眼球運動の実験心理学、まばたきの心理学、瞳孔運動の心理学）によれば、興味は、瞳孔径に関連し、理解度、記憶度は、瞬目に関連し、興奮度、快適度は、瞬目や顔面皮膚温に関連していると考えられている。但し、これら単体では、例えば室内温度環境による顔面皮膚温上昇など、精度を保つことができない。そこで、これらデータ及び発話音量、環境音等を重み付けして加算した評価関数により、前記状態を同定する。
【００４３】
次に、状態推定処理部１０で用いる評価関数を以下に示す。人物の興味度、人物の興奮度、人物の快適度、人物の理解度、人物の記憶度の状態推定値を求める評価関数は以下の通りである。なお、同様にして人物の支持度合い、人物の共有感覚度合い、人物の主観度合い、人物の客観度合い、人物の嫌悪度合い及び人物の疲労度の状態推定値を求めることができる。
【００４４】
・興味度ｆ１＝ｗ１１＊瞳孔径（変化量,変化速度）＋ｗ１２＊注視（時間,回数）＋Ｗ１３＊瞬目（率,回数,群発瞬目数）＋ｗ１４＊顔面皮膚温変化量＋ｗ１５＊発話音量＋ｗ１６＊話者発話音量＋ｗ１６＊環境音  ・・・（１）
【００４５】
・興奮度ｆ２＝ｗ２１＊瞳孔径（変化量,変化速度）＋ｗ２２＊注視（時間,回数）＋ｗ２３＊瞬目（率,回数,群発瞬目数）＋ｗ２４＊顔面皮膚温変化量＋ｗ２５＊発話音量＋ｗ２６＊話者発話音量＋ｗ２６＊環境音  ・・・（２）
【００４６】
・快適度ｆ３＝ｗ３１＊瞳孔径（変化量,変化速度）＋ｗ３２＊注視（時間,回数）＋ｗ３３＊瞬目（率,回数,群発瞬目数）＋ｗ３４＊顔面皮膚温変化量＋ｗ３５＊発話音量＋ｗ３６＊話者発話音量＋ｗ３６＊環境音  ・・・（３）
【００４７】
・理解度ｆ４＝ｗ４１＊瞳孔径（変化量,変化速度）＋ｗ４２＊注視（時間,回数）＋ｗ４３＊瞬目（率,回数,群発瞬目数）＋ｗ４４＊顔面皮膚温変化量＋ｗ４５＊発話音量＋ｗ４６＊話者発話音量+ｗ４６＊環境音  ・・・（４）
【００４８】
・記憶度ｆ５＝ｗ５１＊瞳孔径（変化量,変化速度）＋ｗ５２＊注視（時間,回数）＋ｗ５３＊瞬目（率,回数,群発瞬目数）＋ｗ５４＊顔面皮膚温変化量＋ｗ５５＊発話音量＋ｗ５６＊話者発話音量＋ｗ５６＊環境音  ・・・（５）
【００４９】
次に、上記評価関数について説明する。式１の興味度ｆにおいて、瞳孔変化量が大きく、注視時間が長く、瞬目回数が少なく、顔面皮膚温の変化量が多く、発話音量の大きい部分を、興味があるシーンとして映像を特定することができる。このため式（１）の興味度ｆは、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等をそれぞれ重み係数ｗ１１〜ｗ１ｎで重み付けして加算することで状態推定値を算出することができる。
【００５０】
式（２）の興奮度ｆ２は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数ｗ２１〜ｗ２ｎでそれぞれ重み付けして加算することで状態推定値を算出することができる。式（３）の快適度ｆ３は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数ｗ３１〜ｗ３ｎでそれぞれ重み付けして加算することで状態推定値を算出することができる。
【００５１】
式（４）の理解度において、理解困難な場合は瞬目が増加すると考えられている（まばたきの心理学）。一般的に理解が困難な場合、視聴者は、補足情報を取得しようとし、注視時間が増加する傾向にあると考えられるため、注視時間が長く、瞬目回数が多い部分を、理解が困難であるシーンとして映像を特定する。このため、式（４）の理解度ｆ４は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数ｗ４１〜ｗ４ｎでそれぞれ重み付けして加算することで状態推定値を算出することができる。
【００５２】
また、式（５）の記憶度ｆ５は、瞳孔径（変化量、変化速度）、注視（時間、回数）、瞬目（率、回数、群発瞬目数）、顔面皮膚温変化量、発話音量、話者発話音量、環境音等に重み係数ｗ５１〜ｗ５ｎでそれぞれ重み付けして加算することで状態推定値を算出することができる。
【００５３】
図７は生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。参照符号２００は会議室を示す。図７に示す例では、上述した生体情報検出部２は、赤外線カメラ２１１および２１２により構成されている。これにより、例えば視聴者Ａがスライド表示部２０５を注視した場合に赤外線カメラ２１１により眼球映像が検出される。話者２０６を注視した場合は赤外線カメラ２１２により撮像される。また、上述した音声情報検出部３は、例えば音圧センサーと指向性マイク２０２とで構成される。これにより、例えば視聴者Ａの発話情報が検出される。会議映像情報検出部４は、会議映像検出カメラ２０３により構成される。
【００５４】
図８は、索引付与処理の動作フローチャートである。ステップＳ１０１において、状態推定処理部１０は、会議情報格納部９内の会議映像インデックスファイルを読み出す。ステップＳ１０２において、状態推定処理部１０は、シーンＩＤごとに、会議映像インデックスファイルのパラメータを読み出し、評価関数を用いて人物の状態推定値を算出し、人物の状態推定値をインデックスファイル格納部１２に格納する。ステップＳ１０３で、状態順位判定部１１は、状態推定処理部１０により算出された視聴者の状態推定値を元に視聴者の状態に順位を付け、状態推定処理部１０の推定結果の数を減らす処理を行う。これにより、順位判定によりランドマークとして適切なシーン数にすることで、候補が膨大となり検索性能が著しく劣化するということを防止できる。このようにして、人物の心的状態に応じたインデックス（索引）を映像情報に対して付与することができる。なお、ステップＳ１０３の状態順位判定処理は選択的に行うようにしても良い。
【００５５】
次に、表示処理について説明する。図９は、表示処理の動作フローチャートである。ユーザは、検索要求入力部１３を操作して、視聴者の心的状態として興味度及び理解度を検索条件として入力する。ステップＳ２０１で、状態順位判定部１１は、上述したの評価関数に基づいて、ランドマーク選定基準を参照して例えば、その上位５位までを参照する。ステップＳ２０２で、ステップＳ１の情報に基づいて図６のインデックスファイルを参照して、会議映像ＩＤを取得する。
【００５６】
ステップＳ２０３で、表示制御部１６は、座標空間の選定処理を行う。つまり、表示制御部１６は、検索要求入力部１３によって得られた要求情報、例えば興味度と理解度について検索したい、という要求をもとに、図１０の座標空間を作成する。ステップＳ２０４で、表示制御部１６は、会議参加者ごとの選定されたシーンＩＤに対する各評価関数を参照して、興味度および理解度の数値を得る。ステップＳ２０５で、表示制御部１６は、図６の数値に基づいてオブジェクトを図１０の座標空間に配置する。
【００５７】
図１０は、本実施形態におけるユーザインタフェースを示す図である。参照符号２１は会議映像のタイムライン、２２は会議映像、２３は検索結果画面をそれぞれ示す。ユーザは、検索要求入力部１３を操作して、視聴者の心的状態として興味度及び理解度を検索条件として入力する。検索部１５は、検索要求入力部１３からの検索条件に基づいて、インデックスファイル格納部１２内の興味度及び理解度の状態推定値及び対応する会議映像情報ＩＤを取得し、表示制御部１６に送る。表示制御部１６は、状態推定値に応じて、視聴者（人物）を表すオブジェクト（アバタ）Ａ〜Ｄを人物の心的状態（理解度、興味度）を座標軸とする座標平面内に配置した検索結果画面２３を表示する。これにより理解度が低く、興味が低い人は左下、理解度が高く、興味が高い人は、右上に配置され、主観的状態が一瞥して把握できる。アバタは、図１０に配置している個人を模式的に表現する人形アイコンであり、その表現形式はたとえば実際の人物画像でも良いし、○、□などの図形であっても良い。
【００５８】
検索結果画面２３を参照すると、視聴者Ａは興味はあるが理解はしておらず、視聴者Ｂは興味も理解もしておらず、視聴者Ｃは興味も理解もしており、視聴者Ｄは理解はしているが興味がないことが分かる。このように、人物を表すオブジェクトを人物の心的状態を少なくとも一つの座標軸とする座標平面内に配置した画面を表示することで、視聴者の感情も含めて会議内容を振り返ることができる。また、心的状態を距離に変換して配置することで、主観情報を位置情報として表現できる。つまり、パーソナルスペースを可視化できる。また、心的状態が変更した時間帯という検索の手がかりとなる。
【００５９】
図１１は、本実施形態におけるユーザインタフェースの他の例を示す図である。参照符号２１は会議映像のタイムライン、２２は会議映像、２４は検索結果画面２４を示す図である。ユーザは、検索要求入力部１３を操作して、視聴者の心的状態として集中度及び快適度を検索条件として入力する。検索部１５は、検索要求入力部１３からの検索条件に基づいて、インデックスファイル格納部１２内の集中度及び快適度の状態推定値及び対応する会議映像情報ＩＤを取得し、表示制御部１６に送る。表示制御部１６は、状態推定値に応じて、視聴者（人物）を表すオブジェクト（アバタ）Ａ〜Ｄを人物の心的状態（集中度、快適度）を座標軸とする座標平面内に配置した検索結果画面２３を表示する。
【００６０】
検索結果画面２４を参照すると、視聴者Ａは集中度が少なく、視聴者Ｂは快適でもなく、集中度も低く、視聴者Ｃは快適で集中度も高く、視聴者Ｄは集中しているが快適ではないことが分かる。このように、人物を表すオブジェクトを人物の心的状態を少なくとも一つの座標軸とする座標平面内に配置した画面を表示することで、視聴者の感情も含めて会議内容を振り返ることができる。また、心的状態を距離に変換して配置することで、主観情報を位置情報として表現できる。つまり、パーソナルスペースを可視化できる。
【００６１】
図１２は、本実施形態におけるユーザインタフェースの他の例を示す図である。参照符号２１は会議映像のタイムライン、２２は会議映像、２５は検索結果画面２５を示す。また、座標は、視聴者Ｘ（理解度、興味度、快適度）を示す。ユーザは、検索要求入力部１３を操作して、視聴者の心的状態として理解度、興味度及び快適度を検索条件として入力する。検索部１５は、検索要求入力部１３からの検索条件に基づいて、インデックスファイル格納部１２内の理解度、興味度及び快適度の状態推定値及び対応する会議映像情報ＩＤを取得し、表示制御部１６に送る。表示制御部１６は、状態推定値に応じて、視聴者（人物）を表すオブジェクト（アバタ）Ａ〜Ｄを人物の心的状態（理解度、興味度、快適度）を座標軸とする座標空間内に配置した検索結果画面２３を表示する。ここで座標空間は時間軸を一つの座標軸としても良い。
【００６２】
検索結果画面２５を参照すると、視聴者Ａは興味があり快適な状態であるが、理解はしていないことが分かる。視聴者Ｂは興味もなく、理解もしておらず、快適な状態でもないことが分かる。視聴者Ｃは興味もあり理解もしており、快適な状態であることが分かる。視聴者Ｄは興味があり、理解はしているが、快適な状態ではないことが分かる。このように、人物を表すオブジェクトを人物の心的状態を少なくとも一つの座標軸とする座標空間内に配置した画面を表示することで、視聴者の感情も含めて会議内容を振り返ることができる。また、心的状態を距離に変換して配置することで、主観情報を位置情報として表現できる。つまり、パーソナルスペースを可視化できる。
【００６３】
図１３は、本実施形態におけるユーザインタフェースの他の例を示す図である。参照符号２１は会議映像のタイムライン、２２は会議映像、２６は検索結果画面をそれぞれ示す。ユーザは、検索要求入力部１３を操作して、視聴者の心的状態として興味度を検索条件として入力する。検索部１５は、検索要求入力部１３からの検索条件に基づいて、インデックスファイル格納部１２内の興味度の状態推定値及び対応する会議映像情報ＩＤを取得し、表示制御部１６に送る。表示制御部１６は、状態推定値に応じて、視聴者（人物）を表すオブジェクト（アバタ）Ａ及びＢを人物の心的状態（興味度）を座標軸とする座標空間内に配置した検索結果画面２６を表示する。座標平面は時間軸を一つの座標軸としている。
【００６４】
検索結果画面２６を参照すると、視聴者Ａは（２）のとき、興味度が最も高くなっており、それ以降は興味度が低くなっているのが分かる。視聴者Ｂは初め興味度が低かったが（２）のとき、興味度が少し上がったが、その後、興味度が下がり、（５）のとき、興味度が非常に上がったことが分かる。このように、オブジェクトの遷移を表示することで、心的状態の変化を把握できる。
【００６５】
図１４は、検索結果のサムネイルでの表現例を示す図である。参照符号２１は会議映像のタイムライン、２２は会議映像、２７１〜２７４は検索結果画面のサムネイルをそれぞれ示す図である。ユーザは、検索要求入力部１３を操作して、視聴者の心的状態として興味度及び理解度を検索条件として入力する。検索部１５は、検索要求入力部１３からの検索条件に基づいて、インデックスファイル格納部１２内の興味度及び理解度の状態推定値及び対応する会議映像情報ＩＤを取得し、表示制御部１６に送る。表示制御部１６は、視聴者を表すオブジェクトＡ〜Ｄを人物の心的状態（理解度、興味度）を少なくとも一つの座標軸とする座標平面内に配置した検索結果画面のサムネイル２７１〜２７４を表示する。ここで、座標平面に代えて座標空間を用いても良い。
【００６６】
検索結果のサムネイル２７２を参照すると、視聴者Ａの理解度が上がっているのが分かり、検索結果のサムネイル２７３を参照すると、視聴者Ｄの興味度が上がっているのが分かり、検索結果のサムネイル２７４を参照すると、視聴者Ａの理解度が下がり、視聴者Ｄの興味度が下がっているのが分かる。このように検索結果をサムネイルにより表示することにより、心理状態を一瞥して確認できる。興味のあった箇所がすぐ分かる。また、心理状態を位置情報にするので、パターンとして覚えておける。そのため、後で探し易くなり、人が移動した（心理状態が変更した）時間帯という検索の手がかりが可能となる。表示制御部１６は、サムネイルがクリックされると、元映像にリンクし、その部分の映像を表示する。
【００６７】
図１５は、検索用ユーザインタフェースを説明するための図である。参照符号２１は会議映像のタイムライン、２８は検索用ユーザインタフェース、２９１及び２９２は検索結果のサムネイル、３０は会議映像をそれぞれ示す。表示制御部１６は、検索用ユーザインタフェース２８として、参加者エリア２８１に人物を表すオブジェクトを表示し、人物の心的状態を少なくとも一つの座標軸とする座標平面内に配置した画面２８２を表示する。ここで座標平面ではなく座標空間であっても良い。ユーザは、参加者エリア２８１内の任意の視聴者を選択して、座標空間２８２に移動させる。同図では、興味度及び理解度が低い位置に視聴者Ｂを示すオブジェクトを配置させた例である。
【００６８】
表示制御部１６は、座標空間２８２内の視聴者Ｂのオブジェクトの位置情報を検索部１５に送る。検索部１５は、インデックスファイル格納部１２から、視聴者Ｂのオブジェクトの座標平面内の位置に応じた状態推定値を持つ映像シーンＩＤを検索し、表示制御部１６に送る。表示制御部１６は、映像シーンＩＤに合った映像シーンを会議映像格納部７から取得し、会議映像シーンを表示する。また、表示制御部１６は、映像シーン３０に合った検索結果のサムネイル２９１及び２９２を表示する。このように、参加者のオブジェクト（アバタ）を検索キーと見立て、二次元仮想会議に配置することにより、直感的に目的の心理状態の箇所を探すことができる。また、オブジェクトを移動させることによって、心理的状態の変化を示し、その状態の元映像にいち早くアクセスできる。検索結果は、全ての会議参加者を配置した最後に提示されるものではなく、配置の最中にも候補映像がサムネイルとして表示される形式をとる。
【００６９】
図１６は、遠隔会議で本発明を適用した例を説明する図である。参照符号２１は会議映像のタイムライン、３０は会議映像、３１１及び３１２は検索結果のサムネイルをそれぞれ示す。ユーザは、検索要求入力部１３を操作して、視聴者の心的状態として理解度及び興味度を、また会議参加者として遠隔地Ｘで会議に参加している会議参加者Ａ及びＢ、遠隔地Ｙで会議に参加している会議参加者Ｃ及びＤを検索条件として入力する。検索部１５は、検索要求入力部１３からの検索条件に基づいて、インデックスファイル格納部１２内の理解度及び興味度の状態推定値及び対応する会議映像情報ＩＤを取得し、表示制御部１６に送る。表示制御部１６は、遠隔地Ｘ及びＹの参加者を表すオブジェクトＡ〜Ｄを人物の心的状態（理解度、興味度）を少なくとも一つの座標軸とする座標平面内に配置した検索結果画面のサムネイル３１１及び３１２を表示する。
【００７０】
人は他者との距離によって、心理的状態を表現することがある（社会心理学：パーソナルスペース）。しかし、遠隔会議では、物理的距離が遠いため、それを表現し得ない。従って、従来の技術では、遠隔地Ｘと遠隔地Ｙでの遠隔会議では、会議参加者Ａ〜Ｄの心理的状態を表現することができなかった。そこで、バーチャル会議室に本発明を適用することで、心理的状態を加味してオブジェクトを配置することで、遠隔会議においても心理的状態を表現することを可能にする。
【００７１】
上述したように、生体情報用いて、人物の心理的状態を特定し、この心理状態を距離に変換して、仮想会議空間に配置する。また、主観情報による検索の検索キーとして、アバタの位置情報を利用する。これにより、例えば、仮想会議空間を、理解度及び興味度の２次元で表示し、オブジェクトをこの座標上に配置することによって、理解度が低く、興味が低い人は左下、理解度が高く、興味が高い人は右上に配置され、主観的状態が一瞥して把握できる。会議中の主観情報が位置情報として表現され、パターン認知を支援し、記憶のためのランドマークとなり得る。また、会議中の主観情報を位置情報として表現し、パーソナルスペースを可視化して提供することができる。
【００７２】
情報検索システム１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスク装置、ディスプレイ装置等を用いて実現される。なお、本発明による情報処理方法は、情報検索システム１によって実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００７３】
プログラムは、撮影時に得た人物の生体情報及び音声情報のうちの少なくとも一方を用いて算出された人物の心的状態を示す状態推定値を取得するステップ、前記状態推定値に応じて、前記人物の心的状態を少なくとも一つの座標軸とする座標空間内に前記人物を表すオブジェクトを配置した画面を表示するステップをコンピュータに実行させる。なお、情報検索システム１が情報処理装置に、インデックスファイル格納部１２が格納手段に、表示制御部１６が表示手段に、検索部１５が検索手段に、状態推定処理部１０が推定手段にそれぞれ対応する。
【００７４】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば上記各実施例では映像として会議映像を用いて説明したが本発明の映像は会議映像に限られるものではない。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施形態における情報検索システムのブロック図である。
【図２】生体情報格納部に格納されたデータシートを示す図である。
【図３】音声情報格納部に格納されたデータシートを示す図である。
【図４】会議映像格納部に格納されたデータシートを示す図である。
【図５】会議情報格納部に格納されたデータシートを示す図である。
【図６】インデックスファイル格納部が格納するデータシートを示す図である。
【図７】生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。
【図８】索引付与処理の動作フローチャートである。
【図９】表示処理の動作フローチャートである。
【図１０】本実施形態におけるユーザインタフェースを示す図である。
【図１１】本実施形態におけるユーザインタフェースの他の例を示す図である。
【図１２】本実施形態におけるユーザインタフェースの他の例を示す図である。
【図１３】本実施形態におけるユーザインタフェースの他の例を示す図である。
【図１４】検索結果のサムネイルでの表示例を示す図である。
【図１５】検索用ユーザインタフェースを説明するための図である。
【図１６】遠隔会議で本発明を適用した例を説明する図である。
【符号の説明】
【００７６】
１  情報検索システム          １１  状態順位判定部
２  生体情報検出部            １２  インデックスファイル格納部
３  音声情報検出部            １３  検索要求入力部
４  会議映像検出部            １５  検索部
８  同期部                    １６  表示制御部
９  会議情報格納部            １７  表示部
１０  状態推定処理部        
【図１】
2006268395.tif 000003
【図２】
2006268395.tif 000004
【図３】
2006268395.tif 000005
【図４】
2006268395.tif 000006
【図５】
2006268395.tif 000007
【図６】
2006268395.tif 000008
【図７】
2006268395.tif 000009
【図８】
2006268395.tif 000010
【図９】
2006268395.tif 000011
【図１０】
2006268395.tif 000012
【図１１】
2006268395.tif 000013
【図１２】
2006268395.tif 000014
【図１３】
2006268395.tif 000015
【図１４】
2006268395.tif 000016
【図１５】
2006268395.tif 000017
【図１６】
2006268395.tif 000018