(57)【要約】【課題】  会議に参加した人の心理状態を反映させた映像インデックスを作成し、会議の振り返りを効率よく行なう。【解決手段】  会議で利用される資料、会議参加者のうち少なくとも一方を会議の映像情報として記録するとともに、会議参加者の視線情報、脳波、脈拍数、又はその他の生体情報を会議参加者の情報として取得する。会議参加者の情報に基づいて会議参加者の心理状態を推定する。そして、推定された会議参加者の心理状態情報に基づいて、会議の音声映像情報の一部を選別し、これらをインデックス情報として記録する。【選択図】  図１
2006085440.tif 000002
【特許請求の範囲】
【請求項１】
会議の内容を記録した会議情報を管理する情報処理システムであって、
会議情報を入力する会議情報入力手段と、
会議中に会議参加者から発現される生体情報を会議参加者情報として取得する会議参加者情報取得手段と、
会議参加者情報に基づいて会議参加者の状態を推定し、該状態に基づいて会議情報を処理するデータ処理手段と、
を具備することを特徴とする情報処理システム。
【請求項２】
会議参加者の状態は心理状態である、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
会議情報は、会議の音声、映像、会議で使用されたスライドその他の会議資料のうち少なくとも１つからなる、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項４】
会議情報は、会議で利用される資料、会議参加者のうち少なくとも一方を会議の映像情報として含む、
ことを特徴とする請求項２に記載の情報処理システム。
【請求項５】
前記会議参加者情報取得手段は、会議参加者の視線情報、脳波、脈拍数、又はその他の生体情報のうち少なくとも１つを会議参加者情報として取得する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記データ処理手段は、会議参加者情報から推定された会議参加者の状態情報に基づいて、会議情報として記録された音声映像情報の一部をインデックス情報として選別する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記データ処理手段は、複数の会議参加者に対して心理状態を推定する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項８】
前記データ処理手段は、会議の争点に対して会議参加者の関心又は注意が向けられていない心理状態を推定する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項９】
前記データ処理手段は、会議参加者情報から推定された心理状態に基づいて、会議情報中で会議参加者の心理状態に対応させた（興味が高いだけではなく、疑問に感じた、飽きた、などの状態も含む）時点、又は心理状態に対応した（興味が高いだけではなく、疑問に感じた、飽きた、などの状態も含む）対象物を割り出す、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項１０】
前記データ処理手段は、会議参加者情報として取得された視線情報に基づいて、会議情報中に会議参加者の心理状態に基づいた（興味が高いだけではなく、疑問に感じた、飽きた、などの状態も含む）対象物を割り出す、
ことを特徴とする請求項５に記載の情報処理システム。
【請求項１１】
会議の内容を記録した会議情報を管理する情報処理方法であって、
会議情報を入力する会議情報入力記録ステップと、
会議中に会議参加者から発現される生体情報を会議参加者情報として取得する会議参加者情報取得ステップと、
会議参加者情報に基づいて会議参加者の状態を推定し、該状態に基づいて会議情報を処理するデータ処理ステップと、
を具備することを特徴とする情報処理方法。
【請求項１２】
会議参加者の状態は心理状態である、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１３】
会議情報は、会議の音声、映像、会議で使用されたスライドその他の会議資料のうち少なくとも１つからなる、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１４】
会議情報は、会議で利用される資料、会議参加者のうち少なくとも一方を会議の映像情報として含む、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１５】
前記会議参加者情報取得ステップでは、会議参加者の視線情報、脳波、脈拍数、又はその他の生体情報のうち少なくとも１つを会議参加者情報として取得する、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１６】
前記データ処理ステップでは、会議参加者情報から推定された会議参加者の状態情報に基づいて、会議情報として記録された音声映像情報の一部をインデックス情報として選別する、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１７】
前記データ処理ステップでは、複数の会議参加者に対して心理状態を推定する、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１８】
前記データ処理ステップでは、会議参加者情報から推定された心理状態に基づいて、会議情報中で会議参加者の心理状態に対応させた（興味が高いだけではなく、疑問に感じた、飽きた、などの状態も含む）時点、又は心理状態に対応した（興味が高いだけではなく、疑問に感じた、飽きた、などの状態も含む）対象物を割り出す、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１９】
前記データ処理ステップでは、会議参加者情報から推定された心理状態に基づいて、会議情報中で会議参加者の心理状態に対応させた（興味が高いだけではなく、疑問に感じた、飽きた、などの状態も含む）時点、又は心理状態に対応した（興味が高いだけではなく、疑問に感じた、飽きた、などの状態も含む）対象物を割り出す、
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項２０】
前記データ処理ステップでは、会議参加者情報として取得された視線情報に基づいて、会議情報中で会議参加者が興味を持った対象物を割り出す、
ことを特徴とする請求項１３に記載の情報処理方法。
【請求項２１】
会議の内容を記録した会議情報を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
会議情報を入力する会議情報入力記録ステップと、
会議中に会議参加者から発現される生体情報を会議参加者情報として取得する会議参加者情報取得ステップと、
会議参加者情報に基づいて会議参加者の状態を推定し、該状態に基づいて会議情報を処理するデータ処理ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議における映像情報、音声情報、ドキュメント情報（提示資料）などの情報（会議情報）を記録並びに再生する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、会議における映像情報、音声情報、ドキュメント情報などを記録した会議情報の中から所望のシーンを検索する会議情報アクセス作業を支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、会議における音声映像情報を記録するとともに、これら記録した情報についてのインデックスを作成して、所望する情報を効率よく検索するための情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、会議に参加した人の心理状態を反映させた映像インデックスを作成し、会議の振り返りを効率よく行なう情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。
【０００４】
会議支援システムの一例として、遠隔会議システムを取り上げることができる。遠隔会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニターやスピーカーなどの画像・音声出力装置を設置し、通信回線を利用して、各会議室において行なわれる発言や質疑応答などのイベントを共有し、遠隔地間で議事を同期して進行させることができる。
【０００５】
また、会議ではプレゼンテーション用資料をスクリーンに投影し、複数の参加者間で多くの会話が交わされる。そこで、会議の参加者を撮影した映像や、参加者の発言内容などの音声だけでなく、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまなメディア・データを記録し、コンピュータ上で映像や音声すなわち会議の進行と同期させて管理することができる。このように会議に関連するデータを保存しておくことにより、これらを次回の会議において再利用することが可能となる。
【０００６】
会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議における所望の箇所（再生位置）を探し出す手間が煩わしくなる、あるいは探し出すことが困難若しくは不可能である、という問題が浮上する。
【０００７】
会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、決定事項に至った詳細な経緯などは記録されないため、振り返ることができない。会議の議事録は通常、会議参加者が会議中に発言した音声情報を基にしたメモからテキスト化される。そこでテキスト化される会議情報は僅かであり、会議中の重要な発言が記録されない、内容が不明瞭なため正確に振り返ることができない、といった問題がある。また、本題からそれた内容であるが当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合がある。
【０００８】
このような会議の振り返りを支援する技術として動画像を利用する方法がある。会議をビデオ撮影し、後で思い出したいシーンを再生することにより想起を支援する方法である。そのためには、見たいシーンをすばやく検索する技術が不可欠となる。
【０００９】
例えば、会議システムにおいて、会議参加者の発言だけでなく、会議参加者の表情や使用したグラフなどの映像も議事内容として保存する議事内容蓄積装置について提案がなされている（例えば、特許文献１を参照のこと）。各端末からは会議参加者の表情などを写した映像信号に発言内容を重畳した音声映像信号が通信網経由で通信会議ノードへ送信される。通信会議ノード内の議事内容蓄積装置は、音声選択部によって各端末が送出した音声映像信号の中から音声レベルが最も高いものを求め、音声映像蓄積部に蓄積する。このようにして記録された音声映像情報は、発言者の表情や言葉のニュアンスを明確に伝えることができる。また、端末から議事内容の参照要求を受けた場合には、通信会議ノードは、再生処理部と端末とを通信網経由で接続し、音声映像蓄積部に蓄積されている音声映像信号を端末に送る。
【００１０】
また、使用者に負担を掛けず、映像情報を効率的に管理・検索する方法について多くの提案がなされている。例えば、シーン・チェンジ検出時に取り込んだ代表画像を適切に選び直して映像インデックスを作成する映像インデックス作成装置について提案がなされている（例えば、特許文献２を参照のこと）。この場合、まず入力映像を映像格納部に格納するとともに、シーン・チェンジ検出部によりシーン・チェンジを検出し、その検出時に入力映像から代表画像を取り込み、代表画像格納部に格納する。次に、操作により制御部が映像再生部に命令して、映像格納部から指定のシーン・チェンジ前後の映像を再生する。次に、操作により再生映像の中から最も価値の高い画像を選択し、その静止画像を置き換え画像取り込み部により取り込み、代表画像格納部の代表画像と置き換える。この置き換えがなされた代表画像群から映像インデックス生成部にて映像インデックスを生成し、インデックス印刷部にてビデオ・リストなどの映像インデックスを印刷する。
【００１１】
また、使用者に負担を掛けずに、効率的な処理で画像情報検索のための索引を作成し、目的とする画像を適切に検索することができる情報処理装置について提案がなされている（例えば、特許文献３を参照のこと）。画像情報を記録する記憶媒体に対するアクセスの際に、使用者の画像情報に対する視線の位置を位置検出器で検出し、画像情報と関連付けて記憶する。画像と視線の対応解析の際には、検出された視線に基づいて注視点決定部で注視点の座標を求め、エッジ認識部及び画像部分抽出器で注目した部分の画像を抽出する。これに基づき画像検索の際の索引が生成される。この索引画像を画像の情報再生時に提示することによって、目的とする画像を選択するためのリストが生成される。
【００１２】
会議を効率良く振り返るためには、会議の内容をできるだけ再現できることが望ましい。
【００１３】
会議情報として音声映像情報を記録するシステムは一般的となりつつあるが、記録された音声映像情報は膨大な量になる。会議の音声情報を記録するだけでなく、会議参加者の表情、使用したグラフなどの映像情報を記録する議事内容蓄積装置（特許文献１を参照のこと）では、会議内容を音声映像情報から振り返るには記録された映像を再生させる必要があるため、会議に費やした時間と同じ時間を必要としてしまい、非常に効率が悪い。また、会議参加者にとって必要としている情報は会議記録全般ではなく、ごく一部であることが多い。
【００１４】
また、映像情報から映像インデックスを生成して映像情報から必要としているシーンを効果的に検出する映像インデックス作成装置（特許文献２を参照のこと）では、映像が急激に変化するシーン・チェンジを検出する方法を採用しているが、このシーン・チェンジ検出時で検出されたシーンは、映像の有する画像特性に拠るものとなっており、ユーザが必要としている価値の高いシーンを検出できるとは限らないという問題である。
【００１５】
また、ユーザの視線情報を利用して画像検索の索引を作成する情報処理装置（特許文献３を参照のこと）では、画面に提示されている画像に対して視線位置を検出し、索引を生成するようになっている。しかしながら、画像中に対する視線検出であるため、その適用範囲は少ない、という問題がある。この場合、画像に提示されていない対象に対する視線検出、例えば、人との直接対面状況である会議での視線検出などに対しては適用することができない。
【００１６】
【特許文献１】特開平７−４６５７１号公報
【特許文献２】特開平９−９３５２７号公報
【特許文献３】特開平７−２００６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、会議における映像情報、音声情報、ドキュメント情報などを記録した会議情報の中から所望のシーンを検索する会議情報アクセス作業を好適に支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１８】
本発明のさらなる目的は、会議における音声映像情報を記録するとともに、これら記録した情報についてのインデックスを作成して、所望する情報を効率よく検索することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、会議の内容を記録した会議情報を管理する情報処理システムであって、会議情報を入力する会議情報入力手段と、会議中に会議参加者から発現される生体情報を会議参加者情報として取得する会議参加者情報取得手段と、会議参加者情報に基づいて会議参加者の状態を推定し、該状態に基づいて会議情報を処理するデータ処理手段とを具備することを特徴とする情報処理システムである。ここで言う会議参加者の状態とは、例えば心理状態のことである。
【００２０】
ここで、会議情報は、会議の音声、映像、会議で使用されたスライドその他の会議資料のうち少なくとも１つからなる。また、会議情報は、会議で利用される資料、会議参加者のうち少なくとも一方を会議の映像情報として含む。
【００２１】
また、前記会議参加者情報取得手段は、会議参加者の視線情報、脳波、脈拍数、又はその他の生体情報を会議参加者の情報として取得する。この場合、例えば、視線情報に基づいて、会議情報中で会議参加者が興味を持った対象物を割り出すことができる。
【００２２】
そして、前記データ処理手段は、会議参加者情報から推定された会議参加者の心理状態情報に基づいて、会議情報として記録された音声映像情報の一部をインデックス情報として選別することができる。
【００２３】
前記データ処理手段は、会議参加者情報に基づいて会議参加者の心理状態を推定し、該心理状態に基づいて会議情報を処理するが、複数の会議参加者に対して心理状態を推定することができる。例えば、前記データ処理手段は、会議の争点に対して会議参加者の関心又は注意が向けられていない心理状態を推定する。
【００２４】
そして、前記データ処理手段は、会議参加者情報から推定された心理状態に基づいて、会議情報中で会議参加者が興味の高い時点、又は興味を持った対象物を割り出すことができる。
【００２５】
また、前記データ処理手段は、会議参加者情報から推定された会議参加者の心理状態情報に基づいて、前記会議状況記録手段で記録された音声映像情報の一部を選別し、これらをインデックス情報として記録することができる。
【００２６】
このように、本発明に従って会議情報のインデックス情報を生成して記録・管理の処理を行なうことにより、会議の様子を音声映像情報で振り返ることが可能となる。また、音声映像情報には人の心理状態を反映させたインデックスを付加したので、会議の音声映像情報から、所望の音声映像情報を探し出す作業が容易となり、会議を効率的に振り返ることができる。また、ユーザは会議中にメモをとるという作業から開放されるので、会議の議題から注意をそがれることなく、会議後に会議の様子を振り返ることができる。
【００２７】
また、本発明の第２の側面は、会議の内容を記録した会議情報を管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、会議情報を入力する会議情報入力記録ステップと、会議中に会議参加者から発現される生体情報を会議参加者情報として取得する会議参加者情報取得ステップと、会議参加者情報に基づいて会議参加者の状態を推定し、該状態に基づいて会議情報を処理するデータ処理ステップとを具備することを特徴とするコンピュータ・プログラムである。
【００２８】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理システムと同様の作用効果を得ることができる。
【発明の効果】
【００２９】
本発明によれば、会議における音声映像情報を記録するとともに、これら記録した情報についてのインデックスを作成して、所望する情報を効率よく検索することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３０】
また、本発明によれば、会議に参加した人の心理状態を反映させた映像インデックスを作成し、会議の振り返りを効率よく行なうことができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３１】
本発明に従って会議情報の記録・管理の処理を行なうことにより、会議に参加した人が会議の様子を音声映像情報で振り返ることが可能となる。また、音声映像情報には人の心理状態を反映させたインデックスを付加したので、会議の音声映像情報から、所望の音声映像情報を探し出す作業が容易となり、会議を効率的に振り返ることができる。また、ユーザは会議中にメモをとるという作業から開放されるので、会議の議題から注意をそがれることなく、会議後に会議の様子を振り返ることができる。
【００３２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３４】
本発明は、会議情報の記録・管理の処理を行なうシステムに関するものであり、具体的には、会議における音声映像情報を記録するとともに、会議に参加した人の心理状態を反映させた映像インデックスを作成して、会議の振り返りを効率よく行なうシステムである。
【００３５】
図１には、本発明の一実施形態に係る会議記録装置の構成を模式的に示している。図示の会議記録装置は、会議状況記録部２０と、参加者情報記録部３０と、データ処理部４０で構成される。
【００３６】
会議状況記録部２０は、会議１０の様子を音声映像情報として記録する。参加者情報記録部３０は、会議参加者の情報の処理及び記録を実行する。データ処理部４０は、会議状況記録部２０で記録されたデータと参加者情報記録部３０で記録されたデータを基に、会議１０のインデックスを作成する処理を実行する。
【００３７】
図２には、会議記録装置のうち、参加者情報記録部３０と、データ処理部４０の内部構成をより詳細に示している。
【００３８】
参加者情報記録部３０では、会議参加者の関心度判定に用いる、会議参加者の視線情報、脳波、脈拍数、又はその他の生体情報を会議参加者の情報として取得し記録する。図示の実施形態では、生体情報のうち視線情報を取り扱うように構成されており、参加者情報記録部３０は、視線検出部３１と、視対象判定部３２と、視線解析部３３を備えている。
【００３９】
視線検出部３１は、会議１０の参加者全員又は一部についての眼画像を取得する。例えば、市販のビデオ・カメラを利用して眼画像を捕捉することができる。
【００４０】
また、視線解析部３３は、カメラで撮像した会議参加者の顔画像から、目の特徴量（例えば、瞳孔中心や目頭）を抽出し、視線方向推定のための特徴量を抽出する。眼画像解析については、例えば、坂口外著、信学技報（ＰＲＵ９５−２８、１９９５）に記載されている。
【００４１】
また、視対象判定部３２は、例えば、個別ＩＤを発信するＬＥＤマーカを会議室内の要所や会議参加者に取り付け、参加者の頭部に取り付けたカメラの映像からＬＥＤマーカを読み取り、視対象として自動的に判定することができる。視対象判定については、例えば、角外著、ヒューマンインターフェースシンポジウム２００２（一般発表、２００２）を参照されたい。
【００４２】
また、視線情報の代わりに脳波を使用する場合、脳波は、通常、頭皮上に付着した電極を通して、微小な電位変化を計測することで知ることができる。簡易的な脳波計測装置として、例えば、頭皮上の左右前頭部の２チャンネルから脳の活動電位を計測するシステム（ひとセンシング株式会社、ＨＳＫ中枢リズムモニタシステム）がある。
【００４３】
データ処理部４０では、参加者情報記録部３０で記録された会議参加者の情報に基づいて会議参加者の心理状態を推定し、さらに推定された心理状態に基づいて、会議情報中で会議参加者が興味の高い時点や興味を持った対象物を割り出して、会議情報記録部２０により記録された音声映像情報中の該当する場所の情報を用いてインデックス情報を生成する。例えば、複数の会議参加者に対して心理状態を推定する。また、会議の争点に対して会議参加者の関心又は注意が向けられていない心理状態を推定する。
【００４４】
図２に示す実施形態では、データ処理部４０は、関心度判定部４１と、インデックス情報生成部４２と、インデックス情報記録部４３で構成され、会議参加者の心理状態を関心度という形態で判定する。そして、この関心度の判定に基づいて、会議状況記録部２０で記録された音声映像情報の一部をインデックス情報として選別する。
【００４５】
図３には、会議１０において会議状況記録部２０による記録対象となる実施態様を図解している。
【００４６】
同図に示す例は、会議１０は、４人の会議参加者Ａ１１、Ｂ１２、Ｃ１３、Ｄ１４で運営され、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）１５を利用して資料１６が提示されている。会議状況記録部２０が会議の音声情報を含む映像情報を記録するとともに、視線情報記録部３０が会議参加者の視線情報を記録する。
【００４７】
まず、各処理部の実行する処理の概要について、図２並びに図３を参照しながら説明し、その後、当該システムの具体的な処理動作について詳細に説明する。
【００４８】
図３における会議状況記録部２０の具体的な装置として、例えばビデオ・カメラを使用することができる。会議状況記録部２０は、会議参加者１１〜１４、又は会議で提示されている資料１６の少なくともいずれかを含む映像を記録し、会議参加者１１〜１４の発話や会議で提示されている資料１６から発せられる音声と、時間情報が付加された映像情報として記録する。
【００４９】
視線情報記録部３０内の視線検出部３１は、例えばアイカメラなどで構成され、会議１０における会議参加者１１〜１４の視線の向きと、視線の向きを検出した時間情報を検出する。視対象判定部３２は、視線検出部３１で検出された会議参加者１１〜１４の視線の向き情報から、会議１０内での視線を向けていた対象物を判定し、視線を向けた時刻に対応付けて視対象情報を取得する。
【００５０】
視線解析部３３は、視線検出部３１で検出された会議参加者１１〜１４の視線の向き情報から、視線の動きを解析する。通常、１台のアイカメラでは１人の視線検出を行なうので、会議参加者すべての人の視線を検出する場合は、会議参加者人数分のアイカメラを用いる。
【００５１】
データ処理部４０内の関心度判定部４１は、視線情報記録部３０の出力である視線情報から会議参加者の心理状態を推定し、取得する。関心度判定部４１により、会議参加者の会議における心理状態を時間情報とともに取得することができる。
【００５２】
データ処理部４０内のインデックス情報生成部４２は、関心度判定部４１の出力である心理状態データと会議状況記録部２０で記録された音声映像情報を関連付けて、会議状況記録部２０の音声映像情報から映像インデックスを生成する。
【００５３】
インデックス情報記録部４３は、インデックス情報生成部４２で作成した映像インデックスを記録する。
【００５４】
議事録提示部４３は、インデックス情報記録部４３で記録された映像インデックスを表示させることができる。会議参加者は映像インデックスを任意に選択することで、会議状況記録部２０の映像情報から会議１０を効率良く振り返ることができる。
【００５５】
次に、具体的な処理例について説明する。複数人の会議参加者が、コンピュータを利用して提示された資料を見ながら、進行していく会議を一例とする。
【００５６】
会議状況記録部２０の会議中の状況を記録する装置として、例えばビデオ・カメラがある。ビデオ・カメラで記録される映像の対象は会議参加者、あるいは提示された資料の少なくとも一方が含まれているものとする。会議１０で提示された資料とは、例えば、コンピュータを利用して壁に投影された電子資料や、コンピュータ・ディスプレイに映し出されている電子資料、会議参加者に配布されているプリント資料などが挙げられる。このとき、映像だけでなく、映像と同時に音声もまた記録される。記録される音声は、例えば、会議参加者の発話、コンピュータを利用して提示された資料から発せられる音声などが挙げられる。ビデオ・カメラで記録されたデータはデジタル処理可能なデータに変換され、データ処理部へ伝送される。
【００５７】
視線情報取得部３０は、会議参加者の視線情報を取得する。視線情報を取得する方法としては、例えば、アイカメラの画像解析による視線検出方法がある。図４には、視線情報を取得し、視対象判定並びに視線解析を行なう処理手順を示している。
【００５８】
まず、アイカメラを用いて、会議参加者の眼画像の取得と、眼画像を取得した時刻を取得する（ステップＳ３０１）。
【００５９】
次いで、ステップＳ３０１で取得した眼画像に対してソフトウェア処理を施し、眼画像を解析する（ステップＳ３０２）。視線解析部３３は、カメラで撮像した会議参加者の顔画像から、目の特徴量（例えば、瞳孔中心や目頭）を抽出し、視線方向推定のための特徴量を抽出する。眼画像解析については、例えば、坂口外著、信学技報（ＰＲＵ９５−２８、１９９５）に記載されている。
【００６０】
次いで、ステップＳ３０２で解析された眼画像解析の結果より、会議参加者の視線の方向をソフトウェア処理により算出し、視線の方向を視線の方向を検出した時間情報とともに記録する（ステップＳ３０３）。
【００６１】
視線検出部３１は、ステップＳ３０１〜Ｓ３０３に相当する処理を実行する。
【００６２】
次いで、ステップＳ３０３で算出された会議参加者の視線の方向より、視線が向けられている対象を判定する（ステップＳ３０４）。視対象判定部３２は、例えば、個別ＩＤを発信するＬＥＤマーカを会議室内の要所や会議参加者に取り付け、参加者の頭部に取り付けたカメラの映像からＬＥＤマーカを読み取り、視対象として自動的に判定することができる。視対象判定については、例えば、角外著、ヒューマンインターフェースシンポジウム２００２（一般発表、２００２）を参照されたい。
【００６３】
次いで、ステップＳ３０４で判定された視対象情報を取得する（ステップＳ３０５）。視対象を取得するので、例えば、視線が向けられている対象の切り替わりの有無情報も記録することができる。
【００６４】
視対象取得部３２は、ステップＳ３０４〜Ｓ３０５に相当する処理を実行する。
【００６５】
次いで、ステップＳ３０３で算出した視線方向から、視線の動きを解析する（ステップＳ３０６）。ここで言う視線の動きとは、例えば、停留時間、移動距離などである。視線解析部３３はステップＳ３０６に相当する処理を実行する。
【００６６】
そして、ステップＳ３０５で取得した視対象情報とステップＳ３０６で取得した視線の動き情報を保存する（ステップＳ３０７）。
【００６７】
図５には、視線情報取得部で得られたデータの一例を示している。視線を検出した時間を１秒間隔で記録し、視対象判定部３２で取得した視対象と、視対象の切り替えの有無、視線解析部３１で取得した視線の停留時間と移動距離を、時間と対応させて記録している。なお、本実施形態における取得データの時間間隔は１秒間であるが、本発明の要旨はこれに限定されるものではない。
【００６８】
図４に示したステップＳ３０１〜Ｓ３０７を経て得られた視線情報は、データ処理部４０へ伝送される。
【００６９】
データ処理部４０の関心度判定部４１では、伝送された視線情報から会議参加者の心理状態を推定し、時間情報と関連付けた関心の度合いを記録する。
【００７０】
関心の度合いとは、会議参加者が抱く心理状態を表すものである。図６には、関心度判定部４１において人の心理状態を推定するための処理手順をフローチャートの形式で示している。
【００７１】
関心度判定部４１は、視線情報検出部３１で得られた視線情報を取得すると（ステップＳ４０１）、これを視線データベースと照合し、人の心理状態を推定する（ステップＳ４０２）。
【００７２】
図７には、視線データベースに格納されているデータの一例を示している。ここで、視線データベースとは、あらかじめ用意されたデータベースであり、視線の動きと視対象、人の心理状態を対応させたデータを格納している。視線の動きは、例えば、停留時間、移動距離などで構成され、視線データベースは、視線毎のレコードに、視線の動き（視線方向と停留時間、移動距離、視対象の切り替えの有無）、視対象、ユーザの状態（心理状態）を格納している。人の心理状態とは、例えば、興味を持っているのか、疑問を持っているのか、飽きているのかなどである。
【００７３】
また、視線情報取得部で記録したすべての時間に人の心理状態を推定する必要はない。
【００７４】
インデックス情報生成部４２は、関心度判定部４１の出力である、時間情報と対応した関心の度合いから、会議状況記録部２０で記録された音声映像情報の一部をインデックス情報として選択する。
【００７５】
図８には、関心度判定部４１で、人の心理状態を「興味がある」と判定した時間ｔ１（７０１）〜ｔ５（７０５）と、その時間に対応した音声映像情報から、音声映像情報の一部を選択し（ｒ１〜ｒ５）、映像インデックス（ｕ１〜ｕ５）を生成している例を示している。
【００７６】
上述したように、関心度は視線解析や視対象判定により判定することができるが、勿論、図示のように会議中に記録された会議参加者の脳波や脈拍、その他の生体情報（図示しない）を基に関心度を判定することもできる。
【００７７】
選択された音声映像情報の一部とは、「興味がある」と判定された時間の開始時刻に対応する音声映像情報であり、映像インデックスとは選択された音声映像情報の一部から生成される静止画像である。
【００７８】
なお、関心度判定部４１で判定された心理状態は、「興味がある」に限定されるものではない。例えば他の心理状態として、「疑問を感じている」時の映像インデックスを生成することも可能とするように、関心度判定部４１で「疑問を感じている」と判定された時間の開始時刻を用いて、音声映像情報から静止画像をインデックスとして生成することも可能とする。また、関心度判定部４１で判定された心理状態を、例えば、「興味がある」、「疑問を感じている」、「飽きている」など、複数組み合わせて、音声映像情報から静止画像をインデックスとして生成することも可能とする。
【００７９】
インデックス情報生成部４２で選択される音声映像情報の一部は、特定の心理状態を判定された時間の開始時間に限定されるものではない。特定の心理状態を判定された時間の中心値など他の時間情報で代用することも可能とする。
【００８０】
さらに、インデックス情報生成部４２は、会議状況記録部２０で記録された音声映像情報の一部を選択し映像インデックスを生成する際、関心度判定部４１の出力に視線情報の出力を加味して、会議状況記録部２０で記録された音声映像情報の一部を選択することも可能とする。例えば、視線情報の出力は時間に関連付けられた視対象情報があるので、会議状況記録部２０で記録された音声映像情報の一部を選択する際、視対象で映像インデックスを生成することも可能とする。
【００８１】
インデックス情報記録部４３に記録されるインデックス情報は、インデックス情報生成部４２で生成された静止画像と静止画像を取得した時間情報である。
【００８２】
議事提示部５０は、インデックス情報記録部４３に記録された静止画像を取得した時間情報と静止画像からなる議事をユーザに提示する。図９には、同図に示すように、インデックス情報記録部４３に記録された静止画像を取得した時間情報８０１と静止画像８０２が提示される。例えば、ディスプレイに表示されている静止画像をマウスなどで選択し、実行処理することで、その静止画像に対応した時刻からの音声映像情報をディスプレイ８０３上で再生することができる。
【００８３】
以上が、本発明についての一実施形態である。なお、図３に示した会議１０のビデオ・カメラ設置数は１台に限定されるものではなく、複数台設置し、各ビデオ・カメラで映像として記録する対象を限定してもよい。例えば、３台のビデオ・カメラを設置し、１台は会議参加者Ａ、１台は会議参加者Ｂ、もう１台は提示された電子資料をそれぞれ映像記録することも可能である。この場合、インデックス情報生成部４２で、関心度判定部４１の出力から選択される音声映像情報は、会議参加者Ａ、会議参加者Ｂ、又は電子情報のいずれかから任意に選択することも可能とする。
【００８４】
視線情報記録部３０は会議参加者の人数分を設けることが可能であるため、図３に示す会議参加者１１〜１４のそれぞれについて視線の方向を求め、各参加者人数分の映像インデックスを生成することも可能とする。
【産業上の利用可能性】
【００８５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００８６】
本明細書では、会議情報のインデキシングを行なう実施形態を例に挙げて本発明について詳解してきたが、本発明の要旨はこれに限定されるものではない。会議の記録以外の音声映像情報、若しくは音声映像以外の記録コンテンツを扱うようにシステムにおいても、本発明を適用することにより、ユーザの視線情報やその他の生体情報に基づいて心理状態を推定し、この推定結果に基づいて記録コンテンツのインデキシングや、コンテンツを分類・整理するためのその他の処理を好適に行なうことができる。
【００８７】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００８８】
【図１】図１は、本発明の一実施形態に係る会議記録装置の構成を模式的に示した図である。
【図２】図２は、会議記録装置のうち、参加者情報記録部３０と、データ処理部４０の内部構成をより詳細に示した図である。
【図３】図３は、会議１０において会議状況記録部２０による記録対象となる実施態様を説明するための図である。
【図４】図４は、視線情報を取得し、視対象判定並びに視線解析を行なう処理手順を示した図である。
【図５】図５は、視線情報取得部で得られたデータの一例を示した図である。
【図６】図６は、関心度判定部４１において人の心理状態を推定するための処理手順を示したフローチャートである。
【図７】図７は、視線データベースに格納されているデータの一例を示した図である。
【図８】図８は、関心度判定部４１で、人の心理状態を「興味がある」と判定した時間ｔ１（７０１）〜ｔ５（７０５）と、その時間に対応した音声映像情報から、音声映像情報の一部を選択し（ｒ１〜ｒ５）、映像インデックス（ｕ１〜ｕ５）を生成している例を示した図である。
【図９】図９は、インデックス情報記録部４３に記録された静止画像を取得した時間情報と静止画像からなる議事をユーザに提示した画面構成例を示した図である。
【符号の説明】
【００８９】
１０…会議
２０…会議状況記録部
３０…参加し情報記録部
３１…視線検出部
３２…視対象判定部
３３…視線解析部
４０…データ処理部
４１…関心度判定部
４２…インデックス情報生成部
４３…インデックス情報記録部
５０…議事提示部
【図１】
2006085440.tif 000003
【図２】
2006085440.tif 000004
【図３】
2006085440.tif 000005
【図４】
2006085440.tif 000006
【図５】
2006085440.tif 000007
【図６】
2006085440.tif 000008
【図７】
2006085440.tif 000009
【図８】
2006085440.tif 000010
【図９】
2006085440.tif 000011