(57)【要約】【課題】蓄積された撮像動画像から重要な画像を抽出することができる情報検索システムを提供する。【解決手段】電子スライドを解析し、スライドに含まれるオブジェクトに関する情報を抽出する解析装置２０と、スライドを撮像可能に撮像する撮像装置３０と、表示されたスライドに対する指示位置を検出する指示位置検出装置４１と、指示位置及びオブジェクトに関する情報から、指示されたオブジェクトを特定するオブジェクト特定手段２１０と、指示されたオブジェクト及び撮像画像を関連付けて蓄積する時系列データベース３２０と、時系列データベース３２０に蓄積した撮像画像から所望の画像を検索する検索手段４３０を備える。この構成によれば、講演者が指示したオブジェクトに基づいて画像を検索することができる。【選択図】図１
2007072918.tif 000002
【特許請求の範囲】
【請求項１】
電子資料に基づいて表示されるスライドを解析して前記スライドに含まれるオブジェクトを抽出する解析手段と、
前記解析手段により抽出されたオブジェクトと表示された前記スライドに対してなされた指示操作に基づく指示位置情報とを照らし合わせて前記指示操作により指示された指示オブジェクトを特定するオブジェクト特定手段と、
前記表示されたスライドを含む撮像画像と、前記オブジェクト特定手段により特定された指示オブジェクトとを関係づけて蓄積する時系列蓄積手段と、
前記指示オブジェクトに基づいて、前記時系列蓄積手段に蓄積された撮像画像から所望のシーンを検索する検索手段とを備える
ことを特徴とする情報検索システム。
【請求項２】
前記解析手段は、講演者が前記オブジェクトを指示したと判断する範囲であるオブジェクト範囲に関する情報を定め、
前記オブジェクト特定手段は、前記解析手段が定めた前記オブジェクト範囲に関する情報から前記指示オブジェクトを特定する
ことを特徴とする請求項１に記載の情報検索システム。
【請求項３】
前記検索手段により検索されたシーンを表示する結果表示手段を更に備える
ことを特徴とする請求項１又は２に記載の情報検索システム。
【請求項４】
前記結果表示手段は、前記検索されたシーンのサムネイルを表示する
ことを特徴とする請求項１ないし３のいずれかに記載の情報検索システム。
【請求項５】
前記時系列蓄積手段に蓄積された前記指示オブジェクト及び前記指示オブジェクトの指示された時刻である時刻情報に基づいて前記スライドの重要度を決定する重要度特定手段を更に有し、
前記重要度決定手段の決定した前記スライドの前記重要度を視覚的に表示する重要度表示手段をさらに有する
ことを特徴とする請求項１ないし４のいずれかに記載の情報検索システム。
【請求項６】
前記重要度表示手段は、前記スライドのサムネイルを表示する
ことを特徴とする請求項５に記載の情報検索システム。
【請求項７】
前記時系列蓄積手段に蓄積された指示オブジェクト及び前記時刻情報に基づいて、前記オブジェクトの重要度を決定する重要度特定手段を更に有し、
前記重要度決定手段の決定した前記オブジェクトの前記重要度を視覚的に表示する重要度表示手段を、さらに有する
ことを特徴とする請求項１ないし４のいずれかに記載の情報検索システム。
【請求項８】
前記検索手段の検索条件を設定する条件設定手段をさらに有する
ことを特徴とする請求項１ないし７のいずれかに記載の情報検索システム。
【請求項９】
前記解析手段は、前記オブジェクトの種類に関する情報を抽出し、
前記オブジェクト特定手段は、前記解析手段の抽出した前記オブジェクトの種類に関する情報から前記指示オブジェクトの種類を特定し、
前記検索手段は、前記指示オブジェクトの種類に基づいてシーンを検索する
ことを特徴とする請求項１ないし８のいずれかに記載の情報検索システム。
【請求項１０】
前記解析手段は、抽出した前記オブジェクトを追加又は削除し、前記オブジェクト範囲に関する情報又はオブジェクトの種類に関する情報を追加、削除又は変更する
ことを特徴とする請求項１ないし９のいずれかに記載の情報検索システム。
【請求項１１】
前記重要度決定手段は、前記スライド又は前記オブジェクトを講演者が指示した時間の累積値の偏差値を、重要度を示す指標として用いる
ことを特徴とする請求項５ないし７のいずれかに記載の情報検索システム。
【請求項１２】
前記重要度決定手段は、前記指示位置と表示されたオブジェクトとの位置関係に応じたスコアリング結果値の偏差値を、重要度を示す指標として用いる
ことを特徴とする請求項項５ないし７のいずれか記載の情報検索システム。
【請求項１３】
前記検索手段は、前記オブジェクトを前記講演者が指示した継続時間に基づいて重要なシーンを検索する
ことを特徴とする請求項１ないし１２のいずれかに記載の情報検索システム。
【請求項１４】
前記検索手段は、前記オブジェクトを前記講演者が指示した累積時間に基づいてシーンを検索する
ことを特徴とする請求項１ないし１２のいずれかに記載の情報検索システム。
【請求項１５】
講演者を識別する情報を時系列蓄積手段へ蓄積する講演者管理手段を、さらに有し、
前記検索手段は、前記講演者を識別する情報に基づいてシーンを検索する
ことを特徴とする請求項１ないし１４のいずれかに記載の情報検索システム。
【請求項１６】
前記参加者及び講演者が前記表示されたスライドを指示する為に用いる指示装置の位置を検出する位置検出手段を更に備え、
講演者管理手段は、前記参加者及び前記指示装置の位置に基づいて、参加者の中から前記講演者を推測する
ことを特徴とする請求項１５に記載の情報検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、蓄積された撮像画像から重要な画像を検索できる情報検索システムに関する。
【背景技術】
【０００２】
講演の動画記録を再生することによって、その講演の様子を見ることができ、更に再確認することもできる。この際に、講演者が重要だと考える場面を、予め再生前に抽出しておくことができれば、講演の動画記録の内容を効率的に確認することができ、短時間で講演の要旨を把握することができる。このような機能を有する情報検索システムとしては、指示装置の指示座標を動画情報や資料情報等と関連付けて蓄積し、講演者が重要だと考える場面を検索する技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００３‐３３０９３５
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記のような情報検索システムでは、重要な場面をスライド単位で特定することができるが、電子スライド内のどの文字列、図、表等のオブジェクトが重要であるかを具体的に推定することはできなかった。
このため、撮像画像の一場面（以下、シーンと言う）を、重要なオブジェクトを基にして精密な検索することができなかった。
【０００４】
本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、重要なオブジェクトを特定し、講演者が重要なオブジェクトについて説明するシーンを検索することができる情報検索システムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る情報検索システムは、電子資料に基づいて表示されるスライドを解析してスライドに含まれるオブジェクトを抽出する解析手段と、解析手段により抽出されたオブジェクトと表示されたスライドに対してなされた指示操作に基づく指示位置情報とを照らし合わせて指示操作により指示された指示オブジェクトを特定するオブジェクト特定手段と、表示されたスライドを含む撮像画像と、オブジェクト特定手段により特定された指示オブジェクトとを関係づけて蓄積する時系列蓄積手段と、指示オブジェクトに基づいて、時系列蓄積手段に蓄積された撮像画像から所望のシーンを検索する検索手段とを備える特徴としている。
この構成によれば、指示オブジェクトに基づいてシーンを検索することができる。
【０００６】
上記構成において、解析手段は、講演者がオブジェクトを指示したと判断する範囲であるオブジェクト範囲に関する情報を定め、オブジェクト特定手段は、解析手段が定めたオブジェクト範囲に関する情報から指示オブジェクトを特定する構成を採用できる。
この構成によれば、本情報システムが、講演者がオブジェクトを指示したかを判断することが容易になる。
【０００７】
上記構成において、検索手段により検索されたシーンを表示する結果表示手段を更に備える構成を採用できる。
この構成によれば、オペレータが検索したシーンを視認することができる。
【０００８】
上記構成において、結果は、検索されたシーンのサムネイルを表示する構成を採用できる。
この構成によれば、検索されたシーンの概要を一見して知ることができる。
【０００９】
上記構成において、時系列蓄積手段に蓄積された指示オブジェクト及び指示オブジェクトの指示された時刻である時刻情報に基づいてスライドの重要度を決定する重要度特定手段を更に有し、
重要度決定手段の決定したスライドの重要度を視覚的に表示する重要度表示手段をさらに有する構成を採用できる。
この構成によれば、オペレータはスライドの重要度を一見して知ることができる。
【００１０】
上記構成において、重要度表示手段は、スライドのサムネイルを表示する構成を採用できる。
この構成によれば、オペレータは一見してスライドの概要を知ることができる。
【００１１】
上記構成において、時系列蓄積手段に蓄積された指示オブジェクト及び時刻情報に基づいて、オブジェクトの重要度を決定する重要度特定手段を更に有し、重要度決定手段の決定したオブジェクトの重要度を視覚的に表示する重要度表示手段を、さらに有する構成を採用できる。
この構成によれば、オペレータはオブジェクトの重要度を一見して知ることができる。
【００１２】
上記構成において、検索手段の検索条件を設定する条件設定手段をさらに有する構成を採用できる。
この構成によれば、オペレータは様々な検索条件に基づいてシーンを検索することができる。
【００１３】
上記構成において、解析手段は、オブジェクトの種類に関する情報を抽出し、オブジェクト特定手段は、解析手段が抽出したオブジェクトの種類に関する情報から指示オブジェクトの種類を特定し、検索手段は、指示オブジェクトの種類に基づいてシーンを検索する構成を採用できる。
この構成によれば、例えば、講演者が図形オブジェクトを指示しているシーンのみをオペレータが検索することができる。
【００１４】
上記構成において、解析手段は、抽出したオブジェクトを追加又は削除し、オブジェクト範囲に関する情報又はオブジェクトの種類に関する情報を追加、削除又は変更する構成を採用できる。
この構成によれば、講演者がブジェクトを指示したかと言う本情報システムの判断と講演者自身の判断の相違が生じ難くなる。
【００１５】
上記構成において、重要度決定手段は、スライド又はオブジェクトを、講演者が指示した時間の累積値の偏差値を、重要度を示す指標として用いる構成を採用できる。
この構成によれば、講演者の行動に基づいて重要度を決定するため、講演者が考える重要度と本システムの用いる重要度との相違が生じ難くなる。
【００１６】
上記構成において、重要度決定手段は、指示位置と表示されたオブジェクトとの位置関係に応じたスコアリング結果値の偏差値を、重要度を示す指標として用いる構成を採用できる。
この構成によれば、より複雑なオブジェクト構成を有する資料についても、講演者が定める重要度と本システムの用いる重要度との相違が生じ難くなる。
【００１７】
上記構成において、検索手段は、オブジェクトを講演者が指示した継続時間に基づいて重要なシーンを検索する構成を採用できる。
この構成によれば、例えば、講演者が特定のオブジェクトを継続して５秒以上指示したシーンをオペレータは検索することができる。
【００１８】
上記構成において、検索手段は、オブジェクトを講演者が指示した累積時間に基づいてシーンを検索する構成を採用できる。
この構成によれば、例えば、講演者が特定のオブジェクトを指示した一連のシーンであって、それぞれのシーンの時間長の総和が１０秒を超えるものを、オペレータが検索することができる。
【００１９】
上記構成において、講演者を識別する情報を時系列蓄積手段へ蓄積する講演者管理手段をさらに有し、検索手段は、講演者を識別する情報に基づいてシーンを検索する構成を採用できる。
この構成によれば、講演者に基づいてシーンを検索することができる。
【００２０】
上記構成において、参加者及び講演者が表示されたスライドを指示する為に用いる指示装置の位置を検出する位置検出手段を更に備え、講演者管理手段は、参加者及び指示装置の位置に基づいて、参加者の中から講演者を推測する構成を採用できる。
この構成によれば、本情報システムは講演者が誰であるかを自動的に蓄積する為、オペレータの操作負担を軽減することができる。
【発明の効果】
【００２１】
本発明によれば、オブジェクトに基づいて過去に撮像した蓄積画像を検索できるので、講演者が特定のオブジェクトについて説明するシーンを検索することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の情報システムの一実施形態を示す構成及び各装置間のデータ授受を示す図である。
この情報システムは、図１に示すように、データ収集部１００、データ集計部２００、データ蓄積部３００及びデータ表示部４００からなる。
【００２３】
データ収集部１００は、表示装置１０、解析手段としての解析装置２０、ビデオカメラ３０、指示装置４０、位置検出手段としての位置検出装置５０、講演者管理手段たる情報管理装置６０を備えている。
また、データ収集部１００は、データ蓄積部３００に接続している。
【００２４】
表示装置１０は、スクリーン１１、プロジェクタ１２及びスライド制御装置１３から成る。
スクリーン１１は、例えば、ビーズスクリーン等で構成される。このスクリーン１１は、プロジェクタ１２によりスライドを映写される。
【００２５】
プロジェクタ１２は、例えば、液晶プロジェクタ等で構成される。このプロジェクタ１２は、スライド制御装置１３に接続している。
プロジェクタ１２は、スライド制御装置１３から送信されたスライドをスクリーン１１へ投影する。
【００２６】
ここで、スライド制御装置１３について説明する前に、資料、スライド、オブジェクト、オブジェクト範囲及びオブジェクト種類の関係を説明する。
図２は、資料とスライド、オブジェクト及びオブジェクト範囲の関係を説明する為の図である。
【００２７】
図２に示すように、資料Ｄは１つ又は複数のスライドＳから成る電子データである。資料Ｄは、例えば、マイクロソフト社のパワーポイントと言うプレゼンテーション用ソフトウェアにより作成される。
スライドＳは、１つ又は複数のオブジェクトＯＢを含むか、まったくオブジェクトＯＢを含まない。
オブジェクトＯＢとは、スライドＳを構成する文字列、図又は表を言う。
また、オブジェクトの種類である文字列、図又は表のいずれかをオブジェクト種類と言う。
更に、予め定められた範囲であり、講演者がその範囲内を指示した場合にオブジェクトＯＢを指示していると判断する為に用いられる範囲を、オブジェクト範囲ＲＯＢと言う。
尚、以下においては、特に断る場合を除いて互いのオブジェクト範囲ＲＯＢが重なり合うことは無いものとする。
【００２８】
スライド制御装置１３は、例えば、パーソナルコンピュータ等で構成される。このスライド制御装置１３は、プロジェクタ１２、解析装置２０及び情報管理装置６０に接続している。
まず、オペレータがスライド制御装置１３に電子資料を入力する。その後、スライド制御装置１３は、入力された電子資料を記憶し、資料を識別する情報（以下、資料ＩＤと言う）及びスライドを識別する情報（以下、スライドＩＤと言う）を定める。
【００２９】
次に、入力された電子資料、資料ＩＤ及びスライドＩＤを解析装置２０へ送信する。
更に、記憶しているスライドをプロジェクタ１２へ、オペレータの操作に従って又は自動的に送信すると共に、プロジェクタ１２に送信した電子スライドのスライドＩＤ及びそのスライドを含む資料の資料ＩＤを情報管理装置６０へ送信する。
【００３０】
解析装置２０は、例えば、パーソナルコンピュータ等で構成される。この解析装置２０は、スライド制御装置１３及びデータ蓄積部３００の資料データベース３１０に接続している。
【００３１】
解析装置２０は、スライド制御装置１３から受信した電子資料を解析し、オブジェクトを識別する情報（以下、オブジェクトＩＤと言う）を定め、オブジェクト範囲に関する情報（以下、オブジェクト範囲情報と言う）及びオブジェクトの種類を抽出する。
【００３２】
解析装置２０が資料を解析する様子を、図３を参照して説明する。
図３は解析装置がスライド解析前後に有する情報を説明する為の図である。
図３に示すように、解析装置２０は、スライド制御装置１３から受信した資料Ｄ及びスライドＳ並びに資料ＩＤ  ＩＤＤ及びスライドＩＤ  ＩＤＳと言う情報を解析前に有している。
【００３３】
その後、資料Ｄのファイルフォーマットに基づいてファイルの記載内容を解析し、各スライドＳに含まれるオブジェクトＯＢ及びオブジェクト種類ＫＯＢを抽出すると共に、オブジェクトＩＤ  ＩＤＯ及びオブジェクト範囲ＲＯＢを定める。
【００３４】
ここで、解析装置２０がオブジェクト範囲情報を抽出する様子について図４を参照して説明する。
図４はオブジェクト範囲情報の抽出方法を説明する為の図である。
図４に示すように、本実施形式においてオブジェクト範囲ＲＯＢは方形であるとする。更に、オブジェクト範囲ＲＯＢの表示方法は、原点Ｏに最も近い頂点ＶＣＮ及び最も原点から遠い頂点ＣＶＦの２つの２次元座標で表示することとする。
【００３５】
これにより、講演者がオブジェクトを指示したかを本情報システムが判断するには、頂点ＶＣＮ及び頂点ＣＶＦを講演者が指示した表示スライド上の位置座標（以下、指示位置情報という）を電子スライド上の位置座標に変換したもの（以下、スライド指示位置と言う）と比較すれば良い。
これにより、本情報システムが、講演者がオブジェクトを指示したかを判断することが容易になる。
【００３６】
また、必要な場合には、解析装置２０は、オペレータの操作により又は自動で、オブジェクトＩＤ、オブジェクト範囲情報又はオブジェクト種類に関する情報（以下、オブジェクト種類情報と言う）を追加、削除又は修正する。
【００３７】
これにより、例えば、オブジェクトを内包していなかったオブジェクト範囲を内包するように拡大修正した場合には、講演者がオブジェクトを直接指示せず囲むように円を描いて指示したとしても、講演者がオブジェクトを指示したと本システムは認識することができる。
よって、講演者がブジェクトを指示したかと言う本情報システムの判断と講演者自身の判断の相違が生じ難くなる。
【００３８】
また、解析装置２０がオブジェクト識別情報、オブジェクト範囲情報又はオブジェクト種類情報を修正する様子について図５及び図６を参照して説明する。
図５は、オブジェクトの分割及び結合方法を説明する為の図であり、図６は、オブジェクトに関する情報の修正方法を例示した図である。
【００３９】
図５に示すように、解析装置２０は、オブジェクトＯＢ８を抽出した。
この抽出された１のオブジェクトＯＢ８を、上下２のオブジェクトＯＢ８及びオブジェクトＯＢ９に分割する場合について説明する。
【００４０】
まず、オペレータは、解析装置２０により、オブジェクトＯＢ８のオブジェクト範囲ＲＯＢ８に関する情報を変更する。
その後、オブジェクトＯＢ９に関するオブジェクトＩＤ  ＩＤＯ９、オブジェクト範囲ＲＯＢ９及びオブジェクト種類ＫＯＢ９に関する情報を新規追加する。
これにより、オブジェクトＯＢ８を分割することができる。
【００４１】
逆に、抽出されたオブジェクトＯＢ８とオブジェクトＯＢ９を結合して１のオブジェクトＯＢ８とする場合について説明する。
オペレータは、解析装置２０によりオブジェクトＯＢ８のオブジェクト範囲ＲＯＢ８に関する情報を変更する。
その後、オブジェクトＯＢ９に関するオブジェクトＩＤ  ＩＤＯ９、オブジェクト範囲ＲＯＢ９及びオブジェクト種類ＫＯＢ９に関する情報を削除する。
これにより、オブジェクトＯＢ８とオブジェクトＯＢ９を結合することができる。
【００４２】
ここで、オブジェクトに関する情報の修正方法の一例として、図６に示すように、スライドを複数の領域に区分し、それぞれの領域範囲をオブジェクト範囲とするオブジェクトを追加する方法を挙げる。
このように修正することで、スライド領域毎の重要度を抽出し、スライド領域に基づいて重要なシーンを検索することができる。
【００４３】
また、解析装置２０は、スライド制御装置１３から受信した資料、資料ＩＤ及びスライドＩＤ並びに解析結果であるオブジェクトＩＤ、オブジェクト範囲情報及びオブジェクト種類情報を資料データベース３１０に蓄積する。
【００４４】
ここで、解析装置２０が各種情報を資料データベース３１０へ蓄積する様子について図７を参照して説明する。
図７は資料データベースが有する解析結果テーブルの構成図である。
図７に示すように、解析装置２０は資料データベース３１０の解析結果テーブルＴＡへ、電子資料の解析結果情報を蓄積する。
【００４５】
解析結果テーブルＴＡは、資料ＩＤを蓄積する資料カラムＣＤ、スライドＩＤを蓄積するスライドカラムＣＳ、オブジェクトＩＤを蓄積するオブジェクトカラムＣＯ、オブジェクト種類情報を蓄積するオブジェクト種類カラムＣＫＯ、オブジェクト範囲情報を蓄積するオブジェクト範囲カラムＣＲＯ、講演者がオブジェクトを指示した時間であってオブジェクト毎に集計されたものを蓄積する累積時間カラムＣＡＴ及び累積時間の偏差値を蓄積する偏差値カラムＣＡＤから成る。
【００４６】
解析装置２０は、資料カラムＣＤ、スライドカラムＣＳ、オブジェクトカラムＣＯ、オブジェクト種類カラムＣＫＯ及びオブジェクト範囲カラムＣＲＯへ上記情報を蓄積する。また、残りの累積時間カラムＣＡＴ及び偏差値カラムＣＡＤへは、データ集計部２００の重要度特定装置２２０が蓄積する。
尚、解析結果テーブルＴＡは、資料カラムＣＤ及びオブジェクトカラムＣＯのデータが全て一致するレコードを重複して有することは無い。
【００４７】
ビデオカメラ３０は、例えば、ＣＣＤカメラ等で構成される。このビデオカメラ３０は情報管理装置６０に接続している。
ビデオカメラ３０は、プロジェクタ１２がスクリーン１１へ映出した映像を少なくとも撮像可能に配置されている。
ビデオカメラ３０は、その撮像画像を情報管理装置６０へ送信する。
【００４８】
指示装置４０は、例えば、レーザポインタ等で構成される。この指示装置４０は情報管理装置６０に接続している。
また、指示位置検出装置４１は、位置検出手段である位置検出装置４１を有する。
【００４９】
指示位置検出装置４１は、指示位置情報を検出する。検出技術としては、例えば、特開２００４−３１０５２７号公報で開示された技術を用いる。
また、指示位置情報を情報管理装置６０に送信する。
【００５０】
指示位置検出装置４１は、直行する１対の加速度センサを有している。
この加速度センサは、指示位置検出装置４１を動かした際に指示位置検出装置４１にかかる加速度の大きさを検出する。
【００５１】
ここで、指示位置検出装置４１が指示位置を検出する様子について図８を参照して説明する。
図８は指示位置検出装置の位置検出方法を説明する為の図である。
まず、指示位置検出装置４１は、スクリーン１１の隅ＣＮ１を差す。
その後、指示位置検出装置４１を操作して、隅ＣＮ１から隅ＣＮ２へ向かって指示位置を移動させる。この際に、指示位置が２隅を結んだ直線上を移動するように、指示位置検出装置４１を操作する。
【００５２】
これによって、指示位置検出装置４１は、ＣＮ１とＣＮ２の距離及び位置関係等を記憶する。同様に、ＣＮ１とＣＮ３についても距離及び位置関係等を記憶する。
【００５３】
その後、指示位置検出装置４１は、センサが検出する加速度の大きさや向き、加速度のかかった時間及び指示位置検出装置４１が記憶したスクリーン１１の四隅の位置関係に基づいて講演者の指示位置を検出する。
【００５４】
位置検出装置５０は情報管理装置６０に接続している。
位置検出装置５０は、講演の参加者を識別する情報（以下、参加者ＩＤと言う）、参加者の位置及び指示装置の位置を検出する。
また、参加者ＩＤ、検出した参加者位置及び指示装置位置を情報管理装置６０へ送信する。
【００５５】
ここで、位置検出装置５０が参加者位置及び指示装置位置を検出する様子について図９を参照して説明する。
図９は参加者及び指示装置の講演会場等における配置を例示した図である。
図９に示すように、参加者は固有のＩＤを持ったＲＦＩＤを所持して講演に参加すると共に指示装置にもＲＦＩＤを付与する。会場には複数のリーダを設置することで各ＲＦＩＤの位置及びＲＦＩＤの有する固有のＩＤを検出する。
これにより、参加者の位置及び指示装置の位置を検出する。
【００５６】
情報管理装置６０は、例えば、パーソナルコンピュータで構成される。この情報管理装置６０は、スライド制御装置１３、ビデオカメラ３０、指示装置４０、位置検出装置５０及びデータ蓄積部３００の時系列データベース３２０に接続している。
【００５７】
情報管理装置６０は、講演を識別する為の情報（以下、講演ＩＤと言う）をオペレータにより入力される。これは、同一の資料について複数回の講演を行うことを考慮した為である。
また、情報管理装置６０は、指示装置４０から受信した指示位置をスライド指示位置に変換する。
【００５８】
更に、位置検出手段５０から送信された参加者ＩＤ、参加者位置及び指示装置位置を受信し、講演者を参加者の中から特定する。
また、講演者を識別する為の情報（以下、講演者ＩＤと言う）を定める。
これによって、本情報システムは講演者が誰であるかを自動的に蓄積する為、オペレータの操作負担を軽減することができる。
【００５９】
具体的には、図９に示すように、情報管理装置６０は、各参加者Ｐに付されたＲＦＩＤと指示装置に付されたＲＦＩＤまでの距離Ｌを求める。これらは、それぞれのＲＦＩＤの位置座標から求める。
その後、それぞれの距離Ｌの長短を比較し、距離Ｌが最も短い参加者Ｐ１を講演者と推定する。
【００６０】
その後、講演ＩＤ及び講演者ＩＤと、スライド制御装置１３から受信した資料ＩＤ及びスライドＩＤと、ビデオカメラ３０から受信した撮像画像並びに指示位置検出装置７０から受信したスライド指示位置及び時刻情報と、を時系列データベース３２０へ蓄積する。
尚、本実施形態では１秒毎に時系列データベース３２０へ蓄積することとする。
【００６１】
ここで、情報処理装置６０が各種情報を時系列データベース３２０へ蓄積する様子について図１０を参照して説明する。
図１０は時系列データベースの有する時系列テーブルの構成図である。
図１０に示すように、情報管理装置６０は時系列データベース３２０の時系列テーブルＴＴへ各種情報を蓄積する。
【００６２】
図１０に示すように、時系列テーブルＴＴは、時刻情報を蓄積する時刻カラムＣＴ、講演ＩＤを蓄積する講演カラムＣＬ、資料ＩＤを蓄積する資料カラムＣＤ、講演者ＩＤを蓄積する講演者カラムＣＰ、蓄積した撮像画像を識別する情報を蓄積する撮像画像カラムＣＭ、スライドＩＤを蓄積するスライドカラムＣＳ、スライド指示位置を蓄積する指示位置カラムＣＰＰ、講演者が指示したオブジェクト（以下、指示オブジェクトと言う）を識別するオブジェクトＩＤ（以下、指示オブジェクトＩＤと言う）を蓄積するオブジェクトカラムＣＯ及び指示オブジェクトの種類（以下、指示オブジェクト種類と言う）に関する情報を蓄積するオブジェクト種類カラムＣＫＯから成る。
【００６３】
情報管理装置６０は、時刻カラムＣＴ、講演カラムＣＬ、資料カラムＣＤ、講演者カラムＣＰ、撮像画像カラムＣＭ、スライドカラムＣＳ及び指示位置カラムＣＰＰへ情報を蓄積する。また、残りのオブジェクトカラムＣＯ及びオブジェクト種類カラムＣＫＯへは、データ集計部２００のオブジェクト特定装置２１０が蓄積する。
尚、時系列テーブルＴＴは、時刻カラムＣＴのデータが一致するレコードを重複して有することは無い。
【００６４】
データ集計部２００は、オブジェクト特定手段としてのオブジェクト特定装置２１０、重要度特定手段としての重要度特定装置２２０を備えている。
また、データ集計部２００は、データ蓄積部３００と接続している。
オブジェクト特定装置２１０は、資料データベース３１０及び時系列データベース３２０に接続している。
【００６５】
オブジェクト特定装置２１０は、時系列データベース３２０に蓄積されたスライド指示位置等と資料データベース３１０に蓄積されたオブジェクト範囲情報等から指示オブジェクト等を特定する。
その後、指示オブジェクトに関する情報を時系列データベース３２０へ蓄積する。
【００６６】
ここで、オブジェクト特定装置２１０がスライド指示位置等から指示オブジェクト等を特定する様子について、図１１を参照して説明する。
図１１は時系列データベース及び資料データベースとオブジェクト特定装置の関係を表した図である。
【００６７】
図１１に示すように、オブジェクト特定装置２１０は、時系列データベース３２０の有する時系列テーブルＴＴ及び資料データベース３１０の有する解析結果テーブルＴＡに蓄積された情報を参照し、指示オブジェクト等を特定する。
その後、特定した指示オブジェクト等を時系列テーブルＴＴへ蓄積する。
【００６８】
具体的には、オブジェクト特定装置２１０は、時系列テーブルＴＴのレコードに対し、一定の条件を満たす解析結果テーブルＴＡのレコードを検索する。
一定の条件とは、時系列テーブルＴＴと解析結果テーブルＴＡの有するそれぞれの資料カラムＣＤに蓄積された資料ＩＤが一致し、且つ、それぞれのスライドカラムＣＳに蓄積されたスライドＩＤが一致し、且つ、解析結果テーブルＴＡのオブジェクト範囲カラムＣＲＯに蓄積されたオブジェクト範囲情報が時系列テーブルＴＴの指示位置カラムＣＰＰに蓄積されたスライド指示位置を含むと言う条件である。
ここで、本実施例では、オブジェクト範囲が互いに重なり合うことが無い為、上記条件を満たすレコードは存在しないか又は１レコードのみ存在する。
【００６９】
条件を満たすレコードが存在する場合には、検索されたレコードに蓄積されたオブジェクトＩＤが識別するオブジェクトを講演者が指示したことが分かり、存在しない場合には、なんらオブジェクトを指示しなかったことが分かる。
【００７０】
その後、オブジェクト特定装置２１０は、上記条件を満たす解析結果テーブルＴＡのレコードから、オブジェクトＩＤ及びオブジェクト種類を参照する。
更に、時系列テーブルＴＴのオブジェクトカラムＣＯ及びオブジェクト種類カラムＣＫＯへ、上記参照情報を蓄積する。
【００７１】
但し、上記条件を満たすレコードが解析結果テーブルＴＡに存在しない場合には、オブジェクトカラムＣＯには「０００」と言うデータを蓄積し、オブジェクト種類カラムＣＫＯには「−」と言うデータを蓄積する（以下、オブジェクトＩＤには「０００」を含み、オブジェクト種類には「−」を含むとする）。
【００７２】
より具体的に説明する為時系列テーブルＴＴの第１レコードを例に挙げて説明する。
当該レコードは、資料ＩＤ「００００１」を、スライドＩＤ「００１」を、スライド指示位置「０，０」と言うデータを有する。
オブジェクト特定装置２１０は、解析結果テーブルＴＡから、資料ＩＤが「００００１」及びスライドＩＤが「００１」であり、且つ、スライド指示位置「０，０」を包含するオブジェクト範囲情報を有するレコードを検索する。
検索の結果、そのようなレコードは存在しないことが分かる。
【００７３】
その後、オブジェクト特定装置２１０は、時系列テーブルＴＴの第１レコードのオブジェクトカラムＣＯには「０００」と言うデータを、オブジェクト種類カラムＣＫＯには「−」と言うデータを蓄積する。
【００７４】
次に、時系列テーブルＴＴの第２レコードを例に挙げて説明する。
当該レコードは、資料ＩＤ「００００１」を、スライドＩＤ「００１」を、スライド指示位置「15，18」と言うデータを有する。
オブジェクト特定装置２１０は、解析結果テーブルＴＡから、資料ＩＤが「００００１」及びスライドＩＤが「００１」であり、且つ、スライド指示位置「１５，１８」を包含するオブジェクト範囲情報を有するレコードを検索する。
【００７５】
検索の結果、解析結果テーブルＴＡの第１レコードが上記条件を満たすことが分かる。
解析結果テーブルＴＡの第１レコードは、資料ＩＤ「００００１」を、スライドＩＤ「００１」を及びオブジェクト範囲情報「１５，１５−１７５，３５」を有する為である。
【００７６】
その後、オブジェクト特定装置２１０は、検索条件を満たしたレコードレコードに蓄積されたオブジェクトカラムＣＯ及びオブジェクト種類カラムＣＫＯを参照する。
更に、参照したオブジェクトＩＤ「００１」及びオブジェクト種類「Ｃ」を、時系列テーブルＴＴの第２レコードのオブジェクトカラムＣＯ及びオブジェクト種類カラムＣＫＯへ蓄積する。
尚、これらはＳＱＬ等の言語を用いてクエリ等を記述することで実現できる。
【００７７】
ここで、オブジェクト範囲が重なり合う場合について説明する。
オブジェクト範囲が重なり合う場合には、２以上のレコードが上記検索条件を満たす可能性がある。
その場合には、それぞれのレコードに蓄積されたオブジェクトＩＤをカンマ区切りで時系列テーブルＴＴのオブジェクトカラムＣＯに蓄積する。
これにより、オブジェクト範囲が重なり合う場合に対応することができる。また、オブジェクト種類についても同様とする。
【００７８】
重要度特定装置２２０は、資料データベース３１０及び時系列データベース３２０に接続している。
重要度特定装置２２０は、スライド又はオブジェクトの重要度を表す指標として、スライド毎及びオブジェクト毎に講演者が指示した時間の累積値を求め、その偏差値を用いる。何故ならば、講演者は説明箇所であるオブジェクトを指しながら説明を行い、重要だと考える内容ほど時間をかけて説明する為である。
【００７９】
ここで、重要度特定装置２２０が累積時間及び偏差値を集計する様子について図１２ないし図１４を参照して説明する。
図１２は重要度特定装置を説明する為の図であり、図１３はスライド毎の重要度特定方法を説明する為の図であり、図１４はオブジェクト毎の重要度特定方法を説明する為の図である。
【００８０】
図１２に示すように、重要度特定装置２２０は、時系列データベース３２０の時系列テーブルＴＴのレコードを集計して、スライド毎の累積時間及びその偏差値並びにオブジェクト毎の累積時間及びその偏差値を求める。その後、累積時間及び偏差値を、資料データベース３１０のスライドテーブルＴＳ及び解析結果テーブルＴＡに蓄積する。
【００８１】
まず、重要度特定装置２２０がスライド毎に累積時間を集計する方法について、図１３を用いて具体的に説明する。
資料カラムＣＤに蓄積された資料ＩＤ及びスライドカラムＣＳに蓄積されたスライドＩＤが全て一致し、且つ指示オブジェクトＩＤが「０００」で無いレコードを検索する。
その後、検索されたレコード数にデータのサンプリング間隔時間を掛けることで累積時間を算出する。サンプリング間隔時間とはデータ収録の時間間隔のことでここでは１秒としている。
【００８２】
次に、重要度特定装置２２０は、上記スライド毎の累積時間を、資料データベース３１０のスライドテーブルＴＳにおける累積時間カラムＣＡＴへ、資料ＩＤ及びスライドＩＤと関連付けて蓄積する。
尚、スライドテーブルＴＳは、資料カラムＣＤ及びスライドカラムＣＳのデータ全てが一致したレコードを重複して有することは無い。
【００８３】
その後、重要度特定装置２２０は、全てのスライドについて累積時間を集計した後に累積時間の偏差値を計算する。その後、スライドテーブルＴＳの偏差値カラムＣＡＤへ、資料ＩＤ及びスライドＩＤと関連付けて偏差値を蓄積する。
【００８４】
次に、重要度特定装置２２０が、オブジェクト毎に累積時間を集計する方法について、図１４を用いて具体的に説明する。
図１４に示すように、重要度特定装置２２０は、時系列データベース３２０の時系列テーブルＴＴのレコードから、資料カラムＣＤに蓄積された資料ＩＤ及び指示オブジェクトカラムＣＯに蓄積された指示オブジェクトＩＤが全て一致し、且つ指示オブジェクトＩＤが「０００」で無いレコードを検索する。
その後、検索されたレコード数にデータの蓄積間隔時間を掛けることで累積時間を算出することができる。
【００８５】
次に、重要度特定装置２２０は、上記オブジェクト毎の累積時間を解析結果テーブルＴＡの累積時間カラムＣＡＴへ蓄積する。
その後、全てのオブジェクトについて累積時間が求めた後に、累積時間の偏差値を計算する。更に、偏差値を解析結果テーブルＴＡの偏差値カラムＣＡＤへ蓄積する。
尚、これらはＳＱＬ等の言語を用いてクエリ等を記述することで実現できる。
【００８６】
これにより、講演者の行為を基に重要度を決定する為、参加者のうなずき回数や注視時間等から重要度を決定する方法よりも、講演者が考える重要度との相違が生じ難い。
更に、講演者及び参加者が使用する装置は指示位置検出装置及びＲＦＩＤのみである為、大掛かりな準備を必要としないだけでなく、講演者等の負担となることが少ない。
また、講演者がスライド又はオブジェクトを指示した回数から重要度を決定する方法と異なり、講演者が手遊びをした際の雑音等の影響を受けることが少ない。
【００８７】
ここで、オブジェクト範囲が互いに重なる場合における重要度の決定方法について図１５を参照して説明する。
図１５は、オブジェクト範囲が互いに重なる場合の重要度の決定方法を示した図である。
図１５に示すように、オブジェクトＯＢ１のオブジェクト範囲ＲＯＢ１とオブジェクトＯＢ３のオブジェクト範囲ＯＢ３は互いに重なり合っている。
ここで、スライド指示位置ＰＰ１は、時刻情報Ｔ１においてオブジェクト範囲ＲＯＢ１内のみに位置し、時刻Ｔ２においてオブジェクト範囲ＲＯＢ１及びオブジェクト範囲ＲＯＢ２の双方内に位置し、時刻Ｔ３においてオブジェクト範囲ＲＯＢ２内のみに位置した。
【００８８】
このような場合において、重要度特定装置２２０は、スライド指示位置ＰＰとオブジェクトＯＢとの位置関係に応じてスコアリングする。
また、上記スコアを時刻情報Ｔと関連付けて時系列データベース３２０のスコアテーブルＴＳＣへ蓄積する。
【００８９】
スコアテーブルＴＳＣの時刻カラムＣＴには時刻情報Ｔを、スコアカラムＣＳＣにはオブジェクトＯＢのスコアを蓄積する。
その後、重要度特定装置２２０は、オブジェクトＯＢ毎にスコアの合計値及び偏差値を求める。
また、合計値及び偏差値を解析結果テーブルＴＡの指示時間カラムＣＡＴ及び偏差値カラムＣＡＤに蓄積する。
これにより、複雑なオブジェクト構成を有する資料についても講演者が定める重要度と本システムの用いる重要度との相違が生じ難くなる。
【００９０】
次に、スコアリング方法について具体的に説明する。
重要度特定装置２２０は、スライド指示位置ＰＰ２とオブジェクト範囲ＲＯＢ１の外接円の中心Ｃ１及びＣ３との距離Ｌ１２及びＬ３２を計算し、その距離の比を計算する。
その後、重要度特定装置２２０は、計算した距離Ｌが短いオブジェクトＯＢほど高いスコアを取得するように、距離Ｌ１２及びＬ３２の比に応じてスコアを配分する。
【００９１】
データ蓄積部３００は、資料データベース３１０及び時系列蓄積手段である時系列データベース３２０から成る。
また、データ蓄積部３００は、データ収集部１００、データ集計部２００及びデータ表示部４００と接続している。
【００９２】
資料データベース３１０は、例えば、リレーショナルデータベースで構成される。
この資料データベース３１０は、解析装置２０、オブジェクト特定装置２１０、重要度特定装置２２０、データ表示部４００の重要度表示装置４１０及び条件設定装置４２０に接続している。
資料データベース３１０は、解析結果テーブルＴＡ及びスライドテーブルＴＳを有する。
【００９３】
時系列データベース３２０は、例えば、リレーショナルデータベースで構成される。
この時系列データベース３２０は、情報管理装置６０、オブジェクト特定装置２１０、重要度特定装置２２０、データ表示部４００の条件設定装置４２０及び検索装置４３０に接続している。
時系列データベース３２０は、時系列テーブルＴＴ及びスコアテーブルＴＳＣを有する。
【００９４】
データ表示部４００は、重要度表示手段である重要度表示装置４１０、条件設定手段である条件設定装置４２０、検索手段である検索装置４３０、結果表示手段である結果表示装置４４０から成る。
データ表示部４００はデータ蓄積部３００と接続している。
【００９５】
重要度表示装置４１０は、例えばパーソナルコンピュータ等で構成され、資料データベース３１０及び条件設定装置４２０に接続している。
重要度表示装置４１０は、資料データベース３１０に蓄積された資料、スライドＩＤ、スライド毎の偏差値、オブジェクトＩＤ及びオブジェクト毎の偏差値を参照する。
その後、資料並びにスライド毎及びオブジェクト毎の偏差値を視覚的に表示する。
【００９６】
ここで、重要度表示装置の表示について図１６を参照して説明する。
図１６は重要度表示装置の構成図である。
図１６に示すように、重要度表示装置４１０は、液晶表示装置やＣＲＴ等からなる表示装置４１１、表示装置４１１に接続されたコンピュータ４１２、コンピュータ４１２に接続されたポインティングデバイス４１３及びキーボード４１４から構成されている。
また、表示装置４１１は、スライド一覧画面４１５及びスライド表示画面４１６から成る。
【００９７】
重要度表示装置４１０は、条件設定装置４２０で設定された重要度表示条件を取得する。
その後、取得した重要度表示条件が示す資料を資料データベース３１０から参照する。
また、参照した資料に含まれるスライドをスライド一覧画面４１５に一覧表示する。ここで、スライド一覧画面４１５は、各スライドをサムネイルとしてスライドサムネイルＳＮＳに表示する。
これにより、オペレータは、スライドの概要を一見して知ることができる。
【００９８】
更に、重要度表示装置４１０は、資料データベース３１０に蓄積されたスライド毎の偏差値を参照する。
その後、偏差値の高低等に対して予め定めた外枠模様を、スライドサムネイルＳＮＳの外枠に付加して表示する。
これにより、オペレータはスライドの重要度を一見して知ることができる。
【００９９】
次に、スライド表示画面４１６について説明する。
重要度表示装置４１０は、資料データベース３１０に蓄積されたオブジェクト毎の偏差値を参照する。
その後、スライド表示画面４１６はスライドを表示する。その際に、偏差値の高低等に対して予め定めた外枠模様を、オブジェクト範囲ＲＯＢに付加して表示する。
これにより、オペレータはオブジェクトの重要度を一見して知ることができる。
【０１００】
次に、重要度表示装置の操作について説明する。
オペレータは、ポインティングデバイス４１３等を操作してポインタＰｔを移動させる。これにより、スライド一覧画面４１５に表示された１つ又は複数のスライドサムネイルＳＮＳの中から、スライド表示画面４１６へ表示するスライドを選択する。
その後、重要度表示装置４１０は選択されたスライドをスライド表示画面４１６へ表示する。
【０１０１】
条件設定装置４２０は、例えばパーソナルコンピュータ等で構成され、資料データベース３１０、時系列データベース３２０、重要度表示装置、及び検索装置４３０に接続している。
条件設定装置４２０は、重要度表示装置４１０の表示条件、検索装置４３０の検索条件及び結果表示装置４４０の表示条件を設定する。
【０１０２】
ここで、条件設定装置４２０について図１７を参照して説明する。
図１７は条件設定装置の構成を表した図である。
図１７に示すように、条件設定装置４２０は、液晶表示装置又はＣＲＴ等からなる表示装置４２１、表示装置４２１に接続されたコンピュータ４２２、コンピュータ４２２に接続されたポインティングデバイス４２３及びキーボード４２４から構成されている。
【０１０３】
ここで、条件設定装置の操作方法を説明する。
表示装置４２１上の条件設定画面４２５に表示されたポインタＰｔをポインティングデバイス４２３等で操作することにより移動させるか又はキーボード４２４から条件を入力することで、オペレータは条件を設定する。
【０１０４】
オペレータが重要度ボタンＢＴＤを操作すると、条件設定装置４２０は、設定された条件を記憶する。
その後、重要度表示装置４１０は上記条件で指定された資料ＩＤを参照し、それに含まれるスライド及びスライドの重要度等を表示する。
【０１０５】
オペレータが検索ボタンを操作すると、同様に条件設定装置４２０は設定された条件を記憶する。
その後、検索装置４３０は上記検索条件を参照し、それに従ってシーンを検索する。
これにより、オペレータは様々な検索条件に基づいてシーンを検索することができる。
【０１０６】
具体的には、条件設定装置４２０は資料データベース３１０に蓄積された資料ＩＤ、スライドＩＤ、オブジェクトＩＤ及びオブジェクト種類並びに時系列データベース３２０に蓄積された講演ＩＤ及び講演者ＩＤを参照し、条件設定コンボボックスＣＣに表示する。尚、条件設定をしない場合をも考慮して「＊」を選択肢に加える。
【０１０７】
具体例として、重要度表示装置４１０が、資料ＩＤ「００００１」により識別される資料について、重要度を表示するように設定する場合について説明する。
オペレータは資料ＩＤコンボボックスＣＣ１で「００００１」を選択する。その後、重要度ボタンＢＴＤを操作すると、条件設定装置４２０は設定された条件を記憶する。
その後、重要度表示装置４１０が、条件設定装置４２０の記憶した表示条件を参照し、参照した条件に従って重要度を表示する。
尚、検索条件の設定操作については、後述する。
【０１０８】
検索装置４３０は、例えばパーソナルコンピュータ等で構成され、時系列データベース３２０、条件設定装置４２０及び結果表示装置４４０に接続している。
【０１０９】
検索装置４３０は、条件設定装置４２０から検索条件及び表示条件を取得する。
その後、検索条件に沿ったシーンを時系列データベース３２０から検索し、検索結果を表示条件に沿ってソートする。
更に、ソートされた検索結果を結果表示装置４４０へ送信する。
【０１１０】
ここで、条件設定装置４１０の操作方法について図１７を用いて説明し、その後、検索装置４２０の検索方法について図１８ないし図２２を用いて説明する。
【０１１１】
具体例として、講演者が特定のオブジェクトを指示しているシーンを検索する場合について説明する。
図１７において、オペレータは、オブジェクトＩＤコンボボックスＣＣ６でオブジェクトＩＤを指定し、残りには「＊」を指定する。その後、検索ボタンＢＴＳを操作する。
これにより、条件設定装置４２０を操作して所望の検索条件を設定することができる。
【０１１２】
次に、図１８を用いて、オブジェクトＩＤ「００１」によって識別されるオブジェクトを講演者が指示したシーンを、検索装置４３０が検索する方法について説明する。
図１８はオブジェクトＩＤが「００１」であるオブジェクトを指示したシーンの検索を説明する為の図である。
【０１１３】
図１８に示すように、検索装置４３０は、時系列データベース３２０の有する時系列テーブルＴＴに蓄積されたレコードから、蓄積した指示オブジェクトＩＤが「００１」であるレコードを検索する。
また、検索されたレコードの時刻情報からシーン開始時間ＴＮを取得する。
これにより講演者が指示したオブジェクトに基づいてシーンを検索することができる。
【０１１４】
更に、具体例として、講演者が図形オブジェクトを指示しているシーンのみを検索する場合について説明する。
図１７において、オペレータは、オブジェクト種類コンボボックスＣＣ７で図形を表すオブジェクト種類「Ｆ」を選択し、残りには「＊」を選択する。その後、検索ボタンＢＴＳを操作する。
これにより、条件設定装置４２０を操作して所望の検索条件を設定することができる。
【０１１５】
次に、種類が図形であるオブジェクトを講演者が指示したシーンを、検索装置４３０が検索する様子について説明する。
図１９は、種類が図形であるオブジェクトを指示したシーンの検索方法を説明する為の図である。
図１９に示すように、検索装置４３０は、時系列データベース３２０の有する時系列テーブルＴＴに蓄積された指示オブジェクト種類が図形を表す「Ｆ」である情報を蓄積したレコードを検索する。
また、検索されたレコードの時刻情報からシーン開始時間ＴＮを取得する。
これにより、講演者が図形オブジェクトを指示しているシーンのみをオペレータは検索することができる。
【０１１６】
更に、具体例として、特定の講演者が発表しているシーンのみを検索する場合について説明する。
図１７において、オペレータは、講演者コンボボックスＣＣ４で講演者ＩＤを選択し、残りには「＊」を選択する。その後、検索ボタンＢＴＳを操作する。
これにより、条件設定装置４２０を操作して所望の検索条件を設定することができる。
【０１１７】
次に、特定の講演者が発表したシーンを検索装置４３０が検索する様子について説明する。
図２０は、特定の講演者が発表したシーンの検索を説明する為の図である。
図２０に示すように、検索装置４３０は、時系列データベース３２０の有する時系列テーブルＴＴに蓄積された講演者ＩＤに基づいてシーンを検索する。
また、検索されたレコードの時刻情報からシーン開始時間ＴＮを取得する。
これにより、講演者に基づいてシーンを検索することができる。
【０１１８】
更に、具体例として、講演者がオブジェクトの指示を継続した時間（以下、指示継続時間と言う）が「５秒以上」の長さであるようなシーンを検索する場合について説明する。
図１７において、オペレータは、ラジオボタンＣＲで「継続時間」を、時間範囲指定テキストボックスＣＴＢ１ないしＣＴＢ３及び時間範囲指定コンボボックスＣＣ８で、「５秒以上」という条件を表すように設定する。その後、検索ボタンＢＴＳを操作する。
これにより、条件設定装置４２０を操作して所望の検索条件を設定することができる。
【０１１９】
次に、指示継続時間が「５秒以上」の長さであるようなシーンを検索する様子について説明する。
図２１は指示継続時間が５秒以上のシーンの検索を説明する為の図である。
図２１に示すように、検索装置４３０は、時系列データベース３２０の有する時系列テーブルＴＴに蓄積された指示オブジェクトＩＤが同じであって、且つ、時刻情報でソートした際に連続するレコード群を検索する。但し、指示オブジェクトＩＤ「０００」であるものを除く。
【０１２０】
その後、検索装置４３０は、検索されたレコード群のレコード数に蓄積時間間隔を掛けることで指示継続時間を求める。
更に、求めた指示継続時間から、指示継続時間に対する検索条件に適合したシーンを特定する。
また、検索されたレコードの時刻情報からシーン開始時間ＴＮを取得する。
これにより、講演者が特定のオブジェクトを継続して５秒以上指示したシーンをオペレータは検索することができる。
【０１２１】
更に、具体例として、講演者がオブジェクトの指示をした累積時間（以下、指示累積時間と言う）が「５秒以上」の長さであるようなシーンを検索する場合について説明する。
図１７において、オペレータは、ラジオボタンＣＲで「累積時間」を、時間範囲指定テキストボックスＣＴＢ１ないしＣＴＢ３及び時間範囲指定コンボボックスＣＣ８で、「１０秒以上」という条件を設定する。その後、検索ボタンＢＴＳを操作する。
これにより、条件設定装置４２０を操作して所望の検索条件を設定することができる。
【０１２２】
次に、指示累積時間が「１０秒以上」の長さであるようなシーンを検索する様子について説明する。
図２２は指示累積時間が１０秒以上のシーンの検索を説明する為の図である。
図２２に示すように、検索装置４３０は、時系列データベース３２０の有する時系列テーブルＴＴに蓄積された指示オブジェクトＩＤが同じレコード群を検索する。但し、指示オブジェクトＩＤが「０００」であるものを除く。
【０１２３】
その後、検索装置４３０は、検索されたレコード群のレコード数に蓄積時間間隔を掛けることで指示累積時間を求める。
更に、求めた指示累積時間から指示累積時間に対する検索条件に適合したシーンを特定する。
また、検索されたレコードの時刻情報からシーン開始時間ＴＮを取得する。
これにより、講演者が特定のオブジェクトを指示したシーンの集合であって、それぞれのシーンの時間長の総和が１０秒を超えるものを、オペレータは検索することができる。
【０１２４】
その他、オペレータは、図１７に示すように、資料ＩＤコンボボックスＣＣ１で資料ＩＤを、会議ＩＤコンボボックスＣＣ２及びＣＣ３で会議ＩＤを、スライドＩＤコンボボックスＣＣ２でスライドＩＤを基にした検索条件を、条件設定装置４２０で設定することができる。
また、検索装置４３０は、条件設定装置４２０で設定された資料ＩＤ、会議ＩＤ及びスライドＩＤを基に検索することができる。
【０１２５】
また、具体例として、結果表示装置４４０においてシーン開始時間の昇順でシーンを表示する場合について説明する。
図１７において、オペレータは表示方法コンボボックスＣＣ９で「昇順」という条件を設定し、それ以外に検索条件を設定する。
【０１２６】
特に、上記昇順第３番目となるシーンのみを表示する場合には、オペレータは、表示方法コンボボックスＣＣ９で「昇順」を、順位指定テキストボックスＣＴＢ４に「３」という条件を設定する。その後、検索ボタンＢＴＳを操作する。
これにより、条件設定装置４２０を操作して所望の検索条件のみならず表示条件をも設定することができる。
【０１２７】
次に、検索装置４４０は、条件設定装置４２０が記憶した検索条件及び表示条件を参照する。その後、検索条件に基づいてシーンを検索する。更に、検索したシーンを、表示条件に基づいてシーン開始でソートする。
その後、検索装置４３０へソートされた検索結果を送信する。
【０１２８】
ここで、上記に挙げた複数の検索条件を同時に設定した場合には、それぞれの検索条件をＡＮＤ結合にて結合するものとする。
また、これらはＳＱＬ等の言語を用いてクエリ等を記述することで実現できる。
【０１２９】
結果表示装置４４０は、例えばパーソナルコンピュータ等で構成され、検索装置４３０に接続している。
結果表示装置４４０は、４３０検索装置４３０から受信した検索結果を表示する。
【０１３０】
ここで、結果表示装置４４０について図２３を参照して説明する。
図２３は結果表示装置の構成を表した図である。
図２３に示すように、結果表示装置４４０は、液晶表示装置又はＣＲＴ等からなる表示装置４４１、表示装置４４１に接続されたコンピュータ４４２、コンピュータ４４２に接続されたポインティングデバイス４４３及びキーボード４４４から構成されている。
また、表示装置４４１は、シーン表示画面４４５及びシーン一覧画面４４６から成る。
【０１３１】
シーン一覧画面４４６は、検索装置４３０から受信したシーン及びシーン開始時刻ＴＮを一覧表示する。
また、表示されるシーンはサムネイルとしてシーンサムネイルＳＮＭに表示される。
これにより、オペレータは検索されたシーンの概要を一見して知ることができる。
【０１３２】
シーン表示画面４４５はシーンを表示する。
これにより、オペレータは検索されたシーンを視認することができる。
ここで、オペレータが、シーン表示画面へ表示するシーンを選択する操作を説明する。
【０１３３】
オペレータは、ポインティングデバイス４４３を操作してポインタＰｔを移動させる。これにより、シーン一覧画面４４６に表示された１つ又は複数のシーンサムネイルＳＮＭの中から、シーン表示画面４４５へ表示するシーンを選択する。
その後、結果表示装置４４０は、選択されたシーンをシーン表示画面４４５へ表示する。
更に、オペレータは、操作ボタンＢＴＭを操作することで、シーンの再生、停止、早送り、巻き戻し、一時停止及びコマ送り等をすることができる。
【０１３４】
上記実施形態では、重要度表示装置４１０、条件設定装置４２０、検索装置４３０及び結果表示装置４４０をそれぞれ別個の装置として説明したが、これに限定されるわけではなく、一の装置として実現することも可能である。
ここで、データ表示装置４５０が、重要度表示装置４１０の全機能、条件設定装置４２０の一部の機能及び表示装置４４０の全機能を兼ね備えている他の実施例について図２４を参照して説明する。
【０１３５】
図２４は、データ表示装置の構成図である。
図２４に示すように、データ表示装置４５０は、液晶表示装置又はＣＲＴ等からなる表示装置４５１、表示装置４５１に接続されたコンピュータ４５２、コンピュータ４５２に接続されたポインティングデバイス４５３及びキーボード４５４から構成されている。
【０１３６】
また、表示装置４５１は、結果表示画面４５５及び重要度表示画面４５６を備える。
結果表示画面４５５は、シーン表示画面４４５及びシーン一覧画面４４６を有する。
重要度表示画面４５６は、スライド一覧画面４１５及びスライド表示画面４１６を有する。
【０１３７】
本実施例において、スライド一覧画面４１５、スライド表示画面４１６、シーン表示画面４４５及びシーン一覧画面４４６を、オペレータが操作する方法は、重要度表示装置４１０、条件設定装置４２０及び結果表示装置４４０がそれぞれ別個に設置された場合の実施例で説明したものと同じ方法に従う。
また、上記４画面の有する機能についても、上記３装置がそれぞれ別個に設置された場合の実施例で説明したものと同じ機能を有している。
【０１３８】
次に、データ表示装置４５０が有する条件設定装置４２０の一部機能について説明する。
オペレータは、ポインティングデバイス４５３等を操作することにより、ポインタＰｔを移動させる。これにより、スライド表示画面４１６に表示されたオブジェクトＯＢを選択することができる。
【０１３９】
その後、データ表示装置４５０は、上記オペレータが選択したオブジェクトＯＢを講演者が指示したシーンを検索するように、条件設定装置４２０の記憶した検索条件を変更する。
これにより、データ表示装置４５０は条件設定装置４２０の有する機能の一部を兼ね備えることとなる。
【０１４０】
その後、検索装置４３０は、条件設定装置４２０の記憶する更新された検索条件を参照し、検索を行う。その後、検索結果を表示装置４５０へ送信する。
次に、データ表示装置４５０は、受信した検索結果をシーン表示画面４４５及びシーン一覧画面４４６に表示する。
これにより、オペレータが選択したスライド表示画面４１６に表示されたオブジェクトＯＢを、講演者が指示したシーンを検索することができる。
【０１４１】
上記実施形態では、資料がマイクロソフト株式会社のソフトウェアであるパワーポイント用のファイル形式で記述されている場合について説明したが、これに限定されるわけではない。例えば、同じマイクロソフト株式会社のソフトウェアであるエクセルやワード用のファイル形式で記述た資料を採用することも可能である。
【０１４２】
上記実施形態では、表示装置１０はスクリーン１１、プロジェクタ１２及びスライド制御装置１３から成り、指示位置検出装置２１が特開２００４−３１０５２７の技術を用いる場合について説明したが、これに限定されるわけではない。
例えば、スクリーン１１及びプロジェクタ１２を液晶ディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイと言った装置とし、指示位置検出装置をタッチパネルとする組合せを採用することも可能である。
更に、指示位置検出装置２１をパーソナルコンピュータとし、Ｗｉｎｄｏｗｓ（登録商標）  ＡＰＩ等を利用することで、マウスポインタの位置を指示位置として取得する構成を採用することも可能である。
【０１４３】
上記実施形態では、ＣＣＤカメラを用いた場合について説明したが、これに限定されるわけではなく、例えば、ＣＭＯＳイメージセンサを用いたカメラ等を採用することも可能である。
【０１４４】
上記実施形態では、オブジェクト範囲の形状を方形とした場合について説明したが、これに限定されるわけではなく、多角形、円、楕円、線や点等の形状を採用することも可能である。
【０１４５】
上記実施形態では、複数の検索条件を設定した場合には、それぞれの条件をＡＮＤ結合する場合について説明したが、これに限定されるわけではなく、ＯＲ結合する構成を採用することも可能である。
【０１４６】
上記実施形態では、オブジェクトが互いに重なり合う場合における重要度の決定方法として、スライド指示位置とオブジェクト範囲の外接円の中心との距離の比に基づいたスコアリング方法について説明したが、これに限定されるわけではない。
例えば、スライド指示位置とオブジェクト範囲の内接円の中心及び重心並びにオブジェクト自体の外接円の中心、内接円の中心、重心又はオブジェクトそのものとの距離の比に基づいたスコアリング方法を採用することも可能である。
【０１４７】
上記実施形態では、スライド一覧画面４１１は、重要度に対して予め定めた外枠模様をスライドサムネイルＳＮＳに付加し、スライド表示画面４１６はオブジェクト範囲ＲＯＢに付加して表示する場合について説明したが、これに限定されるわけではない。
例えば、重要度に対して予め定めた色でスライドサムネイルＳＮＳの外枠を表示し、スライド表示画面４１６はオブジェクト範囲ＲＯＢを表示する構成とすることも可能である。
特に、偏差値が３７．５未満を青、３７．５以上５０未満を緑、５０以上６７．５未満を黄色、６７．５以上を赤色と言う規則に従って重要度を表示することで、温度の高低に対する色の一般的イメージと対応させることができる。これにより、オペレータが重要度の高低を把握し易くなる。
【０１４８】
上記実施形態では、スライド一覧画面４１１は、重要度に対して予め定めた外枠模様をスライドサムネイルＳＮＳに付加し、スライド表示画面４１６はオブジェクト範囲ＲＯＢに付加して表示する場合について説明したが、これに限定されるわけではない。
重要度に対して予め定めた半透明色でスライドサムネイルＳＮＳを塗りつぶし、スライド表示画面４１６はオブジェクト範囲ＲＯＢを同様に塗りつぶす構成とすることも可能である。
【図面の簡単な説明】
【０１４９】
【図１】本発明の一実施形態に係る構成及び各装置間のデータ授受を示す図である。
【図２】資料とスライド、オブジェクト及びオブジェクト範囲の関係を説明する為の図である。
【図３】解析装置がスライド解析前後に有する情報を説明する為の図である。
【図４】オブジェクト範囲情報の抽出方法を説明する為の図である。
【図５】オブジェクトの分割及び結合方法を説明する為の図である。
【図６】オブジェクトに関する情報の修正方法を例示した図である。
【図７】資料データベースの解析結果テーブルの構成図である。
【図８】指示位置検出装置の位置検出方法を説明する為の図である。
【図９】参加者及び指示装置の配置を例示した図である。
【図１０】時系列データベースの時系列テーブルの構成図である。
【図１１】オブジェクト特定装置の機能を説明する為の図である。
【図１２】重要度特定装置を説明する為の図である。
【図１３】スライド毎の重要度特定方法を説明する為の図である。
【図１４】オブジェクト毎の重要度特定方法を説明する為の図である。
【図１５】互いに重ったオブジェクト範囲間の重要度決定方法を説明する為の図である。
【図１６】重要度表示装置の構成図である。
【図１７】条件設定装置の構成図である。
【図１８】指示オブジェクトＩＤに基づいた検索方法を説明する為の図である。
【図１９】指示オブジェクト種類に基づいた検索方法を説明する為の図である。
【図２０】講演者に基づいた検索方法を説明する為の図である。
【図２１】指示継続時間に基づいた検索方法を説明する為の図である。
【図２２】指示累積時間に基づいた検索方法を説明する為の図である。
【図２３】結果表示装置の構成図である。
【図２４】データ表示装置の構成図である。
【符号の説明】
【０１５０】
１０…表示装置
１１…スクリーン
１２…プロジェクタ
１３…スライド制御装置
２０…解析装置（解析手段）
３０…ビデオカメラ
４０…指示装置
４１…指示位置検出装置
５０…位置検出装置（位置検出手段）
６０…情報管理装置（講演者管理手段）
１００…データ収集部
２００…データ集計部
２１０…オブジェクト特定装置（オブジェクト特定手段）
２２０…重要度特定装置（重要度特定手段）
３００…データ蓄積部
３１０…資料データベース
３２０…時系列データベース（時系列蓄積手段）
４００…データ表示部
４１０…重要度表示装置（重要度表示手段）
４１１…表示装置
４１２…コンピュータ
４１３…ポインティングデバイス
４１４…キーボード
４１５…スライド一覧画面
４１６…スライド表示画面
４２０…条件設定装置（条件設定手段）
４２１…表示装置
４２２…コンピュータ
４２３…ポインティングデバイス
４２４…キーボード
４２５…条件設定画面
４３０…検索装置（検索手段）
４４０…結果表示装置（結果表示手段）
４４１…表示装置
４４２…コンピュータ
４４３…ポインティングデバイス
４４４…キーボード
４４５…シーン表示画面
４４６…シーン一覧画面
４５０…データ表示装置
４５１…表示装置
４５２…コンピュータ
４５３…ポインティングデバイス
４５４…キーボード
４５５…結果表示画面
４５６…重要度表示画面
ＢＴＤ…重要度ボタン
ＢＴＭ１〜４…操作ボタン
ＢＴＳ…検索ボタン
Ｃ１〜３…中心
ＣＡＤ…偏差値カラム
ＣＡＴ…累積時間カラム
ＣＣ１〜９…条件設定コンボボックス
ＣＤ…資料カラム
ＣＫＯ…オブジェクト種類カラム
ＣＬ…講演カラム
ＣＭ…撮影画像カラム
ＣＮ１〜４…隅
ＣＯ…オブジェクトカラム
ＣＰ…講演者カラム
ＣＰＰ…指示位置カラム
ＣＲ…条件設定ラジオボタン
ＣＲＯ…オブジェクト範囲カラム
ＣＳ…スライドカラム
ＣＳＣ１〜４…スコアカラム
ＣＴ…時刻カラム
ＣＴＢ１〜４…条件設定テキストボックス  
ＣＶＦ…頂点座標 
ＣＶＮ…頂点座標 
Ｄ…資料
ＩＤＤ…資料ＩＤ
ＩＤＯ１〜９…オブジェクトＩＤ
ＩＤＳ１〜２…スライドＩＤ
ＫＯＢ１〜９…オブジェクト種類
Ｌ１〜４，Ｌ１１〜Ｌ１３，Ｌ３１〜Ｌ３３…距離
Ｏ…原点
ＯＢ１〜９…オブジェクト 
Ｐ１〜４…参加者
ＰＰ１〜３…スライド指示位置
Ｐｔ…ポインタ
ＲＯＢ１〜９…オブジェクト範囲
Ｓ１〜２…スライド
ＳＣ１〜３…シーン
ＳＮＭ１〜４…シーンサムネイル
ＳＮＳ１〜４…スライドサムネイル
Ｔ１〜３…時刻情報
ＴＡ…解析結果テーブル
ＴＮ１〜４…シーン開始時刻
ＴＳ…スライドテーブル
ＴＳＣ…スコアテーブル
ＴＴ…時系列テーブル
ＴＷ１〜３…シーン時間長
【図１】
2007072918.tif 000003
【図２】
2007072918.tif 000004
【図３】
2007072918.tif 000005
【図４】
2007072918.tif 000006
【図５】
2007072918.tif 000007
【図６】
2007072918.tif 000008
【図７】
2007072918.tif 000009
【図８】
2007072918.tif 000010
【図９】
2007072918.tif 000011
【図１０】
2007072918.tif 000012
【図１１】
2007072918.tif 000013
【図１２】
2007072918.tif 000014
【図１３】
2007072918.tif 000015
【図１４】
2007072918.tif 000016
【図１５】
2007072918.tif 000017
【図１６】
2007072918.tif 000018
【図１７】
2007072918.tif 000019
【図１８】
2007072918.tif 000020
【図１９】
2007072918.tif 000021
【図２０】
2007072918.tif 000022
【図２１】
2007072918.tif 000023
【図２２】
2007072918.tif 000024
【図２３】
2007072918.tif 000025
【図２４】
2007072918.tif 000026