(57)【要約】【課題】プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとの対応づけを効率良く行うことができる映像情報インデキシング支援装置を提供する。【解決手段】撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号ｈのみを取り出し、このタイミング信号ｈと映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルｊとを対応付けて映像構造化情報ｋを生成する。これにより、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとを対応付けるための映像構造化情報ｋが、プレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号を利用して生成されるので、プレゼンファイルと映像ファイルとの対応づけを効率良く行うことができる。【選択図】　　　　図３
2004032601.tif 000002
【特許請求の範囲】
【請求項１】
プレゼンテーションの様子を撮影した映像ファイルを映像蓄積部に蓄積する映像蓄積手段と、
各種タイミング信号を受信してタイミング蓄積部に蓄積するタイミング蓄積手段と、
このタイミング蓄積手段により前記タイミング蓄積部に蓄積された各種タイミング信号から撮影期間を規定するタイミング信号を抽出する撮影期間内タイミング抽出手段と、
この撮影期間内タイミング抽出手段により抽出されたタイミング信号により規定される撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみを取り出すタイミング種別判定手段と、
このタイミング種別判定手段により取り出したプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとを対応付けて映像構造化情報を生成する映像構造化手段と、
を備える映像情報インデキシング支援装置。
【請求項２】
所定時間よりも短い間隔でプレゼンファイルの操作に係るタイミング信号が発生した場合には、このタイミング信号を排除するタイミング有効判定手段を備える請求項１記載の映像情報インデキシング支援装置。
【請求項３】
プレゼンファイル蓄積部に蓄積されたプレゼンテーションに用いるプレゼンファイルからページ毎にテキスト情報を抽出するテキスト情報抽出手段と、
このテキスト情報抽出手段により抽出したテキスト情報と前記映像構造化手段により生成された映像構造化情報とを結合して映像構造化ファイルを生成する抽出情報映像構造化情報結合手段と、
を備える請求項１または２記載の映像情報インデキシング支援装置。
【請求項４】
プレゼンテーション開始時にプレゼン開始信号を発生し、プレゼンテーション終了時にプレゼン終了信号を発生するプレゼン開始終了信号発生手段を備え、
前記撮影期間内タイミング抽出手段はプレゼン開始信号及びプレゼン終了信号に基づいて撮影期間を規定する請求項１ないし３のいずれか一記載の映像情報インデキシング支援装置。
【請求項５】
前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから音声情報を抽出する音声情報抽出手段を備え、
この音声情報抽出手段により抽出された音声情報を前記映像構造化手段により生成された映像構造化情報に結合する請求項１ないし４のいずれか一記載の映像情報インデキシング支援装置。
【請求項６】
前記映像構造化手段により生成された映像構造化情報から重要と考えられるフレームであるキーフレーム情報を抽出するキーフレーム情報抽出手段を備え、
このキーフレーム情報抽出手段により抽出されたキーフレーム情報を前記映像構造化手段により生成された映像構造化情報に結合する請求項１ないし５のいずれか一記載の映像情報インデキシング支援装置。
【請求項７】
前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報を抽出する静止画特徴量による映像構造抽出手段を備え、
この静止画特徴量による映像構造抽出手段により抽出された静止画特徴量による映像構造情報を前記映像構造化手段により生成された映像構造化情報に結合する請求項１ないし６のいずれか一記載の映像情報インデキシング支援装置。
【請求項８】
プレゼンテーションの様子を撮影した映像ファイルを映像蓄積部に蓄積する映像蓄積機能と、
各種タイミング信号を受信してタイミング蓄積部に蓄積するタイミング蓄積機能と、
このタイミング蓄積機能により前記タイミング蓄積部に蓄積された各種タイミング信号から撮影期間を規定するタイミング信号を抽出する撮影期間内タイミング抽出機能と、
この撮影期間内タイミング抽出機能により抽出されたタイミング信号により規定される撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみを取り出すタイミング種別判定機能と、
このタイミング種別判定機能により取り出したプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとを対応付けて映像構造化情報を生成する映像構造化機能と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。
【請求項９】
所定時間よりも短い間隔でプレゼンファイルの操作に係るタイミング信号が発生した場合には、このタイミング信号を排除するタイミング有効判定機能をコンピュータに実行させる請求項８記載のコンピュータに読取り可能なプログラム。
【請求項１０】
プレゼンファイル蓄積部に蓄積されたプレゼンテーションに用いるプレゼンファイルからページ毎にテキスト情報を抽出するテキスト情報抽出機能と、
このテキスト情報抽出機能により抽出したテキスト情報と前記映像構造化機能により生成された映像構造化情報とを結合して映像構造化ファイルを生成する抽出情報映像構造化情報結合機能と、
をコンピュータに実行させる請求項８または９記載のコンピュータに読取り可能なプログラム。
【請求項１１】
プレゼンテーション開始時にプレゼン開始信号を発生し、プレゼンテーション終了時にプレゼン終了信号を発生するプレゼン開始終了信号発生機能をコンピュータに実行させ、
前記撮影期間内タイミング抽出機能はプレゼン開始信号及びプレゼン終了信号に基づいて撮影期間を規定する請求項８ないし１０のいずれか一記載のコンピュータに読取り可能なプログラム。
【請求項１２】
前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから音声情報を抽出する音声情報抽出機能をコンピュータに実行させ、
この音声情報抽出機能により抽出された音声情報を前記映像構造化機能により生成された映像構造化情報に結合する請求項８ないし１１のいずれか一記載のコンピュータに読取り可能なプログラム。
【請求項１３】
前記映像構造化機能により生成された映像構造化情報から重要と考えられるフレームであるキーフレーム情報を抽出するキーフレーム情報抽出機能をコンピュータに実行させ、
このキーフレーム情報抽出機能により抽出されたキーフレーム情報を前記映像構造化機能により生成された映像構造化情報に結合する請求項８ないし１２のいずれか一記載のコンピュータに読取り可能なプログラム。
【請求項１４】
前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報を抽出する静止画特徴量による映像構造抽出機能をコンピュータに実行させ、
この静止画特徴量による映像構造抽出機能により抽出された静止画特徴量による映像構造情報を前記映像構造化機能により生成された映像構造化情報に結合する請求項８ないし１３のいずれか一記載のコンピュータに読取り可能なプログラム。
【請求項１５】
請求項８ないし１４のいずれか一記載のプログラムを記憶しているコンピュータに読取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像情報のインデキシングを支援する映像情報インデキシング支援装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータの発達とコストダウンに伴い、電子化されたプレゼンテーション資料である電子プレゼンテーションファイル（以下、プレゼンファイル）をプレゼンテーションツールで表示させながらプレゼンテーションを行うことが多くなっている。
【０００３】
また、近年のデータ蓄積装置の大容量化や撮影デバイスの発達は、プレゼンテーションの様子を撮影して映像として残し、後で再現するということも可能にしている。
【０００４】
そして、プレゼンテーション終了後であっても、映像とプレゼンファイルとを同時にパーソナルコンピュータで表示させることにより、発表者の発言・行動と資料とを同時に視聴させることができ、プレゼンテーションの場により近い状態を再現することもできる。
【０００５】
【発明が解決しようとする課題】
ところで、特開平８−２７２９８９号公報には、映像の時間範囲とそれに対応するプレゼンファイルのページとを関連付けた映像使用による資料作成支援システムが提案されている。このようなシステムによれば、プレゼンファイルからテキスト情報を抽出することで、映像の検索用インデックスとして利用することが可能になっている。
【０００６】
しかしながら、特開平８−２７２９８９号公報のシステムによれば、オペレータが手動でテキスト情報と映像情報の時間範囲とを指定して対応付けを行わなければならないため、オペレータの負荷が大きいという問題点がある。
【０００７】
本発明の目的は、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとの対応づけを効率良く行うことができる映像情報インデキシング支援装置、プログラム及び記憶媒体を提供することである。
【０００８】
【課題を解決するための手段】
請求項１記載の発明の映像情報インデキシング支援装置は、プレゼンテーションの様子を撮影した映像ファイルを映像蓄積部に蓄積する映像蓄積手段と、各種タイミング信号を受信してタイミング蓄積部に蓄積するタイミング蓄積手段と、このタイミング蓄積手段により前記タイミング蓄積部に蓄積された各種タイミング信号から撮影期間を規定するタイミング信号を抽出する撮影期間内タイミング抽出手段と、この撮影期間内タイミング抽出手段により抽出されたタイミング信号により規定される撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみを取り出すタイミング種別判定手段と、このタイミング種別判定手段により取り出したプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとを対応付けて映像構造化情報を生成する映像構造化手段と、を備える。
【０００９】
したがって、撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみが取り出され、このプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとが対応付けられて映像構造化情報が生成される。これにより、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとを対応付けるための映像構造化情報が、プレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号を利用して生成されるので、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとの対応づけを効率良く行うことが可能になる。
【００１０】
請求項２記載の発明は、請求項１記載の映像情報インデキシング支援装置において、所定時間よりも短い間隔でプレゼンファイルの操作に係るタイミング信号が発生した場合には、このタイミング信号を排除するタイミング有効判定手段を備える。
【００１１】
したがって、例えば、ある一定時間よりも短い間隔でスライド操作が行われることにより同じスライドを表示した場合には、その間に発生したタイミング信号がスライド操作者の誤操作とみなされて排除されることにより、プレゼンテーションのスライド操作者の誤操作の影響を少なくすることが可能になる。
【００１２】
請求項３記載の発明は、請求項１または２記載の映像情報インデキシング支援装置において、プレゼンファイル蓄積部に蓄積されたプレゼンテーションに用いるプレゼンファイルからページ毎にテキスト情報を抽出するテキスト情報抽出手段と、このテキスト情報抽出手段により抽出したテキスト情報と前記映像構造化手段により生成された映像構造化情報とを結合して映像構造化ファイルを生成する抽出情報映像構造化情報結合手段と、を備える。
【００１３】
したがって、プレゼンテーションに用いるプレゼンファイルから抽出されたテキスト情報が映像構造化情報に結合されて映像構造化ファイルが生成されることにより、プレゼンテーションに用いるプレゼンファイルの基本的な情報が付加され、利用価値の高い情報を生成することが可能になる。
【００１４】
請求項４記載の発明は、請求項１ないし３のいずれか一記載の映像情報インデキシング支援装置において、プレゼンテーション開始時にプレゼン開始信号を発生し、プレゼンテーション終了時にプレゼン終了信号を発生するプレゼン開始終了信号発生手段を備え、前記撮影期間内タイミング抽出手段はプレゼン開始信号及びプレゼン終了信号に基づいて撮影期間を規定する。
【００１５】
したがって、プレゼンテーション開始時に発生するプレゼン開始信号とプレゼンテーション終了時に発生するプレゼン終了信号とを利用することにより、撮影期間とプレゼンテーションに用いるプレゼンファイルの操作との時間的同期が取れるので、撮影の無駄が省け、かつ、タイミングデータの精度が向上する。
【００１６】
請求項５記載の発明は、請求項１ないし４のいずれか一記載の映像情報インデキシング支援装置において、前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから音声情報を抽出する音声情報抽出手段を備え、この音声情報抽出手段により抽出された音声情報を前記映像構造化手段により生成された映像構造化情報に結合する。
【００１７】
したがって、プレゼンテーションの様子を撮影した映像ファイルから音声情報が抽出されることにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することが可能になるので、利用価値の高い情報を生成することが可能になる。
【００１８】
請求項６記載の発明は、請求項１ないし５のいずれか一記載の映像情報インデキシング支援装置において、前記映像構造化手段により生成された映像構造化情報から重要と考えられるフレームであるキーフレーム情報を抽出するキーフレーム情報抽出手段を備え、このキーフレーム情報抽出手段により抽出されたキーフレーム情報を前記映像構造化手段により生成された映像構造化情報に結合する。
【００１９】
したがって、映像構造化情報から重要と考えられるフレームであるキーフレーム情報が抽出されることにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することが可能になるので、利用価値の高い情報を生成することが可能になる。
【００２０】
請求項７記載の発明は、請求項１ないし６のいずれか一記載の映像情報インデキシング支援装置において、前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報を抽出する静止画特徴量による映像構造抽出手段を備え、この静止画特徴量による映像構造抽出手段により抽出された静止画特徴量による映像構造情報を前記映像構造化手段により生成された映像構造化情報に結合する。
【００２１】
したがって、映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報が抽出されることにより、プレゼンテーションに用いるプレゼンファイルの操作に関係の無い映像の切り替えが有った場合にも、映像の構造化を行うことが可能になる。
【００２２】
請求項８記載の発明のプログラムは、プレゼンテーションの様子を撮影した映像ファイルを映像蓄積部に蓄積する映像蓄積機能と、各種タイミング信号を受信してタイミング蓄積部に蓄積するタイミング蓄積機能と、このタイミング蓄積機能により前記タイミング蓄積部に蓄積された各種タイミング信号から撮影期間を規定するタイミング信号を抽出する撮影期間内タイミング抽出機能と、この撮影期間内タイミング抽出機能により抽出されたタイミング信号により規定される撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみを取り出すタイミング種別判定機能と、このタイミング種別判定機能により取り出したプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとを対応付けて映像構造化情報を生成する映像構造化機能と、をコンピュータに実行させる。
【００２３】
したがって、撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみが取り出され、このプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとが対応付けられて映像構造化情報が生成される。これにより、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとを対応付けるための映像構造化情報が、プレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号を利用して生成されるので、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとの対応づけを効率良く行うことが可能になる。
【００２４】
請求項９記載の発明は、請求項８記載のコンピュータに読取り可能なプログラムにおいて、所定時間よりも短い間隔でプレゼンファイルの操作に係るタイミング信号が発生した場合には、このタイミング信号を排除するタイミング有効判定機能をコンピュータに実行させる。
【００２５】
したがって、例えば、ある一定時間よりも短い間隔でスライド操作が行われることにより同じスライドを表示した場合には、その間に発生したタイミング信号がスライド操作者の誤操作とみなされて排除されることにより、プレゼンテーションのスライド操作者の誤操作の影響を少なくすることが可能になる。
【００２６】
請求項１０記載の発明は、請求項８または９記載のコンピュータに読取り可能なプログラムにおいて、プレゼンファイル蓄積部に蓄積されたプレゼンテーションに用いるプレゼンファイルからページ毎にテキスト情報を抽出するテキスト情報抽出機能と、このテキスト情報抽出機能により抽出したテキスト情報と前記映像構造化機能により生成された映像構造化情報とを結合して映像構造化ファイルを生成する抽出情報映像構造化情報結合機能と、をコンピュータに実行させる。
【００２７】
したがって、プレゼンテーションに用いるプレゼンファイルから抽出されたテキスト情報が映像構造化情報に結合されて映像構造化ファイルが生成されることにより、プレゼンテーションに用いるプレゼンファイルの基本的な情報が付加され、利用価値の高い情報を生成することが可能になる。
【００２８】
請求項１１記載の発明は、請求項８ないし１０のいずれか一記載のコンピュータに読取り可能なプログラムにおいて、プレゼンテーション開始時にプレゼン開始信号を発生し、プレゼンテーション終了時にプレゼン終了信号を発生するプレゼン開始終了信号発生機能をコンピュータに実行させ、前記撮影期間内タイミング抽出機能はプレゼン開始信号及びプレゼン終了信号に基づいて撮影期間を規定する。
【００２９】
したがって、プレゼンテーション開始時に発生するプレゼン開始信号とプレゼンテーション終了時に発生するプレゼン終了信号とを利用することにより、撮影期間とプレゼンテーションに用いるプレゼンファイルの操作との時間的同期が取れるので、撮影の無駄が省け、かつ、タイミングデータの精度が向上する。
【００３０】
請求項１２記載の発明は、請求項８ないし１１のいずれか一記載のコンピュータに読取り可能なプログラムにおいて、前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから音声情報を抽出する音声情報抽出機能をコンピュータに実行させ、この音声情報抽出機能により抽出された音声情報を前記映像構造化機能により生成された映像構造化情報に結合する。
【００３１】
したがって、プレゼンテーションの様子を撮影した映像ファイルから音声情報が抽出されることにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することが可能になるので、利用価値の高い情報を生成することが可能になる。
【００３２】
請求項１３記載の発明は、請求項８ないし１２のいずれか一記載のコンピュータに読取り可能なプログラムにおいて、前記映像構造化機能により生成された映像構造化情報から重要と考えられるフレームであるキーフレーム情報を抽出するキーフレーム情報抽出機能をコンピュータに実行させ、このキーフレーム情報抽出機能により抽出されたキーフレーム情報を前記映像構造化機能により生成された映像構造化情報に結合する。
【００３３】
したがって、映像構造化情報から重要と考えられるフレームであるキーフレーム情報が抽出されることにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することが可能になるので、利用価値の高い情報を生成することが可能になる。
【００３４】
請求項１４記載の発明は、請求項８ないし１３のいずれか一記載のコンピュータに読取り可能なプログラムにおいて、前記映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報を抽出する静止画特徴量による映像構造抽出機能をコンピュータに実行させ、この静止画特徴量による映像構造抽出機能により抽出された静止画特徴量による映像構造情報を前記映像構造化機能により生成された映像構造化情報に結合する。
【００３５】
したがって、映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報が抽出されることにより、プレゼンテーションに用いるプレゼンファイルの操作に関係の無い映像の切り替えが有った場合にも、映像の構造化を行うことが可能になる。
【００３６】
請求項１５記載の発明の記憶媒体は、請求項８ないし１４のいずれか一記載のプログラムを記憶している。
【００３７】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項８ないし１４のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００３８】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図３に基づいて説明する。
【００３９】
図１は、本実施の形態である映像情報インデキシング支援装置１の全体のハードウエア構成を示すブロック図である。
【００４０】
本実施の形態では、電子化されたプレゼンテーション資料を用いた講演や発表などを映像で録画記録する場合を例として説明する。このようなプレゼンテーションを行う場合、通常、発表者は、プロジェクター等の投影機に接続したパーソナルコンピュータ（ＰＣ）に電子化されたプレゼンテーション資料を格納し、発表時には、このプレゼンテーション資料を投影機で表示するプレゼンテーション・ソフトを操作しながら発表を進めていく。
【００４１】
そこで、この映像情報インデキシング支援装置１は、プレゼンテーション用のＰＣ２と、このＰＣ２に接続されて、プレゼンテーション映像を表示するプロジェクター等の投影機３と、プレゼンテーションの状況を動画撮影する撮影装置であるＤＶ（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ）カメラ４とを備えている。ＤＶカメラ４とＰＣ２とは、ＩＥＥＥ１３９４などのインターフェイスで接続されている。
【００４２】
図２は、ＰＣ２の電気的な接続を示すブロック図である。図２に示すように、ＰＣ２は、各種演算を行い各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ　ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１と、各種のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）からなるメモリ１２とが、バス１３で接続されている。
【００４３】
バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示装置１６とを備えている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行う所定の通信インターフェイス２０が接続されていてもよい。また、バス１３には、投影機３やＤＶカメラ４等を接続するための各種インターフェイス２２も接続されている。
【００４４】
なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。
【００４５】
ＰＣ２の磁気記憶装置１４には、この発明のプログラムを実現する映像情報インデキシング支援プログラムが記憶されている。この映像情報インデキシング支援プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりＰＣ２は動作可能な状態となる。すなわち、ＣＰＵ１１が映像情報インデキシング支援プログラムに基づいて動作することにより、後述する各種手段の機能をそれぞれ実現する。なお、映像情報インデキシング支援プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）上で動作するものであってもよい。また、ＰＣ２の磁気記憶装置１４には、所定のプレゼンテーション・ソフトも記憶されている。
【００４６】
加えて、ＰＣ２の磁気記憶装置１４は、各種データを蓄積するためにも用いられ、プレゼンテーション資料であるプレゼンファイルを蓄積するプレゼンファイル蓄積部１４ａ、所定のタイミング信号を蓄積するタイミング蓄積部１４ｂ、ＤＶカメラ４により撮影した映像を蓄積する映像蓄積部１４ｃとしても機能する。
【００４７】
以下では、映像情報インデキシング支援プログラムに基づいて映像情報インデキシング支援装置１が行う処理の内容について説明する。図３は、映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置１の機能ブロック図である。
【００４８】
ＰＣ２は、その磁気記憶装置１４のプレゼンファイル蓄積部１４ａに電子化されたプレゼンファイルを記憶していて、ユーザはプレゼンテーション・ソフトによりプレゼンファイルを用いたプレゼンテーションを行う。
【００４９】
通常、プレゼンテーションを行う場合のＰＣ２の操作は以下のような手順である。
【００５０】
１．ＰＣ２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作によるページめくり（スライドの切り替え）
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．ＰＣ２の終了
そして、映像情報インデキシング支援プログラムは、概略的には、ＰＣ２の操作、すなわち、プレゼンテーションの発表時におけるスライドの切り替わりタイミング（プレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号）を取得し、スライドの切り替わりのタイミングと映像の対応づけを行うことにより、ＤＶカメラ４で撮影する映像に対するインデックス情報の生成を効率良く行うことを支援するものである。
【００５１】
すなわち、プレゼンテーション開始（プレゼンテーション・ソフトの起動）時には、プレゼン開始終了信号発生手段３１がプレゼン開始信号ａを発生する。このプレゼン開始信号ａは、タイミング蓄積手段３２と映像蓄積手段３３とに伝達される。そして、プレゼン開始信号ａを受け取ったタイミング蓄積手段３２は、当該プレゼン開始信号ａをタイミング蓄積部１４ｂに蓄積する。一方、プレゼン開始信号ａを受け取った映像蓄積手段３３は、ＤＶカメラ４により撮影された映像の映像蓄積部１４ｃへの蓄積を開始する。
【００５２】
プレゼンファイル操作手段３４は、キーボード２１又はマウス１５の操作によりスライドが切り替え操作される度に、スライド操作信号ｂを発生する。このスライド操作信号ｂは、タイミング蓄積手段３２に伝達される。そして、スライド操作信号ｂを受け取ったタイミング蓄積手段３２は、当該スライド操作信号ｂをタイミング蓄積部１４ｂに蓄積する。
【００５３】
また、プレゼンテーション終了（プレゼンテーション・ソフトの終了）時には、プレゼン開始終了信号発生手段３１がプレゼン終了信号ｃを発生する。このプレゼン終了信号ｃは、タイミング蓄積手段３２と映像蓄積手段３３とに伝達される。そして、プレゼン終了信号ｃを受け取ったタイミング蓄積手段３２は、当該プレゼン終了信号ｃをタイミング蓄積部１４ｂに蓄積する。一方、プレゼン終了信号ｃを受け取った映像蓄積手段３３は、ＤＶカメラ４により撮影された映像の映像蓄積部１４ｃへの蓄積を終了する。
【００５４】
テキスト情報抽出手段３５は、プレゼンファイル蓄積部１４ａに蓄積されたプレゼンファイルｄからそれぞれのページ毎にテキスト情報ファイルｅを抽出し、そのテキスト情報ファイルｅを、抽出情報映像構造化情報結合手段３６に送信する。なお、テキスト情報抽出手段３５におけるテキスト情報ファイルｅの抽出は、プレゼンファイルｄ及びそれに対応したアプリケーションに依存した周知の各種手法により実現できる。例えば、アプリケーションがＨＴＭＬ形式でプレゼンファイルｄを出力することが可能とするならば、タグ以外の文字を、そのテキスト情報とすることにより実現できる。
【００５５】
撮影期間内タイミング抽出手段３７は、タイミング蓄積手段３２からタイミング蓄積部１４ｂに蓄積されているタイミングデータｆを取得する。そして、撮影期間内タイミング抽出手段３７は、取得したタイミングデータｆからプレゼン開始信号ａ及びプレゼン終了信号ｃを取得し、その撮影期間内に発生したタイミングデータｇを、タイミング種別判定手段３８に送信する。
【００５６】
タイミング種別判定手段３８は、撮影期間内に発生したタイミングデータｇからスライド操作に関するタイミングデータであるスライド操作信号ｂのみを選別して、「撮影期間内に発生し、かつ、スライド切り替えに関係するタイミングデータ」ｈとしてタイミング有効判定手段３９に送信する。
【００５７】
タイミング有効判定手段３９では、ある一定時間よりも短い間隔でスライド操作が行われることにより同じスライドを表示した場合には、その間に発生したタイミング（開始終了を含む）を、スライド操作者の誤操作とみなしてこのスライド操作信号ｂを排除した「撮影期間内に発生し、かつ、スライド切り替えに関係する有効なタイミングデータ」ｉのみを映像構造化手段４０に送信する。これにより、プレゼンテーションのスライド操作者の誤操作の影響を少なくすることが可能になる。
【００５８】
映像構造化手段４０は、映像蓄積手段３３から映像蓄積部１４ｃに蓄積されている映像ファイルｊを取得するとともに、タイミング有効判定手段３９から送信される「撮影期間内に発生し、かつ、スライド切り替えに関係する有効なタイミングデータ」ｉを取得し、映像の構造化を行い、映像構造化情報ｋを抽出情報映像構造化情報結合手段３６に送信する。
【００５９】
抽出情報映像構造化情報結合手段３６は、テキスト情報ファイルｅと映像構造化情報ｋとを取得し、これらの抽出情報が付加された映像構造化情報ファイルｍを出力する。これにより、プレゼンテーションに用いるプレゼンファイルから抽出されたテキスト情報が映像構造化情報に結合されて映像構造化ファイルが生成されることにより、プレゼンテーションに用いるプレゼンファイルの基本的な情報が付加され、利用価値の高い情報を生成することが可能になる。
【００６０】
ここに、撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみが取り出され、このプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとが対応付けられて映像構造化情報が生成される。これにより、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとを対応付けるための映像構造化情報が、プレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号を利用して生成されるので、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとの対応づけを効率良く行うことが可能になる。
【００６１】
本発明の第二の実施の形態を図４に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する（以降の実施の形態においても同様）。本実施の形態は、第一の実施の形態とは、映像情報インデキシング支援プログラムに基づいて映像情報インデキシング支援装置１が行う処理の内容が一部異なるものである。概略的には、映像ファイルから音声情報の抽出を行い、この音声情報を抽出情報として付加する機能を加えたものである。
【００６２】
図４は、映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置１の機能ブロック図である。図４に示すように、音声情報抽出手段４１は、映像蓄積手段３３から映像蓄積部１４ｃに蓄積されている映像ファイルｊを取得するとともに、映像ファイルｊから音声情報ｎの抽出を行う。なお、映像から音声を抽出する方法は周知の技術であるので、詳細な説明は省略する。そして、音声情報抽出手段４１は、抽出した音声情報ｎを抽出情報映像構造化情報結合手段３６に送信する。
【００６３】
抽出情報映像構造化情報結合手段３６は、テキスト情報ファイルｅと映像構造化情報ｋと音声情報ｎとを取得し、これらの抽出情報が付加された映像構造化情報ファイルｍを出力する。
【００６４】
ここに、プレゼンテーションの様子を撮影した映像ファイルから音声情報が抽出されることにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することが可能になるので、利用価値の高い情報を生成することが可能になる。
【００６５】
本発明の第三の実施の形態を図５に基づいて説明する。本実施の形態は、第一の実施の形態とは、映像情報インデキシング支援プログラムに基づいて映像情報インデキシング支援装置１が行う処理の内容が一部異なるものである。概略的には、キーフレーム情報の抽出を行い、このキーフレーム情報を抽出情報として付加する機能を加えたものである。
【００６６】
図５は、映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置１の機能ブロック図である。図５に示すように、キーフレーム情報抽出手段４２は、映像構造化手段４０から映像構造化情報ｋを取得するとともに、映像構造化情報ｋから重要と考えられるフレーム、この場合には、構造化された一つのシーンの最終フレームをキーフレームとして、キーフレーム情報ｏの抽出を行う。そして、キーフレーム情報抽出手段４２は、抽出したキーフレーム情報ｏを抽出情報映像構造化情報結合手段３６に送信する。
【００６７】
抽出情報映像構造化情報結合手段３６は、テキスト情報ファイルｅと映像構造化情報ｋとキーフレーム情報ｏとを取得し、これらの抽出情報が付加された映像構造化情報ファイルｍを出力する。
【００６８】
ここに、映像構造化情報から重要と考えられるフレームであるキーフレーム情報が抽出されることにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することが可能になるので、利用価値の高い情報を生成することが可能になる。
【００６９】
本発明の第四の実施の形態を図６に基づいて説明する。本実施の形態は、第一の実施の形態とは、映像情報インデキシング支援プログラムに基づいて映像情報インデキシング支援装置１が行う処理の内容が一部異なるものである。概略的には、映像からの静止画特徴量により、シーン切り替えを検出して映像構造化情報として利用する機能を加えたものである。
【００７０】
図６は、映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置１の機能ブロック図である。図６に示すように、静止画特徴による映像構造抽出手段４３は、映像蓄積手段３３から映像蓄積部１４ｃに蓄積されている映像ファイルｊから映像中の静止画を取得する。また、静止画特徴量による映像構造抽出手段４３は、取得した静止画の静止画特徴量による映像の構造化を行う。詳細には、静止画像の色、配色、エッジ、テクスチャ情報などを利用して、静止画特徴量の大きく異なる個所で映像が切り替わったと判定し、静止画特徴量による映像の構造化を行う。そして、静止画特徴量による映像構造抽出手段４３は、静止画特徴量による映像構造情報ｐを抽出情報映像構造化情報結合手段３６に送信する。
【００７１】
抽出情報映像構造化情報結合手段３６は、テキスト情報ファイルｅと映像構造化情報ｋと静止画特徴量による映像構造情報ｐとを取得し、これらの抽出情報が付加された映像構造化情報ファイルｍを出力する。
【００７２】
ここに、映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報が抽出されることにより、プレゼンテーションに用いるプレゼンファイルの操作に関係の無い映像の切り替えが有った場合にも、映像の構造化を行うことが可能になる。
【００７３】
【発明の効果】
請求項１または８記載の発明によれば、撮影期間内に発生したタイミング信号からプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号のみを取り出し、このプレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号と映像蓄積部に蓄積されているプレゼンテーションの様子を撮影した映像ファイルとを対応付けて映像構造化情報を生成することにより、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとを対応付けるための映像構造化情報が、プレゼンテーションに用いるプレゼンファイルの操作に係るタイミング信号を利用して生成されるので、プレゼンテーションに用いるプレゼンファイルとプレゼンテーションの様子を撮影した映像ファイルとの対応づけを効率良く行うことができる。
【００７４】
請求項２または９記載の発明によれば、所定時間よりも短い間隔でプレゼンファイルの操作に係るタイミング信号が発生した場合には、このタイミング信号を排除することにより、プレゼンテーションのスライド操作者の誤操作の影響を少なくすることができる。
【００７５】
請求項３または１０記載の発明によれば、プレゼンテーションに用いるプレゼンファイルから抽出されたテキスト情報を映像構造化情報に結合して映像構造化ファイルを生成することにより、プレゼンテーションに用いるプレゼンファイルの基本的な情報を付加することができるので、利用価値の高い情報を生成することができる。
【００７６】
請求項４または１１記載の発明によれば、プレゼンテーション開始時に発生するプレゼン開始信号とプレゼンテーション終了時に発生するプレゼン終了信号とを利用することにより、撮影期間とプレゼンテーションに用いるプレゼンファイルの操作との時間的同期が取れるので、撮影の無駄を省くことができ、かつ、タイミングデータの精度を向上させることができる。
【００７７】
請求項５または１２記載の発明によれば、プレゼンテーションの様子を撮影した映像ファイルから音声情報を抽出することにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することができるので、利用価値の高い情報を生成することができる。
【００７８】
請求項６または１３記載の発明によれば、映像構造化情報から重要と考えられるフレームであるキーフレーム情報を抽出することにより、プレゼンファイルに無いプレゼンテーションに関する情報を取得することができるので、利用価値の高い情報を生成することができる。
【００７９】
請求項７または１４記載の発明によれば、映像ファイルから映像中の静止画に係る静止画特徴量による映像構造情報を抽出することにより、プレゼンテーションに用いるプレゼンファイルの操作に関係の無い映像の切り替えが有った場合にも、映像の構造化を行うことができる。
【００８０】
請求項１５記載の発明の記憶媒体によれば、請求項８ないし１４のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項８ないし１４のいずれか一記載の発明と同様の作用効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の映像情報インデキシング支援装置の全体のハードウエア構成を示すブロック図である。
【図２】ＰＣの電気的な接続を示すブロック図である。
【図３】映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置の機能ブロック図である。
【図４】本発明の第二の実施の形態の映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置の機能ブロック図である。
【図５】本発明の第三の実施の形態の映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置の機能ブロック図である。
【図６】本発明の第四の実施の形態の映像情報インデキシング支援プログラムに基づいて実現される映像情報インデキシング支援装置の機能ブロック図である。
【符号の説明】
１　　　　映像情報インデキシング支援装置
１４ａ　　プレゼンファイル蓄積部
１４ｂ　　タイミング蓄積部
１４ｃ　　映像蓄積部
１７　　　記憶媒体
３１　　　プレゼン開始終了信号発生手段
３２　　　タイミング蓄積手段
３３　　　映像蓄積手段
３５　　　テキスト情報抽出手段
３６　　　抽出情報映像構造化情報結合手段
３７　　　撮影期間内タイミング抽出手段
３８　　　タイミング種別判定手段
３９　　　タイミング有効判定手段
４０　　　映像構造化手段
４１　　　音声情報抽出手段
４２　　　キーフレーム情報抽出手段
４３　　　静止画像特徴量による映像構造抽出手段
【図１】
2004032601.tif 000003
【図２】
2004032601.tif 000004
【図３】
2004032601.tif 000005
【図４】
2004032601.tif 000006
【図５】
2004032601.tif 000007
【図６】
2004032601.tif 000008