(57)【要約】【課題】映像情報のインデキシングを容易に行なえるようにする。【解決手段】イベント記録モジュール３８は、ＤＶカメラ４で撮影する映像内容に関連して発生するイベントの情報であるイベント情報を記録する。このイベントは、ＤＶカメラ４で撮影しているプレゼンテーションを行なうプレゼンテーション・ソフトが動作しているＰＣのキーボード２１の操作等である。映像キャプチャモジュール４０は、ＤＶカメラ４で撮影する動画の映像をキャプチャする。このキャプチャした映像の映像ファイルは映像ファイル管理モジュール４１で記憶され、管理される。【選択図】　　図３
2004023381.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置で撮影する動画の映像をキャプチャする映像キャプチャ手段と、
このキャプチャした映像を記憶する映像記憶手段と、
前記撮影装置で撮影する映像内容に関連して発生するイベントの情報であるイベント情報を記録するイベント記録手段と、
を備えている映像情報インデキシング支援装置。
【請求項２】
記録した前記イベント情報に基づいて前記撮影装置を制御する撮影制御手段を備えている請求項１に記載の映像情報インデキシング支援装置。
【請求項３】
前記イベント記録手段は、前記映像内容の被写体の少なくとも一部をなす画面の切換えを行なうコンピュータの入力装置の操作を前記イベントとしている、
請求項１又は２に記載の映像情報インデキシング支援装置。
【請求項４】
前記イベント記録手段は、前記イベント情報として前記イベントの内容及び当該イベントの発生時刻を時系列に記録する、
請求項１〜３の何れかの一に記載の映像情報インデキシング支援装置。
【請求項５】
前記映像記憶手段で記憶した映像の情報と前記イベント情報とを時系列的に対応付けるインデックス生成手段を備えている請求項１〜４の何れかの一に記載の映像情報インデキシング支援装置。
【請求項６】
前記インデックス生成手段は、前記イベント情報に対して前記映像内容に関連した付加情報も対応付ける、
請求項５に記載の映像情報インデキシング支援装置。
【請求項７】
撮影装置で撮影する動画の映像をキャプチャする映像キャプチャ処理と、
このキャプチャした映像を記憶する映像記憶処理と、
前記撮影装置で撮影する映像内容に関連して発生するイベントの情報であるイベント情報を記録するイベント記録処理と、
をコンピュータに実行させるコンピュータに読取可能なプログラム。
【請求項８】
記録した前記イベント情報に基づいて前記撮影装置を制御する撮影制御処理をコンピュータに実行させる請求項７に記載のプログラム。
【請求項９】
請求項７又は８に記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像情報のインデキシングを支援する映像情報インデキシング支援装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
映像情報に対しインデキシングを行なう場合、映像内容に関してどのようなイベントが発生したのか、映像内容に対してイベントに関する情報を付加する必要がある。この作業は、作業者が実際に撮影した映像をすべて見て映像の内容を把握し、シーンの切り替わり、話題の切り替わりを判断し、付加すべきイベントに関する情報を決めていくことにより行われている。このようなインデキシングを施された映像情報は、シーン単位での閲覧や、映像内容に付加した情報による検索を行なうことが可能となる。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような作業により映像情報に対するインデキシングを行なうのでは、作業に多くの時間を要して煩雑であるという不具合がある。特に、映像のキャプチャ及び編集や、映像内容の記述等の作業に多くの時間と労力を必要とする。
【０００４】
本発明の目的は、映像情報のインデキシングを容易に行なえるようにすることである。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、映像情報インデキシング支援装置において、撮影装置で撮影する動画の映像をキャプチャする映像キャプチャ手段と、このキャプチャした映像を記憶する映像記憶手段と、前記撮影装置で撮影する映像内容に関連して発生するイベントの情報であるイベント情報を記録するイベント記録手段と、を備えている。
【０００６】
したがって、映像のキャプチャのみならず、映像内容に関連して発生するイベントのイベント情報も記録することができるので、映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。
【０００７】
請求項２に記載の発明は、請求項１に記載の映像情報インデキシング支援装置において、記録した前記イベント情報に基づいて前記撮影装置を制御する撮影制御手段を備えている。
【０００８】
したがって、イベント情報により、撮影開始、終了等といった撮影装置の操作が可能となり、撮影装置側の専従の担当者がいなくても撮影作業を行なうことができる。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の映像情報インデキシング支援装置において、前記イベント記録手段は、前記映像内容の被写体の少なくとも一部をなす画面の切換えを行なうコンピュータの入力装置の操作を前記イベントとしている。
【００１０】
したがって、プレゼンテーション発表の現場等を撮影する場合に、そのプレゼンテーション等に使用するコンピュータの操作をイベントとして記録し、映像情報のインデキシングを容易に行なうことができる。
【００１１】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の映像情報インデキシング支援装置において、前記イベント記録手段は、前記イベント情報として前記イベントの内容及び当該イベントの発生時刻を時系列に記録する。
【００１２】
したがって、映像中の事象とイベントとの対応を、時刻情報を介して行なうことができるので、特にイベントと映像中の事象との照合操作を行なう必要がなくなる。
【００１３】
請求項５に記載の発明は、請求項１〜４の何れかの一に記載の映像情報インデキシング支援装置において、前記映像記憶手段で記憶した映像の情報と前記イベント情報とを時系列的に対応付けるインデックス生成手段を備えている。
【００１４】
したがって、見たいイベントの頭だしや検索等を正確に行なうことができる。
【００１５】
請求項６に記載の発明は、請求項５に記載の映像情報インデキシング支援装置において、前記インデックス生成手段は、前記イベント情報に対して前記映像内容に関連した付加情報も対応付ける。
【００１６】
したがって、イベントの検索を付加情報の内容からの検索で行なえるので、見たいシーンの頭だしや検索を容易に行なうことができる。
【００１７】
請求項７に記載の発明は、撮影装置で撮影する動画の映像をキャプチャする映像キャプチャ処理と、このキャプチャした映像を記憶する映像記憶処理と、前記撮影装置で撮影する映像内容に関連して発生するイベントの情報であるイベント情報を記録するイベント記録処理と、をコンピュータに実行させるコンピュータに読取可能なプログラムである。
【００１８】
したがって、映像のキャプチャのみならず、映像内容に関連して発生するイベントのイベント情報も記録することができるので、映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。
【００１９】
請求項８に記載の発明は、請求項７に記載のプログラムにおいて、記録した前記イベント情報に基づいて前記撮影装置を制御する撮影制御処理をコンピュータに実行させる。
【００２０】
したがって、イベント情報により、撮影開始、終了等といった撮影装置の操作が可能となり、撮影装置側の専従の担当者がいなくても撮影作業を行なうことができる。
【００２１】
請求項９に記載の発明は、請求項７又は８に記載のプログラムを記憶した記憶媒体である。
【００２２】
したがって、請求項７又は８に記載の発明と同様の作用、効果を奏する。
【００２３】
【発明の実施の形態】
本発明の一実施の形態について説明する。
【００２４】
図１は、本実施の形態である映像情報インデキシング支援システム１の全体のハードウエア構成を示すブロック図である。
【００２５】
本実施の形態では、電子化されたプレゼンテーション資料を用いた講演や発表などを映像で録画記録する場合を例として説明する。このようなプレゼンテーションを行なう場合、通常、発表者は、プロジェクター等の投影機に接続したパーソナルコンピュータ（ＰＣ）に電子化されたプレゼンテーション資料を格納し、発表時には、このプレゼンテーション資料を投影機で表示するプレゼンテーション・ソフトを操作しながら発表を進めていく。
【００２６】
そこで、この映像情報インデキシング支援システム１は、プレゼンテーション用のＰＣ２と、このＰＣ２に接続されて、プレゼンテーション映像を表示するプロジェクター等の投影機３と、プレゼンテーションの状況を動画撮影する撮影装置であるＤＶカメラ４と、このＤＶカメラ４を制御可能にＩＥＥＥ１３９４などのインターフェイスで接続された撮影用のＰＣ５とを備えている。ＰＣ２とＰＣ５とはＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサ（Ｅｔｈｅｒ）ネットによるピア・ツー・ピア接続などであってもよい。
【００２７】
図２は、ＰＣ２，５の電気的な接続を示すブロック図である。図２に示すように、ＰＣ２，５は、各種演算を行ない各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００２８】
バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とを備えている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていてもよい。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。
【００２９】
ＰＣ２，５のそれぞれには、その磁気記憶装置１４に、この発明のプログラムを実現する映像情報インデキシング支援プログラムが記憶されている。この映像情報インデキシング支援プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりＰＣ２，５は動作可能な状態となる。すなわち、ＣＰＵ１１が映像情報インデキシング支援プログラムに基づいて動作することにより、後述の各種モジュールの機能をそれぞれ実現する。なお、映像情報インデキシング支援プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。また、ＰＣ２の磁気記憶装置１４には、所定のプレゼンテーション・ソフトも記憶されている。
【００３０】
以下では、映像情報インデキシング支援プログラムに基づいて映像情報インデキシング支援システム１が行なう処理の内容について説明する。
【００３１】
図３は、映像情報インデキシング支援プログラム等に基づいて実現される映像情報インデキシング支援システム１の機能ブロック図である。
【００３２】
ＰＣ２は、その磁気記憶装置１４に電子化されたプレゼンテーション資料３１が記憶されていて、ユーザはプレゼンテーション・ソフトによりプレゼンテーション資料３１を用いたプレゼンテーションを行なう。このとき、ＰＣ２は、後述のイベントを発生するイベント発生装置として機能する。
【００３３】
通常、プレゼンテーションを行なう場合のＰＣ２の操作は以下のような手順である。
１．ＰＣ２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作によるページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．ＰＣ２の終了
【００３４】
ＰＣ２は、映像情報インデキシング支援プログラムに基づいてイベント送信装置３２としても機能して、イベント発生装置としてのＰＣ２の操作、すなわち、プレゼンテーションの発表時にＤＶカメラ４で撮影する映像内容に関して発生するイベントを的確に記録することで、ＤＶカメラ４で撮影する映像に対するインデキシングを効率良く行なうことを支援する。
【００３５】
前述のような手順でプレゼンテーションの発表が行われる際に、ＰＣ２上で捉えることができる映像内容に関して発生するイベントとしては、例えば以下の１〜３に示すようなものがある。すなわち、ここでは、ＤＶカメラ４の映像内容の被写体の少なくとも一部をなすプレゼンテーション映像の画面の切換えを行なうコンピュータの操作をイベントとしている。また、このイベントに関する情報であるイベント情報として、イベントの種類とその発生時刻も正確に記録する必要がある。
１．プレゼンテーション・ソフトの起動、終了
２．キーボード２１の操作（どのキーが押されたか）
３．マウス１５の操作（ドラッグ、クリック）
【００３６】
そこで、イベント送信装置３２は、イベントキャプチャーモジュール３３により、これらのイベントの種類とその発生時刻をイベント情報として取得する。そして、イベント記録モジュール３４は、このイベント情報のログを記録し、イベント送信モジュール４４は通信インターフェイスを介してＰＣ５（ＰＣ５が映像情報インデキシング支援プログラムに基づいて実現するイベント受信装置３５）に送信する。
【００３７】
このイベント送信装置３２から送信されたイベント情報は、本発明の映像情報インデキシング支援装置を実施するイベント受信装置３５において、イベント受信モジュール３６により受信される。そして、イベント制御モジュール３７は、イベント記録モジュール３８と撮影機器制御モジュール３９に、受信したイベント情報を渡す。イベント記録モジュール３８は、イベント記録手段、イベント記録処理を実現するもので、イベント情報を時系列に記録する。
【００３８】
撮影機器制御モジュール３９は、イベント情報に基づいてＤＶカメラ４を制御する。映像キャプチャモジュール４０は、映像キャプチャ手段、映像キャプチャ処理を実現するもので、ＤＶカメラ４で撮影した画像をキャプチャする。映像ファイル管理モジュール４１は、映像記憶手段、映像記憶処理を実現するもので、ＤＶカメラ４で撮影した画像の映像ファイルを記憶して管理する。また、イベント記録モジュール３８が記録するイベント情報には、イベント送信装置３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も含まれる。
【００３９】
イベント解釈モジュール４２は、イベント情報の内容を解釈し、インデックス生成モジュール４３は、ＰＣ５の磁気記憶装置１４に記憶されているプレゼンテーション資料３１、映像ファイル及びイベント情報に基づいて、ＤＶカメラ４で撮影した映像のインデキシングを行なう。
【００４０】
次に、イベント送信装置３２とイベント受信装置３５との間のイベント情報の交換について具体的に説明する。
【００４１】
１．プレゼンテーション・ソフトの起動というイベントが発生したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影を開始する。また、このイベント情報をイベント記録モジュール３８で記録する。
【００４２】
２．プレゼンテーション資料３１のスライドが進行しているときは、キーボード２１のキー操作によるイベントが発生するので、このイベント情報をイベント記録モジュール３８で記録する。
【００４３】
３．プレゼンテーション・ソフトが終了したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影を終了する。また、このイベント情報をイベント記録モジュール３８で記録する。
【００４４】
このようにして、ＤＶカメラ４で撮影された映像中のイベントのイベント情報を映像情報とともにイベント受信装置３５で記録管理することができる。
【００４５】
この記録されたイベント情報は、インデックス生成手段であるインデックス生成モジュール４３により、以下のような手順で、映像ファイル、プレゼンテーション資料３１とマージされ、内容記述言語（ＭＰＥＧ−７など）により映像インデックスとして管理される。
【００４６】
１．イベント情報に付随するプレゼンテーション内容の付加
例えば、キーボード２１のキー操作が順に、「Ｎ，Ｎ，Ｎ，Ｐ，Ｎ，Ｎ」と押下されるイベントが発生した場合、プレゼンテーション資料３１のページの推移は、「１，２，３，２，３，４」といった推移が予想される。そこで、図４（ａ）に示すように、このようなイベントの発生に対応するページのプレゼンテーション資料３１から文字情報５１を抽出し、キーボード２１の操作によるイベント情報５２に付加することで、イベントの発生時刻に表示しているプレゼンテーションの内容を代表する文字列を付加情報であるインデックス情報５３として付加することができる（図４（ｃ）参照）。
【００４７】
２．ビデオ映像情報に対する映像物理ファイル構成
実際に撮影された映像は、撮影カットの単位で物理ファイル５４として（ＡＶＩ，ＭＰＥＧ−１，２，４等）格納される（図４（ｂ）参照）。そして、実際に１つの意味のある映像のまとまりを映像ファイル群４５として扱う（図４（ｃ）参照）。
【００４８】
３．プレゼンテーション内容を含むイベント情報と映像物理ファイルのマッピング
１つの意味のまとまりとして管理される映像ファイル群５５とインデックス情報５３とは、映像に記録されているタイムコード（記録されていない場合は、１秒間のフレーム数による換算）により対応付けられ（図４（ｃ）参照）、イベントと映像再生位置を特定することが可能になる。これにより、映像情報とイベント情報とを時系列的に対応付けて記録することができる。ＤＶカメラ４による撮影の開始、終了のイベント情報５６もインデックス情報５７として、これらと対応付けられる。
【００４９】
このように、映像情報である映像ファイル群５５と、その内容情報を管理するインデックス情報５３，５７（ＭＰＥＧ−７）とをペアにして記録し、管理することで、録画した映像に対し、プレゼンテーション資料３１の切り替わりを１つのシーンとして検索したり、プレゼンテーション資料３１に記載された内容で検索することで、関連情報だけを抜粋し閲覧したりすることが可能になる。
【００５０】
【発明の効果】
請求項１，７に記載の発明は、映像のキャプチャのみならず、映像内容に関連して発生するイベントのイベント情報も記録することができるので、映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。
【００５１】
請求項２，８に記載の発明は、請求項１，７に記載の発明において、イベント情報により、撮影開始、終了等といった撮影装置の操作が可能となり、撮影装置側の専従の担当者がいなくても撮影作業を行なうことができる。
【００５２】
請求項３に記載の発明は、請求項１又は２に記載の発明において、プレゼンテーション発表の現場等を撮影する場合に、そのプレゼンテーション等に使用するコンピュータの操作をイベントとして記録し、映像情報のインデキシングを容易に行なうことができる。
【００５３】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の発明において、映像中の事象とイベントとの対応を、時刻情報を介して行なうことができるので、特にイベントと映像中の事象との照合操作を行なう必要がなくなる。
【００５４】
請求項５に記載の発明は、請求項１〜４の何れかの一に記載の発明において、見たいイベントの頭だしや検索等を正確に行なうことができる。
【００５５】
請求項６に記載の発明は、請求項５に記載の発明において、イベントの検索を付加情報の内容からの検索で行なえるので、見たいシーンの頭だしや検索を容易に行なうことができる。
【００５６】
請求項９に記載の発明は、その記憶しているプログラムにより請求項７又は８に記載の発明と同様の効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるシステムの全体の概略構成を示すブロック図である。
【図２】本システムで使用するＰＣの電気的な接続を示すブロック図である。
【図３】本システムの機能ブロック図である。
【図４】本システムによるインデキシングの処理について説明する説明図である。
【符号の説明】
４　　撮影装置
１７　記憶媒体
３５　映像情報インデキシング支援装置
３８　イベント記録手段、イベント記録処理
３９　撮影制御手段、撮影制御処理
４０　映像キャプチャ手段、映像キャプチャ処理
４１　映像記憶手段、映像記憶処理
４３　インデックス生成手段、インデックス生成処理
【図１】
2004023381.tif 000003
【図２】
2004023381.tif 000004
【図３】
2004023381.tif 000005
【図４】
2004023381.tif 000006