(57)【要約】【課題】映像情報として変化に乏しい講演の様子を内容のまとまりに関連した形で分割するためのカット点を設定、また内容のまとまりに関連した形で分割して蓄積する。【解決手段】前記資料を表示する資料表示手段１と前記資料を出力するための外部出力装置２と資料のページ切替え操作信号が供給されるページ切替え時刻検出手段４とを有し、ページ切替え時刻検出手段３が資料のページ切替え時刻をもってカット点とする。ページ切替え時刻検出手段３は前記資料のページ切替え時刻を資料のページ切替えに伴う機器操作から検出する。また、前記資料のページ切替え時刻を画像処理によって検出する。さらに、前記資料のページ切替え時刻を音声処理によって検出する。また、前記資料のページ切替え時刻を予め定めておいた時刻を採用する。尚、前記設定したカット点をもって、講演している様子の映像を分割して蓄積するとよい。【選択図】  図１
2005197878.tif 000002
【特許請求の範囲】
【請求項１】
講演者が表示された資料を用いながら講演している様子などの映像情報内容のまとまりに関連した形で分割するためのカット点を設定する方法であって、
前記資料を表示する資料表示手段と、前記資料を出力するための外部出力装置と、前記資料のページ切替え操作信号が供給されるページ切替え時刻検出手段とを有し、
前記ページ切替え時刻検出手段が、前記資料のページ切替え時刻をもってカット点とすること
を特徴とするカット点設定方法。
【請求項２】
前記ページ切替え時刻検出手段が、前記資料のページ切替え時刻を資料のページ切替えに伴う機器操作から検出すること
を特徴とする請求項１記載のカット点設定方法。
【請求項３】
前記ページ切替え時刻検出手段が、前記資料のページ切替え時刻を画像処理によって検出すること
を特徴とする請求項１記載のカット点設定方法。
【請求項４】
前記ページ切替え時刻検出手段が、前記資料のページ切替え時刻を音声処理によて検出すること
を特徴とする請求項１記載のカット点設定方法。
【請求項５】
前記ページ切替え時刻検出手段が前記資料のページ切替え時刻を予め定めておいた時刻を採用すること
を特徴とする請求項１記載のカット点設定方法。
【請求項６】
講演者が表示された資料を用いながら講演している様子を映像情報として蓄積する方法であって、
請求項１から５のいずれか１項に記載のカット点設定方法を用いて設定したカット点をもって、講演している様子の映像を分割して蓄積すること
を特徴とする映像情報蓄積方法。
【請求項７】
講演者が表示された資料を用いながら講演している様子などの映像情報内容のまとまりに関連した形で分割するためのカット点を設定する装置であって、
前記資料を表示する資料表示手段と、前記資料を出力するための外部出力装置と、前記資料のページ切替え操作信号が供給されるページ切替え時刻検出手段とを有し、
カット点設定にあたり、前記ページ切替え時刻検出手段が前記資料のページ切替え時刻をもってカット点とすること
を特徴とするカット点設定装置。
【請求項８】
前記ページ切替え時刻検出手段が、前記資料のページ切替え時刻を資料のページ切替えに伴う機器操作から検出すること
を特徴とする請求項７に記載のカット点設定装置。
【請求項９】
前記ページ切替え時刻検出手段が、前記資料のページ切替え時刻を画像処理によって検出すること
を特徴とする請求項７記載のカット点設定装置。
【請求項１０】
前記ページ切替え時刻検出手段が、前記資料のページ切替え時刻を音声処理によって検出すること
を特徴とする請求項７記載のカット点設定装置。
【請求項１１】
前記ページ切替え時刻検出手段においては、前記資料のページ切替え時刻を予め定めておいた時刻とすること
を特徴とする請求項７に記載のカット点設定装置。
【請求項１２】
講演者が表示された資料を用いながら講演している様子を映像情報として蓄積するための装置であって、
前記講演している様子を動画像として撮像する手段と、
前記講演に使用する資料を表示する手段と、
撮像した前記動画像を端末装置に取得する手段と、
請求項７から１１のいずれか１項に記載のカット点設定装置と、
前記カット点設定装置が指示するカット点をトリガとして、前記端末装置に取り込んだ動画像の蓄積の開始及び停止を制御する手段と、
前記端末装置に取り込んだ動画像を蓄積する手段と
を備えたことを特徴とする映像情報蓄積装置。
【請求項１３】
請求項１から５のいずれか１項に記載のカット点設定方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項６記載の映像情報蓄積方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、講演者が表示された資料を用いながら講演している様子などの映像情報内容のまとまりに関連した形で分割するためのカット点を設定するための方法とその装置並びにプログラム、及び、講演者が講演する様子を映像情報として蓄積する際に分割して蓄積することを可能とするための方法とその装置並びにプログラムに関する。
【背景技術】
【０００２】
映像情報は情報量が膨大であるため、全ての映像を最初から最後まで見て内容を把握するのでは、非常に時間がかかるという問題があった。この問題に対処するため、映像を飛ばし見したり、内容を大雑把に把握するための手段として、映像情報を分割して再生したりする方法が提案されている。その代表的な方法としては、映像情報の場面の変わり目を抽出する方法がある。
【０００３】
例えば、非特許文献１（電気情報通信学会技術報告）に開示された「輝度情報を使った動画像ブラウジング」によれば、取り込まれた一連の画像中の時間的に隣り合う２枚のフレームＩt，Ｉt-1の各対応する画素における輝度値の差を計算して、その絶対値のフレーム全体に渡る和が、ある与えられた閾値よりも大きい時、ｔを場面の変わり目とみなしている。この映像の変わり目を用いて映像の分割再生を実現している。
【非特許文献１】大辻，外村，大庭，「輝度情報を使った動画像ブラウジング」，電気情報通信学会技術報告，ＩＥ９０−１０３，１９９１
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来の方法では、次のような問題点があった。講演の様子の映像情報では、講演の開始から終了までを１ショットで記録することが一般的であり、また、映像情報として変化の乏しいものであるため、映像情報のフレーム間の差分を基に場面の変わり目を抽出する方法は適用が困難である。また、場面の変わり目が抽出できた場合でも、その変わり目が講演の内容のまとまりと関述している保証はなく、講演内容の概略を把握する手段としては適切でない。
【０００５】
本発明は、上記従来技術の問題点に鑑み、その目的は、映像情報として変化に乏しい講演の様子を、内容のまとまりに関連した形で分割するためのカット点を設定する方法とその装置並びにプログラム、及び、その内容のまとまりに関連した形で分割して蓄積する方法とその装置並びにプログラムの提供にある。
【課題を解決するための手段】
【０００６】
そこで、本発明のカット点設定方法は、資料のページ切替え時刻をもってカット点として設定している。また、資料のページ切替え時刻は、ページ切替えに伴う機器操作から検出したり、画像処理若しくは音声処理を用いて検出したり、予め定めておいた時刻としている。さらに、講演している様子の映像情報は、資料のページ切替え時刻をカット点として、講演している様子の映像を分割して蓄積している。
【０００７】
また、本発明のカット点設定装置は、資料のページ切替え時刻をもってカット点として設定している。このカット点設定装置は、資料のページ切替え時刻をページ切替えに伴う機器操作から検出、または画像処理若しくは音声処理を用いて検出して、予め定めておいた時刻としている。
【０００８】
さらに、本発明の映像情報蓄積装置は、講演している様子を動画像として撮像する装置と、講演に使用する資料を表示する手段と、撮像した動画像を端末装置に取得する手段と、カット点設定装置と、設定されたカット点をトリガとして、前記端末装置に取り込んだ動画像の蓄積の開始及び停止を制御する手段と、前記端末装置に取り込んだ動画像を蓄積する手段とを備えている。
【０００９】
尚、以上のカット点設定方法とその装置及び映像情報蓄積方法とその装置はコンピュータとプログラムによっても実現でき、プログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。前記記録媒体としては、例えばフレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が挙げられる。
【発明の効果】
【００１０】
本発明のカット点設定方法とその装置並びにプログラム、及び映像情報蓄積方法とその装置並びにプログラムによれば、講演の様子が内容的にまとまりのある資料のページ単位毎に分割して動画像として蓄積されるため、動画像の利用者は必要な箇所のみを簡単に閲覧することが可能となり、概要把握を容易に行うことができる。
【発明を実施するための最良の形態】
【００１１】
本発明の実施の形態について図面を参照しながら説明する。
【００１２】
以下、図面を参照して本究明の実施形態を詳細に説明する。
【００１３】
図１は、本発明の実施形態の一例で、ページ切替え操作から資料のページ切替え時刻を検出する場合の実施形態例を示した概略図である。
【００１４】
本実施形態は、資料表示手段１と外部出力装置２とページ切替え時刻検出手段３とを備える。ページ切替え時刻検出手段３は、ページ切替え操作検出手段３１を備えている。ここでは、資料表示手段１により資料が表示されているコンピュータのビデオ出力信号をプロジェクタなどの外部出力装置２を使用してスクリーンなどに投影して、前記投影した資料を用いて講演者が講演している様子の映像情報（出力映像２０）のカット点となる資料のページ切替え時刻を資料のページ切替えに伴う機器操作から検出している。
【００１５】
資料表示手段１は、例えばＭｉｃｒｏｓｏｆｔのＰｏｗｅｒＰｏｉｎｔのように定められたキー人力あるいはマウスクリックなどのページ切替え操作により表示する資料のページの切替えを行う。
【００１６】
ページ切替え時刻検出手段３は、ページ切替え操作検出手段３１が前記ページ切替え操作を検出したときの時刻をページ切替え時刻として検出する。
【００１７】
図２も、本発明の実施形態の一例で、資料のページ切替え時刻を画像処理によって検出する場合の実施形態例を示した概略図である。
【００１８】
本実施形態は、資料表示手段１と外部出力装置２とページ切替え時刻検出手段３と動画像取得手段４と動画像撮像装置５とを備えている。動画像取得手段４はビデオカメラ等に例示される動画像撮像装置５が撮像した画像を取得する。図２において符号５０は動画像撮像装置５によって撮像される撮像範囲を示したものである。
【００１９】
本実施形態においてページ切替え時刻検出手段３は、動画像取得手段４により取り込んだ画像のうち、例えば図３に示すように資料が表示されている範囲のみを画像処理手段４で画像処理し、画像情報に差分が生じた時点をページ切替え時刻として検出する。画像処理する範囲は図４に示すように資料ページ番号（図４において開示されている例はページ番号５）等の資料のページを判別できる範囲に限ってもよい。また、ＭｉｃｒｏｓｏｆｔのＥＸＣＥＬのように表示内容をタブによって切替えるような場合、タブの領域のみを画像処理する範囲としても良い。尚、図２では画像処理手段への入力をライブ取得映像としているが、予め蓄積しておいた映像でもよい。
【００２０】
図５も、本発明の実施形態の一例で、音声処理を用いて資料のページ切替え時刻を検出する場合の実施形態例を示した概略図である。
【００２１】
本実施形態におけるページ切替え時刻検出手段３は音声取得手段３４によって取得された音声が供される音声処理手段３３を備えている。
【００２２】
ページ切替え時刻検出手段３は、マイク等に例示される音声取得手段３４により取り込んだ音声情報の中から、ページ切替えを指示する「次へ」、「めくってください」などの言葉を音声処理手段３４で認識した時点をページ切替え時刻として検出する。尚、図５に示された形態例では音声処理手段３３への入力をライブ取得音声としているが、予め蓄積されている音声情報でもよい。
【００２３】
図６は、本発明の実施形態の一例で、予め定められた時刻をページ切替え時刻とする場合の実施形態例を示した概略図である。
【００２４】
本実施形態では、講演のリハーサルなどから資料のページ切替え時刻を予め定めることができる場合、その時刻を時刻記録手段３５に記録しておく。時刻記録手段３５は記録機能を有しているものであればよい。ページ切替え時刻検出手段３は、時刻記録手段３５に記録されている時刻を呼び出すことでページ切替え時刻を検出する。
【００２５】
図７は、本発明の実施形態の一例で、ページ切替え操作から資料のページ切替え時刻を検出して資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図である。
【００２６】
本実施形態では、ページ切替え操作から資料のページ切替え時刻を検出し、検出したページ切替え時刻をトリガとして、動画像蓄積手段７により取り込んだライブ動画像情報を記憶媒体に分割して蓄積する。動画像蓄積手段７は動画像を蓄積する機能を有しているものであれば既知のものでもよい。
【００２７】
本実施形態例の動作例について述べる。ページ切替え時刻検出手段３はページ切替え操作検出手段３１でページ切替え操作を検出すると、動画像蓄積制御手段６に対し信号を送信する。動画像蓄積制御手段６はページ切替え時刻検出手段３からの信号を受信すると、動画像蓄積手段７に対し蓄積の停止及び新たな蓄積の開始を行うための信号を送信する。動画像蓄積手段７は動画像蓄積制御手段６からの信号を受信すると、その時点までの動画像取得手段４で取得した動画像の蓄積を停止し、その時点から動画像取得手段４で取得した動画像を新たなファイルとして記憶媒体７０に蓄積する。尚、記憶媒体７０は記憶機能を有しているものであれば既知のものでもよい。
【００２８】
図８も、本発明の実施形態の一例で、画像処理を用いて資料のページ切替え時刻を検出して資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図である。
【００２９】
本実施形態例では、画像処理手段３２による画像処理により資料のページ切替え時刻を検出し、検出したページ切替え時刻をトリガとして、動画像蓄積手段７により取り込んだライブ動画像情報を記憶媒体７０に分割して蓄積している。
【００３０】
また、画像処理を用いる場合、図９に示した実施形態例のように、動画像蓄積のための動画像取得手段（図においては符号４ａで示した）とページ切替え時刻を指示するための動画像取得手段（図においては符号４ｂで示した）を別とするシステム構成としてもよい。
【００３１】
図１０も、本発明の実施形態の一例で、音声処理を用いて資料のページ切替え時刻を検出して資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図である。
【００３２】
本実施形態例では、ページ切替え時刻検出手段３における音声処理手段３３による音声処理を用いて資料のページ切替え時刻を検出し、検出したページ切替え時刻をトリガとして、動画像蓄積手段７により取り込んだライブ動画像情報を記憶媒体７０に分割して蓄積している。
【００３３】
図１１は、本発明の実施形態の一例で、予め定められた時刻をページ切替え時刻として資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図である。
【００３４】
本実施形態例では、ページ切替え時刻検出手段３における時刻記憶手段３５にて予め定められた時刻を資料のページ切替え時刻とし、このページ切替え時刻をトリガとして、動画像蓄積手段７により取り込んだライブ動画像情報を記憶媒体７０に分割して蓄積している。
【００３５】
画像処理や音声処理は処理時間を要し、処理が終了する時刻が実際の資料のページ切替え時刻より遅延する場合がある。このような場合には動画像蓄積手段７に一次記憶領域を設けて対処するとよい。
【００３６】
図１２は、画像処理または音声処理の遅延に対処するための一次記憶領域の棚成と動作の説明図である。
【００３７】
一次記憶領域はａ，ｂ，ｃという３つの記憾領域を有する。ここで、画像処理あるいは音声処理で検出された資料のページ切替え時刻をＴ、画像処理または音声処理が終了した時刻をＴ’とし、資料のページ数をそれぞれの添え字で表すことにする。記憶領域ａ，ｂ，ｃからそれぞれｎページ目、ｎ＋１ページ目、ｎ＋２ページ目の資料に関する映像情報を取り出すことを考える。記憶領域ａからｎページ目の資料に関する映像情報を取り出す場合、時刻Ｔn+1から時刻Ｔnまでの映像情報を切り取ることになるが、動画像蓄積制御手段から指示される時刻は処理遅延分か遅れた時刻となるため、Ｔ’n-1からＴ’nまでの情報しか記憶領域ａに記録されていないと、情報が不足し意図した情報が取り出せないこととなる。このため、記憶領域ａから時刻Ｔn-1〜時刻Ｔnの映像情報を切り取るには、時刻Ｔ’n-2から時刻Ｔ’nまでの映像情報を記録しておく必要がある。同様に、記憶領域ｂには時刻Ｔ’n-1から時刻Ｔ’n+1までの映像情報、記憶領域ｃには時刻Ｔ’nから時刻Ｔ’n+2までの映像情報を記録することで、それぞれからｎ＋１ページ目、ｎ＋２ページ目の資料に関する映像情報を取り出すことができる。ｎ＋３ページ目の資料を取り出す際は、記憶領域ａをクリアし、新たに時刻Ｔ’n+1から時刻Ｔ’n+3までの映像情報を記録すればよい。
【００３８】
以上の実施形態に基づいて説明した本発明は、全ての手段を１台のコンピュータに実装して実現することも可能であるし、また、図１３に示した実施形態例のようにネットワーク８で接続された複数台のコンピュータ等の端末に各手段を適切に実装することで実現することも可能である。
【００３９】
資料表示用端末（資料表示用コンピュータ１３１）は、資料表示手段１とページ切替え時刻検出手段３とを備えている。動画像取得用端末（動画像取得用コンピュータ１３２）は、動画像取得手段４を備えている。動画像蓄積用端末（動画像蓄積用コンピュータ１３３）は、動画像蓄積制御手段６と動画像蓄積手段７と記憶媒体７０とを備えている。
【００４０】
また、図１〜図１３で示した処理工程をコンピュータのプログラムで構成し、このプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の工程の実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスクなどに記録して、保存したり、配布したりすることが可能である。さらに、上記のプログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。
【００４１】
そして、これら記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態の一例で、ページ切替え操作から資料のページ切替え時刻を検出する場合の実施形態例を示した概略図。
【図２】本発明の実施形態の一例で、資料のページ切替え時刻を画像処理によって検出する場合の実施形態例を示した概略図。
【図３】画像処理の範囲の一例を示した説明図。
【図４】画像処理の範囲の一例を示した説明図。
【図５】本発明の実施形態の一例で、音声処理を用いて資料のページ切替え時刻を検出する場合の実施形態例を示した概略図。
【図６】本発明の実施形態の一例で、予め定められた時刻をページ切替え時刻とする場合の実施形態例を示した概略図。
【図７】本発明の実施形態の一例で、ページ切替え操作から資料のページ切替え時刻を検出して資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図。
【図８】本発明の実施形態の一例で、画像処理を用いて資料のページ切替え時刻を検出して資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図。
【図９】画像処理を用いて資料のページ切替え時刻を検出して資料ページ毎の映像に分割して蓄積する場合の機能構成の一例を示す概略図。
【図１０】本発明の実施形態の一例で、音声処理を用いて資料のページ切替え時刻を検出して資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図。
【図１１】本発明の実施形態の一例で、予め定められた時刻をページ切替え時刻として資料ページ毎の映像に分割して蓄積する場合の実施形態例を示した概略図。
【図１２】画像処理または音声処理の遅延に対処するための一次記憶領域の構成と動作の説明図。
【図１３】本発明の実施形態例を示した概略図。
【符号の説明】
【００４３】
１…資料表示手段
２…外部出力装置
３…ページ切替え時刻検出手段、３１…ページ切替え操作検出手段、３２…画像処理手段、３３…音声処理手段、３４…音声取得手段、３５…時刻記録手段
４，４ａ，４ｂ…動画像取得手段
５…動画像撮像装置
６…動画像蓄積制御手段
７…動画像蓄積手段、７０…記憶媒体
１３１…資料表示用コンピュータ、１３２…動画像取得用コンピュータ、１３３…動画像蓄積用コンピュータ
【図１】
2005197878.tif 000003
【図２】
2005197878.tif 000004
【図３】
2005197878.tif 000005
【図４】
2005197878.tif 000006
【図５】
2005197878.tif 000007
【図６】
2005197878.tif 000008
【図７】
2005197878.tif 000009
【図８】
2005197878.tif 000010
【図９】
2005197878.tif 000011
【図１０】
2005197878.tif 000012
【図１１】
2005197878.tif 000013
【図１２】
2005197878.tif 000014
【図１３】
2005197878.tif 000015