(57)【特許請求の範囲】
【請求項１】
入力された映像から複数の編集カット点を検出する編集カット点検出手段と、前記複数の編集カット点から隣接する編集カット点を抽出し、前記隣接する編集カット点間の時間長である編集カット長を測定する編集カット長測定手段と、測定した前記編集カット長と所定の編集カット長とを比較し、比較した結果に基づいて前記隣接する編集カット点の一方を間引く処理もしくは前記隣接する編集カット点間に新たな編集カット点を追加する処理をすることで有効編集カット点を決定する有効編集カット点決定手段と、前記有効編集カット点から所定時間長の前記映像で構成される要約映像を生成する要約映像生成手段と、前記要約映像を用いてダイジェスト映像を生成するダイジェスト映像生成手段と、を具備したことを特徴とするダイジェスト映像生成装置。
【請求項２】
前記有効編集カット点決定手段は、前記測定した編集カット長が前記所定の編集カット長より短い場合は前記間引く処理をすることを特徴とする請求項１記載のダイジェスト映像生成装置。
【請求項３】
前記所定の編集カット長は、前記要約映像を生成する際に用いる前記所定時間長以下の長さであることを特徴とする請求項２に記載のダイジェスト映像生成装置。
【請求項４】
前記有効編集カット点決定手段は、前記測定した編集カット長が前記所定の編集カット長より長い場合は前記追加する処理をすることを特徴とする請求項１に記載のダイジェスト映像生成装置。
【請求項５】
前記追加する処理は、前記隣接する編集カット点間であって、前記隣接する編集カット点の一方の編集カット点に対してのずれが前記所定の編集カット長以内である位置に新たな編集カット点を追加する処理であることを特徴とする請求項４記載のダイジェスト映像生成装置。
【請求項６】
前記所定の編集カット長は最短カット長および最長カット長からなり、有効編集カット点決定手段は前記測定した編集カット長が前記最短カット長より短い場合は前記間引く処理を行い、前記測定した編集カット長が前記最長カット長より長い場合は前記追加する処理を行うことを特徴とする請求項１記載のダイジェスト映像生成装置。
【請求項７】
請求項１から請求項６のいずれかに記載のダイジェスト映像生成装置で生成したダイジェスト映像を用いて映像検索を行うことを特徴とする映像検索装置。
【請求項８】
入力された映像から複数の編集カット点を検出する工程と、前記複数の編集カット点から隣接する編集カット点を抽出し、前記隣接する編集カット点間の時間長である編集カット長を測定する工程と、測定した前記編集カット長と所定の編集カット長とを比較し、比較した結果に基づいて前記隣接する編集カット点の一方を間引く処理もしくは前記隣接する編集カット点間に新たな編集カット点を追加する処理をすることで有効編集カット点を決定する工程と、前記有効編集カット点から所定時間長の前記映像で構成される要約映像を生成する工程と、前記要約映像を用いてダイジェスト映像を生成する工程と、を具備したことを特徴とするダイジェスト映像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、編集カット点を用いて映像検索を行うためのダイジェスト映像を生成するダイジェスト映像生成装置に関する。
【０００２】
【従来の技術】
従来より、大容量の映像をすべてみることなく短時間で映像の内容を確認するために、映像に対するダイジェスト映像を生成し、これを閲覧することで映像の内容を確認することが行われている。
【０００３】
このダイジェスト映像を生成する場合には、まず、映像登録の際にその映像に含まれる場面の切れ目（以下、編集カット点）を検出する。次に、この編集カット点から数秒間の映像で構成される要約映像を生成する。そして、この要約映像をつなぎ合わせることで、ダイジェスト映像を生成している。
【０００４】
また、編集カット点は、フレーム間の特徴量の変化を調べることで検索される。特徴量としては、輝度、色差、動きベクトルなどが使用されている。
【０００５】
しかし、原映像に対して欠落を減らしたダイジェスト映像を生成するためには、要約映像を多くしなくてはならず、これに伴って編集カット点も多くしなくてはならない。よって、原映像に対してダイジェスト映像の映像圧縮が充分に出来ない。
【０００６】
また、ダイジェスト映像の冗長を減らし、映像圧縮効果を高めようとして編集カット点を減らすと、要約映像の数が充分なものにならず、原映像の情報がダイジェスト映像から欠落するという問題がある。
【０００７】
そこで、近年、映像圧縮が充分であり、かつ欠落が少ないダイジェスト映像を作る方法が提案なされている。例えば、この方法としては、特開２０００−１７５１４９号公報に開示されたものがある。以下、この方法について、図６を用いて説明する。図６は、従来の要約映像生成方法を説明するための図である。
【０００８】
まず、元画像６０１に対する複数の編集カット点６０２ａ〜６０２ｄを検出する。次に、検出したある編集カット点６０２ａ〜６０２ｄとの特徴量の差分が所定の差分より大きくなったフレームを検出し、このフレームを間引きカット点６０３ａ〜６０３ｆとする。次に、このようにして検出された、編集カット点６０２ａ〜６０２ｄおよび間引きカット点６０３ａ〜６０３ｆの夫々に対する一定時間の映像である要約映像６０４ａ〜６０４ｋを生成する。
【０００９】
次に、要約映像６０４ａ〜６０４ｋの動き量を算出し、この動き量がある閾値より少ないものを動きなしとして判定する。そして、この動きなしと判定された要約映像６０４ｄ、６０４ｋに対しては、編集カット点６０２ａおよび間引きカット点６０３ｆにおけるカット画像６０５ｄ、６０５ｋと、要約映像の時間幅のみを表現するようにしている。そして、要約映像６０４ａ〜６０４ｃ、６０４ｅ〜６０４ｊ、およびカット画像６０５ｄ、６０５ｋをつなぎ合わせたダイジェスト映像を生成する。
【００１０】
このように間引きカット点６０３ａ〜６０３ｆを検出することにより原映像に対して欠落を減らしたダイジェスト映像が出来、かつ動きなしと判定された要約映像６０４ｄ、６０４ｋに対してはカット画像６０５ｄ、６０５ｋのみをダイジェスト映像に使用することで、映像圧縮効果も高めている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記方法は、映像に動きベクトルなどの特徴量の変化が多い場合にしか、間引きカット点６０３ａ〜６０３ｆを生成しない。よって、講演会やスポーツ番組などの特徴量の変化が少ない、つまり同じシーンが頻繁に出現する映像に対しては、間引きカット点６０３ａ〜６０３ｆを生成しない。このため、特徴量の変化の少ない映像に対しては充分に要約映像を生成できず、ダイジェスト映像に欠落が多くなる。よって、このダイジェスト映像を使用しても、適切に映像検索が出来ないという問題がある。
【００１２】
また、上記方法では、要約映像６０４ａ〜６０４ｋに動きの変化が少ない多い場合に、カット画像６０５ｄ、６０５ｋのみを表示することで、映像圧縮効果を高めている。よって、講演会やスポーツ番組などの特徴量の変化が少ない映像に対しては、カット画像になる要約映像６０４ａ〜６０４ｋが多くなる。この結果、ダイジェスト映像の情報に欠落が多くなり、適切に映像検索が出来ないという問題もある。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、入力された映像の特徴量変化の大小に関わらず、冗長や情報の欠落のないダイジェスト映像を生成するダイジェスト映像生成装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、上述した目的を達成するために、入力映像から検出した編集カット点間の時間長と所定の時間長とを比較し、この比較した結果に基づいて検出した編集カット点から所定の編集カット点を間引く処理もしくは検出した編集カット点に新たな編集カット点を追加する処理をすることでダイジェスト映像を生成するのに使用する有効編集カット点を決定するようにしたものである。
【００１５】
これにより、特徴量以外の値である、検出した編集カット点間の時間長に基づいて、検出した編集カット点の間引きや、新たな編集カット点の追加をできる。この結果、入力された映像の特徴量変化の大小に関わらず、適切に編集カット点編集カット点の間引きや、新たな編集カット点の追加ができる。よって、入力された映像の特徴量変化の大小に関わらず、冗長や欠落の少ない、つまり確実に映像検索ができるダイジェスト映像を生成できる。
【００１６】
【発明の実施の形態】
本発明の第１の態様にかかるダイジェスト映像生成装置は、入力された映像から複数の編集カット点を検出する編集カット点検出手段と、前記複数の編集カット点から隣接する編集カット点を抽出し、前記隣接する編集カット点間の時間長である編集カット長を測定する編集カット長測定手段と、測定した前記編集カット長と所定の編集カット長とを比較し、比較した結果に基づいて前記隣接する編集カット点の一方を間引く処理もしくは前記隣接する編集カット点間に新たな編集カット点を追加する処理をすることで有効編集カット点を決定する有効編集カット点決定手段と、前記有効編集カット点から所定時間長の前記映像で構成される要約映像を生成する要約映像生成手段と、前記要約映像を用いてダイジェスト映像を生成するダイジェスト映像生成手段と、を具備した構成を採る。
【００１７】
この構成により、特徴量に依存しない時間長である所定の編集カット長を用いて、従来の方法と同様の方法で検索した編集カット点に対して間引く処理もしくは新たな編集カット点を追加する処理をできる。これにより、入力された映像の特徴量変化の大小に関わらず、必要以上に編集カット点が増えることの防止、もしくは必要な情報が欠落しないダイジェスト映像を生成するのに最低限必要な有効編集カット点を有することができる。そして、この有効編集カット点から生成した要約映像をつなぎ合わせることで、冗長することなく、かつ情報の欠落の極力抑えられたダイジェスト映像を生成できる。
【００１８】
本発明の第２の態様は、第１の態様にかかるダイジェスト映像生成装置において、前記有効編集カット点決定手段は、前記測定した編集カット長が前記所定の編集カット長より短い場合は前記間引く処理をする構成を採る。
【００１９】
この構成により、測定した編集カット長が所定の編集カット長より短い場合は、従来の方法と同様の方法で検索した複数の編集カット点に対し間引き処理を行える。これにより、必要以上に編集カット点が増えることが防止できるので、ダイジェスト映像が冗長することが防止できる。
【００２０】
本発明の第３の態様は、第２の態様にかかるダイジェスト映像生成装置において、前記所定の編集カット長は、前記要約映像を生成する際に用いる前記所定時間長以下の長さであるという構成を採る。
【００２１】
このように、所定の編集カット長を、ダイジェスト映像を生成する際つなぎ合わせる要約映像の長さ以下にすることで、この有効編集カット点に基づいて生成した複数の要約映像に重複する部分が生じることを防止できる。
【００２２】
本発明の第４の態様は、第１の態様にかかるダイジェスト映像生成装置において、前記有効編集カット点決定手段は、前記測定した編集カット長が前記所定の編集カット長より長い場合は前記追加する処理をする構成を採る。
【００２３】
この構成により、測定した編集カット長が所定の編集カット長より長い場合は、従来の方法と同様の方法で検索した複数の編集カット点に新たに編集カット点を追加することができる。これにより、入力された映像の特徴量変化の大小に関わらず、必要な情報が欠落しないダイジェスト映像を生成するのに最低限必要な有効編集カット点を有することができる。そして新たな編集カット点を追加した有効編集カット点から生成した要約映像をつなぎ合わせることで、情報の欠落の極力抑えられたダイジェスト映像を生成できる。
【００２４】
本発明の第５の態様は、第４の態様にかかるダイジェスト映像生成装置において、前記追加する処理は、前記隣接する編集カット点間であって、前記隣接する編集カット点の一方の編集カット点に対してのずれが前記所定の編集カット長以内である位置に新たな編集カット点を追加する処理であるという構成を採る。
【００２５】
この構成により、編集カット点と追加した新たな編集カット点との間の時間を確実に所定の編集カット長以内にすることができる。これにより、有効編集カット点間の長さを所定の編集カット長以内にできる。よって、有効編集カット点から生成した要約映像をつなぎ合わせることで、情報の欠落の極力抑えられたダイジェスト映像を確実に生成できる。
【００２６】
本発明の第６の態様は、第１の態様にかかるダイジェスト映像生成装置において、前記所定の編集カット長は最短カット長および最長カット長からなり、有効編集カット点決定手段は前記測定した編集カット長が前記最短カット長より短い場合は前記間引く処理を行い、前記測定した編集カット長が前記最長カット長より長い場合は前記追加する処理を行う形態を採る。
【００２７】
この構成により、すべての編集カット長を最短カット長と最長カット長の間に設定できる。この結果、入力された映像の特徴量変化の大小に関わらず、冗長や欠落の少ない、つまり確実に映像検索ができるダイジェスト映像を生成できる。
【００２８】
本発明の第７の態様は、第１の態様から第６の態様のいずれかに記載のダイジェスト映像生成装置で生成したダイジェスト映像を用いて映像検索を行う映像検索装置である。
【００２９】
このように、冗長や情報の欠落の少ないダイジェスト映像を用いて映像検索を行うことで、効率的にかつ確実に映像検索が行える。
【００３０】
本発明の第８の態様は、入力された映像から複数の編集カット点を検出する工程と、前記複数の編集カット点から隣接する編集カット点を抽出し、前記隣接する編集カット点間の時間長である編集カット長を測定する工程と、測定した前記編集カット長と所定の編集カット長とを比較し、比較した結果に基づいて前記隣接する編集カット点の一方を間引く処理もしくは前記隣接する編集カット点間に新たな編集カット点を追加する処理をすることで有効編集カット点を決定する工程と、前記有効編集カット点から所定時間長の前記映像で構成される要約映像を生成する工程と、前記要約映像を用いてダイジェスト映像を生成する工程と、を具備したことを特徴とするダイジェスト映像生成方法である。
【００３１】
以下、本発明の一実施の形態にかかるダイジェスト映像生成装置を用いた映像検索装置について添付図面を用いて説明する。まず、上記実施の形態にかかる映像検索装置に構成について図１を用いて説明する。図１は、上記実施の形態にかかる映像検索装置のハードウェアブロック図である。
【００３２】
映像検索装置１００には、入力された登録映像のダイジェスト映像を生成するダイジェスト映像生成装置１０１が設けられている。また、映像検索装置１００には、ダイジェスト映像生成装置１０１に対して検索情報を入力する検索情報入力部１５が設けられている。検索情報入力部１５は、キーボードなどの一般的な入力手段である。また、映像検索装置１００には、ダイジェスト映像生成装置１０１が生成したダイジェスト映像などの画像情報を可視表示する表示部１６が設けられている。
【００３３】
ダイジェスト映像生成装置１０１は、入力された登録映像情報から編集カット点を検出し、この編集カット点に基づいてダイジェスト映像を生成する。そして、ダイジェスト映像生成装置１０１が生成したダイジェスト映像は、表示部１６に表示される。
【００３４】
次に、ダイジェスト映像生成装置１０１の構成について説明する。ダイジェスト映像生成装置１０１には、入力された登録映像を蓄積する映像蓄積部２が設けられている。また、ダイジェスト映像生成装置１０１には、入力された登録映像を映像蓄積部２に蓄積する際に、蓄積する位置を割り当てる映像管理部１が設けられている。これにより、ダイジェスト映像生成装置１０１に大量に登録映像が入力されても、これらの登録映像が映像管理部１により指定された位置に整理して蓄積される。よって、映像蓄積部２はデータベースとして、大容量の映像が蓄積できる。
【００３５】
また、ダイジェスト映像生成装置１０１には、映像蓄積部２に蓄積される映像に対し編集カット点を検出する編集カット点検出部３が設けられている。編集カット点検出部３は、映像蓄積部２に蓄積される映像のフレーム間の特徴量変化を調べることで編集カット点を検索する。特徴量としては、輝度、色差、動きベクトル、ＤＣＴ係数の差分などが使用される。
【００３６】
ところで、編集カット点検出部３は、編集カット点を映像のフレーム間の特徴量の変化を調べることで検出するので、特徴量の変化が激しい映像に対しては多数の編集カット点が検出されることになる。このため、この編集カットを元に生成したダイジェスト映像は、映像圧縮が充分に行われない。一方、編集カット点検出部３は、講演会やスポーツ番組などの特徴量（動き）の変化が少ない動きの映像に対しては、充分な数の編集カット点を検出しない。このため、この編集カットを元に生成したダイジェスト映像が大変短いものになってしまうので情報の欠落が多くなり、映像の内容を理解するには難しくなる。
【００３７】
そこで、ダイジェスト映像生成装置１０１は、特徴量以外の値である、検出した編集カット点間の時間長に基づいて、編集カット点検出部３が検出した編集カット点の間引きや新たな編集カット点の追加をした有効編集カット点を生成している。具体的には、ダイジェスト映像生成装置１０１は、編集カット点検出部３が検出した編集カット点間の編集カット長が所定の時間長（編集カット長）より短ければこの編集カット点の一方を間引きし、検出した編集カット点間の編集カット長が所定の時間長（編集カット長）より長ければこれらの編集カット点間に新たな編集カット点を追加するようにして有効編集カット点を決定している。
【００３８】
以下、上述したような処理を行って有効編集カット点を決定する有効編集カット点決定手段について説明をする。
【００３９】
ダイジェスト映像生成装置１０１には、有効編集カット点決定手段として、編集カット長測定部４と、最短カット長記憶部５と、最長カット長記憶部６と、最短カット長比較部７と、最長カット長比較部８と、編集カット点間引き部９と、編集カット点追加部１０と、が設けられている。
【００４０】
編集カット長測定部４は、編集カット点検出部３が検出した隣り合う編集カット点間の時間の差分（以下、編集カット長という）を測定する。
【００４１】
最短カット長記憶部５は、予め設定した最短編集カット長（最短カット長）を記憶している。最短カット長とは、隣り合う編集カット点間の時間長がこれ以上短いと、編集カット点が多くなりすぎたり、要約映像間の間隔が狭くなってしまい、ダイジェスト映像が冗長になってしまうという値である。また、最短カット長としては、ダイジェスト映像を生成する際、つなぎ合わせる要約映像の長さ以下にすることが望ましい。これは、編集カット長が要約映像の長さ以下になると、この編集カット点に基づいて生成した要約映像に重複する部分が生じるからである。
【００４２】
最長カット長記憶部６は、予め設定した最長編集カット長（最長カット長）を記憶している。最長カット長とは、編集カット長がこれ以上長いと、編集カット点が少なくなりすぎたり、要約映像間の間隔が広くなりすぎて、ダイジェスト映像の欠落が大きくなってしまうという値である。
【００４３】
最短カット長比較部７は、編集カット長測定部４が測定した編集カット長と、最短カット長記憶部５に格納された最短カット長とを比較し、比較結果を編集カット点間引き部９に出力する。編集カット点間引き部９は、最短カット長比較部７からの比較結果が、編集カット長が最短カット長よりも短いことを示す場合、該当する編集カット点のうちの時間的に後に位置する編集カット点（間引きカット点）を削除する。また、編集カット点間引き部９は、最短カット長比較部７からの比較結果が、編集カット長が最短カット長よりも長いことを示す場合、該当する編集カット点を実際に要約映像を生成する際に使用する有効編集カット点として有効編集カット点記憶部１１に送る。
【００４４】
最長カット長比較部８は、編集カット長測定部４が測定した編集カット長と、最長カット長記憶部６に格納された最長カット長とを比較し、比較結果を編集カット点追加部１０に出力する。編集カット点追加部１０は、最長カット長比較部８からの比較結果が、編集カット長が最長カット長よりも長いことを示す場合、該当する編集カット長を構成する編集カット点のうちの時間的に前に位置する編集カット点に対して最長カット長分ずれた位置に新たな編集カット点（追加カット点）を追加する。そして、編集カット点追加部１０は、該当する編集カット長を構成する２つの編集カット点と追加した追加カット点とを有効編集カット点として有効編集カット点記憶部１１に送る。また、編集カット点追加部１０は、最長カット長比較部８からの比較結果が、編集カット長が最長カット長よりも短いことを示す場合、該当する編集カット長を構成する２つの編集カット点を有効編集カット点として有効編集カット点記憶部１１に送る。
【００４５】
このようにして、ダイジェスト映像生成装置１０１は、編集カット点間の時間長に基づいて、編集カット点検出部３が検出した編集カット点の間引きや新たな編集カット点の追加をし、有効編集カット点を決定する。
【００４６】
そして、有効編集カット点記憶部１１は、編集カット点間引き部９と編集カット追加部１０から送られてきた有効編集カット点を記憶する。また、有効編集カット点記憶部１１は、記憶した編集カット点の位置を映像管理部１に送る。これにより、映像管理部１が、有効編集カット点と、映像蓄積部２に格納した映像との対応付けができる。
【００４７】
そして、ダイジェスト映像生成装置１０１には、上述したように判定した有効編集カット点を用いて要約映像を生成する要約映像生成部１２が設けられている。要約映像生成部１２は、有効編集カット点記憶部１１に記憶された有効編集カット点から所定の時間分の映像を映像蓄積部２から抽出して要約画像を生成する。
【００４８】
また、ダイジェスト映像生成装置１０１には、要約映像生成部１２が生成した要約映像をつなぎ合わせてダイジェスト映像を生成するダイジェスト映像生成部１３が設けられている。ダイジェスト映像生成部１３は、生成したダイジェスト映像をダイジェスト映像蓄積部１４に蓄積する。
【００４９】
このようにして、ダイジェスト映像生成装置１０１は、入力された登録映像に対するダイジェスト映像を生成する。
【００５０】
次に、ダイジェスト映像生成装置１０１の編集カット点を間引く動作について図２を用いて説明する。図２は、上記実施の形態にかかるダイジェスト映像生成装置の編集カット点を間引く動作を説明する図である。
【００５１】
まず、ダイジェスト映像生成装置１０１に映像２０１が入力されると、ダイジェスト映像生成装置１０１は映像２０１を映像蓄積部２の映像管理部１が割り当てた蓄積位置に蓄積する。
【００５２】
次に、ダイジェスト映像生成装置１０１は、編集カット点検出部３を用いて、映像２０１に含まれる編集カット点２０２ａ〜２０２ｉを検出する。次に、編集カット点検出部３は、映像２０１に含まれる編集カット点２０２ａ〜２０２ｉから時系列の早い２つの編集カット点２０２ａ、２０２ｂを検出する。そして、ダイジェスト映像生成装置１０１は、編集カット長測定部４において、編集カット点２０２ａ、２０２ｂ間の時間長（編集カット長）２０４ａを測定する。
【００５３】
次に、ダイジェスト映像生成装置１０１は、最短カット長記憶部５を参照し、予め設定してある最短カット長２０３を検出する。なお、本実施の形態では、最短カット長２０３を要約映像の長さと同じ３秒にする。
【００５４】
そして、ダイジェスト映像生成装置１０１は、最短カット長比較部７において、最短カット長２０３と、編集カット長測定部４が測定した編集カット長２０４ａを比較する。そして、次に、ダイジェスト映像生成装置１０１は、編集カット点間引き部９において、最短カット長比較部７の比較結果を用いて、編集カット長２０４ａを構成している編集カット点２０２ａ、２０２ｂのうちの後に位置する編集カット点２０２ｂが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ａは最短カット長２０３よりも長いので、編集カット点２０２ｂは間引きカット点に該当しないと判断する。
【００５５】
次に、編集カット点検出部３が、映像２０１に含まれる編集カット点２０２ａ〜２０２ｉから編集カット点２０２ｂ、２０２ｃを検出する。そして、編集カット長測定部４が、編集カット点２０２ｂ、２０２ｃ間の時間長（編集カット長）２０４ｂを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長２０４ｂを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長２０４ｂを構成している編集カット点２０２ｂ、２０２ｃのうちの後に位置する編集カット点２０２ｃが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ｂが最短カット長２０３よりも短いので、編集カット点２０２ｃは間引きカット点に該当すると判断する。
【００５６】
ここで、編集カット点２０２ｃが間引きカット点２０５ａとして判断されたので、次に、ダイジェスト映像生成装置１０１は、編集カット点２０２ｃを削除した形で再度間引きカット点の検出処理に移行する。
【００５７】
編集カット長測定部４が、編集カット点２０２ｂ、２０２ｄ間の時間長（編集カット長）２０４ｃを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長２０４ｃを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長２０４ｃを構成している編集カット点２０２ｂ、２０２ｄのうちの後に位置する編集カット点２０２ｄが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ｃが最短カット長２０３よりも長いので、編集カット点２０２ｂは間引きカット点に該当しないと判断する。
【００５８】
また、仮に、編集カット点間引き部９が、編集カット長２０４ｃが最短カット長２０３よりも短いと判断すると、編集カット点２０２ｄは間引きカット点に該当すると判断する。
【００５９】
次に、編集カット長測定部４が、編集カット点２０２ｄ、２０２ｅ間の時間長（編集カット長）２０４ｄを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長２０４ｄを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長２０４ｄを構成している編集カット点２０２ｄ、２０２ｅのうちの後に位置する編集カット点２０２ｅが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ｄが最短カット長２０３よりも短いので、編集カット点２０２ｅは間引きカット点に該当すると判断する。
【００６０】
ここで、編集カット点２０２ｅは、間引きカット点２０５ｂとして判断されたので、次に、ダイジェスト映像生成装置１０１は、編集カット点２０２ｅを削除した形で再度間引きカット点の検出処理に移行する。
【００６１】
次に、編集カット点２０２ｄ、２０２ｆ間の時間長（編集カット長）２０４ｅを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長２０４ｅを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長２０４ｅを構成している編集カット点２０２ｄ、２０２ｆのうちの後に位置する編集カット点２０２ｆが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ｅが最短カット長２０３よりも長いので、編集カット点２０２ｆは間引きカット点に該当しないと判断する。
【００６２】
次に、編集カット長測定部４が、編集カット点２０２ｆ、２０２ｇ間の時間長（編集カット長）２０４ｆを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長２０４ｆを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長２０４ｆを構成している編集カット点２０２ｆ、２０２ｇのうちの後に位置する編集カット点２０２ｇが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ｇが最短カット長２０３よりも短いので、編集カット点２０２ｇは間引きカット点に該当すると判断する。
【００６３】
ここで、編集カット点２０２ｇは、間引きカット点２０５ｃとして判断されたので、次に、ダイジェスト映像生成装置１０１は、編集カット点２０２ｇを削除した形で再度間引きカット点の検出処理に移行する。
【００６４】
次に、編集カット長測定部４が、編集カット点２０２ｆ、２０２ｈ間の時間長（編集カット長）２０４ｇを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長２０４ｇを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長２０４ｇを構成している編集カット点２０２ｆ、２０２ｈのうちの後に位置する編集カット点２０２ｈが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ｇが最短カット長２０３よりも長いので、編集カット点２０２ｈは間引きカット点に該当しないと判断する。
【００６５】
次に、編集カット長測定部４が、編集カット点２０２ｈ、２０２ｉ間の時間長（編集カット長）２０４ｈを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長２０４ｈを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長２０４ｈを構成している編集カット点２０２ｈ、２０２ｉのうちの後に位置する編集カット点２０２ｉが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長２０４ｈが最短カット長２０３よりも長いので、編集カット点２０２ｉは間引きカット点に該当しないと判断する。
【００６６】
このようにして、ダイジェスト映像生成装置１０１は、特徴量に依存しない時間長である最短カット長２０３を用いて、複数の編集カット点２０２ａ〜２０２ｉから間引きカット点２０５ａ〜２０５ｃを検出することで、入力された映像の特徴量変化の大小に関わらず、必要以上に編集カット点２０２ａ〜２０２ｉが増えることが防止できる。
【００６７】
なお、上記実施の形態では、編集カット長と最短カット長とを比較し、編集カット長を構成している隣接する編集カット点のうちの後に位置する編集カット点を間引く形態で説明したが、隣接する編集カット点のうちの前に位置する編集カット点を間引く形態であっても良い。
【００６８】
次に、ダイジェスト映像生成装置１０１の編集カット点を追加する動作について図３を用いて説明する。図３は、上記実施の形態にかかるダイジェスト映像生成装置の編集カット点を追加する動作を説明する図である。
【００６９】
まず、ダイジェスト映像生成装置１０１に映像２０１が入力されると、ダイジェスト映像生成装置１０１は映像２０１を映像蓄積部２の映像管理部１が割り当てた蓄積位置に蓄積する。
【００７０】
次に、ダイジェスト映像生成装置１０１は、編集カット点検出部３を用いて、映像２０１に含まれる編集カット点２０２ａ〜２０２ｉを検出する。次に、ダイジェスト映像生成装置１０１は、編集カット長測定部４において、編集カット点２０２ａ〜２０２ｉ間の時間長（編集カット長）３０２ａ〜３０２ｊを時系列順に測定する。
【００７１】
次に、ダイジェスト映像生成装置１０１は、最長カット長記憶部６を参照し、予め設定してある最長カット長３０１を検出する。本実施例では、最長カット長を、必要最小限の情報が欠落しない映像間隔として６０秒を選択し、これを設定する。
【００７２】
そして、ダイジェスト映像生成装置１０１は、最長カット長比較部８において、最長カット長３０１と、編集カット長測定部４が測定した編集カット長３０２ａ〜３０２ｈを比較する。そして、次に、ダイジェスト映像生成装置１０１は、編集カット点追加部１０において、最短カット長比較部７の比較結果を用いて、編集カット長３０２ａ〜３０２ｈのうち長さが最長カット長３０１よりも長い編集カット長３０２ｅを検出する。
【００７３】
そして、編集カット点追加部１０は、編集カット長３０２ｅを形成する編集カット点２０２ｅ、２０２ｆ間であって、かつ編集カット点２０２ｅ、２０２ｆのうち時系列的に前に位置する編集カット点２０２ｅから最長カット長３０１だけ後の位置に追加カット点３０３を追加する。
【００７４】
これにより、編集カット点２０２ｅと追加カット点３０３との間の時間を確実に最長カット長にすることができる。
【００７５】
なお、追加カット点３０３の位置は、時系列的に前に位置する編集カット点２０２ｅからのずれが最長カット長３０１以内の位置であっても良い。また、追加カット点３０３の位置は、編集カット点２０２ｅ、２０２ｆのうち時系列的に後に位置する編集カット点２０２ｆから最長カット長３０１だけ前の位置であっても良い。
【００７６】
さらに、ダイジェスト映像生成装置１０１は、追加するカット点が追加カット点３０３だけで充分か調べるために、編集カット長測定部４を用いて、追加カット点３０３と編集カット点２０２ｆ間の編集カット長３０２ｉを測定する。そして、編集カット点追加部１０が、編集カット長３０２ｉと最長カット長３０１を比較し、編集カット長３０２ｉが最長カット長３０１より長いか判断する。この例では、編集カット長３０２ｉより最長カット長３０１のほうが長いので、新たに編集カット点の追加はしない。
【００７７】
さらに、ダイジェスト映像生成装置１０１は、最短カット長比較部７を用いて追加カット点３０３を追加したことにより生じた編集カット長３０２ｉと最短カット長２０３を比較する。そして、編集カット点間引き部９が、編集カット長３０２ｉが最短カット長２０３より短いか判断する。この例では、編集カット長３０２ｉが最短カット長２０３より長いので、編集カット点間引き部９は編集カット点２０２ｆを間引く処理はしない。
【００７８】
また、仮に、追加カット点３０３を追加したことにより生じた編集カット長３０２ｉが最短カット長２０３より短い場合は、編集カット点間引き部９は編集カット点２０２ｆを間引く処理をする。
【００７９】
このようにして、ダイジェスト映像生成装置１０１は、特徴量に依存しない時間長である最長カット長を用いて、複数の編集カット点２０２ａ〜２０２ｉに追加カット点３０３を追加することで、入力された映像の特徴量変化の大小に関わらず、必要な情報の欠落のないダイジェスト映像を生成するのに最低限必要な編集カット点２０２ａ〜２０２ｉを有することができる。
【００８０】
次に、ダイジェスト映像生成装置１０１が間引きおよび追加した編集カット点を用いてダイジェスト映像を生成する動作について図４を用いて説明する。図４は、上記実施の形態にかかるダイジェスト映像生成装置のダイジェスト映像生成動作を説明する図である。
【００８１】
まず、ダイジェスト映像生成装置１０１の編集カット点検出部３が、入力された映像２０１から複数の編集カット点２０２ａ〜２０２ｉを検出する。そして、編集カット間引き部９が、これらの編集カット点２０２ａ〜２０２ｉから間引きカット２０５ａ〜２０５ｃを検出する。さらに、編集カット追加部１０が追加編集カット点３０２を追加する。
【００８２】
そして、ダイジェスト映像生成装置１０１は、このようにして編集カット点２０２ａ〜２０２ｉに対して間引きおよび追加などした有効編集カット点４０１ａ〜４０１ｇを有効編集カット点記憶部１１に格納する。また、言い換えると、有効編集カット点４０１ａ〜４０１ｇ＝（編集カット点）−（間引きカット点）＋（追加カット点）となる。
【００８３】
次に、ダイジェスト映像生成装置１０１の要約映像生成部１２が、有効編集カット点４０１ａ〜４０１ｇから所定の時間、この形態では最短カット長２０３に合わせて３秒間の映像を、映像蓄積部２から抽出して、要約映像４０２ａ〜４０２ｇを生成する。そして、最後に、ダイジェスト映像生成部１３が、要約映像４０２ａ〜４０２ｇをつなぎ合わせることで、ダイジェスト映像４０３を生成する。
【００８４】
さらに、ダイジェスト映像生成装置１０１は、生成したダイジェスト映像４０３に検索情報入力部１５から入力されたキーワードなどの文字情報を付加する。
【００８５】
このように、従来の方法と同様の方法で検索した編集カット点２０２ａ〜２０２ｉに対して間引きおよび追加処理をすることで得た有効編集カット点４０１ａ〜４０１ｇを用いて生成した要約画像４０２ａ〜４０２ｇをつなぎ合わせせることで冗長が抑えられると共に情報の欠落の極力抑えられたダイジェスト映像４０３を生成できる。
【００８６】
なお、ダイジェスト映像４０３を用いて映像の検索を行う場合は、ユーザーの検索情報入力部１５からのキーワード入力に伴って、このキーワードに該当するダイジェスト映像を表示部１６に表示されるようにする。これにより、映像蓄積部２に蓄積された映像が多数あり、キーワードに該当するような映像が複数あるような大容量映像蓄積システムであっても、ユーザーが表示部１６を確認することで適切な映像を選択することができる。
【００８７】
以上説明したように、上記実施の形態によれば、特徴量に依存しない時間長である最短カット長２０３を用いて、従来の方法と同様の方法で検索した複数の編集カット点２０２ａ〜２０２ｉから間引きカット点２０５ａ〜２０５ｃを検出し間引くことで、入力された映像の特徴量変化の大小に関わらず、必要以上に編集カット点２０２ａ〜２０２ｉが増えることが防止できる。そして編集カット点２０２ａ〜２０２ｉから間引きカット点２０５ａ〜２０５ｃを間引いた有効編集カット点から生成した要約映像をつなぎ合わせることで、冗長が抑えられたダイジェスト映像４０３を生成できる。
【００８８】
また、上記実施の形態によれば、特徴量に依存しない時間長である最長カット長３０１を用いて追加カット点３０２を検出し、従来の方法と同様の方法で検索した複数の編集カット点２０２ａ〜２０２ｉに追加カット点３０２を追加することで、入力された映像の特徴量変化の大小に関わらず、必要な情報の欠落のないダイジェスト映像を生成するのに最低限必要な有効編集カット点を有することができる。そして追加カット点３０２を編集カット点２０２ａ〜２０２ｉに追加した有効編集カット点から生成した要約映像をつなぎ合わせることで、情報の欠落の極力抑えられたダイジェスト映像４０３を生成できる。
【００８９】
また、上記実施の形態によれば、従来の方法と同様の方法で検索した複数の編集カット点２０２ａ〜２０２ｉから間引きカット点２０５ａ〜２０５ｃを検出し間引き、かつ編集カット点２０２ａ〜２０２ｉに追加カット点３０２を追加することで、編集カット点２０２ａ〜２０２ｉ間の長さである編集カット長を最短カット長と最長カット長の間に設定できる。この結果、有効編集カット点の数、および有効編集カット点間の間隔が適切に決定されるので、入力された映像の特徴量変化の大小に関わらず、冗長や欠落の少ない、つまり確実に映像検索ができるダイジェスト映像を生成できる。
【００９０】
また、上記実施の形態によれば、上述したように生成したダイジェスト映像４０３を用いることで、効率的にかつ確実に映像検索をすることができる。
【００９１】
なお、上記実施の形態では、図２に示すように、段階的に間引きカット点２０５ａ〜２０５ｃを検出したが、図５に示すように一度に間引きカット点候補５０５ａ〜５０５ｄを検出し、その中から間引きカット点２０５ａ〜２０５ｃを検出する方法を用いても良い。以下、図５を用いて、上記実施の形態にかかるダイジェスト映像生成装置１０１の編集カット点を間引く動作のその他の例を説明する。
【００９２】
まず、ダイジェスト映像生成装置１０１は、編集カット点検出部３を用いて、映像２０１に含まれる編集カット点２０２ａ〜２０２ｉを検出する。次に、編集カット長測定部４が、編集カット点２０２ａ〜２０２ｉ間の時間長（編集カット長）５０４ａ〜５０４ｊを時系列順に測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長測定部４が測定した編集カット長５０４ａ〜５０４ｈを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長５０４ａ〜５０４ｈのうち長さが最短カット長２０３よりも短い編集カット長５０４ｂ〜５０４ｄ、５０４ｆを検出する。
【００９３】
そして、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長５０４ｂ〜５０４ｄ、５０４ｆを構成している編集カット点２０２ｂおよび２０２ｃ、２０２ｃおよび２０２ｄ、２０２ｄおよび２０２ｅ、２０２ｆおよび２０２ｇのうちの後に位置する編集カット点２０２ｃ〜２０２ｅ、２０２ｇを間引きカット候補点５０５ａ〜５０５ｄとする。
【００９４】
次に、ダイジェスト映像生成装置１０１は、間引きカット点候補点５０５ａ〜５０５ｄを全て間引きカット点として削除することが妥当か否か判断するために、間引きカット候補点５０５ａを削除した形で、再度間引きカット点の検出処理に移行する。
【００９５】
まず、編集カット長測定部４が、編集カット点２０２ｂ、２０２ｄ間の時間長（編集カット長）５０６ａを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長５０６ａを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長５０６ａを構成している編集カット点２０２ｂ、間引きカット候補点５０５ｂのうちの後に位置する間引きカット候補点５０５ｂが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長５０６ａが最短カット長２０３よりも長いので、編集カット点２０２ｂは間引きカット点に該当しないと判断する。そして、間引きカット候補点５０５ｂを追加編集カット点５０７として、間引きカット点から削除する。
【００９６】
また、仮に、編集カット点間引き部９が、編集カット長５０６ａが最短カット長２０３よりも短いと判断すると、間引きカット候補点５０５ｂを間引きカット点に該当すると判断する。
【００９７】
そして、さらに、ダイジェスト映像生成装置１０１は、間引きカット候補点５０５ｂを間引きカット候補点から削除した形で、再度間引きカット点の検出処理に移行する。
【００９８】
まず、編集カット長測定部４が、編集カット点２０２ｄ、２０２ｅ間の時間長（編集カット長）５０６ｂを測定する。そして、最短カット長比較部７が、最短カット長２０３と、編集カット長５０６ｂを比較する。そして、次に、編集カット点間引き部９が、最短カット長比較部７の比較結果を用いて、編集カット長５０６ｂを構成している編集カット点２０２ｄ、間引きカット候補点５０５ｃのうちの後に位置する間引きカット候補点５０５ｃが間引きカット点に該当するか判断する。この場合、編集カット点間引き部９は、編集カット長５０６ｂが最短カット長２０３よりも短いので、間引きカット候補点５０５ｃが間引きカット点に該当する判断する。そして、間引きカット候補点５０５ｃを間引きカット点２０５ａとして登録する。同様にして、間引きカット候補点５０５ｄを間引きカット点２０５ｃと判断する。このようにして、間引きカット点２０５ａ〜２０５ｃを検出する。
【００９９】
なお、上記実施の形態では、最短カット長２０３および最長カット長３０１という２つの時間長と実際に計測した編集カット長とを比較した結果に基づいて、編集カット点の間引き処理もしくは新たな編集カット点の追加処理をする形態で説明したが、最短カット長２０３もしくは最長カット長３０１のどちらか一方を実際に計測した編集カット長を比較する形態であっても良い。また、最短カット長２０３と最長カット長３０１という２つの時間長を使用せず、一つの時間長と実際に計測した編集カット長とを比較した結果に基づいて、編集カット点の間引き処理もしくは新たな編集カット点の追加処理をする形態であっても良い。
【０１００】
また、上記実施の形態では、映像管理部１、編集カット点検出部３、編集カット長測定部４、最短カット長比較部７、最長カット長比較部８、編集カット点間引き部９、編集カット点追加部１０、要約映像生成部１２、およびダイジェスト映像生成部１３を、別々の構成として説明したが、これらの動作をＣＰＵなどの処理装置に行わせるプログラムを生成し記憶媒体に格納し、ＣＰＵが記憶手段を参照することで、上記実施の形態と同じ動作を行うようにしても良い。
【０１０１】
また、上記実施の形態によれば、映像蓄積部２、最短カット長記憶部５、最長カット長記憶部６、有効編集カット点記憶部１１、およびダイジェスト映像蓄積部１４を別々の構成として説明したが、同一の記憶手段に構成しても良い。
【０１０２】
【発明の効果】
以上説明したように、本発明によれば、入力映像から検出した編集カット点間の時間長と所定の時間長とを比較し、比較した結果に基づいて検出した編集カット点から所定の編集カット点を間引く処理もしくは検出した編集カット点に新たな編集カット点を追加する処理をすることで、入力された映像の特徴量変化の大小に関わらず、冗長や情報の欠落のないダイジェスト映像が作成できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかる映像検索装置のハードウェアブロック図
【図２】上記実施の形態にかかるダイジェスト映像生成装置の編集カット点を間引く動作を説明する図
【図３】上記実施の形態にかかるダイジェスト映像生成装置の編集カット点を追加する動作を説明する図
【図４】上記実施の形態にかかるダイジェスト映像生成装置のダイジェスト映像生成動作を説明する図
【図５】上記実施の形態にかかるダイジェスト映像生成装置の編集カット点を間引く動作のその他の例を説明する図
【図６】従来の要約映像生成方法を説明するための図
【符号の説明】
１００  映像検索装置
１０１  ダイジェスト映像生成装置
１  映像蓄積部
２  映像蓄積部
３  編集カット点検出部
４  編集カット長測定部
５  最短カット長記憶部
６  最長カット長記憶部
７  最短カット長比較部
８  最長カット長比較部
９  編集カット点間引き部
１０  編集カット点追加部
１１  有効編集カット点記憶部
１２  要約映像生成部
１３  ダイジェスト映像生成部
１４  ダイジェスト映像蓄積部
１５  検索情報入力部
１６  表示部
２０２ａ〜２０２ｉ  編集カット点
２０３  最短カット長
３０１  最長カット長
４０１ａ〜４０１ｇ  有効編集カット点
４０２ａ〜４０３ｇ  要約映像
４０３  ダイジェスト映像
【図１】
0003787587.tif 000002
【図２】
0003787587.tif 000003
【図３】
0003787587.tif 000004
【図４】
0003787587.tif 000005
【図５】
0003787587.tif 000006
【図６】
0003787587.tif 000007