(57)【要約】【課題】映像中に含まれている抽出静止画像の枚数が多少、多くても、ユーザがその映像の概略を把握することが容易であり、また、一覧性を損ねることがない映像要約装置を提供することを目的とするものである。【解決手段】映像と音声とによって構成されているディジタルコンテンツを入力し、この入力された上記ディジタルコンテンツを、複数の区間に分割し、上記分割した区間を記憶し、この記憶している各区間について、重要度を付与し、上記各区間から、当該区間の代表画像として静止画像を生成し、この生成した静止画像を記憶し、上記付与した重要度に応じて、上記静止画像の強調度を変化させ、この変化させた強調度に応じた静止画像を、一覧表示する映像要約装置である。【選択図】  図１
2004320659.tif 000002
【特許請求の範囲】
【請求項１】
映像と音声とによって構成されているディジタルコンテンツを入力する入力手段と；
上記ディジタルコンテンツを、複数の区間に分割する分割手段と；
上記分割手段が分割した区間を記憶する区間記憶手段と；
上記区間記憶手段が記憶している各区間について、重要度を付与する重要度付与手段と；
上記分割手段が分割した各区間から、当該区間の代表画像として静止画像を生成する静止画像生成手段と；
上記静止画像生成手段が生成した静止画像を記憶する静止画像記憶手段と；
上記重要度付与手段が付与した重要度に応じて、上記静止画像記憶手段に記憶されている静止画像の強調度を変化させる強調度変化手段と；
上記強調度変化手段が変化させた強調度に応じた静止画像を、一覧表示する出力手段と；を有することを特徴とする映像要約装置。
【請求項２】
請求項１において、
上記強調度変化手段は、強調度を変化させたい静止画像について、表示すべき大きさ、輝度、着色状態、点滅状態、表示位置、表示の有無の少なくとも１つを、上記各区間の重要度に応じて変化させる手段であることを特徴とする映像要約装置。
【請求項３】
映像と音声とによって構成されているディジタルコンテンツを入力する入力段階と；
上記ディジタルコンテンツを、複数の区間に分割する分割段階と；
上記分割段階で分割した区間を記憶する区間記憶段階と；
上記区間記憶段階で記憶した各区間について、重要度を付与する重要度付与段階と；
上記分割段階で分割した各区間から、当該区間の代表画像として静止画像を生成する静止画像生成段階と；
上記静止画像生成段階で生成された静止画像を記憶する静止画像記憶段階と；上記重要度付与段階で付与された重要度に応じて、上記静止画像記憶段階で記憶した静止画像の強調度を変化させる強調度変化段階と；
上記強調度変化段階で変化された強調度に応じた静止画像を、一覧表示する出力段階と；を有することを特徴とする映像要約方法。
【請求項４】
請求項３において、
上記強調度変化段階は、強調度を変化させたい静止画像について、表示すべき大きさ、輝度、着色状態、点滅状態、表示位置、表示の有無の少なくとも１つを、上記各区間の重要度に応じて変化させる段階であることを特徴とする映像要約方法。
【請求項５】
映像と音声とによって構成されているディジタルコンテンツを入力する入力手順と；
上記ディジタルコンテンツを、複数の区間に分割する分割手順と；
上記分割手順で分割した区間を、区間記憶手段に記憶する区間記憶手順と；
上記区間記憶手順で記憶した各区間について、重要度を付与する重要度付与手順と；
上記分割手順で分割した各区間から、当該区間の代表画像として静止画像を生成する静止画像生成手順と；
上記静止画像生成手順で生成された静止画像を、静止画像記憶手段に記憶する静止画像記憶手順と；
上記重要度付与手順で付与された重要度に応じて、上記静止画像記憶手順で記憶した静止画像の強調度を変化させる強調度変化手順と；
上記強調度変化手順で変化された強調度に応じた静止画像を、出力手段に一覧表示する出力手順と；をコンピュータに実行させるプログラム。
【請求項６】
請求項５において、
上記強調度変化手順は、強調度を変化させたい静止画像について、表示すべき大きさ、輝度、着色状態、点滅状態、表示位置、表示の有無の少なくとも１つを、上記各区間の重要度に応じて変化させる手順であることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像を静止画像表示する映像ブラウジング装置に関する。
【０００２】
【従来の技術】
従来の一般的な映像ブラウジング装置は、映像中に含まれている静止画像を並べて一覧表示する装置である。
【０００３】
つまり、映像と音声とによって構成されているディジタルコンテンツを要約表示する場合、上記ディジタルコンテンツの区間毎に代表画像を定め、この定められた代表画像をアイコン等で縮小し、これら縮小された複数のアイコンを一覧表示し、これら一覧表示されている複数のアイコンの中から、所望のアイコンをクリックすることによって、このクリックされたアイコン（代表画像）に対応する区間の映像または音声を再生する方法が知られている（たとえば、特許文献１参照）。
【０００４】
したがって、上記従来例において、抽出静止画像の枚数が多くなれば、表示枚数が増え、ユーザによっては、その映像の概略を把握することが困難であるという欠点がある。
【０００５】
【特許文献１】
特開平１１−２１３０１１号公報
【０００６】
【発明が解決しようとする課題】
しかし、従来の映像ブラウジング装置では、映像中に含まれている静止画像をそのまま表示するので、抽出静止画像の枚数が多くなれば、表示枚数が増え、ユーザがその映像の概略を把握することが困難であるという問題がある。
【０００７】
また、上記従来例では、抽出静止画像の枚数が多くなれば、一画面に表示できない等、一覧性を損ねるという問題がある。
【０００８】
本発明は、映像中に含まれている抽出静止画像の枚数が多少、多くても、ユーザがその映像の概略を把握することが容易であり、また、一覧性を損ねることがない映像要約装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明は、映像と音声とによって構成されているディジタルコンテンツを入力し、この入力された上記ディジタルコンテンツを、複数の区間に分割し、上記分割した区間を記憶し、この記憶している各区間について、重要度を付与し、上記各区間から、当該区間の代表画像として静止画像を生成し、この生成した静止画像を記憶し、上記付与した重要度に応じて、上記静止画像の強調度を変化させ、この変化させた強調度に応じた静止画像を、一覧表示する映像要約装置である。
【００１０】
【発明の実施の形態および実施例】
図１は、本発明の第１の実施例である映像要約装置１００を示すブロック図である。
【００１１】
映像要約装置１００は、入力手段１０と、分割手段２０と、区間記憶手段３０と、重要度付与手段４０と、静止画像生成手段５０と、静止画像記憶手段６０と、強調度変化手段７０と、出力手段８０とを有する。
【００１２】
入力手段１０は、映画等、映像と音声とによって構成されているディジタルコンテンツを入力する手段である。
【００１３】
分割手段２０は、映像と音声とによって構成されているディジタルコンテンツを複数の区間に分割する手段である。上記「区間」は、ディジタルコンテンツのうちで、所定の時刻から別の時刻までの内容であり、画像と音声とが組み合わされた１つの塊である。
【００１４】
ディジタルコンテンツを分割して複数の区間を作る場合、シーンが急に変化し、しかも、上記シーンが急に変化する前後における画像の輝度の差が所定の閾値以上であれば、これを分割境界とする。
【００１５】
映像に付随する音声の音圧が、所定の閾値以下である状態が所定の時間以上継続すると、この継続した時間を無音部と認識し、この無音部中の所定の時点（たとえば、その中間）を分割境界とする。
【００１６】
区間記憶手段３０は、分割手段３０が分割した区間を記憶する。
【００１７】
重要度付与手段４０は、区間記憶手段３０が記憶している各区間について、重要度を算出し、この算出された重要度を記憶手段３０に記憶する。重要度を算出する場合、たとえば、重要度と結束度とを利用した単語抽出装置を使用するようにしてもよい。
【００１８】
つまり、上記重要度と結束度とを利用した単語抽出装置は、所定の入力文書から文書内単語を抽出し、この抽出された文書内単語を、単語リストに記憶する単語抽出部を設け、上記単語リスト中の各単語に、重要度を付与する重要度付与部を設け、上記単語リスト中の所定の単語と他の単語との結束度を、上記所定の単語に付与する結束度付与部を設け、上記重要度と上記結束度とが付加されている単語リストを出力する単語リスト出力部を設けた単語抽出装置である。
【００１９】
なお、上記重要度を計算する場合、たとえば、ｔｆ・ｉｄｆ等を利用するようにしていもよい。上記結束度付与部は、上記単語リスト記憶装置内の各単語について、結束度を付与する。結束度を計算する場合、たとえば、別コーパスから算出した単語共起ベクトルの距離や、別コーパスから算出した単語間の相互情報量等を利用するようにしてもよい。上記重要度と結束度とを利用すれば、誤認識語が混入される割合が低くなる。
【００２０】
また、区間毎の音声を、音声認識部が音声認識し、テキスト情報を取得し、この取得したテキスト情報に基づいて、区間毎に、上記単語抽出装置によって、重要度を算出する。
【００２１】
ここで、上記単語抽出装置における「文書」、は、上記実施例における「ディジタルコンテンツ全体の音声情報を認識して得られたテキスト」であり、その他、処理に必要なテーブル等のデータベースを設ける必要がある。
【００２２】
静止画像生成手段５０は、分割手段２０が分割した各区間から、当該区間の代表画像として静止画像を抽出し、生成する手段である。
【００２３】
静止画像記憶手段６０は、静止画像生成手段５０が生成した静止画像を記憶する。
【００２４】
強調度変化手段７０は、重要度付与手段４０が付与した重要度に応じて、静止画像記憶手段６０に記憶されている静止画像の強調度を変化させ、この変化された強調度に応じた静止画像を、静止画像記憶手段６０に記憶する。
【００２５】
上記「静止画像の強調度を変化させる」は、たとえば、静止画像を表示する大きさを、重要度に応じて変化させることであり、また、静止画像の明るさ（輝度）を、重要度に応じて変化させることである。さらに、重要度の高い静止画像を、点滅するようにしてもよく、他の静止画像から離れた位置に表示するようにしてもよく、枠囲いするようにしてもよい。また、重要度の高いものだけを表示し、それ以外のものを表示しないようにしてもよい。
【００２６】
つまり、強調度変化手段７０は、強調度を変化させたい静止画像について、表示すべき大きさ、輝度、着色状態、点滅状態、表示位置、表示の有無の少なくとも１つを、上記静止画像の重要度に応じて変化させる手段である。
【００２７】
出力手段８０は、強調度が変化された静止画像を、一覧表示する手段である。
【００２８】
次に、上記実施例の動作について説明する。
【００２９】
図２は、上記実施例の動作を示すフローチャートである。
【００３０】
図３は、上記実施例において、入力手段１０が入力した画像を、静止画像で表現した例を示す図である。
【００３１】
まず、映像と音声とによって構成されているディジタルコンテンツを入力する（Ｓ１）。上記ディジタルコンテンツを、複数の区間に分割する（Ｓ２）。
【００３２】
図４は、上記実施例において、区間記憶手段３０が記憶している記憶内容を示す図である。
【００３３】
そして、区間記憶手段３０が、分割番号と、映像範囲と、重要度とを記憶する（Ｓ３）。
【００３４】
上記「分割番号」は、分割された画像のそれぞれに付与される番号であり、上記「映像範囲」は、所定時刻からの経過時間帯を示すものであり、上記「重要度」は、分割された画像の重要度を示すものである。
【００３５】
次に、重要度付与手段４０が、分割された各区間について重要度を付与し（Ｓ４）、この付与された重要度を、図４に示す重要度項に記憶する（Ｓ５）。ここでは、重要度付与手段４０が、図４に示す重要度を付与する。
【００３６】
図５は、上記実施例において、静止画像記憶手段６０が記憶する分割番号と、静止画像と、強調度が変化された静止画像とを示す図である。
【００３７】
そして、分割した各区間から、静止画像生成手段５０が、当該区間の代表画像として静止画像を生成する（Ｓ６）、図５に示す静止画像の項に記憶する。
【００３８】
次に、強調度変化手段７０が、図４に示す重要度に応じて、図５に示す一連の静止画像の強調度を変化させる（Ｓ７）。
【００３９】
静止画像を強調表表示し、または、代表画面としての静止画像の全体または一部の輝度を高くする。
【００４０】
たとえば、重要度≧閾値λであれば、重要度が高いので、画像を大きくして表示し、重要度＜閾値λであれば、重要度が低いので、画像を小さくして表示する等のような重要度変化規則を設定し、閾値λ＝５０であるとすれば、図５に示すように、分割番号２５０と３００との静止画像のみを大きくするように変化させ、その他の画像を小さくする（Ｓ８）。
【００４１】
このように変化させた結果が、図５に示す最も右の項に記載されている「強調度が変化された静止画像」である。
【００４２】
図６は、上記実施例において、静止画像のうちで、重要度が高い静止画像を、大きくし、実際に表示した場合の例を示す図である。
【００４３】
そして、出力手段８０が、図５に示す画像を一覧表示し、図６に示すように表示する（Ｓ９）。
【００４４】
また、重要度≧閾値λであれば、その画像を明るくし、重要度＜閾値λであれば、暗くするような重要度変化規則を設定するようにしてもよい。
【００４５】
図７は、上記実施例において、静止画像のうちで、重要度が高い静止画像の輝度を、他の静止画像の輝度よりも高くして表示している例を示す図である。
【００４６】
この場合、λ＝５０とすれば、分割番号２５０と３００との静止画像のみを明るく変化させ、その他の画像を暗く変化させる。この場合、出力手段８０は、図７に示す結果を表示する。
【００４７】
また、上記実施例において、重要度が最大である静止画像を表示し、他の静止画像を表示しないような重要度変化規則を設定するようにしてもよく、この場合、出力手段８０は、分割番号２５０、３００の静止画像のみを表示する。
【００４８】
上記実施例によれば、重要な静止画像のみを強調表示することができる。
【００４９】
また、各処理ステップの動作が、コンピュータのＣＰＵ等の制御手段によって実行され、各処理ステップにおける入出力信号が、記憶され、処理中途の信号は、一時記憶用のバッファに記憶され、ステップＳ１で入力されたデータ（映像と音声のディジタルコンテンツ）を記憶し、最終ステップで出力されるデータ（各区間の代表画像とその表示パラメータ（大きさまたは強度））を記憶する。
【００５０】
すなわち、上記実施例をプログラムの発明として把握することができる。
【００５１】
つまり、上記実施例は、映像と音声とによって構成されているディジタルコンテンツを入力する入力手順と、上記ディジタルコンテンツを、複数の区間に分割する分割手順と、上記分割手順で分割した区間を、区間記憶手段に記憶する区間記憶手順と、上記区間記憶手順で記憶した各区間について、重要度を付与する重要度付与手順と、上記分割手順で分割した各区間から、当該区間の代表画像として静止画像を生成する静止画像生成手順と、上記静止画像生成手順で生成された静止画像を、静止画像記憶手段に記憶する静止画像記憶手順と、上記重要度付与手順で付与された重要度に応じて、上記静止画像記憶手順で記憶した静止画像の強調度を変化させる強調度変化手順と、上記強調度変化手順で変化された強調度に応じた静止画像を、出力手段に一覧表示する出力手順とをコンピュータに実行させるプログラムの例である。
【００５２】
この場合、上記強調度変化手順は、強調度を変化させたい静止画像について、表示すべき大きさ、輝度、着色状態、点滅状態、表示位置、表示の有無の少なくとも１つを、上記静止画像の重要度に応じて変化させる手順である。
【００５３】
外部記憶手段や通信回線から、上記プログラムをインストールし、上記実施例をコンピュータに実行させるようにしていもよい。
【００５４】
また、上記プログラムを、ＦＤ、ＣＤ、ＤＶＤ、ＨＤ、半導体メモリ等の記録媒体に記録するようにしてもよい。
【００５５】
上記実施例によれば、各映像区間の重要度に応じて静止画像の強調度を変化させることによって、重要な静止画像を強調表示することができ、また、各分割された静止画像の重要度に応じて、重要な静止画像を選択的に表示することができ、したっがって、映像中に含まれている抽出静止画像の枚数が多少、多くても、ユーザがその映像の概略を把握することが容易であり、また、一覧性を損ねることがない。
【００５６】
【発明の効果】
本発明によれば、映像中に含まれている抽出静止画像の枚数が多少、多くても、ユーザがその映像の概略を把握することが容易であり、また、一覧性を損ねることがないという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施例である映像要約装置１００を示すブロック図である。
【図２】上記実施例の動作を示すフローチャートである。
【図３】上記実施例において、入力手段１０が入力した画像を、静止画像で表現した例を示す図である。
【図４】上記実施例において、区間記憶手段３０が記憶している記憶内容を示す図である。
【図５】上記実施例において、静止画像記憶手段６０が記憶する分割番号と、静止画像と、強調度が変化された静止画像とを示す図である。
【図６】上記実施例において、静止画像のうちで、重要度が高い静止画像を、大きくして表示している例を示す図である。
【図７】上記実施例において、静止画像のうちで、重要度が高い静止画像の輝度を、他の静止画像の輝度よりも高くして表示している例を示す図である。
【符号の説明】
１００…映像要約装置、
１０…入力手段、
２０…分割手段、
３０…区間記憶手段、
４０…重要度付与手段、
５０…静止画像生成手段、
６０…静止画像記憶手段、
７０…強調度変化手段、
８０…出力手段。
【図１】
2004320659.tif 000003
【図２】
2004320659.tif 000004
【図３】
2004320659.tif 000005
【図４】
2004320659.tif 000006
【図５】
2004320659.tif 000007
【図６】
2004320659.tif 000008
【図７】
2004320659.tif 000009