(57)【要約】【課題】映像から抽出される様々な複数の特徴量を組み合わせて，任意の時間に収めることができる映像の要約を生成する。【解決手段】特徴量抽出部１２は，要約対象の映像から複数の特徴量を抽出する。パラメータ入力部１３は，特徴量の各々に対する重みの値を含むダイジェスト映像生成に用いるパラメータを入力する。ダイジェスト映像生成部１４は，パラメータで指定された重みの値によって重み付けされた特徴量の和と閾値との比較によって，要約対象となる映像から特徴量の和が閾値以上となる映像区間を抽出し，抽出した映像区間をつなぎ合わせることによりダイジェスト映像を生成する。【選択図】図１
2012044390.tif 000002
【特許請求の範囲】
【請求項１】
要約対象となる映像から抽出した特徴量を用いてダイジェスト映像を生成する映像要約装置であって，
要約対象となる映像を記憶する映像記憶手段と，
前記映像記憶手段に記憶されている映像から所定の複数の特徴量を抽出する特徴量抽出手段と，
前記特徴量の各々に対する重みの値を含むダイジェスト映像生成に用いるパラメータを，入力装置から入力するパラメータ入力手段と，
前記パラメータで指定された重みの値によって重み付けされた特徴量の和と，ある閾値との比較によって，要約対象となる映像から前記特徴量の和が前記閾値以上となる映像区間を抽出し，抽出した映像区間をつなぎ合わせることによりダイジェスト映像を生成するダイジェスト映像生成手段とを備える
ことを特徴とする映像要約装置。
【請求項２】
請求項１記載の映像要約装置において，
前記パラメータ入力手段は，さらに前記パラメータの一つとして，生成するダイジェスト映像の映像時間を入力し，
前記ダイジェスト映像生成手段は，前記抽出した映像区間の合計時間が，前記パラメータとして入力した映像時間の長さと同じになるように閾値を変更して映像区間の抽出処理を繰り返すことにより，ダイジェスト映像に用いる映像区間を抽出する
ことを特徴とする映像要約装置。
【請求項３】
請求項１記載の映像要約装置において，
前記重み付けされた特徴量の和と比較する閾値は，前記パラメータ入力手段によって，前記パラメータの一つとして入力されたものである
ことを特徴とする映像要約装置。
【請求項４】
請求項１，請求項２または請求項３記載の映像要約装置において，
前記パラメータ入力手段は，さらに前記パラメータの一つとして，ダイジェスト映像として採用する連続する映像部分からなる映像区間の長さの下限値を指定するショット最短時間を入力し，
前記ダイジェスト映像生成手段は，前記特徴量の和が前記閾値以上となる映像区間の長さが，前記ショット最短時間より短い映像区間はダイジェスト映像の生成に用いない
ことを特徴とする映像要約装置。
【請求項５】
コンピュータを，請求項１から請求項４までのいずれか１項に記載の映像要約装置が備える前記映像記憶手段，前記特徴量抽出手段，前記パラメータ入力手段，および，前記ダイジェスト映像生成手段として，機能させるための映像要約プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，与えられた映像を要約したダイジェスト映像を生成する装置，特に，映像から抽出した複数の特徴量からダイジェスト映像を生成する映像要約装置に関するものである。
【背景技術】
【０００２】
映像を短い時間で視聴できるよう圧縮する技術は様々考案されている。特許文献１では，音声から映像中の盛り上がりを検出し，盛り上がった部分を繋げることで，任意の時間で映像を視聴する技術が考案されている。
【０００３】
また，特許文献２では，複数の特徴量を組み合わせて圧縮した結果を，任意の時間にまとめるために特徴量に応じて映像を早回しにする技術が考案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８０３３１１号公報
【特許文献２】特開２０１０−０３９８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に示されている音声処理方法では，音声特徴量を用いて任意の時間に圧縮を可能にしているが，画像特徴量などと組み合わせることは考慮されていない。
【０００６】
また，特許文献２に示されている要約コンテンツの生成では，様々な特徴量を同時に勘案することができるが，重要とされるシーンを抽出しても，指定の時間内に収まらない場合には，早回し再生することが前提となっている。
【０００７】
本発明は，映像から抽出される様々な複数の特徴量を組み合わせて，任意の時間に収めることができる映像の要約を生成することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は，上記課題を解決するため，要約対象となる映像から抽出した特徴量を用いてダイジェスト映像を生成する映像要約装置であって，要約対象となる映像を記憶する映像記憶手段と，前記映像記憶手段に記憶されている映像から所定の複数の特徴量を抽出する特徴量抽出手段と，前記特徴量の各々に対する重みの値を含むダイジェスト映像生成に用いるパラメータを，入力装置から入力するパラメータ入力手段と，前記パラメータで指定された重みの値によって重み付けされた特徴量の和と，ある閾値との比較によって，要約対象となる映像から前記特徴量の和が前記閾値以上となる映像区間を抽出し，抽出した映像区間をつなぎ合わせることによりダイジェスト映像を生成するダイジェスト映像生成手段とを備えることを特徴とする。
【０００９】
これにより，種々の特徴量の中から，ユーザが重要と考える特徴量を多く含むように組み合わされた部分映像（映像区間）からなるダイジェスト映像の生成が実現される。
【００１０】
さらに，本発明は，前記パラメータ入力手段が入力するパラメータの一つとして，生成するダイジェスト映像の映像時間を入力し，前記ダイジェスト映像生成手段は，前記抽出した映像区間の合計時間が，前記パラメータとして入力した映像時間の長さと同じになるように閾値を変更して映像区間の抽出処理を繰り返すことにより，ダイジェスト映像に用いる映像区間を抽出する。これにより，ユーザが指定した任意の時間のダイジェスト映像の生成が可能になる。
【００１１】
また，本発明は，重み付けされた特徴量の和と比較する閾値を，前記パラメータ入力手段によって，前記パラメータの一つとして入力することもできる。これにより，ユーザが望む特徴量の大きさ以上の特徴量が含まれる映像列からなるダイジェスト映像を生成することができる。
【００１２】
また，本発明は，前記パラメータ入力手段が入力するパラメータの一つとして，ダイジェスト映像として採用する連続する映像部分からなる映像区間の長さの下限値を指定するショット最短時間を入力し，前記ダイジェスト映像生成手段は，前記特徴量の和が前記閾値以上となる映像区間の長さが，前記ショット最短時間より短い映像区間はダイジェスト映像の生成に用いないようにする。これにより，短過ぎて何の映像かわからないような映像区間を排除したダイジェスト映像の生成が可能になる。
【発明の効果】
【００１３】
本発明によると，映像から抽出される様々な特徴量を自在に組み合わせてダイジェスト映像を自動的に生成することができる。また，ユーザが所望する長さの映像時間のダイジェスト映像またはユーザが所望する特徴量をある程度以上含むダイジェスト映像の生成が可能になる。また，ショットの最低時間を入力することで，複数の特徴量を組み合わせても短いショットの組み合わせになってしまうことを防ぐことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る映像要約装置の構成例を示す図である。
【図２】映像要約装置が実行する処理のフローチャートである。
【図３】映像から抽出された特徴量の時系列データの例を示す図である。
【図４】図３に示す特徴量の重み付き線形和の例を示す図である。
【図５】ダイジェスト映像決定処理の詳細なフローチャートである。
【発明を実施するための形態】
【００１５】
図１は，本発明の一実施形態に係る映像要約装置の構成例を示す。図１において，１はＣＰＵおよびメモリ等によって構成される映像要約装置，１０は要約対象となる映像を入力する映像入力装置，１１は入力した映像を記憶する映像記憶装置，１２は要約対象の映像について予め定められた複数の特徴量を抽出する特徴量抽出部，１３はパラメータを入力するパラメータ入力部，１４はダイジェスト映像を生成するダイジェスト映像生成部，１５は生成されたダイジェスト映像を表示する映像表示装置を表している。
【００１６】
図２は，図１に示す映像要約装置１が実行する処理のフローチャートである。以下，映像要約装置１によるダイジェスト映像生成処理の流れを，図２のフローチャートに従って説明する。
【００１７】
まず，ステップＳ１では，映像入力装置１０から映像ファイルの入力を受け付け，映像記憶装置１１がその入力映像ファイルを記憶する。
【００１８】
次に，ステップＳ２では，映像記憶装置１１に記憶された映像ファイルの要約対象となる映像について，すべての特徴量が抽出済みかを判定する。抽出済みでない場合には，抽出が完了するまで，ステップＳ３，Ｓ４の処理を繰り返し，抽出が完了したならば，ステップＳ５へ進む。
【００１９】
ステップＳ３では，要約対象の映像から，予め定められた種々の特徴量を特徴量抽出部１２により抽出する。抽出する特徴量は，映像に関する特徴量であればどのような特徴量でもよいが，ユーザが興味や関心を示すことが多い映像の特徴を反映しているものが好ましい。また，特徴量の種類は多いほうが望ましい。ここで，特徴量は，特徴量の種類に応じて各フレームごとに抽出されるものであっても，また複数枚のフレームごとに抽出されるものであってもよい。特徴量は，映像の先頭からの時間に対応した時系列データとして得られることになる。
【００２０】
例えば，特徴量として，輝度や色相の値を抽出してもよく，また，映像の動きの量を抽出してもよい。映像の空間的または時間的な輝度変化の値を特徴量として抽出することも好適である。さらに，被写体が大きくアップされているアップショット検出や，被写体の顔検出などの結果を抽出してもよい。顔検出などの場合には，顔が検出されたときに“１”，検出されなかったときに“０”というような特徴量でもよいし，画像における顔として検出された領域の大きさを特徴量の値としてもよい。また，テロップ文字の有無を特徴量として抽出することもできる。映像に付随する音声の強調度を特徴量として用いることも好ましい。
【００２１】
ステップＳ４では，ステップＳ３で抽出した特徴量を映像記憶装置１１に記憶する。その後，ステップＳ２の判定処理へ戻る。
【００２２】
特徴量の抽出がすべて完了したならば，ステップＳ５では，ステップＳ４で映像記憶装置１１に記憶した映像の特徴量を読み込む。
【００２３】
ステップＳ６では，パラメータ入力部１３が，ダイジェスト映像の生成に用いるパラメータの一つである各特徴量に対する重みの値を，ユーザが操作する入力装置（図示省略）から入力する。
【００２４】
ステップＳ７では，ダイジェスト映像生成部１４が，ステップＳ６で入力した重みを用いて，特徴量の重み付き線形和を算出する。時刻ｔにおける各特徴量をＳ1 （ｔ），Ｓ2 （ｔ），…，Ｓn （ｔ）（ｎは特徴量の数）とし，これらに対して入力された重みがｗ1 ，ｗ2 ，…，ｗn であるとすると，特徴量の重み付き線形和Ｓ（ｔ）は，
Ｓ（ｔ）＝ｗ1 Ｓ1 （ｔ）＋ｗ2 Ｓ2 （ｔ）＋…＋ｗn Ｓn （ｔ）
となる。
【００２５】
図３と図４に，特徴量と特徴量の重み付き線形和の例を示す。ここでは，説明を簡単にするために，特徴量として特徴量Ａ（図３に実線で示す）と特徴量Ｂ（図３に破線で示す）の２つの特徴量が抽出された例を表している。ここで，特徴量Ａの重みｗA として，ｗA ＝０．５が入力され，特徴量Ｂの重みｗB として，ｗB ＝１が入力されたとすると，特徴量の重み付き線形和は，図４に示すような時系列データとして得られることになる。
【００２６】
次に，ステップＳ８では，パラメータ入力部１３が，ダイジェスト映像の生成に用いるパラメータの一つであるショット最短時間を，ユーザが操作する入力装置から入力する。ショット最短時間とは，ダイジェスト映像として結合するときの映像ショット（連続な映像）の最も短い時間である。例えば，ショット最短時間として「１秒」というパラメータが指定されれば，１秒未満の短い映像区間が繋げられてダイジェスト映像になることはない。
【００２７】
続いて，ステップＳ９では，ダイジェスト映像の生成に用いるパラメータの一つであるダイジェスト映像の映像時間または特徴量の閾値のいずれかを，ユーザが操作する入力装置から入力する。
【００２８】
ステップＳ１０では，ダイジェスト映像生成部１４が，特徴量の重み付き線形和と，ステップＳ８，Ｓ９で入力されたパラメータとから，ダイジェスト映像として抽出する映像区間を決定してダイジェスト映像を生成する。この処理の詳細については，図５に示すフローチャートに従って後述する。
【００２９】
ステップＳ１１では，ダイジェスト映像生成部１４が生成したダイジェスト映像を，映像表示装置１５により表示する。なお，映像表示装置１５にダイジェスト映像を表示するのではなく，生成したダイジェスト映像を映像ファイルとして映像記憶装置１１に格納する処理でもよい。
【００３０】
ステップＳ１２では，ユーザからパラメータ変更の指示入力があったかどうかを判定し，変更の指示入力があった場合には，ステップＳ６または変更指示の内容に応じてステップＳ８もしくはＳ９に戻って，新しいパラメータを入力し，同様にダイジェスト映像の生成処理を繰り返す。パラメータ変更の指示入力がない場合には，ダイジェスト映像の生成処理を終了する。
【００３１】
図５は，図２のステップＳ１０におけるダイジェスト映像決定処理の詳細なフローチャートを示している。
【００３２】
まず，ステップＳ１０１では，ダイジェスト映像生成部１４が，パラメータ入力部１３で入力されたパラメータが「映像時間」であるか「閾値」であるかを判定する。入力パラメータが「映像時間」の場合，ステップＳ１０２へ進み，「閾値」の場合，ステップＳ１０８へ進む。
【００３３】
ステップＳ１０２では，予め定められた閾値の初期値を選択する。この閾値は，図４に示すように，特徴量の重み付き線形和と比較する閾値であり，特徴量の重み付き線形和が閾値より大きい映像区間がダイジェスト映像として用いられる映像区間の候補となる。
【００３４】
ステップＳ１０３では，重み付き線形和として算出された特徴量が閾値以上で，かつ図２のステップＳ８で入力されたショット最短時間以上となる映像区間を，要約対象となる映像から抽出する。
【００３５】
次に，ステップＳ１０４では，ステップＳ１０３で抽出したすべての映像区間の合計時間を算出し，ステップＳ１０５では，算出した合計時間とパラメータとして入力された映像時間とを比較する。
【００３６】
ステップＳ１０６の判定により，合計時間と映像時間の長さがほぼ等しい場合，すなわち，合計時間と映像時間との差が所定の値以下になった場合，ステップＳ１０９へ進み，そうでない場合には，ステップＳ１０７へ進む。
【００３７】
ステップＳ１０７では，合計時間と映像時間の大小に応じて閾値を変更する。ここでは，ステップＳ１０４で算出した合計時間のほうが入力パラメータの映像時間より大きい場合には，特徴量の閾値を現在値よりも大きい値に変更し，逆の場合には，特徴量の閾値を現在値よりも小さい値に変更する。その後，ステップＳ１０３へ戻り，同様に処理を繰り返す。
【００３８】
入力パラメータが「閾値」の場合，ステップＳ１０８では，重み付き線形和として算出された特徴量が，入力パラメータの閾値以上で，かつ図２のステップＳ８で入力されたショット最短時間以上となる映像区間を，要約対象となる映像から抽出する。
【００３９】
ステップＳ１０９では，ステップＳ１０３またはＳ１０８で抽出した映像区間をつなぎ合わせて，ダイジェスト映像とする。
【００４０】
なお，入力パラメータが「閾値」であった場合に，ステップＳ１０８の後に，抽出した映像区間の合計時間をユーザに知らせ，閾値を変更するかどうかを問い合わせる処理を加えてもよい。
【００４１】
以上の映像要約の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００４２】
以上，本実施形態の一例における映像要約装置について詳細に説明した。本発明は説明した実施形態の一例に限定されるものでなく，特許請求の範囲に記載した技術的範囲において各種の変形を行うことが可能である。
【符号の説明】
【００４３】
１    映像要約装置
１０  映像入力装置
１１  映像記憶装置
１２  特徴量抽出部
１３  パラメータ入力部
１４  ダイジェスト映像生成部
１５  映像表示装置
【図１】
2012044390.tif 000003
【図２】
2012044390.tif 000004
【図３】
2012044390.tif 000005
【図４】
2012044390.tif 000006
【図５】
2012044390.tif 000007