(57)【要約】【課題】本発明は、商用映像、ホームビデオなどの映像の属性にかかわらず、その映像の予告を自動生成できるようにする新たな映像予告生成技術の提供を目的とする。【解決手段】映像素材から、音声フィラーや過度なカメラワークや有効な撮影映像が存在しない映像区間を除去することで、映像品質の低い映像区間を除去する。続いて、音声の強調度が大きな映像区間や、被写体の顔サイズが大きな映像区間や、被写体の顔表情が大きな映像区間を使って、インパクトの大きな映像区間で構成される映像予告の冒頭部を生成する。続いて、音声の基本周波数の時間変化量が大きな映像区間や、音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が大きな映像区間を使って、ハイライトシーンを示す映像区間で構成される映像予告の本編を生成する。最後に、生成した冒頭部と生成した本編とを結合することで、映像予告を生成する。【選択図】図１
2010283478.tif 000002
【特許請求の範囲】
【請求項１】
映像素材からその映像の予告を生成する映像予告生成装置であって、
映像素材の映像区間を処理対象として、音声フィラーに対応付けられる映像区間と、過度なカメラワークに対応付けられる映像区間と、撮影映像が存在しない映像区間の内のいずれか１つ以上の映像区間を検出して、映像素材からその検出した映像区間を除去するフィルタ手段と、
前記フィルタ手段により除去されなかった映像素材の映像区間を処理対象として、音声の強調度が所定の閾値よりも大きな映像区間と、被写体の顔サイズが所定の閾値よりも大きな映像区間と、被写体の顔表情が所定の閾値よりも大きな映像区間の内のいずれか１つ以上の映像区間を検出して、その検出した映像区間を使って映像予告の冒頭部を生成する冒頭部生成手段と、
前記フィルタ手段により除去されなかった映像素材の映像区間で、かつ、前記冒頭部とならなかった映像区間を処理対象として、音声の基本周波数の時間変化量が所定の閾値よりも大きな映像区間と、音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が所定の閾値よりも大きな映像区間の内のいずれか１つ以上の映像区間を検出して、その検出した映像区間を使って映像予告の本編を生成する本編生成手段と、
前記冒頭部生成手段の生成した冒頭部と前記本編生成手段の生成した本編とを結合することで、映像予告を生成する映像予告生成手段とを備えることを、
特徴とする映像予告生成装置。
【請求項２】
請求項１に記載の映像予告生成装置において、
前記冒頭部生成手段と前記本編生成手段のいずれか一方または双方が、楽音のトーン、テンポ、強調度のいずれか１つと映像の切り替えのタイミングとを同期させる形で、映像に対して楽音を付与することを、
特徴とする映像予告生成装置。
【請求項３】
映像素材からその映像の予告を生成する映像予告生成装置が実行する映像予告生成方法であって、
映像素材の映像区間を処理対象として、音声フィラーに対応付けられる映像区間と、過度なカメラワークに対応付けられる映像区間と、撮影映像が存在しない映像区間の内のいずれか１つ以上の映像区間を検出して、映像素材からその検出した映像区間を除去する過程と、
前記除去されなかった映像素材の映像区間を処理対象として、音声の強調度が所定の閾値よりも大きな映像区間と、被写体の顔サイズが所定の閾値よりも大きな映像区間と、被写体の顔表情が所定の閾値よりも大きな映像区間の内のいずれか１つ以上の映像区間を検出して、その検出した映像区間を使って映像予告の冒頭部を生成する過程と、
前記除去されなかった映像素材の映像区間で、かつ、前記冒頭部とならなかった映像区間を処理対象として、音声の基本周波数の時間変化量が所定の閾値よりも大きな映像区間と、音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が所定の閾値よりも大きな映像区間の内のいずれか１つ以上の映像区間を検出して、その検出した映像区間を使って映像予告の本編を生成する過程と、
前記生成した冒頭部と前記生成した本編とを結合することで、映像予告を生成する過程とを備えることを、
特徴とする映像予告生成方法。
【請求項４】
請求項３に記載の映像予告生成方法において、
前記冒頭部を生成する過程と前記本編を生成する過程のいずれか一方または双方が、楽音のトーン、テンポ、強調度のいずれか１つと映像の切り替えのタイミングとを同期させる形で、映像に対して楽音を付与することを、
特徴とする映像予告生成方法。
【請求項５】
請求項１または２に記載の映像予告生成装置を構成する手段としてコンピュータを機能させるための映像予告生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像素材からその映像の予告を生成する映像予告生成装置およびその方法と、その映像予告生成装置の実現に用いられる映像予告生成プログラムとに関する。
【背景技術】
【０００２】
映画では、その映画の宣伝に用いるために、その映画の予告を生成することが行われている。
【０００３】
このような映像予告の生成については、従来、人手による作業により行われているのが実情であり、その作業負荷が大きいことから、映像予告を自動的に生成できるようにする技術の構築が望まれている。
【０００４】
このようなことを背景にして、下記の非特許文献１には、電子番組表の紹介文章と映像のクローズドキャプションとを対応付けることで、電子番組表の紹介文章に対応付けられる映像区間を抽出して、それに基づいて番組紹介映像を自動生成するという発明が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】河合吉彦, 住吉英樹, 八木伸行,"電子番組表における紹介文を利用した番組紹介映像の自動生成手法",電子情報通信学会論文誌Ａ Vol.J91-D No.8 pp.2157-2165．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
確かに、非特許文献１には、電子番組表の紹介文章と映像のクローズドキャプションとを対応付けることで、電子番組表の紹介文章に対応付けられる映像区間を抽出して、それに基づいて番組紹介映像を自動生成するという発明が開示されている。
【０００７】
しかるに、非特許文献１に開示される発明では、番組紹介映像を自動生成するために、映像のクローズドキャプションが必要となる。
【０００８】
これから、非特許文献１に開示される発明に従っていたのでは、クローズドキャプションが付与されていない映像については、その映像の予告を自動生成できないという問題がある。
【０００９】
例えば、クローズドキャプションは一般的に未編集映像には付与されていない。これから、非特許文献１に開示される発明に従っていたのでは、未編集映像についてはその映像の予告を自動生成できないという問題がある。
【００１０】
また、電子番組表についても、テレビ番組などの商用映像に付与されているのが一般的ではあるものの、それ以外の映像については付与されていないというのが実情である。
【００１１】
このことから分かるように、非特許文献１に開示される発明は、広く映像を対象に映像予告を自動生成する手法とはいえない。
【００１２】
本発明はかかる事情に鑑みてなされたものであって、商用映像、ホームビデオなどの映像の属性にかかわらず、その映像の予告を自動生成できるようにする新たな映像予告生成技術の提供を目的とする。
【課題を解決するための手段】
【００１３】
この目的を達成するために、本発明の映像予告生成装置は、映像素材からその映像の予告を自動生成することを実現するために、（１）映像素材の映像区間（１つ又は複数のフレームで構成される）を処理対象として、音声フィラーに対応付けられる映像区間と、過度なカメラワークに対応付けられる映像区間と、撮影映像が存在しない映像区間の内のいずれか１つ以上の映像区間を検出して、映像素材からその検出した映像区間を除去するフィルタ手段と、（２）フィルタ手段により除去されなかった映像素材の映像区間を処理対象として、音声の強調度が所定の閾値よりも大きな映像区間と、被写体の顔サイズが所定の閾値よりも大きな映像区間と、被写体の顔表情が所定の閾値よりも大きな映像区間の内のいずれか１つ以上の映像区間を検出して、その検出した映像区間を使って映像予告の冒頭部を生成する冒頭部生成手段と、（３）フィルタ手段により除去されなかった映像素材の映像区間で、かつ、冒頭部とならなかった映像区間を処理対象として、音声の基本周波数の時間変化量が所定の閾値よりも大きな映像区間と、音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が所定の閾値よりも大きな映像区間の内のいずれか１つ以上の映像区間を検出して、その検出した映像区間を使って映像予告の本編を生成する本編生成手段と、（４）冒頭部生成手段の生成した冒頭部と本編生成手段の生成した本編とを結合することで、映像予告を生成する映像予告生成手段とを備えるように構成する。
【００１４】
この構成を採るときにあって、冒頭部生成手段は、楽音のトーン、テンポ、強調度のいずれか１つと冒頭部における映像の切り替えのタイミングとを同期させる形で、冒頭部における映像に対して楽音を付与することがあり、また、本編生成手段は、楽音のトーン、テンポ、強調度のいずれか１つと本編における映像の切り替えのタイミングとを同期させる形で、本編における映像に対して楽音を付与することがある。
【００１５】
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１６】
このように構成される本発明の映像予告生成装置では、まず最初に、フィルタ処理として、映像予告の生成対象となる映像素材の映像区間を処理対象として、
（イ）音声フィラーに対応付けられる映像区間
（ロ）過度なカメラワークに対応付けられる映像区間
（ハ）有効な撮影映像が存在しない映像区間
の内のいずれか１つ以上の映像区間（１つのフレームで構成されることもある）を検出して、映像素材からその検出した映像区間を除去する。
【００１７】
このようにして、まず最初に、フィルタ処理として、映像予告の生成対象となる映像素材に含まれる映像品質の低い映像区間を検出して、映像素材からその検出した映像区間を除去するのである。
【００１８】
続いて、フィルタ処理により除去されなかった映像素材の映像区間を処理対象として、
（イ）音声の強調度が所定の閾値よりも大きな映像区間
（ロ）被写体の顔サイズが所定の閾値よりも大きな映像区間
（ハ）被写体の顔表情が所定の閾値よりも大きな映像区間
の内のいずれか１つ以上の映像区間（１つのフレームで構成されることもある）を検出して、その検出した映像区間を使って映像予告の冒頭部を生成する。
【００１９】
すなわち、フィルタ処理により除去されなかった映像素材の映像区間を処理対象として、その処理対象の映像素材に含まれるインパクトの大きな映像区間を検出して、その検出した映像区間を使って、インパクトの大きな映像区間で構成される映像予告の冒頭部を生成するのである。
【００２０】
続いて、フィルタ処理により除去されなかった映像素材の映像区間で、かつ、映像予告の冒頭部とならなかった映像区間を処理対象として、
（イ）音声の基本周波数の時間変化量が所定の閾値よりも大きな映像区間
（ロ）音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が所定          の閾値よりも大きな映像区間
の内のいずれか１つ以上の映像区間（１つのフレームで構成されることもある）を検出して、その検出した映像区間を使って映像予告の本編を生成する。
【００２１】
すなわち、フィルタ処理により除去されなかった映像素材の映像区間で、かつ、映像予告の冒頭部とならなかった映像区間を処理対象として、その処理対象の映像区間に含まれるハイライトシーンを示す映像区間を検出して、その検出した映像区間を使って、ハイライトシーンを示す映像区間で構成される映像予告の本編を生成するのである。
【００２２】
最後に、生成した映像予告の冒頭部と生成した映像予告の本編とを結合することで、映像予告を生成する。
【発明の効果】
【００２３】
このようにして、本発明では、電子番組表の紹介文章や映像のクローズドキャプションなどを用いることなく、映像予告の生成対象となる映像素材から、インパクトの大きな映像区間で構成される冒頭部とハイライトシーンを示す映像区間で構成される本編とを持つ映像予告を自動的に生成するように処理するのである。
【００２４】
これから、本発明によれば、商用映像、ホームビデオなどの映像の属性にかかわらず、その映像の予告を自動的に生成することができるようになる。
【図面の簡単な説明】
【００２５】
【図１】本発明の映像予告生成装置の装置構成図である。
【図２】本発明の映像予告生成装置の実行するフローチャートである。
【図３】本発明の映像予告生成装置の実行するフローチャートである。
【図４】本発明の映像予告生成装置の実行するフローチャートである。
【図５】本発明の映像予告生成装置の実行するフローチャートである。
【図６】カメラワークの検出処理の説明図である。
【図７】ジャンクショットの一例の説明図である。
【図８】映像予告に楽音を重畳させるときの説明図である。
【発明を実施するための形態】
【００２６】
以下、実施の形態に従って本発明を詳細に説明する。ここで、以下に説明する映像区間については、１つのフレームで構成される場合も含むものとする。
【００２７】
図１に、本発明を具備する映像予告生成装置１の装置構成の一例を図示する。
【００２８】
この図に示すように、本発明の映像予告生成装置１は、電子番組表の紹介文章や映像のクローズドキャプションなどを用いることなく、映像素材からその映像の予告を自動生成することを実現するために、映像素材入力部１０と、映像素材記憶部１１と、フィルタ部１２と、映像予告生成用映像素材記憶部１３と、冒頭部生成部１４と、本編生成部１５と、映像予告生成部１６と、映像予告記憶部１７と、映像予告出力部１８とを備える。
【００２９】
次に、これらの各処理部について説明する。
【００３０】
映像素材入力部１０は、映像予告の生成対象となる映像素材を入力して、映像素材記憶部１１に格納する。
【００３１】
フィルタ部１２は、映像素材記憶部１１に記憶される映像素材を処理対象として、その映像素材から、映像予告の生成に利用することができないような品質の低い映像区間を除去して、その除去した映像素材を映像予告生成用映像素材記憶部１３に格納する。
【００３２】
映像素材には、映像・楽音的に冗長なシーンが含まれることが多く、これから、これらの冗長なシーンを除去することなく編集すると、不必要なシーンを内包した映像予告が生成されてしまうことになる。このような冗長性は、音声フィラー（話し言葉特有の現象である「あのー」などのような言いよどみ）や、過度なカメラワークや、ジャンクショット（Junk Shot:有効な撮影映像の存在しない映像区間）といった特徴に関連しているものと考えられる。
【００３３】
そこで、フィルタ部１２は、このような冗長性を除去するために、（イ）映像素材の音情報に含まれる音声フィラーの出現位置を検出して、その出現位置に対応付けられる映像区間を特定する音声フィラー検出部１２０と、（ロ）映像素材を撮影した際のカメラワークを判定することで、過度なカメラワークの出現位置を検出して、その出現位置に対応付けられる映像区間を特定する過度カメラワーク検出部１２１と、（ハ）映像素材に含まれるジャンクショットの出現位置を検出して、その出現位置に対応付けられる映像区間を特定するジャンクショット検出部１２２とを備えるようにして、これらの各検出部により特定された映像区間を、入力した映像素材から除去するように処理する。
【００３４】
冒頭部生成部１４は、映像予告生成用映像素材記憶部１３に記憶される映像素材を処理対象として、インパクトの大きな映像区間で構成される映像予告の冒頭部を自動生成する処理を実行する。
【００３５】
冒頭部生成部１４は、この冒頭部の自動生成処理を実行するために、（イ）映像素材の音情報に含まれる音声の強調度を判定することで、音声強調度が所定の閾値よりも大きくなる出現位置を検出して、その出現位置に対応付けられる映像区間を特定する音声強調度判定部１４０と、（ロ）映像素材に含まれる被写体の顔サイズを判定することで、顔サイズが所定の閾値よりも大きくなる出現位置を検出して、その出現位置に対応付けられる映像区間を特定する顔サイズ判定部１４１と、（ハ）映像素材に含まれる被写体の顔表情を判定することで、顔表情が所定の閾値よりも大きくなる出現位置を検出して、その出現位置に対応付けられる映像区間を特定する顔表情判定部１４２と、（ニ）所定のルールに従って、音声強調度判定部１４０／顔サイズ判定部１４１／顔表情判定部１４２の特定した映像区間に対して順番を付与して、予め用意する楽音と同期をとる形で、それらの映像区間の切り替えのタイミングを決定することで、映像予告の冒頭部を生成する楽音付与部１４３とを備える。
【００３６】
本編生成部１５は、映像予告生成用映像素材記憶部１３に記憶される映像素材で、かつ、映像予告の冒頭部とならなかった映像区間を処理対象として、ハイライトシーンを示す映像区間で構成される映像予告の本編を自動生成する処理を実行する。
【００３７】
本編生成部１５は、この本編の自動生成処理を実行するために、（イ）映像素材の音情報に含まれる音声の基本周波数の時間変化を判定することで、音声の基本周波数の時間変化量が所定の閾値よりも大きくなる出現位置を検出して、その出現位置に対応付けられる映像区間を特定する基本周波数パターン判定部１５０と、（ロ）映像素材の音情報に含まれる音声の強調度の時間変化を判定することで、音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が所定の閾値よりも大きくなる出現位置を検出して、その出現位置に対応付けられる映像区間を特定する音声強調度パターン判定部１５１と、（ハ）所定のルールに従って、基本周波数パターン判定部１５０／音声強調度パターン判定部１５１の特定した映像区間に対して順番を付与して、予め用意する楽音と同期をとる形で、それらの映像区間の切り替えのタイミングを決定することで、映像予告の本編を生成する楽音付与部１５２とを備える。
【００３８】
映像予告生成部１６は、冒頭部生成部１４の生成した冒頭部と本編生成部１５の生成した本編とを結合することで映像予告を生成して、その生成した映像予告を映像予告記憶部１７に格納する。
【００３９】
映像予告出力部１８は、映像の出力要求があるときに、映像予告記憶部１７から、出力要求のある映像予告を読み出して出力する。
【００４０】
図２〜図５に、このように構成される本発明の映像予告生成装置１の実行するフローチャートを図示する。
【００４１】
次に、これらのフローチャートに従って、このように構成される本発明の映像予告生成装置１の実行する処理について説明する。
【００４２】
〔１〕全体的な処理
本発明の映像予告生成装置１は、映像予告の生成要求があると、図２のフローチャートに示すように、先ず最初に、ステップＳ１０で、映像予告の生成対象となる映像素材を入力して、映像素材記憶部１１に格納する。
【００４３】
続いて、ステップＳ２０で、映像予告の生成に用いることができない品質の低い映像区間を除去すべく、映像素材記憶部１１に記憶される映像素材に対して所定のフィルタ処理を施して、そのフィルタ処理結果の映像素材を映像予告生成用映像素材記憶部１３に格納する。
【００４４】
続いて、ステップＳ３０で、映像予告生成用映像素材記憶部１３に記憶される映像素材の映像区間を使って、映像予告の冒頭部を生成する。
【００４５】
続いて、ステップＳ４０で、映像予告生成用映像素材記憶部１３に記憶され、かつ、映像予告の冒頭部とならなかった映像区間を使って、映像予告の本編を生成する。
【００４６】
続いて、ステップＳ５０で、ステップＳ３０で生成した冒頭部とステップＳ４０で生成した本編とを結合することで映像予告を生成して、映像予告記憶部１７に格納する。
【００４７】
続いて、ステップＳ６０で、映像予告の出力要求に応答して、映像予告記憶部１７に記憶される映像予告を出力する。
【００４８】
〔２〕ステップＳ２０の処理の詳細
次に、図３のフローチャートに従って、図２のフローチャートのステップＳ２０で実行するフィルタ処理の詳細について説明する。
【００４９】
本発明の映像予告生成装置１は、図２のフローチャートのステップＳ２０の処理に入ると、映像素材記憶部１１に記憶される映像素材を処理対象として、図３のフローチャートに示すように、まず最初に、ステップＳ２００で、音声フィラーの出現位置を検出して、その出現位置に対応付けられる映像区間を特定し、続くステップＳ２０１で、映像素材から、その音声フィラーの出現位置に対応付けられる映像区間を除去する。
【００５０】
音声フィラーは考えながら発話するシーンなど、意味的にまとまりのない発声で出現することが多く、それに対応付けられる映像区間は映像予告の生成にとって不要な映像区間であることが多い。そこで、音声フィラーの出現位置を検出して、その出現位置に対応付けられる映像区間を特定し、映像素材から、その特定した映像区間を除去するように処理するのである。
【００５１】
音声フィラーの検出方法としては、例えば、基本周波数の時間履歴を計測し、１秒間などというような所定の時間の間、基本周波数値に大きな変化が見られない場合には、音声フィラーであると判定する方法を用いる。ここで、基本周波数の抽出については、例えば、下記の参考文献１に示されている方法を用いることができる。
【００５２】
参考文献１：古井貞煕著, ディジタル信号処理, 東海大学出版, pp.57-63. 
このようにしてステップＳ２００およびステップＳ２０１の処理を実行すると、続いて、ステップＳ２０２で、過度なカメラワークの出現位置を検出して、その出現位置に対応付けられる映像区間を特定し、続くステップＳ２０３で、映像素材から、その過度なカメラワークの出現位置に対応付けられる映像区間を除去する。
【００５３】
過度なカメラワークにより撮影された映像は品質が悪く、それに対応付けられる映像区間は映像予告の生成にとって不適切な映像区間であることが多い。そこで、過度なカメラワークの出現位置を検出して、その出現位置に対応付けられる映像区間を特定し、映像素材から、その特定した映像区間を除去するように処理するのである。
【００５４】
ここで、カメラワークの検出方法については、例えば、下記の参考文献２に示されている方法を用いることができる。
【００５５】
参考文献２：特許第3408117 号, 谷口行信, 阿久津明人, 外村佳伸, 「カメラ操作推                定方法およびカメラ操作推定プログラムを記録した記録媒体」
このステップＳ２０２においては、例えば、図６に示すように、撮影時の画角が時間的にどのように遷移するのかを計測することでカメラワークを検出する。図６では、時刻ｔ０〜ｔ５までのカメラの動きに対して画角の左下頂点の遷移を示している。
【００５６】
そして、このステップＳ２０２においては、例えば、この遷移に対して、Ａ：回帰直線、Ｂ：二次回帰曲線などを求めて、信頼係数が閾値Ｒ以上の場合にはカメラワークが安定していると判定し、閾値Ｒ未満の場合には過度なカメラワークであると判定する。ここで、閾値Ｒについては例えば０．７と設定してもよく、また、三次以上の回帰曲線によって判定を行うようにしてもよい。
【００５７】
このようにしてステップＳ２０２およびステップＳ２０３の処理を実行すると、続いて、ステップＳ２０４で、ジャンクショットの出現位置を検出して、その出現位置に対応付けられる映像区間を特定し、続くステップＳ２０５で、映像素材から、そのジャンクショットの出現位置に対応付けられる映像区間を除去する。
【００５８】
ジャンクショットの映像部分は有効な映像部分ではなく、それに対応付けられる映像区間は映像予告の生成にとって不要な映像区間である。そこで、ジャンクショットの出現位置を検出して、その出現位置に対応付けられる映像区間を特定し、映像素材から、その特定した映像区間を除去するように処理するのである。
【００５９】
ジャンクショットとして、例えば、図７に示すように、ある撮影映像を視聴後に停止ボタンを押したタイミング（再生停止位置）が撮影終了の時刻とずれることによって生ずるものがある。また、撮影映像が何もない場合、青や黒で表示されることがあるが、データとして何も記録されていない区間を検出すればジャンクショットを抽出できる。
【００６０】
また、商業利用の映像の映像素材では、カチンコと呼ばれる撮影開始を知らせる道具を利用することや、カラーバーと呼ばれる画面が挿入されることがある。これらもジャンクショットに位置付けられるが、カチンコについては、予めカチンコを使用する際に発生する音程、周波数を保存しておけば音響的にカチンコの使用を検出でき、これにより、カチンコの使用前の映像部分を抽出することでジャンクショットを抽出できることになる。また、カラーバーについては、色ヒストグラムを計測して、１〜Ｎ個の色のみから構成される場合にはカラーバーと判定することでカラーバーの画面の挿入を検出でき、これによりジャンクショットを抽出できることになる。なお、Ｎについては例えば５などと予め設定しておけばよい。
【００６１】
このようにしてステップＳ２０４およびステップＳ２０５の処理を実行すると、続いて、ステップＳ２０６で、不要な映像区間を除去した映像素材を映像予告生成用映像素材記憶部１３に格納して、図２のフローチャートのステップＳ２０の処理を終了する。
【００６２】
このようにして、本発明の映像予告生成装置１は、図２のフローチャートのステップＳ２０の処理に入ると、図３のフローチャートを実行することで、映像素材記憶部１１に記憶される映像素材に対して、映像予告の生成にとって不要な映像区間を除去するフィルタ処理を施して、そのフィルタ処理結果の映像素材を映像予告生成用映像素材記憶部１３に格納するように処理するのである。
【００６３】
〔３〕ステップＳ３０の処理の詳細
次に、図４のフローチャートに従って、図２のフローチャートのステップＳ３０で実行する映像予告の冒頭部の生成処理の詳細について説明する。
【００６４】
本発明の映像予告生成装置１は、図２のフローチャートのステップＳ３０の処理に入ると、映像予告生成用映像素材記憶部１３に記憶される映像素材を処理対象として、図４のフローチャートに示すように、まず最初に、ステップＳ３００で、音声の強調度が所定の閾値よりも大きなものとなる映像区間を検出する。
【００６５】
ここで、音声の強調度については、音声の強調確率と平静確率とによって求めればよい。具体的には、音声小段落ごとの強調確率Ｐs(ｅ）と平静確率Ｐs(ｎ）との確率比Ｐs(ｅ）／Ｐs(ｎ）を音声の強調度とすればよい。音声の強調確率、平静確率については、例えば、下記の参考文献３に示されている方法を用いて求めることができる。
【００６６】
参考文献３：特許第3803311 号, 日高浩太, 水野理, 中嶌信弥, 「音声処理方法及び                その方法を使用した装置及びそのプログラム」
続いて、ステップＳ３０１で、被写体の顔サイズが所定の閾値よりも大きなものとなるフレームを検出し、これにより、被写体の顔サイズが所定の閾値よりも大きなものとなる映像区間（１フレームで構成されることもある）を検出する。
【００６７】
ここで、被写体の顔サイズについては、Ａdaboost 学習によるＨaar-like特徴を用いた識別器を用いればよい。多数の弱識別器をカスケード型とし、このカスケード型識別器を識別対象の大きさ、位置を変化させて適用し、顔画像領域を特定するなどすればよい。これについては、下記の参考文献４などに記載されている。このようにして顔画像領域が求まれば顔サイズを計測できることになる。
【００６８】
参考文献４：Paul Viola, Michael J. Jones, Robust Real-Time Face Detection. I                nternational Journal of Computer Vision. Vol57, No.2, pp.137-154                (2004). 
続いて、ステップＳ３０２で、被写体の顔表情の豊かさが所定の閾値よりも大きなものとなるフレーム（顔に表情のあるフレーム）を検出し、これにより、被写体の顔表情の豊かさが所定の閾値よりも大きなものとなる映像区間（１フレームで構成されることもある）を検出する。
【００６９】
ここで、被写体の顔表情については、顔画像が存在すると判定されたフレームを処理対象として、その顔に表情があるのか否かを検出することで行う。顔表情の検出については、例えば、下記の参考文献５に示されている方法を用いることができる。
【００７０】
参考文献５：Kotsia I., Pitas I.: Facial Expression Recognition in Image Sequ                ences Using Geometric Deformation Features and Support Vector Ma                chines. IEEE Transactions on Image Processing, Vol.16, No.1 ,pp.                172-187 (2007). 
続いて、ステップＳ３０３で、ステップＳ３００〜ステップＳ３０２で検出した映像区間の中から冒頭部の生成に用いる映像区間を選択し、所定のルールに従って、その選択した映像区間について順序を決定して、その決定した順序に従ってそれらの映像区間を並べることで映像予告の冒頭部を生成する。
【００７１】
例えば、まず最初に、（ｉ）音声の強調度が高く、（ii）顔サイズが大きく、(iii）表情が豊かなフレームを冒頭部の候補フレームとして１枚以上抽出する。候補フレームが連続する場合には、それらの候補フレームで構成されるシーンを抽出する。このとき、（ｉ）、（ii）、(iii）の全ての条件を満たさなくても、例えば、（ｉ）、（ii）、(iii）の順に条件を満たすものを冒頭部の候補フレーム（シーン）として抽出するようにしてもよい。
【００７２】
ここで、例えば、音声強調度についてはシーン（参考文献３に記載する音声小段落や音声段落などの映像区間）ごとに求めて、音声強調度を降順にソートして、総シーン数の上位ＰＥ％（ＰＥの値は１０などと予め設定する）となる場合を音声強調度が高いと定義する。また、顔サイズについては、全体のＰＳ％（ＰＳの値は２０などと予め設定する）以上となる場合を大きいと定義する。また、顔表情については、笑顔、驚き、悲しみなどの場合を表情が豊かであると定義する。
【００７３】
続いて、このようにして抽出した冒頭部の候補フレームの中から、例えば、音声強調度の高い順に所定の数のフレームを選択することで、冒頭部の生成に用いるフレームを選択して、それらのフレームについて、例えば、音声強調度の高い順に順序を決定したり、撮影時刻の早い順に順序を決定することで、それらのフレームについて順序を決定して、その決定した順序に従って、それらのフレームを並べることで映像予告の冒頭部を生成する。
【００７４】
ここで、この説明ではフレームを具体例にして説明したが、本発明の映像予告生成装置１の生成する映像予告の冒頭部は複数のフレームで構成されるシーン（映像区間）であってもよく、その場合には、シーンを単位にして、前述の（ｉ）、（ii）、(iii）の条件を前述と同様の方法によって取捨選択して、冒頭シーンを生成するようにすればよい。
【００７５】
上記の条件によって選択された候補フレーム（シーン）には、見た目の類似する区間が含まれていることがある。このような類似区間が映像予告の冒頭部に複数含まれていると、見た目の情報としては冗長となり、かつ、映像予告のサイズを増加させてしまうため、非効率的である。
【００７６】
そこで、このような類似区間についてはただ１つだけ含まれるように、あらかじめ類似区間を削除する処理を実施することが好ましい。
【００７７】
このような処理は、例えば、候補フレーム（シーン）の画像情報を用いて実施することができる。例えば、画像の色情報やテクスチャ情報や形状情報などを抽出してベクトル化し、ベクトルの距離が近い２つの候補フレーム（シーン）のいずれかを候補候補フレーム（シーン）から除外する。この際、２つの内、いずれの候補フレーム（シーン）を除外するのかについては、先に述べたルールに基づく優先度に応じて、優先度の低いものを除外するようにすればよい。例えば、音声強調度が低い方を除外するとか、撮影時間の遅い方を除外するようにすればよい。
【００７８】
このようにして、本発明の映像予告生成装置１は、図２のフローチャートのステップＳ３０の処理に入ると、図４のフローチャートを実行することで、映像予告生成用映像素材記憶部１３に記憶される映像素材の映像区間を処理対象として、その映像素材に含まれるインパクトの大きな映像区間を検出して、その検出した映像区間を使って、インパクトの大きな映像区間で構成される映像予告の冒頭部を生成するように処理するのである。
【００７９】
本発明の映像予告生成装置１は、図４のフローチャートに従って映像予告の冒頭部を生成する場合には、冒頭部に楽音を重畳させることについては想定していないが、冒頭部に楽音を重畳させることによって、冒頭部をより期待感あふれるように編集するようにしてもよい。
【００８０】
この場合、単純に、選択した楽音を冒頭部に重畳させるようにしてもよいが、楽音のトーンや強調度と同期をとる形で重畳させるようにしてもよい。例えば、図８に示すように、強調度が急峻に高くなる時刻やトーンの変化する時刻に合わせて、冒頭部を構成する映像区間を挿入するようにしてもよい。
【００８１】
すなわち、トーン変化の間隔で冒頭部を構成するフレームやシーンを挿入するのである。また、強調度についてもピークとなる時刻に冒頭部を構成するフレームやシーンを挿入するのである。なお、強調度については、前後ｉフレームとの差分および／または強調度値に閾値を設定して、閾値以上の強調度の時刻をフレームやシーンの挿入時刻とする。
【００８２】
ここで、図８では、トーン変化を逆三角形で示し、強調度を曲線で示している。なお、強調度は本来離散値であるが、この図では、離散値を直線または曲線でつなげたもので示している（離散値をスプライン曲線で近似することも可能である）。
【００８３】
トーンの変化については、単位時間Ｔあたりの振幅のピーク値を計測し、ピーク間隔が約Ｔｐとなる場合に、そのＴｐの時間間隔でトーンが変化していると判定するようにしてもよい。緊迫感を与える効果音を擬音で示せば「ドン・ドン・ドン・・・・」などで表すことができる。このような場合、最初の「ドン」と次の「ドン」の間隔は一定であることが想定され、例えばＴｐ＝１秒などの間隔で出現するので、そのＴｐの時間間隔でトーンが変化していると判定するようにしてもよい。あるいは、単位時間Ｔあたりの周波数を計測し、特定周波数がＴｐ間隔で出現していれば、それをトーンの変化と判定するようにしてもよい。
【００８４】
このようにして、映像予告の冒頭部に楽音を重畳させる場合にあって、映像予告の生成に用いられたシーンには本来のＡudio情報が存在することになるが、このＡudio情報については必ずしも必要となるものでない。例えば、Ｖisual だけのシーンを挿入することで、効果音（楽音）にあわせて緊迫感や安心感を付与することが可能となる。
【００８５】
なお、映像予告の冒頭部に重畳させる楽音については、効果音に限られるものではなく、楽曲であってもよい。例えば、歌謡曲において強調度が急峻となる場合は、俗に言われる「さび」の部分であることがあり、この「さび」の時刻にフレームやシーンを挿入することで、前述と同様に感性豊かな編集を実現することが可能である。
【００８６】
〔４〕ステップＳ４０の処理の詳細
次に、図５のフローチャートに従って、図２のフローチャートのステップＳ４０で実行する映像予告の本編の生成処理の詳細について説明する。
【００８７】
本発明の映像予告生成装置１は、図２のフローチャートのステップＳ４０の処理に入ると、映像予告生成用映像素材記憶部１３に記憶される映像素材で、かつ、映像予告の冒頭部とならなかった映像区間を処理対象として、図５のフローチャートに示すように、まず最初に、ステップＳ４００で、音声の基本周波数の時間変化量が所定の閾値よりも大きなものとなる映像区間を検出する。
【００８８】
続いて、ステップＳ４０１で、音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が所定の閾値よりも大きなものとなる映像区間を検出する。
【００８９】
続いて、ステップＳ４０２で、ステップＳ４０１およびステップＳ４０２で検出した映像区間の中から本編の生成に用いる映像区間を選択し、所定のルールに従って、その選択した映像区間について順序を決定して、その決定した順序に従ってそれらの映像区間を並べることで映像予告の本編を生成する。
【００９０】
例えば、まず最初に、（ｉ）音声の基本周波数の時間変化量が大きく、（ii）音声の強調度が時間経過とともに増加し、かつ、その増加の時間変化量が大きい映像区間を本編の候補映像区間として１つ以上抽出する。このとき、（ｉ）、（ii）、(iii）の全ての条件を満たさなくても、例えば、（ｉ）、（ii）の順に条件を満たすものを本編の候補映像区間として抽出するようにしてもよい。
【００９１】
続いて、このようにして抽出した本編の候補映像区間の中から、例えば、音声の基本周波数の時間変化量が大きい順に所定の数の映像区間を選択することで、本編の生成に用いる映像区間を選択して、それらの映像区間について、例えば、音声の基本周波数の時間変化量が大きい順に順序を決定したり、撮影時刻の早い順に順序を決定することで、それらの映像区間について順序を決定して、その決定した順序に従って、それらの映像区間を並べることで映像予告の本編を生成する。
【００９２】
ここで、上記の条件によって選択された候補映像区間には、見た目の類似する区間が含まれていることがある。このような類似区間が映像予告の本編に複数含まれていると、見た目の情報としては冗長となり、かつ、映像予告のサイズを増加させてしまうため、非効率的である。
【００９３】
そこで、このような類似区間についてはただ１つだけ含まれるように、あらかじめ類似区間を削除する処理を実施することが好ましい。
【００９４】
このような処理は、例えば、候補映像区間の画像情報を用いて実施することができる。例えば、画像の色情報やテクスチャ情報や形状情報などを抽出してベクトル化し、ベクトルの距離が近い２つの候補映像区間のいずれかを候補映像区間から除外する。この際、２つの内、いずれの候補映像区間を除外するのかについては、先に述べたルールに基づく優先度に応じて、優先度の低いものを除外するようにすればよい。例えば、基本周波数の時間変化量が小さい方を除外するとか、撮影時間の遅い方を除外するようにすればよい。
【００９５】
このようにして、本発明の映像予告生成装置１は、図２のフローチャートのステップＳ４０の処理に入ると、図５のフローチャートを実行することで、映像予告生成用映像素材記憶部１３に記憶される映像素材で、かつ、映像予告の冒頭部とならなかった映像区間を処理対象として、その映像素材に含まれるハイライトシーンを示す映像区間を検出して、その検出した映像区間を使って、ハイライトシーンを示す映像区間で構成される映像予告の本編を生成するように処理するのである。
【００９６】
本発明の映像予告生成装置１は、図５のフローチャートに従って映像予告の本編を生成する場合には、本編に楽音を重畳させることについては想定していないが、本編に楽音を重畳させることによって、本編をより期待感あふれるように編集するようにしてもよい。
【００９７】
この場合、単純に、選択した楽音を本編に重畳させるようにしてもよいが、楽音のトーンや強調度と同期をとる形で重畳させるようにしてもよい。例えば、図８に示すように、強調度が急峻に高くなる時刻やトーンの変化する時刻に合わせて、本編を構成する映像区間を挿入するようにしてもよい。
【００９８】
すなわち、トーン変化の間隔で本編を構成する映像区間を挿入するのである。また、強調度についてもピークとなる時刻に本編を構成する映像区間を挿入するのである。
【００９９】
このようにして、映像予告の本編に楽音を重畳させる場合にあって、映像予告の生成に用いられたシーンには本来のＡudio情報が存在することになるが、このＡudio情報については必ずしも必要となるものでない。例えば、Ｖisual だけのシーンを挿入することで、効果音（楽音）にあわせて緊迫感や安心感を付与することが可能となる。
【０１００】
なお、映像予告の本編に重畳させる楽音については、効果音に限られるものではなく、楽曲であってもよい。例えば、歌謡曲において強調度が急峻となる場合は、俗に言われる「さび」の部分であることがあり、この「さび」の時刻にフレームやシーンを挿入することで、前述と同様に、感性豊かな編集を実現することが可能である。
【産業上の利用可能性】
【０１０１】
本発明は、映像の予告を生成する要求がある場合に適用できるものであり、本発明を適用することで、商用映像、ホームビデオなどの映像の属性にかかわらず、その映像の予告を自動的に生成することができるようになる。
【符号の説明】
【０１０２】
１      映像予告生成装置
１０    映像素材入力部
１１    映像素材記憶部
１２    フィルタ部
１３    映像予告生成用映像素材記憶部
１４    冒頭部生成部
１５    本編生成部
１６    映像予告生成部
１７    映像予告記憶部
１８    映像予告出力部
１２０  音声フィラー検出部
１２１  過度カメラワーク検出部
１２２  ジャンクショット検出部
１４０  音声強調度判定部
１４１  顔サイズ判定部
１４２  顔表情判定部
１４３  楽音付与部
１５０  基本周波数パターン判定部
１５１  音声強調度パターン判定部
１５２  楽音付与部
【図１】
2010283478.tif 000003
【図２】
2010283478.tif 000004
【図３】
2010283478.tif 000005
【図４】
2010283478.tif 000006
【図５】
2010283478.tif 000007
【図６】
2010283478.tif 000008
【図７】
2010283478.tif 000009
【図８】
2010283478.tif 000010