(57)【要約】【課題】本発明は、楽しそうな映像部分を直接的に抽出してまとめることで映像の要約を実現する新たな映像要約技術の提供を目的とする。【解決手段】処理対象の映像の各フレームについて、人物の顔画像が存在するのかを判断して、人物の顔画像が存在するフレームについて顔画像の領域を検出し、その顔画像領域の表情が笑い状態にあるのかを検出することで、処理対象の映像のフレームの中に存在する笑い状態にあるフレームを検出する。一方、処理対象の映像の持つ音声や映像の連続性を検出して、それに基づいて要約映像の候補対象となる候補区間を決定する。そして、候補区間を構成するフレーム情報と笑い状態にあるフレーム情報とに基づいて、笑い状態の大きな候補区間に対して高い優先順位を付与する形で優先順位を付与して、それに基づいて候補区間をつなぎ合わせることで、指定の視聴時間を充足する要約映像を生成する。【選択図】図１
2010028705.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の映像から人物の笑い状態を検出し、その検出結果に基づいて、その映像を要約する映像要約装置であって、
処理対象の映像の各フレームについて、人物の顔画像が存在するのか否かを判断して、人物の顔画像が存在するフレームについて、その顔画像の領域を検出する手段と、
前記顔画像領域の表情が笑い状態にあるのかを検出することで、処理対象の映像のフレームの中に存在する笑い状態にあるフレームを検出する手段と、
処理対象の映像の持つ音声の連続性および／または映像の連続性を検出して、それに基づいて、要約映像の候補対象となる候補区間を決定する手段と、
前記候補区間を構成するフレーム情報と前記笑い状態にあるフレーム情報とに基づいて、前記候補区間に対して優先順位を付与する手段と、
前記優先順位に基づいて前記候補区間をつなぎ合わせることで、指定される視聴時間を充足する要約映像を生成する手段とを備えることを、
特徴とする映像要約装置。
【請求項２】
請求項１に記載の映像要約装置において、
前記付与する手段は、前記候補区間のそれぞれについて笑い状態の出現頻度を求めて、その出現頻度が高くなるほど高い優先順位を付与する形で、前記候補区間に対して優先順位を付与することを、
特徴とする映像要約装置。
【請求項３】
請求項１に記載の映像要約装置において、
前記付与する手段は、前記候補区間のそれぞれについて規定の時間内に出現する笑い状態の断続数を求めて、その断続数が大きくなるほど高い優先順位を付与する形で、前記候補区間に対して優先順位を付与することを、
特徴とする映像要約装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の映像要約装置において、
前記決定する手段は、連続性の判断に用いる閾値を変更することで、前記候補区間の長さを延伸あるいは収縮することを、
特徴とする映像要約装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の映像要約装置において、
前記決定する手段は、音声の韻律的特徴に基づいて音声の連続性を検出することを、
特徴とする映像要約装置。
【請求項６】
請求項１ないし４のいずれか１項に記載の映像要約装置において、
前記決定する手段は、映像のカメラパラメータおよび／またはシーンチェンジに基づいて映像の連続性を検出することを、
特徴とする映像要約装置。
【請求項７】
請求項１ないし６のいずれか１項に記載の映像要約装置において、
前記決定する手段は、音声の連続性および映像の連続性に基づいて前記候補区間を決定する場合に、音声の連続性に基づいて決定した前記候補区間を優先する形で最終的な前記候補区間を決定するようにして、映像の連続性に基づいて決定した前記候補区間が音声の連続性に基づいて決定した前記候補区間を内包するものである場合にのみ、映像の連続性に基づいて決定した前記候補区間でもって音声の連続性に基づいて決定した前記候補区間を変更することにより最終的な前記候補区間を決定することを、
特徴とする映像要約装置。
【請求項８】
請求項１ないし７のいずれか１項に記載の映像要約装置を構成する手段としてコンピュータを機能させるための映像要約プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を要約する映像要約装置と、その映像要約装置の実現に用いられる映像要約プログラムとに関し、特に、楽しそうな映像部分を適格に抽出してまとめることで映像の要約を実現する映像要約装置と、その映像要約装置の実現に用いられる映像要約プログラムとに関する。
【背景技術】
【０００２】
映像数の増加に伴い、効率的な映像視聴方法が求められる。このためには、映像のダイジェスト（映像を要約したもの）を視聴することが、効果的な手法としてあげられる。
【０００３】
例えば、特許文献１の“特開２００３−３１６３７８（特許第３８０３３１１号）：日高浩太、水野理、中嶌信弥、「音声処理方法及びその方法を使用した装置及びそのプログラム」”では、強調音声区間を基に、ユーザの指定する任意の時間長でダイジェストを生成する手法について述べられている。
【０００４】
また、特許文献２の“特開２００５−３４５４９６：日高浩太、「音声処理装置、音声処理方法およびそのプログラム」”では、音声の感情状態に対応してダイジェストを生成する手法について述べられている。
【０００５】
また、特許文献３の“特開２００６−１４８３９７：桑野秀豪、紺家裕子、山田智一、川添雄彦、日高浩太、「ダイジェスト映像作成装置、ダイジェスト映像作成方法、ダイジェスト映像作成プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体」”では、ダイジェストシーンとしてふさわしい映像中のシーンを抽出し、かつ、あらかじめ決められた時間長に収まるダイジェスト映像の作成を効率的に実行できるようにするダイジェスト映像装置について述べられている。
【特許文献１】特開２００３−３１６３７８号公報
【特許文献２】特開２００５−３４５４９６号公報
【特許文献３】特開２００６−１４８３９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術で提案されている映像の要約手法では、楽しそうな映像部分を抽出してまとめることで映像を要約するようにはしていない。
【０００７】
例えば、特許文献１に記載される発明では、強調音声区間を基にして映像を要約するようにしており、楽しそうな映像部分を抽出してまとめることで映像を要約するようにしている訳ではない。
【０００８】
また、特許文献２に記載される発明では、音声の示す感情表出確率に基づいて笑いや怒りや悲しみの表出尤度を求めて、それを基にして映像を要約するようにしており、楽しそうな映像部分を直接的に抽出してまとめることで映像を要約するようにしている訳ではない。
【０００９】
このように、従来技術で提案されている映像の要約手法では、楽しそうな映像部分を抽出してまとめることで映像を要約するようにはしていないのである。
【００１０】
一方、映像を視聴するユーザは、その映像が楽しい映像であるのか、そうではない映像であるのかを知って、その映像が楽しい映像である場合には、その映像を視聴するようにしたいと希望することがある。
【００１１】
しかしながら、従来技術で提案されている映像の要約手法では、楽しそうな映像部分を抽出してまとめることで映像を要約するようにはしていないことから、このような要望に応えることができない。
【００１２】
確かに、特許文献２に記載される発明では、笑いの表出尤度を求めて、それを基にして映像を要約するようにはしているものの、音声に基づいてその要約を実行するようにしていることから、楽しそうな映像部分であっても笑い声が不確かな映像部分については、映像を要約する際に外されてしまうという問題がある。
【００１３】
本発明はかかる事情に鑑みてなされたものであって、楽しそうな映像部分を適格に抽出してまとめることで映像の要約を実現する新たな映像要約技術の提供を目的とする。
【課題を解決するための手段】
【００１４】
この目的を達成するために、本発明の映像要約装置は、処理対象の映像から人物の笑い状態を検出し、その検出結果に基づいて、その映像を要約することを実現するために、（１）処理対象の映像の各フレームについて、人物の顔画像が存在するのか否かを判断して、人物の顔画像が存在するフレームについて、その顔画像の領域を検出する顔画像領域検出手段と、（２）顔画像領域検出手段の検出した顔画像領域の表情が笑い状態にあるのかを検出することで、処理対象の映像のフレームの中に存在する笑い状態にあるフレームを検出する笑い状態フレーム検出手段と、（３）処理対象の映像の持つ音声の連続性および／または映像の連続性を検出して、それに基づいて、要約映像の候補対象となる候補区間を決定する候補区間決定手段と、（４）候補区間決定手段の決定した候補区間を構成するフレーム情報と笑い状態フレーム検出手段の検出した笑い状態にあるフレーム情報とに基づいて、候補区間決定手段の決定した候補区間に対して優先順位を付与する優先順位付与手段と、（５）優先順位付与手段の付与した優先順位に基づいて候補区間決定手段の決定した候補区間をつなぎ合わせることで、指定される視聴時間を充足する要約映像を生成する要約映像生成手段とを備えるように構成する。
【００１５】
このように構成されるときにあって、候補区間決定手段は、連続性の判断に用いる閾値を変更することで、決定する候補区間の長さを延伸あるいは収縮することがある。
【００１６】
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１７】
このように構成される本発明の映像要約装置では、処理対象の映像の各フレームについて、人物の顔画像が存在するのか否かを判断して、人物の顔画像が存在するフレームについて、その顔画像の領域を検出し、その検出した顔画像領域の表情が笑い状態にあるのかを検出することで、処理対象の映像のフレームの中に存在する笑い状態にあるフレームを検出する。
【００１８】
一方、処理対象の映像の持つ音声の韻律的特徴に基づいて音声の連続性を検出したり、処理対象の映像のカメラパラメータやシーンチェンジに基づいて映像の連続性を検出したり、あるいは、その双方の連続性を検出して、それに基づいて、要約映像の候補対象となる候補区間を決定する。
【００１９】
ここで、音声の連続性と映像の連続性の双方に基づいて候補区間を決定する場合には、音声の連続性に基づいて決定した候補区間を優先する形で最終的な候補区間を決定するようにして、映像の連続性に基づいて決定した候補区間が音声の連続性に基づいて決定した候補区間を内包するものである場合にのみ、映像の連続性に基づいて決定した候補区間でもって音声の連続性に基づいて決定した候補区間を変更することにより最終的な候補区間を決定することがある。
【００２０】
このようにして、処理対象の映像のフレームの中に存在する笑い状態にあるフレームを検出するとともに、要約映像の候補対象となる候補区間を決定すると、候補区間を構成するフレーム情報と笑い状態にあるフレーム情報とに基づいて、候補区間に対して優先順位を付与する。
【００２１】
例えば、候補区間のそれぞれについて笑い状態の出現頻度を求めて、その出現頻度が高くなるほど高い優先順位を付与する形で、候補区間に対して優先順位を付与したり、候補区間のそれぞれについて規定の時間内に出現する笑い状態の断続数を求めて、その断続数が大きくなるほど高い優先順位を付与する形で、候補区間に対して優先順位を付与する。
【００２２】
そして、候補区間に対して優先順位を付与すると、その付与した優先順位の順番に従って候補区間を選択してつなぎ合わせることで、指定される視聴時間を充足する要約映像を生成する。
【発明の効果】
【００２３】
本発明によれば、映像を要約する場合に、楽しそうな映像部分を抽出してまとめることでその映像の要約を実現することができるようになる。
【００２４】
これから、映像を視聴するユーザは、その映像の要約映像を見るだけで、その映像が楽しい映像であるのか、そうではない映像であるのかを知ることができるようになる。
【００２５】
この実現にあたって、本発明によれば、映像から検出される笑顔に基づいて楽しそうな映像部分を直接的に抽出することから、笑い声に基づいて楽しそうな映像部分を抽出することに比べて、楽しそうな映像部分をより適格に抽出することができるようになる。
【００２６】
しかも、この楽しそうな映像部分の抽出にあたって、映像の持つ音声の連続性を考慮することから、要約映像の候補対象となる候補区間を抽出するときに、笑顔区間だけを考慮することよりも意味的に候補区間を抽出することができるようになることで、楽しそうな映像部分をより適格に抽出することができるようになる。
【００２７】
しかも、この楽しそうな映像部分の抽出にあたって、出現頻度の高い映像部分や短時間に笑いの状態が断続的に発生する映像部分を優先する形で候補区間を抽出することから、楽しそうな映像部分をより適格に抽出することができるようになる。
【００２８】
しかも、この実現にあたって、本発明によれば、映像から人物の顔画像が存在するフレームを検出して、そのフレームから顔画像領域を求めて笑顔を検出するようにすることから、映像を構成する全フレームを分析対象とすることなく、笑顔検出を行う対象を限定することができるようになる。
【発明を実施するための最良の形態】
【００２９】
以下、実施の形態に従って本発明を詳細に説明する。
【００３０】
図１に、本発明を具備する映像要約装置１の装置構成の一実施形態例を図示する。
【００３１】
図１に示すように、本実施形態例の映像要約装置１は、中央処理ユニット（ＣＰＵ：Central Processing Unit)１１を備え、この中央処理ユニット１１には、バス１２を介してプログラムメモリ１３、データメモリ１４、通信インターフェース１５がそれぞれ接続されている。
【００３２】
そして、プログラムメモリ１３には、映像入力部１３ａ、顔画像領域抽出部１３ｂ、笑い状態検出部１３ｃ、候補区間決定部１３ｄ、要約生成部１３ｅが記憶され、データメモリ１４には、コンテンツ記憶部１４ａが設けられている。
【００３３】
〔Ｉ〕各処理部の処理
次に、本実施形態例の映像要約装置１の備える各処理部の処理について説明する。
【００３４】
（１）通信インターフェース１５の処理
通信インターフェース１５は、ＣＰＵ１１の制御の下、インターネット上のサーバおよびインターネットサイトとの間で、通信ネットワークにより規定される通信プロトコルに従い通信を行う。通信プロトコルとしては、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol)が使用される。
【００３５】
（２）映像入力部１３ａの処理
映像入力部１３ａは、処理対象の映像ファイルを入力して、それをコンテンツ記憶部１４ａに記憶する。
【００３６】
（３）顔画像領域抽出部１３ｂの処理
顔画像領域抽出部１３ｂは、処理対象の映像を構成する全フレームの中から、顔画像が存在するフレームを求める。顔画像がフレームに存在するのか否か、存在する場合に顔画像はどこであるのかを抽出するには、顔画像領域の抽出を可能とするライブラリの提供サイトがＯpen ＣＶ（http:/sourceforge.net/projects/opencvlibrary/)で情報提供されているので、そのライブラリを用いて行えばよい。
【００３７】
この顔画像領域抽出部１３ｂの処理により、図２に黒四角で模式的に示すように、顔画像の存在するフレームが抽出され、さらに、図３に示すように、そのフレームにおける顔画像領域が抽出されることになる。
【００３８】
（４）笑い状態検出部１３ｃの処理
笑い状態検出部１３ｃは、図３に示した顔画像領域を処理対象にして、表情が笑顔であるのか否かを判定することで、笑い状態の存在するフレームを検出する。
【００３９】
笑い状態の検出については、Ekman.P.,Friesen.W.,Hager.J.:Facial Action Coding System. The Manual on CDROM. Published by 'A Human Face' Salt Lake City. USA. 2002. ISBN0-931835-01-1 に示される Facial Action Coding System(FACS)により行えばよい。
【００４０】
この笑い状態検出部１３ｃの処理により、図４に黒四角で模式的に示すように、笑い状態の存在するフレームが検出される。ここで、このフレームは、図２に示したαの領域について拡大したものを示している。
【００４１】
（５）候補区間決定部１３ｄの処理
候補区間決定部１３ｄは、音声の連続性および／または映像の連続性を求めて、その求めた連続性に基づいて、要約映像の候補対象となる候補区間を決定する。
【００４２】
音声の連続性については、音声の自己相関係数を求め、この値に閾値、例えば０．７などとして、閾値以上のフレームを有声区間とし、閾値以下を無声区間とする。さらに、無声区間の連続性に閾値を設定し、例えば１秒などとして、これを満たす連続する無声区間で囲まれる有声区間を音声の連続区間（要約映像の候補対象となる候補区間となるもの）とすることで行う。
【００４３】
その他に、音声の連続性を求める手法としては、音声の韻律特徴から求める手法がある。例えば、特許第3803311 号、日高浩太、水野理、中嶌信弥、「音声処理方法及びその方法を使用した装置及びそのプログラム」で開示されている技術を用いて、音声の韻律特徴から音声の連続性を求めることができる。なお、この文献には、音声の強調状態に着目して映像を要約する技術が開示されている。
【００４４】
一方、映像の連続性については、シーンチェンジの時刻を求め、この時刻で囲まれる区間を映像の連続区間（要約映像の候補対象となる候補区間となるもの）としたり、カメラワークの開始時刻、終了時刻で囲まれる区間を映像の連続区間（要約映像の候補対象となる候補区間となるもの）とすることで行う。映像のカメラパラメータ検出については、例えば、特許第3408117 号、谷口行信、阿久津明人、外村佳伸、「カメラ操作推定方法およびカメラ操作推定プログラムを記録した記録媒体」により行えばよい。また、映像のシーンチェンジ検出については、例えば、特許第2839132 号、谷口行信、外村佳伸、「映像カット点検出方法及び装置」により行えばよい。
【００４５】
ここで、候補区間決定部１３ｄが候補区間の決定の際に用いる閾値を変更することで、候補区間の長さを変えることが可能となる。例えば、音声の場合、自己相関係数の閾値を変化させることなどにより、候補区間の長さを変えることが可能となる。閾値の設定は、例えば、候補区間の個数が映像の全長Ｔ秒を定数ｄで割ったＴ／ｄ程度存在するようにすればよい。一般に、映像のシーンは５〜１０秒程度であることが多いなどの知見を利用して、例えば、ｄ＝５秒として閾値を設定するなどしてもよい。
【００４６】
さらに、映像のシーンチェンジとカメラワークを考慮して映像の連続性を求める方法について説明する。
【００４７】
例えば、上記の音声の有声区間、無声区間から判定された音声の連続区間中にシーンチェンジやカメラワークが終了している場合、これらのシーンチェンジの時刻やカメラワークの終了時刻を連続区間の終端とはしない。その理由は、音声が連続しているのにもかかわらず、映像情報の連続区間を採用することは意味論的に意味がないためである。
【００４８】
逆に、音声の連続区間が終了した後に出現するシーンチェンジの時刻やカメラワークの終了時刻を、連続区間に採用することには意味がある。その理由は、音声の連続区間を内包する映像の連続区間であることが想定されるため、精度よくシーンを検出することが可能となるからである。
【００４９】
具体的には、カメラを被写体に向け、被写体が何かしらの音声を発声していたとする。その音声が終了した後に、シーンチェンジがあった場合、音声区間を内包するシーンチェンジの始終端を連続性として採用する。また、カメラをズーム、パンなどのカメラワークを存在させながら被写体を撮影し始めた後に、被写体が発声している場合においても、音声の連続区間後にカメラワークが終了していれば、カメラワークの始終端を連続性として採用すればよい。また、カメラワークよりもシーンチェンジの方を優先してもよい。
【００５０】
まとめると、候補区間決定部１３ｄは、
・音声の連続区間の開始時刻−ｔb 以内にシーンチェンジまたはカメラワークの開始      時刻がある場合、連続区間の開始時刻はシーンチェンジまたはカメラワークの開始      時刻に変更する
・音声の連続区間の終了時刻＋ｔa 以内にシーンチェンジまたはカメラワークの終了      時刻がある場合、連続区間の終了時刻はシーンチェンジまたはカメラワークの終了      時刻に変更する
・シーンチェンジとカメラワークがどちらも存在している場合には、シーンチェンジ      を優先的に採用する
・上記以外の場合には、音声の連続区間を変更なしに採用する
ことで連続性を判定して、要約映像の候補対象となる候補区間を決定するのである。ここで、ｔb,ｔa は任意の数値で、例えば５秒と設定してもよい。
【００５１】
図５に、音声、映像の連続性に着目して決定した候補区間の例を示す。この図には、Ａ〜Ｇの候補区間が示されており、これらの候補区間にどの程度笑い状態（黒四角で模式的に示す部分）の存在するフレームがあるかが見て取れる。
【００５２】
なお、図５では、候補区間が切れ目なく続く形で抽出されるという例を示しているが、これはあくまで一例である。
【００５３】
（６）要約生成部１３ｅの処理
要約生成部１３ｅは、候補区間決定部１３ｄの決定した各候補区間（例えばＡ〜Ｇの候補区間）に対して優先順位を付与することで、スケーラブルな長さの要約コンテンツ（要約映像）を生成する。
【００５４】
例えば、Ａ〜Ｇの候補区間のそれぞれに含まれるフレーム数をＬi （ｉ＝Ａ，Ｂ，Ｃ,....,Ｇ）としたとき、笑いの状態の存在するフレーム数Ｓi （ｉ＝Ａ，Ｂ，Ｃ,....,Ｇ）との割合Ｓi ／Ｌi （ｉ＝Ａ，Ｂ，Ｃ,....,Ｇ）を求めて、そのＳi ／Ｌi の値を降順に優先順位を付与するようにしてもよい。
【００５５】
また、別の優先順位の付与方法として、短時間に断続的に存在する笑いの状態の数に着目して優先順位を付与することもできる。人間の自然な表情の表出としては、何かしらの事象に対して微笑む／笑うことがある。その微笑む／笑う状態が短時間に断続的に存在しているところは、より重要な候補区間と考えることも可能である。
【００５６】
すなわち、単に長い間本発明により検出される笑い状態の存在するフレームが存在するかではなくて、断続的に連続する該フレームの束の数が重要であるという立場を取る考え方もある。この考え方に立つ場合には、例えば、図５のＧの候補区間は、笑いの状態の存在するフレームの総数および前記の割合ＳG ／ＬG については小さいものの、該フレームの束が短時間に多数存在していることから、このＧの候補区間に対して高い優先度を与えるのである。
【００５７】
笑いの状態の存在するフレームの束が短時間に断続的に多数存在しているのかについては、例えば、単位時間１秒間中の笑いの状態の存在するフレームの束の数を計測して、各候補区間（例えばＡ〜Ｇの候補区間）について、その最大値を特定することで評価することができる。このとき、候補区間の映像の先頭から１秒間の単位で、０．５秒ずつシフトしながらフレームの束の数を計測するようにしてもよい。このようにして評価したフレームの束の数を降順に優先順位を付与する。
【００５８】
要約生成部１３ｅは、必ずしも、ユーザの指定する視聴時間を必要とするものではないが、ユーザが視聴時間を指定した場合には、その視聴時間を満足するまで、あるいは、その視聴時間を超過するまで、前記の優先順位の昇順に候補区間（例えばＡ〜Ｇの候補区間）を抽出してつなぎ合わせることで、要約コンテンツを生成するようにしてもよい。
【００５９】
これにより、ユーザの所望する長さの要約コンテンツを生成することができるようになる。
【００６０】
仮に、ユーザが視聴時間を指定しない場合には、本発明の映像要約装置１を運用する者が予め例えば１５秒などと設定してもよい。あるいは、映像の全区間の総フレーム数に対しての笑い状態の存在するフレームの総数との割合である、ΣＳi ／ΣＬi （ｉ＝Ａ，Ｂ，Ｃ,....,Ｇ）を要約率としてもよい。この場合には、映像の全長がＴのときには、要約時間は、Ｔ×ΣＳi ／ΣＬi （ｉ＝Ａ，Ｂ，Ｃ,....,Ｇ）となる。
【００６１】
このようにして要約生成部１３ｅにより生成されることになる要約コンテンツは、笑い状態を含むフレームを主体的に扱うことで生成された要約コンテンツであることから、ユーザは要約コンテンツを視聴しながら、楽しい、嬉しい、盛り上がっている、感動的などの印象を持つことが可能になる。
【００６２】
また、映像・音声的に連続する区間を基に要約コンテンツを構成することから、ユーザは意味的にも内容を理解することが可能になる。
【００６３】
〔II〕映像要約装置１の実行するフローチャート
次に、図６〜図８に示すフローチャートに従って、このように構成される本実施形態例の映像要約装置１の実行する処理について説明する。
【００６４】
ここで、図６に示すフローチャートは顔画像領域抽出部１３ｂおよび笑い状態検出部１３ｃの実行する処理に相当し、図７に示すフローチャートは候補区間決定部１３ｄの実行する処理に相当し、図８に示すフローチャートは要約生成部１３ｅの実行する処理に相当する。
【００６５】
本実施形態例の映像要約装置１は、ユーザから処理対象の映像を指定して映像の要約要求があると、図６のフローチャートに示すように、まず最初に、ステップＳ１０１で、コンテンツ記憶部１４ａからその映像を読み出す。
【００６６】
続いて、ステップＳ１０２で、処理対象の映像の全てのフレームについて以下の処理を終了したのか否かを判断して、全てのフレームについて以下の処理を終了していないことを判断するときには、ステップＳ１０３に進んで、先頭のフレームからの順番に従って、処理対象の映像から未処理のフレームを１つ選択する。
【００６７】
続いて、ステップＳ１０４で、前述した処理に従って、選択したフレームに顔画像が存在するのか否かを判断するとともに、顔画像が存在する場合には顔画像領域を検出して、その判断結果・検出結果を図示しない作業用メモリに記録する。
【００６８】
続いて、ステップＳ１０５で、前述した処理に従って、ステップＳ１０４で検出した顔画像領域に存在する表情が笑顔であるのか否かを判断して、その判断結果を作業用メモリに記録してから、ステップＳ１０２の処理に戻る。
【００６９】
そして、ステップＳ１０２〜ステップＳ１０５の処理を繰り返していくことで、ステップＳ１０２で、処理対象の映像の全てのフレームについて処理を終了したことを判断すると、図６のフローチャートの処理を終了する。
【００７０】
このようにして、本実施形態例の映像要約装置１は、図６のフローチャートを実行することで、図９に示すように、処理対象の映像の各フレームについて、そのフレームに顔画像が存在するのか否かについて示す顔画像有無フラグと、そのフレームに存在する顔画像の表情が笑顔であるのか否かについて示す笑顔有無フラグとを作業用メモリに記録するように処理するのである。
【００７１】
本実施形態例の映像要約装置１は、図６のフローチャートの処理を終了すると、図７のフローチャートの処理に入って、まず最初に、ステップＳ２０１で、前述した処理に従って、処理対象の映像について、音声の連続性を求めて、それに基づいて要約映像の候補対象となる候補区間を抽出する。
【００７２】
続いて、ステップＳ２０２で、前述した処理に従って、処理対象の映像について、映像の連続性を求めて、それに基づいて要約映像の候補対象となる候補区間を抽出する。
【００７３】
続いて、ステップＳ２０３で、前述した処理に従って、ステップＳ２０１，Ｓ２０２の処理により抽出した２つの候補区間に基づいて、要約映像の候補対象となる最終的な候補区間を決定する。
【００７４】
続いて、ステップＳ２０４で、ステップＳ２０３で決定した候補区間についての開始フレーム情報・終了フレーム情報を作業用メモリに記録して、図７のフローチャートの処理を終了する。
【００７５】
このようにして、本実施形態例の映像要約装置１は、図７のフローチャートを実行することで、図１０に示すように、処理対象の映像から要約映像の候補対象となる例えばＭ個の候補区間を決定して、それらの各候補区間について、その候補区間の開始フレームの番号および終了フレームの番号を作業用メモリに記録するように処理するのである。
【００７６】
ここで、図７のフローチャートの処理については、図６のフローチャートの処理を終了してから実行に入るのではなくて、図６のフローチャートの処理に先行する形態で実行に入るようにしてもよい。
【００７７】
本実施形態例の映像要約装置１は、図６のフローチャートの処理を実行することで作業用メモリに図９に示す情報を書き込むとともに、図７のフローチャートの処理を実行することで作業用メモリに図１０に示す情報を書き込むと、図８のフローチャートに示すように、まず最初に、ステップＳ３０１で、作業用メモリに記録される図１０に示す情報に基づいて、各候補区間について、その候補区間に属するフレームの数Ｌi を求める。
【００７８】
続いて、ステップＳ３０２で、作業用メモリに記録される図９および図１０に示す情報に基づいて、各候補区間について、その候補区間に属するフレームの内の笑い状態の存在するフレームの数Ｓi を求める。
【００７９】
続いて、ステップＳ３０３で、各候補区間について、ステップＳ３０１で求めたフレーム数Ｌi とステップＳ３０２で求めたフレーム数Ｓi との割合である、Ｓi ／Ｌi を算出する。
【００８０】
続いて、ステップＳ３０４で、ステップＳ３０３で算出したＳi ／Ｌi に基づいて、その値が大きくなるほど高い優先順位を付与する形態で、各候補区間に対して優先順位を付与する。
【００８１】
続いて、ステップＳ３０５で、ステップＳ３０４で付与した優先順位の高い順に候補区間に属する映像を抽出してつなぎ合わせることで、指定される視聴時間を持つ要約映像を生成する。
【００８２】
このとき、つなぎ合わせた要約映像が指定される視聴時間を越えてしまう場合には、比率演算に従ってフレームの再生時間を短縮することで、その視聴時間に合わせるようにしてもよい。また、最後につなぎ合わせた候補区間を取り除くと、つなぎ合わせた要約映像が指定される視聴時間に足りないものの、その視聴時間にかなり近い場合には、最後につなぎ合わせた候補区間を取り除いて比率演算に従ってフレームの再生時間を伸長することで、その視聴時間に合わせるようにしてもよい。
【００８３】
このようにして、本実施形態例の映像要約装置１は、処理対象の映像を要約して要約映像を生成するときに、笑い状態を含むフレームを主体的に扱って映像を要約するように処理するのである。
【００８４】
本実施形態例の映像要約装置１は、図８のフローチャートを実行する場合には、候補区間のフレーム数Ｌi とその候補区間における笑いの状態の存在するフレーム数Ｓi との割合Ｓi ／Ｌi に基づいて、各候補区間に対して優先順位を付与して要約映像を生成するようにしたが、前述したように、断続的に連続する笑い状態の存在するフレームの束の数に基づいて、各候補区間に対して優先順位を付与して要約映像を生成するようにしてもよい。
【００８５】
図１１に、このような優先順位の付与に従って要約映像を生成する場合に本実施形態例の映像要約装置１が実行するフローチャートを図示する。
【００８６】
すなわち、本実施形態例の映像要約装置１は、断続的に連続する笑い状態の存在するフレームの束の数に基づいて、各候補区間に対して優先順位を付与して要約映像を生成する場合には、図１１のフローチャートに示すように、まず最初に、ステップＳ４０１で、図７のフローチャートの処理に従って決定した全ての候補区間について以下の処理を終了したのか否かを判断して、全ての候補区間について以下の処理を終了していないことを判断するときには、ステップＳ４０２に進んで、先頭の候補区間からの順番に従って、未処理の候補区間を１つ選択する。
【００８７】
続いて、ステップＳ４０３で、選択した候補区間の先頭からの変位量（単位はフレーム数でもよいし再生時間でもよい）を示す変数ｔs に初期値のゼロを設定する。
【００８８】
続いて、ステップＳ４０４で、選択した候補区間から、ｔs を開始点とするｔs 〜ｔs ＋Ｔ（Ｔは予め定めた長さで、単位は変位量と同じもの）の部分区間を切り出せるのか否かを判断する。すなわち、ｔs ＋Ｔが選択した候補区間に入るのか否かを判断することで、選択した候補区間からｔs 〜ｔs ＋Ｔの部分区間を切り出せるのか否かを判断するのである。
【００８９】
続いて、ステップＳ４０５で、ステップＳ４０４の判断処理に従って、選択した候補区間からｔs 〜ｔs ＋Ｔの部分区間を切り出せることを判断するときには（選択した候補区間をオーバーしないことを判断するときには）、ステップＳ４０６に進んで、選択した候補区間から、ｔs を開始点とするｔs 〜ｔs ＋Ｔの部分区間を切り出す。
【００９０】
続いて、ステップＳ４０７で、作業用メモリに記録される図９に示す情報に基づいて、切り出した部分空間に含まれる、笑い状態にない状態から笑い状態にある状態に変化した数と、笑い状態にある状態から笑い状態にない状態に変化した数との合計値を計数する。
【００９１】
続いて、ステップＳ４０８で、ｔs の値をΔｔ（Δｔは予め定めた長さで、単位は変位量と同じもの）をインクリメントしてから、ステップＳ４０４の処理に戻る。
【００９２】
このようにして、ステップＳ４０４〜ステップＳ４０８の処理を繰り返していくことで、ステップＳ４０５で、選択した候補区間からｔs 〜ｔs ＋Ｔの部分区間を切り出せないことを判断するときには、ステップＳ４０９に進んで、ステップＳ４０４〜ステップＳ４０８の繰り返し処理の中でステップＳ４０７で計数した変化数の最大値を特定して、その特定した最大値を選択した候補区間についての変化数の代表値として決定してから、ステップＳ４０１の処理に戻る。
【００９３】
そして、ステップＳ４０１〜ステップＳ４０９の処理を繰り返していくことで、ステップＳ４０１で、図７のフローチャートの処理に従って決定した全ての候補区間について処理を終了したことを判断するときには、ステップＳ４１０に進んで、ステップＳ４０９で決定した各候補区間についての変化数の代表値に基づいて、その値が大きくなるほど高い優先順位を付与する形態で、各候補区間に対して優先順位を付与する。
【００９４】
続いて、ステップＳ４１１で、ステップＳ４１０で付与した優先順位の高い順に候補区間に属する映像を抽出してつなぎ合わせることで、指定される視聴時間を持つ要約映像を生成する。
【００９５】
このようにして、本実施形態例の映像要約装置１は、図１１のフローチャートの処理に従う場合には、断続的に連続する笑い状態の存在するフレームの束の数に基づいて、各候補区間に対して優先順位を付与して要約映像を生成するように処理するのである。
【産業上の利用可能性】
【００９６】
本発明は映像を要約するときに適用できるものであり、本発明を適用することで、楽しそうな映像部分を適格に抽出してまとめることで映像の要約を実現することができるようになる。
【図面の簡単な説明】
【００９７】
【図１】本発明の映像要約装置の装置構成の一実施形態例である。
【図２】顔画像が存在するフレームの説明図である。
【図３】顔画像領域の説明図である。
【図４】笑い状態が存在するフレームの説明図である。
【図５】抽出された候補区間の説明図である。
【図６】本実施形態例の映像要約装置の実行するフローチャートである。
【図７】本実施形態例の映像要約装置の実行するフローチャートである。
【図８】本実施形態例の映像要約装置の実行するフローチャートである。
【図９】作業用メモリに記録される情報の説明図である。
【図１０】作業用メモリに記録される情報の説明図である。
【図１１】本実施形態例の映像要約装置の実行するフローチャートである。
【符号の説明】
【００９８】
１      映像要約装置
１１    中央処理ユニット
１２    バス
１３    プログラムメモリ
１３ａ  映像入力部
１３ｂ  顔画像領域抽出部
１３ｃ  笑い状態検出部
１３ｄ  候補区間決定部
１３ｅ  要約生成部
１４    データメモリ
１４ａ  コンテンツ記憶部
１５    通信インターフェース
【図１】
2010028705.tif 000003
【図２】
2010028705.tif 000004
【図３】
2010028705.tif 000005
【図４】
2010028705.tif 000006
【図５】
2010028705.tif 000007
【図６】
2010028705.tif 000008
【図７】
2010028705.tif 000009
【図８】
2010028705.tif 000010
【図９】
2010028705.tif 000011
【図１０】
2010028705.tif 000012
【図１１】
2010028705.tif 000013