(57)【要約】【課題】動画像からより視覚的に多くの情報と好印象を与えるフレームを選定する。【解決手段】代表フレーム選定システムであって、動画像情報に含まれる各フレーム間の類似度に応じた値が予め設定された基準以上であるフレームが連続する類似フレーム区間の長さに基づいて算出される前記各フレームについての重要度を取得する重要度取得手段と、前記各フレームに含まれる一部の隣接する複数のフレームから予め設定された評価基準に基づいて算出される前記各フレームの評価値を取得する評価値取得手段と、前記各フレームについての前記重要度及び前記評価値に基づいて、前記動画像情報に含まれる各フレームのうち、少なくとも１の代表フレームを選定する代表フレーム選定手段と、を含む。【選択図】図２
2015126510.tif 000002
【特許請求の範囲】
【請求項１】
動画像情報に含まれる各フレーム間の類似度に応じた値が予め設定された基準以上であるフレームが連続する類似フレーム区間の長さに基づいて算出される前記各フレームについての重要度を取得する重要度取得手段と、
前記各フレームに含まれる一部の隣接する複数のフレームから予め設定された評価基準に基づいて算出される前記各フレームの評価値を取得する評価値取得手段と、
前記各フレームについての前記重要度及び前記評価値に基づいて、前記動画像情報に含まれる各フレームのうち、少なくとも１の代表フレームを選定する代表フレーム選定手段と、
を含むことを特徴とする代表フレーム選定システム。
【請求項２】
前記各フレームについての重要度は、更に、前記各フレームについての前記各フレーム間の平均類似度に基づいて算出されることを特徴とする請求項１記載の代表フレーム選定システム。
【請求項３】
前記代表フレーム選定手段は、前記各フレームについての前記重要度及び前記評価値に基づいて算出される各フレームの統合評価値が極大となるフレームを、前記代表フレームとして選定することを特徴とする請求項１または２記載の代表フレーム選定システム。
【請求項４】
前記各フレームの統合評価値は、前記各フレームについての前記重要度及び前記評価値をかけあわせた値であることを特徴とする請求項３に記載の代表フレーム選定システム。
【請求項５】
前記各フレームの統合評価値は、前記各フレームについての前記重要度に応じた値及び前記評価値に応じた値の加算値であることを特徴とする請求項３記載の代表フレーム選定システム。
【請求項６】
前記統合評価値は、更に、既に代表フレームとして選定されたフレームの類似度に応じて重み付けすることによって取得され、前記代表フレーム選定手段は、該統合評価値が最大値を表すフレームを、前記代表フレームとして選定することを特徴とする請求項３乃至５のいずれかに記載の代表フレーム選定システム。
【請求項７】
前記予め設定された評価基準は、複数の評価基準を含み、
前記評価値取得手段は、前記複数の評価基準に基づいて前記各フレームの複数の評価値を取得し、
前記代表フレーム選定手段は、前記各フレームについての前記重要度及び前記複数の評価値に基づいて、前記動画像情報に含まれる複数の代表フレームを選定することを特徴とする請求項１乃至６のいずれかに記載の代表フレーム選定システム。
【請求項８】
前記代表フレーム選定手段は、前記複数の代表フレームを選定する場合において、前記複数の評価基準を予め設定された割合で用いることを特徴とする請求項７記載の代表フレーム算定システム。
【請求項９】
動画像情報に含まれる各フレーム間の類似度に応じた値が予め設定された基準以上であるフレームが連続する類似フレーム区間の長さに基づいて算出される前記各フレームについての重要度を取得する重要度取得手段、
前記各フレームに含まれる一部の隣接する複数のフレームから予め設定された評価基準に基づいて算出される前記各フレームの評価値を取得する評価値取得手段、
前記各フレームについての前記重要度及び前記評価値に基づいて、前記動画像情報に含まれる各フレームのうち、少なくとも１の代表フレームを選定する代表フレーム選定手段、
としてコンピュータを機能させることを特徴とする代表フレーム選定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、代表フレーム選定システム、代表フレーム選定プログラムに関する。
【背景技術】
【０００２】
例えば、ビデオの要約を選定する技術として、例えば、ビデオに含まれるフレームをセグメント化して当該セグメント毎に重要度を決定し、当該重要度に基づいてセグメントを選択するとともに、当該セグメントから最初のフレーム等を代表フレームとして選択する技術が知られている（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３０８００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、動画像からより視覚的に多くの情報と好印象を与えるフレームを選定する代表フレーム選定システム、代表フレーム選定プログラムに関する。
【課題を解決するための手段】
【０００５】
請求項１に記載の代表フレーム選定システムは、動画像情報に含まれる各フレーム間の類似度に応じた値が予め設定された基準以上であるフレームが連続する類似フレーム区間の長さに基づいて算出される前記各フレームについての重要度を取得する重要度取得手段と、前記各フレームに含まれる一部の隣接する複数のフレームから予め設定された評価基準に基づいて算出される前記各フレームの評価値を取得する評価値取得手段と、前記各フレームについての前記重要度及び前記評価値に基づいて、前記動画像情報に含まれる各フレームのうち、少なくとも１の代表フレームを選定する代表フレーム選定手段と、を含むことを特徴とする。
【０００６】
請求項２に記載の代表フレーム選定システムは、請求項１に記載の発明において、前記各フレームについての重要度は、更に、前記各フレームについての前記各フレーム間の平均類似度に基づいて算出されることを特徴とする請求項１記載の代表フレーム選定システム。
【０００７】
請求項３に記載の代表フレーム選定システムは、請求項１または２に記載の発明において、前記代表フレーム選定手段は、前記各フレームについての前記重要度及び前記評価値に基づいて算出される各フレームの統合評価値が極大となるフレームを、前記代表フレームとして選定することを特徴とする。
【０００８】
請求項４に記載の代表フレーム選定システムは、請求項３に記載の発明において、前記各フレームの統合評価値は、前記各フレームについての前記重要度及び前記評価値をかけあわせた値であることを特徴とする。
【０００９】
請求項５に記載の代表フレーム選定システムは、請求項３に記載の発明において、前記各フレームの統合評価値は、前記各フレームについての前記重要度に応じた値及び前記評価値に応じた値の加算値であることを特徴とする。
【００１０】
請求項６に記載の代表フレーム選定システムは、請求項３乃至５のいずれかに記載の発明において、前記統合評価値は、更に、既に代表フレームとして選定されたフレームの類似度に応じて重み付けすることによって取得され、前記代表フレーム選定手段は、該統合評価値が最大値を表すフレームを、前記代表フレームとして選定することを特徴とする。
【００１１】
請求項７に記載の代表フレーム選定システムは、請求項１乃至６のいずれかに記載の発明において、前記予め設定された評価基準は、複数の評価基準を含み、前記評価値取得手段は、前記複数の評価基準に基づいて前記各フレームの複数の評価値を取得し、前記代表フレーム選定手段は、前記各フレームについての前記重要度及び前記複数の評価値に基づいて、前記動画像情報に含まれる複数の代表フレームを選定することを特徴とする。
【００１２】
請求項８に記載の代表フレーム選定システムは、請求項７に記載の発明において、前記代表フレーム選定手段は、前記複数の代表フレームを選定する場合において、前記複数の評価基準を予め設定された割合で用いることを特徴とする。
【００１３】
請求項９に記載の代表フレーム選定プログラムは、動画像情報に含まれる各フレーム間の類似度に応じた値が予め設定された基準以上であるフレームが連続する類似フレーム区間の長さに基づいて算出される前記各フレームについての重要度を取得する重要度取得手段、前記各フレームに含まれる一部の隣接する複数のフレームから予め設定された評価基準に基づいて算出される前記各フレームの評価値を取得する評価値取得手段、前記各フレームについての前記重要度及び前記評価値に基づいて、前記動画像情報に含まれる各フレームのうち、少なくとも１の代表フレームを選定する代表フレーム選定手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１４】
請求項１、９に記載の発明によれば、動画像からより視覚的に多くの情報と好印象を与えるフレームが選定される。
【００１５】
請求項２に記載の発明によれば、更に、動画像に含まれる総フレームの中における類似するフレームの数に応じて各フレームの重要度が決定される。
【００１６】
請求項３、４、５、６に記載の発明によれば、選定された代表フレームに類似する代表フレームが選定されることが防止される。
【００１７】
請求項７、８に記載の発明によれば、より多様な代表フレームが選定される。
【図面の簡単な説明】
【００１８】
【図１】本実施の形態における代表フレーム選定システムのハードウェア構成の概要の一例を示す図である。
【図２】図１に示したサーバの機能的構成の一例を示す図である。
【図３】図２に示した重要度取得部の機能的構成の一例を示す図である。
【図４】図２に示した代表フレーム選定部の機能的構成の一例を示す図である。
【図５】重み付け算出部による重み付けについて説明するための図である。
【図６】代表フレーム選定システムの処理のフローの一例を示す図である。
【発明を実施するための形態】
【００１９】
図１は、本発明の代表フレーム選定システムのハードウェア構成の概要の一例を示す図である。図１に示すように、代表フレーム選定システム１００は、ネットワーク１３０（例えば、インターネット）を介して接続されたサーバ１１０及び端末１２０を有する。なお、図１においては、代表フレーム選定システム１００は、１の端末１２０のみを有しているが、その他複数の端末１２０を有してもよいし、その他スキャナやコピー機能を有するいわゆる複合機（図示なし）を含むように構成してもよい。
【００２０】
サーバ１１０は、制御部１１１、記憶部１１２、通信部１１３を含む。制御部１１１は、例えば、ＣＰＵ等であって、記憶部１１２に格納されたプログラムに従って動作する。記憶部１１２は、例えば、ハードディスクやＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部１１１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１１２は、制御部１１１のワークメモリとしても動作する。
【００２１】
通信部１１３は、ネットワークインターフェースであって、制御部１１１からの指示に応じて、ネットワーク１３０を介して、情報を送受信する。なお、制御部１１１、記憶部１１２、通信部１１３は、それぞれ、バス１１４を介して接続される。
【００２２】
端末１２０は、制御部１２１、通信部１２２、記憶部１２３、表示部１２４、操作部１２５を含む。同様に、各部１２０乃至１２５は、バス１２６を介して接続される。上述したサーバ１１０と同様に、制御部１２１は、例えば、ＣＰＵであって、記憶部１１２に格納されたプログラムに従って動作する。記憶部１２３は、例えば、ハードディスクやＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部１２１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１２３は、制御部１２１のワークメモリとしても動作する。
【００２３】
操作部１２５は、例えば、キーボード、マウス、ボタン等のインターフェースで構成され、ユーザの指示操作に応じて、当該指示操作の内容を制御部１２１に出力する。表示部１２４は、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、または有機ＥＬディスプレイ等であって、制御部１２１からの指示に従い、情報を表示する。
【００２４】
なお、上記制御部１１１及び１２１で処理されるプログラムは、例えば、ネットワーク１３０を介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。また、上記サーバ１１０や端末１２０の構成は一例であってこれに限定されるものではない。更に、上記においては、代表フレーム選定システム１００がいわゆるサーバ・クライアントシステムで構成される場合について説明したが、本実施の形態はこれに限定されるものではなく、いわゆるクラウド技術を用いて構成してもよいし、または、１のコンピュータ等の単体の装置として構成してもよい。
【００２５】
次に、本実施の形態における代表フレーム選定システム１００の機能的構成について説明する。図２は、図１に示したサーバの機能的構成の一例について説明するための図である。図２に示すように、サーバ１１０は、機能的に、動画像情報取得部２０１、重要度取得部２０２、評価値取得部２０３、代表フレーム選定部２０４、要約情報生成部２０５を含む。
【００２６】
動画像情報取得部２０１は、動画像情報を取得する。ここで、動画像情報は、例えば、複数のフレーム画像を含む。当該動画像情報は、例えば、端末から提供される。
【００２７】
重要度取得部２０２は、動画像情報に含まれる各フレーム間の類似度が予め設定された基準以上であるフレームが連続する類似フレーム区間の長さ、及び、各フレームについての前記各フレーム間の平均類似度に基づいて算出される各フレームについての重要度を取得する。
【００２８】
具体的には、例えば、図３に示すように、重要度取得部２０２は、機能的に、類似度算出部３０１、類似フレーム区間特定部３０２、平均類似度算出部３０３、重要度算出部３０４を含む。
【００２９】
類似度算出部３０１は、各フレーム間の類似度を算出する。具体的には、例えば、各フレームにおける、色分布、エッジ方向の分布、または、色ペアの距離関係に基づいて、各フレーム間の類似度を算出する。下記においては、当該類似度を下記式（１）、（２）で表す。ここで、Ｎは、動画像に含まれる総フレーム数を表し、ｓは、類似度を表す。つまり、ｓｉｊはｉ番目のフレームとｊ番目のフレームの類似度を表す。
【数１】
2015126510.tif 000003
【数２】
2015126510.tif 000004
【００３０】
類似フレーム区間特定部３０２は、類似するフレームが連続する区間（類似フレーム区間）の長さを特定する。具体的には、例えば、類似度に応じた値が所定の基準を満たすフレームが連続する区間の長さを特定する。より具体的には、例えば、下記式（３）、（４）に基づいて、類似フレーム区間の左端と右端を算出することにより類似フレーム区間の長さを特定する。ここで、式（３）、（４）におけるｔは、予め設定された閾値を表し、ｋは１乃至Ｎまでの自然数を表す。なお、例えば、単に連続して類似度が予め設定された閾値以上となる区間を類似フレーム区間とするなど、その他の方法により類似フレーム区間を特定するように構成してもよい。
【数３】
2015126510.tif 000005
【数４】
2015126510.tif 000006
【００３１】
平均類似度算出部３０３は、平均類似度を算出する。具体的には、例えば、下記式（５）を用いて、平均類似度を算出する。なお、式（５）において、Ｗiは、i番目のフレームと他のフレームとの間の平均類似度を表す。
【数５】
2015126510.tif 000007
【００３２】
重要度算出部３０４は、類似フレーム区間及び平均類似度に基づいて、各フレームの重要度を算出する。具体的には、例えば、下記式（６）を用いて重要度を算出する。なお、式（６）のうちの(ri - li)のみ、または、-log Wiのみを用いるなどその他の式を用いて算出してもよい。
【数６】
2015126510.tif 000008
【００３３】
評価値取得部２０３は、各フレームの評価値を取得する。具体的には、例えば、評価値取得部２０３は、対象とするフレームに隣接する複数のフレーム、例えば、１５乃至１００フレーム、（以下、近傍フレームという）から、予め設定された評価基準に基づいて、各フレームの評価値を取得する。ここで、予め設定された評価基準は、例えば、近傍フレームと対象フレーム間における、フレームに含まれる被写体の主要顔の正面度会いや笑顔度合い、所定の構図との合致度合い、カメラパラメータ変化の少なさ、動きの少なさ、または、動き出し量の大きさ等に基づく基準に相当する。
【００３４】
代表フレーム選定部２０４は、各フレームについての重要度及び評価値に基づいて、動画像に含まれる各フレームのうち、少なくとも１の代表フレームを選定する。具体的には、例えば、前記各フレームについての重要度及び前記評価値に基づいて算出される各フレームの統合評価値が極大となるフレームを、代表フレームとして選定する。
【００３５】
ここで、代表フレーム選定部２０４のより具体的な機能的構成の一例について説明する。図４に示すように、代表フレーム選定部２０４は、例えば、乗算部４０１、重み算出部４０２、統合評価値算出部４０３、最大値特定部４０４、判定部４０５、代表フレーム登録部４０６を含む。
【００３６】
乗算部４０１は、各フレームについての重要度及び評価値をそれぞれかけあわせる。
【００３７】
重み算出部４０２は、後述する登録された代表フレームの類似度に応じた重みを算出する。具体的には、例えば、式（７）に基づいて算出する。ここで、ｋは、何番目に選択した代表フレームかを表し、αｋは、予め設定された重みを表す。なお当該αｋは、一定値であってもよいし、ｋに応じて異なる値としてもよい。
【数７】
2015126510.tif 000009
【００３８】
統合評価値算出部４０３は、各フレームの重要度及び各フレームの評価値、及び、後述する登録された代表フレームの類似度に応じた重みに基づいて、各フレームについての統合評価値を算出する。具体的には、例えば、乗算部４０１による乗算結果と、算出された重みとを掛け合わせることにより各フレームについての統合評価値を算出する。
【００３９】
最大値特定部４０４は、算出された統合評価値が最大値を表すフレームを代表フレームとして特定する。ここで、例えば、上記式（７）からわかるように、重み算出部４０２により算出された重みは、既に選定された代表フレームに類似するフレームに対する統合評価値を減少させるように作用する。より具体的には、例えば、２番目の代表フレームを選定する場合において、図５に模式的に示すような類似度及び評価値が得られた場合、重みは、１番目に選定された代表フレームにおける類似度に基づいて、１番目の代表フレームの統合評価値付近の統合評価値を減少させるように作用する。したがって、最大値特定部４０４は、１番目の代表フレーム付近のフレームが再度代表フレームとして特定せずに、他の統合評価値の極大値（最初の統合評価値からみて２番目のピーク値）を特定する。つまり、既に選定された代表フレームに類似したフレームが、代表フレームとして特定されることが防止される。なお、図５において横軸はｉ（動画像情報に含まれる各フレームのうちの何番目のフレームかを表す）に相当する。
【００４０】
判定部４０５は、予め設定された数の代表フレームが選定されたか否かを判定する。代表フレーム登録部４０６は、判定部４０５が、予め設定された数の代表フレームが選定されていないと判定した場合には、選定された代表フレームを代表フレーム特定部４０４に登録する。なお、重み算出部４０２は、上記のように、当該登録された代表フレームに基づいて重みを算出する。一方、予め設定された数の代表フレームが選定されたと判定した場合には、代表フレームの選定処理を終了する。
【００４１】
要約情報生成部２０５は、選定された１または複数の代表フレームに基づいて、動画像の要約を表す要約情報を生成する。ここで、要約情報は、例えば、順に代表フレームを表示するように構成してもよいし、代表フレームを並べて表示するように構成してもよい。また、生成された要約情報は、例えば、ユーザの操作指示に応じて、ユーザの用いる端末に送信される。
【００４２】
なお、上記代表フレーム選定システム１００の機能的構成は一例であって、本実施の形態は上記に限られるものではない。例えば、代表フレーム選定システム１００の機能的構成の一部または全部を端末１２０等が有するように構成してもよいし、１の装置で実現するように構成してもよい。ここで、特許請求の範囲に記載の代表フレーム選定システムは、例えば、上記のようにサーバ１１０で実現される場合の他、端末１２０で実現される場合など１の装置で実現される場合の他、サーバ１１０と端末１２０で実現される場合など複数の装置等で実現される場合も含むことをいうまでもない。
【００４３】
図６は、本実施の形態における代表フレーム選定処理のフローの一例を示す図である。図６に示すように、まず、動画像情報取得部２０１は、動画像情報を取得する（Ｓ１０１）。類似度算出部３０１は、Ｓ１０１で取得された動画像情報に含まれる各フレーム間の類似度を算出する（Ｓ１０２）。類似フレーム区間特定部３０２は、類似するフレームが連続する区間（類似フレーム区間）の長さを特定する。（Ｓ１０３）。平均類似度算出部３０３は、平均類似度を算出する（Ｓ１０４）。重要度算出部３０４は、類似フレーム区間及び平均類似度に基づいて、各フレームの重要度を算出する（Ｓ１０５）。評価値取得部２０３は、各フレームの評価値を取得する（Ｓ１０６）。
【００４４】
統合評価値算出部４０３は、各フレームの重要度及び各フレームの評価値、Ｓ１１０で登録された代表フレームの類似度に応じた重みに基づいて、各フレームについての統合評価値を算出する（Ｓ１０７）。最大値特定部４０４は、算出された統合評価値が最大値を表すフレームを代表フレームとして特定する（Ｓ１０８）。判定部４０５は、所定の数の代表フレームが選定されたか否かを判定する（Ｓ１０９）。選定されていないと判定した場合には、選定された代表フレームを登録する（Ｓ１１０）。そして、Ｓ１０７に戻る。選定されたと判定した場合には、処理を終了する（Ｓ１１１）。
【００４５】
なお、上記フローは一例であって、本実施の形態は上記に限定されるものではない。例えば、Ｓ１０２及びＳ１０５の処理は、Ｓ１０６の処理の後に行うように構成してもよいし、同時に行うように構成してもよい。
【００４６】
本実施の形態によれば、各フレームを、動画像情報全体との関係から評価した重要度、及び、その近傍フレームから評価した評価値に基づいた統合評価値に基づいて、代表フレームが選定される。これにより、動画像からより視覚的に多くの情報と好印象を与えるフレームが選定される。
【００４７】
本発明は、上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。
【００４８】
例えば、上記各フレームについての重要度及び評価値をそれぞれかけあわせる乗算部４０１に代えて、下記式（８）に示すように、各フレームについての重要度及び評価値を重み付けして加算する加算部を設けてもよい。この場合、統合評価値算出部４０３は、当該加算部による加算結果と、算出された重みとを掛け合わせることにより各フレームについての統合評価値を算出することはいうまでもない。
【数８】
2015126510.tif 000010
【００４９】
また、評価値取得部２０３における評価値の基準は、複数の代表フレームを選定する場合には、複数の基準を用いるように構成してもよい。例えば、２の代表フレームを選定する場合に、最初の代表フレームの選定には、被写体の主要顔の正面度会いによる基準を用いた統合評価値を用い、２番目の代表フレームの選定には、所定の構図との合致度合いによる基準を用いた統合評価値を用いる等である。更に、当該評価値の基準は、複数の代表フレームを選定する場合には、上記各基準を予め設定された割合で用いるように構成してもよい。例えば、５の代表フレームを選定する場合に、主要顔の正面度会いによる基準を用いた統合評価値を１及び２番目の代表フレームの選定に用い、所定の構図との合致度合いによる基準を用いた統合評価値を３番目乃至５番目の代表フレームの選定に用いるなどである。
【００５０】
更に、上記においては重要度算出部３０４は、類似フレーム区間及び平均類似度に基づいて、各フレームの重要度を算出する場合について説明したが、いずれか一方に基づいて各フレームの重要度を算出するように構成してもよい。更に、上記においては、各フレーム間の類似度等に基づいて代表フレームを選定する場合について説明したが、例えば奇数番目のフレーム等、動画像に含まれる所定の数のフレームのみを用いて選定するように構成してもよい。
【符号の説明】
【００５１】
１００  代表フレーム選定システム、１１０  サーバ、１１１、１２１  制御部、１１２、１２３  記憶部、１１３、１２２  通信部１２０  端末、１２４表示部、１２５  操作部、２０１  動画像情報取得部、２０２  重要度取得部、２０３  評価値取得部、２０４  代表フレーム選定部、２０５  要約情報生成部、３０１  類似度算出部、３０２  類似フレーム区間特定部、３０３  平均類似度算出部、３０４  重要度算出部、４０１  乗算部、４０２  重み算出部、４０３  統合評価値算出部、４０４  最大値特定部、４０５  判定部、４０６  代表フレーム登録部。
【図１】
2015126510.tif 000011
【図２】
2015126510.tif 000012
【図３】
2015126510.tif 000013
【図４】
2015126510.tif 000014
【図５】
2015126510.tif 000015
【図６】
2015126510.tif 000016