(57)【要約】【課題】プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かを精度良く推定して分類可能にすること。【解決手段】動画像解析部1は、入力動画像の特徴を解析する。動画像分類部2は、動画像解析部1による解析結果を基に、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。動画像解析部1は、画面切り替わり頻度測定部11、手ブレ有無判定部12、ボケ有無判定部13、コントラスト測定部14を備える。さらに、入力動画像に付随する音響の特徴を解析する音響解析手段を備えさせ、有音か無音か、雑音の有無、背景音楽の有無を、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかの判断材料として利用することもできる。【選択図】図１
2008245040.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像の特徴を解析する動画像解析手段と、
前記動画像解析手段による解析結果を基に、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する動画像分類手段を具備し、
前記動画像解析手段は、入力動画像における画面切り替わり頻度を測定する画面切り替わり頻度測定手段と手ブレの有無を判定する手ブレ有無判定手段のうちの少なくとも一方を備えることを特徴とする動画像分類装置。
【請求項２】
前記動画像解析手段は、さらに、画面のボケの有無を判定するボケ有無判定手段とコントラストを測定するコントラスト測定手段の少なくとも一方を備えることを特徴とする請求項１に記載の動画像分類装置。
【請求項３】
前記動画像解析手段は、前記画面切り替わり頻度測定手段を備え、前記画面切り替わり頻度測定手段は、画面の切り替わりを検出する手段と、検出された画面の切り替わり数を単位時間当りで計数する手段から構成されることを特徴とする請求項１または２に記載の動画像分類装置。
【請求項４】
前記動画像解析手段は、前記手ブレ有無判定手段を備え、前記手ブレ有無判定手段は、入力フレームと該入力フレームより時間的に前のフレームとの間での動き方向および動き量を評価し、動き方向の分散が予め設定された第１の閾値より小さいという条件を満たし、かつ動き量の平均が予め設定された第２の閾値より小さいか動き量の分散が予め設定された第３の閾値より小さいかの少なくとも一方の条件を満たすフレームが、予め設定された第４の閾値のフレーム数だけ観測された場合に、手ブレが有ると判定することを特徴とする請求項１または２に記載の動画像分類装置。
【請求項５】
前記動画像解析手段は、前記ボケ有無判定手段を備え、前記ボケ有無判定手段は、画面を複数に分割して得られるブロックごとの画像に２次元周波数変換を施し、予め設定された高周波数帯域のエネルギが所定値以下のブロック数が全ブロックに対して占める割合が予め設定された第５の閾値より大きい場合に、ボケが有ると判定することを特徴とする請求項２に記載の動画像分類装置。
【請求項６】
前記動画像解析手段は、前記画面切り替わり頻度測定手段と前記手ブレ判定手段の両者を備え、前記動画像分類手段は、前記画面切り替わり頻度測定手段により測定される画面切り替わり頻度が単位時間当たりで所定閾値以上であり、かつ前記手ブレ有無判定手段により手ブレが無いと判定された場合に、入力動画像はプロカメラマンにより撮影されたものであると推定して分類することを特徴とする請求項１または２に記載の動画像分類装置。
【請求項７】
前記動画像解析手段は、前記画面切り替わり頻度測定手段と前記手ブレ判定手段のうちの少なくとも一方と、前記ボケ有無判定手段と前記コントラスト測定手段の少なくとも一方を備え、前記動画像分類手段は、前記画面切り替わり頻度測定手段と前記手ブレ判定手段のうちの少なくとも一方で画面切り替わり頻度が単位時間当たりで所定閾値以上あるいは手ブレが無いと判定され、かつ前記ボケ有無判定手段と前記コントラスト測定手段の少なくとも一方でボケがないあるいはコントラストが所定閾値以上と判定された場合に、入力動画像はプロカメラマンにより撮影されたものであると推定して分類することを特徴とする請求項２に記載の動画像分類装置。
【請求項８】
さらに、入力動画像に付随する音響の特徴を解析する音響解析手段を具備し、前記動画像分類手段は、前記動画像解析手段による解析結果に加えて前記音響解析手段による解析結果を用いて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものであるかを推定して分類することを特徴とする請求項１ないし７のいずれかに記載の動画像分類装置。
【請求項９】
前記音響解析手段は、有音か無音かを判定する有音無音判定手段と、雑音の有無を判定する雑音有無判定手段と、背景音楽の有無を判定する背景音楽有無判定手段のうちの少なくとも１つを備えることを特徴とする請求項８に記載の動画像分類装置。
【請求項１０】
前記音響解析手段は、前記雑音有無判定手段を備え、前記雑音有無判定手段は、有音を検出し、該有音を雑音と分類した場合に、雑音が有ると判定することを特徴とする請求項９に記載の動画像分類装置。
【請求項１１】
前記音響解析手段は、前記背景音楽有無判定手段を備え、前記背景音楽有無判定手段は、有音を検出し、該有音を背景音楽と分類した場合に、背景音楽が有ると判定することを特徴とする請求項９に記載の動画像分類装置。
【請求項１２】
前記音響解析手段は、前記有音無音判定手段を備え、前記動画像分類手段は、前記有音無音判定手段により入力動画像に付随する音響が予め規定された時間区間において無音であると判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類することを特徴とする請求項９に記載の動画像分類装置。
【請求項１３】
前記動画像分類手段は、前記雑音有無判定手段手段により入力動画像に付随する音響が雑音を含むと判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類することを特徴とする請求項１０に記載の動画像分類装置。
【請求項１４】
前記動画像分類手段は、前記背景音楽有無判定手段により入力動画像に付随する音響が背景音楽を含むと判断された場合に、入力動画像はプロカメラマンの撮影したものであると推定して分類することを特徴とする請求項１１に記載の動画像分類装置。
【請求項１５】
前記動画像分類手段は、入力動画像をプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴の分類基準が予め学習により設定される機械学習器であることを特徴とする請求項１ないし１４のいずれかに記載の動画像分類装置。
【請求項１６】
前記動画像分類手段は、入力動画像をプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴および音響特徴の分類基準が予め学習により設定される機械学習器であることを特徴とする請求項１ないし１４のいずれかに記載の動画像分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像分類装置に関し、特に、プロカメラマンが撮影した動画像かアマチュアが撮影した動画像かを推定して分類する動画像分類装置に関する。
【背景技術】
【０００２】
プロカメラマンが撮影し、テレビ番組で放送された動画像が動画像投稿サイトなどに無断で投稿されることが問題になっている。このような動画像の投稿は、著作権侵害が分かった段階で、早急に削除されるのが望ましく、それを補助するために、プロカメラマンが撮影した動画像かアマチュアが撮影した動画像かを推定して分類する動画像分類装置が望まれる。
【０００３】
非特許文献１には、静止画像(写真)を対象としてプロカメラマンが撮影した写真かアマチュアが撮影した写真かを推定して分類する技術が開示されている。ここでは、写真におけるエッジ部分の空間的な分布、色の分布、色調の数、ボケ、コントラスト及び明るさをベイズ識別器を用いて判定し、この判定結果に基づいて、プロカメラマンが撮影した写真かアマチュアが撮影した写真かを推定して分類する。
【０００４】
画像を露出条件、コントラスト、ボケ、ブレ具合の観点から評価することも知られている。例えば、特許文献１には、デジタルカメラなどの画像撮影装置において、記録媒体の残り容量が低いときに、既に記録済みの画像を露出条件、コントラスト、ボケ、ブレ具合の観点から評価し、この評価結果に基づいて記録媒体から削除する画像の候補を決定することが記載されている。
【特許文献１】特開２００６−５０４９７号公報
【非特許文献１】The Design of High-Level Features for photo Quality Assessment」，IEEE International Conference on Computer Vision and Pattern Recognition 2006.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１に開示された技術は、静止画像のみを対象としたものであり、これをそのまま動画像の分類に適用した場合、プロカメラマンとアマチュアとの差異として生じる動画像の特徴を何ら利用しないので、分類精度上の問題がある。
【０００６】
特許文献１に開示された技術は、デジタルカメラの記録媒体に記録された画像の中からの不要な画像の消去を意図するものであり、プロカメラマンが撮影したものかアマチュアが撮影したものかを推定し、分類することを意図しない。
【０００７】
動画像を対象とし、プロカメラマンとアマチュアとの差異として生じる動画像の特徴を利用して、プロカメラマンが撮影したものかアマチュアが撮影したものかを推定し、分類する技術は知られていない。
【０００８】
本発明の目的は、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かを精度良く推定して分類する動画像分類装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、入力動画像の特徴を解析する動画像解析手段と、前記動画像解析手段による解析結果を基に、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する動画像分類手段を具備し、前記動画像解析手段は、入力動画像における画面切り替わり頻度を測定する画面切り替わり頻度測定手段と手ブレの有無を判定する手ブレ有無判定手段のうちの少なくとも一方を備える点に第１の特徴がある。
【００１０】
また、本発明は、前記動画像解析手段が、さらに、画面のボケの有無を判定するボケ有無判定手段とコントラストを測定するコントラスト測定手段の少なくとも一方を備える点に第２の特徴がある。
【００１１】
また、本発明は、前記動画像解析手段が、前記画面切り替わり頻度測定手段を備え、前記画面切り替わり頻度測定手段が、画面の切り替わりを検出する手段と、検出された画面の切り替わり数を単位時間当りで計数する手段から構成される点に第３の特徴がある。
【００１２】
また、本発明は、前記動画像解析手段が、前記手ブレ有無判定手段を備え、前記手ブレ有無判定手段は、入力フレームと該入力フレームより時間的に前のフレームとの間での動き方向および動き量を評価し、動き方向の分散が予め設定された第１の閾値より小さいという条件を満たし、かつ動き量の平均が予め設定された第２の閾値より小さいか動き量の分散が予め設定された第３の閾値より小さいかの少なくとも一方の条件を満たすフレームが、予め設定された第４の閾値のフレーム数だけ観測された場合に、手ブレが有ると判定する点に第４の特徴がある。
【００１３】
また、本発明は、前記動画像解析手段が、ボケ有無判定手段を備え、前記ボケ有無判定手段は、画面を複数に分割して得られるブロックごとの画像に２次元周波数変換を施し、予め設定された高周波数帯域のエネルギが所定値以下のブロック数が全ブロックに対して占める割合が予め設定された第５の閾値より大きい場合に、ボケが有ると判定する点に第５の特徴がある。
【００１４】
また、本発明は、前記動画像解析手段が、前記画面切り替わり頻度測定手段と前記手ブレ判定手段の両者を備え、前記動画像分類手段は、前記画面切り替わり頻度測定手段により測定される画面切り替わり頻度が単位時間当たりで所定閾値以上であり、かつ前記手ブレ有無判定手段により手ブレが無いと判定された場合に、入力動画像はプロカメラマンにより撮影されたものであると推定して分類する点に第６の特徴がある。
【００１５】
また、本発明は、前記動画像解析手段が、前記画面切り替わり頻度測定手段と前記手ブレ判定手段のうちの少なくとも一方と、前記ボケ有無判定手段と前記コントラスト測定手段の少なくとも一方を備え、前記動画像分類手段は、前記画面切り替わり頻度測定手段と前記手ブレ判定手段のうちの少なくとも一方で画面切り替わり頻度が単位時間当たりで所定閾値以上あるいは手ブレが無いと判定され、かつ前記ボケ有無判定手段と前記コントラスト測定手段の少なくとも一方でボケがないあるいはコントラストが所定閾値以上と判定された場合に、入力動画像はプロカメラマンにより撮影されたものであると推定して分類する点に第７の特徴がある。
【００１６】
また、本発明は、さらに、入力動画像に付随する音響の特徴を解析する音響解析手段を具備し、前記動画像分類手段は、前記動画像解析手段による解析結果に加えて前記音響解析手段による解析結果を用いて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する点に第８の特徴がある。
【００１７】
また、本発明は、前記音響解析手段が、有音か無音かを判定する有音無音判定手段と、雑音の有無を判定する雑音有無判定手段と、背景音楽の有無を判定する背景音楽有無判定手段のうちの少なくとも１つを備える点に第９の特徴がある。
【００１８】
また、本発明は、前記音響解析手段が、前記雑音有無判定手段を備え、前記雑音有無判定手段は、有音を検出し、該有音を雑音と分類した場合に、雑音が有ると判定する点に第１０の特徴がある。
【００１９】
また、本発明は、前記音響解析手段が、前記背景音楽有無判定手段を備え、前記背景音楽有無判定手段は、有音を検出し、該有音を背景音楽と分類した場合に、背景音楽が有ると判定する点に第１１の特徴がある。
【００２０】
また、本発明は、前記音響解析手段が、前記有音無音判定手段を備え、前記動画像分類手段は、前記有音無音判定手段により入力動画像に付随する音響が予め規定された時間区間において無音であると判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類する点に第１２の特徴がある。
【００２１】
また、本発明は、前記動画像分類手段が、前記雑音有無判定手段手段により入力動画像に付随する音響が雑音を含むと判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類する点に第１３の特徴がある。
【００２２】
また、本発明は、前記動画像分類手段が、前記背景音楽有無判定手段により入力動画像に付随する音響が背景音楽を含むと判断された場合に、入力動画像はプロカメラマンの撮影したものであると推定して分類する点に第１４の特徴がある。
【００２３】
また、本発明は、前記動画像分類手段が、入力動画像をプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴の分類基準が予め学習により設定される機械学習器である点に第１５の特徴がある。
【００２４】
さらに、本発明は、前記動画像分類手段が、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴および音響特徴の分類基準が予め学習により設定される機械学習器である点に第１６の特徴がある。
【発明の効果】
【００２５】
本発明では、動画像に特有な特徴、さらには動画像に付随する音響の特徴を解析して、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類するので、テレビ放送向けや映画向けなど業務用カメラを使ってプロカメラマンが撮影した動画像と、例えばハンディカメラや携帯電話のカメラを使ってアマチュアが撮影した動画像を精度良く分類することができる。
【００２６】
通常、プロカメラマンが撮影した動画像には著作権が付随していることが多いので、例えば、動画像の投稿サイトなどにおいて、プロカメラマンが撮影した動画像が利用者によって無断で投稿された場合でも、それを直ちに発見し、著作権の保護を求めることができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像分類装置の第１実施形態を示す機能ブロック図である。第１実施形態の動画像分類装置は、動画像解析部1および動画像分類部2を備える。なお、これらの部分は、ハードウエアでもソフトウエアでも実現できる。
【００２８】
動画像解析部1は、任意の入力動画像に含まれる特徴を解析する。ここで解析する特徴については後述する。動画像分類部2は、動画像解析部1による解析結果に基づいて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。
【００２９】
動画像解析部1は、画面切り替わり頻度測定部11、手ブレ有無判定部12、ボケ有無判定部13およびコントラスト測定部14を備え、入力動画像の主に信号的な特徴を解析する。ここで、画面切り替わり頻度と手ブレは、動画像がプロカメラマンが撮影したものかアマチュアが撮影したものかを推定するのに特に有効な特徴である。したがって、動画像解析部1は、画面切り替わり頻度測定部11と手ブレ有無判定部12のうちの少なくとも一方を備えることが必須であり、ボケ有無判定部13とコントラスト測定部14は、必要に応じて適宜追加されるものである。もちろん、動画像解析部1で解析する特徴の要素を増やせば精度の向上が期待できる。
【００３０】
以下、動画像解析部1の各部について詳細に説明する。画面切り替わり頻度測定部11は、動画像における画面の切り替わり点を検出すると共に単位時間における画面の切り替わり回数を測定する。すなわち画面切り替わり頻度を測定する。なお、画面の切り替わり点の検出には、特開平１０−２２４７４１号公報に記載されている技術を利用できる。画面の切り替わり回数を測定する単位時間は、例えば60秒などに設定することができる。
【００３１】
図２は、プロカメラマンとアマチュアの撮影による動画像における画面切り替わりの様子を示す具体例を示す図である。同図(ａ)は、プロカメラマンの撮影による動画像における画面切り替わり点を示し、同図(ｂ)は、アマチュアの撮影による動画像における画面切り替わり点を示している。
【００３２】
画面の切り替わり点は、一般的には、カメラのオン/オフによって生じるが、プロカメラマンにより撮影された動画像では、撮影中に被写体を写すカメラの切り替えで挿入されたり、撮影後の編集によって挿入されたりすることも多い。したがって、画面の切り替わりが頻繁に発生している動画像は、プロカメラマンにより撮影された動画像である可能性が高い。これに対して、アマチュアにより撮影された動画像では、一般的に、画面の切り替わり点は、カメラのオン/オフによって生じるのみである。したがって、単位時間における画面の切り替わり回数は、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に有効な情報となる。
【００３３】
手ブレ有無判定部12は、動画像における撮影時の手ブレの有無を判定する。手ブレは、撮影者の手がブレることによって生じるため、手ブレが含まれる動画像はアマチュアにより撮影された動画像である可能性が高い。したがって、手ブレの有無も、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に有効な情報である。
【００３４】
図３は、手ブレ有無判定処理の例を示すフローチャートである。フレーム数csを0に初期設定(S30)した後、動画像のフレームnを入力し(S31)、その画面をN×M個のブロックに分割する(S32)。次に、フレームnに対して時間的にXフレーム前(Xは任意数)のフレーム(n-X)の間で該当ブロック間での動き方向と動き量を測定する(S33)。この動き方向と動き量は、例えば、該当ブロック間での動きベクトルを求めることによって測定できる。なお、フレーム(n-X)の画面も既にN×M個のブロックに分割されているものとする。
【００３５】
次に、以上のようにして求めた画面内での動き方向の分散が、第１の閾値Th1より小さいという条件を満たし、かつ動き量に関する条件(すなわち、動き量の平均が第２の閾値より小さい、または動き量の分散が第３の閾値より小さい、の少なくとも一方)を満たすか否かを判定する(S34)。
【００３６】
S34で、動き方向の分散が条件を満たすと判定された場合、csを1だけインクリメント(cs=cs+1)する(S35)。その後、csが第４の閾値Th4を超えたか否かを判定し(S36)、超えていないと判定された場合は、フレームを(n+X)とし(S37)、S31に戻って処理を繰り返す。
【００３７】
S34で、動き方向の分散が条件を満たさないと判定された場合には、フレーム数csを0に設定し、さらにフレームを(n+X)とし(S38)、S31に戻って処理を繰り返す。
【００３８】
また、S36で、csが第４の閾値Th4を超えたと判定された場合は、フレームnからcsが第４の閾値Th4を超えるまでの観測区間で手ブレが存在したと判定する(S39)。
【００３９】
図３に示すフローチャートでは、画面内での動き方向の分散が、第１の閾値Th1より小さいという条件を満たし、かつ動き量に関する条件を満たすフレーム数が第４の閾値Th4を超えて観測された場合に、この観測区間で手ブレが存在したと判定している。これを動画像における手ブレ有無の判定結果とする。
【００４０】
手ブレの有無の判定手法は、図３や他の特定手法に限定されるものではなく、特開２００６−１２９０７４号に開示されている技術などを利用することもできる。
【００４１】
ボケ有無判定部13は、動画像における撮影時のボケの有無を判定する。動画像における撮影時のボケは、被写体に焦点が合っていない場合などに生じる。ボケが含まれる動画像はアマチュアにより撮影された動画像である可能性が高い。したがって、ボケの有無も、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。
【００４２】
動画像における撮影時のボケの有無は、画面内の周波数特性を評価することにより判定できる。例えば、画像に、MPEGなどの動画像符号化で用いられている離散コサイン変換などの２次元周波数変換を施す。そして、比較的高い周波数帯域までエネルギが存在すれば、精細なテクスチャやエッジが表現されていることになり、画面内にボケが含まれていないと推定できる。一方、比較的低い周波数帯域にしかエネルギが存在しない場合、テクスチャやエッジがぼやけていると推定できる。
【００４３】
図４は、ボケ有無判定の概念を示す図である。入力フレームをN×Mブロックに分割し、各ブロックごとに２次元周波数変換を施す。各ブロックを２次元周波数変換した後、画面全体を考慮して高周波数帯域までエネルギが存在すれば、ボケなしとしてプロカメラマンにより撮影された動画像と推定とし、低周波数帯域にしかエネルギが存在しなければ、ボケありとしてアマチュアにより撮影された動画像と推定する。
【００４４】
図５は、ボケ有無判定処理の例を示すフローチャートである。まず、フレームnを入力し(S50)、その画面をN×M個のブロックに分割し(S51)、分割された各ブロックを２次元周波数変換する(S52)。
【００４５】
次に、ブロック数cb、ブロック番号mをそれぞれ0に初期設定(S53)した後、m番目のブロックを入力し(S54)、このブロックの高周波数帯域にエネルギが存在するか否かを判定する(S55)。なお、ここで判定する高周波数帯域は、ボケの有無の境界を定めるものとして予め設定しておく。これを可変できるようにしておくことも好ましい。S55で、ブロックの高周波数帯域のエネルギが所定値以下と判定された場合、cbを1だけインクリメント(cb=cb+1)する(S56)。
【００４６】
S55で、ブロックの高周波数帯域のエネルギが所定値超と判定された場合およびS56の処理が済んだ後には、mがN×Mに達したか否かを判定する(S57)。
【００４７】
S57で、mがN×Mに達していないと判定された場合、まだ画面内に未判定ブロックが残っているので、mを1だけインクリメント(m=m+1)し(S58)、S54に戻って処理を繰り返す。
【００４８】
S57で、mがN×Mに達したと判定された場合、画面内の全てのブロックの判定が済んだので、画面内の全ブロック数に対する高周波数帯域のエネルギが所定値以下のブロック数の割合(cb/(N×M))を求め、これが第５の閾値Th5より大きいか否かを判定する(S59)。第５の閾値Th5は、例えば0.75(75%)とすることができる。
【００４９】
S59で、cb/(N×M)＞Th5と判定された場合、フレームnをボケ画像と判定し(S60)、そう判定されない場合は、フレームnをボケ画像と判定しない。
【００５０】
コントラスト測定部14は、動画像における画面のコントラストを測定する。画面のコントラストは、業務用などの高性能なカメラで被写体を撮影したり、補助光を用いて撮影したりすると高くなるので、画面のコントラストが高い動画像は、プロカメラマンにより撮影された動画像である可能性が高い。したがって、画面のコントラストも、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。
【００５１】
画面のコントラストの測定には、特表２００５−５３３４２４号公報に記載されている技術などを利用できる。
【００５２】
動画像分類部2は、画面切り替わり頻度測定部11、手ブレ有無判定部12、ボケ有無判定部13およびコントラスト測定部14により得られた解析結果に基づいて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。画面切り替わり頻度や手ブレ有無は、動画像の判定で特に有効なものであるので、画面切り替わり頻度測定部11と手ブレ有無判定部12の解析結果の少なくとも一方は必須とする。
【００５３】
例えば、(1)画面切り替わり頻度測定部11により測定された画面の切り替わり頻度が一定値以下である、(2)手ブレ有無判定部12により手ブレが有ると判定された、のうちの少なくとも一方の条件が満たされ、さらに追加的に(3)ボケ有無判定部13によりボケが有ると判定された、(4)コントラスト測定部14により測定された画面内コントラストが一定値以下の値である、という条件が満たされた場合、動画像分類部2は、入力動画像がアマチュアによって撮影されたものであると推定して分類する。
【００５４】
図６は、本発明に係る動画像分類装置の第２実施形態を示す機能ブロック図である。第２実施形態の動画像分類装置は、第１実施形態における動画像解析部1に加えて音響解析部3を具備させることにより、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かを推定するための判断材料を増やすことにより、分類の精度をより高めることを可能としたものである。
【００５５】
動画像解析部1は、第１実施形態と構成および動作が同じであるので、説明を省略する。音響解析部3は、入力動画像に付随している音響の特徴を解析する。動画像分類部2は、動画像解析部1と音響解析部3の両者の解析結果に基づいて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。なお、入力動画像に音響が付随していない場合には、第１実施形態と同様に、動画像解析部1のみの解析結果に基づいて入力動画像を分類できるようにしておくのが好ましい。
【００５６】
音響解析部3は、有音無音判定部31、雑音有無判定部32および背景音楽有無判定部33を備える。以下、各部について詳細に説明する。
【００５７】
有音無音判定部31は、動画像に付随する音響が有音であるか無音であるかを判定する。映画やテレビ番組など、プロカメラマンにより撮影された動画像は、意図的に無音にする場合を除き、通常は有音であることが殆どである。これに対し、アマチュアにより撮影された動画像では、意図せずとも無音になることがあり得る。したがって、無音である動画像は、アマチュアにより撮影された動画像である可能性が高く、動画像に付随する音響が有音か無音かは、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。なお、有音無音の判定には、特許３６０７４５０号に開示されている技術などを利用することができる。
【００５８】
雑音有無判定部32は、動画像に付随する音響が雑音であるかどうかを判定する。雑音は、動画像を撮影する際に被写体とは無関係の環境音や音声が意図せず録音されてしまった場合や、性能の低いマイクを使って録音した場合に生じるので、雑音が付随している動画像はアマチュアにより撮影された動画像である可能性が高い。したがって、動画像に付随する音響が雑音であるかどうかも、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。なお、雑音の有無の判定には、特開平５−２９７８９６号に開示されている技術などを利用することができる。
【００５９】
背景音楽判定部33は、動画像に付随する音響が背景音楽であるかどうかを判定する。背景音楽は、撮影後の編集によって挿入される場合が多いので、背景音楽が付随している動画像はプロカメラマンにより撮影された動画像である可能性が高い。したがって、動画像に付随する音響が背景音楽であるかどうかも、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。なお、背景音楽の有無の判定には、特許３６０７４５０号に開示されている技術などを利用することができる。
【００６０】
動画像分類部2は、動画像解析部1による解析結果に加えて、音響解析部3の有音無音判定部31、雑音有無判定部32および背景音楽有無判定部33により得られた解析結果を用いて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。
【００６１】
例えば、動画像解析部1による解析結果に加えて、(5)音響が無音である、(6)音響に雑音が観測される、(7)音響に背景音楽が含まれてない、の条件が満たされた場合に、入力動画像がアマチュアによって撮影された動画像であると推定して分類することができる。
【００６２】
図６は、本発明に係る動画像分類装置の第３実施形態を示す機能ブロック図である。第３実施形態の動画像分類装置は、Z段(Z：2以上の整数)の動画像解析部を直列に接続したものである。各動画像解析部は、入力動画像の異なる特徴を解析する。各動画像解析部での解析結果から入力動画像がアマチュアによって撮影されたものであるかどうかを推定し、アマチュアによって撮影されたものであると推定されれば、その段階で入力動画像をアマチュアによって撮影されたものとして分類する。
【００６３】
図６では、画面切り替わり頻度測定部11を備えた動画像解析部1、ボケ有無判定部13を備えた動画像解析部1′、コントラスト測定部14を備えた動画像解析部1″を直列に接続している(Z=3)。動画像分類部2、2′、2″はそれぞれ、動画像解析部1、1′、1″での解析結果から入力動画像がアマチュアによって撮影されたものであるかどうかを推定し、アマチュアによって撮影されたものであると推定されれば、該入力動画像をアマチュアによって撮影されたものとして分類する。動画像分類部2″は、アマチュアによって撮影されたものと分類されなかった入力動画像をプロカメラマンによって撮影されたものとして分類する。
【００６４】
第３実施形態では、プロカメラマンにより撮影されたと推定される動画像を段階を追って絞り込むので、後段での処理対象の動画像が徐々に少なくなっていく。これにより、処理負担の低減が期待できる。
【００６５】
以上実施形態について説明したが、本発明は、上記実施形態に限定されず、種々に変形可能である。例えば、第３実施形態の動画像分類部2、2′、2″を、プロカメラマンによって撮影された動画像を推定して分類するものとし、動画像分類部2″では、それまでに分類されなかった動画像をアマチュアによって撮影されたものとして分類するようにすることもできる。
【００６６】
また、プロカメラマンにより撮影された動画像の特徴とアマチュアにより撮影された動画像の特徴を予め学習し、その学習に基づいて設定された分類基準を用いて、入力動画像がプロカメラマンによって撮影されたものかアマチュアにより撮影されたものであるかの分類基準を設定することもできる。すなわち、プロカメラマンにより撮影された動画像における画面切り替わり頻度、手ブレ有無、ボケ有無、コントラストの振る舞いと、アマチュアにより撮影された動画像におけるそれらの振る舞いを予め学習させておいた機械学習器を動画像分類部2(2′、2″)として用いることもできる。機械学習器としては、サポートベクターマシンなどを利用することができる。
【００６７】
さらに、この機械学習器には、プロカメラマンにより撮影された動画像における有音無音、雑音有無、背景音楽有無の振る舞いと、アマチュアにより撮影された動画像におけるそれらの振る舞いを予め学習させておくこともできる。
【図面の簡単な説明】
【００６８】
【図１】本発明に係る動画像分類装置の第１実施形態を示す機能ブロック図である。
【図２】プロカメラマンとアマチュアの撮影による動画像における画面切り替わりの様子を示す具体例を示す図である。
【図３】手ブレ有無判定処理の例を示すフローチャートである。
【図４】ボケ有無判定の概念を示す図である。
【図５】ボケ有無判定処理の例を示すフローチャートである。
【図６】本発明に係る動画像分類装置の第２実施形態を示す機能ブロック図である。
【図７】本発明に係る動画像分類装置の第３実施形態を示す機能ブロック図である。
【符号の説明】
【００６９】
1、1′、1″・・・動画像解析部、2、2′、2″・・・動画像分類部、3・・・音響解析部、11・・・画面切り替わり頻度測定部、12・・・手ブレ有無判定部、13・・・ボケ有無判定部、14・・・コントラスト測定部、31・・・有音無音判定部、32・・・雑音有無判定部、33・・・背景音楽有無判定部
【図１】
2008245040.tif 000003
【図２】
2008245040.tif 000004
【図３】
2008245040.tif 000005
【図５】
2008245040.tif 000006
【図６】
2008245040.tif 000007
【図７】
2008245040.tif 000008
【図４】
2008245040.tif 000009