(57)【要約】【課題】統一的な動きを持つ映像に対しては小さいノイズ許容度を、乱雑な動きをもつ映像に対しては大きなノイズ許容度を算出して、人間の主観により近いノイズ許容度を求める。【解決手段】本発明は、入力映像のｎフレーム目の動き配列とn+1フレーム目の動き配列を用いて映像の動きを検出し、記憶手段に格納し、記憶手段から異なるフレームの同一位置に対応する動きベクトルの変化度合いを算出し、得られた前記動き特徴量に基づいて、ノイズ許容度を算出し、出力する。【選択図】図１
2007288320.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を入力し、映像に加えても知覚的な劣化を生まないノイズの大きさの程度を表すノイズ許容度を算出する映像評価装置における映像評価方法であって、
動き検出手段が、入力された映像の動きを検出し、記憶手段に格納する動き検出ステップと、
動き特徴量算出手段が、前記記憶手段から異なるフレームの同一位置での動き特徴量を算出する動き特徴量算出ステップと、
得られた前記動き特徴量に基づいて、ノイズ許容度を算出し、出力する動きノイズ許容度算出ステップと、
を行うことを特徴とする映像評価方法。
【請求項２】
前記動き特徴量算出ステップにおいて、
前記動き特徴量算出手段が、
対象とするフレームの前方のフレームの動きから、前方フレーム動き特徴量を算出する第１のステップと、
前記対象とするフレームの後方のフレームの動きから、後方フレーム動き特徴量を算出する第２のステップと、
前記第１のステップ、前記第２のステップで算出された前記前方フレーム動き特徴量及び前記後方フレーム動き特徴量から前記対象とするフレームの動きにより近い物を選択する第３のステップと、
を行い、
前記第３のステップの選択結果に基づいて前記動き特徴量を算出する、
請求項１記載の映像評価方法。
【請求項３】
映像信号を入力し、映像に加えても知覚的な劣化を生まないノイズの大きさの程度を表すノイズ許容度を算出する映像評価装置であって、
入力された映像の動きを検出し、記憶手段に格納する動き検出手段と、
前記記憶手段から異なるフレームの同一位置での動き特徴量を算出する動き特徴量算出手段と、
得られた前記動き特徴量に基づいて、ノイズ許容度を算出し、出力する動きノイズ許容度算出手段と、
を有することを特徴とする映像評価装置。
【請求項４】
前記動き特徴量算出手段は、
対象とするフレームの前方のフレームの動きから、前方フレーム動き特徴量を算出する第１の手段と、
前記対象とするフレームの後方のフレームの動きから、後方フレーム動き特徴量を算出する第２の手段と、
前記第１の手段、前記第２の手段で算出された前記前方フレーム動き特徴量及び前記後方フレーム動き特徴量から前記対象とするフレームの動きにより近い物を選択する第３の手段と、
を有し、
前記第３の手段の選択結果に基づいて前記動き特徴量を算出する、
請求項３記載の映像評価装置。
【請求項５】
コンピュータに、
請求項３乃至４の映像評価装置の各手段を実行させることを特徴とする映像評価プログラム。
【請求項６】
映像信号に対して埋め込み情報を電子透かしとして人間に知覚され難いように埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、
映像評価手段が、前記映像信号を請求項１乃至請求項２記載の映像評価方法を用いて評価し、ノイズ許容度を算出する映像評価ステップと、
強度変更手段が、前記映像評価ステップで算出された前記ノイズ許容度に基づいて電子透かしの埋め込み強度を変更する埋め込み強度変更ステップと、
を行うことを特徴とする電子透かし埋め込み方法。
【請求項７】
映像信号に対して埋め込み情報を電子透かしとして人間に知覚され難いように埋め込む電子透かし埋め込み装置であって、
前記映像信号を請求項３乃至請求項４記載の映像評価装置を用いて評価し、ノイズ許容度を算出する映像評価手段と、
前記映像評価手段で算出された前記ノイズ許容度に基づいて電子透かしの埋め込み強度を変更する埋め込み強度変更手段と、
を有することを特徴とする電子透かし埋め込み装置。
【請求項８】
第１と第２の映像信号を入力し、該第２の映像信号の、該第１の映像信号に対する画質劣化を評価する映像画質評価装置における映像画質評価方法であって、
映像評価手段が、前記第１の映像信号、前記第２の映像信号の一方を、請求項１乃至２記載の映像評価方法を用いて評価し、ノイズ許容度を算出する映像評価ステップと、
誤差計算手段が、前記第１の映像信号、前記第２の映像信号の誤差を算出する誤差計算ステップと、
画質評価値計算手段が、前記誤差計算ステップで得られた前記誤差を前記映像評価ステップで得られた前記ノイズ許容度で重み付けして画質劣化を計算する画質評価値計算ステップと、
を行うことを特徴とする映像画質評価方法。
【請求項９】
第１と第２の映像信号を入力し、該第２の映像信号の、該第１の映像信号に対する画質劣化を評価する映像画質評価装置であって、
前記第１の映像信号、前記第２の映像信号の一方を、請求項３乃至４記載の映像評価装置を用いて評価し、ノイズ許容度を算出する映像評価手段と、
前記第１の映像信号、前記第２の映像信号の誤差を算出する誤差計算手段と、
前記誤差計算手段で得られた前記誤差を前記映像評価手段で得られた前記ノイズ許容度で重み付けして画質劣化を計算する画質評価値計算手段と、
を有することを特徴とする映像画質評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像評価方法及び装置及びプログラム及び電子透かし埋め込み方法及び装置及び映像画質評価方法及び装置に係り、特に、人間の視覚特性に基づいて映像のノイズ許容度を評価する映像評価方法及び装置及びプログラム、及び電子透かしを埋め込むための電子透かし埋め込み方法及び装置及び、画質劣化を評価するための映像画質評価方法及び装置に関する。
【背景技術】
【０００２】
従来、テレビ放送や映画、コンピュータ上で扱われるデジタルコンテンツなど様々な形の映像が利用されており、これら映像を処理する映像処理技術が用いられてきた。その中で、映像処理を行うことによって映像にノイズが付加されるような場合があった。例えば、映像をＭＰＥＧ等の非可逆圧縮技術を用いて圧縮する結果、符号化ノイズという形で再生される映像にノイズが付加されることもあるし、映像を放送・通信などの手段で伝送した結果、伝送路上のノイズの影響により再生される映像にノイズが付加されることもある。特に、映像に対して別の副情報を人間に知覚されないように埋め込む電子透かし技術においては、意図的に映像にノイズを加えることで必要な処理、サービスを実現するようになされている。
【０００３】
このような技術においては、映像に対して、どの程度の大きさのノイズなら人間に知覚されにくいのか、という点がサービスの品質を決定する上で重要となるが、これは映像の内容に大きく依存している。すなわち、同一のエネルギーのノイズが加えられた場合であっても、映像の内容によって、人間に対する知覚のされ方が異なり、映像のある部分では目立つノイズが別な部分では全く目立たないという場合もありうる。そのため、人間の知覚特性に基づき、映像に対してノイズの目立ち易さ、目立ち難さを評価する映像評価技術が必要とされてきた。
【０００４】
以下の説明では、このようなノイズの目立ち易さ、目立ち難さの指標を、映像の『ノイズ許容度』と呼ぶことにする。
【０００５】
例えば、電子透かし技術においては、入力された映像に対して映像の部位毎にノイズ許容度を求め、この値に応じて実際に埋め込む電子透かしの強度を映像の部位によって変化させることで、全体としての画質劣化を抑えた電子透かし埋め込みが提案されてきた。このような電子透かし方式は一般に適応的電子透かし埋め込みと呼ばれる。このような技術においては、ノイズ許容度のことを「適応的埋め込み強度」「JND（Just Noticeable Difference）」等と呼ぶこともある。
【０００６】
適応的電子透かし埋め込みの例としては、隣接画素との差分の大きさに基づいて適応的な電子透かし埋め込みのための重み付け行列を生成し、これによって電子透かしの埋め込み強度を制御する電子透かし埋め込み方法がある（例えば、非特許文献１参照）。
【０００７】
こうした従来の電子透かし方式では、映像のノイズ許容度を求めるにあたり、映像を静止画像（フレーム）の集まりとしてみて、各フレーム毎に静止画として空間方向の視覚特性だけに基づいてノイズ許容度を求めていた。しかし、映像においては、映像の時間方向の視覚特性も考慮する必要があることは明らかである。
【０００８】
映像の時間方向の視覚特性も考慮した適応的電子透かし埋め込みの例としては、フレーム内の動きベクトルに基づくエントロピーを用いてＪＮＤを計算し、適応的電子透かし埋め込みを行う方法がある（例えば、非特許文献２参照）。
【非特許文献１】Nakamura, T., Ogawa, H., Tomioka, A. and Takashima, Y., “Improved Digital Watermark Robustness against Translation and/or Cropping of an Image Area,” IEICE Trans. Fund., Vol. E83-A, No.1, pp.68-76 (2000)
【非特許文献２】Kim, S. and Suthaharan, S., “An Entropy Masking Model for Multimedia Content Watermarking,” Proceedings of the 37th Annual Hawaii International Conference on System Sciences 2004, pp. 182-187 (2004)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
例えば、電子透かし等や映像処理の結果のノイズとして、映像の各フレームに同一の固定パターンが重畳されるような場合や、映像の動きとは無関係なノイズパターンが重畳されるような場合がある。こういったノイズに対して、映像が一方向に動いているといった統一的な動きをしている場合に、ノイズのパターンが映像の動きと無関係に張り付いたように見え、いわば、すりガラス状に目立って、映像が静止しているときよりむしろ知覚されやすくなる場合があった。以下では、このような現象を「すりガラス効果」と呼ぶことにする。
【００１０】
逆に、映像の中で様々な動きが混ざって乱雑に動いているような場合には、映像が静止しているときよりもノイズが知覚されにくくなる場合があった。
【００１１】
上述の非特許文献２に示されている方法を用いれば、空間内での動きベクトルのエントロピーを求めることで、これらの違いある程度表現することもできた。例えば、図１６の（ａ）に示すような平行移動の場合は、空間内で動きベクトルが統一されているためエントロピーが小さくなり、その結果ノイズ許容度が小さく計算されるようにされていた。一方、図１６（ｂ）に示すような乱雑な動きの場合は、空間内で動きベクトルが統一されていないため、エントロピーが大きくなり、結果ノイズ許容度が大きく計算されるようにされていた。
【００１２】
しかし、例えば、次のような種類の動きに対しては、空間内の位置によって動きベクトルが異なってくるため、エントロピーが大きくなってしまい、動きが乱雑な場合と区別がつかなくなっていた。
【００１３】
・画面内の左右で平行移動の方向が異なっている場合（図１７（ａ）に例を示す）；
・ズーミング（図１７（ｂ）に例を示す）；
・回転（図１７（ｃ）に例を示す）；
これらの動きは、人間の目から見た場合には統一的な動きとして認識されるため、ノイズが目立ち易くなる特性を持った映像であり、すりガラス効果を引き起こす要因となっていた。この点において従来の方法では正しいノイズ許容度を求めることができなかった。
【００１４】
本発明は、上記の点に鑑みなされたもので、例えば、ズーミングや回転などの人間の目から見て統一的な動きを持つ映像においてはノイズ許容度が小さくなり、乱雑な動きを持つ映像においてはノイズ許容度が大きくなるようなノイズ許容度を求めることのできる映像評価方法及び装置及びプログラムを提供することを目的とする。
【００１５】
更には、人間に知覚されにくい電子透かしの埋め込みや、人間の主観により近い映像画質評価を可能とする映像評価方法及び装置及びプログラム及び電子透かし埋め込み方法及び装置及び映像画質評価方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
図１は、本発明の原理を説明するための図である。
【００１７】
本発明（請求項１）は、映像信号を入力し、映像に加えても知覚的な劣化を生まないノイズの大きさの程度を表すノイズ許容度を算出する映像評価装置における映像評価方法であって、
動き検出手段が、入力された映像の動きを検出し、記憶手段に格納する動き検出ステップ（ステップ１）と、
動き特徴量算出手段が、記憶手段から異なるフレームの同一位置での動き特徴量を算出する動き特徴量算出ステップ（ステップ２）と、
得られた動き特徴量に基づいて、ノイズ許容度を算出し、出力する動きノイズ許容度算出ステップ（ステップ３）と、を行う。
【００１８】
また、本発明（請求項２）は、動き特徴量算出ステップ（ステップ２）において、
動き特徴量算出手段が、
対象とするフレームの前方のフレームの動きから、前方フレーム動き特徴量を算出する第１のステップと、
対象とするフレームの後方のフレームの動きから、後方フレーム動き特徴量を算出する第２のステップと、
第１のステップ、第２のステップで算出された前方フレーム動き特徴量及び後方フレーム動き特徴量から対象とするフレームの動きにより近い物を選択する第３のステップと、
を行い、
第３のステップの選択結果に基づいて動き特徴量を算出する。
【００１９】
図２は、本発明の原理構成図である。
【００２０】
本発明（請求項３）は、映像信号を入力し、映像に加えても知覚的な劣化を生まないノイズの大きさの程度を表すノイズ許容度を算出する映像評価装置であって、
入力された映像の動きを検出し、記憶手段に格納する動き検出手段４０１と、
記憶手段から異なるフレームの同一位置での動き特徴量を算出する動き特徴量算出手段４０２と、
得られた動き特徴量に基づいて、ノイズ許容度を算出し、出力する動きノイズ許容度算出手段４０３と、を有する。
【００２１】
また、本発明（請求項４）は、動き特徴量算出手段４０２において、
対象とするフレームの前方のフレームの動きから、前方フレーム動き特徴量を算出する第１の手段と、
対象とするフレームの後方のフレームの動きから、後方フレーム動き特徴量を算出する第２の手段と、
第１の手段、第２の手段で算出された前方フレーム動き特徴量及び後方フレーム動き特徴量から対象とするフレームの動きにより近い物を選択する第３の手段と、
を有し、
第３の手段の選択結果に基づいて動き特徴量を算出する。
【００２２】
本発明（請求項５）は、コンピュータに、上記の請求項３乃至４の映像評価装置の各手段を実行させる映像評価プログラムである。
【００２３】
本発明（請求項６）は、映像信号に対して埋め込み情報を電子透かしとして人間に知覚され難いように埋め込む電子透かし埋め込み装置における電子透かし埋め込み方法であって、
映像評価手段が、映像信号を請求項１乃至請求項２記載の映像評価方法を用いて評価し、ノイズ許容度を算出する映像評価ステップと、
強度変更手段が、映像評価ステップで算出されたノイズ許容度に基づいて電子透かしの埋め込み強度を変更する埋め込み強度変更ステップと、を行う。
【００２４】
本発明（請求項７）は、映像信号に対して埋め込み情報を電子透かしとして人間に知覚され難いように埋め込む電子透かし埋め込み装置であって、
映像信号を請求項３乃至請求項４記載の映像評価装置を用いて評価し、ノイズ許容度を算出する映像評価手段と、
映像評価手段で算出されたノイズ許容度に基づいて電子透かしの埋め込み強度を変更する埋め込み強度変更手段と、を有する。
【００２５】
本発明（請求項８）は、第１と第２の映像信号を入力し、該第２の映像信号の、該第１の映像信号に対する画質劣化を評価する映像画質評価装置における映像画質評価方法であって、
映像評価手段が、第１の映像信号、第２の映像信号の一方を、請求項１乃至２記載の映像評価方法を用いて評価し、ノイズ許容度を算出する映像評価ステップと、
誤差計算手段が、第１の映像信号、第２の映像信号の誤差を算出する誤差計算ステップと、
画質評価値計算手段が、誤差計算ステップで得られた誤差を映像評価ステップで得られたノイズ許容度で重み付けして画質劣化を計算する画質評価値計算ステップと、を行う。
【００２６】
本発明（請求項９）は、第１と第２の映像信号を入力し、該第２の映像信号の、該第１の映像信号に対する画質劣化を評価する映像画質評価装置であって、
第１の映像信号、第２の映像信号の一方を、請求項３乃至４記載の映像評価装置を用いて評価し、ノイズ許容度を算出する映像評価手段と、
第１の映像信号、第２の映像信号の誤差を算出する誤差計算手段と、
誤差計算手段で得られた誤差を映像評価手段で得られたノイズ許容度で重み付けして画質劣化を計算する画質評価値計算手段と、を有する。
【発明の効果】
【００２７】
上記のように本発明によれば、人間の目から見て統一的な動きを持つ映像に対して小さいノイズ許容度を、人間の目から見て乱雑な動きを持つ映像に対しては大きなノイズ許容度を算出することができ、その結果、人間の主観により近いノイズ許容度を得ることができる。これを用いることで、人間により知覚されにくい電子透かしを埋め込むことができ、電子透かしを埋め込んだ映像の画質を向上させることができる。また、人間の主観により近い映像画質評価が可能となり、自動的な映像画質評価の精度を向上させることができる。
【００２８】
本発明の請求項１記載の映像評価方法及び請求項３記載の映像評価装置によれば、フレームの同一位置においてフレーム間での動きの変化が大きく乱雑である場合に、ノイズ許容度が大きくなる一方、動きの変化が少ない場合には、ノイズ許容度が小さくなり、パンやティルト、トラックといった平行移動だけでなく、ズーミングや回転などの動きについても統一的な動きであると判断することができ、小さなノイズ許容度を算出することができる。この結果、人間の主観により近いノイズ許容度を算出することができ、電子透かしにおける映像の画質向上や、映像画質評価における精度の向上が可能となる。
【００２９】
また、請求項２の映像評価方法、請求項４の映像評価装置によれば、動きの特徴が変化するシーンの境界部分等においても不必要にノイズ許容度が大きくなりすぎるのを防ぐことができ、その結果人間の主観により近いノイズ許容度を算出することができ、電子透かしにおける映像の画質向上や、映像画質評価における精度の向上が可能となる。
【００３０】
また、請求項６の電子透かし埋め込み方法、請求項７の電子透かし埋め込み装置によれば、映像評価手段において求められたノイズ許容度に基づき、ノイズ許容度の大きい部分には強く、ノイズ許容度の小さい部分には弱く電子透かしを埋め込むことができ、主観的にみて画質劣化も少なく、人間に知覚されにくい電子透かしの埋め込みを行うことができる。
【００３１】
また、本発明の請求項８の映像画質評価方法、請求項９の映像画質評価装置によれば、映像評価手段において求められたノイズ許容度に基づき、ノイズ許容度が大きい部分では誤差の影響が小さく、ノイズ許容度が小さい部分では誤差の影響が大きくなるように重み付けを行ってＳＮ比を計算することができ、主観的な画質劣化の程度と相関の高い映像画質評価を自動的に計算することができる。
【発明を実施するための最良の形態】
【００３２】
以下、図面と共に本発明の実施の形態を説明する。
【００３３】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における映像評価装置の構成を示す。
【００３４】
同図に示す映像評価装置４００は、動き検出部４０１、動き変化算出部４０２、動きノイズ許容度算出部４０３、静止ノイズ許容度算出部４０４、ノイズ許容度統合部４０５、動き判定部４０６から構成され、入力画像４１１を入力し、ノイズ許容度配列４１２を出力する。
【００３５】
以下に、映像評価装置４００の動作を説明する。
【００３６】
映像評価装置４００による映像評価処理は以下の手順で実施される。
【００３７】
図４は、本発明の第１の実施の形態における映像評価処理のフローチャートである。
【００３８】
ステップ１００）  動き検出部４０１において、入力された入力映像４１１の動きを検出し、入力映像のｎ番目のフレームの位置（ｘ，ｙ）に対する動きベクトルｖ→（ｎ，ｘ，ｙ）（但し、→はベクトルを表す）を求め、後述する動き変化算出部４０２のバッファに格納する。動きベクトルはオプティカルフローとも呼ばれる。
【００３９】
動きベクトルの算出はどのような方法を用いても構わない。具体的な方法としては、映像符号化や動画像処理の技術分野で様々な方法が提案されており、例えば、文献「小野文孝、渡辺裕、『国際標準画像符号化の基礎技術』高度映像技術シリーズ１、コロナ社（１９９８）pp. 123-130」に記載されている勾配法やブロックマッチング法等の公知の方法を用いてもよい。これらの例は、本発明の範囲を限定するものではない。
【００４０】
求められた動きベクトルは、位置（ｘ，ｙ）に対応するベクトルを要素値とする配列に構成され、動き配列４２１としてフレーム毎に順次、後述する動き変化算出部４０２のバッファに出力される。例えば、ｎ番目のフレームに対応する動き配列４２１をMVn[x][y]（０≦ｘ≦Ｘmax，０≦ｙ＜Ｙmax）とすると、
【００４１】
【数１】
2007288320.tif 000003
となる。
【００４２】
また、動きベクトルｖ→（ｎ，ｘ，ｙ）は、例えば、フレーム内のブロックを単位に求めてもよく、この場合動き配列４２１における位置（ｘ，ｙ）は、フレーム内のブロック位置を表す。
【００４３】
ステップ２００）  動き変化算出部４０２において、動き検出部４０１で求められ、バッファに格納された動き配列４２１から動きの特徴を表す動き特徴量を算出する。動き特徴量としては、動きベクトルの変化の度合いを算出し、動き変化配列４２２として出力する。動き変化配列４２２は、各フレームの位置（ｘ，ｙ）に対応した動き変化の値を並べた配列であり、各フレームの動き変化配列が順次出力される。
【００４４】
動き変化算出部４０２の動作の詳細については後述する。
【００４５】
ステップ３００）  動きノイズ許容度算出部４０３において、動き変化算出部４０２で求められた動き変化配列４２２に基づいて入力映像４１１の動きに依存するノイズ許容度を算出し、動きノイズ許容度４２３として出力する。動きノイズ許容度４２３は、各フレームの位置（ｘ，ｙ）に対応した動きノイズ許容度の値を並べた配列であり、各フレームの動きノイズ許容度の配列が順次出力される。
【００４６】
動きノイズ許容度算出部４０３の動作の詳細については後述する。
【００４７】
ステップ４００）  静止ノイズ許容度算出部４０４において、入力された入力映像４１１の各フレーム毎に、フレームを一枚の画像してみたときのノイズ許容度を求める。
【００４８】
これは、映像４１１の各静止画フレームに依存するノイズ許容度であり、静止ノイズ許容度４２４としてフレーム毎に順次出力される。
【００４９】
静止ノイズ許容度４２４の算出方法にはどのような方法を用いてもよい。例えば、前述の非特許文献１の４章に記載の適応的埋め込み強度の計算を用いても構わない。また、例えば、前述の非特許文献２の式（１）乃至（４）に記載のＪＮＤ値を用いても構わない。これらの例は本発明の範囲を限定するものではない。
【００５０】
ステップ５００）  動き判断部４０６において、入力された入力映像４１１の動きのある部分と動きのない部分とを判別し、位置（ｘ，ｙ）に応じて、該当位置の動きがあるかないかを動き判定結果４２５としてフレーム毎に順次出力する。
【００５１】
動き判定部４０６の動作の詳細については後述する。
【００５２】
ステップ６００）  ノイズ許容度統合部４０５において、動きノイズ許容度算出部４０３で求められた動きノイズ許容度４２３と静止ノイズ許容度算出部４０４で求められた静止ノイズ許容度４２４と、動き判定部４０６で求められた動き判定結果４２５とを統合し、最終的なノイズ許容度を各フレームの位置（ｘ，ｙ）に応じて算出し、ノイズ許容度配列４１２としてフレーム毎に順次出力する。
【００５３】
ノイズ許容度統合部４０５の動作の詳細については後述する。
【００５４】
［１］動き変化算出部４０２：
動き変化算出部４０２の処理の例を以下に示す。
【００５５】
図５は、本発明の第１の実施の形態における動き変化算出部の構成を示す。
【００５６】
同図に示す動き変化算出部４０２は、動き配列バッファ５０１、動きベクトル変化算出部５０２から構成され、動き配列４２１を入力し、動き変化配列４２２を出力する。
【００５７】
図６は、本発明の第１の実施の形態における動き変化算出部の動作のフローチャートである。
【００５８】
ステップ２０１）  動き配列バッファ５０１では、入力された動き配列４２１を１フレーム分記憶しており、動きベクトル変化算出部５０２に対して１フレーム遅れで動き配列を入力させる。すなわち、動きベクトル変化算出部５０２には、映像評価装置４００に対する入力映像４１１のｎ番目のフレームに対応する動き配列５２１と、ｎ−１番目のフレームに対応する動き配列５２２とが同時に入力される。
【００５９】
ステップ２０２）  動きベクトル変化算出部５０２では、ｎフレーム目の動き配列５２１とｎ−１フレーム目の動き配列５２２とから、同じ位置に対応する動きベクトルの変化の度合いを算出し、これを動き変化量とする。動き変化値を要素値とする配列を動き変化配列４２２としてフレーム毎に順次出力する。
【００６０】
ｎフレーム目の動き配列５２１をＭＶn[x][y]（０≦ｘ＜Ｘmax，０≦ｙ＜Ｙmax）、ｎ−１フレーム目の動き配列５２２をＭＶn−１[x][y]（０≦ｘ＜Ｘmax，０≦ｙ＜Ｙmax）とし、これらが次のように表されているものとする。
【００６１】
【数２】
2007288320.tif 000004
また、ｎフレーム目の動き変化配列４２２を、ＭＣn[x][y]（０≦ｘ＜Ｘmax，０≦ｙ＜Ｙmax）とする。
【００６２】
動き変化量の具体例として次の１）〜３）のような値を用いるようにしてもよい。
【００６３】
１）動きベクトルのなす角：
動き変化量として、図７（ａ）に示すように、２つのフレームの同一位置に対応する動きベクトルのなす角を用いる例である。ＭＣnを次のように求める。
【００６４】
【数３】
2007288320.tif 000005
但し、arctanはtanの逆関数を求める関数であり、ｖｘ（ｎ，ｘ，ｙ），ｖｙ（ｎ，ｘ，ｙ）は、それぞれｖ→（ｎ，ｘ，ｙ）のｘ成分、ｙ成分を表す。
【００６５】
また、次のように求めてもよい。
【００６６】
【数４】
2007288320.tif 000006
ただし、arccosは、cosの逆関数を求める関数であり、“・”はベクトルの内積、
【００６７】
【数５】
2007288320.tif 000007
はベクトルｖ→の大きさを表す。
【００６８】
これらは動きベクトルの大きさは用いずに、動きベクトルの方向の変化を測るものである。
【００６９】
２）動きベクトルの差分ベクトルの大きさの元のベクトルに対する比：
動き変化値として、二つのフレームの同一位置に対応する動きベクトルの差分ベクトルの大きさの元のベクトルに対する比を用いる例である。ＭＣnを次のように求める。
【００７０】
【数６】
2007288320.tif 000008
各ベクトルの関係を図７（ｂ）に示す。
【００７１】
これは、動きベクトルの方向の変化と共に、大きさの変化も考慮したものである。すなわち、方向が変化せずに大きさのみが変化している場合にも大きさの変化の程度を加味して動き変化値を求めることができる。
【００７２】
３）動きベクトルの差分の大きさ：
動き変化値として、図７（ｃ）に示すように、二つのフレームの同一位置に対応する動きベクトルの差分ベクトルの大きさを用いる例である。ＭＣnを次のように求める。
【００７３】
【数７】
2007288320.tif 000009
これは動きベクトルの方向の変化、大きさの変化と共に、動きベクトルの大きさが大きいほど変化の影響が大きいことを考慮したものである。
【００７４】
［２］動きノイズ許容度算出部４０３：
動きノイズ許容算出部４０３での処理の例を以下に示す。
【００７５】
動きノイズ許容度算出部４０３では、動き変化算出部４０２で得られた動き変化配列４２２に基づき、動きノイズ許容度４２３を算出する。
【００７６】
動き変化配列４２２をＭＣn [x][y] (０≦ｘ≦Ｘmax，０≦ｙ＜Ｙmax)とし、動きノイズ許容度４２３をＭＥＴn［ｘ］［ｙ］(０≦ｘ≦Ｘmax，０≦ｙ＜Ｙmax)とし、例えば動き変化値を直接動きノイズ許容度として用いても良い。すなわち、
METn [x][y]=MCn [x][y]                        （７）
また、例えば、予め決められた所定の係数γを用いて次のように求めてもよい。
【００７７】
【数８】
2007288320.tif 000010
また、例えば、任意の単調増加関数ｆ（ｘ）を用いて次のように求めてもよい。
【００７８】
【数９】
2007288320.tif 000011
また、例えば、動きノイズ許容度の値が所定の値の範囲となるよう正規化を行ってもよい。
【００７９】
１）他の特徴値を組み合わせた動きノイズ許容度の算出：
また、動きノイズ許容度４２３を、動き変化配列４２２と他の特徴値を組み合わせて算出するようにしてもよい。
【００８０】
ここで特徴量とは、該当位置での動きの特徴を表す値であり、例えば、次のようなものが考えられる。
【００８１】
・動きの速さ：例えば、動きベクトルの大きさ
【００８２】
【数１０】
2007288320.tif 000012
を用いても良い。動きが速いほどノイズ許容度が大きくなると考える。
【００８３】
・画素値変化の大きさ：例えば、次式のように動きベクトルによって対応付けられる２つのブロックの差分の絶対値和Ｄ（ｎ，ｘ，ｙ）を用いてもよい。
【００８４】
【数１１】
2007288320.tif 000013
ここで、ｐ（ｎ，ｘ，ｙ）は、ｎ番目のフレームの位置（ｘ，ｙ）の画素値、（ｖｘ、ｖｙ）=ｖ→（ｎ，ｘ，ｙ）、ｄｘ，ｄｙは計算に用いるブロックの範囲を規定する定数とする。変化が大きいほどノイズ許容度が大きくなると考える。
【００８５】
これらを用いて動きノイズ許容度４２３を次のように算出してもよい。
【００８６】
【数１２】
2007288320.tif 000014
［３］動き判定部４０６：
動き判定部４０６での処理の例を以下に示す。
【００８７】
動き判定部４０６では、入力された入力映像４１１に基づき、各フレームの位置に応じて、該当位置の映像が静止している映像か、動いている映像かを判定し、判定結果を動き判定結果４２５として出力する。
【００８８】
動き判定結果４２５は、例えば、以下の１）〜３）のような配列ＭＤn［ｘ］［ｙ］(０≦ｘ≦Ｘmax，０≦ｙ＜Ｙmax)であってもよい。
【００８９】
【数１３】
2007288320.tif 000015
動きの判定は、例えば次のような値を算出し、値が所定の閾値を越えているかどうかで判定するようにしてもよい。これらの値を組み合わせて判定を行ってもよい。
【００９０】
１）画素値の変化の大きさ：例えば、次のように二つのフレームのブロックの画素値の差分の絶対値和Ｄｓ（ｎ，ｘ，ｙ）を用いてもよい。
【００９１】
【数１４】
2007288320.tif 000016
ここで、ｐ（ｎ，ｘ，ｙ）はｎ番目のフレームの位置（ｘ，ｙ）の画素値、ｄｘ、ｄｙは計算に用いるブロックの範囲を規定する定数とする。
【００９２】
２）動きの速さ：例えば、動き検出部４０１と同等の処理により動きベクトルを求め、その大きさを用いても良い。
【００９３】
３）ブロック内の画素値の統計量の変化の大きさ。例えば、次のように二つのフレームのブロックの画素値の分散値の差分の絶対値Ｄｖ（ｎ，ｘ，ｙ）を用いても良い。
【００９４】
【数１５】
2007288320.tif 000017
また、この他の公知の動物体の検出方法（例えば、文献「ディジタル画像処理編集委員会監修『ディジタル画像処理』画像情報教育振興協会」p239のフレーム間差分法）を用いても構わない。
【００９５】
◇  閾値の動的決定：動きの判定に用いる閾値は、予め決められた固定値を用いてもよいが、例えば、次に示すように入力された入力映像４１１に基づいて動的に決定するようにしてもよい。
【００９６】
ここでは、動きの判定を画素値変化の大きさに基づいて行う場合を例に説明する。この他の値を用いて動きの判定を行う場合にも、閾値の動的決定を同様に行えることは言うまでもない。
【００９７】
・Ｄs（ｎ，ｘ，ｙ）のフレーム内もしくは映像全体での平均値をＤs（avg）とし、閾値Ｄｓ（thr）を
Ｄs(thr)＝ｋＤs(avg)                            （１６）
と定める。
【００９８】
・Ｄs（ｎ，ｘ，ｙ）のフレーム内もしくは映像全体での最大値、最小値をそれぞれＤs(max)，Ｄs(min)とし、
【００９９】
【数１６】
2007288320.tif 000018
と定める。
【０１００】
・Ｄs（ｎ，ｘ，ｙ）のフレーム内もしくは映像全体での最頻値をＤs(mode)とし、
Ds(thr)=kDs(mode)                              （１８）
と定める。
【０１０１】
・Ｄs（ｎ，ｘ，ｙ）のフレーム内もしくは映像全体での中央値をＤｓ(median)とし、
Ds(thr)=kDs(median)                            （１９）
と定める。
【０１０２】
但し、上記でｋは予め決められた定数であり、例えば、ｋ＝０．５であってもよい。
【０１０３】
［４］ノイズ許容度統合部４０５：
ノイズ許容度統合部４０５での処理の例を以下に示す。
【０１０４】
ノイズ許容度統合部４０５では、動き判定部４０６で求められた動き判定結果４２５に基づき、次の１）、２）のいずれかによってフレームｎの位置（ｘ，ｙ）に対するノイズ許容度ＥＴｎ［ｘ］［ｙ］を算出する。
【０１０５】
１）フレームｎの位置（ｘ，ｙ）が動いていると判定されている場合：
動きノイズ許容度４２３と静止ノイズ許容度４２４の両方に基づいて、ノイズ許容度ＥＴｎ［ｘ］［ｙ］を算出する。
【０１０６】
２）フレームｎの位置（ｘ，ｙ）が静止していると判定されている場合：
静止ノイズ許容度４２４のみに基づいてノイズ許容度ＥＴｎ［ｘ］［ｙ］を算出する。
【０１０７】
具体的には例えば、次のように処理してもよい。
【０１０８】
【数１７】
2007288320.tif 000019
但し、ここで、ＳＥＴｎ［ｘ］［ｙ］は、静止ノイズ許容度４２４、ＭＥＴｎ［ｘ］［ｙ］は動きノイズ許容度４２３、ＭＤｎ［ｘ］［ｙ］は動き判定結果４２５であるとする。
【０１０９】
また、得られたノイズ許容度が所定の値の範囲をとるよう正規化を行ってもよい。
［５］動きノイズ許容度算出部４０３における動きノイズ許容度の正規化の例：
ここで、動きノイズ許容度の正規化の例を説明する。
【０１１０】
動きノイズ許容度算出部４０３における動きノイズ許容度の正規化の例を以下に示す。
【０１１１】
今、ノイズ許容度統合部４０５が前述の式（２０）に示したように構成されている場合を考える。動き判定部４０６において動いていると判定された位置について、動きノイズ許容度ＭＥＴｎ［ｘ］［ｙ］の値が１となるとき、ノイズ許容度ＳＥＴｎ［ｘ］［ｙ］と静止ノイズ許容度ＳＥＴｎ［ｘ］［ｙ］とが等しくなる。
【０１１２】
従って、動いてはいるが、静止している場合と等しい程度のノイズの知覚されやすさを持つ動きの特徴の場合に、動きノイズ許容度が“１”となるように正規化を行うことで、より最適な動きノイズ許容度の正規化が可能となる。
【０１１３】
例えば、次のように動きノイズ許容度の正規化を行う。
【０１１４】
動きノイズ許容度算出部４０３で得られた正規化前の動きノイズ許容度をＭＥＴｎ［ｘ］［ｙ］とする。これから静止している場合と等しい程度のノイズの知覚され易さを持つ動きの特徴の値ＭＥＴ(center)を決定する。ＭＥＴ(center)の決定の方法は、例えば１）〜４）のようなものがある。
【０１１５】
１）ＭＥＴn［ｘ］［ｙ］のフレーム内もしくは映像全体での平均値をＭＥＴ(avg)とし、
ＭＥＴ(center)＝ｋＭＥＴ(avg)                      （２１）
と定める。
【０１１６】
２）ＭＥＴn［ｘ］［ｙ］のフレーム内もしくは映像全体での最大値、最小値をそれぞれＭＥＴ(max), ＭＥＴ(min)とし、
【０１１７】
【数１８】
2007288320.tif 000020
と定める。
【０１１８】
３）ＭＥＴn［ｘ］［ｙ］のフレーム内もしくは映像全体での最頻値をＭＥＴ(mode)とし、
ＭＥＴ(center)＝ｋＭＥＴ(mode)                  （２３）
と定める。
【０１１９】
４）ＭＥＴn［ｘ］［ｙ］のフレーム内もしくは映像全体での中央値をＭＥＴ(mediam)とし、
ＭＥＴ(center)＝ＭＥＴ(mediam)                  （２４）
と定める。
【０１２０】
但し、上記でｋは予め決められた定数であり、例えばｋ＝０．５であってもよい。
【０１２１】
次に、動きノイズ許容度の最小値ＭＥＴ(min)がａ、ＭＥＴ(center)が１に移されるように動きノイズ許容度を線形変換し、正規化後の動きノイズ許容度
MET’n[x][y]
を求める。すなわち、
【０１２２】
【数１９】
2007288320.tif 000021
［６］第１の実施の形態の特徴：
本発明の第１の実施の形態では、動きの時間方向の変化の大きさに基づいてノイズ許容度を算出した。
【０１２３】
人間の目から見て統一的な動きを持つ映像においては、フレームの同一位置において短い時間内では動きベクトルが大きく変化することがない。これは、パンやティルト、トラックといった平行移動だけでなく、ズーミングや回転などの動きにおいても成り立つ。逆に乱雑な動き、例えば、木々のざわめく葉の様子などでは動きベクトルは安定せず同一位置において短い時間内で動きベクトルの変化が大きくなる。
【０１２４】
その結果、統一的な動きを持つ映像において、該当位置について動き変化値は大きな値となりノイズ許容度も大きくなる。
【０１２５】
なお、上記の動き変化算出部４０２の動作の例としては、隣接するフレーム間で動き変化値を算出したが、数フレーム離れたフレーム間で変化を求めても構わない。
【０１２６】
［第２の実施の形態］
本実施の形態では、動きの時間方向における乱雑度を測定する例を説明する。
【０１２７】
以下に本実施の形態における映像評価装置について説明する。
【０１２８】
図８は、本発明の第２の実施の形態における映像評価装置の構成例を示す。
【０１２９】
映像評価装置７００は、第１の実施の形態における映像評価装置４００と略同様の構成を持っており、動き変化算出部４０２の代わりに、動き乱雑度算出部７０２を備え、動きノイズ許容度算出部７０３が、動き変化配列４２２の代わりに動き乱雑度配列７２２を入力するようにされている点のみが異なる。
【０１３０】
映像評価装置７００は、本発明の第１の実施の形態における映像評価装置４００と略同様の手順により映像評価処理を行い、以下の点のみが異なっている。
【０１３１】
・動き変化算出部４０２が動き変化配列４２２を算出する代わりに、動き乱雑度算出部７０２が、動き配列７２１に基づき動き乱雑度配列７２２を算出する。
【０１３２】
・動きノイズ許容度算出部７０３が、動き乱雑度配列７２２に基づいて動きノイズ許容度を算出する。
【０１３３】
図９は、本発明の第２の実施の形態における映像評価処理のフローチャートである。
【０１３４】
以下では、図４のフローチャートのステップ２００の代わりにステップ７００を行い、ステップ３００の代わりにステップ８００を行う以外は、図４の動作と同様であるため、その説明を省略する。
【０１３５】
ステップ７００）  動き乱雑度算出部７０２において、動き検出部７０１で求められた動き配列７２１から動きの特徴を表す動き特徴量を算出する。動き特徴量としては、動きベクトルの時間方向の乱雑度を算出し、動き乱雑度配列７２２として出力する。動き乱雑度配列７２２は、各フレームの位置（ｘ，ｙ）に対応した動き乱雑度の値を並べた配列であり、各フレームの動き乱雑度配列が順次出力される。動き乱雑度算出部７０２の詳細については後述する。
【０１３６】
ステップ８００）  動きノイズ許容度算出部７０３において、動き乱雑度算出部７０２で求められた動き乱雑度配列４２に基づいて入力映像７１１の動きに依存するノイズ許容度を算出し、動きノイズ許容度７２３として出力する。動きノイズ許容度算出部７０３の処理は、第１の実施の形態の動き変化配列４２２を動き乱雑度配列７２２に置き換えるのみの違いで、本発明の第１の実施の形態における動きノイズ許容度算出部４０３と同一の処理を行う。
【０１３７】
［１］動き乱雑度算出部７０２：
動き乱雑度算出部７０２での処理の例を以下に示す。
【０１３８】
動き乱雑度算出部７０２では、対象としているフレームの近傍のフレームの同じ位置に対応する動きベクトルを集め、動きベクトルのばらつき具合を算出し、これを動き乱雑度とする。動き乱雑度を要素値とする配列を動き乱雑度配列７２２としてフレーム毎に順次出力する。
【０１３９】
ｎフレーム目の動き配列７２１をＭＶｎ［ｘ］［ｙ］（０≦ｘ<Ｘｍａｘ，０≦ｙ＜Ｙｍａｘ）とし、次のように表されているものとする。
【０１４０】
【数２０】
2007288320.tif 000022
また、ｎフレーム目の動き乱雑度配列７２２をＭＲｎ［ｘ］［ｙ］（０≦ｘ<Ｘｍａｘ，０≦ｙ＜Ｙｍａｘ）とする。
【０１４１】
動き乱雑度の具体例として、次のような値を用いるようにしてもよい。
【０１４２】
◇動きベクトルのエントロピー：
前述の非特許文献２を参考にした方法により動きベクトルのエントロピーを算出する。例えば、次のような手順による。
【０１４３】
手順１．動きベクトルの集合ＭＶを考える。
【０１４４】
MV={MVn-k[x][y],MVn-k+1[x][y],…,MVn[x][y],…,MVn+k[x][u]      （２７）
ここで、ｋは計算に用いる動きベクトルのフレーム範囲を規定する所定の値で、この例の場合、フレームｎ−ｋからフレームｎ＋ｋまでの動きベクトルを用いることを示している。
【０１４５】
手順２．ＭＶの各要素を例えば、図１０に示すようにベクトルの方向と大きさに基づき、クラスＣ１，…，Ｃ３６に分類する。図１０は、例えば動きベクトルＭＶｎ［ｘ］［ｙ］が領域Ｃ１の範囲にあれば、これをクラスＣ１に分類することを意味する。
【０１４６】
手順３．各クラスＣ１，…，Ｃ３６における動きベクトルの頻度を元にエントロピーを計算する。すなわち、
【０１４７】
【数２１】
2007288320.tif 000023
但し、ｐ（Ｃ）は動きベクトルがクラスＣに属する確率で、クラスＣに属する動きベクトルの個数をＮ（Ｃ）で表すとき、
【０１４８】
【数２２】
2007288320.tif 000024
手順４．Ｈの値を動き乱雑度として用いる。
【０１４９】
MRｎ[x][y]=H
また、上記の手順２において、ベクトルの方向と大きさに基づきクラスＣ１，…，Ｃ３６に分類したが、ベクトルの方向のみに基づいてクラスを分類するようにしても構わない。
【０１５０】
上記の方法を非特許文献２の方法と比較すると、非特許文献２ではフレーム内の動きベクトルに対してエントロピーを計算しているのに対して、上記の方法では異なるフレームの同じ位置に対応する動きベクトルに対してエントロピーを計算している点で、大きく異なっている。
【０１５１】
◇動きベクトルの分散：
前述のエントロピーを用いる方法では、動きベクトルをクラスに分類することで、いわば動きベクトルを量子化することに相当し、特に計算に用いる動きベクトルの個数が少ないとき、すなわち、ｋが小さいときには適切な動き乱雑度を得られないという問題がある。
【０１５２】
そこで、次式のように動きベクトルの平均からの分散を用いても良い。
【０１５３】
【数２３】
2007288320.tif 000025
但し、ｖ０→（ｎ，ｘ，ｙ）は動きベクトルの平均ベクトルであり、
【０１５４】
【数２４】
2007288320.tif 000026
また、次のように対象フレームからの距離に応じて重み付けをしても良い。
【０１５５】
【数２５】
2007288320.tif 000027
ここでは、ガウス分布に従って重み付けする例を示したが、この他の重み付けを行っても良いことは言うまでもない。
【０１５６】
◇動きベクトルの方向の分散：
次式のように、動きベクトルの方向のみを用い、その分散を用いてもよい。但し、通常の分散計算では角度の分散を定義できないため、例えば、次のように複素平面上の単位円周上の点を表す複素数の分散値を用いて角度の分散を定義しても良い。
【０１５７】
すなわち、
【０１５８】
【数２６】
2007288320.tif 000028
とし、
【０１５９】
【数２７】
2007288320.tif 000029
但し、θ０は動きベクトルの方向の平均であり、次式で定義する。
【０１６０】
【数２８】
2007288320.tif 000030
また、ｊは虚数単位、argは複素数の偏角を求める演算、arctanはtanの逆関数を求める関数であり、vx(n,x,y),vy(n,x,y)は、それぞれｖ→（ｎ，ｘ，ｙ）（→はベクトルを示す）のｘ成分、ｙ成分を表す。
【０１６１】
［２］第２の実施の形態の特徴：
本発明の第２の実施の形態では、動き時間方向の乱雑度に基づいてノイズ許容度を算出した。
【０１６２】
人間の目から見て統一的な動きを持つ映像においては、フレーム内の同一位置において短い時間内では動きベクトルが大きく変化することがなく、動きベクトルのエントロピーや動きベクトルの分散などの値は小さくなる。これは、パンやティルト、トラックといった平行移動だけでなく、ズーミングや回転などの動きにおいても成り立つ。逆に乱雑な動き、例えば、木々のざわめく葉の様子などでは動きベクトルは安定せず同一位置において短い時間内で動きベクトルが乱雑に変化し、このとき動きベクトルのエントロピーや動きベクトルの分散などの値が大きくなる。
【０１６３】
その結果、統一的な動きを持つ映像において該当位置の動き乱雑度は小さい値となり、ノイズ許容度も小さくなる一方、乱雑な動きの場合、該当位置について動き乱雑度は大きな値となりノイズ許容度も大きくなる。
【０１６４】
［第３の実施の形態］
本実施の形態では、動きの変化点を考慮した例を説明する。
【０１６５】
本発明の第１の実施の形態、第２の実施の形態で示した映像評価装置では、例えば、次のような場合にシーンの境界部分で、動きが大きく変化するため、ノイズ許容度が大きくなりすぎるという問題がある。
【０１６６】
・右向きに平行移動していたシーンから左向きに平行移動するシーンに切り替わる場合；
・回転していたシーンからズーミングするシーンに切り替わる場合；
本実施の形態では、こういった場合にノイズ許容度が必要以上に大きくならないようにする方法を説明する。
【０１６７】
本実施の形態の映像評価装置は、前述の第２の実施の形態における図８の映像評価装置と同様の構成を持ち、動き乱雑度算出部７０２における動き乱雑度の算出方法のみが異なっている。
【０１６８】
［１］動き乱雑度の算出：
図８に示す動き乱雑度算出部７０２における動き乱雑度の算出について以下に説明する。
【０１６９】
今、対象としているフレームをｎとする。動き乱雑度算出の手順を以下に示す。
【０１７０】
図１１は、本発明の第３の実施の形態における動き乱雑度算出のフローチャートである。
【０１７１】
ステップ３０１）  動き乱雑度算出部７０２において、フレームｎの前方のフレームの動きから、前方フレーム動き特徴量を算出する。
【０１７２】
ステップ３０２）  動き乱雑度算出部７０２において、フレームｎの後方のフレームの動きから、後方フレーム動き特徴量を算出する。
【０１７３】
ステップ３０３）  動き乱雑度算出部７０２は、動きの特徴が、フレームｎの近傍で切り替わっているかどうかを判定する。切り替わっている場合には、ステップ３０４に移行し、切り替わっていない場合にはステップ３０７に移行する。ここで動きの特徴が切り替わるというのは、例えば、
・例えば右向きに平行移動していたシーンから左向きに平行移動するシーンに切り替わる場合；
・例えば回転していたシーンからズーミングするシーンに切り替わる場合；
といったように、シーンの切り替わり等によって動きの特徴が大きく変化することを表す。
【０１７４】
ステップ３０４）  ステップ３０３で動きの特徴が切り替わっていると判断した場合は、対象のフレームｎが切り替わりの前後のどちらに属しているかを判定する。前方に属している場合には、ステップ３０５に移行し、後方に属している場合には、ステップ３０６に移行する。
【０１７５】
ステップ３０５）  フレームｎが切り替わりの前方に属している場合は、前方のフレームの動きベクトルを用いて動き乱雑度を算出する。
【０１７６】
ステップ３０６）  フレームｎが切り替わりの後に属している場合は、後方のフレームの動きベクトルを用いて動き乱雑度を算出する。
【０１７７】
ステップ３０７）  ステップ３０３で動きの特徴が切り替わっていないと判断した場合は、フレームｎの近傍全ての動きベクトルを用いて動き乱雑度を算出する。具体的な動き乱雑度の算出は、前述の第２の実施の形態で示した例と同様である。
【０１７８】
◇前方フレーム動き特徴量の算出：
上記のステップ３０１における前方フレーム動き特徴量の算出は、例えば、次のようにフレームｎの前方の近傍フレームにおける同じ位置の動きベクトルの平均値を求めてもよい。
【０１７９】
【数２９】
2007288320.tif 000031
◇後方フレーム動き特徴量の算出：
上記のステップ３０２における後方フレーム動き特徴量の算出は、例えば、次のようにフレームｎの後方の近傍フレームにおける同じ位置の動きベクトルの平均値を求めてもよい。
【０１８０】
【数３０】
2007288320.tif 000032
◇動きの特徴の切り替わりの判定：
上記のステップ３０３における動きの特徴の切り替わりの判定は、例えば、以下のような方法で行ってもよい。
【０１８１】
フレームｎの前方フレーム動き特徴量と、後方フレーム動き特徴量を比較し、動きの特徴の切り替わりの有無を判定する。例えば、次のように上記のVprev→及びVnext→（但し、→はベクトルを示す）の差分ベクトルの大きさをdifとし、difが所定の閾値Tdifを越えているかどうかで動きの切り替わりの有無を判定してもよい。
【０１８２】
【数３１】
2007288320.tif 000033
また、動きの切り替わりの有無を明示的に判定せず、上記ステップ３０４において、フレームnが必ず前後どちらかに属するものとして処理を行っても構わない。
【０１８３】
difが所定の閾値Ｔdifを越えているかどうかで動きの切り替わりの有無を判定する。
【０１８４】
◇切り替わりの所属の判定：
上記のステップ３０４における切り替わりの所属の判定は、例えば、次のような方法で行ってもよい。
【０１８５】
ｖprev→、ｖnext→（但し、→はベクトルを示す）の内、対象のフレームのベクトルｖ→（ｎ，ｘ，ｙ）との距離が近いものを選択し、フレームｎは近い側の半分に所属していると見做す。例えば、
【０１８６】
【数３２】
2007288320.tif 000034
の場合、ｖprev→を選択し、フレームｎは前側の半分に属すると見做す。
【０１８７】
【数３３】
2007288320.tif 000035
の場合、ｖnext→を選択し、フレームｎは後側の半分に属すると見做す。
【０１８８】
◇所属する側の動きベクトルのみを用いた動き乱雑度の算出：
上記のステップ３０５，３０６における動き乱雑の算出は、例えば、次のような方法で行ってもよい。
【０１８９】
上記の切り替わりの所属の判定で、ｖprev→が選択された場合、動きベクトルｖ→（ｎ-ｋ，ｘ，ｙ），…，ｖ→（ｎ，ｘ，ｙ）を用いて動き乱雑度を算出する。
【０１９０】
上記の切り替わりの所属の判定でｖnext→が選択された場合、動きベクトルｖ→（ｎ−ｋ，ｘ，ｙ），…，ｖ→（ｎ，ｘ，ｙ）を用いて動き乱雑度を算出する。
【０１９１】
具体的な動き乱雑度の算出は、前述の第２の実施の形態で示した例と同様である。例えば、上記の判定でｖprev→が選択された場合を例にとると、次式のように、動きベクトルの平均からの分散を用いてもよい。
【０１９２】
【数３４】
2007288320.tif 000036
但し、ｖ０→（ｎ，ｘ，ｙ）は動きベクトルの平均値であり、
【０１９３】
【数３５】
2007288320.tif 000037
［２］第３の実施の形態の特徴：
本発明の第３の実施の形態では、動きの特徴の切り替わりを考慮して動き乱雑度を算出した。
【０１９４】
対象とするフレームの近傍で動きの特徴が切り替わっている場合には、対象のフレームでの動きがどちらの側に属しているかを判定し、所属している側の動きの特徴を元に動き乱雑度を算出するようにした。その結果、動きの特徴が変化するシーンの境界部分等で、不必要にノイズ許容度が大きくなりすぎることを防ぐことができ、適切なノイズ許容度の計算が可能となる。
【０１９５】
［第４の実施の形態］
以下では電子透かし埋め込みに利用する場合について説明する。
【０１９６】
本実施の形態では、これまでに述べた映像評価装置を電子透かしの適応的埋め込みに応用する例を示す。
【０１９７】
図１２は、本発明の第４の実施の形態における電子透かし埋め込み装置の構成例を示す。
【０１９８】
同図に示す電子透かし埋め込み装置９００は、映像評価部９０１、埋め込みパターン生成部９０２、埋め込みパターン重畳部９０３から構成され、埋め込み前映像９１１と埋め込み情報９１２とを入力し、埋め込み済み映像９１３を出力する。なお、映像評価部９０１は、前述の第１〜第３の実施の形態で述べた映像評価装置４００または７００に対応する。
【０１９９】
［１］電子透かし埋め込み装置の動作：
以下に、電子透かし埋め込み装置９００の動作を説明する。
【０２００】
電子透かし埋め込み装置９００による電子透かし埋め込み処理は、以下の手順で実施される。
【０２０１】
図１３は、本発明の第４の実施の形態における電子透かし埋め込み処理のフローチャートである。
【０２０２】
ステップ４０１）  映像評価部９０１において、入力された埋め込み前映像９１１に対し、本発明の第１乃至第３の実施の形態で述べた映像評価装置４００または７００を用いてノイズ許容度配列９２１を算出する。
【０２０３】
ステップ４０２）  埋め込みパターン生成部９０２において、入力された埋め込み情報９１２に基づいて電子透かしとして映像に埋め込む映像パターンである埋め込みパターン９２２を生成する。
【０２０４】
埋め込みパターン生成の方法は、従来の電子透かし埋め込み方法で生成される埋め込みパターン生成方法を用いればよい。例えば、文献「特開４００５０１９１４８号公報、『電子透かし埋め込み方法及び電子透かし検出方法及び電子透かし埋め込み装置、及び電子透かし検出装置、及び電子透かし埋め込みプログラムを格納した記憶媒体、及び電子透かし検出プログラムを格納した記憶媒体、及び電子透かしシステム』」や前述の非特許文献１に記載の電子透かし埋め込み方法に基づいて埋め込みパターンを生成しても構わない。
【０２０５】
ステップ４０３）  埋め込みパターン生成部９０２で生成された埋め込みパターン９２２を、映像評価部９０１で算出されたノイズ許容度配列９２１に従って重み付けする。
【０２０６】
具体的には、例えばあるフレームｎに対する埋め込みパターン９２２がＰ（ｎ，ｘ，ｙ）で表される場合、重み付けされた埋め込みパターンＰ’（ｎ，ｘ，ｙ）を、
Ｐ’（ｎ，ｘ，ｙ）＝ＥＴｎ［ｘ］［ｙ］×Ｐ（ｎ，ｘ，ｙ）      （３８）
のように求める。ここで、ＥＴｎ［ｘ］［ｙ］はノイズ許容度配列９２１である。
【０２０７】
ステップ４０４）  埋め込みパターン重畳部９０３において、入力された埋め込み前映像９１１に対し、ステップ４０３で重み付けされた埋め込みパターンを重畳し、埋め込み済み映像９１３を得る。
【０２０８】
［２］本実施の形態の特徴：
本実施の形態に示した電子透かし埋め込み装置により、映像評価部９０１において求められたノイズ許容度に基づき、ノイズ許容度の大きい部分には強く、ノイズ許容度の小さい部分には弱く電子透かしを埋め込むことができる。
【０２０９】
ノイズ許容度の大小は電子透かしの目立ち難さを表すため、全体として主観的にみて画質劣化が少なく、人間に知覚されにくい電子透かしの埋め込みを行うことができる。
【０２１０】
本実施の形態では、埋め込み情報に基づいて埋め込みパターンを生成した後に埋め込み前映像に重畳する方式の電子透かし埋め込み方法の例を示したが、埋め込みパターンを生成せずに、埋め込み情報に基づいて埋め込み前映像を直接変化させるような電子透かし埋め込み方法においても、埋め込み前映像を変化させる量を本発明の映像評価装置を用いて得られたノイズ許容度に従って制御することで、適応的埋め込みを行うことができる。
【０２１１】
例えば、埋め込み前映像を直交変換した後に、埋め込み情報に基づいて、直交変換係数を操作し、さらに直交逆変換して埋め込み済み映像を得るよう電子透かし埋め込み方法の場合は、直交変換をブロックを単位にして行い、直交変換領域において直交変換係数を変更する変更量の大きさをブロック毎のノイズ許容度に応じて変化させることで適応的埋め込みを行うことができる。
【０２１２】
［第５の実施の形態］
本実施の形態では、これまでに述べた映像評価装置４００または７００を映像画質評価装置に応用する例を示す。
【０２１３】
ここで、映像画質評価装置とは、ある元映像と、その元映像に何らかの処理を加えて画質の劣化した対象映像との２つの映像を入力し、元映像に対して対象映像がどれだけ劣化しているかを自動的に評価する装置である。
【０２１４】
図１４は、本発明の第５の実施の形態における映像画質評価装置の構成例を示す。
【０２１５】
映像画質評価装置１０００は、映像評価部１００１、誤差計算部１００２、ＷＳＮＲ計算部１００３から構成され、元映像１０１１と、対象映像１０１２とを入力し、映像画質評価結果１０１３を出力する。
【０２１６】
［１］映像画質評価処理：
以下に、映像画質評価装置１０００の動作を説明する。
【０２１７】
映像画質評価装置１０００による映像画質評価処理は以下の手順で実施される。
【０２１８】
図１５は、本発明の第５の実施の形態における映像画質評価処理のフローチャートである。
【０２１９】
ステップ１００１）  映像評価部１００１において、入力された元映像１０１１に対し、本発明の第１乃至第３の実施の形態で述べた映像評価装置４００または７００を用いてノイズ許容度配列１０２１を算出する。
【０２２０】
ここで、元映像１０１１の代わりに対象映像１０１２を映像評価部１００１に入力するようにしてもよい。元映像１０１１と対象映像１０１２の差が小さければ、映像評価の結果得られるノイズ許容度配列１０２１には大きな違いはないからである。
【０２２１】
ステップ１００２）  誤差計算部１００２において、入力された元映像１０１１と対象映像１０１２の画素毎の差分を計算し、誤差１０２２として出力する。ここで、元映像１０１１のｎフレーム目の画素値をＩ０（ｎ，ｘ，ｙ），対象映像１０１２のｎフレーム目の画素をＩｓ（ｎ，ｘ，ｙ）、ｎフレーム目の誤差１０２２をｅ（ｎ，ｘ，ｙ）とすると、
ｅ（ｎ，ｘ，ｙ）＝Ｉ０（ｎ，ｘ，ｙ）−Ｉｓ（ｎ，ｘ，ｙ）          （３９）
但し、ｘ，ｙは映像フレーム上での位置を表す。
【０２２２】
ステップ１００３）  ＷＳＮＲ計算部１００３において、映像評価部１００１で得られたノイズ許容度配列１０２１と誤差計算部１００２で得られた誤差１０２２に基づき、映像画質評価結果１０１３を計算する。
【０２２３】
映像画質評価結果１０１３の計算は、ＷＳＮＲ(Weighted Signal to Noise Ratio)に基づいて行われる。これは、ノイズ許容度配列１０２１に基づいて誤差を重み付けしてＳＮ比を求めるもので、具体的にはｎフレーム目のＷＳＮＲ値を例えば次のような計算式で求められる。
【０２２４】
【数３６】
2007288320.tif 000038
ここで、Ｐｓ画素値の最大値（例えば、８bit階調の映像の場合２５５）であり、
【０２２５】
【数３７】
2007288320.tif 000039
は、フレームの画面全体についての和をとることを表す。ここで、ＥＴｎ［ｘ］［ｙ］が全て１である場合は、通常のＰＳＮＲと同じになるのに対し、ＥＴｎ［ｘ］［ｙ］の値によって誤差の程度が重み付けされていることになる。
【０２２６】
このような計算により、ノイズ許容度が大きい部分では誤差ｅ（ｎ，ｘ，ｙ）が大きくてもＷＳＮＲ値の低下度合いが小さく、逆にノイズ許容度が小さい部分では、誤差ｅ（ｎ，ｘ，ｙ）が小さくてもＷＳＮＲ値を大きく低下させるようになる。
【０２２７】
［２］第５の実施の形態の特徴：
本実施の形態に示した映像画質評価装置により、映像評価部１００１において求められたノイズ許容度に基づき、ノイズ許容度に基づき、ノイズ許容度が大きい部分では誤差の影響が小さく、ノイズ許容度が小さい部分では誤差の影響が大きくなるように重み付けを行ってＳＮ比を計算することができる。すなわち、ノイズ許容度が大きい部分では誤差が大きくてもＷＳＮＲ値はあまり小さくならず、ノイズ許容度が小さい部分では誤差が小さくてもＷＳＮＲ値が小さくなる。その結果、主観的な画質劣化の程度と相関の高い映像画質評価を自動的に計算することができる。
【０２２８】
また、上記の第１〜第５の実施の形態における映像評価装置、電子透かし埋め込み装置、映像画質評価装置の動作をプログラムとして構築し、これらの装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【０２２９】
また、構築されたプログラムを、ハードディスクや、フレキシブルディスク、CD-ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０２３０】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０２３１】
本発明は、映像処理技術に適用可能であり、特に、電子透かし埋め込み・検出技術や、画質劣化を評価する技術等において動画の動きの乱雑さを評価する技術に適用可能である。
【図面の簡単な説明】
【０２３２】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における映像評価装置の構成例である。
【図４】本発明の第１の実施の形態における映像評価処理のフローチャートである。
【図５】本発明の第１の実施の形態における動き変化算出部の構成例である。
【図６】本発明の第１の実施の形態における動き変化算出部の動作のフローチャートである。
【図７】本発明の第１の実施の形態における動き変化値の算出の例である。
【図８】本発明の第２の実施の形態における映像評価装置の構成例である。
【図９】本発明の第２の実施の形態における映像評価処理のフローチャートである。
【図１０】本発明の第２の実施の形態における動きベクトルの分類の例である。
【図１１】本発明の第３の実施の形態における動き乱雑度算出のフローチャートである。
【図１２】本発明の第４の実施の形態における電子透かし埋め込み装置の構成例である。
【図１３】本発明の第４の実施の形態における電子透かし埋め込み処理のフローチャートである。
【図１４】本発明の第５の実施の形態における映像画質評価装置の構成例である。
【図１５】本発明の第５の実施の形態における映像画質評価処理のフローチャートである。
【図１６】従来技術で統一的な動きと乱雑な動きを区別できる例である。
【図１７】従来技術で統一的な動きを区別できない例である。
【符号の説明】
【０２３３】
４００  映像評価装置
４０１  動き検出手段、動き検出部
４０２  動き特徴量算出手段、動き変化算出部
４０３  動きノイズ許容度算出手段、動きノイズ許容度算出部
４０４  静止ノイズ許容度算出部
４０５  ノイズ許容度統合部
４０６  動き判定部
４１１  入力映像
４１２  ノイズ許容度配列
４２１  動き配列
４２２  動き変化配列
４２３  動きノイズ許容度
４２４  静止ノイズ許容度
４２５  動き判定結果
５０１  動き配列バッファ部
５０２  動きベクトル変化算出部
５２１  ｎフレーム目の動き配列
５２２  ｎ−１フレーム目の動き配列
７００  映像評価装置
７０１  動き検出部
７０２  動き乱雑度算出部
７０３  動きノイズ許容度算出部
７０４  静止ノイズ許容度算出部
７０５  ノイズ許容度統合部
７０６  動き判定部
７１１  入力映像
７１２  ノイズ許容度配列
７２１  動き配列
７２２  動き乱雑度配列
７２３  動きノイズ許容度
７２４  静止ノイズ許容度
７２５  動き判定結果
９００  電子透かし埋め込み装置
９０１  映像評価部
９０２  埋め込みパターン生成部
９０３  埋め込みパターン重畳部
９１１  埋め込み前映像
９１２  埋め込み情報
９１３  埋め込み済み映像
９２１  ノイズ許容度配列
９２２  埋め込みパターン
１０００  映像画質評価装置
１００１  映像評価部
１００２  誤差計算部
１００３  WSNR計算部
１０１１  元映像
１０１２  対象映像
１０１３  映像画質評価結果
１０２１  ノイズ許容度配列
１０２２  誤差
【図１】
2007288320.tif 000040
【図２】
2007288320.tif 000041
【図３】
2007288320.tif 000042
【図４】
2007288320.tif 000043
【図５】
2007288320.tif 000044
【図６】
2007288320.tif 000045
【図７】
2007288320.tif 000046
【図８】
2007288320.tif 000047
【図９】
2007288320.tif 000048
【図１０】
2007288320.tif 000049
【図１１】
2007288320.tif 000050
【図１２】
2007288320.tif 000051
【図１３】
2007288320.tif 000052
【図１４】
2007288320.tif 000053
【図１５】
2007288320.tif 000054
【図１６】
2007288320.tif 000055
【図１７】
2007288320.tif 000056