(57)【特許請求の範囲】
【請求項１】
映像を識別する情報である映像識別子を構成する各次元に関連付けられる、映像中の、２つの部分領域の特徴量の差分値に基づいて前記映像の識別に用いる視覚特徴量を前記次元毎に抽出する視覚特徴量抽出手段と、
前記２つの部分領域の特徴量の差分値に基づいて前記視覚特徴量の信頼度を算出する信頼度算出手段と
を備える映像識別子生成装置。
【請求項２】
請求項１に記載の映像識別子生成装置であって、
前記視覚特徴量抽出手段は、映像中の、同一フレーム内の２つの部分領域の特徴量の差分値に基づいて前記視覚特徴量を抽出し、
前記信頼度算出手段は、前記同一フレーム内の２つの部分領域の特徴量の差分値に基づいて前記視覚特徴量の信頼度を算出する、映像識別子生成装置。
【請求項３】
請求項１又は２に記載の映像識別子生成装置であって、
前記信頼度算出手段は、前記２つの部分領域の特徴量の差分値の絶対値に基づいて前記視覚特徴量の信頼度を算出する、映像識別子生成装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の映像識別子生成装置であって、
前記信頼度算出手段は、前記２つの部分領域の特徴量の差分値の絶対値の分布に基づいて定められる統計値に基づいて信頼度を算出する、映像識別子生成装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の映像識別子生成装置であって、
前記信頼度算出手段は、前記２つの部分領域の特徴量の差分値の絶対値のある代表値に基づいて信頼度を算出する、映像識別子生成装置。
【請求項６】
請求項１ないし５のいずれか１項に記載の映像識別子生成装置であって、
前記信頼度算出手段は、前記２つの部分領域の特徴量の差分値の絶対値の所定のパーセンタイル値に基づいて信頼度を算出する、映像識別子生成装置。
【請求項７】
請求項１、２、３または５に記載の映像識別子生成装置であって、
前記信頼度算出手段は、前記２つの部分領域の特徴量の差分値の絶対値のある代表値に定数を乗じた値と、予め定められた閾値とのうちいずれか小さい値を前記信頼度として算出する、映像識別子生成装置。
【請求項８】
請求項１、２、３または５に記載の映像識別子生成装置であって、
前記信頼度算出手段は、前記２つの部分領域の特徴量の差分値の絶対値のある代表値に定数を乗じさらに小数点以下を切り捨てた値と、予め定められた閾値とのうちいずれか小さい値を前記信頼度として算出する、映像識別子生成装置。
【請求項９】
第１の映像中の２つの部分領域の特徴量の差分値から算出された、映像の識別に用いる第１の視覚特徴量と、前記第１の映像中の前記２つの部分領域の特徴量の差分値から算出された、前記第１の視覚特徴量の信頼度を示す第１の信頼度情報と、第２の映像中の２つの部分領域の特徴量の差分値から算出された、映像の識別に用いる第２の視覚特徴量と、前記第２の映像中の前記２つの部分領域の特徴量の差分値から算出された、前記第２の視覚特徴量の信頼度を示す第２の信頼度情報とを用い、
前記第１の信頼度情報と前記第２の信頼度情報とに基づいて、照合パラメータを算出する照合パラメータ算出手段と、
前記第１の視覚特徴量と前記第２の視覚特徴量とを、前記照合パラメータに従って照合し、照合結果を出力する照合手段と
を備える映像識別子照合装置。
【請求項１０】
請求項９に記載の映像識別子照合装置であって、
前記照合パラメータ算出手段は、前記第１の信頼度情報と前記第２の信頼度情報の何れか一方が予め定められた閾値よりも小さい場合に、前記照合パラメータとして特定の照合パラメータを出力し、
前記照合手段は、前記照合パラメータが前記特定の照合パラメータである場合に、前記照合結果として前記第１の映像と前記第２の映像が一致しないことを出力する、映像識別子照合装置。
【請求項１１】
請求項９または１０に記載の映像識別子照合装置であって、
前記照合パラメータ算出手段は、前記第１の信頼度情報と前記第２の信頼度情報の両方が予め定められた閾値よりも小さい場合に、前記照合パラメータとして特定の照合パラメータを出力し、
前記照合手段は、前記照合パラメータが前記特定の照合パラメータである場合に、前記照合結果として前記第１の映像と前記第２の映像が一致しないことを出力する、映像識別子照合装置。
【請求項１２】
視覚特徴量抽出手段と信頼度算出手段とを有する装置が実行する映像識別子生成方法であって、
前記視覚特徴量抽出手段が、映像を識別する情報である映像識別子を構成する各次元に関連付けられる、映像中の、２つの部分領域の特徴量の差分値に基づいて前記映像の識別に用いる視覚特徴量を前記次元毎に抽出し、
前記信頼度算出手段が、前記２つの部分領域の特徴量の差分値に基づいて前記視覚特徴量の信頼度を算出する、映像識別子生成方法。
【請求項１３】
請求項１２に記載の映像識別子生成方法であって、
前記視覚特徴量の抽出では、映像中の、同一フレーム内の２つの部分領域の特徴量の差分値に基づいて前記視覚特徴量を抽出し、
前記信頼度の算出では、前記同一フレーム内の２つの部分領域の特徴量の差分値に基づいて前記視覚特徴量の信頼度を算出する、映像識別子生成方法。
【請求項１４】
請求項１２又は１３に記載の映像識別子生成方法であって、
前記信頼度の算出では、前記２つの部分領域の特徴量の差分値の絶対値に基づいて前記視覚特徴量の信頼度を算出する、映像識別子生成方法。
【請求項１５】
請求項１２ないし１４のいずれか１項に記載の映像識別子生成方法であって、
前記信頼度の算出では、前記２つの部分領域の特徴量の差分値の絶対値の分布に基づいて定められる統計値に基づいて信頼度を算出する、映像識別子生成方法。
【請求項１６】
請求項１２ないし１５のいずれか１項に記載の映像識別子生成方法であって、
前記信頼度の算出では、前記２つの部分領域の特徴量の差分値の絶対値のある代表値に基づいて信頼度を算出する、映像識別子生成方法。
【請求項１７】
請求項１２ないし１６のいずれか１項に記載の映像識別子生成方法であって、
前記信頼度の算出では、前記２つの部分領域の特徴量の差分値の絶対値の所定のパーセンタイル値に基づいて信頼度を算出する、映像識別子生成方法。
【請求項１８】
請求項１２、１３、１４または１６に記載の映像識別子生成方法であって、
前記信頼度の算出では、前記２つの部分領域の特徴量の差分値の絶対値のある代表値に定数を乗じた値と、予め定められた閾値とのうちいずれか小さい値を前記信頼度として算出する、映像識別子生成方法。
【請求項１９】
請求項１２、１３、１４または１６に記載の映像識別子生成方法であって、
前記信頼度の算出では、前記２つの部分領域の特徴量の差分値の絶対値のある代表値に定数を乗じさらに小数点以下を切り捨てた値と、予め定められた閾値とのうちいずれか小さい値を前記信頼度として算出する、映像識別子生成方法。
【請求項２０】
照合パラメータ算出手段と照合手段とを有する装置が実行する映像識別子照合方法であって、
第１の映像中の２つの部分領域の特徴量の差分値から算出された、映像の識別に用いる第１の視覚特徴量と、前記第１の映像中の前記２つの部分領域の特徴量の差分値から算出された、前記第１の視覚特徴量の信頼度を示す第１の信頼度情報と、第２の映像中の２つの部分領域の特徴量の差分値から算出された、映像の識別に用いる第２の視覚特徴量と、前記第２の映像中の前記２つの部分領域の特徴量の差分値から算出された、前記第２の視覚特徴量の信頼度を示す第２の信頼度情報とを用い、
前記照合パラメータ算出手段が、前記第１の信頼度情報と前記第２の信頼度情報とに基づいて、照合パラメータを算出し、
前記照合手段が、前記第１の視覚特徴量と前記第２の視覚特徴量とを、前記照合パラメータに従って照合し、照合結果を出力する、映像識別子照合方法。
【請求項２１】
請求項２０に記載の映像識別子照合方法であって、
前記照合パラメータの算出では、前記第１の信頼度情報と前記第２の信頼度情報の何れか一方が予め定められた閾値よりも小さい場合に、前記照合パラメータとして特定の照合パラメータを出力し、
前記照合では、前記照合パラメータが前記特定の照合パラメータである場合に、前記照合結果として前記第１の映像と前記第２の映像が一致しないことを出力する、映像識別子照合方法。
【請求項２２】
請求項２０または２１に記載の映像識別子照合方法であって、
前記照合パラメータの算出では、前記第１の信頼度情報と前記第２の信頼度情報の両方が予め定められた閾値よりも小さい場合に、前記照合パラメータとして特定の照合パラメータを出力し、
前記照合では、前記照合パラメータが前記特定の照合パラメータである場合に、前記照合結果として前記第１の映像と前記第２の映像が一致しないことを出力する、映像識別子照合方法。
【請求項２３】
コンピュータを、
映像を識別する情報である映像識別子を構成する各次元に関連付けられる、映像中の、２つの部分領域の特徴量の差分値に基づいて前記映像の識別に用いる視覚特徴量を前記次元毎に抽出する視覚特徴量抽出手段と、
前記２つの部分領域の特徴量の差分値に基づいて前記視覚特徴量の信頼度を算出する信頼度算出手段と
して機能させるためのプログラム。
【請求項２４】
コンピュータを、
第１の映像中の２つの部分領域の特徴量の差分値から算出された、映像の識別に用いる第１の視覚特徴量と、前記第１の映像中の前記２つの部分領域の特徴量の差分値から算出された、前記第１の視覚特徴量の信頼度を示す第１の信頼度情報と、第２の映像中の２つの部分領域の特徴量の差分値から算出された、映像の識別に用いる第２の視覚特徴量と、前記第２の映像中の前記２つの部分領域の特徴量の差分値から算出された、前記第２の視覚特徴量の信頼度を示す第２の信頼度情報とを用い、
前記第１の信頼度情報と前記第２の信頼度情報とに基づいて、照合パラメータを算出する照合パラメータ算出手段と、
前記第１の視覚特徴量と前記第２の視覚特徴量とを、前記照合パラメータに従って照合し、照合結果を出力する照合手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は数多くの動画像の中から、類似あるいは同一の動画像区間を検出する映像検索用の映像識別子抽出装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
動画像から特徴量を抽出し、照合する装置の一例が、非特許文献１に記載されている。図７は、特許文献１に記された装置をあらわすブロック図である。
【０００３】
ブロック単位特徴量抽出手段１０００は、入力される第１の映像からブロック単位で特徴量を抽出し、第１の特徴量を照合手段１０３０へ出力する。ブロック単位特徴量抽出手段１０１０は、入力される第２の映像からブロック単位で特徴量を抽出し、第２の特徴量を照合手段１０３０へ出力する。重み付け係数算出手段１０２０は、入力される学習用映像に基づいて各ブロックの重みの値を算出し、重み付け係数を照合手段１０３０へ出力する。照合手段１０３０は、重み付け係数算出手段１０２０から出力される重み付け係数を用いて、ブロック単位特徴量抽出手段１０００から出力される第１の特徴量と、ブロック単位特徴量抽出手段１０１０から出力される第２の特徴量とを照合し、照合結果を出力する。
【０００４】
次に、図７に示す装置の動作について説明する。
【０００５】
ブロック単位特徴量抽出手段１０００では、入力される第１の映像の各フレームをブロック単位に分割し、各ブロックから映像を識別するための特徴量を算出する。具体的には、ブロックごとにエッジのタイプを判定し、そのタイプを各ブロックの特徴量として算出する。そして、各フレームに対して、各ブロックのエッジタイプからなる特徴量ベクトルを構成する。この特徴量ベクトルを各フレームに対して算出し、得られた特徴量を第１の特徴量として照合手段１０３０へ出力する。
【０００６】
ブロック単位特徴量抽出手段１０１０の動作もブロック単位特徴量抽出手段１０００と同様であり、入力される第２の映像から第２の特徴量を算出し、得られた第２の特徴量を照合手段１０３０へ出力する。
【０００７】
一方、重み付け係数算出手段１０２０では、事前に学習用映像を用いて、フレーム内の各ブロックにおいてテロップが挿入される確率を算出する。そして、算出された確率に基づいて、各ブロックの重み付け係数を算出する。具体的には、テロップ重畳に対しての頑健性を高めるために、テロップが重畳される確率が低いほど、重みが高くなるようにして重み付け係数を算出する。得られた重み付け係数は、照合手段１０３０へ出力される。
【０００８】
照合手段１０３０では、重み付け係数算出手段１０２０から出力される重み付け係数を用いて、ブロック単位特徴量抽出手段１０００から出力される第１の特徴量とブロック単位特徴量抽出手段１０１０から出力される第２の特徴量とを照合する。具体的には、フレームごとに、同じ位置にあるブロックの特徴量を比較し、同じであれば1、そうでなければ0としてブロック単位のスコアを算出する。得られたブロック単位のスコアを重み付け係数を用いて加重して合計し、フレームの照合スコア（フレーム単位の類似度）を算出する。これを各フレームに対して行い、第１の映像と第２の映像の照合結果を算出する。
【０００９】
このようにすることで、テロップ重畳の影響が大きいところの影響を抑えて動画像の照合を行うことが可能となり、テロップ重畳がある場合であっても高い照合精度を達成できる。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Kota Iwamoto, Eiji Kasutani, Akio Yamada, 「ImageSignature Robust to Caption Superimposition for Video Sequence Identification」，Proceedings of International Conference on Image Processing(ICIP2006)，2006．
【非特許文献２】Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato and Kyoji Hirata「Video Material Archive System for Efficient Video Editing Based onMedia Identification」，Proceedings of InternationalConference on Multimedia and Expo (ICME2004)，pp.727--730,2004．
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、動画像の照合精度を低下させる要因には、上述したテロップ重畳以外にも存在する。例えば、黒いフレームにフェードアウトしていくシーンは、多くの映像中に共通に現れるため、動画像の照合精度を低下させる。また、殆ど均一の値しか有さないフレームは、特徴量が安定的に求まらないため、動画像の照合精度を低下させる。つまり、黒いフレームにフェードアウトしていくシーンなどのように、独立な映像間であっても生じえる類似（ほぼ同一）の映像区間や、殆ど均一の値しか有さないフレームなどのように、特徴量の信頼性が低い映像区間を、他の通常の区間と同様に扱って照合を行うと、過剰に検出したり、検出もれが生じたりする。この結果、照合精度が低下するという問題があった。このような問題は、照合対象となる動画像自体の特徴を考慮しない特許文献１に記載された技術では、解決することは困難である。
【００１２】
［発明の目的］
本発明の目的は、多くの映像中に共通に現れる映像パタンや、特徴量が安定的に求まらない映像パタンなどが映像中に存在していると照合精度が低下する、という課題を解決する映像識別子抽出装置とその照合装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の一形態にかかる映像識別子生成装置は、映像中の、複数の部分領域対の特徴量に基づいて上記映像の識別に用いる視覚特徴量を抽出する視覚特徴量抽出手段と、上記複数の部分領域対の特徴量に基づいて上記視覚特徴量の信頼度を算出する信頼度算出手段とを備える。
【００１４】
また本発明の他の形態にかかる映像識別子照合装置は、第１の映像中の複数の部分領域対の特徴量から算出された、映像の識別に用いる第１の視覚特徴量と、上記第１の映像中の上記複数の部分領域対の特徴量から算出された、上記第１の視覚特徴量の信頼度を示す第１の信頼度情報と、第２の映像中の複数の部分領域対の特徴量から算出された、映像の識別に用いる第２の視覚特徴量と、上記第２の映像中の上記複数の部分領域対の特徴量から算出された、上記第２の視覚特徴量の信頼度を示す第２の信頼度情報とを用い、上記第１の信頼度情報と上記第２の信頼度情報とに基づいて、照合パラメータを算出する照合パラメータ算出手段と、上記第１の視覚特徴量と上記第２の視覚特徴量とを、上記照合パラメータに従って照合し、照合結果を出力する照合手段とを備える。
【発明の効果】
【００１５】
本発明によれば、多くの映像中に共通に現れる映像パタンや、特徴量が安定的に求まらない映像パタンなどによる照合精度の低下を防止することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明にかかる映像識別子生成装置の実施の形態を表すブロック図である。
【図２】ピクチャから特徴量を抽出する方式の一例を示す図である。
【図３】本発明にかかる映像識別子照合装置の実施の形態を表すブロック図である。
【図４】２つの映像の照合処理を説明するための図である。
【図５】本発明にかかる映像識別子生成装置の他の実施の形態を表すブロック図である。
【図６】本発明にかかる映像識別子照合装置の他の実施の形態を表すブロック図である。
【図７】本発明に関連する技術を説明するためのブロック図である。
【発明を実施するための形態】
【００１７】
次に、発明を実施するための形態について図面を参照して詳細に説明する。
【００１８】
[映像識別子生成装置の実施形態]
図１を参照すると、本発明の映像識別子抽出装置の実施の形態が示されており、特徴量抽出手段１３０と、信頼度算出手段１２０とからなる。
【００１９】
特徴量抽出手段１３０は、入力される映像から特徴量を抽出し、視覚特徴量を出力するとともに、信頼度算出パラメータを信頼度算出手段１２０へ出力する。信頼度算出手段１２０は、特徴量抽出手段１３０から出力される信頼度算出パラメータに基づいて信頼度を算出し、信頼度情報を出力する。特徴量抽出手段１３０から出力された視覚特徴量と信頼度算出手段１２０から出力された信頼度情報とから入力映像の映像識別子が構成される。視覚特徴量と信頼度情報とは、両者の対応関係が明確にされていれば独立していてもよいし、後述する多重化手段を用いる実施の形態のように一体化されていてもよい。
【００２０】
次に、図１に示す実施の形態の動作について詳細に説明する。
【００２１】
まず、映像は特徴量抽出手段１３０へ入力される。元の映像が符号化されている場合には、復号器によって復号されてから、ピクチャ単位でデータが入力されるものとする。
【００２２】
ここで、ピクチャとは、画面を構成する単位であり、通常はフレームやフィールドからなる。ただし、ピクチャはこれらには限らず、画面を構成する単位であれば、どのようなものでもよい。また、画面の一部を切り出した部分画像であってもよい。例えば、黒帯が付加された画像の場合には、それを除いた画面をピクチャとしてもよい。ここで、黒帯とは、例えば4:3と16:9のアスペクト変換によって画面の上下や左右に挿入される黒い余白領域を指す。
【００２３】
特徴量抽出手段１３０では、ピクチャ毎に特徴量ベクトルを算出する。ピクチャを1枚の静止画とみなし、この色や模様、形などの特徴を示す視覚特徴量のベクトルを抽出する。この特徴量として、特徴量ベクトルの各次元に対応付けられた複数の部分領域対それぞれに対して領域間における特徴量の差を算出し、差を量子化して得られる量子化値を各次元の値とする特徴量ベクトルを用いても良い。例えば、領域対の各領域に対して領域内での画素値（あるいは輝度値）の平均値（あるいは平均輝度値）を求め、領域間で平均値の差を算出し、これを量子化して得られる量子化値を各次元の値とする特徴量ベクトルを用いても良い。この際、輝度値を用いる場合には、画像に色ずれが生じるような改変処理（例えば映像のアナログダビングや高圧縮など）に対しても頑健になる。ピクチャ毎に算出された特徴量ベクトルは、視覚特徴量として出力される。
【００２４】
特徴量抽出手段１３０では、同時に信頼度算出パラメータも算出する。ここで、信頼度とは、抽出された視覚特徴量を用いて識別（照合）した場合の識別結果（照合結果）がどれほど信頼できるかを表す指標である。すなわち、識別結果の確からしさを表す指標であり、識別結果の確からしさが高いときに大きくなり、低いときに小さくなる。信頼度算出パラメータは、抽出された視覚特徴量の信頼度の算出に用いるパラメータであり、映像を識別する上で望ましくない、すなわち、識別結果の確からしさが低くなる映像パタンに対して値が小さくなるような信頼度を算出することができる値であれば、どのようなものでもよい。抽出された視覚特徴量そのものであってもよいし、視覚特徴量抽出の途中で得られる中間的な物理量（統計量）であってもよい。あるいは、入力された画像そのものであってもよいし、これから特定パタンと相関を持つ特徴量を抽出したものであってもよい。
【００２５】
ここで望ましくない映像パタンとしては、本来全く別の映像であるにもかかわらず、たまたま殆ど同一になってしまう映像パタン（シーン）がある。例えば、映画で多用される黒フレームへのフェードアウトがこの代表例である。フェードアウトという映像編集技法は多くの全く異なる映像で用いられるが、もとの映像の内容如何にかかわらず、フェードアウトした後は、真っ黒（あるいは真っ白）なシーンになってしまい、映像間の差異がなくなる。このように、多数の全く異なる映像間で発生する共通映像パタンのことを意味している。このような映像パタンは特徴量の種類によらず、どのような特徴量を用いる場合にも、識別上問題になる映像パタンである。
【００２６】
一方、特徴量の種類によって変わる望ましくない映像パタンもある。具体的には、特徴量が不安定で頑健性がなくなる場合である。例えば、画面上の画素値の起伏が小さい平坦な画像から構成されるシーンのように、画像的に特徴が少ない場合には、特徴量によってはノイズ等の影響を受けやすくなり、頑健性が低下する。どのような画像で頑健性が低下するかは特徴量に依存するが、どのような特徴量であっても、特徴量固有の頑健性が低下する映像パタンが存在する。例えば、色関連の特徴量であれば、白黒になると頑健性が低くなる。一方、模様を表す特徴量の場合には、上述のように平坦な画像になると頑健性が低くなる。
【００２７】
このような映像識別上望ましくない特定の映像パタンから抽出された視覚特徴量が照合に悪影響を及ぼすのを抑えるために、信頼度算出手段１２０では信頼度を算出する。すなわち、視覚特徴量を抽出しているピクチャが特定の映像パタンに該当する場合に信頼度が低くなるようにする。信頼度の算出方法は映像パタンに依存するが、例えば、上述のフェードアウトのシーンの場合には、画像全体の輝度値の平坦性を反映した値を用いることで信頼度を算出可能である。すなわち、信頼度算出パラメータとして、輝度値の平坦性と相関がある値を用い、信頼度算出パラメータの値が画面全体の輝度値の平坦性が高いことを示している場合に、値が低くなるように信頼度を規定する。また、信頼度算出パラメータの時間変化を測定し、これに基づいてフェードアウトを判定してもよい。例えば、信頼度算出パラメータとして画面内の輝度値の平坦性と相関がある値を用い、平坦性が徐々に高くなるように時間とともに変化し、最終的に画面全体が平坦となることが信頼度算出パラメータから推定できる場合には、時間的な変化の履歴も考慮して、信頼度を算出することもできる。
【００２８】
この信頼度算出を各ピクチャに対して行い、ピクチャ単位で信頼度を出力する。あるいは、一定周期のピクチャごとにまとめて信頼度を求め、出力するようになっていてもよい。
【００２９】
このように、本実施の形態は、映像識別上好ましくない映像パタンに該当するピクチャに対する信頼度を下げるような信頼度を特徴量とともに生成するため、照合時にこの信頼度を用いることで、照合精度を向上できる。また、予め定められた特定映像パタンごとに適した信頼度算出法を採用することができ、全体の照合精度を向上できる。
【００３０】
[映像識別子生成装置の他の実施形態]
次に、本発明の映像識別子生成装置の他の実施形態を説明する。以下では、望ましくない特定映像パタンとして、映像の輝度が画面全体で一様になるパタン（平坦な画像）を考え、以下に述べる特徴量を用いる場合について、信頼度を算出する方法を述べる。すなわち、映像の輝度が画面全体で一様になるパタン（平坦な画像）の場合に、信頼度が低くなるような算出方法について述べる。
【００３１】
図２はピクチャから特徴量を抽出する方式の一例を示している。この方式では、ピクチャ内の任意の２領域（２つの部分領域）をペアとして複数定めておき、ペアとなった２領域間での特徴量の差を算出し、差に基づいて特徴量ベクトルを算出する。ここで、各領域ペアをP1，P２，…PＮと表し、n番目のペアPｎから定まる特徴量をVｎで表すことにする。領域ペアのとり方は、図に示すように、様々な形・位置の領域の組み合わせがあり得る。好ましくは、複数の領域ペアのうちの少なくとも１つの領域ペアは、対をなす２領域の形状の組み合わせと、対をなす２領域の相対的な位置関係との双方が、全ての他の２領域ペアと相違している。また、対をなす２領域の形状の組み合わせと、対をなす２領域の相対的な位置関係との双方が同じ２領域ペアどうしは、２領域の絶対的な位置が相違している。
【００３２】
そして、PｎからVｎを求める方法も様々な方法が考えられる。例えば、各ペアで斜線の領域と網線をつけた各領域内で輝度の平均値を算出し、その大小関係でVｎの値を決定する方法がある。具体的には、斜線の領域内で求めた平均輝度値から網線の領域内で求めた平均輝度値を引いて差Dｎを求め、閾値をThとして、Dｎ>ThのときにVｎ=1、Dｎ<-ThのときにVｎ=-1、それ以外のときに０となる（すなわちAbs(Dｎ)≦Thのときに０となる。ただし、Abs()は絶対値を算出する関数である。）ように、-1,0,+1の3値の何れかに量子化して算出する。
【００３３】
この特徴量Vｎを求める際に算出される差分値Dｎの値は、画面全体の輝度が一様（平坦）になる場合には、全般的に０に近い値になる。すなわち、差分値Dnの分布は0に近い値に集中する（小さい値になるか、あるいは無くなる）ようになる。差分値Dnは、平坦な画像の特性をよく反映しているため、信頼度算出する指標として適している。そこで、この程度を評価する値を信頼度として用いることができる。例えば、差分値Dｎや差分値Dnの絶対値（Abs(Dn)で表す）の分布に基づいて算出される統計値を求め、この大小によって信頼度を決定することができる。統計値としては、分布を代表する値（代表値）である平均、メディアン、最頻値や、最大値、最小値、あるいは、パーセンタイル（累積度数が分布全体のある一定の割合（パーセント）に到達する値）、分散、n次モーメントなどを用いても良い。例えば、差分値の分散を求め、この値、あるいは、この値と正の相関を有する値（標準偏差、あるいは、分散に関する単調増加関数など）を信頼度として用いることができる。あるいは、分布の代表値を信頼度の算出に用いてもよい。代表値は分布全体の特徴をよく反映しているため、１つの値で分布の特性を表すのによい指標であり、これを用いて信頼度を決定できる。例えば、差分の絶対値Abs(Dn)の分布の代表値である平均値を算出し、この平均値を信頼度としてもよい。また例えば、Dｎの絶対値Abs(Dｎ)の中央値（メディアン）を算出し、この中央値（メディアン）を信頼度としてもよい。中央値を用いる場合には、テロップ重畳や黒帯重畳によって、本来画面にはない領域が改変処理によって付加された場合であっても、これらをはずれ値（Outlier）として除外して信頼度を算出可能であり、頑健性を向上できる。また例えば、Dｎの絶対値Abs(Dｎ)を値が小さい順にソートしたものをdk={d1,d2,…dN}とする。そして、k=Kのときの絶対差分dKを代表値として選び、信頼度として算出してもよい。ここでKとしては、例えば、K=floor(0.5×N)を用いると、dKは絶対値Abs(Dｎ)の中央値（メディアン）となる。ここに、floor()は、小数点以下を切り捨てる関数である。またKとしては、例えば、K=floor(α×N)を用いてもよい（ただし０≦α≦１）。この場合も、中央値を用いた場合と同様の効果が得られる。
【００３４】
信頼度を1バイトで表すこととして、信頼度のレンジを0から255とする場合には、このdKを用いて、例えば、min (floor(dK×β), 255 )によって算出する。ここに、min()は、最小値を返す関数である。ここでβは信頼度の値を調整する係数であり、β＝8などとする。すなわち信頼度をmin (floor(dK×8), 255 )によって算出することができる。基本的に、信頼度の値は、低くなるときが重要であるため、上述のように定数βを乗じることで信頼度の低いときの値を拡大することで、識別時に信頼度に応じたきめ細かい識別の制御が可能になる。一方、信頼度が大きい場合は、視覚特徴量自体が十分な識別能力を有し、それほど細かな制御をしなくてもよくなる。この際、255で上限を打ち切ることにより、信頼度を1バイトで記述できるようになり、映像識別子のサイズをコンパクトにできる。また、１バイトにすることにより、映像識別子の区切りをバイト単位でアライン（整列）させることができるようになり、ビット単位での処理が不要になり、識別時のデータ読み取りを高速化できるようになる。
【００３５】
このようにすることで、ピクチャが平坦で特徴を有しない場合の信頼度を低く設定できるようになる。
【００３６】
[映像識別子照合装置の実施形態]
次に、図１に示す映像識別子抽出装置によって生成された映像識別子の照合装置の実施の形態について説明する。
【００３７】
図３を参照すると、図１に示す映像識別子抽出装置によって生成された映像識別子を照合する映像識別子照合装置の実施の形態が示されており、照合パラメータ算出手段４１０と、照合手段４００とからなる。
【００３８】
照合パラメータ算出手段４１０は、第１の信頼度情報と、第２の信頼度情報とから照合パラメータを求め、照合手段４００へ出力する。照合手段４００は、照合パラメータ算出手段４１０から出力される照合パラメータを用いて、第１の視覚特徴量と第２の視覚特徴量とを照合し、照合結果を出力する。ここで、第１の視覚特徴量と第１の信頼度情報とは、第１の映像の映像識別子を構成し、第２の視覚特徴量と第２の信頼度情報とは、第２の映像の映像識別子を構成している。また、視覚特徴量と信頼度情報とは、ピクチャ単位で与えられる。これにより、ピクチャ単位での照合が可能になる。
【００３９】
次に、図３に示す映像識別子照合装置の動作について説明する。
【００４０】
まず、第１の映像から求めた第１の信頼度情報と、第２の映像から求めた第２の信頼度情報とは、照合パラメータ算出手段４１０へ入力される。照合パラメータ算出手段４１０では、第１の信頼度情報と第２の信頼度情報とから、映像１と映像２の区間同士の照合に用いる照合パラメータを算出する。例えば、第１の信頼度情報と第２の信頼度情報とから、ピクチャごとの照合を行う際の加重係数を照合パラメータとして算出する。
【００４１】
第１の信頼度情報と第２の信頼度情報から加重係数を算出する方法は複数考えられるが、どちらか一方の信頼度が小さな値に対応するときに小さくなるという制約を満たしており、信頼度情報に対応する重み値の両方が大きくなったときに増加するようになっていればよい。例えば、第１、第２の信頼度情報から求まる第１の映像のk1番目のピクチャ、第２の映像のk2番目のピクチャの信頼度がそれぞれr1(k1)、r2(k2)のときに、これらのピクチャ間で照合を行う際の加重係数w(k1,k2)は［式１］によって算出することができる。
［式１］
w(k1,k2) = min(r1(k1),
r2(k2))
【００４２】
照合手段４００では、第１の視覚特徴量と第２の視覚特徴量を照合する。この際、両特徴量の類似性を表す類似度によって比較してもよいし、両特徴量の差異の度合いを表す距離によって比較してもよい。距離によって比較する場合には、［式２］によって算出される距離dに基づいて比較する。
［式２］
0005573131.tif 000002
【００４３】
ここで、Nは特徴量の次元数であり、v1(i)、v2(i)はそれぞれ、第１、第２の特徴量のi番目の次元の値を表している。この比較をピクチャ単位に行い、第１の映像と第２の映像の一定区間の照合を行う。この際、上述の加重係数w(k1,k2)を用いる。例えば、ピクチャ単位の比較で求まる距離値を映像区間内で平均した値によって映像区間の照合を行う場合には、平均値を算出する際に、第１の映像のk1番目のピクチャと第２の映像のk2番目のピクチャの比較により求まる距離値d(k1,k2)には加重係数w(k1,k2)によって加重する。すなわち、映像１のt1番目のピクチャから始まるKピクチャからなる区間と、映像２のt2番目のピクチャから始まるKピクチャからなる区間とを照合する際には、［式３］によって距離値を算出する。
［式３］
0005573131.tif 000003
【００４４】
この値が閾値より大きい場合は、区間として一致していないと判定し、閾値以下の場合には、区間として一致していると判定する。これを第１の映像と第２の映像の任意の区間の組み合わせに対して行うことによって、これらの映像間に含まれる任意の長さの同一区間を全て判定することができる。
【００４５】
あるいは、ピクチャ単位の比較で距離の値が閾値以内になるピクチャ対の数を求めて、その値が区間に含まれるピクチャ数に比して十分大きいときに同一区間であると判定し、そうでなければ、同一区間でないと判定する。この場合にも、同様に重みをつけて判定可能である。すなわち、［式４］によって判定することも可能である。
［式４］
0005573131.tif 000004
【００４６】
ここで、U(x)はx≧0のときに1、x<0のときに0となる単位ステップ関数であり、Thはピクチャ間の特徴量間の距離の閾値（すなわち、距離がTh以下のときに同一と判定し、そうでないときは同一でないと判定する）である。これを第１の映像と第２の映像の任意の区間の組み合わせに対して行うことによって、これらの映像間に含まれる任意の長さの同一区間を全て判定することができる。
【００４７】
任意の長さの区間同士の比較法としては、非特許文献２に記載された照合方法を用いることもできる。図４に示すように、映像間での照合に長さＬピクチャの照合窓を設け、これらを第１の映像、第２の映像間でスライドさせていき、両者を比較する。もし、照合窓内の区間同士が同一区間と判定された場合には、そこからpピクチャだけ照合窓を伸ばし、照合処理を継続する。同一区間と判定される限りにおいては、pピクチャだけ窓を伸ばす処理を反復し、最大長の同一区間を求める。このようにすることで、最大長の同一区間を効率的に求めることができる。
【００４８】
なお、上記の説明では距離を尺度として用いる場合について記したが、類似度を用いても同様に照合可能である。具体的には、［式５］によって算出される類似度Sに基づいて比較する。
［式５］
0005573131.tif 000005
【００４９】
ここで、Sim(x,y)はxとyの近さを表す関数であり、xとｙの値が近いほど大きな値となる。例えば、xとyの間の距離をd(x,y)とすると、［式６］のような関数を用いることができる。
［式６］
0005573131.tif 000006
【００５０】
あるいは、Sim(x,y)はクロネッカーデルタのように、xとyが一致したときのみ1、それ以外は0となる関数であってもよい。あるいは、類似度として特徴ベクトル間の角度（余弦値）を用いる場合には、［式７］によって算出される類似度Sに基づいて比較する。
［式７］
0005573131.tif 000007
【００５１】
これにより、第１の映像識別子と第２の映像識別子の照合結果が算出される。
【００５２】
あるいは、照合パラメータ算出手段４１０から出力される照合パラメータとしては、対応するピクチャの照合結果を無視するかどうかを定める特定のパラメータであってもよい。照合する際のピクチャの一方が信頼度が低い場合（例えば信頼度が予め定められた一定の閾値を下回った場合）には、ピクチャ間の照合結果はあまり信頼性が高くない。このような場合には、そのピクチャの照合結果を使用せずに、映像区間の照合を行うことが考えられる。例えば、映像1と映像2とを照合する際、映像1の5から9番目のピクチャの信頼度が低い場合には、映像1の5から9番目のピクチャに対するピクチャ間の照合結果は使用せずに、映像1と映像2の映像区間の照合を行う。上述の例では、一方の映像の信頼度が低い場合について述べたが、これを両方の映像の信頼度が低い場合にのみ、対応するピクチャの照合結果を使用しないようになっていてもよい。
【００５３】
あるいは、照合パラメータ算出手段４１０から出力される照合パラメータとしては、対応するピクチャは他のどのようなピクチャとも一致しないことを定める特定のパラメータであってもよい。照合する際のピクチャの一方が信頼度が低い場合（例えば信頼度が予め定められた一定の閾値を下回った場合）には、ピクチャ間の照合結果はあまり信頼性が高くない。このような場合には、そのピクチャは他のどのようなピクチャとも一致しないと見做すことが考えられる。例えば、映像1と映像2とを照合する際、映像1の5から9番目のピクチャの信頼度が低い場合には、映像1の5から9番目のピクチャに対するピクチャ間の照合結果はすべて一致しないと見做して、映像1と映像2の映像区間の照合を行う。上述の例では、一方の映像の信頼度が低い場合について述べたが、これを両方の映像の信頼度が低い場合にのみ、対応するピクチャがどのようなピクチャとも一致しないと判定するようになっていてもよい。
【００５４】
あるいは、照合パラメータ算出手段４１０から出力される照合パラメータとしては、ピクチャ間での照合で異なるピクチャと判定される回数を記述するパラメータであってもよい。アナログキャプチャなどの改変処理においては、全てのピクチャが正確にはキャプチャされず、ところどころのピクチャが落ちる場合がある。このような場合、同一な映像であるにもかかわらず、落ちたピクチャが原因でうまく照合できなくなる場合がある。このような場合には、ピクチャの照合が失敗してもよい回数を決めておき、その回数以下である場合には、そのまま照合を続ける（すなわち、照合の失敗がその回数を超えた段階ではじめて照合しないと判定する）ことで連続区間をうまく照合できるようになる。この際の許容するピクチャ間の照合失敗の回数（これをNthとする）を、信頼度によって制御する。例えば、信頼度が低い区間では、Nthの値を信頼度が低いピクチャの枚数に応じてインクリメントする。このようにして、信頼度が低いピクチャが続く場合であっても連続区間として照合できるようになる。
【００５５】
以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。
【００５６】
また本発明の映像識別子生成装置は、図５に示すように、特徴量抽出手段１３０から出力された視覚特徴量と信頼度算出手段１２０から出力された信頼度情報とを入力し、映像識別子を出力する多重化手段１４０を備えていてもよい。多重化手段１４０では、特徴量抽出手段１３０から出力される視覚特徴量と信頼度算出手段１２０から出力される信頼度情報とをまとめて映像識別子を生成し、出力する。ここでは、両者が照合時に分離可能な形で多重化して映像識別子を生成する。多重化の方法としては、ピクチャ毎に視覚特徴量と信頼度情報とをインターリーブして多重化してもよいし、信頼度情報のみを先にまとめて多重化し、その後で視覚特徴量を多重化（あるいはその逆）してもよい。あるいは、一定の区間毎（例えば、信頼度情報を算出する時間区間単位毎）に信頼度情報と視覚特徴量とを多重化するようになっていてもよい。
【００５７】
また本発明の映像識別子照合装置は、図６に示すように、照合を行う２つの画像の映像識別子を入力し、その映像識別子を構成する視覚特徴量と信頼度情報とを出力する多重分離手段４２０、４３０を備えていてもよい。多重分離手段４２０は、入力される第１の映像識別子から第１の視覚特徴量と第１の信頼度情報とを分離し、それぞれ照合手段４００と照合パラメータ算出手段４１０へ出力する。多重分離手段４３０も同様に、入力される第２の映像識別子から第２の視覚特徴量と第２の信頼度情報とを分離し、それぞれ照合手段４００と照合パラメータ算出手段４１０へ出力する。
【００５８】
また、本発明の映像識別子抽出装置、映像識別子照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における映像識別子抽出装置、映像識別子照合装置として機能させる。
【産業上の利用可能性】
【００５９】
本発明によれば、類似あるいは同一の映像を多くの映像中から高精度に検索するといった用途に適用できる。特に、映像の同一区間検索については、ネットワーク上に流通する違法にコピーされた動画像を識別する用途や、実際の放送波で流されているＣＭを同定するといった用途に用いることができる。
【符号の説明】
【００６０】
１２０…信頼度算出手段
１３０…特徴量抽出手段
１４０…多重化手段
４００…照合手段
４１０…照合パラメータ算出手段
４２０、４３０…多重分離手段
【図１】
0005573131.tif 000008
【図２】
0005573131.tif 000009
【図３】
0005573131.tif 000010
【図４】
0005573131.tif 000011
【図５】
0005573131.tif 000012
【図６】
0005573131.tif 000013
【図７】
0005573131.tif 000014