(57)【要約】【課題】  加工処理が施された画像と元画像間の画像類似度を高い値として算出する画像類似度算出システムを提供する。【解決手段】  加工確率モデル推定手段１３は、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を小領域特徴量群有効度算出手段１４は、局所領域加工確率にもとづいて画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する。小領域類似度算出手段１２１は、問合せ画像の分割された小領域ごとの複数種類の特徴量と、参照画像の分割された小領域ごとの複数種類の特徴量を、小領域特徴量群有効度を作用させて比較して、各小領域ごとの特徴量の類似度を算出する。画像類似度算出手段１２２は、算出された小領域ごとの特徴量の類似度から問合せ画像と参照画像の画像全体の類似度を画像類似度として算出する。【選択図】    図１
2005250972.tif 000002
【特許請求の範囲】
【請求項１】
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を算出する有効度算出手段と、
前記有効度を考慮して、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部と
を備えたことを特徴とする画像類似度算出システム。
【請求項２】
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を算出する有効度算出手段と、
問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを前記有効度を考慮して比較して、前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部と
を備えたことを特徴とする画像類似度算出システム。
【請求項３】
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を算出する有効度算出手段と、
前記有効度を考慮して問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部と
を備えたことを特徴とする画像類似度算出システム。
【請求項４】
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率算出手段と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部と
を備えたことを特徴とする画像類似度算出システム。
【請求項５】
加工処理が施された問合せ画像から、局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出する加工確率算出手段と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部と
を備えたことを特徴とする画像類似度算出システム。
【請求項６】
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率算出手段と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記小領域特徴量群有効度にもとづいて問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部と
を備えたことを特徴とする画像類似度算出システム。
【請求項７】
加工処理が施された問合せ画像から、局所領域ごとに、画像に加工処理が施された確率を局所領域加工確率として算出する加工確率算出手段と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記小領域特徴量群有効度にもとづいて問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と、参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部と
を備えたことを特徴とする画像類似度算出システム。
【請求項８】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出する小領域特徴量抽出手段と、
入力として与えられる参照画像の各小領域から事前に抽出された複数種類の特徴量である参照画像小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と
を備えたことを特徴とする画像類似度算出システム。
【請求項９】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出する小領域特徴量抽出手段と、
入力として与えられる参照画像の各小領域から事前に抽出された複数種類の特徴量である参照画像小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と
を備えたことを特徴とする画像類似度算出システム。
【請求項１０】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出する小領域有効特徴量抽出手段と、
入力として与えられる参照画像の各小領域から事前に抽出された小領域有効特徴量である参照画像小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と
を備えたことを特徴とする画像類似度算出システム。
【請求項１１】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出する小領域有効特徴量抽出手段と、
入力として与えられる参照画像の各小領域から事前に抽出された小領域有効特徴量である参照画像小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と
を備えたことを特徴とする画像類似度算出システム。
【請求項１２】
小領域類似度算出手段は、問合せ画像の小領域特徴量群と参照画像の小領域特徴量群とについて各小領域特徴量ごとに類似度を算出し、算出された小領域特徴量ごとの類似度のそれぞれを、小領域特徴量群有効度の値に応じた重み付けして総和することにより小領域類似度を算出する請求項８または９記載の画像類似度算出システム。
【請求項１３】
小領域類似度算出手段は、小領域特徴量群有効度を参照し、最も有効度の高い小領域特徴量のみを使用して小領域類似度を算出する請求項８または９記載の画像類似度算出システム。
【請求項１４】
小領域特徴量抽出手段は、小領域特徴量群有効度を参照し、小領域ごとに最も有効度の高い小領域特徴量を抽出する請求項１０または１１記載の画像類似度算出システム。
【請求項１５】
加工確率算出手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項４〜７のうちのいずれか１項に記載の画像類似度算出システム。
【請求項１６】
加工確率モデル推定手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項８または１０記載の画像類似度算出システム。
【請求項１７】
加工領域検出手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項９または１１記載の画像類似度算出システム。
【請求項１８】
小領域特徴量群有効度算出手段は、局所領域加工確率から求められる小領域の加工確率が高い場合に、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合でも特徴量の値の変化が少ない特徴量に対しては小領域特徴量群有効度を高く設定し、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合に特徴量の値の変化が大きい特徴量に対しては小領域特徴量群有効度を低く設定する請求項４〜１７のうちのいずれか１項に記載の画像類似度算出システム。
【請求項１９】
小領域特徴量群有効度算出手段は、局所領域加工確率から求められる小領域の加工確率が低い場合に、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合に特徴量の値の変化が大きい特徴量に対しては小領域特徴量群有効度を高く設定する請求項４〜１８のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２０】
小領域特徴量群有効度算出手段は、小領域ごとの複数種類の特徴量のそれぞれに対して、有効であるか否かの２値判定結果として小領域特徴量群有効度を与える請求項４〜１７のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２１】
局所領域が、問合せ画像または参照画像における小領域と対応するように分割された領域である請求項１〜２０のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２２】
問合せ画像または参照画像における小領域が、画像を同一の大きさの矩形に分割した領域である請求項１〜２１のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２３】
問合せ画像または参照画像における小領域が、領域の一部が重複するように分割した領域である請求項１〜２２のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２４】
問合せ画像または参照画像における小領域が、画像の一部のみを分割して得られた領域である請求項１〜２３のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２５】
特徴量が、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報のうちの少なくとも１つの情報による特徴量である請求項１〜２４のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２６】
特徴量が、ＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間のいずれかの表色空間系により規定される色座標の平均値、最頻値、メディアン値、国際標準規格ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄのうちの少なくとも１つの特徴量である請求項１〜２４のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２７】
加工処理が、画像に対するテロップの重畳処理、画像に対する字幕の重畳処理、画像に対するキャラクターの重畳処理、画像に対するオブジェクトの重畳処理、画像の一部の切り抜き処理、画像の一部の切り出し処理、画像の一部に対するモザイク処理、画像の一部に対するぼかし処理のうちの少なくとも１つの処理である請求項１〜２６のうちのいずれか１項に記載の画像類似度算出システム。
【請求項２８】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出する小領域特徴量抽出手段と、
事前に登録された複数の参照画像である参照画像群の各小領域から抽出された複数種類の特徴量である参照画像群小領域特徴量群を記憶する参照画像群小領域特徴量群記憶部と、
前記参照画像群小領域特徴量群記憶部に記憶された前記参照画像群の各参照画像の小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記算出された前記参照画像群の各参照画像に対する小領域類似度から、前記問合せ画像の画像全体と前記参照画像群の各参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と、
前記算出された各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段と
を備えたことを特徴とする画像検索システム。
【請求項２９】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出する小領域特徴量抽出手段と、
事前に登録された複数の参照画像である参照画像群の各小領域から抽出された複数種類の特徴量である参照画像群小領域特徴量群を記憶する参照画像群小領域特徴量群記憶部と、
前記参照画像群小領域特徴量群記憶部に記憶された前記参照画像群の各参照画像の小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記算出された前記参照画像群の各参照画像に対する小領域類似度から、前記問合せ画像の画像全体と前記参照画像群の各参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と、
前記算出された各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段と
を備えたことを特徴とする画像検索システム。
【請求項３０】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出する小領域有効特徴量抽出手段と、
事前に登録された複数の参照画像である参照画像群の各小領域から抽出された小領域ごとに有効な特徴量である参照画像群小領域有効特徴量を記憶する参照画像群小領域有効特徴量記憶部と、
前記参照画像群小領域有効特徴量記憶部に記憶された前記参照画像群の各参照画像の小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記算出された前記参照画像群の各参照画像に対する小領域類似度から、前記問合せ画像の画像全体と前記参照画像群の各参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と、
前記算出された各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段と
を備えたことを特徴とする画像検索システム。
【請求項３１】
入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する小領域特徴量群有効度算出手段と、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出する小領域有効特徴量抽出手段と、
事前に登録された複数の参照画像である参照画像群の各小領域から抽出された複数種類の特徴量である参照画像群小領域特徴量群を記憶する参照画像群小領域特徴量群記憶部と、
前記参照画像群小領域特徴量群記憶部に記憶された前記参照画像群の各参照画像の小領域特徴量群から、前記問合せ画像小領域有効特徴量に対応する小領域特徴量を参照画像群小領域有効特徴量として抽出し、前記参照画像群小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して前記参照画像群の各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記算出された前記参照画像群の各参照画像に対する小領域類似度から、前記問合せ画像の画像全体と前記参照画像群の各参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と、
前記算出された各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段と
を備えたことを特徴とする画像検索システム。
【請求項３２】
小領域類似度算出手段は、問合せ画像の小領域特徴量群と参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された小領域特徴量ごとの類似度のそれぞれを、小領域特徴量群有効度の値に応じた重み付けして総和することにより小領域類似度を算出する請求項２８または２９記載の画像検索システム。
【請求項３３】
小領域類似度算出手段は、小領域特徴量群有効度を参照し、小領域ごとに最も有効度の高い小領域特徴量のみを使用して小領域類似度を算出する請求項２８または２９記載の画像検索システム。
【請求項３４】
小領域特徴量抽出手段は、小領域特徴量群有効度を参照し、小領域ごとに最も有効度の高い小領域特徴量を抽出する請求項３０または３１記載の画像検索システム。
【請求項３５】
加工確率モデル推定手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項２８または３０記載の画像検索システム。
【請求項３６】
加工領域検出手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項２９または３１記載の画像検索システム。
【請求項３７】
小領域特徴量群有効度算出手段は、局所領域加工確率から求められる小領域の加工確率が高い場合に、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合でも特徴量の値の変化が少ない特徴量に対しては小領域特徴量群有効度を高く設定し、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合に特徴量の値の変化が大きい特徴量に対しては小領域特徴量群有効度を低く設定する請求項２８〜３６のうちのいずれか１項に記載の画像検索システム。
【請求項３８】
小領域特徴量群有効度算出手段は、局所領域加工確率から求められる小領域の加工確率が低い場合に、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合に特徴量の値の変化が大きい特徴量に対しては小領域特徴量群有効度を高く設定する請求項２８〜３７のうちのいずれか１項に記載の画像検索システム。
【請求項３９】
小領域特徴量群有効度算出手段は、小領域ごとの複数種類の特徴量のそれぞれに対して、有効であるか否かの２値判定結果として小領域特徴量群有効度を与える請求項２８〜３６のうちのいずれか１項に記載の画像検索システム。
【請求項４０】
局所領域が、問合せ画像または参照画像における小領域と対応するように分割された領域である請求項２８〜３９のうちのいずれか１項に記載の画像検索システム。
【請求項４１】
問合せ画像または参照画像における小領域が、画像を同一の大きさの矩形に分割した領域である請求項２８〜４０のうちのいずれか１項に記載の画像検索システム。
【請求項４２】
問合せ画像または参照画像における小領域が、領域の一部が重複するように分割した領域である請求項２８〜４１のうちのいずれか１項に記載の画像検索システム。
【請求項４３】
問合せ画像または参照画像における小領域が、画像の一部のみを分割して得られた領域である請求項２８〜４２のうちのいずれか１項に記載の画像検索システム。
【請求項４４】
特徴量が、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報のうちの少なくとも１つの情報による特徴量である請求項２８〜４３のうちのいずれか１項に記載の画像検索システム。
【請求項４５】
特徴量が、ＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間のいずれかの表色空間系により規定される色座標の平均値、最頻値、メディアン値、国際標準規格ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄのうちの少なくとも１つの特徴量である請求項２８〜４３のうちのいずれか１項に記載の画像検索システム。
【請求項４６】
加工処理が、画像に対するテロップの重畳処理、画像に対する字幕の重畳処理、画像に対するキャラクターの重畳処理、画像に対するオブジェクトの重畳処理、画像の一部の切り抜き処理、画像の一部の切り出し処理、画像の一部に対するモザイク処理、画像の一部に対するぼかし処理のうちの少なくとも１つの処理である請求項２８〜４５のうちのいずれか１項に記載の画像検索システム。
【請求項４７】
複数の参照画像の中から問合せ画像と類似する画像を出力する画像検索システムにおいて、請求項１〜２７のうちのいずれか１項に記載の画像類似度算出システムを用い、算出される画像類似度にもとづいて、複数の参照画像の中から問合せ画像と類似する参照画像を出力する画像検索システム。
【請求項４８】
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を算出し、
前記有効度を考慮して、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して前記問合せ画像と前記参照画像との画像類似度を算出する
ことを特徴とする画像類似度算出方法。
【請求項４９】
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を算出し、
問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを前記有効度を考慮して比較して、前記問合せ画像と前記参照画像との画像類似度を算出する
ことを特徴とする画像類似度算出方法。
【請求項５０】
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を算出し、
前記有効度を考慮して、問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する
ことを特徴とする画像類似度算出方法。
【請求項５１】
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに、複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して前記問合せ画像と前記参照画像との画像類似度を算出する
ことを特徴とする画像類似度算出方法。
【請求項５２】
加工処理が施された問合せ画像から、局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
前記問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して前記問合せ画像と前記参照画像との画像類似度を算出する
ことを特徴とする画像類似度算出方法。
【請求項５３】
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
前記小領域特徴量群有効度にもとづいて問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と、参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する
ことを特徴とする画像類似度算出方法。
【請求項５４】
加工処理が施された問合せ画像から、局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
前記小領域特徴量群有効度にもとづいて、問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する
ことを特徴とする画像類似度算出方法。
【請求項５５】
入力として与えられる加工処理が施された問合せ画像を小領域に分割し、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出し、
入力として与えられる参照画像の各小領域から事前に抽出された複数種類の特徴量である参照画像小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する
ことを特徴とする画像類似度算出方法。
【請求項５６】
入力として与えられる加工処理が施された問合せ画像を小領域に分割し、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出し、
入力として与えられる参照画像の各小領域から事前に抽出された複数種類の特徴量である参照画像小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する
ことを特徴とする画像類似度算出方法。
【請求項５７】
入力として与えられる加工処理が施された問合せ画像を小領域に分割し、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出し、
入力として与えられる参照画像の各小領域から事前に抽出された小領域有効特徴量である参照画像小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する
ことを特徴とする画像類似度算出方法。
【請求項５８】
入力として与えられる加工処理が施された問合せ画像を小領域に分割し、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出し、
入力として与えられる参照画像の各小領域から事前に抽出された小領域有効特徴量である参照画像小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する
ことを特徴とする画像類似度算出方法。
【請求項５９】
コンピュータに、
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出する処理と、
前記有効度を考慮して問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６０】
コンピュータに、
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出する処理と、
問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを前記有効度を考慮して比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６１】
コンピュータに、
画像の局所領域ごとに加工処理が施される確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出する処理と、
前記有効度を考慮して問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６２】
コンピュータに、
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して前記問合せ画像と前記参照画像との画像類似度を算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６３】
コンピュータに、
加工処理が施された問合せ画像から、局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
前記問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して前記問合せ画像と前記参照画像との画像類似度を算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６４】
コンピュータに、
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
前記小領域特徴量群有効度にもとづいて、問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６５】
コンピュータに、
加工処理が施された問合せ画像から、局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
前記小領域特徴量群有効度にもとづいて問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、前記問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６６】
コンピュータに、
入力として与えられる加工処理が施された問合せ画像を小領域に分割する処理と、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出する処理と、
入力として与えられる参照画像の各小領域から事前に抽出された複数種類の特徴量である参照画像小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する処理と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６７】
コンピュータに、
入力として与えられる加工処理が施された問合せ画像を小領域に分割する処理と、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
前記問合せ画像の分割された小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出する処理と、
入力として与えられる参照画像の各小領域から事前に抽出された複数種類の特徴量である参照画像小領域特徴量群と前記問合せ画像小領域特徴量群とを、小領域ごとに前記小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する処理と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６８】
コンピュータに、
入力として与えられる加工処理が施された問合せ画像を小領域に分割する処理と、
学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出する処理と、
入力として与えられる参照画像の各小領域から事前に抽出された小領域有効特徴量である参照画像小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する処理と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する処理と
を実行させるための画像類似度算出プログラム。
【請求項６９】
コンピュータに、
入力として与えられる加工処理が施された問合せ画像を小領域に分割する処理と、
前記問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、画像の分割された前記小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出する処理と、
前記小領域特徴量群有効度にもとづいて、前記問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出する処理と、
入力として与えられる参照画像の各小領域から事前に抽出された小領域有効特徴量である参照画像小領域有効特徴量と前記問合せ画像小領域有効特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する処理と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する処理と
を実行させるための画像類似度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像の類似度を算出する画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムならびに問い合わせ画像に類似した画像を検索する画像検索システムに関し、特に、加工処理が施された画像と元画像との類似度を算出する画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムならびに加工処理が施された問い合わせ画像に類似した画像を検索する画像検索システムに関する。
【背景技術】
【０００２】
比較している２つの画像の類似度を算出する画像類似度算出方法は、一般に、登録された検索対象の画像群の中から、問合せ画像と類似する画像を検索する画像検索において、問合せ画像と検索対象画像との類似度を算出するために用いられている。
【０００３】
従来の画像検索方法の一例が特許文献１に記載されている。特許文献１に記載されている画像検索方法では、画像を複数のブロックに分割し、各ブロックの特徴量を算出する。さらに、各ブロックについて取得された特徴量に応じて各ブロックにラベルを付与し、ラベルを所定の順序で並べてラベル行列を生成する。そして、問合せ画像と検索対象画像の画像類似度を、それぞれの画像から得られるラベル列の類似度として算出し、検索においては画像類似度が閾値を超える検索対象画像を検索結果として出力する。
【０００４】
また、問合せ画像と部分的に類似した画像の検索を行う画像検索方法が、特許文献２に記載されている。特許文献２に記載されている画像検索方法では、問合せ画像を入力するとともに、問合せ画像内の検索の対象とする領域を問合せ領域として入力する。そして、問合せ画像をブロック分割し、各ブロックと問合せ領域とが重なる面積に応じて設定した重みで各ブロックの特徴量を重み付けして特徴量を算出する。検索対象の画像に対しても同様に特徴量を算出し、双方の特徴量を比較して画像類似度を算出する。検索においては、画像類似度が高い画像を検索結果として出力する。
【０００５】
また、ユーザの検索の意図を反映した画像検索方法が、特許文献３に記載されている。特許文献３に記載されている画像検索方法では、問合せ画像および検索対象の画像を複数の領域に分け、ユーザが各分割領域に異なる重みを設定する。問合せ画像と検索対象の画像との間で各分割領域ごとに特徴量を比較して得られる類似度に対して、各分割領域に設定された重みを作用させることで画像類似度を算出する。ユーザが検索の際に重要視したい領域を指定できるため、ユーザの検索の意図を反映した画像検索を行うことができる。
【０００６】
【特許文献１】特開平１１−３１２２４８号公報（段落００１２−００１３、図９、図１３）
【特許文献２】特開２０００−１６３５７６号公報（段落００１７−００２０、図７、図８）
【特許文献３】特開２００１−１３４７６５号公報（段落００２８−００３１、図１１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載されている方法では、問合せ画像と検索対象の画像の同一性を前提としている。このため、画像にテロップ重畳、画像の一部の切り抜き・切り出しなどの各種加工処理が施されて画像の絵柄が部分的に変化した画像と、加工前の元画像との間の画像類似度は低い値として算出される。よって、加工処理が施された画像から元画像を判定や検索するのに十分な性能が得られないという問題点がある。
【０００８】
また、特許文献２に記載されている方法では、部分的に絵柄の異なる加工画像に対応できるものの、検索の対象とする領域をあらかじめ指定する必要がある。特許文献３に記載されている方法でも、同様に、画像の領域ごとに重み値を設定することにより、検索の際に重要視したい領域をユーザが指定する必要がある。このため、加工処理が施された画像から、加工前の元画像を判定したり検索したりする目的で画像類似度を算出するために、ユーザがあらかじめ加工処理の施されてない領域を指定する必要がある。よって、ユーザに大きな負担になるという問題点がある。
【０００９】
本発明は、上記の問題点を解決するためになされたものであり、領域を指定するという負担をユーザに課すことなく、加工処理が施されて部分的に絵柄の変化した画像から加工前の元画像を精度よく判定したり検索したりするために、加工処理が施された画像と加工前の元画像との間の画像類似度を高い値として算出することができる画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、画像の局所領域ごとに加工処理が施される確率にもとづいて画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出し、有効度を考慮して、問合せ画像の分割された小領域ごとの特徴量と参照画像の分割された小領域ごとの特徴量とを比較して問合せ画像と参照画像との画像類似度を算出することを特徴とする。
【００１１】
本発明による他の態様の画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、画像の局所領域ごとに加工処理が施される確率にもとづいて画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出し、問合せ画像の分割された小領域ごとの複数種類の特徴量と参照画像の分割された小領域ごとの複数種類の特徴量とを有効度を考慮して比較して、問合せ画像と参照画像との画像類似度を算出することを特徴とする。
【００１２】
本発明によるさらに他の態様の画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、画像の局所領域ごとに加工処理が施される確率にもとづいて画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出し、有効度を考慮して問合せ画像の分割された小領域ごとに有効な特徴量を抽出し、問合せ画像の分割された小領域ごとの有効な特徴量と参照画像の分割された小領域ごとの有効な特徴量とを比較して、問合せ画像と前記参照画像との画像類似度を算出することを特徴とする。
【００１３】
本発明による画像類似度算出システムの好ましい一態様は、例えば、画像の局所領域ごとに加工処理が施される確率を算出する加工確率モデル推定手段と、算出された加工確率モデルにもとづいて画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出する小領域特徴量群有効度算出手段と、問合せ画像の分割された小領域ごとの複数の特徴量と参照画像の分割された小領域ごとの複数の特徴量とを、小領域ごとの複数種類の特徴量の有効度を作用させて比較して小領域ごとの特徴量の類似度を算出する小領域類似度算出手段と、算出された小領域ごとの類似度から問合せ画像と参照画像との画像類似度を算出する画像類似度算出手段とを備えた構成である。このような構成を採用し、加工処理の確率モデルを考慮して算出された小領域ごとの複数種類の特徴量に対する類似度算出における有効度を作用させて画像の小領域ごとの類似度を算出することにより、加工確率に応じた最適な類似度の算出ができ、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができる。
【００１４】
本発明による画像類似度算出システムの好ましい一態様は、例えば、画像の局所領域ごとに加工処理が施される確率を算出する加工確率モデル推定手段と、算出された加工確率モデルにもとづいて画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出する小領域特徴量群有効度算出手段と、小領域ごとの複数種類の特徴量の有効度を参照して問合せ画像の分割された小領域から有効な特徴量を抽出する小領域有効特徴量抽出手段と、問合せ画像の分割された小領域ごとの有効な特徴量と入力として与えられる参照画像の分割された小領域ごとの有効な特徴量とを比較して小領域ごとの特徴量の類似度を算出する小領域類似度算出手段と、算出された小領域ごとの類似度から問合せ画像と参照画像の画像類似度を算出する画像類似度算出手段とを備えた構成である。このような構成を採用し、加工処理の確率モデルを考慮して算出された小領域ごとの複数種類の特徴量に対する類似度算出における有効度にもとづいて画像の小領域から特徴量を抽出することにより、加工確率に応じて小領域ごとに画像類似度の算出に用いる最適な特徴量を抽出でき、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができる。
【発明の効果】
【００１５】
本発明の第１の効果は、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができることである。その理由は、画像類似度の算出に用いる小領域ごとの特徴量を、画像の小領域ごとに加工処理が施される確率に応じて複数種類の特徴量の中から選択することにより、加工確率の高い領域に対して加工処理の影響を受けにくい特徴量を使用することで加工処理の影響を軽減できるためである。
【００１６】
本発明の第２の効果は、加工処理が施された画像から元画像を精度良く検索することができることである。その理由は、加工処理が施された画像と元画像間の画像類似度を高い値として算出できる第１の効果を有する画像類似度の算出方法を利用して画像の検索を行うためである。
【発明を実施するための最良の形態】
【００１７】
実施の形態１．
本発明の第１の実施の形態について図面を参照して説明する。図１のブロック図に示すように、特徴量抽出部１１と、画像類似度算出部１２と、加工確率モデル推定手段（加工確率算出手段の一例）１３と、小領域特徴量群有効度算出手段１４とを備えている。
【００１８】
加工確率モデル推定手段１３は、入力として与えられる加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を小領域特徴量群有効度算出手段１４に出力する。機器特性の一例として、加工処理を施す機器が画像に対して施す加工のパターンおよび各加工パターンの使用頻度の情報がある。局所領域は、後述する画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。加工処理とは、画像の絵柄を部分的に変化させる処理のことをいう。加工処理の例として、画像に対するテロップ・字幕やキャラクターなどの重畳オブジェクトのオーバーレイ、画像の一部の切り抜き・切り出し、画像の一部に対するモザイク処理、画像の一部に対するぼかし処理などがある。
【００１９】
学習画像とは、加工確率モデル推定手段１３が局所領域加工確率を算出するための元になる１つまたは複数の加工処理が施された画像である。例えば、本発明が、映像編集装置に適用される場合には、加工処理が施された任意の映像を構成するフレーム画像を学習画像として用いることができる。また、学習画像は１種類に限られず、例えば、ニュース番組として使用されるニュース画像、スポーツ番組として使用されるスポーツ画像、バラエティ番組として使用されるバラエティ画像など、画面においてテロップ挿入などの加工処理が施される場所に特徴があると想定される種別ごとに分類されていてもよい。例えば、スポーツ画像については、画面における周辺部分に加工処理が施される可能性が高いと想定され、バラエティ番組画像については、画面における中央部分に加工処理が施される可能性が高いと想定される場合などに、スポーツ画像用の学習画像と、バラエティ番組画像用の学習画像とを使い分ければよい。この場合には、加工確率モデル推定手段１３は、種別毎の局所領域加工確率を算出する。なお、ユーザが問合せ画像の種別を指定することにより、問合せ画像の種別に対応した局所領域加工確率を使用することができる。
【００２０】
加工処理が施された学習画像が入力として与えられる場合は、学習画像において加工処理が施された領域を特定し、局所領域加工確率を計測する。加工処理が施された領域を特定する方法としては、人手によって行ってもよいし、例えば特開２００３−１７９８８８号公報に記載されているような画像情報と文字情報とを分離する方法（以下、テロップ検出方法という。）などの加工処理を自動的に検出する方法を用いてもよい。加工処理を施す機器の特性が入力として与えられる場合は、当該機器が画像に対して施す加工パターンおよび各加工パターンの使用頻度の情報にもとづいて、局所領域加工確率を計測する方法がある。
【００２１】
機器特性の一例として、加工処理を施す機器が画像に対して施す加工のパターンおよび各加工パターンの使用頻度の情報がある。例えば、本発明が、映像編集装置に適用される場合には、ある映像編集装置を用いたときに画面における特定の１つまたは複数の領域に加工処理が施される可能性が高いと想定され、他の映像編集装置を用いたときに画面における別の特定の１つまたは複数の領域に加工処理が施される可能性が高いと想定される場合に、それらの領域を加工処理が施される領域として示す情報を、加工のパターンを示す情報として使用することができる。また、例えば、スポーツ画像については、画面における周辺領域に加工処理が施される可能性が高いと想定され、バラエティ番組画像については、画面における中央領域に加工処理が施される可能性が比較的高いと想定される場合などに、それらの領域を加工処理が施される領域として示す情報を加工のパターンを示す情報として使用することができる。つまり、本来的な意味での機器の特性だけでなく、一の機器（例えばテロップ挿入装置）が用いられる場合でも画像の種別に応じて加工のパターンを変えるときには、それぞれの加工パターンおよび各加工パターンの使用頻度の情報は、機器特性に含まれる。
【００２２】
小領域特徴量群有効度算出手段１４は、加工確率モデル推定手段１３から入力される局所領域加工確率にもとづいて、後述する画像分割手段１１１において分割される画像の各小領域の加工確率を算出し、算出された小領域ごとの加工確率にもとづいて、小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、算出された小領域特徴量群有効度を小領域類似度算出手段１２１に出力する。従って、小領域特徴量群有効度算出手段は、画像の局所領域ごとに加工処理が施される確率にもとづいて画像の分割された小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を算出する有効度算出手段を実現するものである。
【００２３】
小領域特徴量群有効度は、ある加工確率が与えられた画像の各小領域において、複数種類の特徴量のそれぞれが、加工処理が施された画像と元画像間において当該小領域の類似度を算出するのにどの程度有効であるかを数値化した重み値である。小領域特徴量群有効度は、複数種類の特徴量の中から最も有効であると判定できる特徴量のみが値を持ち、残りの特徴量の有効度を０として与えてもよい。また、それぞれの特徴量が有効である（１）か否（０）かの２値判定結果として与えてもよい。また、任意の数値として与えてもよい。
【００２４】
小領域特徴量群有効度の算出方法として、当該小領域の加工確率が高い場合は、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合でも、特徴量の変化が少ない、すなわち領域内の部分的な絵柄の変化の影響を受けにくい特徴量に対しては有効度を高く設定し、逆に、特徴量の変化が多い、すなわち領域内の部分的な絵柄の変化の影響を受けやすい特徴量に対しては有効度を低く設定する方法がある。また、当該小領域の加工確率が低い場合は、領域内の絵柄の部分的な変化に対して特徴量の変動が大きい、すなわち領域内の絵柄の部分的な変化の影響を受けやすい特徴量の有効度を高く設定する方法がある。加工処理が施されることによって当該小領域の絵柄の変化が起こる確率が低いために、領域内の絵柄の変化の影響を受けやすい特徴量を使用することにより、全く異なる画像間の類似度を低く算出することができる効果があるためである。
【００２５】
ここで、領域内の部分的な絵柄の変化による各特徴量の変化の度合いは、ある画像領域の領域内に、任意の大きさの加工処理を施して、加工処理を施す前後で特徴量間の類似度を算出することで、求めることができる。加工確率モデル推定手段１３から入力される局所領域加工確率の局所領域が、後述する画像分割手段１１１において分割される小領域と対応する場合は、局所領域加工確率を直接小領域の加工確率として用いることができる。小領域と局所領域が対応していない場合には、局所領域加工確率から小領域の加工確率を補完すればよい。例えば、局所領域が小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域加工確率の平均値を算出することで、小領域の加工確率を生成することができる。また、局所領域の分割方法が、小領域の分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の局所領域加工確率を、重複する面積に比例した重み付けをして総和することで、小領域の加工確率を生成することができる。
【００２６】
特徴量抽出部１１は、画像分割手段１１１と、小領域特徴量抽出手段１１２とを含む。
【００２７】
画像分割手段５１１は、入力として与えられる加工処理が施された問合せ画像を小領域に分割し、小領域に分割された問合せ画像を小領域特徴量抽出手段１１２に出力する。
【００２８】
画像を小領域に分割する方法は任意である。小領域に分割する方法の例としては、画像を同一の大きさの矩形に分割する方法、画像を不均一な大きさの矩形に分割する方法、画像を円形や三角形などの矩形以外の任意の形状・任意の大きさに分割する方法などがあるが、これらの分割方法に限ったものではない。また、小領域の一部が重複するように分割してもよい。また、画像全体を小領域に分割する必要もなく、画像の一部のみを小領域に分割してもよい。
【００２９】
小領域特徴量抽出手段１１２は、画像分割手段１１１から入力される小領域分割された問合せ画像の各小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出し、抽出された問合せ画像小領域特徴量群を小領域類似度算出手段１２１に出力する。抽出する小領域特徴量の例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。色情報の小領域特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊*表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。
【００３０】
また、国際標準規格ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の小領域特徴量の例としては、各小領域の大局的なエッジパターンを、複数あるエッジパターンの中の最も合致するパターンとして記述する特徴量（以後、エッジ要素特徴量と呼ぶ）を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＥｄｇｅ  Ｈｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓ  ＴｅｘｔｕｒｅやＴｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＲｅＲｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。
【００３１】
また、問合せ画像が動画像のフレーム画像である場合は、小領域特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＰａｒａｍｅｔｒｉｃ  ＭｏｔｉｏｎやＭｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどがある。
【００３２】
画像類似度算出部１２は、小領域類似度算出手段１２１と、画像類似度算出手段１２２とを含む。
【００３３】
小領域類似度算出手段１２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１２２に出力する。
【００３４】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。各小領域特徴量ごとの類似度の算出方法は、小領域特徴量ごとに任意に定められる。
【００３５】
例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【００３６】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。ここで、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【００３７】
また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【００３８】
画像類似度算出手段１２２は、小領域類似度算出手段１２１から入力される小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。
【００３９】
なお、画像類似度算出システムは、コンピュータで実現可能であり、画像類似度算出システムを構成する各構成要素、すなわち、特徴量抽出部１１、画像類似度算出部１２、加工確率モデル推定手段１３および小領域特徴量群有効度算出手段１４は、コンピュータの処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。画像類似度算出システムを構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、他の実施の形態でも同様である。
【００４０】
次に、図１のブロック図および図２のフローチャートを参照して、第１の実施の形態の動作について説明する。
【００４１】
学習画像または機器特性が入力として与えられると（ステップＡ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出する（ステップＡ２）。
【００４２】
図３は、加工確率モデル推定手段１３による局所領域加工確率の算出の仕方を説明する説明図である。図３に示す例では、画像データに対応する画像の領域は１６の局所領域に分けられている。加工確率モデル推定手段１３は、複数の学習画像のそれぞれの局所領域について加工処理が施されている場合には「１」とし、施されていない場合には「０」として、局所領域ごとに平均をとるなどの処理によって、局所領域ごとに加工処理が施される確率を算出する。すなわち、局所領域加工確率を示す確率モデルを推定する。なお、ここで説明した確率モデルの推定方法は一例であり、他の方法を用いてもよい。
【００４３】
小領域特徴量群有効度算出手段１４は、局所領域加工確率にもとづいて画像の小領域ごとに複数種類の特徴量のそれぞれの有効度を小領域特徴量群有効度として算出する（ステップＡ３）。
【００４４】
加工処理が施された問合せ画像が入力として与えられると（ステップＡ４）、画像分割手段１１１は、入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＡ５）。小領域特徴量抽出手段１１２は、小領域分割された画像の各小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出し、抽出された問合せ画像小領域特徴量群を小領域類似度算出手段１２１に出力する（ステップＡ６）。
【００４５】
参照画像の小領域特徴量群が入力として与えられると（ステップＡ７）、小領域類似度算出手段１２１は、入力された参照画像の小領域特徴量群と問合せ画像小領域特徴量群を小領域ごとにステップＡ３において小領域特徴量群有効度算出手段１４で算出された小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１２２に出力する（ステップＡ８）。画像類似度算出手段１２２は、小領域類似度から問合せ画像と参照画像の画像全体の類似度を画像類似度として算出する（ステップＡ９）。最後に、算出された画像類似度を出力する（ステップＡ１０）。
【００４６】
本発明の第１の実施の形態では、画像の小領域ごとに加工処理が施される確率に応じて求められる小領域ごとの複数種類の特徴量に対する類似度算出における有効度を作用させて画像の小領域ごとの類似度を算出する。このため、加工確率の高い領域に対して加工処理の影響を受けにくい特徴量の有効度を高く設定することで、加工処理の影響を軽減して類似度を算出できるため、加工処理が施された画像と元画像間の類似度を高い値として算出できる。また、この実施の形態では、複数種類の特徴量から算出される類似度を有効度に応じた重み付けをすることにより、複数種類の特徴量の類似度の最適な組み合わせにより小領域類似度が算出できる。また、この実施の形態では、問合せ画像から加工処理が施された領域を検出する処理を必要とせず、また学習画像または機器特性から小領域特徴量群有効度を算出しているため、あらかじめ別処理において小領域特徴量群有効度を求めておくことができ、画像類似度の算出を高速に行うことができる。
【００４７】
なお、画像類似度算出手段１２２が、加工確率モデル推定手段１３が推定した画像に加工処理が施される確率モデル、具体的には、局所領域ごとに画像に加工処理が施される確率モデルを考慮して画像類似度を算出してもよいし、小領域類似度算出手段１２１が、確率モデルを考慮しながら、入力された参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出するようにしてもよい。例えば、加工処理が施される確率が高い小領域に対して小領域類似度を低めに調整する等の処理を施すようにしてもよい。また、小領域類似度算出手段１２１が、確率モデルを考慮しながら小領域類似度を算出してもよいことは、以下の実施の形態でも同様である。
【００４８】
また、加工確率モデル推定手段１３は、問合わせ画像の入力のそれぞれに対応したタイミングで局所領域加工確率を算出するという必要はない。例えば、本発明が適用される装置またはシステムの設置時や、その後の定期的な時期等に局所領域加工確率の算出処理を行えばよい。そして、加工確率モデル推定手段１３は、算出結果を保持し、問合わせ画像が入力されると、保持している局所領域加工確率を小領域特徴量群有効度算出手段１４に出力する。また、このことは、以下の各実施の形態における加工確率モデル推定手段についても同様である。
【００４９】
従って、あらかじめ局所領域加工確率を算出し、算出された局所領域加工確率をＲＯＭ等の記憶手段に格納してもよい。図４は、加工確率モデル推定手段１３に代えて、局所領域加工確率を記憶する記憶手段が設けられている第１の実施の形態の変形例を示すブロック図である。
【００５０】
図４に示す構成において、加工確率モデル記憶手段１３９は、局所領域加工確率を記憶している。局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域加工確率として、全ての画像に対して共通に使用する値を記憶しておいてもよいし、ニュース画像、スポーツ画像、バラエティ画像など、使用される画像の種別ごとに異なる値を記憶しておいてもよい。後者の場合において、ユーザが問合せ画像の種別を指定することにより、問合せ画像の種別に対応した局所領域加工確率を使用することができる。
【００５１】
図５は、加工確率モデル記憶手段１３９に記憶される局所領域加工確率の一例を示す説明図である。この例では、ニュース画像、スポーツ画像、バラエティ画像の各種別に応じて、画像の分割された局所領域ごとに加工処理が施される確率が記憶されている。ニュース画像やスポーツ画像では、画像の左上、右上、下部に加工処理が施される確率が高いため、該当する局所領域の局所領域加工確率の値が高くなっている。またバラエティ画像では、画像の中央部に加工処理が施される確率も高くなっている。
【００５２】
なお、図４に示す加工確率モデル記憶手段１３９以外の各ブロックの構成および動作は、図１に示された各ブロックの構成および動作と同じである。このような変形例によれば、演算機能を持つ加工確率モデル推定手段１３を備える必要がなくなる。
【００５３】
また、局所領域加工確率をフラッシュメモリなどの書き換え可能な記憶手段に記憶させ、局所領域加工確率が変更可能になるように構成してもよい。図６は、加工確率モデル推定手段１３に代えて、局所領域加工確率を記憶する書き換え可能な記憶手段が設けられている第１の実施の形態の他の変形例を示すブロック図である。
【００５４】
図６に示す構成において、加工確率モデル推定手段１３は、随時追加で入力される加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を加工確率モデル更新手段１４９に出力する。なお、加工確率モデル推定手段１３には、例えば、定期的に、または、加工確率モデルが大きく変わる可能性がある何らかの事象が生じたときなどに学習画像または加工処理を施す機器の特性が入力される。
【００５５】
加工確率モデル更新手段１４９は、加工確率モデル記憶手段１３９にあらかじめ記憶されている局所領域加工確率を読み込み、加工確率モデル記憶手段１３９から読み込んだ局所領域加工確率と、加工確率モデル推定手段１３から入力される局所領域加工確率とを用いて、局所領域加工確率を更新し、更新した局所領域加工確率を加工確率モデル記憶手段１３９に記憶させる。また、加工確率モデル更新手段１４９は、加工確率モデル記憶手段１３９から読み込んだ新たな局所領域加工確率を、そのまま加工確率モデル記憶手段１３９に記憶させることによって、局所領域加工確率を更新するようにしてもよい。
【００５６】
なお、図６に示す加工確率モデル更新手段１４９および加工確率モデル記憶手段１３９以外の各ブロックの構成および動作は、図１に示された各ブロックの構成および動作と同じである。このような変形例によれば、加工確率モデル記憶手段１３９に記憶されている局所領域加工確率を、適切な内容に維持することができる。
【００５７】
実施の形態２．
次に、本発明の第２の実施の形態について図面を参照して説明する。図７のブロック図に示すように、本発明の第２の実施の形態は、図１に示された第１の実施の形態における画像類似度算出部１２が、画像類似度算出部２２に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第１の実施の形態とは異なる。なお、この実施の形態のように参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する画像類似度算出システムは、画像検索システムを実現する。
【００５８】
参照画像群小領域特徴量群記憶部２５は、事前に登録された複数の参照画像である参照画像群の各小領域から抽出された複数種類の特徴量である参照画像群小領域特徴量群を記憶している。参照画像群小領域特徴量群記憶部２５に記憶されている各参照画像の小領域特徴量群の小領域は、画像分割手段１１１において分割される問合せ画像の小領域と対応しているのが望ましいが、問合せ画像の小領域とは異なる形状や大きさに分割されたものでもよい。
【００５９】
画像類似度算出部２２は、小領域類似度算出手段２２１と、画像類似度算出手段２２２とを含む。
【００６０】
小領域類似度算出手段２２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２２２に出力する。
【００６１】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。
【００６２】
例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【００６３】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【００６４】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【００６５】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【００６６】
画像類似度算出手段２２２は、小領域類似度算出手段２２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。
【００６７】
検索結果出力手段２６は、画像類似度算出手段２２２から入力される参照画像群の各参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する。検索結果としては、参照画像群の全参照画像の中から、最も画像類似度が大きい値を持つ参照画像を出力する方法がある。また参照画像群の各参照画像に対する画像類似度と、あらかじめ設定した閾値を比較し、画像類似度が閾値以上である参照画像を全て出力してもよい。
【００６８】
次に、図７のブロック図および図８のフローチャートを参照して、第２の実施の形態の動作について説明する。
【００６９】
学習画像または機器特性が入力として与えられると（ステップＢ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を小領域特徴量群有効度算出手段１４に出力する（ステップＢ２）。小領域特徴量群有効度算出手段１４は、局所領域加工確率にもとづいて画像の小領域ごとに複数種類の特徴量のそれぞれの有効度を小領域特徴量群有効度として算出する（ステップＢ３）。
【００７０】
加工処理が施された問合せ画像が入力として与えられると（ステップＢ４）、画像分割手段１１１は、入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＢ５）。小領域特徴量抽出手段１１２は、小領域分割された画像の各小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出し、抽出された問合せ画像小領域特徴量群を小領域類似度算出手段２２１に出力する（ステップＢ６）。次に、参照画像群小領域特徴量群記憶部２５から、１画像分の参照画像の小領域特徴量群を読み込む（ステップＢ７）。
【００７１】
小領域類似度算出手段２２１は、読み込まれた１画像分の参照画像の小領域特徴量群と問合せ画像小領域特徴量群を小領域ごとにステップＢ３において小領域特徴量群有効度算出手段１４で算出された小領域特徴量群有効度を作用させて比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２２２に出力する（ステップＢ８）。
【００７２】
画像類似度算出手段２２２は、小領域類似度から読み込まれた１画像分の参照画像と問合せ画像の画像全体の類似度を画像類似度として算出する（ステップＢ９）。次に、画像類似度算出手段２２２は、参照画像群小領域特徴量群記憶部２５に記憶されている全ての参照画像に対する画像類似度を算出したか否かを調べる（ステップＢ１０）。画像類似度を算出していない参照画像が残っている場合は、ステップＢ７へ戻る。全ての参照画像に対する画像類似度が算出されている場合は、ステップＢ１１へ進む。最後に、検索結果出力手段２６は、全ての参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する（ステップＢ１１）。
【００７３】
本発明の第２の実施の形態では、本発明の第１の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。このため、加工処理が施された画像から元画像を精度良く検索することができる。また第１の実施の形態と同様に、問合せ画像から加工領域を検出する処理を必要とせず、あらかじめ小領域特徴量群有効度を求めておくことができるため、画像検索を高速に行うことができる。
【００７４】
なお、第２の実施の形態でも、第１の実施の形態についての各変形例を適用することができる。すなわち、加工確率モデル推定手段１３に代えて加工確率モデル記憶手段１３９を設けてもよいし、加工確率モデル更新手段１４９と加工確率モデル記憶手段１３９とを設けてもよい。このことは、加工確率モデル推定手段を備えている他の実施の形態についても同様である。
【００７５】
実施の形態３．
次に、本発明の第３の実施の形態について図面を参照して説明する。図９のブロック図に示すように、本発明の第３の実施の形態は、特徴量抽出部１１と、画像類似度算出部３２と、加工領域検出手段（加工確率算出手段の一例）３３と、小領域特徴量群有効度算出手段３４とを備えている。特徴量抽出部１１は、第１の実施の形態において備えられていたものと同じものである。
【００７６】
加工領域検出手段３３は、入力として与えられる加工処理が施された問合せ画像に対して、テロップ検出方法などの加工領域を自動的に検出する方法により、問合せ画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、算出された局所領域加工確率を小領域特徴量群有効度算出手段３４に出力する。
【００７７】
ここでの局所領域は、後述する画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域加工確率は、任意の確率値としてもよいし、１，０の２値の確率値としてもよい。
【００７８】
小領域特徴量群有効度算出手段３４は、加工領域検出手段３３から入力される局所領域加工確率にもとづいて、後述する画像分割手段１１１において分割される画像の各小領域の加工確率を算出し、算出された小領域ごとの加工確率にもとづいて、小領域ごとに複数種類の特徴量のそれぞれの類似度算出における有効度を小領域特徴量群有効度として算出し、算出された小領域特徴量群有効度を小領域類似度算出手段１２１に出力する。
【００７９】
小領域特徴量群有効度は、ある加工確率が与えられた画像の各小領域において、複数種類の特徴量のそれぞれが、加工処理が施された画像と元画像間において当該小領域の類似度を算出するのにどの程度有効であるかを数値化した重み値である。小領域特徴量群有効度は、複数種類の特徴量の中から最も有効であると判定される特徴量のみが値を持ち、残りの特徴量の有効度を０として与えてもよい。また、それぞれの特徴量のが有効である（１）か否（０）かの２値判定結果として与えてもよい。また任意の数値として与えてもよい。
【００８０】
また、小領域特徴量群有効度の算出方法として、当該小領域の加工確率が高い場合は、領域の一部に加工処理が施され領域内の絵柄が部分的に変化した場合でも、特徴量の変化が少ない、すなわち領域内の部分的な絵柄の変化の影響を受けにくい特徴量に対しては有効度を高く設定し、逆に、特徴量の変化が多い、すなわち領域内の部分的な絵柄の変化の影響を受けやすい特徴量に対しては有効度を低く設定する方法がある。また、当該小領域の加工確率が低い場合は、領域内の絵柄の部分的な変化に対して特徴量の変動が大きい、すなわち領域内の絵柄の部分的な変化の影響を受けやすい特徴量の有効度を高く設定する方法がある。これは、加工処理が施されることによって当該小領域の絵柄の変化が起こる確率が低いために、領域内の絵柄の変化の影響を受けやすい特徴量を使用することにより、全く異なる画像間の類似度を低く算出することができる効果があるためである。
【００８１】
ここで、領域内の部分的な絵柄の変化による各特徴量の変化の度合いは、ある画像領域の領域内に、任意の大きさの加工処理を施して、加工処理を施す前後で特徴量間の類似度を算出することで、求めることができる。
【００８２】
加工領域検出手段３３から入力される局所領域加工確率の局所領域が、後述する画像分割手段１１１において分割される小領域と対応する場合は、局所領域加工確率を直接小領域の加工確率として用いることができる。小領域と局所領域が対応していない場合には、局所領域加工確率から小領域の加工確率を補完すればよい。例えば、局所領域が小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域加工確率の平均値を算出することで、小領域の加工確率を生成することができる。
【００８３】
また、局所領域の分割方法が、小領域の分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の局所領域加工確率を、重複する面積に比例した重み付けをして総和することで、小領域の加工確率を生成することができる。
【００８４】
画像類似度算出部３２は、小領域類似度算出手段３２１と、画像類似度算出手段３２２とを含む。
【００８５】
小領域類似度算出手段３２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段３２２に出力する。
【００８６】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【００８７】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【００８８】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【００８９】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【００９０】
また、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【００９１】
また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【００９２】
画像類似度算出手段３２２は、小領域類似度算出手段３２１から入力される小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。
【００９３】
本発明の第３の実施の形態では、第１の実施の形態と同様に、画像の小領域ごとに加工処理が施される確率に応じて求められる小領域ごとの複数種類の特徴量に対する類似度算出における有効度を作用させて画像の小領域ごとの類似度を算出するが、小領域特徴量群有効度を問合せ画像から直接算出した局所領域加工確率にもとづいて算出している。学習画像または機器特性から学習的に小領域特徴量群有効度を平均値として求める第１の実施の形態とは異なり、問合せ画像ごとに小領域特徴量群有効度を算出するため、加工処理が施された画像と元画像間の画像類似度をより高い値として算出することができる。また、この実施の形態では、学習画像または機器特性の入力を必要としない。
【００９４】
実施の形態４．
次に、本発明の第４の実施の形態について図面を参照して説明する。図１０のブロック図に示すように、本発明の第４の実施の形態は、図９に示された第３の実施の形態における画像類似度算出部３２が、画像類似度算出部４２に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第３の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、第２の実施の形態におけるそれらの動作と同じである。また、加工領域検出手段３３は、第３の実施の形態におけるそれと同様に動作する。
【００９５】
画像類似度算出部４２は、小領域類似度算出手段４２１と、画像類似度算出手段４２２とを含む。
【００９６】
小領域類似度算出手段４２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段４２２に出力する。
【００９７】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【００９８】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【００９９】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０１００】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０１０１】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０１０２】
画像類似度算出手段４２２は、小領域類似度算出手段４２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。
【０１０３】
検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０１０４】
本発明の第４の実施の形態では、第３の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。第２の実施の形態とは異なり、問合せ画像ごとに小領域特徴量群有効度を算出するため、加工処理が施された画像から元画像をより高精度に検索することができる。また、第３の実施の形態と同様に、この実施の形態では学習画像または機器特性の入力を必要としない。
【０１０５】
実施の形態５．
次に、本発明の第５の実施の形態について図面を参照して説明する。図１１のブロック図に示すように、本発明の第５の実施の形態は、特徴量抽出部５１と、画像類似度算出部５２と、加工確率モデル推定手段１３と、小領域特徴量群有効度算出手段１４とを備えている。
【０１０６】
加工確率モデル推定手段１３は、第１の実施の形態の場合と同様に動作する。また、小領域特徴量群有効度算出手段１４も、第１の実施の形態の場合と同様に動作して、小領域特徴量群有効度を算出し、算出された小領域特徴量群有効度を小領域有効特徴量抽出手段５１２に出力する。
【０１０７】
特徴量抽出部５１は、画像分割手段５１１と、小領域特徴量抽出手段５１２とを含む。
【０１０８】
画像分割手段５１１は、入力として与えられる加工処理が施された問合せ画像を小領域に分割し、小領域に分割された問合せ画像を小領域特徴量抽出手段５１２に出力する。なお、小領域に分割する方法は任意である。
【０１０９】
小領域に分割する方法の例としては、画像を同一の大きさの矩形に分割する方法、画像を不均一な大きさの矩形に分割する方法、画像を円形や三角形などの矩形以外の任意の形状・任意の大きさに分割する方法などがあるが、これらの分割方法に限ったものではない。また、小領域の一部が重複するように分割してもよい。また、画像全体を小領域に分割する必要もなく、画像の一部のみを小領域に分割してもよい。
【０１１０】
小領域特徴量抽出手段５１２は、画像分割手段５１１から入力される小領域分割された問合せ画像の各小領域から、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を参照して小領域ごとに最も有効であると考えられる特徴量を問合せ画像小領域有効特徴量として抽出し、抽出された問合せ画像小領域有効特徴量を小領域類似度算出手段５２１に出力する。
【０１１１】
抽出する特徴量の決定方法として、小領域特徴量群有効度を参照し、最も有効度が高い特徴量を選択するという方法がある。抽出する特徴量の候補例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。
【０１１２】
色情報の特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。ここでの画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊*表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の特徴量の例としては、エッジ要素特徴量を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＥｄｇｅ  Ｈｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓ  ＴｅｘｔｕｒｅやＴｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＲｅＲｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。
【０１１３】
また、問合せ画像が動画像のフレーム画像である場合は、特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＰａｒａｍｅｔｒｉｃ  ＭｏｔｉｏｎやＭｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどがある。
【０１１４】
画像類似度算出部５２は、小領域類似度算出手段５２１と、画像類似度算出手段５２２とを含む。
【０１１５】
小領域類似度算出手段５２１は、小領域特徴量抽出手段５１２から入力される問合せ画像の小領域有効特徴量と、入力として与えられる参照画像の各小領域からあらかじめ抽出された小領域有効特徴量である参照画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段５２２に出力する。
【０１１６】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０１１７】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域有効特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０１１８】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。
【０１１９】
ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０１２０】
画像類似度算出手段５２２は、小領域類似度算出手段５２１から入力される小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。
【０１２１】
次に、図１１のブロック図および図１２のフローチャートを参照して、第５の実施の形態の動作について説明する。
【０１２２】
学習画像または機器特性が入力として与えられると（ステップＣ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を小領域特徴量群有効度算出手段１４に出力する（ステップＣ２）。小領域特徴量群有効度算出手段１４は、局所領域加工確率にもとづいて画像の小領域ごとに複数種類の特徴量のそれぞれの有効度を小領域特徴量群有効度として算出する（ステップＣ３）。
【０１２３】
加工処理が施された問合せ画像が入力として与えられると（ステップＣ４）、画像分割手段５１１は、入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段５１２に出力する（ステップＣ５）。小領域有効特徴量抽出手段５１２は、ステップＣ３において小領域特徴量群有効度算出手段１４で算出された小領域特徴量群有効度にもとづいて、問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出し、抽出された問合せ画像小領域有効特徴量を小領域類似度算出手段５２１に出力する（ステップＣ６）。
【０１２４】
参照画像の小領域有効特徴量が入力として与えられると（ステップＣ７）、小領域類似度算出手段５２１は、入力された参照画像の小領域有効特徴量と問合せ画像小領域有効特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段５２２に出力する（ステップＣ８）。画像類似度算出手段５２２は、小領域類似度から問合せ画像と参照画像の画像全体の類似度を画像類似度として算出する（ステップＣ９）。最後に、算出された画像類似度を出力する（ステップＣ１０）。
【０１２５】
本発明の第５の実施の形態では、画像の小領域ごとに加工処理が施される確率に応じて求められる小領域ごとの複数種類の特徴量に対する類似度算出における有効度にもとづいて、画像類似度の算出に用いる特徴量を、小領域ごとに複数種類の特徴量の中から選択して抽出している。このため、加工確率の高い領域に対して加工処理の影響を受けにくい特徴量を選択することで、加工処理の影響を軽減して類似度を算出できるため、加工処理が施された画像と元画像間の類似度を高い値として算出できる。
【０１２６】
また、この実施の形態では、問合せ画像から加工領域を検出する処理を必要とせずあらかじめ小領域特徴量群有効度を求めておくことができることに加えて、小領域有効特徴量抽出手段５１２では複数種類の特徴量を抽出せず、有効な特徴量のみを抽出するので、第１の実施の形態と比較して、さらに高速に画像類似度の算出を行うことができる。
【０１２７】
実施の形態６．
次に、本発明の第６の実施の形態について図面を参照して説明する。図１３のブロック図に示すように、本発明の第６の実施の形態は、図１１に示された第５の実施の形態における画像類似度算出部５２が、画像類似度算出部６２に置き換わり、それに加えて参照画像群小領域有効特徴量記憶部６５と検索結果出力手段２６を有する点が第５の実施の形態とは異なる。
【０１２８】
参照画像群小領域特徴量群記憶部６５は、事前に登録された複数の参照画像である参照画像群の各小領域から抽出された小領域有効特徴量である参照画像群小領域有効特徴量を記憶している。
【０１２９】
画像類似度算出部６２は、小領域類似度算出手段６２１と、画像類似度算出手段６２２とを含む。
【０１３０】
小領域類似度算出手段６２１は、参照画像群小領域有効特徴量記憶部６５から複数の参照画像の小領域有効特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域有効特徴量と、小領域有効特徴量抽出手段５１２から入力される問合せ画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段６２２に出力する。
【０１３１】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０１３２】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０１３３】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０１３４】
画像類似度算出手段６２２は、小領域類似度算出手段６２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。
【０１３５】
検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０１３６】
次に、図１３のブロック図および図１４のフローチャートを参照して、第６の実施の形態の動作について説明する。
【０１３７】
学習画像または機器特性が入力として与えられると（ステップＤ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理の施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を小領域特徴量群有効度算出手段１４に出力する（ステップＤ２）。小領域特徴量群有効度算出手段１４は、局所領域加工確率にもとづいて画像の小領域ごとに複数種類の特徴量のそれぞれの有効度を小領域特徴量群有効度として算出する（ステップＤ３）。
【０１３８】
加工処理が施された問合せ画像が入力として与えられると（ステップＤ４）、画像分割手段５１１は、入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段５１２に出力する（ステップＤ５）。小領域特徴量抽出手段５１２は、ステップＤ３において小領域特徴量群有効度算出手段１４で算出された小領域特徴量群有効度にもとづいて、問合せ画像の分割された小領域ごとに有効な特徴量を問合せ画像小領域有効特徴量として抽出し、抽出された問合せ画像小領域有効特徴量を小領域類似度算出手段６２１に出力する（ステップＤ６）。次に、参照画像群小領域有効特徴量記憶部６５から、１画像分の参照画像の小領域有効特徴量を読み込む（ステップＤ７）。
【０１３９】
小領域類似度算出手段６２１は、読み込まれた１画像分の参照画像の小領域有効特徴量と問合せ画像小領域有効特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段６２２に出力する（ステップＤ８）。画像類似度算出手段６２２は、小領域類似度から読み込まれた１画像分の参照画像と問合せ画像の画像全体の類似度を画像類似度として算出する（ステップＤ９）。次に、参照画像群小領域有効特徴量記憶部６５に記憶されている全ての参照画像に対する画像類似度を算出したか否かを調べる（ステップＤ１０）。画像類似度を算出していない参照画像が残っている場合は、ステップＤ７へ戻る。全ての参照画像に対する画像類似度が算出されている場合は、ステップＤ１１へ進む。最後に、検索結果出力手段２６は、全ての参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する（ステップＤ１１）。
【０１４０】
本発明の第６の実施の形態では、本発明の第５の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。このため、加工処理が施された画像から元画像を精度良く検索することができる。また、第５の実施の形態と同様に、問合せ画像から加工領域を検出する処理を必要とせずあらかじめ小領域特徴量群有効度を求めておくことができることに加えて、小領域有効特徴量抽出手段５２１では複数種類の特徴量を抽出せず、有効な特徴量のみを抽出するので、第２の実施の形態と比較して、さらに高速に画像検索を行うことができる。さらに、この実施の形態では、検索対象の参照画像群に対して、あらかじめ抽出された小領域ごとに有効な特徴量のみを記憶しておくだけでよいので、記憶容量の削減ができる。
【０１４１】
実施の形態７．
次に、本発明の第７の実施の形態について図面を参照して説明する。図１５のブロック図に示すように、本発明の第７の実施の形態は、特徴量抽出部７１と、画像類似度算出部５２と、加工領域検出手段３３と、小領域特徴量群有効度算出手段３４とを備えている。加工領域検出手段３３は、第３の実施の形態の場合と同様に動作する。小領域特徴量群有効度算出手段３４は、第３の実施の形態の場合と同様に動作して、小領域特徴量群有効度を算出し、算出された小領域特徴量群有効度を小領域有効特徴量抽出手段７１２に出力する。
【０１４２】
特徴量抽出部７１は、画像分割手段７１１と、小領域特徴量抽出手段７１２とを含む。
【０１４３】
画像分割手段７１１は、入力として与えられる加工処理が施された問合せ画像を小領域に分割し、小領域分割された問合せ画像を小領域特徴量抽出手段５１２に出力する。なお、小領域に分割する方法は任意である。
【０１４４】
小領域に分割する方法の例としては、画像を同一の大きさの矩形に分割する方法、画像を不均一な大きさの矩形に分割する方法、画像を円形や三角形などの矩形以外の任意の形状・任意の大きさに分割する方法などがあるが、これらの分割方法に限ったものではない。また、小領域の一部が重複するように分割してもよい。また、画像全体を小領域に分割する必要もなく、画像の一部のみを小領域に分割してもよい。
【０１４５】
小領域特徴量抽出手段７１２は、画像分割手段７１１から入力される小領域分割された問合せ画像の各小領域から、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を参照して小領域ごとに最も有効であると考えられる特徴量を問合せ画像小領域有効特徴量として抽出し、抽出された問合せ画像小領域有効特徴量を小領域類似度算出手段５２１に出力する。
【０１４６】
抽出する特徴量の決定方法として、小領域特徴量群有効度を参照し、最も有効度が高い特徴量を選択するという方法がある。抽出する特徴量の候補例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。
【０１４７】
色情報の特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。ここでの画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊*表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の特徴量の例としては、エッジ要素特徴量を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＥｄｇｅ  Ｈｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓ  ＴｅｘｔｕｒｅやＴｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＲｅＲｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。
【０１４８】
また、問合せ画像が動画像のフレーム画像である場合は、特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＰａｒａｍｅｔｒｉｃ  ＭｏｔｉｏｎやＭｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどがある。
【０１４９】
そして、画像類似度算出部５２は、第５の実施の形態の場合と同様に動作する。
【０１５０】
本発明の第７の実施の形態では、第５の実施の形態と同様に、画像の小領域ごとに加工処理が施される確率に応じて求められる小領域ごとの複数種類の特徴量に対する類似度算出における有効度にもとづいて、画像類似度の算出に用いる特徴量を、小領域ごとに複数種類の特徴量の中から選択して抽出するが、学習画像または機器特性から学習的に小領域特徴量群有効度を平均値として求める第５の実施の形態とは異なり、問合せ画像ごとに小領域特徴量群有効度を算出するため、加工処理が施された画像と元画像間の画像類似度をより高い値として算出することができる。
【０１５１】
さらに、小領域有効特徴量抽出手段７１２では複数種類の特徴量を抽出せず、有効な特徴量のみを抽出するので、第３の実施の形態と比較して、より高速に画像類似度の算出を行うことができる。また、この実施の形態では学習画像または機器特性の入力を必要としない。
【０１５２】
実施の形態８．
次に、本発明の第８の実施の形態について図面を参照して説明する。図１６のブロック図に示すように、本発明の第８の実施の形態は、図１５に示された第７の実施の形態における画像類似度算出部５２が、画像類似度算出部８２に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第７の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０１５３】
画像類似度算出部８２は、小領域類似度算出手段８２１と、画像類似度算出手段８２２とを含む。
【０１５４】
小領域類似度算出手段８２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群から、小領域ごとに小領域有効特徴量抽出手段５１２から入力される問合せ画像小領域有効特徴量に対応する小領域特徴量を参照画像群小領域有効特徴量として抽出し、抽出された参照画像群小領域有効特徴量と、問合せ画像小領域有効特徴量を比較し、参照画像群の各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段８２２に出力する。
【０１５５】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０１５６】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０１５７】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。
【０１５８】
ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０１５９】
また、問合せ画像小領域有効特徴量に関する小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、参照画像群小領域特徴量群から、問合せ画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０１６０】
画像類似度算出手段８２２は、小領域類似度算出手段８２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。
【０１６１】
検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０１６２】
本発明の第８の実施の形態では、第７の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。第６の実施の形態とは異なり、問合せ画像ごとに小領域特徴量群有効度を算出するため、加工処理が施された画像から元画像をより高精度に検索することができる。さらに、小領域有効特徴量抽出手段７１２では複数種類の特徴量を抽出せず、有効な特徴量のみを抽出するので、第４の実施の形態と比較して、より高速に画像検索を行うことができる。また、第７の実施の形態と同様に、この実施の形態では学習画像または機器特性の入力を必要としない。
【０１６３】
実施の形態９．
次に、本発明の第９の実施の形態について図面を参照して説明する。図１７のブロック図に示すように、本発明の第９の実施の形態は、図１に示された第１の実施の形態における画像類似度算出部１２が画像類似度算出部９２に置き換わり、それに加えて局所領域重み値算出手段９５を有し、加工確率モデル推定手段１３から出力される局所領域加工確率が局所領域重み値算出手段９５にも供給される点が第１の実施の形態とは異なる。
【０１６４】
局所領域重み値算出手段９５は、加工確率モデル推定手段１３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出し、算出された局所領域重み値を画像類似度算出手段９２２に出力する。局所領域重み値は、当該局所領域の局所領域加工確率が低いほど、高い値に設定するのが有効である。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
として求める方法があるが、これに限ったものではなく、局所領域重み値を、局所領域加工確率が高い場合には低い値、局所領域加工確率が低い場合には高い値とするなど、画像類似度算出処理において、加工処理が施された確率の高い領域の影響を排除することができる他の算出方法を用いてもよい。
【０１６５】
ここでの局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。
【０１６６】
画像類似度算出部９２は、小領域類似度算出手段９２１と、画像類似度算出手段９２２とを含む。
【０１６７】
小領域類似度算出手段９２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段９２２に出力する。
【０１６８】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０１６９】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０１７０】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０１７１】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０１７２】
また、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０１７３】
また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０１７４】
画像類似度算出手段９２２は、小領域類似度算出手段９２１から入力される小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。
【０１７５】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段９２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０１７６】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０１７７】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０１７８】
実施の形態１０．
次に、本発明の第１０の実施の形態について図面を参照して説明する。図１８のブロック図に示すように、本発明の第１０の実施の形態は、図１７に示された第９の実施の形態における画像類似度算出部９２が画像類似度算出部１０２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第９の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０１７９】
画像類似度算出部１０２０は、小領域類似度算出手段１０２１と、画像類似度算出手段１０２２とを含む。
【０１８０】
小領域類似度算出手段１０２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１０２２に出力する。
【０１８１】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０１８２】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０１８３】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０１８４】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０１８５】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０１８６】
画像類似度算出手段１０２２は、小領域類似度算出手段１０２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。
【０１８７】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段９２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０１８８】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０１８９】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０１９０】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０１９１】
実施の形態１１．
次に、本発明の第１１の実施の形態について図面を参照して説明する。図１９のブロック図に示すように、本発明の第１１の実施の形態は、図９に示された第３の実施の形態における画像類似度算出部３２が画像類似度算出部１１２０に置き換わり、それに加えて局所領域重み値算出手段１１５を有し、加工領域検出手段３３から出力される局所領域加工確率が局所領域重み値算出手段１１５にも供給される点が第３の実施の形態とは異なる。
【０１９２】
局所領域重み値算出手段１１５は、加工領域検出手段３３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出し、算出された局所領域重み値を画像類似度算出手段１１２２に出力する。
【０１９３】
ここでの局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
として求める方法がある。また、加工領域検出手段３３から入力される局所領域加工確率が１，０の２値の確率値として与えられる場合は、複数の局所領域を統合した領域を新たな局所領域とし、局所領域重み値を統合後の局所領域内に含まれる局所領域加工確率が０である統合前の局所領域の面積の割合として求める方法がある。
【０１９４】
画像類似度算出部１１２０は、小領域類似度算出手段１１２１と、画像類似度算出手段１１２２とを含む。
【０１９５】
小領域類似度算出手段１１２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１１２２に出力する。
【０１９６】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０１９７】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０１９８】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０１９９】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２００】
また、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２０１】
また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２０２】
画像類似度算出手段１１２２は、小領域類似度算出手段１１２１から入力される小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。
【０２０３】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段１１２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０２０４】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２０５】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２０６】
実施の形態１２．
次に、本発明の第１２の実施の形態について図面を参照して説明する。図２０のブロック図に示すように、本発明の第１２の実施の形態は、図１９に示された第１１の実施の形態における画像類似度算出部１１２０が画像類似度算出部１２２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第１１の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０２０７】
画像類似度算出部１２２０は、小領域類似度算出手段１２２１と、画像類似度算出手段１２２２とを含む。
【０２０８】
小領域類似度算出手段１２２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１２２２に出力する。
【０２０９】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０２１０】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２１１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２１２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２１３】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２１４】
画像類似度算出手段１２２２は、小領域類似度算出手段１２２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。
【０２１５】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段１２２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０２１６】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２１７】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２１８】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０２１９】
実施の形態１３．
次に、本発明の第１３の実施の形態について図面を参照して説明する。図２１のブロック図に示すように、本発明の第１３の実施の形態は、図１に示された第１の実施の形態における画像類似度算出部１２が画像類似度算出部１３２０に置き換わり、それに加えて一致判定閾値算出手段１３５を有し、加工確率モデル推定手段１３から出力される局所領域加工確率が一致判定閾値算出手段１３５にも供給される点が第１の実施の形態とは異なる。
【０２２０】
一致判定閾値算出手段１３５は、加工確率モデル推定手段１３から入力される局所領域加工確率にもとづいて、後述する画像類似度算出手段１３２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段１３２２に出力する。
【０２２１】
最適な閾値の算出方法として、局所領域加工確率にもとづいて加工処理が施され部分的に絵柄の変化した加工画像と元の画像間で、画像類似度算出手段１３２２において画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定し、推定された画像全体の類似度の生起確率分布にもとづいて加工が像と元画像を不一致と判定する確率が十分に小さいと判断できる閾値に設定する方法がある。画像全体の類似度の生起確率分布を推定する際に、加工処理による絵柄の変化の影響の他に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。
【０２２２】
画像類似度算出部１３２０は、小領域類似度算出手段１３２１と、画像類似度算出手段１３２２とを含む。
【０２２３】
小領域類似度算出手段１３２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１３２２に出力する。
【０２２４】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０２２５】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２２６】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２２７】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２２８】
また、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。
【０２２９】
問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２３０】
また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２３１】
画像類似度算出手段１３２２は、小領域類似度算出手段１３２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１３５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０２３２】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０２３３】
実施の形態１４．
次に、本発明の第１４の実施の形態について図面を参照して説明する。図２２のブロック図に示すように、本発明の第１４の実施の形態は、図２１に示された第１３の実施の形態における画像類似度算出部１３２０が画像類似度算出部１４２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第１３の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０２３４】
画像類似度算出部１４２０は、小領域類似度算出手段１４２１と、画像類似度算出手段１４２２とを含む。
【０２３５】
小領域類似度算出手段１４２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１４２２に出力する。
【０２３６】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０２３７】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２３８】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２３９】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２４０】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２４１】
画像類似度算出手段１４２２は、小領域類似度算出手段１４２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１３５から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０２４２】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０２４３】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０２４４】
実施の形態１５．
次に、本発明の第１５の実施の形態について図面を参照して説明する。図２３のブロック図に示すように、本発明の第１５の実施の形態は、図９に示された第３の実施の形態における画像類似度算出部３２が画像類似度算出部１５２０に置き換わり、それに加えて一致判定閾値算出手段１５５を有し、加工領域検出手段３３から出力される局所領域加工確率が一致判定閾値算出手段１５５にも供給される点が第３の実施の形態とは異なる。
【０２４５】
一致判定閾値算出手段１５５は、加工領域検出手段３３から入力される局所領域加工確率にもとづいて、後述する画像類似度算出手段１５２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段１５２２に出力する。
【０２４６】
最適な閾値の算出方法として、局所領域加工確率にもとづいて加工処理が施され部分的に絵柄の変化した加工画像と元の画像間で、画像類似度算出手段１５２２において画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定し、推定された画像全体の類似度の生起確率分布にもとづいて加工が像と元画像を不一致と判定する確率が十分に小さいと判断できる閾値に設定する方法がある。画像全体の類似度の生起確率分布を推定する際に、加工処理による絵柄の変化の影響の他に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。
【０２４７】
画像類似度算出部１５２０は、小領域類似度算出手段１５２１と、画像類似度算出手段１５２２とを含む。
【０２４８】
小領域類似度算出手段１５２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１５２２に出力する。
【０２４９】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０２５０】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２５１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２５２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２５３】
また、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２５４】
画像類似度算出手段１５２２は、小領域類似度算出手段１５２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１５５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０２５５】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０２５６】
実施の形態１６．
次に、本発明の第１６の実施の形態について図面を参照して説明する。図２４のブロック図に示すように、本発明の第１６の実施の形態は、図２３に示された第１５の実施の形態における画像類似度算出部１５２０が画像類似度算出部１６２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第１５の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０２５７】
画像類似度算出部１６２０は、小領域類似度算出手段１６２１と、画像類似度算出手段１６２２とを含む。
【０２５８】
小領域類似度算出手段１６２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１６２２に出力する。
【０２５９】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０２６０】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２６１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２６２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２６３】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０２６４】
画像類似度算出手段１６２２は、小領域類似度算出手段１６２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１５５から出力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０２６５】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０２６６】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０２６７】
実施の形態１７．
次に、本発明の第１７の実施の形態について図面を参照して説明する。図２５のブロック図に示すように、本発明の第１７の実施の形態は、図１１に示された第５の実施の形態における画像類似度算出部５２が画像類似度算出部１７２０に置き換わり、それに加えて局所領域重み値算出手段９５を有し、加工確率モデル推定手段１３から出力される局所領域加工確率が局所領域重み値算出手段９５にも供給される点が第５の実施の形態とは異なる。局所領域重み値算出手段９５は、第９の実施の形態の場合と同様に動作する。
【０２６８】
画像類似度算出部１７２０は、小領域類似度算出手段１７２１と、画像類似度算出手段１７２２とを含む。
【０２６９】
小領域類似度算出手段１７２１は、小領域特徴量抽出手段５１２から入力される問合せ画像の小領域有効特徴量と、入力として与えられる参照画像の各小領域からあらかじめ抽出された小領域有効特徴量である参照画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１７２２に出力する。
【０２７０】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２７１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域有効特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２７２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２７３】
画像類似度算出手段１７２２は、小領域類似度算出手段１７２１から入力される小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。
【０２７４】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段１７２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０２７５】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２７６】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２７７】
実施の形態１８．
次に、本発明の第１８の実施の形態について図面を参照して説明する。図２６のブロック図に示すように、本発明の第１８の実施の形態は、図２５に示された第１７の実施の形態における画像類似度算出部１７２０が画像類似度算出部１８２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部６５と検索結果出力手段２６を有する点が第１７の実施の形態とは異なる。参照画像群小領域特徴量群記憶部６５は、第６の実施の形態の場合と同様の役割を果たす。
【０２７８】
画像類似度算出部１８２０は、小領域類似度算出手段１８２１と、画像類似度算出手段１８２２とを含む。
【０２７９】
小領域類似度算出手段１８２１は、参照画像群小領域有効特徴量記憶部６５から複数の参照画像の小領域有効特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域有効特徴量と、小領域有効特徴量抽出手段５１２から入力される問合せ画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１８２２に出力する。
【０２８０】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２８１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２８２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２８３】
画像類似度算出手段１８２２は、小領域類似度算出手段１８２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。
【０２８４】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段１８２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０２８５】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２８６】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２８７】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０２８８】
実施の形態１９．
次に、本発明の第１９の実施の形態について図面を参照して説明する。図２７のブロック図に示すように、本発明の第１９の実施の形態は、図１５に示された第７の実施の形態における画像類似度算出部５２が画像類似度算出部１９２０に置き換わり、それに加えて局所領域重み値算出手段１１５を有し、加工領域検出手段３３から出力される局所領域加工確率が局所領域重み値算出手段１１５にも供給される点が第７の実施の形態とは異なる。局所領域重み値算出手段１１５は、第１２の実施の形態の場合と同様に動作する。
【０２８９】
画像類似度算出部１９２０は、小領域類似度算出手段１９２１と、画像類似度算出手段１９２２とを含む。
【０２９０】
小領域類似度算出手段１９２１は、小領域特徴量抽出手段７１２から入力される問合せ画像の小領域有効特徴量と、入力として与えられる参照画像の各小領域からあらかじめ抽出された小領域有効特徴量である参照画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１９２２に出力する。
【０２９１】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０２９２】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域有効特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０２９３】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０２９４】
画像類似度算出手段１９２２は、小領域類似度算出手段１９２１から入力される小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。
【０２９５】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段１９２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２９６】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０２９７】
実施の形態２０．
次に、本発明の第２０の実施の形態について図面を参照して説明する。図２８のブロック図に示すように、本発明の第２０の実施の形態は、図２７に示された第１９の実施の形態における画像類似度算出部１９２０が画像類似度算出部２０２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第１９の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０２９８】
画像類似度算出部２０２０は、小領域類似度算出手段２０２１と、画像類似度算出手段２０２２とを含む。
【０２９９】
小領域類似度算出手段２０２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群から、小領域ごとに小領域有効特徴量抽出手段７１２から入力される問合せ画像小領域有効特徴量に対応する小領域特徴量を参照画像群小領域有効特徴量として抽出し、抽出された参照画像群小領域有効特徴量と、問合せ画像小領域有効特徴量を比較し、参照画像群の各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２０２２に出力する。
【０３００】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３０１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３０２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３０３】
また、問合せ画像小領域有効特徴量に関する小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、参照画像群小領域特徴量群から、問合せ画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０３０４】
画像類似度算出手段２０２２は、小領域類似度算出手段２０２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２６に出力する。
【０３０５】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段２０２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０３０６】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３０７】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３０８】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０３０９】
実施の形態２１．
次に、本発明の第２１の実施の形態について図面を参照して説明する。図２９のブロック図に示すように、本発明の第２１の実施の形態は、図１１に示された第５の実施の形態における画像類似度算出部５２が画像類似度算出部２１２０に置き換わり、それに加えて一致判定閾値算出手段１３５を有し、加工確率モデル推定手段１３から出力される局所領域加工確率が一致判定閾値算出手段１３５にも供給される点が第５の実施の形態とは異なる。一致判定閾値算出手段１３５は、第１３の実施の形態の場合と同様に動作する。
【０３１０】
画像類似度算出部２１２０は、小領域類似度算出手段２１２１と、画像類似度算出手段２１２２とを含む。
【０３１１】
小領域類似度算出手段２１２１は、小領域特徴量抽出手段５１２から入力される問合せ画像の小領域有効特徴量と、入力として与えられる参照画像の各小領域からあらかじめ抽出された小領域有効特徴量である参照画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２１２２に出力する。
【０３１２】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３１３】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域有効特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３１４】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３１５】
画像類似度算出手段２１２２は、小領域類似度算出手段２１２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１３５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０３１６】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０３１７】
実施の形態２２．
次に、本発明の第２２の実施の形態について図面を参照して説明する。図３０のブロック図に示すように、本発明の第２２の実施の形態は、図２９に示された第２１の実施の形態における画像類似度算出部２１２０が画像類似度算出部２２２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部６５と検索結果出力手段２６を有する点が第２１の実施の形態とは異なる。参照画像群小領域特徴量群記憶部６５は、第６の実施の形態の場合と同様の役割を果たす。
【０３１８】
画像類似度算出部２２２０は、小領域類似度算出手段２２２１と、画像類似度算出手段２２２２とを含む。
【０３１９】
小領域類似度算出手段２２２１は、参照画像群小領域有効特徴量記憶部６５から複数の参照画像の小領域有効特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域有効特徴量と、小領域有効特徴量抽出手段５１２から入力される問合せ画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２２２２に出力する。
【０３２０】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３２１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３２２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３２３】
画像類似度算出手段２２２２は、小領域類似度算出手段２２２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１３５から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０３２４】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０３２５】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０３２６】
実施の形態２３．
次に、本発明の第２３の実施の形態について図面を参照して説明する。図３１のブロック図に示すように、本発明の第２３の実施の形態は、図１５に示された第７の実施の形態における画像類似度算出部５２が画像類似度算出部２３２０に置き換わり、それに加えて一致判定閾値算出手段１５５を有し、加工領域検出手段３３から出力される局所領域加工確率が一致判定閾値算出手段１５５にも供給される点が第７の実施の形態とは異なる。一致判定閾値算出手段１５５は、第１５の実施の形態の場合と同様に動作する。
【０３２７】
画像類似度算出部２３２０は、小領域類似度算出手段２３２１と、画像類似度算出手段２３２２とを含む。
【０３２８】
小領域類似度算出手段２３２１は、小領域特徴量抽出手段７１２から入力される問合せ画像の小領域有効特徴量と、入力として与えられる参照画像の各小領域からあらかじめ抽出された小領域有効特徴量である参照画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２３２２に出力する。
【０３２９】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３３０】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域有効特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３３１】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３３２】
画像類似度算出手段２３２２は、小領域類似度算出手段２３２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１５５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０３３３】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０３３４】
実施の形態２４．
次に、本発明の第２４の実施の形態について図面を参照して説明する。図３２のブロック図に示すように、本発明の第２４の実施の形態は、図３１に示された第２３の実施の形態における画像類似度算出部２３２０が画像類似度算出部２４２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第２３の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０３３５】
画像類似度算出部２４２０は、小領域類似度算出手段２４２１と、画像類似度算出手段２４２２とを含む。
【０３３６】
小領域類似度算出手段２４２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群から、小領域ごとに小領域有効特徴量抽出手段７１２から入力される問合せ画像小領域有効特徴量に対応する小領域特徴量を参照画像群小領域有効特徴量として抽出し、抽出された参照画像群小領域有効特徴量と、問合せ画像小領域有効特徴量を比較し、参照画像群の各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２４２２に出力する。
【０３３７】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３３８】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３３９】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３４０】
また、問合せ画像小領域有効特徴量に関する小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、参照画像群小領域特徴量群から、問合せ画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０３４１】
画像類似度算出手段２４２２は、小領域類似度算出手段２４２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１５５から出力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０３４２】
画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０３４３】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０３４４】
実施の形態２５．
次に、本発明の第２５の実施の形態について図面を参照して説明する。図３３のブロック図に示すように、本発明の第２５の実施の形態は、図１７に示された第９の実施の形態における画像類似度算出部９２が画像類似度算出部２５２０に置き換わり、それに加えて一致判定閾値算出手段２５５を有し、局所領域重み値算出手段９５から出力される局所領域重み値が一致判定閾値算出手段２５５にも供給される点が第９の実施の形態とは異なる。
【０３４５】
一致判定閾値算出手段２５５は、局所領域重み値算出手段９５から入力される局所領域重み値にもとづいて、後述する画像類似度算出手段２５２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段２５２２に出力する。
【０３４６】
画像類似度算出手段２５２２では、局所領域重み値から求められる小領域ごとの重み値により小領域ごとの類似度を重み付けして、加工処理の影響を排除したうえで画像全体の類似度を算出しているので、一致判定閾値は局所領域重み値を考慮して算出する。
【０３４７】
最適な閾値の算出方法として、加工処理が施された画像と元の画像間で、画像類似度算出手段２５２２において局所領域重み値を作用させて加工処理の影響を排除して求められる画像全体の類似度の推定値を、局所領域重み値にもとづいて算出し、推定された画像全体の類似度にもとづいて、加工画像と元画像を不一致と判定する可能性が十分に低いと判断できる閾値に設定する方法がある。またこの際に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。
【０３４８】
画像類似度算出部２５２０は、小領域類似度算出手段２５２１と、画像類似度算出手段２５２２とを含む。
【０３４９】
小領域類似度算出手段２５２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２５２２に出力する。
【０３５０】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０３５１】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３５２】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３５３】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３５４】
また、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０３５５】
画像類似度算出手段２５２２は、小領域類似度算出手段２５２１から入力される小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２５５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０３５６】
画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段２５２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０３５７】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３５８】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３５９】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０３６０】
実施の形態２６．
次に、本発明の第２６の実施の形態について図面を参照して説明する。図３４のブロック図に示すように、本発明の第２６の実施の形態は、図３３に示された第２５の実施の形態における画像類似度算出部２５２０が画像類似度算出部２６２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第２５の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０３６１】
画像類似度算出部２６２０は、小領域類似度算出手段２６２１と、画像類似度算出手段２６２２とを含む。
【０３６２】
小領域類似度算出手段２６２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２６２２に出力する。
【０３６３】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０３６４】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３６５】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３６６】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３６７】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０３６８】
画像類似度算出手段２６２２は、小領域類似度算出手段２６２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２５５から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０３６９】
画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段２６２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０３７０】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３７１】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３７２】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０３７３】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０３７４】
実施の形態２７．
次に、本発明の第２７の実施の形態について図面を参照して説明する。図３５のブロック図に示すように、本発明の第２７の実施の形態は、図１９に示された第１１の実施の形態における画像類似度算出部１１２０が画像類似度算出部２７２０に置き換わり、それに加えて一致判定閾値算出手段２７５を有し、局所領域重み値算出手段１１５から出力される局所領域重み値が一致判定閾値算出手段２７５にも供給される点が第１１の実施の形態とは異なる。
【０３７５】
一致判定閾値算出手段２７５は、局所領域重み値算出手段１１５から入力される局所領域重み値にもとづいて、後述する画像類似度算出手段２７２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段２７２２に出力する。
【０３７６】
画像類似度算出手段２７２２では、局所領域重み値から求められる小領域ごとの重み値により小領域ごとの類似度を重み付けして、加工処理の影響を排除したうえで画像全体の類似度を算出しているので、一致判定閾値は局所領域重み値を考慮して算出する。
【０３７７】
最適な閾値の算出方法として、加工処理が施された画像と元の画像間で、画像類似度算出手段２７２２において局所領域重み値を作用させて加工処理の影響を排除して求められる画像全体の類似度の推定値を、局所領域重み値にもとづいて算出し、推定された画像全体の類似度にもとづいて、加工画像と元画像を不一致と判定する可能性が十分に低いと判断できる閾値に設定する方法がある。またこの際に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。
【０３７８】
画像類似度算出部２７２０は、小領域類似度算出手段２７２１と、画像類似度算出手段２７２２とを含む。
【０３７９】
小領域類似度算出手段２７２１は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群と、入力として与えられる参照画像の各小領域から抽出された複数種類の特徴量である参照画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２７２２に出力する。
【０３８０】
小領域類似度の求め方として、問合せ画像小領域特徴量群と参照画像小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０３８１】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３８２】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３８３】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３８４】
また、入力として与えられる参照画像小領域特徴量群の小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群の小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像小領域特徴量群の小領域と参照画像小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像小領域特徴量群の小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０３８５】
画像類似度算出手段２７２２は、小領域類似度算出手段２７２１から入力される小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２７５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０３８６】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段２７２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０３８７】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３８８】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０３８９】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０３９０】
実施の形態２８．
次に、本発明の第２８の実施の形態について図面を参照して説明する。図３６のブロック図に示すように、本発明の第２８の実施の形態は、図３５に示された第２７の実施の形態における画像類似度算出部２７２０が画像類似度算出部２８２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第２７の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０３９１】
画像類似度算出部２８２０は、小領域類似度算出手段２８２１と、画像類似度算出手段２８２２とを含む。
【０３９２】
小領域類似度算出手段２８２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群と、小領域特徴量抽出手段１１２から入力される問合せ画像小領域特徴量群を、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を考慮しながら比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２８２２に出力する。
【０３９３】
小領域類似度の求め方として、問合せ画像小領域特徴量群と各参照画像の小領域特徴量群の各小領域特徴量ごとに類似度を算出し、算出された各小領域特徴量ごとの類似度を小領域特徴量群有効度の値に応じた重み付けして総和する方法がある。また、小領域特徴量群有効度を参照し、最も有効度が高い小領域特徴量のみを使用して小領域類似度を算出してもよい。
【０３９４】
各小領域特徴量ごとの類似度は、小領域特徴量ごとに任意の方法により算出してよい。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０３９５】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０３９６】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０３９７】
また、問合せ画像小領域特徴量群の小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０３９８】
画像類似度算出手段２８２２は、小領域類似度算出手段２８２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２７５から出力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０３９９】
画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段２８２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０４００】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４０１】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４０２】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０４０３】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０４０４】
実施の形態２９．
次に、本発明の第２９の実施の形態について図面を参照して説明する。図３７のブロック図に示すように、本発明の第２９の実施の形態は、図２５に示された第１７の実施の形態における画像類似度算出部１７２０が画像類似度算出部２９２０に置き換わり、それに加えて一致判定閾値算出手段２５５を有し、局所領域重み値算出手段９５から出力される局所領域重み値が一致判定閾値算出手段２５５にも供給される点が第１７の実施の形態とは異なる。一致判定閾値算出手段２５５は、第２５の実施の形態の場合と同様に動作する。
【０４０５】
画像類似度算出部２９２０は、小領域類似度算出手段２９２１と、画像類似度算出手段２９２２とを含む。
【０４０６】
小領域類似度算出手段２９２１は、小領域特徴量抽出手段５１２から入力される問合せ画像の小領域有効特徴量と、入力として与えられる参照画像の各小領域からあらかじめ抽出された小領域有効特徴量である参照画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２９２２に出力する。
【０４０７】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０４０８】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域有効特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０４０９】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０４１０】
画像類似度算出手段２９２２は、小領域類似度算出手段２９２１から入力される小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２５５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０４１１】
画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段２９２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０４１２】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４１３】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４１４】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０４１５】
実施の形態３０．
次に、本発明の第３０の実施の形態について図面を参照して説明する。図３８のブロック図に示すように、本発明の第３０の実施の形態は、図３７に示された第２９の実施の形態における画像類似度算出部２９２０が画像類似度算出部３０２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部６５と検索結果出力手段２６を有する点が第２９の実施の形態とは異なる。参照画像群小領域特徴量群記憶部６５は、第６の実施の形態の場合と同様の役割を果たす。
【０４１６】
画像類似度算出部３０２０は、小領域類似度算出手段３０２１と、画像類似度算出手段３０２２とを含む。
【０４１７】
小領域類似度算出手段３０２１は、参照画像群小領域有効特徴量記憶部６５から複数の参照画像の小領域有効特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域有効特徴量と、小領域有効特徴量抽出手段５１２から入力される問合せ画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段３０２２に出力する。
【０４１８】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０４１９】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０４２０】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０４２１】
画像類似度算出手段３０２２は、小領域類似度算出手段３０２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段９５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２５５から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０４２２】
画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段９５から入力される局所領域重み値の局所領域が、小領域類似度算出手段３０２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０４２３】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４２４】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４２５】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０４２６】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０４２７】
実施の形態３１．
次に、本発明の第３１の実施の形態について図面を参照して説明する。図３９のブロック図に示すように、本発明の第３１の実施の形態は、図２７に示された第１９の実施の形態における画像類似度算出部１９２０が画像類似度算出部３１２０に置き換わり、それに加えて一致判定閾値算出手段２７５を有し、局所領域重み値算出手段１１５から出力される局所領域重み値が一致判定閾値算出手段２７５にも供給される点が第１９の実施の形態とは異なる。一致判定閾値算出手段２７５は、第２７の実施の形態の場合と同様に動作する。
【０４２８】
画像類似度算出部３１２０は、小領域類似度算出手段３１２１と、画像類似度算出手段３１２２とを含む。
【０４２９】
小領域類似度算出手段３１２１は、小領域特徴量抽出手段７１２から入力される問合せ画像の小領域有効特徴量と、入力として与えられる参照画像の各小領域からあらかじめ抽出された小領域有効特徴量である参照画像小領域有効特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段３１２２に出力する。
【０４３０】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０４３１】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域有効特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０４３２】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０４３３】
画像類似度算出手段３１２２は、小領域類似度算出手段３１２１から入力される小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２７５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。
【０４３４】
画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段３１２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０４３５】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４３６】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４３７】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０４３８】
実施の形態３２．
次に、本発明の第３２の実施の形態について図面を参照して説明する。図４０のブロック図に示すように、本発明の第３２の実施の形態は、図３９に示された第３１の実施の形態における画像類似度算出部３１２０が画像類似度算出部３２２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第３１の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。
【０４３９】
画像類似度算出部３２２０は、小領域類似度算出手段３２２１と、画像類似度算出手段３２２２とを含む。
【０４４０】
小領域類似度算出手段３２２１は、参照画像群小領域特徴量群記憶部２５から複数の参照画像の小領域特徴量群を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量群から、小領域ごとに小領域有効特徴量抽出手段７１２から入力される問合せ画像小領域有効特徴量に対応する小領域特徴量を参照画像群小領域有効特徴量として抽出し、抽出された参照画像群小領域有効特徴量と、問合せ画像小領域有効特徴量を比較し、参照画像群の各参照画像に対する小領域ごとの特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段３２２２に出力する。
【０４４１】
小領域類似度の算出方法は、各小領域ごとに使用する小領域有効特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域有効特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域有効特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。
【０４４２】
また、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅ、Ｅｄｇｅ  Ｈｉｓｔｏｇｒａｍ、Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｅｘｔｕｒｅ、Ｔｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇ、Ｒｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ  ３Ｄ、Ｐａｒａｍｅｔｒｉｃ  Ｍｏｔｉｏｎ、Ｍｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ  １５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。
【０４４３】
ここで、問合せ画像小領域有効特徴量に関する小領域と参照画像群小領域特徴量群の小領域が画像分割方法が異なるために対応していない場合には、参照画像群小領域特徴量群から、問合せ画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像群小領域特徴量群の小領域特徴量に関する小領域が、問合せ画像小領域特徴量群の小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。参照画像群小領域特徴量群の小領域分割方法が、問合せ画像小領域特徴量群の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。
【０４４４】
また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、各小領域ごとの特徴量の類似度は、小領域ごとに異なる特徴量を使用することになるため、正規化されることが望ましい。
【０４４５】
画像類似度算出手段３２２２は、小領域類似度算出手段３２２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段１１５から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段２７５から出力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２６に出力する。
【０４４６】
画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段１１５から入力される局所領域重み値の局所領域が、小領域類似度算出手段３２２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。
【０４４７】
小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４４８】
また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。
【０４４９】
また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。
【０４５０】
そして、検索結果出力手段２６は、第２の実施の形態の場合と同様に、検索結果を出力する。
【０４５１】
実施の形態３３．
次に、本発明の第３３の実施の形態について図面を参照して説明する。図４１のブロック図に示すように、本発明の第３３の実施の形態は、図１に示された第１の実施の形態における特徴量抽出部１１が特徴量抽出部３３１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わる点が第１の実施の形態とは異なる。
【０４５２】
加工確率モデル推定手段３３３は、入力として与えられる加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を画像分割手段３３１１および小領域特徴量群有効度算出手段１４に出力する。機器特性の一例として、加工処理を施す機器が画像に対して施す加工のパターンおよび各加工パターンの使用頻度の情報がある。
【０４５３】
ここでの局所領域は、後述する画像分割手段３３１１における画像の小領域分割方法を決定する際に参照されるため、画像の各画素を局所領域とするなど、できるだけ小さく分割した領域とするのが望ましいが、任意の大きさや形状に分割した領域としてもよい。加工処理が施された学習画像が入力として与えられる場合は、学習画像において加工処理が施された領域を特定し、局所領域加工確率を計測する。
【０４５４】
加工処理が施された領域を特定する方法として、人手によって行ってもよいし、テロップ検出方法などの加工処理を自動的に検出する方法を用いてもよい。加工処理を施す機器の特性が入力として与えられる場合は、当該機器が画像に対して施す加工パターンおよび各加工パターンの使用頻度の情報にもとづいて、局所領域加工確率を計測する方法がある。
【０４５５】
特徴量抽出部３３１は、画像分割手段３３１１と、小領域特徴量抽出手段３３１２とを含む。
【０４５６】
画像分割手段３３１１は、加工確率モデル推定手段３３３から入力される局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を不均一の大きさの小領域に分割し、小領域分割された問合せ画像を小領域特徴量抽出手段３３１２に出力する。
【０４５７】
画像を小領域に分割する方法として、局所領域加工確率にもとづいて、加工確率が高い画像領域は大きく分割し、加工確率が低い画像領域は細かく分割するのが望ましい。加工確率が高い領域を粗く、加工確率が低い領域を細かく分割することで、加工処理が施された確率の高い領域の影響を軽減し、また加工画像と元画像間の画像類似度を算出するのに有効な加工確率の低い領域から特徴量を多く抽出することができるためである。
【０４５８】
また、局所領域加工確率にもとづいて、分割して得られる小領域の加工確率が等しくなるように分割する方法もある。この場合、小領域の加工確率は、中に含む局所領域の平均値として算出することができる。また、画像全体を小領域に分割する必要もなく、局所領域加工確率にもとづいて、加工確率の低い画像領域のみを分割する方法もある。小領域の形状は矩形、円形、三角形など任意の形状に分割してよい。また、小領域の一部が重複するように分割してもよい。
【０４５９】
小領域特徴量抽出手段３３１２は、画像分割手段３３１１から入力される小領域分割された問合せ画像の各小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出し、抽出された問合せ画像小領域特徴量群を小領域類似度算出手段１２１に出力する。抽出する小領域特徴量の例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。
【０４６０】
色情報の小領域特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。ここでの画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊*表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の小領域特徴量の例としては、エッジ要素特徴量を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＥｄｇｅ  Ｈｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓ  ＴｅｘｔｕｒｅやＴｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＲｅＲｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。
【０４６１】
また、問合せ画像が動画像のフレーム画像である場合は、小領域特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＰａｒａｍｅｔｒｉｃ  ＭｏｔｉｏｎやＭｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどがある。
【０４６２】
実施の形態３４．
次に、本発明の第３４の実施の形態について図面を参照して説明する。図４２のブロック図に示すように、本発明の第３４の実施の形態は、図４１に示された第３３の実施の形態における画像類似度算出部１２が画像類似度算出部２２に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第３３の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。また、画像類似度算出部２２も、第２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４６３】
実施の形態３５．
次に、本発明の第３５の実施の形態について図面を参照して説明する。図４３のブロック図に示すように、本発明の第３５の実施の形態は、図９に示された第３の実施の形態における特徴量抽出部１１が特徴量抽出部３５１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わる点が第３の実施の形態とは異なる。
【０４６４】
加工領域検出手段３５３は、入力として与えられる加工処理が施された問合せ画像に対して、テロップ検出方法などの加工領域を自動的に検出する方法により、問合せ画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、算出された局所領域加工確率を画像分割手段３５１１および小領域特徴量群有効度算出手段３４に出力する。
【０４６５】
ここでの局所領域は、後述する画像分割手段３５１１における画像の小領域分割方法を決定する際に参照されるため、画像の各画素を局所領域とするなど、できるだけ小さく分割した領域とするのが望ましいが、任意の大きさや形状に分割した領域としてもよい。局所領域加工確率は、任意の確率値としてもよいし、１，０の２値の確率値としてもよい。
【０４６６】
特徴量抽出部３５１は、画像分割手段３５１１と、小領域特徴量抽出手段３５１２とを含む。
【０４６７】
画像分割手段３５１１は、加工領域検出手段３５３から入力される局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を不均一の大きさの小領域に分割し、小領域分割された問合せ画像を小領域特徴量抽出手段３５１２に出力する。
【０４６８】
画像を小領域に分割する方法として、局所領域加工確率にもとづいて、加工確率が高い画像領域は大きく分割し、加工確率が低い画像領域は細かく分割するのが望ましい。加工確率が高い領域を粗く、加工確率が低い領域を細かく分割することで、加工処理が施された確率の高い領域の影響を軽減し、また加工画像と元画像間の画像類似度を算出するのに有効な加工確率の低い領域から特徴量を多く抽出することができるためである。
【０４６９】
また、局所領域加工確率にもとづいて、分割して得られる小領域の加工確率が等しくなるように分割する方法もある。この場合、小領域の加工確率は、中に含む局所領域の平均値として算出することができる。また、画像全体を小領域に分割する必要もなく、局所領域加工確率にもとづいて、加工確率の低い画像領域のみを分割する方法もある。局所領域加工確率が、１，０の２値の確率値として与えられている場合は、局所領域加工確率が０である領域のみを分割する方法がある。小領域の形状は、矩形、円形、三角形など任意の形状でよい。また、小領域の一部が重複するように分割してもよい。
【０４７０】
小領域特徴量抽出手段３５１２は、画像分割手段３５１１から入力される小領域分割された問合せ画像の各小領域から複数種類の特徴量を問合せ画像小領域特徴量群として抽出し、抽出された問合せ画像小領域特徴量群を小領域類似度算出手段３２１に出力する。抽出する小領域特徴量の例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。
【０４７１】
色情報の小領域特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。ここでの画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊*表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の小領域特徴量の例としては、エッジ要素特徴量を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＥｄｇｅ  Ｈｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓ  ＴｅｘｔｕｒｅやＴｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＲｅＲｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。
【０４７２】
また、問合せ画像が動画像のフレーム画像である場合は、小領域特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＰａｒａｍｅｔｒｉｃ  ＭｏｔｉｏｎやＭｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどがある。
【０４７３】
実施の形態３６．
次に、本発明の第３６の実施の形態について図面を参照して説明する。図４４のブロック図に示すように、本発明の第３６の実施の形態は、図４３に示された第３５の実施の形態における画像類似度算出部３２が画像類似度算出部４２に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第３５の実施の形態とは異なる。参照画像群小領域特徴量群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部４２は、第４の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４７４】
実施の形態３７．
次に、本発明の第３７の実施の形態について図面を参照して説明する。図４５のブロック図に示すように、本発明の第３７の実施の形態は、図１１に示された第５の実施の形態における特徴量抽出部５１が特徴量抽出部３７１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わる点が第５の実施の形態とは異なる。加工確率モデル推定手段３３３は、第３３の実施の形態の場合と同様に動作する。
【０４７５】
特徴量抽出部３７１は、画像分割手段３７１１と、小領域特徴量抽出手段３７１２とを含む。
【０４７６】
画像分割手段３７１１は、加工確率モデル推定手段３３３から入力される局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を不均一の大きさの小領域に分割し、小領域分割された問合せ画像を小領域特徴量抽出手段３７１２に出力する。
【０４７７】
画像を小領域に分割する方法として、局所領域加工確率にもとづいて、加工確率が高い画像領域は大きく分割し、加工確率が低い画像領域は細かく分割するのが望ましい。加工確率が高い領域を粗く、加工確率が低い領域を細かく分割することで、加工処理が施された確率の高い領域の影響を軽減し、また加工画像と元画像間の画像類似度を算出するのに有効な加工確率の低い領域から特徴量を多く抽出することができるためである。
【０４７８】
また、局所領域加工確率にもとづいて、分割して得られる小領域の加工確率が等しくなるように分割する方法もある。この場合、小領域の加工確率は、中に含む局所領域の平均値として算出することができる。また、画像全体を小領域に分割する必要もなく、局所領域加工確率にもとづいて、加工確率の低い画像領域のみを分割する方法もある。小領域の形状は、矩形、円形、三角形など任意の形状でよい。また、小領域の一部が重複するように分割してもよい。
【０４７９】
小領域特徴量抽出手段３７１２は、画像分割手段３７１１から入力される小領域分割された問合せ画像の各小領域から、小領域特徴量群有効度算出手段１４から入力される小領域特徴量群有効度を参照して小領域ごとに最も有効であると考えられる特徴量を問合せ画像小領域有効特徴量として抽出し、抽出された問合せ画像小領域有効特徴量を小領域類似度算出手段５２１に出力する。
【０４８０】
抽出する特徴量の決定方法として、小領域特徴量群有効度を参照し、最も有効度が高い特徴量を選択するという方法がある。抽出する特徴量の候補例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。
【０４８１】
色情報の特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。ここでの画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊*表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の特徴量の例としては、エッジ要素特徴量を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＥｄｇｅ  Ｈｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓ  ＴｅｘｔｕｒｅやＴｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＲｅＲｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。
【０４８２】
また、問合せ画像が動画像のフレーム画像である場合は、特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＰａｒａｍｅｔｒｉｃ  ＭｏｔｉｏｎやＭｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどがある。
【０４８３】
実施の形態３８．
次に、本発明の第３８の実施の形態について図面を参照して説明する。図４６のブロック図に示すように、本発明の第３８の実施の形態は、図４５に示された第３７の実施の形態における画像類似度算出部５２が画像類似度算出部６２に置き換わり、それに加えて参照画像群小領域特徴量群記憶部６５と検索結果出力手段２６を有する点が第３７の実施の形態とは異なる。参照画像群小領域群記憶部６５は、第６の実施の形態において備えられていたものと同じものである。画像類似度算出部６２も、第６の実施の形態において備えられていたものと同じものである。検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４８４】
実施の形態３９．
次に、本発明の第３９の実施の形態について図面を参照して説明する。図４７のブロック図に示すように、本発明の第３９の実施の形態は、図１５に示された第７の実施の形態における特徴量抽出部７１が特徴量抽出部３９１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わる点が第７の実施の形態とは異なる。加工領域検出手段３５３は、第３５の実施の形態において備えられていたものと同じものである。
【０４８５】
特徴量抽出部３９１は、画像分割手段３９１１と、小領域特徴量抽出手段３９１２とを含む。
【０４８６】
画像分割手段３９１１は、加工領域検出手段３５３から入力される局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を不均一の大きさの小領域に分割し、小領域分割された問合せ画像を小領域特徴量抽出手段３９１２に出力する。
【０４８７】
画像を小領域に分割する方法として、局所領域加工確率にもとづいて、加工確率が高い画像領域は大きく分割し、加工確率が低い画像領域は細かく分割するのが望ましい。加工確率が高い領域を粗く、加工確率が低い領域を細かく分割することで、加工処理が施された確率の高い領域の影響を軽減し、また加工画像と元画像間の画像類似度を算出するのに有効な加工確率の低い領域から特徴量を多く抽出することができるためである。
【０４８８】
また、局所領域加工確率にもとづいて、分割して得られる小領域の加工確率が等しくなるように分割する方法もある。この場合、小領域の加工確率は、中に含む局所領域の平均値として算出することができる。また、画像全体を小領域に分割する必要もなく、局所領域加工確率にもとづいて、加工確率の低い画像領域のみを分割する方法もある。局所領域加工確率が、１，０の２値の確率値として与えられている場合は、局所領域加工確率が０である領域のみを分割する方法がある。小領域の形状は、矩形、円形、三角形など任意の形状でよい。また、小領域の一部が重複するように分割してもよい。
【０４８９】
小領域特徴量抽出手段３９１２は、画像分割手段３９１１から入力される小領域分割された問合せ画像の各小領域から、小領域特徴量群有効度算出手段３４から入力される小領域特徴量群有効度を参照して小領域ごとに最も有効であると考えられる特徴量を問合せ画像小領域有効特徴量として抽出し、抽出された問合せ画像小領域有効特徴量を小領域類似度算出手段５２１に出力する。
【０４９０】
抽出する特徴量の決定方法として、小領域特徴量群有効度を参照し、最も有効度が高い特徴量を選択するという方法がある。抽出する特徴量の候補例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。
【０４９１】
色情報の特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。ここでの画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊*表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｌａｙｏｕｔ、Ｓｃａｌａｂｌｅ  Ｃｏｌｏｒ、Ｃｏｌｏｒ  Ｓｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の特徴量の例としては、エッジ要素特徴量を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＥｄｇｅ  Ｈｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ  １５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓ  ＴｅｘｔｕｒｅやＴｅｘｔｕｒｅ  Ｂｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＲｅＲｅｇｉｏｎ  Ｓｈａｐｅ、Ｃｏｎｔｏｕｒ  Ｓｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。
【０４９２】
また、問合せ画像が動画像のフレーム画像である場合は、特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＰａｒａｍｅｔｒｉｃ  ＭｏｔｉｏｎやＭｏｔｉｏｎ  Ａｃｔｉｖｉｔｙなどがある。
【０４９３】
実施の形態４０
次に、本発明の第４０の実施の形態について図面を参照して説明する。図４８のブロック図に示すように、本発明の第４０の実施の形態は、図４７に示された第３９の実施の形態における画像類似度算出部５２が画像類似度算出部８２に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第３９の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部８２は、第８の実施の形態において備えられていたものと同じものである。検索結果出力手段２６は、第２の実施の形態においてにおいて備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４９４】
実施の形態４１．
次に、本発明の第４１の実施の形態について図面を参照して説明する。図４９のブロック図に示すように、本発明の第４１の実施の形態は、図１７に示された第９の実施の形態における特徴量抽出部１１が特徴量抽出部３３１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わり、加工確率モデル推定手段３３３から出力される局所領域加工確率が局所領域重み値算出手段９５にも供給される点が第９の実施の形態とは異なる。加工確率モデル推定手段３３３および特徴量抽出部３３１は、第３３の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４９５】
実施の形態４２．
次に、本発明の第４２の実施の形態について図面を参照して説明する。図５０のブロック図に示すように、本発明の第４２の実施の形態は、図４９に示された第４１の実施の形態における画像類似度算出部９２が画像類似度算出部１０２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第４１の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部１０２０は、第１０の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４９６】
実施の形態４３．
次に、本発明の第４３の実施の形態について図面を参照して説明する。図５１のブロック図に示すように、本発明の第４３の実施の形態は、図１９に示された第１１の実施の形態における特徴量抽出部１１が特徴量抽出部３５１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わり、加工領域検出手段３５３から出力される局所領域加工確率が局所領域重み値算出手段１１５にも供給される点が第１１の実施の形態とは異なる。加工領域検出手段３５３および特徴量抽出部３５１は、第３５の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４９７】
実施の形態４４．
次に、本発明の第４４の実施の形態について図面を参照して説明する。図５２のブロック図に示すように、本発明の第４４の実施の形態は、図５１に示された第４３の実施の形態における画像類似度算出部１１２０が画像類似度算出部１２２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第４３の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部１２２０は、第１２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４９８】
実施の形態４５．
次に、本発明の第４５の実施の形態について図面を参照して説明する。図５３のブロック図に示すように、本発明の第４５の実施の形態は、図２５に示された第１７の実施の形態における特徴量抽出部５１が特徴量抽出部３７１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わり、加工確率モデル推定手段３３３から出力される局所領域加工確率が局所領域重み値算出手段９５にも供給される点が第１７の実施の形態とは異なる。加工確率モデル推定手段３３３は、第３３の実施の形態において備えられていたものと同じものである。特徴量抽出部３７１は、第３７の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０４９９】
実施の形態４６．
次に、本発明の第４６の実施の形態について図面を参照して説明する。図５４のブロック図に示すように、本発明の第４６の実施の形態は、図５３に示された第４５の実施の形態における画像類似度算出部１７２０が画像類似度算出部１８２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部６５と検索結果出力手段２６を有する点が第４５の実施の形態とは異なる。参照画像群小領域群記憶部６５は、第６の実施の形態において備えられていたものと同じものである。画像類似度算出部１８２０は、第１８の実施の形態において備えられていたものと同じものである。検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５００】
実施の形態４７．
次に、本発明の第４７の実施の形態について図面を参照して説明する。図５５のブロック図に示すように、本発明の第４７の実施の形態は、図２７に示された第１９の実施の形態における特徴量抽出部７１が特徴量抽出部３９１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わり、加工領域検出手段３５３から出力される局所領域加工確率が局所領域重み値算出手段１１５にも供給される点が第１９の実施の形態とは異なる。加工領域検出手段３５３は、第３５の実施の形態において備えられていたものと同じものである。特徴量抽出部３９１は、第３９の実施の形態において備えられていたものと同じものである。
【０５０１】
実施の形態４８．
次に、本発明の第４８の実施の形態について図面を参照して説明する。図５６のブロック図に示すように、本発明の第４８の実施の形態は、図５５に示された第４７の実施の形態における画像類似度算出部１９２０が画像類似度算出部２０２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第４７の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部２０２０は、第２０の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５０２】
実施の形態４９．
次に、本発明の第４９の実施の形態について図面を参照して説明する。図５７のブロック図に示すように、本発明の第４９の実施の形態は、図２１に示された第１３の実施の形態における特徴量抽出部１１が特徴量抽出部３３１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わり、加工確率モデル推定手段３３３から出力される局所領域加工確率が一致判定閾値算出手段１３５にも供給される点が第１３の実施の形態とは異なる。加工確率モデル推定手段３３３および特徴量抽出部３３１は、第３３の実施の形態において備えられていたものと同じものである。
【０５０３】
実施の形態５０．
次に、本発明の第５０の実施の形態について図面を参照して説明する。図５８のブロック図に示すように、本発明の第５０の実施の形態は、図５７に示された第４９の実施の形態における画像類似度算出部１３２０が画像類似度算出部１４２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第４９の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部１４２０は、第１４の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５０４】
実施の形態５１．
次に、本発明の第５１の実施の形態について図面を参照して説明する。図５９のブロック図に示すように、本発明の第５１の実施の形態は、図２３に示された第１５の実施の形態における特徴量抽出部１１が特徴量抽出部３５１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わり、加工領域検出手段３５３から出力される局所領域加工確率が一致判定閾値算出手段１５５にも供給される点が第１５の実施の形態とは異なる。加工領域検出手段３５３および特徴量抽出部３５１は、第３５の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５０５】
実施の形態５２．
次に、本発明の第５２の実施の形態について図面を参照して説明する。図６０のブロック図に示すように、本発明の第５２の実施の形態は、図５９に示された第５１の実施の形態における画像類似度算出部１５２０が画像類似度算出部１６２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第５１の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部１６２０は、第１６の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５０６】
実施の形態５３．
次に、本発明の第５３の実施の形態について図面を参照して説明する。図６１のブロック図に示すように、本発明の第５３の実施の形態は、図２９に示された第２１の実施の形態における特徴量抽出部５１が特徴量抽出部３７１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わり、加工確率モデル推定手段３３３から出力される局所領域加工確率が一致判定閾値算出手段１３５にも供給される点が第２１の実施の形態とは異なる。加工確率モデル推定手段３３３は、第３３の実施の形態において備えられていたものと同じものである。特徴量抽出部３７１は、第３７の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５０７】
実施の形態５４．
次に、本発明の第５４の実施の形態について図面を参照して説明する。図６２のブロック図に示すように、本発明の第５４の実施の形態は、図６１に示された第５３の実施の形態における画像類似度算出部２１２０が画像類似度算出部２２２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部６５と検索結果出力手段２６を有する点が第５３の実施の形態とは異なる。参照画像群小領域群記憶部６５は、第６の実施の形態において備えられていたものと同じものである。画像類似度算出部２２２０は、第２２の実施の形態において備えられていたものと同じものである。検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５０８】
実施の形態５５．
次に、本発明の第５５の実施の形態について図面を参照して説明する。図６３のブロック図に示すように、本発明の第５５の実施の形態は、図３１に示された第２３の実施の形態における特徴量抽出部７１が特徴量抽出部３９１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わり、加工領域検出手段３５３から出力される局所領域加工確率が一致判定閾値算出手段１５５にも供給される点が第２３の実施の形態とは異なる。加工領域検出手段３５３は、第３５の実施の形態において備えられていたものと同じものである。特徴量抽出部３９１は、第３９の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５０９】
実施の形態５６．
次に、本発明の第５６の実施の形態について図面を参照して説明する。図６４のブロック図に示すように、本発明の第５６の実施の形態は、図６３に示された第５５の実施の形態における画像類似度算出部２３２０が画像類似度算出部２４２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第５５の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部２４２０は、第２４の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１０】
実施の形態５７．
次に、本発明の第５７の実施の形態について図面を参照して説明する。図６５のブロック図に示すように、本発明の第５７の実施の形態は、図３３に示された第２５の実施の形態における特徴量抽出部１１が特徴量抽出部３３１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わる点が第２５の実施の形態とは異なる。加工確率モデル推定手段３３３および特徴量抽出部３３１は、第３３の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１１】
実施の形態５８．
次に、本発明の第５８の実施の形態について図面を参照して説明する。図６６のブロック図に示すように、本発明の第５８の実施の形態は、図６５に示された第５７の実施の形態における画像類似度算出部２５２０が画像類似度算出部２６２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第５７の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部２６２０は、第２６の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１２】
実施の形態５９．
次に、本発明の第５９の実施の形態について図面を参照して説明する。図６７のブロック図に示すように、本発明の第５９の実施の形態は、図３５に示された第２７の実施の形態における特徴量抽出部１１が特徴量抽出部３５１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わる点が第２７の実施の形態とは異なる。加工領域検出手段３５３および特徴量抽出部３５１は、第３５の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１３】
実施の形態６０．
次に、本発明の第６０の実施の形態について図面を参照して説明する。図６８のブロック図に示すように、本発明の第６０の実施の形態は、図６７に示された第５９の実施の形態における画像類似度算出部２７２０が画像類似度算出部２８２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第５９の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部２８２０は、第２８の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１４】
実施の形態６１．
次に、本発明の第６１の実施の形態について図面を参照して説明する。図６９のブロック図に示すように、本発明の第６１の実施の形態は、図３７に示された第２９の実施の形態における特徴量抽出部５１が特徴量抽出部３７１に置き換わり、加工確率モデル推定手段１３が加工確率モデル推定手段３３３に置き換わる点が第２９の実施の形態とは異なる。加工確率モデル推定手段３３３は、第３３の実施の形態において備えられていたものと同じものである。特徴量抽出部３７１は、第３７の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１５】
実施の形態６２．
次に、本発明の第６２の実施の形態について図面を参照して説明する。図７０のブロック図に示すように、本発明の第６２の実施の形態は、図６９に示された第６１の実施の形態における画像類似度算出部２９２０が画像類似度算出部３０２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部６５と検索結果出力手段２６を有する点が第６１の実施の形態とは異なる。参照画像群小領域群記憶部６５は、第６の実施の形態において備えられていたものと同じものである。画像類似度算出部３０２０は、第３０の実施の形態において備えられていたものと同じものである。検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１６】
実施の形態６３．
次に、本発明の第６３の実施の形態について図面を参照して説明する。図７１のブロック図に示すように、本発明の第６３の実施の形態は、図３９に示された第３１の実施の形態における特徴量抽出部７１が特徴量抽出部３９１に置き換わり、加工領域検出手段３３が加工領域検出手段３５３に置き換わる点が第３１の実施の形態とは異なる。加工領域検出手段３５３は、第３５の実施の形態において備えられていたものと同じものである。特徴量抽出部３９１は、第３９の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【０５１７】
実施の形態６４．
次に、本発明の第６４の実施の形態について図面を参照して説明する。図７２のブロック図に示すように、本発明の第６４の実施の形態は、図７１に示された第６３の実施の形態における画像類似度算出部３１２０が画像類似度算出部３２２０に置き換わり、それに加えて参照画像群小領域特徴量群記憶部２５と検索結果出力手段２６を有する点が第６３の実施の形態とは異なる。参照画像群小領域群記憶部２５および検索結果出力手段２６は、第２の実施の形態において備えられていたものと同じものである。画像類似度算出部３２２０は、第３２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、既に説明したとおりである。
【図面の簡単な説明】
【０５１８】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】本発明の第１の実施の形態の動作を示すフローチャートある。
【図３】局所領域加工確率の算出の仕方を説明する説明図である。
【図４】第１の実施の形態の変形例を示すブロック図である。
【図５】加工確率モデル記憶手段に記憶される局所領域加工確率の一例を示す説明図である。
【図６】第１の実施の形態の他の変形例を示すブロック図である。
【図７】本発明の第２の実施の形態の構成を示すブロック図である。
【図８】本発明の第２の実施の形態の動作を示すフローチャートである。
【図９】本発明の第３の実施の形態の構成を示すブロック図である。
【図１０】本発明の第４の実施の形態の構成を示すブロック図である。
【図１１】本発明の第５の実施の形態の構成を示すブロック図である。
【図１２】本発明の第５の実施の形態の動作を示すフローチャートである。
【図１３】本発明の第６の実施の形態の構成を示すブロック図である。
【図１４】本発明の第６の実施の形態の動作を示すフローチャートである。
【図１５】本発明の第７の実施の形態の構成を示すブロック図である。
【図１６】本発明の第８の実施の形態の構成を示すブロック図である。
【図１７】本発明の第９の実施の形態の構成を示すブロック図である。
【図１８】本発明の第１０の実施の形態の構成を示すブロック図である。
【図１９】本発明の第１１の実施の形態の構成を示すブロック図である。
【図２０】本発明の第１２の実施の形態の構成を示すブロック図である。
【図２１】本発明の第１３の実施の形態の構成を示すブロック図である。
【図２２】本発明の第１４の実施の形態の構成を示すブロック図である。
【図２３】本発明の第１５の実施の形態の構成を示すブロック図である。
【図２４】本発明の第１６の実施の形態の構成を示すブロック図である。
【図２５】本発明の第１７の実施の形態の構成を示すブロック図である。
【図２６】本発明の第１８の実施の形態の構成を示すブロック図である。
【図２７】本発明の第１９の実施の形態の構成を示すブロック図である。
【図２８】本発明の第２０の実施の形態の構成を示すブロック図である。
【図２９】本発明の第２１の実施の形態の構成を示すブロック図である。
【図３０】本発明の第２２の実施の形態の構成を示すブロック図である。
【図３１】本発明の第２３の実施の形態の構成を示すブロック図である。
【図３２】本発明の第２４の実施の形態の構成を示すブロック図である。
【図３３】本発明の第２５の実施の形態の構成を示すブロック図である。
【図３４】本発明の第２６の実施の形態の構成を示すブロック図である。
【図３５】本発明の第２７の実施の形態の構成を示すブロック図である。
【図３６】本発明の第２８の実施の形態の構成を示すブロック図である。
【図３７】本発明の第２９の実施の形態の構成を示すブロック図である。
【図３８】本発明の第３０の実施の形態の構成を示すブロック図である。
【図３９】本発明の第３１の実施の形態の構成を示すブロック図である。
【図４０】本発明の第３２の実施の形態の構成を示すブロック図である。
【図４１】本発明の第３３の実施の形態の構成を示すブロック図である。
【図４２】本発明の第３４の実施の形態の構成を示すブロック図である。
【図４３】本発明の第３５の実施の形態の構成を示すブロック図である。
【図４４】本発明の第３６の実施の形態の構成を示すブロック図である。
【図４５】本発明の第３７の実施の形態の構成を示すブロック図である。
【図４６】本発明の第３８の実施の形態の構成を示すブロック図である。
【図４７】本発明の第３９の実施の形態の構成を示すブロック図である。
【図４８】本発明の第４０の実施の形態の構成を示すブロック図である。
【図４９】本発明の第４１の実施の形態の構成を示すブロック図である。
【図５０】本発明の第４２の実施の形態の構成を示すブロック図である。
【図５１】本発明の第４３の実施の形態の構成を示すブロック図である。
【図５２】本発明の第４４の実施の形態の構成を示すブロック図である。
【図５３】本発明の第４５の実施の形態の構成を示すブロック図である。
【図５４】本発明の第４６の実施の形態の構成を示すブロック図である。
【図５５】本発明の第４７の実施の形態の構成を示すブロック図である。
【図５６】本発明の第４８の実施の形態の構成を示すブロック図である。
【図５７】本発明の第４９の実施の形態の構成を示すブロック図である。
【図５８】本発明の第５０の実施の形態の構成を示すブロック図である。
【図５９】本発明の第５１の実施の形態の構成を示すブロック図である。
【図６０】本発明の第５２の実施の形態の構成を示すブロック図である。
【図６１】本発明の第５３の実施の形態の構成を示すブロック図である。
【図６２】本発明の第５４の実施の形態の構成を示すブロック図である。
【図６３】本発明の第５５の実施の形態の構成を示すブロック図である。
【図６４】本発明の第５６の実施の形態の構成を示すブロック図である。
【図６５】本発明の第５７の実施の形態の構成を示すブロック図である。
【図６６】本発明の第５８の実施の形態の構成を示すブロック図である。
【図６７】本発明の第５９の実施の形態の構成を示すブロック図である。
【図６８】本発明の第６０の実施の形態の構成を示すブロック図である。
【図６９】本発明の第６１の実施の形態の構成を示すブロック図である。
【図７０】本発明の第６２の実施の形態の構成を示すブロック図である。
【図７１】本発明の第６３の実施の形態の構成を示すブロック図である。
【図７２】本発明の第６４の実施の形態の構成を示すブロック図である。
【符号の説明】
【０５１９】
１１      特徴量抽出部
１１１    画像分割手段
１１２    小領域特徴量抽出手段
１２      画像類似度算出部
１２１    小領域類似度算出手段
１２２    画像類似度算出手段
１３      加工確率モデル推定手段
１４      小領域特徴量群有効度算出手段
２２      画像類似度算出部
２２１    小領域類似度算出手段
２２２    画像類似度算出手段
２５      参照画像群小領域特徴量記憶部
２６      検索結果出力手段
３２      画像類似度算出部
３２１    小領域類似度算出手段
３２２    画像類似度算出手段
３３      加工領域検出手段
３４      小領域特徴量群有効度算出手段
４２      画像類似度算出部
４２１    小領域類似度算出手段
４２２    画像類似度算出手段
５１      特徴量抽出部
５１１    画像分割手段
５１２    小領域有効特徴量抽出手段
５２      画像類似度算出部
５２１    小領域類似度算出手段
５２２    画像類似度算出手段
６２      画像類似度算出部
６２１    小領域類似度算出手段
６２２    画像類似度算出手段
６５      参照画像群小領域有効特徴量記憶部
７１      特徴量抽出部
７１１    画像分割手段
７１２    小領域有効特徴量抽出手段
８２      画像類似度算出部
８２１    小領域類似度算出手段
８２２    画像類似度算出手段
９２      画像類似度算出部
９２１    小領域類似度算出手段
９２２    画像類似度算出手段
９５      局所領域重み値算出手段
１０２０  画像類似度算出部
１０２１  小領域類似度算出手段
１０２２  画像類似度算出手段
１１２０  画像類似度算出部
１１２１  小領域類似度算出手段
１１２２  画像類似度算出手段
１１５    局所領域重み値算出手段
１２２０  画像類似度算出部
１２２１  小領域類似度算出手段
１２２２  画像類似度算出手段
１３２１  小領域類似度算出手段
１３２２  画像類似度算出手段
１３５    一致判定閾値算出手段
１４２０  画像類似度算出部
１４２１  小領域類似度算出手段
１４２２  画像類似度算出手段
１５２０  画像類似度算出部
１５２１  小領域類似度算出手段
１５２２  画像類似度算出手段
１５５    一致判定閾値算出手段
１６２０  画像類似度算出部
１６２１  小領域類似度算出手段
１６２２  画像類似度算出手段
１７２０  画像類似度算出部
１７２１  小領域類似度算出手段
１７２２  画像類似度算出手段
１８２０  画像類似度算出部
１８２１  小領域類似度算出手段
１８２２  画像類似度算出手段
１９２０  画像類似度算出部
１９２１  小領域類似度算出手段
１９２２  画像類似度算出手段
２０２０  画像類似度算出部
２０２１  小領域類似度算出手段
２０２２  画像類似度算出手段
２１２０  画像類似度算出部
２１２１  小領域類似度算出手段
２１２２  画像類似度算出手段
２２２０  画像類似度算出部
２２２１  小領域類似度算出手段
２２２２  画像類似度算出手段
２３２０  画像類似度算出部
２３２１  小領域類似度算出手段
２３２２  画像類似度算出手段
２４２０  画像類似度算出部
２４２１  小領域類似度算出手段
２４２２  画像類似度算出手段
２５２０  画像類似度算出部
２５２１  小領域類似度算出手段
２５２２  画像類似度算出手段
２５５    一致判定閾値算出手段
２６２０  画像類似度算出部
２６２１  小領域類似度算出手段
２６２２  画像類似度算出手段
２７２０  画像類似度算出部
２７２１  小領域類似度算出手段
２７２２  画像類似度算出手段
２７５    一致判定閾値算出手段
２８２０  画像類似度算出部
２８２１  小領域類似度算出手段
２８２２  画像類似度算出手段
２９２０  画像類似度算出部
２９２１  小領域類似度算出手段
２９２２  画像類似度算出手段
３０２０  画像類似度算出部
３０２１  小領域類似度算出手段
３０２２  画像類似度算出手段
３１２０  画像類似度算出部
３１２１  小領域類似度算出手段
３１２２  画像類似度算出手段
３２２０  画像類似度算出部
３２２１  小領域類似度算出手段
３２２２  画像類似度算出手段
３３１    特徴量抽出部
３３１１  画像分割手段
３３１２  小領域特徴量抽出手段
３３３    加工確率モデル推定手段
３５１    特徴量抽出部
３５１１  画像分割手段
３５１２  小領域特徴量抽出手段
３５３    加工領域検出手段
３７１    特徴量抽出手段
３７１１  画像分割手段
３７１２  小領域有効特徴量抽出手段
３９１    特徴量抽出部
３９１１  画像分割手段
３９１２  小領域有効特徴量抽出手段
【図１】
2005250972.tif 000003
【図２】
2005250972.tif 000004
【図３】
2005250972.tif 000005
【図４】
2005250972.tif 000006
【図５】
2005250972.tif 000007
【図６】
2005250972.tif 000008
【図７】
2005250972.tif 000009
【図８】
2005250972.tif 000010
【図９】
2005250972.tif 000011
【図１０】
2005250972.tif 000012
【図１１】
2005250972.tif 000013
【図１２】
2005250972.tif 000014
【図１３】
2005250972.tif 000015
【図１４】
2005250972.tif 000016
【図１５】
2005250972.tif 000017
【図１６】
2005250972.tif 000018
【図１７】
2005250972.tif 000019
【図１８】
2005250972.tif 000020
【図１９】
2005250972.tif 000021
【図２０】
2005250972.tif 000022
【図２１】
2005250972.tif 000023
【図２２】
2005250972.tif 000024
【図２３】
2005250972.tif 000025
【図２４】
2005250972.tif 000026
【図２５】
2005250972.tif 000027
【図２６】
2005250972.tif 000028
【図２７】
2005250972.tif 000029
【図２８】
2005250972.tif 000030
【図２９】
2005250972.tif 000031
【図３０】
2005250972.tif 000032
【図３１】
2005250972.tif 000033
【図３２】
2005250972.tif 000034
【図３３】
2005250972.tif 000035
【図３４】
2005250972.tif 000036
【図３５】
2005250972.tif 000037
【図３６】
2005250972.tif 000038
【図３７】
2005250972.tif 000039
【図３８】
2005250972.tif 000040
【図３９】
2005250972.tif 000041
【図４０】
2005250972.tif 000042
【図４１】
2005250972.tif 000043
【図４２】
2005250972.tif 000044
【図４３】
2005250972.tif 000045
【図４４】
2005250972.tif 000046
【図４５】
2005250972.tif 000047
【図４６】
2005250972.tif 000048
【図４７】
2005250972.tif 000049
【図４８】
2005250972.tif 000050
【図４９】
2005250972.tif 000051
【図５０】
2005250972.tif 000052
【図５１】
2005250972.tif 000053
【図５２】
2005250972.tif 000054
【図５３】
2005250972.tif 000055
【図５４】
2005250972.tif 000056
【図５５】
2005250972.tif 000057
【図５６】
2005250972.tif 000058
【図５７】
2005250972.tif 000059
【図５８】
2005250972.tif 000060
【図５９】
2005250972.tif 000061
【図６０】
2005250972.tif 000062
【図６１】
2005250972.tif 000063
【図６２】
2005250972.tif 000064
【図６３】
2005250972.tif 000065
【図６４】
2005250972.tif 000066
【図６５】
2005250972.tif 000067
【図６６】
2005250972.tif 000068
【図６７】
2005250972.tif 000069
【図６８】
2005250972.tif 000070
【図６９】
2005250972.tif 000071
【図７０】
2005250972.tif 000072
【図７１】
2005250972.tif 000073
【図７２】
2005250972.tif 000074