(57)【要約】【課題】コーナー検出を用い、エッジ検出及び特徴抽出を高い精度にて行う画像検索装置を提供する。【解決手段】本発明の画像検索装置は、データベースに蓄積された蓄積画像データから、入力画像データに類似するものを検索するものであり、コーナー密度が他の領域と比較して高い領域を複数抽出し、その領域毎に代表色とサイズとから領域特徴を算出し、複数の領域の領域特徴からヒストグラムを生成するレイアウト特徴抽出部と、各ピクセル毎に隣接するピクセルとの色の組み合わせの出現頻度を構成要素とする行列を生成し、入力画像データ及び蓄積画像データ各々の行列の各要素から隣接色類似度を算出するカラーコレログラム生成部と、入力画像データ及び蓄積画像データのヒストグラム間の領域類似度を算出し、領域類似度及び隣接色類似度を加算して総合類似度とし、総合類似度に基づいて前記データベースから画像検索を行う類似度計算部とを有する。【選択図】図１
2007316812.tif 000002
【特許請求の範囲】
【請求項１】
データベースに蓄積された蓄積画像データから、入力画像データに類似する画像データを検索する画像検索装置であり、
コーナー密度が他の領域と比較して高い領域を複数抽出し、その領域毎に代表色とサイズとから領域特徴を算出し、複数の領域の領域特徴からヒストグラムを生成するレイアウト特徴抽出部と、
各ピクセル毎に隣接するピクセルとの色の組み合わせの出現頻度を構成要素とする行列を生成し、入力画像データ及び蓄積画像データ各々の行列の各要素から隣接色類似度を算出するカラーコレログラム生成部と、
入力画像データ及び蓄積画像データのヒストグラム間の領域類似度を算出し、該領域類似度及び前記隣接色類似度を加算して総合類似度とし、この総合類似度に基づいて前記データベースから画像検索を行う類似度計算部と
を有することを特徴とする画像検索装置。
【請求項２】
同一画像であり撮影条件の異なる蓄積画像データの対応する各画素のＲ，Ｇ，Ｂを用い、前記入力画像データの輝度を補正する補正係数を求めるデータ色保証部、
をさらに有することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
他の領域と比較してコーナー密度が高い領域の外周部におけるエッジ検出を行い、該画像データの枠を検出することにより、前記入力画像データから前記蓄積画像データと比較するクエリとなる画像データを抽出する背景分離部
をさらに有することを特徴とする請求項１または請求項２に記載の画像検索装置。
【請求項４】
データベースに蓄積された蓄積画像データから、入力画像データに類似する画像データを検索する画像検索方法であり、
レイアウト特徴抽出部がコーナー密度が他の領域と比較して高い領域を複数抽出し、その領域毎に代表色とサイズとから領域特徴を算出し、複数の領域の領域特徴からヒストグラムを生成するレイアウト特徴抽出過程と、
カラーコレログラム生成部が各ピクセル毎に隣接するピクセルとの色の組み合わせの出現頻度を構成要素とする行列を生成し、入力画像データ及び蓄積画像データ各々の行列の各要素から隣接色類似度を算出するカラーコレログラム生成過程と、
類似度計算部が入力画像データ及び蓄積画像データのヒストグラム間の領域類似度を算出し、該領域類似度及び前記隣接色類似度を加算して総合類似度とし、この総合類似度に基づいて前記データベースから画像検索を行う類似度計算過程と
を有することを特徴とする画像検索方法。
【請求項５】
請求項１から請求項３のいずれかに記載の画像検索装置として、コンピュータを機能させるための画像検索プログラム。
【請求項６】
請求項５のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識でクエリとデータベースとを比較し、同様のものを検索する技術に係わり、携帯電話、ＰＤＡ（Personal Digital Assistant；携帯情報端末）を用いてポスターやカンバンのイメージ画像を取り込み、そのイメージ画像により、商品・イベント情報・コンサートなどに関する情報をデータベースから検索する画像検索装置、画像検索方法、画像検索プログラム及び記録媒体に関する。
【背景技術】
【０００２】
画像の切り出し装置として、テレビカメラにより取り込まれた画像から、ポインティングデバイスを用い、上記画像において切り出したいで範囲をおおまかなエッジにて設定し、光強度の変化率によりエッジ位置を調整し、さらにＲＧＢにおける階調度の分布によって、エッジ位置を微調整する画像切り出し箇所検出方法及び切り出し装置がある（例えば、特許文献１参照）。
【０００３】
また、従来の特徴抽出の技術としては、自動的に検出された特徴点において計算されたグレイスケールに基づき、複数の特徴ベクトルにより構成されるクエリの画像モデルに類似し、ある閾値よりも小さい複数の特徴ベクトルにより構成される、データベースの画像モデルに投票する投票アルゴリズムと、周囲の点との角度によって形成される角度に基づく局所的制約条件に基づいてデータベースからクエリに類似したデータを抽出する方法がある（非特許文献１）。
【０００４】
また、従来の他の特徴抽出の技術としては、空間的な色の関係を利用し、色の分布を記述するために用いられるカラーコレログラムを作成する方法がある（非特許文献２）。
【特許文献１】特許第２８５６２２９号
【非特許文献１】”Local Grayvalue Invariants for Image Retrieval”，IEEE Trans，PAMI(Pattern Analysis and Machine Intelligence)，vol19，No.5，1997
【非特許文献２】”Image Indexing Using Color Correlograms”，Proc.ofCVPR(Computer vision and Pattern Recognition)，pp.762-768，1997
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１におけるエッジ検出においては、エッジを作成するため、エッジ中のいくつかの（複数の）点についての座標データをポインティングデバイスにより入力する処理があり、ユーザの操作性を低下させる要因となっている。
また、特許文献１におけるエッジ検出においては、上記点のいずれか一つでも座標データの入力を誤ると、エッジ検出の精度が低下してしまう欠点がある。
【０００６】
また、非特許文献１におけるエッジグレイスケールを用いた特徴抽出の場合、ハリスコーナーディテクターで検出した特徴転換の関係を利用する技術であり、点が欠損すると特徴を抽出することができなくなり、実環境において適用させることが困難である欠点を有している。
さらに、非特許文献１の特徴抽出は、グレイスケールを用いているため、白黒により画像情報が実現されているため、縮退が起こることにより、ハリスコーナーディテクターの検出における識別力が低下し、特徴抽出の際にご認識が発生する可能性がある。
【０００７】
また、非特許文献２の特徴抽出は、色補正の構成が設けられていないため、カメラ・ディスプレイの特性の変化により、表示される色が実際の色と異なるという欠点を有している。フォーカス変化により、画像にぼけが発生し、１ピクセル単位にて検出を行うため、生成されるコレログラムが変化する可能性がある。
本発明は、このような事情に鑑みてなされたもので、ハリスのコーナー検出を用い、エッジ検出及び特徴抽出を高い精度にて行う画像検索装置、画像検索方法、画像検索往路グラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像検索装置は、データベースに蓄積された蓄積画像データから、入力画像データに類似する画像データを検索する画像検索装置であり、コーナー密度が他の領域と比較して高い領域を複数抽出し、その領域毎に代表色とサイズとから領域特徴を算出し、複数の領域の領域特徴からヒストグラムを生成するレイアウト特徴抽出部と、各ピクセル毎に隣接するピクセルとの色の組み合わせの出現頻度を構成要素とする行列を生成し、入力画像データ及び蓄積画像データ各々の行列の各要素から隣接色類似度を算出するカラーコレログラム生成部と、入力画像データ及び蓄積画像データのヒストグラム間の領域類似度を算出し、該領域類似度及び前記隣接色類似度を加算して総合類似度とし、この総合類似度に基づいて前記データベースから画像検索を行う類似度計算部とを有することを特徴とする。
【０００９】
本発明の画像検索装置は、同一画像であり撮影条件の異なる蓄積画像データの対応する各画素のＲ，Ｇ，Ｂを用い、前記入力画像データの輝度を補正する補正係数を求めるデータ色保証部をさらに有することを特徴とする。
【００１０】
本発明の画像検索装置は、他の領域と比較してコーナー密度が高い領域の外周部におけるエッジ検出を行い、該画像データの枠を検出することにより、前記入力画像データから前記蓄積画像データと比較するクエリとなる画像データを抽出する背景分離部をさらに有することを特徴とする。
【００１１】
本発明の画像検索方法は、データベースに蓄積された蓄積画像データから、入力画像データに類似する画像データを検索する画像検索方法であり、レイアウト特徴抽出部がコーナー密度が他の領域と比較して高い領域を複数抽出し、その領域毎に代表色とサイズとから領域特徴を算出し、複数の領域の領域特徴からヒストグラムを生成するレイアウト特徴抽出過程と、カラーコレログラム生成部が各ピクセル毎に隣接するピクセルとの色の組み合わせの出現頻度を構成要素とする行列を生成し、入力画像データ及び蓄積画像データ各々の行列の各要素から隣接色類似度を算出するカラーコレログラム生成過程と、類似度計算部が入力画像データ及び蓄積画像データのヒストグラム間の領域類似度を算出し、該領域類似度及び前記隣接色類似度を加算して総合類似度とし、この総合類似度に基づいて前記データベースから画像検索を行う類似度計算過程とを有することを特徴とする。
【００１２】
本発明のプログラムは、上記いずれかに記載の画像検索装置として、コンピュータを機能させるための画像検索プログラム。
【００１３】
本発明の媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の効果】
【００１４】
上述したように、本発明に用いたハリスのコーナー検出は、対象物におけるコーナーを数多く検出することにより、この検出された複数のコーナーに基づいて上記対象物の輪郭、すなわちエッジを抽出する。
このように、本発明の画像検索装置においては、上記コーナー密度により輪郭抽出を行うため、検出装置が多少のコーナーを見落とすことがあっても、画像における対象物の輪郭を特定することが可能となり、従来例に比較して安定した高い精度の対象物の切り出しを行うことができる。
【００１５】
また、本発明の画像検索装置においては、カラー画像における特徴抽出を行うため、グレースケール画像における画像抽出に比較して、色を含めることでより多くの情報を扱うため、あらゆる対象物に対応させて用いることができる。
さらに、本発明の画像検索装置においては、カラー画像の分解能を保った状態にて、補正によって検出漏れを抑制して特徴検出を行うことが可能であり、画像抽出に対してロバスト性を有している。
したがって、本発明の画像検索装置においては、上述した従来技術における画像抽出がエッジ検出の精度の点に問題を解決し、画像を抽出する画像データの種類によらず、高い精度にて、色々な対象に対して適応可能な画像切り出し検出方法及び色補正方法を提供することができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、図１に示すように、データベース特徴とクエリ特徴とのマッチングを行うことにより、クエリに対応した画像データを、データベースから検索することが可能となる。
図１に示すように、データベースの画像データと、クエリとから特徴抽出を行い、各々特徴同士をマッチングする。
ここで、データベースについては、カラーコレログラムにより得られる画像データに関するデータ、レイアウト抽出部により得られる画像データに関するデータ、類似度計算部にて用いられる画像データに関するヒストグラム各々が、クエリが受理される前の段階にて事前に計算されて、蓄積されているものとする。
【００１７】
＜第１の実施形態＞
以下、本発明の第１の実施形態による画像検索装置を図面を参照して説明する。図１は同実施形態による画像検索装置の構成例を示すブロック図である。
上記実施形態による画像検索装置１は、色補償部１１，レイアウト特徴抽出部１２，カラーコレログラム作成部１３及び類似度計算部１４を有している。
色補償部１１は、データベース２に蓄積されている蓄積画像データに対応するように、入力画像データの色を補償する。
レイアウト特徴抽出部１２は、入力画像データから色，サイズ及び領域等の特徴データを抽出する。
類似度計算部１３は、上記特徴データにおける不変量の一致度を計算して、蓄積画像データと入力画像データとの類似度を算出する。
【００１８】
次に、図３及び４を参照して、上記色補償部１１の動作を説明する。図３及び４は色補償部１１における色補償処理の動作例を示すフローチャートである。
すでに述べたように、色補償部１１は、色の輝度変化を、データベース２に蓄積されている蓄積画像データの色に合わせて補償する。
ここでは、オリジナル画像と、このオリジナル画像に対して撮影条件の異なる画像とが対となり、この対をＮＬ組有する学習用画像として、この対の学習用画像を、データベース２に記憶させておく。そして、これら学習用画像から、入力画像データの色を補償するための最適な変換係数を設けることとなる。
【００１９】
学習用画像におけるオリジナル画像のピクセルｇｏ(n,i,x,y)を用いて、撮影条件の異なる画像のピクセルｇＬ(n,i,x,y)を、以下に示す（１）式のＧＬ(n,i,x,y)により近似することとする。
ただし、下記（１）式において、ｎは学習用画像のうちの１枚、ｉはＲＧＢのうちの１色（ｉ∈｛R,G,B｝）、ｘ及びｙは入力画像データにおける座標を表す。ここで、この座標の原点は左上とし、座標値としては縦及び横座標のピクセル番号とした。ここで、ＧＬ(n,i,x,y)とｇＬ(n,i,x,y)との二乗誤差を最小にするＲ，Ｇ，Ｂ各色における係数αｉ及びβｉを、学習用画像から、最小二乗法を用いて求める。
【００２０】
【数１】
2007316812.tif 000003
【００２１】
以下に、（１）式における係数αｉ及びβｉの決定手順を以下に示す。
まず、ステップＳ１において、最小二乗法による計算のため、変数Ａ＝０，Ｂ＝０，Ｃ＝０，Ｄ＝０とする初期化処理を実行する。
【００２２】
次に、ステップＳ２において、色補償部１１は、学習用画像における全てのｎ，ｘ，ｙに対して、以下の（２）式により、変数Ａ，Ｂ，Ｃ，Ｄの値をそれぞれ求める。この（２）式において、「＋＝」は代入演算子を表し、例えば、「Ｎ＋＝１」は「Ｎ」に対して１を加算し、加算結果を「Ｎ」に代入し、代入結果を新たな「Ｎ」とする。
【００２３】
【数２】
2007316812.tif 000004
【００２４】
次に、ステップＳ３において、色補償部１１は、以下の（３）式により、Ｒ，Ｇ，Ｂそれぞれに対応する係数αｉ及びβｉを算出する。ここで、図３のフローチャートにおいて、それぞれの処理の繰り返し数において、ＮＬは学習用画像の組の数であり、ｘｍａｘは入力画像データの縦方向のｘ座標の最大値（すなわち、ｘ座標における最大のピクセル番号）であり、ｙｍａｘは入力画像データの横方向のｙ座標の最大値（すなわち、ｙ座標における最大のピクセル番号）である。
【００２５】
【数３】
2007316812.tif 000005
【００２６】
次に、ステップＳ４において、色補償部１１は、算出された係数αｉ及びβｉを用い、データベース２における補償したいオリジナル画像（入力画像データ）のピクセルｇｏ(n,i,x,y)を、上記（１）式に代入することにより、補償されたピクセルＧＬ(n,i,x,y)を求めることができる。ここで、図４のフローチャートにおいて、それぞれの処理の繰り返し数において、ＮＤは学習用画像の枚数である。ここで、ＮＤとＮＬとの関係として、学習用画像のオリジナル画像がＮＤ枚であり、各オリジナル画像に対して撮影条件の異なる画像を３枚ずつ用意したとすると、オリジナル画像とその撮影条件の異なる画像との組合せは３ＮＤ組となり、このときＮＬ＝３ＮＤとなる。上述した色補償により、学習用の蓄積画像データから、異なる撮影条件にある同一画像間の輝度変化を規格化することができ、同一の輝度変化条件にて入力画像データと蓄積画像データとの類似度の算出を行わせることが可能となる。
【００２７】
次に、図５，図６，図７及び図８を参照して、レイアウト特徴抽出部１２の動作を説明する。図５，図６，図７及び図８は、本実施形態におけるレイアウト特徴抽出部１２の動作例を示すフローチャートである。
このレイアウト特徴抽出部１２は、複数の関数を演算することにより、入力画像データから色，サイズ及び領域等の特徴データを抽出する。以下、順次、レイアウト特徴抽出部１２の抽出処理に用いられる関数の説明を、フローチャートに従い行う。
【００２８】
まず、図５のフローチャートに従い、レイアウト特徴抽出部１２におけるメイン関数による動作（ステップＳ５〜ステップＳ１３）を以下に説明する。
ステップＳ５において、レイアウト特徴抽出部１２は、以下の（４）式により、コーナーＣ(n,i,x,y)を算出することにより、ハリスのコーナー検出（C.Harris and M.Stephens,"A combined corner and edge detector," Proc. of 4th Alvey Vision Conf.,1988,pp.147-151.）を行う。ただし、ｎは任意の画像の番号を表し、すなわち、蓄積画像またはクエリ画像の番号である。（４）式において、ｕ及びνは、それぞれ「−１≦ｕ≦１，−１≦ν≦１」とする。
【００２９】
【数４】
2007316812.tif 000006
【００３０】
そして、レイアウト特徴抽出部１２は、（４）式におけるハリスコーナー検出により求めたコーナーの密度を複雑度とし、入力画像データにおける複雑度の平均と標準偏差とを基準とし、入力画像データから相対的に複雑度の高い領域を検出する。
本実施形態において、レイアウト特徴抽出部１２は、複雑度の平均から２×標準偏差を超えた複雑度を有する領域を抽出して、一端、内部の記憶部に記憶させる。
ここで、レイアウト特徴抽出部１２は、２×標準偏差を超えた複雑度の領域を「１」とし、２×標準偏差以下の複雑度の領域を「０」と表した２値画像データｆ（ｘ，ｙ）として高コーナー密度箇所を示し、入力画像データを２値画像データｆ（ｘ，ｙ）に変換して記憶させる。
【００３１】
次に、ステップＳ６において、レイアウト特徴抽出部１２は、モルフォロジー処理におけるクロージング（画像データ内の背景におけるノイズ処理）の演算を、上記２値画像データｆ（ｘ，ｙ）を内部記憶部から読み出して行う。
ここで、レイアウト特徴抽出部１２は、以下に示す（５）式により、２値画像データｆ（ｘ，ｙ）に対して、エロージョン処理を行う。
そして、レイアウト特徴抽出部１２は、以下に示す（６）式により、２値画像データｆ（ｘ，ｙ）に対して、ディレーション処理を行う。
【００３２】
【数５】
2007316812.tif 000007
【００３３】
【数６】
2007316812.tif 000008
【００３４】
上記（５）式及び（６）式において、ｇ（ｕ，ν）は構造要素である。ここで、構造要素は、ｕ∈｛０，１，２｝、ν∈｛０，１，２｝とし、ｇ（０，０）＝０、ｇ（０，１）＝１、ｇ（０，２）＝０、ｇ（１，０）＝１、ｇ（１，１）＝１、ｇ（１，２）＝１、ｇ（２，０）＝０、ｇ（２，１）＝１、ｇ（２，２）＝０を用いている。
そして、レイアウト特徴抽出部１２は、上記（５）及び（６）式より得られた２値画像をｂ（ｘ，ｙ）として出力する。すなわち、ｂ（ｘ，ｙ）は「１」または「０」のいずれかの値をとることになる。
【００３５】
次に、ステップＳ７において、レイアウト特徴抽出部１２は、高コーナー密度領域の範囲を取得するため、この取得処理に用いる範囲リストを初期化する。この範囲リストは、レイアウト特徴抽出部１２の内部記憶部に設けられている。
【００３６】
次に、ステップＳ８において、レイアウト特徴抽出部１２は、２値画像ｂ（ｘ，ｙ）を、ｘ及びｙを変化させて順次読み出し、各座標が処理対象か否か、すなわち、ｂ（ｘ，ｙ）が「１」であるか否かの検出を行う。
ここで、レイアウト特徴抽出部１２は、ｂ（ｘ、ｙ）＝１であることが検出された場合、その座標（ｘ，ｙ）が処理対象であることを検出し、一方、ｂ（ｘ，ｙ）＝１でないことが検出された場合、その座標が処理対象でないことを検出する。
そして、レイアウト特徴抽出部１２は、その座標が処理対象でないことを検出すると、その座標に対する処理を停止し、ｘ及びｙを変化させて、すなわち座標位置をずらし、次の座標が処理対象か否かの検出を行い、一方、その座標が処理対象であることを検出すると、処理をステップＳ９へ進める。
【００３７】
次に、ステップＳ９において、レイアウト特徴抽出部１２は、その座標が処理対象であると、ｘｍｉｎ＝ｘｍａｘ＝ｘ及びｙｍｉｎ＝ｙｍａｘ＝ｙと設定する。
そして、ステップＳ１０において、レイアウト特徴抽出部１２は、関数floodfill（ｘ，ｙ）に従った処理、すなわち高コーナー領域毎の境界線を確定する処理を行う（後述）。
次に、ステップＳ１１において、レイアウト特徴抽出部１２は、関数delete（ｘ，ｙ）に従った処理を行う（後述）。
【００３８】
次に、ステップＳ１００において、レイアウト特徴抽出部１２は、以下の（７）式〜（９）式により、２値画像の色体系を、ＲＧＢからＨＳＶ（Ｈ：色相、Ｓ：彩度、Ｖ：明度）へ変換する。ここで、ＲＧＢ各々は０から２５５までの整数値（例えば、階調度）にて表現されている。また、ここで用いられるＲ，Ｇ，Ｂ各々の値は、高コーナー密度領域に含まれるピクセルの平均値である。したがって、各高コーナー密度領域毎に、領域に含まれるピクセル毎にＲＧＢの各階調度から、ＨＳＶへ変換する処理を行う。
【００３９】
【数７】
2007316812.tif 000009
【００４０】
【数８】
2007316812.tif 000010
【００４１】
【数９】
2007316812.tif 000011
【００４２】
そして、レイアウト特徴抽出部１２は、上記（７）式により、色が補償された入力画像データにおいて、高コーナー密度領域に含まれるピクセル毎に、Ｒ，Ｇ，Ｂの階調度から最大値Ｉ及び最小値ｉを求め、階調度，最大値Ｉ及び最小値ｉを用いて、（７）式〜（９）式により色相Ｈ，彩度Ｓ及び明度Ｖを算出する。ここで、レイアウト特徴抽出部１２は、Ｈ＜０となった場合、色相Ｈの値に２πを加算して、加算した結果を色相Ｈとして出力する。
そして、レイアウト特徴抽出部１２は、各ピクセル毎の色相の値を平均して、平均色相値を求め、この色相平均値を量子化して、色相が１８段階のレベルにインデックス化され、色相データベースに格納されており、レイアウト特徴抽出部１２は、算出された色相平均値の色相Ｈにより色相データベースを検索し、対応する段階の量子化された色相Ｈを検索し、検索結果を色相データベースから読み出して出力する。ここで、色相を１８段階に量子化することにより主要色との対応をテーブル化して、このテーブルから平均色相値に対応した主要色を抽出する。
【００４３】
次に、ステップＳ１２において、レイアウト特徴抽出部１２は、関数floodfill（ｘ，ｙ）において算出された座標範囲（ｘｍｉｎ，ｘｍａｘ，ｙｍｉｎ，ｙｍａｘ）を用いて、高コーナー密度領域の範囲を確定し、各領域のサイズを算出して、ステップＳ７において初期化した上記範囲リストに、得られた範囲を算出したサイズとともに書き込む。このとき、レイアウト特徴抽出部１２は、ステップＳ１００で求めた主要色を、求めた高コーナー密度領域に対応して範囲リストに書き込む。
そして、レイアウト特徴抽出部１２は、上述したステップＳ８〜ステップＳ１２までの処理を（ｘ，ｙ）の２次元座標において、ｘ座標を０からｗまで、ｙ座標を０からｈまで、順次インクリメントさせながら、繰り返して行う。ここで、ｗは２値画像のｘ座標の最大値であり、ｈはｙ座標の最大値である。
【００４４】
次に、ステップＳ１３において、レイアウト特徴抽出部１２は、上記範囲リストをサイズの大きい順にソート処理を行い、上位ｎ番目までのトップｎの高コーナー密度領域を選択して出力する。
【００４５】
次に、図６のフローチャートに従い、レイアウト特徴抽出部１２における関数floodfil（ｘ，ｙ）による動作（ステップＳ１４〜ステップＳ３２）を以下に説明する。この図６のフローチャートは、図５のフローチャートにおけるステップＳ１０を詳細に説明するものである。この関数floodfil（ｘ，ｙ）の処理は、各高コーナー密度領域毎の境界線を確定する。この境界線の確定とは、２値画像ｂ（ｘ，ｙ）の各座標におけるピクセル値「１」のものが隣接しているして存在する領域、すなわち、ピクセル値「１」のコーナー密度箇所の集合である高コーナー密度領域各々が存在する座標範囲を求める処理を意味している。
【００４６】
ステップＳ１４において、レイアウト特徴抽出部１２は、２値画像ｂ（ｘ，ｙ）が処理対象であるか否かの検出を行う。
ここで、レイアウト特徴抽出部１２は、｛ｘ≧０，ｘ＜ｗ，ｙ≧０，ｙ＜ｈ｝の範囲にｘ及びｙが存在することと、ｂ（ｘ，ｙ）＝１であることとの双方が検出されれば、処理をステップＳ１５へ進め、また、いずれか一方でも検出されない場合、処理を終了しメイン関数の処理に戻る。
【００４７】
次に、ステップＳ１５において、レイアウト特徴抽出部１２は、現在の座標（ｘ，ｙ）を処理対象とし、以降の処理を進める。
次に、ステップＳ１６において、レイアウト特徴抽出部１２は、ｘｍｉｎ＝ｘ，ｘｍａｘ＝ｘ，ｙｍｉｎ＝ｙ，ｙｍａｘ＝ｙとして、変数ｘｍｉｎ，ｘｍａｘ，ｙｍｉｎ，ｙｍａｘ各々に対して、現在の座標（ｘ，ｙ）の値を初期値として代入する。
【００４８】
次に、ステップＳ１７において、レイアウト特徴抽出部１２は、ｘ＜ｘｍｉｎであるか否かの検出を行い、ｘ＜ｘｍｉｎであることを検出した場合、処理をステップＳ１８へ進め、ｘ＜ｘｍｉｎでないことを検出した場合、処理をステップＳ１９へ進める。
そして、ステップＳ１８において、レイアウト特徴抽出部１２は、ｘｍｉｎに対してｘを代入する（上書きする）。
【００４９】
次に、ステップＳ１９において、レイアウト特徴抽出部１２は、ｘ＞ｘｍａｘであるか否かの検出を行い、ｘ＞ｘｍａｘであることを検出した場合、処理をステップＳ２０へ進め、ｘ＞ｘｍａｘでないことを検出した場合、処理をステップＳ２１へ進める。
そして、ステップＳ２０において、レイアウト特徴抽出部１２は、ｘｍａｘに対してｘを代入する。
【００５０】
次に、ステップＳ２１において、レイアウト特徴抽出部１２は、ｙ＜ｙｍｉｎであるか否かの検出を行い、ｙ＜ｙｍｉｎであることを検出した場合、処理をステップＳ２２へ進め、ｙ＜ｙｍｉｎでないことを検出した場合、処理をステップＳ２３へ進める。
そして、ステップＳ２２において、レイアウト特徴抽出部１２は、ｙｍｉｎに対してｙを代入する。
【００５１】
次に、ステップＳ２３において、レイアウト特徴抽出部１２は、ｙ＞ｙｍａｘであるか否かの検出を行い、ｙ＞ｙｍａｘであることを検出した場合、処理をステップＳ２４へ進め、ｙ＞ｙｍａｘでないことを検出した場合、処理をステップＳ２５へ進める。
そして、ステップＳ２４において、レイアウト特徴抽出部１２は、ｙｍａｘに対してｙを代入する。
【００５２】
次に、ステップＳ２５において、レイアウト特徴抽出部１２は、上述したステップＳ１７〜ステップＳ２４までの処理が終了すると、関数floodfill（ｘ−１、ｙ＋１）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行う（処理の再帰呼び出し）。
次に、ステップＳ２６において、レイアウト特徴抽出部１２は、関数floodfill（ｘ、ｙ＋１）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行う（処理の再帰呼び出し）。
【００５３】
次に、ステップＳ２７において、レイアウト特徴抽出部１２は、関数floodfill（ｘ＋１、ｙ＋１）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行う（処理の再帰呼び出し）。
次に、ステップＳ２８において、レイアウト特徴抽出部１２は、関数floodfill（ｘ＋１、ｙ）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行う（処理の再帰呼び出し）。
【００５４】
次に、ステップＳ２９において、レイアウト特徴抽出部１２は、関数floodfill（ｘ＋１、ｙ−１）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行う（処理の再帰呼び出し）。
次に、ステップＳ３０において、レイアウト特徴抽出部１２は、関数floodfill（ｘ、ｙ−１）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行う（処理の再帰呼び出し）。
【００５５】
次に、ステップＳ３１において、レイアウト特徴抽出部１２は、関数floodfill（ｘ−１、ｙ−１）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行う（処理の再帰呼び出し）。
次に、ステップＳ３２において、レイアウト特徴抽出部１２は、関数floodfill（ｘ−１、ｙ）として、ステップＳ１４〜ステップＳ２４までの処理と同様の処理を行い（処理の再帰呼び出し）、関数floodfill（ｘ，ｙ）の処理を終了し、メイン関数の処理に戻る。
【００５６】
次に、図７のフローチャートに従い、レイアウト特徴抽出部１２における関数delete（ｘ，ｙ）による動作（ステップＳ３３〜ステップＳ４２）を以下に説明する。この図７のフローチャートは、図５のフローチャートにおけるステップＳ１１を詳細に説明するものである。この関数delete（ｘ，ｙ）の処理は、すでにfloodfill（ｘ、ｙ−１）処理を終了したものを再度処理しないようにするため、ｂ（ｘ，ｙ）＝１のピクセルを、ｂ（ｘ，ｙ）＝０に変換するものである。
【００５７】
ステップＳ３３において、レイアウト特徴抽出部１２は、｛ｘ≧０，ｘ＜ｗ，ｙ≧０，ｙ＜ｈ｝の範囲にｘ及びｙが存在することと、ｂ（ｘ，ｙ）＝１であることとの双方が検出されれば、処理をステップＳ３４へ進め、また、いずれか一方でも検出されない場合、処理を終了しメイン関数の処理に戻る。
【００５８】
次に、ステップＳ３４において、レイアウト特徴抽出部１２は、ｂ（ｘ，ｙ）＝０とする処理、すなわち、ｂ（ｘ，ｙ）＝１をｂ（ｘ，ｙ）＝０へ変換し、処理をステップＳ３５へ進める。
【００５９】
次に、ステップＳ３５において、レイアウト特徴抽出部１２は、ステップＳ３３及びステップＳ３４の処理が終了すると、関数delete（ｘ−１、ｙ−１）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理をステップＳ３６へ進める。
次に、ステップＳ３６において、レイアウト特徴抽出部１２は、関数delete（ｘ、ｙ＋１）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理をステップＳ３７へ進める。
【００６０】
次に、ステップＳ３７において、レイアウト特徴抽出部１２は、関数delete（ｘ＋１、ｙ＋１）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理をステップＳ３８へ進める。
次に、ステップＳ３８において、レイアウト特徴抽出部１２は、関数delete（ｘ＋１、ｙ）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理をステップＳ３９へ進める。
【００６１】
次に、ステップＳ３９において、レイアウト特徴抽出部１２は、関数delete（ｘ＋１、ｙ−１）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理をステップＳ４０へ進める。
次に、ステップＳ４０において、レイアウト特徴抽出部１２は、関数delete（ｘ、ｙ−１）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理をステップＳ４１へ進める。
【００６２】
次に、ステップＳ４１において、レイアウト特徴抽出部１２は、関数delete（ｘ−１、ｙ−１）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理をステップＳ４２へ進める。
次に、ステップＳ４２において、レイアウト特徴抽出部１２は、関数delete（ｘ−、ｙ）として、ステップＳ３３及びステップＳ３４の処理と同様の処理を行い（処理の再帰呼び出し）、処理を終了しメイン関数のステップＳ１２へ進める。
【００６３】
次に、図２のカラーコレログラム作成部１３におけるカラーコレログラム作成の処理を図８を参照して説明する。図８は、カラーコレログラム作成部１３の動作例を示すフローチャート（ステップＳ４３〜ステップＳ４８）である。カラーコレログラムは、蓄積画像データと入力画像データとの色の照合関係を詳しく検出するために作成される。ここで、画像データをグリッドで分割し、各グリッドを要素とする行列を生成し、カラーコレログラムの色の組合せの出現頻度（以下、単に頻度とする）に関する行列の対角成分と、非対角成分から得られる情報と、すでに説明したレイアウト特徴抽出部１２から得られるレイアウトに関するサイズと色（主要色）とに関する情報は、それぞれ別に記憶部に保存される。
【００６４】
ステップＳ４３において、カラーコレログラム作成部１３は、以下の（７）式〜（９）式により、色補償された入力画像データの各ピクセルにおいて、該ピクセルの色体系を、ＲＧＢからＨＳＶ（Ｈ：色相、Ｓ：彩度、Ｖ：明度）へ変換する。ここで、ＲＧＢ各々は０から２５５までの整数値（例えば、階調度）にて表現されている。
そして、カラーコレログラム作成部１３は、上記（７）式により、色が補償された入力画像データのピクセル毎に、階調度の最大値Ｉ及び最小値ｉを求め、階調度，最大値Ｉ及び最小値ｉを用いて、（７）式〜（９）式により色相Ｈ，彩度Ｓ及び明度Ｖを算出する。ここで、カラーコレログラム作成部１３は、Ｈ＜０となった場合、色相Ｈの値に２πを加算して、加算した結果を色相Ｈとして出力する。
【００６５】
また、例えば、色相の平均を量子化して、色相が１８段階のレベルにインデックス化され、色相データベースに格納されている。
そして、ステップＳ４４において、カラーコレログラム作成部１３は、算出された色相Ｈにより色相データベースを検索し、対応する段階の量子化された色相Ｈを検索し、検索結果を色相データベースから読み出して出力する。ここで、色相を例えば１８段階に量子化することにより主要色（すなわち、１８色）との対応をテーブル化して、このテーブルから色相に対応した主要色を、色相レベルとして抽出する。
【００６６】
次に、ステップＳ４５において、カラーコレログラム作成部１３は、色補償をした入力画像データの全体において、該当する座標のピクセルと、該ピクセルに対して上下左右に隣接する４つのピクセルとを対とし、すなわち隣接するピクセルの色の組合せとして、全ピクセルに対して順次検出する。
【００６７】
次に、ステップＳ４６において、カラーコレログラム作成部１３は、上記量子化された色相の１８段階の色相レベルを縦方向と横方向とに対応した１８×１８のグリッドを作成して行列の構成とし、色の組合せに対応したグリッドに、上記ステップ４５において検出した、隣接するピクセルにおける色相（代表色）の組合せの数を書き込む。
すなわち、上記行列における対角成分は同一の色相レベルが隣り合っている対の数を示すことになり、非対角成分はそれぞれれ異なる色相レベル同士が対となり、それぞれの色相レベルの組合せ毎の対の数を示す。
【００６８】
なお、本実施形態においては、対角成分を含む上部部分または下部部分のみを用いる構成（例えば、上三角行列や下三角行列の構成に対応）としている。すなわち、隣接するピクセル間の色の組合せとして、あるピクセルとこのピクセルに隣接するピクセルとの色の組合せにおいて、双方の色の配置関係が逆でも、色の組み合わせが同一の場合、これらを同一の組合せとして検出する。例えば、カラーコレログラム作成部１３は、色の組合せとして、赤と青と組合せに対して、あるピクセルが赤であり、そのピクセルの右側に隣接するピクセルが青の場合も、あるピクセルが青であり、そのピクセルの右側に隣接するピクセルが赤の場合も同一の組合せとして検出する。
【００６９】
ここで、カラーコレログラム作成部１３は、上記各グリッド毎の対の合計数を、入力画像データの全ピクセル数によって除算し、除算結果を対の密度として出力する。すなわち、カラーコレログラム作成部１３は、正規化処理を行った結果を用いて、蓄積画像データとのカラーコレログラムによる類似度の算出を行う。また、蓄積画像データのカラーコレログラムについても、上述と同様の正規化処理が行われている。
【００７０】
次に、ステップＳ４７において、カラーコレログラム作成部１３は、クエリと蓄積画像データとの上記行列の非対角成分の類似度を、行列の非対角成分の各グリッドにおける色の組合せの種類の頻度を計算することによって求める。
ここで、カラーコレログラム作成部１３は、クエリと各蓄積画像データとの上記行列における非対角成分の対応するグリッドを比較して、各グリッドにおいて少ない方の対の数を選択し、非対角成分の全グリッドを加算し、加算結果を、クエリと蓄積画像データとにおける非対角成分の類似度ｄ（offdiagonal）として出力する。これを、カラーコレログラム作成部１３は、クエリに対して、データベース２に蓄積されている全ての蓄積画像データとを対応させて行う。
【００７１】
次に、ステップＳ４８において、カラーコレログラム作成部１３は、クエリと蓄積画像データとの上記行列の対角成分の類似度を、行列の対角成分の各グリッドにおける色の組合せの種類の頻度を計算することによって求める。
ここで、カラーコレログラム作成部１３は、クエリと各蓄積画像データとの上記行列における対角成分の対応するグリッドを比較して、各グリッドにおいて少ない方の対の数を選択し、対角成分の全グリッドを加算し、加算結果を、クエリと蓄積画像データとにおける対角成分の類似度ｄ（diagonal、隣接色類似度）として出力する。これを、カラーコレログラム作成部１３は、クエリに対して、データベース２に蓄積されている全ての蓄積画像データとを対応させて行う。
【００７２】
次に、図２の類似度計算部１４における類似度の計算処理を以下に説明する。
ここで、類似度計算部１４は、クエリ（入力画像データ）とデータベース２に記憶されている蓄積画像データとの類似度を計算する。
初めに、類似度計算部１４は、クエリのサイズと色に関するヒストグラムの生成を、以下に示すように行う。
まず、類似度計算部１４は、サイズＲを以下に示す（１０）式を用いて計算する。この（１０）式において、Ｓｌはレイアウト特徴抽出部１２において算出されたトップｎの高コーナー密度領域の内の１つのサイズを、Ｓｗはそれに対するバックグラウンドのサイズを示している。ここでバックグラウンドとは、クエリがポスターであるとすると、そのぽすたーのサイズである。したがって、壁に貼られたポスターを写真に撮り、そのポスターをクエリとして用いる場合、全体画像において壁からポスター部分を切り出して使用することとなる。
【００７３】
【数１０】
2007316812.tif 000012
【００７４】
そして、類似度計算部１４は、レイアウト特徴抽出部１２にて求められたトップｎの高コーナー密度領域のサイズを順次読み出し、各高コーナー密度領域毎のサイズを用い、（１０）式によりサイズＲを算出する。
ここで、Ｒを量子化するため、Ｒの取りうる範囲をＭ段階に分割したサイズレベルＱが設けられている。
類似度計算部１４は、（１０）式において算出されたサイズＲを、対応する数値範囲のレベルＱに対応させることで量子化を行い、このサイズレベルＱを出力する。
【００７５】
また、類似度計算部１４は、各コーナー密度領域の主要色、すなわち量子化された色相のレベルをＣとして入力する。
ここで、類似度計算部１４は、サイズの量子化レベルの段階数をＮＱとし、色の量子化レベルの段階数をＮＣとし、これらから計算される特徴量（領域特徴）をＦとすると、この特徴量Ｆは以下の（１１）式により求められる。
【００７６】
【数１１】
2007316812.tif 000013
【００７７】
ここで、類似度計算部１４は、クエリにおけるトップｎの各高コーナー密度領域毎に、領域の特徴量として、上記（１１）により（いずれか一方を統一して用いる）、各コーナー密度領域の特徴量Ｆを算出する。
そして、類似度計算部１４は、トップｎにおける高コーナー密度領域の図形の特徴量Ｆが、同一の数値である領域の数を積算することにより、図形（レイアウト）の特徴量Ｆｍｐヒストグラムを作成する。また、データベース２に蓄積されている蓄積画像データ各々も、上述したヒストグラムが各々算出され付加されている。
次に、類似度計算部１４は、以下に示す（１２）式により、クエリと蓄積画像データとの類似度Similarity（領域類似度）を計算する。
【００７８】
【数１２】
2007316812.tif 000014
【００７９】
ただし、上記（１２）式において、ｄ（layout）はレイアウトのヒストグラムの類似度を示し、類似度計算部１４は、レイアウトのヒストグラムの類似度を、クエリと蓄積画像データとのヒストグラムにおいて、同一の数値の特徴量Ｆにおける領域数の少ない方の数を、ヒストグラム全体にて積算することによって求める。
すなわち、類似度計算部１４は、クエリと各蓄積画像データとの双方のヒストグラムにおいて、同一の数値の特徴量Ｆにおける領域数を比較して、各特徴量Ｆにおいて、クエリ及び蓄積画像データのいずれか少ない方の領域の数を選択し、ヒストグラム全体にて加算し、加算結果を、クエリと蓄積画像データとにおけるヒストグラムの類似度ｄ（layout）として出力する。これを、類似度計算部１４は、クエリに対して、データベース２に蓄積されている全ての蓄積画像データとを対応させて行う。
【００８０】
また、上述した説明において、diagonalはコレログラムにおける行列の対角成分を表し、offdiagonalは非対角行列成分を表し、layoutはレイアウトの特徴量のヒストグラムを表している。また、Cｄｉａｇｏｎａｌ，Cｏｆｆｄｉａｇｏｎａｌ，Cｌａｙｏｕｔは予め設定されている重み係数であり、入力画像データの画像パターンに対応して複数設けられている。これら重み係数Cｄｉａｇｏｎａｌ，Cｏｆｆｄｉａｇｏｎａｌ，Cｌａｙｏｕｔは、データベース２の蓄積画像データでの検索実験により、より検索の精度が高くなるものを抽出して用いている。
そして、類似度計算部１４は、（１２）式により算出した類似度Similarity（総合類似度）が、予め設定された閾値を超えたか否かにより、クエリと蓄積画像データとが一致しているか否かの検出を行う。
【００８１】
例えば、類似度計算部１４は、予め設定された閾値を超えた類似度Similarityを有する蓄積画像データの内、最も高い類似度Similarityを有する蓄積画像データを、クエリである入力画像データと一致した画像データとして出力する。
また、類似度計算部１４を、予め設定された閾値を超えた類似度Similarityを有する蓄積画像データ全てを、クエリである入力画像データと類似した画像データとして出力する構成としても良い。
【００８２】
＜第２の実施形態＞
以下、本発明の第２の実施形態による画像検索装置を図面を参照して説明する。図９は同実施形態による画像検索装置の構成例を示すブロック図である。第１の実施形態は入力画像データがクエリとして用いることのできる状態で入力されてくる場合を対象として記載している。
しかしながら、クエリが壁に貼られたポスターであり、このポスターを携帯電話のカメラで撮影して、その撮影した画像をもとに検索処理を行う際、クエリとなるポスター部分の画像データ以外に壁などの余分な画像データが含まれた状態で、入力画像データが入力されることなる。このため、第２の実施形態においては、検索処理を行う前に、クエリとなるポスター画像を撮影した画像データから抽出する前処理を含めた画像検索装置の構成を提供する。
【００８３】
上記第２の実施形態による画像検索装置１は、第１の実施形態に対して、背景分離部１５を設けたものであり、他の構成に及び処理については第１の実施形態と同様のため、異なる部分のみを説明する。
上記背景分離部１４は、入力画像データから背景画像のデータを分離する処理を行う。
【００８４】
以下に、図１０及び図１１を参照して、図９における背景分離部１４の背景分離の処理について説明する。図１０及び図１１は上記背景分離部１４の動作例を示すフローチャートである。
上記図９におけるステップＳ５１からステップＳ５８は、図５のステップＳ５からステップＳ１２それぞれと同様である。ここで、用いられている関数floodfill（ｘ，ｙ）及びdelete（ｘ、ｙ）は、第１の実施形態と同様である。
そして、レイアウト特徴抽出部１２の動作として、ステップＳ１３に対応するステップＳ５９の動作が異なっている。第１の実施形態においては、レイアウト特徴抽出部１２がステップ１３にて範囲リストからトップｎを抽出していた。
これに対して、ステップＳ５９において、レイアウト特徴抽出部１２は、全高コーナー密度領域を検出し、周囲が最長の高コーナー密度領域を検出する。
【００８５】
次に、ステップＳ６０において、背景分離部１５は、レイアウト特徴抽出部１２が求めた高コーナー密度領域の中央の座標Ｄ１，Ｄ２を、以下に示す（１３）式によって算出する。ここで、Ｘ１は上記高コーナー密度領域の最小のｘ座標値であり、Ｘ２は最大のｘ座標値であり、Ｙ１は最小のｙ座標値であり、Ｙ２は最大のｙ座標値である。
【００８６】
【数１３】
2007316812.tif 000015
【００８７】
そして、ステップＳ６１において、背景分離部１５は、垂直方向のエッジを求めたい際の探索範囲の最小値ＭｍｉｎにＹ１を代入（Ｍｍｉｎ＝Ｙ１）し、最小値ＭｍａｘにＹ２を代入（Ｍｍａｘ＝Ｙ２）する。同様に、背景分離部１５は、水平方向のエッジを求めたい際の探索範囲の最小値ＭｍｉｎにＸ１を代入（Ｍｍｉｎ＝Ｘ１）し、最小値ＭｍａｘにＸ２を代入（Ｍｍａｘ＝Ｘ２）する。
ここで、背景分離部１５は、処理フラグｉがｉ＝１の場合に垂直方向のエッジを算出し、ｉ＝２の場合に水平方向のエッジを算出する。
【００８８】
次に、ステップＳ６２において、背景分離部１５は、最小値及び最大値の区別を示す変数ｌを設定し、ｉ＝１及びｌ＝１のときＸ１を、ｉ＝１及びｌ＝２のときＸ２を、ｉ＝２及びｌ＝１のときＹ１を、ｉ＝２及びｌ＝２のときＹ２を求め、以下の（１４）式の変数Ｏへ代入する。
【００８９】
【数１４】
2007316812.tif 000016
【００９０】
そして垂直方向（ｙ軸方向）のエッジを探索する水平方向の探索範囲（ｘ軸方向）の最大値Ｌｍａｘと、探索範囲の最小値Ｌｍｉｎを算出する。なお、Ｄｉは（１３）式によって求めた、高コーナー密度領域の中心の座標を示している。また、Ｇは、検索範囲を調整する係数であり、複数の画像を用いて学習させた結果から求められ、例えばＧ＝０．２５を用いる。
【００９１】
次に、ステップＳ６４において、背景分離部１５は、ピクセル値の加算した結果を代入する加算結果Ｓ（レジスタ）に、「０」を代入して初期化する。ここで用いるピクセル値は、各ピクセル毎に（７）式により求めたＶ（明度）の数値である。
【００９２】
次に、ステップＳ６５において、背景分離部１５は、複数のマスクからなるマトリクスを用い、各マスク毎に重み値を付加し、マスクに対応する位置のピクセル値に対し、そのマスクの重み値を乗算し、その乗算結果をマトリクス内にて加算する（すなわち、重み付け加算を行う）。
ここで、上記マトリクスは、垂直方向にｊ個（ｊ行）、水平方向にｋ個（ｋ列）、すなわちｊ×ｋ個のマスクで構成されている。上述したように、マトリクス内の全マスクにおけるピクセル値の重み付け加算の加算結果Ｓとし、各マスクの重み値（重み係数）をＣｊｋとすると、以下の（１５）式により、加算結果Ｓを算出することができる。すなわち、背景分離部１５は、例えば３×３のマトリクスをオペレータとして、一次微分を用いて画像の空間的な明度変化を求めている。
【００９３】
【数１５】
2007316812.tif 000017
【００９４】
そして、背景分離部１５は、上記（１５）式を用い、マトリクスのｊ行における各行毎に、ピクセル値と重み係数との乗算をｋ回（ｋ列に対応）行い、マトリクス全体において、マスク数と同様にｊ×ｋ回の乗算を行う。
上述した演算を行うことにより、背景分離部１５は、現在のエッジにおけるピクセルに対して、上記演算により各々加算結果Ｓを求める。
ここで、背景分離部１５は、上記演算を、エッジ方向に対して、ＭｍｉｎからＭｍａｘまでの範囲のピクセル毎に行い、この範囲内のピクセルに対する加算結果Ｓを積算して、その結果を１列分のエッジの最終的な加算結果ＳＥとして出力する。
【００９５】
次に、ステップＳ６６において、背景分離部１５は、上記ステップＳ６５で求めた加算結果ＳＥが閾値θより小さいか否か、すなわちＳＥ＜θであるか否かの検出を行う。この閾値θは、データベース２も蓄積されている複数の蓄積画像データにより、エッジ検出の実験を行い、最もエッジ検出精度が高い数値を選択したものである。
ここで、背景分離部１５は、ＳＥ＜θであることを検出した場合、処理をステップＳＳ６７へ進め、一方、でないことを検出した場合、そのｘ軸座標におけるエッジ検出処理を終了して、処理をステップＳ６４へ戻し、Ｌｍｉｎをインクリメント（１ずつ加算）して、すなわち隣接するピクセルの位置へずらし、次のｘ軸座標のエッジに対する処理を開始する。ここで、Ｌｍｉｎをインクリメントするのではなく、フローチャートにあるようにｘ座標を１０ずつ換算して、すなわち１０ピクセル単位でずらしてエッジ検出の処理を行っても良い。
【００９６】
次に、ステップＳ６７において、背景分離部１５は、現在のエッジ位置における高コーナー密度領域のコーナー密度から、直前のエッジ位置における高コーナー密度領域のコーナー密度を減算して、減算結果の絶対値を計算して、密度誤差Ｔを求める。
そして、背景分離部１５は、上記密度誤差Ｔと予め設定されている閾値γとを比較し、密度誤差Ｔが閾値γより小さいか否か、すなわちＴ＜γであるか否かの検出を行う。
ここで、背景分離部１５は、Ｔ＜γであることを検出した場合、処理をステップＳ６８へ進め、一方、Ｔ＜γでないことを検出した場合、そのｘ軸座標におけるエッジ検出処理を終了して、処理をステップＳ６４へ戻し、Ｌｍｉｎをインクリメントして、すなわち隣接するピクセルの位置へずらし、次のｘ軸座標のエッジに対する処理を開始する。
【００９７】
次に、ステップＳ６８において、背景分離部１５は、現在のエッジ位置における高コーナー密度領域の平均色相値から、直前のエッジ位置における高コーナー密度領域の平均色相値を減算して、減算結果の絶対値を計算して、色相誤差Ｕを求める。
そして、背景分離部１５は、上記色相誤差Ｕと予め設定されている閾値σとを比較し、色相誤差Ｕが閾値σより小さいか否か、すなわちＵ＜σであるか否かの検出を行う。
ここで、背景分離部１５は、Ｕ＜σであることを検出した場合、処理をステップＳ６９へ進め、一方、Ｕ＜σでないことを検出した場合、そのｘ軸座標におけるエッジ検出処理を終了して、処理をステップＳ６４へ戻し、Ｌｍｉｎをインクリメントして、すなわち隣接するピクセルの位置へずらし、次のｘ軸座標のエッジに対する処理を開始する。
【００９８】
次に、ステップＳ６９において、背景分離部１５は、検出したエッジのｘ座標値をエッジリストへ書き込む。
次に、ステップＳ７０において、背景分離部１５は、上記エッジリストにおいて、コーナー密度から求めた最初の未知度高コーナー密度領域の対応するエッジのｘ軸座標位置に最も近いエッジ位置を抽出し、それを最終的なエッジとする。
【００９９】
上述したように、背景分離部１５は、ステップＳ６４からステップＳ７０までの処理を、ＬｍｉｎからＬｍａｘまでの範囲で繰り返す。
そして、背景分離部１５は、Ｌｍａｘまでの範囲で処理が終了し、垂直方向のエッジとして、最小のｘ軸座標にあるエッジが検出された後、ｌ＝２として、ステップＳ６２からステップＳ６９までの処理を繰り返し、もう一方、すなわち垂直方向のエッジとして最大のｘ軸座標にあるエッジの検出を行う。
【０１００】
さらに、背景分離部１５は、垂直方向における２つのエッジが検出された後、ｉ＝２として、ステップＳ６１からステップＳ７０までの処理を繰り返す。ここで、水平方向（ｘ軸方向）のエッジを検出するため、エッジの検出位置はｙ軸座標となり、座標の関係が逆になるが処理はすでに説明した垂直方向のエッジの検出と同様である。
上述した図１０及び図１１の処理が終了し、例えば壁に貼られたポスターの外枠が明確に検出された後、その枠内における画像をクエリとして第１の実施形態における図３から図５におけるフローチャートの処理を行い、クエリと一致する蓄積画像データをデータベース２から検索する処理を行う。
【０１０１】
また、上述した第２の実施形態において、レイアウ特徴抽出部１２とカラーコレログラム生成部１３とを、蓄積画像データと比較するクエリの特徴抽出するときと共用して用いる構成として説明したが、背景分離部１５内にこれらと同様の機能の構成を持たせ、別々に、ポスターなどの枠検出の処理と、クエリの特徴を抽出する処理とを行わせるように構成してもよい。
【０１０２】
＜実験結果＞
実験としては、上述した図１（第１の実施形態）または図２（第２の実施形態）の画像検索装置において、データベース２に３０１２枚の蓄積画像データを蓄積し、そして、３０１２枚から１２枚を選択する。そして、この選択した１２枚に対し、各１枚毎に、２４０種類の条件を変え、２８８０枚のクエリとして用いる画像を生成した。この２４０種類の条件としては、カメラ・ディスプレイ・照明条件・カメラパラメータで撮影したものを条件としている。
そして、上述した画像検索装置により、２８８０枚のクエリから、順次１枚ずつ選択し、この選択したクエリによりデータベース２における蓄積画像データの検索を行った。
【０１０３】
検索結果としては、以下の（１６）式により再現率及び適合率を算出して、図１２に示すテーブルに結果を記載した。
【０１０４】
【数１６】
2007316812.tif 000018
【０１０５】
再現率は、（１６）式に示すように、「検出すべきものの数」にて、「検出すべきもののうち検出されたものの数」を除算して、「検出すべきものの数」すべて、すなわちクエリＮ枚分の除算結果を積算して、積算結果をＮで除算した後、除算結果に対して「１００」を乗算してパーセント表示としたものである。ここで、「検出すべきものの数」とはクエリそれぞれ１枚であり、「検出すべきもののうち検出されたものの数」とは上記「検出すべきものの数」の内、検出されたものの数であり、０枚か１枚のいずれかである。
【０１０６】
同様に、適合率は、（１６）式に示すように、「検出されたものの数」にて、「検出されたもののうち検出されるべきものの数」を除算して、「検出されたものの数」すべて、すなわちクエリＮ枚分の除算結果を積算して、積算結果をＮで除算した後、除算結果に対して「１００」を乗算してパーセント表示としたものである。ここで、「検出されたものの数」とはクエリそれぞれ１枚であり、「検出されたもののうち検出されるべきものの数」とは上記「検出すべきものの数」の内、検出されたものがクエリと同一であるものの数であり、０枚か１枚のいずれかである。
【０１０７】
色補補償・背景分離・カラーコレログラム・レイアウト特徴のいずれもが有効であることが、図１２のテーブルから判る。テーブルにおいて、「色」は画像検索における色補償の適用の可否を示す欄であることを示し、「背」は画像検索における背景分離の適用の可否を示し、「カ」は画像検索におけるカラーコレログラムの適用の可否を示し、「レ」は画像検索におけるレイアウト特徴抽出の適用の可否を示している。また、図１２のテーブルの各欄に記載された「○」は対応する処理が適用された可の状態を示し、「×」は対応する処理が適用されていない否の状態を示している。
【０１０８】
なお、図１及び図９における画像検索装置の画像検索の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像検索の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１０９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【０１１０】
【図１】本発明の画像検索装置の画像検索の概要を示す概念図である。
【図２】本発明の第１の実施形態による画像検索装置の構成例を示すブロック図である。
【図３】図２における色補償部１１の色補償の処理の動作例を示すフローチャートである。
【図４】図２における色補償部１１の色補償の処理の動作例を示すフローチャートである。
【図５】図２におけるレイアウト特徴抽出部１２のレイアウト特徴抽出の処理の動作例を示すフローチャートである。
【図６】図２におけるレイアウト特徴抽出部１２のレイアウト特徴抽出の処理の動作例を示すフローチャートである。
【図７】図２におけるレイアウト特徴抽出部１２のレイアウト特徴抽出の処理の動作例を示すフローチャートである。
【図８】図２におけるレイアウト特徴抽出部１２のレイアウト特徴抽出の処理の動作例を示すフローチャートである。
【図９】本発明の第１の実施形態による画像検索装置の構成例を示すブロック図である。
【図１０】図９における背景分離部１４の背景分離の処理の動作例を示すフローチャートである。
【図１１】図９における背景分離部１４の背景分離の処理の動作例を示すフローチャートである。
【図１２】第１及び第２の実施形態による画像検索の実験結果を示すテーブルである。
【符号の説明】
【０１１１】
１…画像検索装置
２…データベース
１１…色保証部
１２…レイアウト特徴抽出部
１３…カラーコレログラム作成部
１４…類似度計算部
１５…背景分離部
【図１】
2007316812.tif 000019
【図２】
2007316812.tif 000020
【図３】
2007316812.tif 000021
【図４】
2007316812.tif 000022
【図５】
2007316812.tif 000023
【図６】
2007316812.tif 000024
【図７】
2007316812.tif 000025
【図８】
2007316812.tif 000026
【図９】
2007316812.tif 000027
【図１０】
2007316812.tif 000028
【図１１】
2007316812.tif 000029
【図１２】
2007316812.tif 000030