(57)【特許請求の範囲】
【請求項１】
入力された画像の全体に複数箇所の特徴ブロックを設定する特徴ブロック設定手段であって、入力された画像を初期形状のＡｃｔｉｖｅ  Ｎｅｔで被覆し、指定した繰り返し回数だけ、Ｎｅｔの網格子点をＮｅｔの持つエネルギー関数が小さくなる方向へ移動させることにより、各網格子点を前記画像の特性に応じて移動させ、移動した各網格子点を中心として予め指定した大きさの特徴ブロックを設定する特徴ブロック設定手段と、
各特徴ブロックの特徴ベクトルを前記画像の特徴量として抽出する特徴ベクトル抽出手段と、
記録媒体上の検索対象画像の前記特徴量と、検索の雛型として提示される参照画像の前記特徴量とを比較することによって、検索対象画像群のうち参照画像に類似した画像を呈示する手段と
を備えたことを特徴とする画像検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像検索装置に関する。
【０００２】
さらに詳述すると、本発明は、計算機を用い、一枚の画像を入力として画像の全体的な特徴量を利用して検索を行うのに好適な、画像検索装置に関するものである。
【０００３】
【従来の技術】
近年に至り、画像の被写体の内容ではなく画像全体の類似性に基づいて画像検索を行う技術が研究されている。フラクタル次元を特徴量として用いる手法（以下、手法１という）、図形の概略形状、周波数特徴、局所相関の各特徴をベクトルとして用いる手法（以下、手法２という）などが提案されている。
【０００４】
フラクタル次元は画像の相似性を表す特徴量で、複雑な画像ほど次元は大きく、単純な画像では次元が小さくなるため、画像の複雑さという人間の感性に類似した特徴を表現する特徴量として注目されている。一般に、天然の物体表面や自然の風景などではフラクタル次元は求められるが、ビルなどの街の風景やデザイン画など人工的な物については次元は求められない。手法１では、このような性質を持つフラクタル次元を特徴量としているが、フラクタル次元そのものは情報が少ないため、検索対象画像の種類を限定しなくてはならない。すなわち、デザイン画のみ、自然画のみなど、特定の種類の画像だけを対象としている（林  世紀他、「混合フラクタルモデルに基づく画像特徴量とその画像検索応用における性能評価」、情報処理学会論文誌  Vol．３８、Ｎｏ．１０（１９９７−１０）、PP.１９６６−１９７５、参照）。
【０００５】
手法２は、フラクタル次元とは異なる複数の特徴量を用いているものであるが、テザイン画にしぼった上で必要な画像特徴を求めている（大津他、「パターン認識理論と応用」、朝倉書店（１９９６）、ＰＰ．１８４−１８６参照）。
【０００６】
このように、これまでの画像検索手法は、対象となる画像の種類を限定しており、それに応じた特徴量を利用しているため、用途も限られていた。
【０００７】
一方、似ているか似ていないかは検索システムの利用者が判断することであり、何らかの手段で、検索における類似性の判断に利用者の感性や好みを反映させる必要がある。だが、利用者の感性や好みはそれぞれ異なるものであり、一種類の判断基準で類似性を判断したのでは、個人によって似ていると思う利用者もあれば、そう思わない利用者も出てくる。手法３は、このような個人差に対応しようとする手法の代表的なもので、画像特徴ベクトルと各種キーワードとの関係をあらかじめ求めておき、入力画像との類似性を利用者の選んだキーワード軸（意味軸）に沿った類似性とすることで、利用者の望みの類似画像を見いだそうとするものである。しかし、この手法３では、各種キーワードと特徴ベクトルとの関係を求めるために非常に多数（多次元）の特徴を用いて複雑な計算を行う必要があるなど、必ずしも簡便ではない（武者  義則他、「類似画像検索における検索結果の可視化インターフェース  ―可視軸として意味軸を用いる方法―」、電子情報通信学会技術報告ＰＲＭＵ９９−５７（１９９９−０７）、PP.５９−６４参照）。
【０００８】
【発明が解決しようとする課題】
上述した通り、最近では、画像の被写体の内容ではなく画像全体の類似性に基づいて画像検索を行う手法が研究されている。この画像検索手法のうち、画像の全体情報のひとつである構図に重きを置いた画像検索手法としては、画像を小ブロック（特徴ブロック）に分割してその各特徴ブロックから画像特徴量を抽出し、それらの特徴量を特徴ブロックごとに比較して類似度をとり検索を行う手法が一般的である（望月貴裕,伊藤崇之  「グローバルな特徴を利用した画像検索」情報処理学会第５９回（平成１１年後期）全国大会講演論文集,特１−２２９〜２３４）。
【０００９】
しかしながら、上記手法の問題点の1つとして、背景の複雑度が類似し、かつ物体領域については、複雑度は類似しているが位置，大きさ，形状が若干（その尺度は特徴ブロックの大きさに依存するが）異なる2枚の画像の類似度が、人間の類似感覚以上に低下してしまうことが挙げられる。これは、特徴ブロックの位置が固定されているために起こる問題である。
【００１０】
よって、本発明の目的は、
画像検索において、本来なら類似度が高くなるべき特徴量が類似した背景、および、特徴量は類似しているが位置，大きさ，形状が若干異なる物体領域をもつ2枚の画像の類似度が、人間の感覚以上に低下してしまい、望ましい検索結果が得られないという課題に鑑み、
参照画像と検索対象画像とで画像内の被写体の位置が多少ずれていても、類似性の高い画像として検索することを可能とした、画像検索装置および画像特徴抽出手順を記録した記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明では、被写体の位置ずれに対応して特徴ブロックの位置もずらすことにより、被写体の位置ずれに影響されにくい画像特徴抽出を可能としている。
【００１２】
さらに、本発明では、人間の類似感覚に沿った画像検索を実現可能としている。
【００１３】
本発明の画像検索装置は、入力された画像の全体に複数箇所の特徴ブロックを設定する特徴ブロック設定手段であって、入力された画像を初期形状のＡｃｔｉｖｅ  Ｎｅｔで被覆し、指定した繰り返し回数だけ、Ｎｅｔの網格子点をＮｅｔの持つエネルギー関数が小さくなる方向へ移動させることにより、各網格子点を前記画像の特性に応じて移動させ、移動した各網格子点を中心として予め指定した大きさの特徴ブロックを設定する特徴ブロック設定手段と、各特徴ブロックの特徴ベクトルを前記画像の特徴量として抽出する特徴ベクトル抽出手段と、記録媒体上の検索対象画像の前記特徴量と、検索の雛型として提示される参照画像の前記特徴量とを比較することによって、検索対象画像群のうち参照画像に類似した画像を呈示する手段とを備えたことを特徴とする。
【００２３】
【発明の実施の形態】
ここで述べる実施の形態は、計算機および大量の静止画を記録した記録媒体を用いた静止画像検索装置において、画像中の複数箇所で特徴抽出するための注視点配置を画像の明暗情報等に基づいて変化させる手段を有し、その手段で決まった各注視点位置を中心とした小ブロック（以下「特徴ブロック」と呼ぶ）内の画像特徴量をその画像の特徴量として計測することにより、参照画像と検索対象画像とで画像内の被写体の位置が多少ずれていても、類似性の高い画像として検索できるようにしたものである。
【００２４】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００２５】
図１は、本発明を適用した画像検索装置の全体構成図である。本図において、１０は画像特徴抽出部であり、内蔵されている記録媒体Ｍ１０に格納されている制御プログラムに従って、本実施の形態に特有な画像特徴抽出処理（図３〜図７を参照して後に詳述する）を実行する。２０は、検索対象画像を格納してある記録媒体である。これらの画像特徴抽出部１０と記録媒体２０は、前処理部３０を構成している。
【００２６】
この前処理部３０では、検索対象画像１，２，３，...，ＮPを1枚ずつ画像特徴抽出部１０へ入力し、この画像特徴抽出部１０において画像特徴抽出の処理を行い特徴ベクトルＦ（１），Ｆ（２），Ｆ（３），...，Ｆ（ＮP）を計算する。
【００２７】
１０’は、上記画像特徴抽出部１０と同様の構成を有する画像特徴抽出部である。４０は類似度計算部であり、内蔵されている記録媒体Ｍ４０に格納されている制御プログラムに従って、後述する類似度計算処理を実行する。５０は順位決定結果出力部であり、内蔵されている記録媒体Ｍ５０に格納されている制御プログラムに従って、後述する順位決定結果出力処理を実行する。
【００２８】
図２は、図１に示した画像特徴抽出部１０の内部構成をより詳細に示したブロック図である。本図に示すように、画像特徴抽出部１０は、上記記録媒体Ｍ１０の他に、特徴ブロック設定部１２と、特徴ベクトル抽出部１４を含んでいる。
【００２９】
この画像特徴抽出部１０に含まれている特徴ブロック設定部１２においては、入力画像を初期形状（格子状）のＡｃｔｉｖｅ  Ｎｅｔ（網格子点数Ｎ×ＭのＮ，Ｍは指定）で被覆し、指定した繰り返し回数だけ、Ｎｅｔの網格子点をＮｅｔの持つエネルギー関数が小さくなる方向へ移動させる。これがＡｃｔｉｖｅ  Ｎｅｔの変形である（坂上勝彦,山本和彦  「動的な網のモデルＡｃｔｉｖｅ  Ｎｅｔとその領域抽出への応用」  テレビジョン学会誌  Ｖｏｌ．４５，  Ｎｏ．１０，  ｐｐ．１１５５〜１１６３  （１９９１））。
【００３０】
この過程で、各網格子点は設定条件に応じて、画像の明部または暗部に向かう（画像の輝度値を設定条件にした場合）など画像内の情報に応じて移動する。従って、2枚の画像で被写体の位置がずれていても、設定条件に依存したある画像情報が類似していれば、網格子点はその位置ずれに追随していくことになる。この際、画像の輝度値以外の設定条件として、例えば輝度値の微分を用いれば、明暗の変化部分すなわち被写体の輪郭を手がかりとして追随することになる。また、色情報を用いることもできる。このような変形後、Ｎｅｔの各網格子点を中心としてあらかじめ指定した大きさの特徴ブロックを設定する。
【００３１】
次の特徴ベクトル抽出部１４においては、特徴ブロック設定部１２で設定した各特徴ブロックについて、ある画像特徴量から構成される特徴ベクトル（ｋ次元。ｋは指定）を計算し（参照：望月貴裕,伊藤崇之  「グローバルな特徴を利用した画像検索」  情報処理学会第５９回（平成１１年後期）全国大会講演論文集,特１−２２９〜２３４）、それぞれの特徴ベクトルから構成されるベクトル（ｋＮＭ次元）を出力とする。ここでは、ブロック内の画像特徴量として、フラクタル尺度による複雑度を用いているが、色ヒストグラムは周波数成分など、他の画像特徴量を用いることも可能である。
【００３２】
次に、図３〜図５に示すフローチャートを参照して、前処理部３０の動作を説明していく。
【００３３】
図３は、前処理部３０が実行すべき処理手順の全体を示したフローチャートである。本図において、ステップＳ１００に示す特徴ブロック設定処理は特徴ブロック設定部１２（図２参照）により実行され、また、ステップＳ２００に示す特徴ベクトル抽出処理は特徴ベクトル抽出部１４（図２参照）により実行される。
【００３４】
図４は、特徴ブロック設定部１２により実行される特徴ブロック設定処理（図３のステップＳ１００）を詳細に示したフローチャートである。本図における各ステップは、以下の通りである。
【００３５】
ステップＳ１：入力画像上にＮ×Ｍの初期網(図６の白線)を設定する。Pi,j(i=0,...,N-1,j=0,...,M-1)は網格子点である。ここで、図６は、ｍ＝０（初期網）におけるＡｃｔｉｖｅ  Ｎｅｔと各網格子点を示す（ただし図はＮ＝Ｍ＝６の場合）。
【００３６】
ステップＳ２：行列  Ａ1，Ａ2，Ａ3 を求める。Ａ1，Ａ2，Ａ3 はそれぞれ、下記のような（Ｎ＋４）（Ｍ＋４）×（Ｎ＋４）（Ｍ＋４）行列Ａを対角行列Ａ1，  左下三角行列Ａ2，  右上三角行列Ａ3  に分解したものである（Ａ＝Ａ1＋Ａ2＋Ａ3）
【００３７】
【数１】
0004076310.tif 000002
であり、α,βはあらかじめ設定した値である。
【００３８】
ステップＳ３：ｍ＝０とする。
【００３９】
ステップＳ４：第1次仮網格子点 P‐1,j or PN,j or Pi,‐1 or Pi,N  (i=-1,0,..,N, j=-1,0,...,N)を、
現在の網の最外郭網格子点 P0,j or PN-1,j or Pi,0 or Pi,N-1  (i=0,..,N-1, j=0,...,N-1) および、
その1つ内側の格子点  P1,j or PN-2,j or Pi,1 or Pi,N-2  (i=1,..,N-2, j=1,...,N-2) の座標を用いて外挿する。
【００４０】
さらに、
第2次仮網格子点 P‐2,j or PN+1,j or Pi,‐2or Pi,N+1(i=-2,0,..,N+1, j=-2,0,...,N+1)を、
今外装した第1次仮網格子点と現在の網の最外郭網格子点の座標を用いて外挿する。
【００４１】
図例として、ｍ＝０の時の外挿を図６に灰色点線として示す（但しＮ＝Ｍ＝６）。
【００４２】
ステップＳ５：ベクトルｂｘ，ｂｙを求める。いま、
【００４３】
【数２】
bx = [bx0,bx1,...,bx(N+4)(M+4)-1],  by = [bx0,bx1,...,bx(N+4)(M+4)-1]
とすると、
ｉ＝０，１，...，Ｎ−１，ｊ＝０，１，...，Ｍ−１  について、
【００４４】
【数３】
bx(N+4)(j+2)+i+2 = wi,j ( IA(x(Pi,j)+1,y(Pi,j)‐1) + 2×IA(x(Pi,j)+1,y(Pi,j)) +
IA(x(Pi,j)+1,y(Pi,j)+1)‐IA(x(Pi,j)‐1,y(Pi,j)‐1) ‐ 2×
IA(x(Pi,j)‐1,y(Pi,j)) ‐ IA(x(Pi,j)‐1,y(Pi,j)‐1))
by(N+4)(j+2)+i+2 = wi,j ( IA(x(Pi,j)‐1,y(Pi,j)+1) + 2×IA(x(Pi,j),y(Pi,j)+1) +
IA(x(Pi,j)+1,y(Pi,j)+1)‐IA(x(Pi,j)‐1,y(Pi,j)‐1) ‐ 2×
IA(x(Pi,j),y(Pi,j)‐1) ‐ IA(x(Pi,j)+1,y(Pi,j)‐1))
それ以外のｂｘ，ｂｙの要素＝０  ここで、x(Pi,j), y(Pi,j)はそれぞれ、現在の網格子点Pi,jのｘ座標,ｙ座標を表し、
IA(x,y)は点ｘ，ｙのＲｘ×Ｒｙ近傍の輝度値の平均値を表す（Ｒｘ，Ｒｙはあらかじめ設定しておく)。
【００４５】
重み係数wi,j(i=0,1,...,N-1,j=0,1,...,N-1)もあらかじめ設定する。
【００４６】
ステップＳ６：このステップでは、
【００４７】
【数４】
x(m) =[ x(P‐2,-2), x(P‐1,-2), x(P0,-2),...., x(Pi,j),...., x(PN,M+1), x(PN+1,M+1)]
((N+4)(M+4)次元)
y(m) =[ y(P‐2,-2), y(P‐1,-2), y(P0,-2),...., y(Pi,j),...., y(PN,M+1), y(PN+1,M+1)]
((N+4)(M+4)次元)
なるベクトルx(m), y(m)をつくり、
【００４８】
【数５】
x(m+1) =  x(m) + γ( (A1-1 ( bx‐(A2 + A3) x(m) ) ‐  x(m) )
ｙ(m+1) =  ｙ(m) + γ( (A1-1 ( by‐(A2 + A3) ｙ(m) ) ‐  ｙ(m) )
なるx(m+1) ,  ｙ(m+1) を計算する。ここで、γはあらかじめ設定した値である。
【００４９】
ステップＳ７：網格子点の座標（ただし仮網格子点は除く）をステップＳ６で計算したx(m+1) , ｙ(m+1) の値に置きかえる。つまり、
【００５０】
【数６】
x(m+1) =[ x0,x1,...,x(N+4)(M+4)-1], ｙ(m+1) =[y0,y1,...,y(N+4)(M+4)-1]
とすると、
【００５１】
【数７】
x(Pi,j) = x(N+4)(j+2)+i+2 , y(Pi,j) = y(N+4)(j+2)+i+2 (i=0,1,...,N-1,j=0,1,...,N-1)
になる。
【００５２】
ステップＳ８：ｍ＝ｍ＋１  とする。
【００５３】
ステップＳ９：ｍ＝Loop（Loopの値はあらかじめ設定しておく）ならばステップＳ１０へ進む。そうでなければ、ステップＳ４へ戻る。
【００５４】
ステップＳ１０：各網格子点（ただし、仮網格子点は除く）Pi,j（i=0,1,...,N-1,j=0,1,...,N-1）ついて、点(x(Pi,j),  y(Pi,j))を中心とした、Ｗ×Ｈの矩形（Ｗ，Ｈはあらかじめ設定）を特徴ブロックGi,jとして類似度計算部４０へ渡す。
【００５５】
図５は、特徴ベクトル抽出部１４により実行される特徴ベクトル抽出処理（図３のステップＳ２００）を詳細に示したフローチャートである。本図における各ステップは、以下の通りである。
【００５６】
ステップＳ２１：ｊ＝０とする。
【００５７】
ステップＳ２２：ｉ＝０とする。
【００５８】
ステップＳ２３：ｋ＝０とする。
【００５９】
ステップＳ２４：特徴ブロックGi,jを一辺ｒ（＝２k+1に一番近い整数)画素の格子（以下、「フラクタル格子」と記述する）で分割する。
【００６０】
ステップＳ２５：その各フラクタル格子について輝度変化体積（図７参照）を計算し、その1フラクタル格子あたりの平均をＶ（ｉ，ｊ，ｋ）とする。
【００６１】
この図７においては、格子(一辺ｒ)内の四隅画素ＡＢＣＤの輝度値をそれぞれＩａ，Ｉｂ，Ｉｃ，Ｉｄとし、その中の最大値をＩｄ，最小値をＩａとする(図７（Ａ））。そして、図７（Ｂ）のように、Ｄ'Ｄ＝Ｉｄ−Ｉａ，Ｃ'Ｃ＝Ｉｃ−Ｉａ，Ｂ'Ｂ＝Ｉｂ−Ｉａ，Ｄ'Ｄ⊥面ＡＢＣＤ，Ｃ'Ｃ⊥面ＡＢＣＤ，Ｂ'Ｂ⊥面ＡＢＣＤなる立体Ｄ'−Ｃ'Ｂ'−ＡＢＣＤを仮定する。この立体の体積をこの格子の「輝度変化体積（仮想体積）」とする。
【００６２】
ステップＳ２６：ｋ＝ＫTh（あらかじめ設定）ならばステップＳ２８へ進む。
そうでなければ、ｋ＝ｋ＋０．５として（ステップＳ２７）、ステップＳ２４へ戻る。
【００６３】
ステップＳ２８：ｋ次元ベクトルを、
【００６４】
【数８】
ｌｖ(i,j)=[ logV(i,j,1), log V(i,j,1.5),....., log V(i,j,KTh2‐0.5)]
とする。
【００６５】
ステップＳ２９：ｉ＝ｉ＋１とする。ｉ＝Ｎならば（ステップＳ３０、ＹＥＳ）、ステップＳ３１へ進む。そうでなければ（ステップＳ３０、ＮＯ）、ステップＳ２３へ戻る。
【００６６】
ステップＳ３１：ｊ＝ｊ＋１とする。ｊ＝Ｍならば（ステップＳ３２、ＹＥＳ）、ステップＳ３３へ進む。そうでなければ（ステップＳ３２、ＮＯ）、ステップＳ２２へ戻る。
【００６７】
ステップＳ３３：ｋＮＭ次元ベクトルＦ
【００６８】
【数９】
F=[ｌｖ(0,0), ｌｖ(1,0), ... , ｌｖ(i,j), ... , ｌｖ(N-1,M-1)]
を入力画像に対する特徴ベクトルとして出力する。
【００６９】
次に、再び図１に戻り、参照画像を入力したときにおける画像検索装置の動作を説明する。
【００７０】
まず、参照画像を画像特徴抽出部１０’へ入力し、画像特徴抽出部１０’において画像特徴抽出の処理を行い、特徴ベクトルＦREFを計算する。
【００７１】
次に、類似度計算部４０において、ＦREF＝［ｆ1，ｆ2，ｆ3，...，ｆkNM］と前処理で計算済みのＦ（ｉ）＝［ｆ1（ｉ），ｆ2（ｉ），ｆ3（ｉ），...，ｆkNM（ｉ）］の距離である下式ｄ（ｉ）
【００７２】
【数１０】
0004076310.tif 000003
をｉ＝１，２，３，...，ＮPについて計算し、順位決定結果出力部５０において、ｄ（ｉ）の値が小さい順に検索対象画像へ順位をつけ、1位からＮHIT位までの画像ファイル番号とその縮小画像を検索結果として出力し、ディスプレイ（図示せず）上へ整列して呈示する。ここでの順位付け手法は、アルゴリズム解析分野における既存のソーティング手法を用いる。また、画像の縮小法についても、画像処理分野における従来の画像スケーリング手法を適用する。
【００７３】
【発明の効果】
以上説明した通り、本発明によれば、人間の感覚的に本来類似度が高くなるべきであろう画像の類似度を低下させることのないような画像特徴量を用いた、より柔軟性のある画像検索が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像検索装置の全体構成図である。
【図２】図１に示した画像特徴抽出部の詳細なブロック構成図である。
【図３】本実施の形態における前処理手順を示すフローチャートである。
【図４】本実施の形態における特徴ブロック設定処理手順を示すフローチャートである。
【図５】本実施の形態における特徴ベクトル抽出処理手順を示すフローチャートである。
【図６】ｍ＝０（初期網）におけるＡｃｔｉｖｅ  Ｎｅｔと各網格子点を示す図である。
【図７】輝度変化体積についての説明図である。
【符号の説明】
１０，１０’    画像特徴抽出部
２０    検索対象画像を格納した記録媒体
３０    前処理部
４０    類似度計算部
５０    順位決定結果出力部
【図１】
0004076310.tif 000004
【図２】
0004076310.tif 000005
【図３】
0004076310.tif 000006
【図４】
0004076310.tif 000007
【図５】
0004076310.tif 000008
【図６】
0004076310.tif 000009
【図７】
0004076310.tif 000010