(57)【要約】【課題】検索作業の時間短縮化を図ると共に、画像中のパターンの一部が隠蔽されていても確実な検索を行うことのできる画像検索装置を得る。【解決手段】画像修正データベース４は、画像の修正パターンを蓄積し、検索対象画像データベース８は、検索対象となる画像を蓄積する。画像修正処理手段５は、画像修正データベース４の修正パターンに基づいて、与えられた画像クエリを修正する。画像検索手段７は、画像修正処理手段５で修正された画像クエリに基づいて、検索対象画像データベース８を検索し、検索結果を出力する。【選択図】図１
2008021169.tif 000002
【特許請求の範囲】
【請求項１】
画像の修正パターンを蓄積する画像修正データベースと、
前記画像修正データベースの修正パターンに基づいて、与えられた画像クエリを修正する画像修正処理手段と、
検索対象となる画像を蓄積する検索対象画像データベースと、
前記画像修正処理手段で修正された画像クエリに基づいて、前記検索対象画像データベースを検索し、検索結果を出力する画像検索手段とを備えた画像検索装置。
【請求項２】
画像修正データベースは、修正パターンを画像のカテゴリ毎に蓄積すると共に、
画像クエリのカテゴリを決定するカテゴリ決定手段を備え、
画像修正処理手段は、前記カテゴリ決定手段で決定された画像クエリのカテゴリに対応した修正パターンに基づいて、当該画像クエリを修正することを特徴とする請求項１記載の画像検索装置。
【請求項３】
画像修正処理手段は、登録用画像が与えられた場合、当該登録用画像を画像修正データベースの修正パターンに基づいて修正し、
検索対象画像データベースは、前記画像修正処理手段で修正された登録用画像を検索対象画像として蓄積することを特徴とする請求項１記載の画像検索装置。
【請求項４】
カテゴリ決定手段は、与えられた登録用画像のカテゴリを決定すると共に、画像修正処理手段は、前記カテゴリ決定手段で決定された前記登録用画像のカテゴリに基づいて当該登録用画像を画像修正データベースの修正パターンで修正し、
検索対象画像データベースは、前記画像修正処理手段で修正された登録用画像を検索対象画像として蓄積することを特徴とする請求項２記載の画像検索装置。
【請求項５】
与えられた画像に基づいて当該画像の修正パターンを学習し、その学習結果を画像修正データベースに蓄積する画像修正学習手段を備えたことを特徴とする請求項１から請求項４のうちいずれか１項記載の画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、大量の画像データベースの中から、ユーザーが検索クエリとして画像クエリを与えることにより、所望の画像を検索する画像検索装置に関するものである。
【背景技術】
【０００２】
従来、検索クエリとして画像クエリを与える画像検索方法において、クエリに合致する検索結果の最大数、最小数、見積もり数を示すフィードバック情報手段と、意味や知覚に基づくクエリの代替要素を示すフィードバック情報を決定することでクエリを検査する手段と、クエリによる画像検索の実行前にユーザーに対してフィードバック情報を提供する手段とを有する画像検索装置があった（例えば、特許文献１参照）。
【０００３】
このような技術では、フィードバック情報手段により、現在のクエリに合致する検索ヒット数をユーザーにフィードバックする。また、与えられた画像クエリの持つ要素のうち、有効なクエリの要素として、意味に基づく要素を使用するか外見に基づく要素を使用するかの選択、また、代替要素としてこれらの内容を修正した場合に、検索ヒット数がどのように変化するかの情報もフィードバックされる。この結果をユーザーが逐次判断しながら、クエリをどのように修正するかの方針を選択する。また、最終的な検索の実行前にヒット見積もり数などの情報もユーザーにフィードバックされ、最終的な実行を決定する。これにより、対象データベース内に格納される画像とユーザーの志向とを合致させることで、検索により適した画像クエリに修正され、検索のヒット率を高めることができる。
【０００４】
【特許文献１】特開平１１−３２８１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の画像検索装置では、指示されたクエリから代替クエリへの修正作業において、画像クエリに記述が不十分な部分が多い場合には、修正のための繰り返し回数が増え、多くの時間を要するという問題点があった。また、検索対象画像データベースへのデータ登録画像において、画像中のパターンが一部隠蔽されている場合などには、対象画像が検索対象から漏れやすいという問題点があった。              
【０００６】
この発明は上記のような課題を解決するためになされたもので、検索作業の時間短縮化を図ると共に、画像中のパターンの一部が隠蔽されていても確実な検索を行うことのできる画像検索装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像検索装置は、画像の修正パターンを蓄積する画像修正データベースの修正パターンに基づいて、与えられた画像クエリを修正する画像修正処理手段と、検索対象となる画像を蓄積する検索対象画像データベースと、画像修正処理手段で修正された画像クエリに基づいて、検索対象画像データベースを検索し、検索結果を出力する画像検索手段とを備えたものである。
【発明の効果】
【０００８】
この発明の画像検索装置は、画像クエリを修正パターンに基づいて修正し、この修正された画像クエリで検索対象画像データベースを検索するようにしたので、検索作業の時間短縮化を図ることができると共に、画像中のパターンの一部が隠蔽されていても確実な検索を行うことができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による画像検索装置を示す構成図である。
図において、画像検索装置は、画像入力手段１、カテゴリ決定手段２、画像修正学習手段３、画像修正データベース４、画像修正処理手段５、修正内容確認手段６、画像検索手段７、検索対象画像データベース８を備えている。
【００１０】
画像入力手段１は、画像検索装置のユーザーが学習用画像や画像クエリを入力するための手段であり、例えば、キーボードやマウスといった入力手段や画像入力のためのインタフェース等から構成されている。また、画像クエリとは検索キーとなる画像を意味している。カテゴリ決定手段２は、画像入力手段１から入力された学習用画像や画像クエリのカテゴリを求める手段である。即ち、画像入力手段１から入力された画像がどのようなカテゴリに属するかを判定し、そのカテゴリ判定結果を画像修正学習手段３と画像修正データベース４に出力するよう構成されている。また、カテゴリとは、対象を属性に基づいてグループ分けした場合のそれぞれのグループを意味している。尚、カテゴリの詳細については後述する。
【００１１】
画像修正学習手段３は、画像検索装置の学習処理時に用いられる手段である。即ち、画像修正学習手段３は、画像入力手段１から入力された学習用画像に基づいて、画像の修正パターンを学習するもので、その修正パターンのデータである学習パラメータをカテゴリ決定手段２で決定されたカテゴリ情報と共に画像修正データベース４に蓄積する機能を有している。
【００１２】
画像修正データベース４は、画像修正学習手段３で学習された学習パラメータをそのカテゴリ情報に対応付けて保存するデータベースである。画像修正処理手段５は、画像検索処理時に用いられる手段であり、画像入力手段１から画像クエリが入力された場合、画像修正データベース４からのカテゴリに対応した学習パラメータに基づいて、画像修正を行うよう構成されている。修正内容確認手段６は、画像修正処理手段５で修正された画像クエリの確認を行う手段であり、修正内容を図示しないディスプレイに表示させたり、ユーザーからの修正指示があった場合は、この修正指示に従って画像修正データベース４における学習パラメータの修正を行ったり、カテゴリ決定手段２におけるカテゴリの再決定を行ったりするための手段である。
【００１３】
画像検索手段７は、修正内容確認手段６で確認された画像クエリにより、検索対象画像データベース８を参照し、画像検索を行い、その検索結果を出力する手段である。また、検索対象画像データベース８は、検索対象となる画像が予め格納されている画像データベースである。
【００１４】
尚、画像検索装置はコンピュータによって実現され、カテゴリ決定手段２、画像修正学習手段３、画像修正処理手段５、修正内容確認手段６、画像検索手段７は、それぞれの機能に対応するソフトウェアと、これを実行するためのＣＰＵやメモリ等のハードウェアから構成されている。また、画像修正データベース４や検索対象画像データベース８は、ハードディスク装置や半導体メモリといった記憶装置で構成されている。
【００１５】
次に、実施の形態１の動作について説明する。先ず、画像検索装置における学習処理について説明する。
図２は、学習処理を示すフローチャートである。
図３は、学習処理のデータの流れを示す説明図である。
先ず、ステップＳＴ１１において、ユーザーから入力された学習用画像を取得する。このときの画像の提供方法としては、別途用意された画像ファイルや画像データベースから選択する。更にその中の特定物体を指定して提供する、あるいはカメラから直接入力するなどの手法がある。
【００１６】
次に、画像入力手段１からの画像がカテゴリ決定手段２に入力されると、カテゴリ決定手段２は、その画像のカテゴリを決定する（ステップＳＴ１２）。ここで、画像のカテゴリとは、その画像が属する共通の性質を有するグループへの分類であり、例えば、画像が航空機に関するものであった場合、カテゴリとして「航空機カテゴリ１」「航空機カテゴリ２」「航空機カテゴリ３」…といった分類であるが、用途や使用条件等に応じてどのような分類であってもよい。そして、このようなカテゴリ決定結果は図３に示すように、画像修正データベース４に送られる。
【００１７】
カテゴリ決定処理の実現方法としては、ユーザーがカテゴリを直接指定する方法でも実現可能であるが、自動的にこれを行う場合には、画像の形状や色などの画像特徴を用いてカテゴリを決定することが可能である。あるいは、学習用画像に付加されたキーワードなどの属性データを用いてもカテゴリを決定することができる。これらの処理は、画像検索の標準化規格であるＭＰＥＧ−７においても、数多くの手法が存在している。また、画像特徴のみを用いて分類する手法についても、「画像解析ハンドブック」（東京大学出版会，１９９１）において多くの手法が述べられている。このように、カテゴリ決定については公知であるため、ここでの詳細な説明は省略する。
【００１８】
次に、画像修正学習手段３は、画像入力手段１に入力された画像に基づき画像修正学習処理を行う（ステップＳＴ１３）。この処理においては、画像中の不要部分の消去及び隠蔽部分の画像復元処理を行うための修正パターンのデータである学習パラメータを求める。これらの画像修正処理を実現する手法として、例えば、渡邉信太郎，鹿毛裕史，田中健一，久間和生，“顔画像連想記憶モデルの部分隠れへのロバスト性検証”，平成１７年電気学会Ｃ部門大会論文集ＧＳ９−４，２００５／９に述べられている手法を用いることができる。この文献では、ニューラルネットワークを用いた連想想起モデルについて述べられている。このモデルにおいては、同一カテゴリに属する複数の画像間において、入力画像と出力画像を一致させるように学習させておくと、学習時と異なる入力画像からでも学習した画像に近いパターンが想起されることが開示されている。具体的には、顔を対象としており、例えば、眼鏡のない顔画像を学習しておくと、眼鏡をかけた顔画像を入力した場合においても眼鏡を掛けない状態の顔画像が想起される。あるいはその逆のパターンが実現可能であることが述べられている。以上の処理は、複数人物の顔画像を対象とすることが可能である。即ち、複数人物の顔を学習に用いておけば、連想想起時の入力顔画像として複数の人物を対象とすることができる。尚、未知の顔画像が入力された場合には、学習した顔画像の要素を用いてもっとも妥当だと思われる結果が想起される。
【００１９】
上記の文献等に示されている技術により、本発明で必要とする機能、即ち、画像中の不要部分の消去あるいは隠蔽部分の画像復元処理が実現可能である。また、未知画像を入力した場合にも、学習結果を用いて妥当な復元結果が得られることも画像検索においては好都合である。例えば、ステップＳＴ１１で入力される学習用画像として、検索対象画像データベース８中の画像を用いれば、未知の画像が入力された場合にも、検索対象画像データベース８中の画像に近い結果が得られることになり、検索処理においては好都合な場合が多い。尚、同種のカテゴリに属さない画像群で学習・想起を行った場合は結果が不安定になる可能性があることから、本発明においては、ステップＳＴ１２で決定されたカテゴリ決定結果に対応して学習パラメータを蓄積している。
【００２０】
また、ステップＳＴ１３の画像修正学習処理として、上記の手法以外にも、「画像解析ハンドブック」（東京大学出版会，１９９１）において述べられているような画像領域分割と呼ばれる手法を用いて画像中を複数の領域に分類しておき、各分類領域の要・不要あるいは代替関係について学習しておく手法があり、このような手法によっても、不要部分の消去あるいは置き換え処理が可能である。従って、こうした手法を用いることでも、画像中の不要部分の消去あるいは隠蔽部分の画像復元処理が実現可能である。
【００２１】
画像修正学習手段３で画像修正学習が行われると、図３に示すように、その学習結果である学習パラメータが画像修正データベース４に送られ、ステップＳＴ１２で送出されたカテゴリ決定結果に対応したカテゴリの学習パラメータが更新され（ステップＳＴ１４）、その後、画像修正データベース４への登録終了処理が行われる（ステップＳＴ１５）。
【００２２】
次に、画像検索処理を説明する。
図４は、画像検索処理を示すフローチャートである。
図５は、画像検索処理のデータの流れを示す説明図である。
図６は、画像検索処理の画像の一例を示す説明図である。
【００２３】
先ず、ステップＳＴ２１において、ユーザーが与えた検索のキー画像となる画像クエリを入力する。具体的には、１枚あるいは複数枚の画像を例示的に与える。このときの画像の提供方法としては、別途用意された画像ファイルや画像データベースから選択する。更にその中の特定物体を指定して提供する、あるいはカメラから直接入力するなどの手法等、どのようなものであってもよい。図６に示すユーザー指示画像６１は、このような画像の一例を示している。画像入力手段１に入力された画像クエリは、カテゴリ決定手段２に出力されると共に、画像修正処理手段５に出力される。
【００２４】
次に、カテゴリ決定手段２は、画像クエリのカテゴリを決定し、そのカテゴリ決定結果を画像修正データベース４に出力する（ステップＳＴ２２）。このカテゴリ決定方法は、画像修正学習時のステップＳＴ１２と同様である。画像修正データベース４に対してカテゴリ決定結果が与えられると、画像修正処理手段５は、画像入力手段１から入力された画像クエリのカテゴリに対応した修正パターンのデータである学習パラメータを取得する。
【００２５】
画像修正処理手段５は、画像修正データベース４から取得した学習パラメータに基づいて画像修正を行う（ステップＳＴ２３）。ここでの画像修正処理は、画像修正学習時のステップＳＴ１３で説明したように、学習時と異なる入力画像からでも学習した画像に近いパターンを想起する。即ち、画像中の不要部分の消去及び隠蔽部分の画像復元処理を行い、検索対象画像データベース８の登録画像に近い画像を得る。尚、その手法としては画像修正学習時の説明したのと同様であるため、ここでの詳細な説明は省略する。図６における自動修正画像６２にその一例を示している。
【００２６】
次に、修正内容確認手段６により修正内容確認処理を行う（ステップＳＴ２４）。このステップＳＴ２４では、画像修正処理手段５において想起された自動修正画像６２がユーザーの意図した方向に修正されていない場合は、ユーザーからの修正指示に基づいて、画像修正データベース４における学習パラメータを変更したり、画像クエリの修正が繰り返し処理によりステップ的に進むことから、各ステップにおける修正量を制御するパラメータの変更を行ったりする。また、カテゴリ決定手段２でカテゴリに分類する場合に、形状情報を重視する、色情報を重視する、あるいは複合的な重み付けを変化させる、といったようにカテゴリ判定基準の再設定を行う。また、所望の結果が得られない場合には手動で画像クエリを修正する、といった動作を行う。更に、設定により、ステップＳＴ２４における確認処理をスキップすることも可能である。
【００２７】
最後に、画像検索手段７は、以上の処理において修正された画像を用いて、検索対象画像データベース８中に存在する画像に対する検索処理を行い（ステップＳＴ２５）、検索結果を出力する（ステップＳＴ２６）。例えば、検索結果として図６の検索結果６３に示すような画像が検索され、出力される。また、ステップＳＴ２５における検索処理としては、例えば、テンプレートマッチングと呼ばれる画像処理や画像特徴量を用いた検索処理を行う。これらの処理についても、画像検索の標準化規格であるＭＰＥＧ−７や「画像解析ハンドブック」（東京大学出版会，１９９１）において多くの手法が述べられているため、ここでの詳細な説明は省略する。また、これ以外にも、例えば、奥田晴久，橋本学，鷲見和彦，佐々木和則，“部分テンプレート組み合わせ最適化に基づくロバスト画像照合”，電気学会論文誌Ｃ，Ｖｏｌ．１２４，Ｎｏ．３，ｐｐ．６２３−６２９，２００４といった文献に記載されている手法を用いてもよい。
【００２８】
以上のように、実施の形態１の画像検索装置によれば、画像の修正パターンを蓄積する画像修正データベースと、画像修正データベースの修正パターンに基づいて、与えられた画像クエリを修正する画像修正処理手段と、検索対象となる画像を蓄積する検索対象画像データベースと、画像修正処理手段で修正された画像クエリに基づいて、検索対象画像データベースを検索し、検索結果を出力する画像検索手段とを備えたので、検索作業の時間短縮化を図ることができると共に、画像中のパターンの一部が隠蔽されていても確実な検索を行うことができる。
【００２９】
また、実施の形態１の画像検索装置によれば、画像修正データベースは、修正パターンを画像のカテゴリ毎に蓄積すると共に、画像クエリのカテゴリを決定するカテゴリ決定手段を備え、画像修正処理手段は、カテゴリ決定手段で決定された画像クエリのカテゴリに対応した修正パターンに基づいて、画像クエリを修正するようにしたので、同種のカテゴリに対応した修正パターンにより画像クエリの修正が行われるため、より確実な検索を行うことができる。
【００３０】
また、実施の形態１の画像検索装置によれば、与えられた画像に基づいて画像の修正パターンを学習し、その学習結果を画像修正データベースに蓄積する画像修正学習手段を備えたので、画像クエリを修正するための修正パターンを確実に求めることができる。
【００３１】
実施の形態２．
実施の形態２は、画像修正処理手段５で画像修正された画像を検索対象画像データベース８に登録するよう構成したものである。
図７は、実施の形態２における画像検索装置の構成図である。
図示の画像検索装置は、画像入力手段１、カテゴリ決定手段２、画像修正学習手段３、画像修正データベース４、画像修正処理手段５、修正内容確認手段６ａ、画像検索手段７、検索対象画像データベース８からなり、これらの基本的な構成は実施の形態１と同様であるが、画像入力手段１に対して登録用画像が与えられ、この登録用画像に対してカテゴリ決定手段２におけるカテゴリ決定、画像修正学習手段３による画像修正学習、画像修正処理手段５による画像修正が行われるよう構成されている。また、修正内容確認手段６ａからの出力画像が検索対象画像データベース８に登録されるよう構成されている。
【００３２】
次に、実施の形態２の動作について説明する。
先ず、画像修正データベース学習処理については、実施の形態１と同様であるため、ここでの説明は省略する。
【００３３】
図８は、検索対象画像データベースへの登録処理を示すフローチャートである。
図８のフローチャートにおいて、ステップＳＴ３１〜ステップＳＴ３４は、実施の形態１における図４中のステップＳＴ２１〜ステップＳＴ２４と同様である。即ち、画像入力手段１から登録用画像としてのユーザー指示画像が入力されると、画像修正処理手段５は、画像修正データベース４の画像修正パラメータに基づいて画像修正を行い、この修正画像に対して修正内容確認手段６ａによって修正内容の確認が行われる。
【００３４】
修正内容確認手段６ａによって修正内容の確認が終了すると、その修正画像が検索用の画像として検索対象画像データベース８に登録される（ステップＳＴ３５）。この登録処理において、修正内容確認手段６ａは、修正画像を元の画像に置き換えて登録するか、あるいは、修正画像を検索用として修正前の画像についても検索結果表示用に保持して登録するかをユーザーに選択させ、その選択結果に基づいて登録を行う。
【００３５】
図９は、ユーザー指示画像と自動修正画像とを示す説明図である。
ユーザー指示画像９１は、画像入力手段１に入力される登録用の画像であり、自動修正画像９２は、修正内容確認手段６ａにて確認が行われ、検索対象画像データベース８に登録される画像である。
【００３６】
次に、画像検索処理については、実施の形態１と同様であるが、上記ステップＳＴ３５で修正画像を検索用として修正前の画像を検索結果表示用として保持するようにした場合は、検索結果出力として修正前の画像も含めて出力する。このように修正前の画像も表示することにより、ユーザーは検索結果が正しいか否かを容易に確認することができ、また、検索結果として複数の画像が得られた場合でもユーザーは正しい画像の特定を容易に行うことができる。
【００３７】
以上のように、実施の形態２の画像検索装置によれば、画像修正処理手段は、登録用画像が与えられた場合、登録用画像を画像修正データベースの修正パターンに基づいて修正し、検索対象画像データベースは、画像修正処理手段で修正された登録用画像を検索対象画像として蓄積するようにしたので、登録用画像の記述内容が不十分な画像からでも、検索により適した内容に自動的に修正することができ、従って、修正に要する時間を大幅に短縮しながら、より適した検索結果を得るための検索対象画像データベースを構築することが可能となる。
【００３８】
また、実施の形態２の画像検索装置によれば、カテゴリ決定手段は、与えられた登録用画像のカテゴリを決定すると共に、画像修正処理手段は、カテゴリ決定手段で決定された登録用画像のカテゴリに基づいて登録用画像を画像修正データベースの修正パターンで修正し、検索対象画像データベースは、画像修正処理手段で修正された登録用画像を検索対象画像として蓄積するようにしたので、同種のカテゴリに対応した修正パターンを用いて登録用画像の修正が行われるため、より適した登録用画像の修正結果を得ることができ、更に良好な検索結果を得るための検索対象画像データベースを構築することができる。
【００３９】
尚、上記各実施の形態では、画像検索対象として航空機の場合を説明したが、これに限定されるものではなく、例えば、建造物や人物、工業製品といったように種々の対象に対して適用可能である。
【図面の簡単な説明】
【００４０】
【図１】この発明の実施の形態１による画像検索装置を示す構成図である。
【図２】この発明の実施の形態１による画像検索装置の学習処理を示すフローチャートである。
【図３】この発明の実施の形態１による画像検索装置の学習処理のデータの流れを示す説明図である。
【図４】この発明の実施の形態１による画像検索装置の画像検索処理を示すフローチャートである。
【図５】この発明の実施の形態１による画像検索装置の画像検索処理のデータの流れを示す説明図である。
【図６】この発明の実施の形態１による画像検索装置の画像検索処理の画像の一例を示す説明図である。
【図７】この発明の実施の形態２による画像検索装置を示す構成図である。
【図８】この発明の実施の形態２による画像検索装置の検索対象画像データベースへの登録処理を示すフローチャートである。
【図９】この発明の実施の形態２による画像検索装置のユーザー指示画像と自動修正画像とを示す説明図である。
【符号の説明】
【００４１】
１  画像入力手段、２  カテゴリ決定手段、３  画像修正学習手段、４  画像修正データベース、５  画像修正処理手段、７  画像検索手段、８  検索対象画像データベース、６１，９１  ユーザー指示画像、６２，９２  自動修正画像、６３  検索結果。
【図１】
2008021169.tif 000003
【図２】
2008021169.tif 000004
【図３】
2008021169.tif 000005
【図４】
2008021169.tif 000006
【図５】
2008021169.tif 000007
【図６】
2008021169.tif 000008
【図７】
2008021169.tif 000009
【図８】
2008021169.tif 000010
【図９】
2008021169.tif 000011