(57)【要約】      （修正有）【課題】複数のクエリ画像を組み合わせ、容易に所望画像を検索する装置の提供。【解決手段】表示画面に指定画像Ｓが配置可能な領域Ａ１を表示させ、該領域Ａ１に配置された指定画像Ｓの重心位置と反転指定ｓ２、近傍範囲指定ｓ１、重視ボタンｓ３の指示に応じて論理式の指定を受け付け、特徴量空間において特定される指定画像Ｓの特徴量を算出し、指定画像Ｓの特徴量と論理式に基づいて、特徴量空間における検索領域を特定する。特徴量が前記検索領域に属する画像を検索し、結果を領域Ａ３に一覧表示する。【選択図】図４
2010250426.tif 000002
【特許請求の範囲】
【請求項１】
表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける条件受付手段と、
特徴量空間において特定される前記指定画像の特徴量を算出する特徴量算出手段と、
前記指定画像の特徴量と前記論理式に基づいて、前記特徴量空間における検索領域を特定する領域特定手段と、
特徴量が前記検索領域に属する画像を検索する検索手段とを具備することを特徴とする画像処理装置。
【請求項２】
前記条件受付手段は、前記指定画像について前記特徴量空間における近傍範囲の大きさの指定を受け付け、
前記領域特定手段は、指定された大きさの前記近傍範囲に基づき前記検索領域を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記条件受付手段は、前記検索手段が検索した画像を表示しつつ、前記指定画像と前記論理式の再指定を受け付けることを特徴とする請求項１または請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記条件取得手段は、キーワードの指定を受け付け、該指定されたキーワードに対応付けられた画像を前記指定画像として取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記条件受付手段は、
前記領域において複数の前記指定画像が重なって配置された場合、これらの指定画像についての論理積が指定されたとし、
前記領域において、複数の前記指定画像が重なることなく配置された場合、これらの指定画像についての論理和が指定されたとすることを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記条件受付手段は、
前記領域において前記指定画像が天地反転した状態で配置された場合、該指定画像についての論理否定が指定されたとすることを特徴とする請求項４または請求項５のいずれかに記載の画像処理装置。
【請求項７】
表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける条件受付手段と、
特徴量空間において特定される前記指定画像の特徴量を算出する特徴量算出手段と、
前記指定画像の特徴量と前記論理式に基づいて、前記特徴量空間における検索領域を特定する領域特定手段と
特徴量が前記検索領域に属する画像を検索する検索手段と、
前記検索された画像を印刷する印刷手段とを具備することを特徴とする印刷装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および印刷装置に関し、特に、画像を検索する画像処理装置および印刷装置に関する。
【背景技術】
【０００２】
クエリー画像を入力し、該クエリー画像の特徴量に最も類似する特徴量を有する画像を検索する技術が提案されている（特許文献１、参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−８５２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年のデジタルスチルカメラの普及にともなって、各ユーザーが管理する画像データの数が急速に増加している。このような状況の中で。上記文献のように単一のクエリー画像の特徴量に基づいて検索しても、ユーザーが真に所望するものを検索することは困難であるという問題があった。また、複数のクエリー画像を組み合わせて検索を行う場合、論理式を用いることとなるが、論理式は一般のユーザーには馴染みが薄く、扱いづらいという問題もあった。
本発明は、上記課題の少なくとも一つにかんがみてなされたもので、容易に所望する画像の検索結果を得ることが可能な画像処理装置および印刷装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
本発明の適用例の一つでは、表示画面において指定画像が配置可能な領域を表示させ、該領域に配置された前記指定画像の位置に応じて論理式の指定を受け付ける。そして、特徴量算出手段が特徴量空間において特定される前記指定画像の特徴量を算出する。領域特定手段は、前記特徴量空間において、指定画像の特徴量と前記論理式に基づき検索領域を特定する。検索手段は、特徴量が前記検索領域に属する画像を検索する。前記指定画像について論理式を指定することができるため、ユーザーが所望する検索結果を得ることができる。また、論理式を直接入力する必要がなく、感覚的な操作で論理式を指定することができる。
【０００６】
また、前記指定画像について前記特徴量空間における近傍範囲の大きさの指定を受け付け、該指定された大きさの前記近傍範囲に基づき前記検索領域を特定するようにしてもよい。このようにすることにより、前記検索領域の大きさを調整することができ、ユーザーが所望する検索結果を得ることができる。
【０００７】
また、前記検索手段が検索した画像を表示しつつ、前記指定画像または前記論理式の再指定を受け付けるようにするのが望ましい。すなわち、最初に指定した前記指定画像と前記論理式によって満足のいく検索結果が得られない場合もあるため、所望の検索結果が得られるまで前記指定画像と前記論理式の再指定を受け付けるのが望ましい。前記指定画像と前記論理式を再指定するにあたって、前記検索手段が検索した画像が表示されるため、検索結果がどのように変動するかを容易に確認することができる。
【０００８】
また、前記指定画像を直接指定するものに限られず、前記指定画像を間接的に指定するようにしてもよい。例えば、キーワードの指定を受け付け、該指定されたキーワードに対応付けられた画像を前記指定画像として取得するようにしてもよい。このようにすれば、キーワードによっても検索条件を指定することができ、ユーザーの使い勝手を向上させることができる。
【０００９】
また、前記条件受付手段の別の好適な例として、前記領域において複数の前記指定画像が重なって配置された場合、これらの指定画像の前記近傍範囲の論理積が指定されたとしてもよい。前記指定画像の重なりにより、感覚的に論理積を指定することができる。さらに、前記領域において複数の前記指定画像が重なることなく配置された場合、これらの指定画像の前記近傍範囲の論理和が指定されたとしてもよい。前記指定画像が重ならないことにより、感覚的に論理和を指定することができる。
【００１０】
さらに、前記条件受付手段の別の好適な例として、前記領域において前記指定画像が天地反転した状態で配置された場合、該指定画像の前記近傍範囲の論理否定が指定されたとしてもよい。前記指定画像が反転することにより、感覚的に論理否定を指定することができる。
【００１１】
なお、本発明は、画像処理装置のみならず、画像処理装置を構成する各手段が実行する各行程を備える画像処理方法においても実現することができる。さらに、前記手段に相当する機能をコンピューターに実行させる画像処理プログラムにおいても本発明が実現できる。また、本発明の画像処理装置によって検索された画像を印刷する印刷装置においても本発明が実現できる。
【図面の簡単な説明】
【００１２】
【図１】コンピューターのハードウェア構成を示すブロック図である。
【図２】コンピューターのソフトウェア構成を示すブロック図である。
【図３】画像検索処理の流れを示すフローチャートである。
【図４】検索条件を受け付けるためのＵＩ画面を示す図である。
【図５】クエリーテーブルおよび特徴量空間を示す図である。
【図６】変形例におけるＵＩ画面を示す図である。
【図７】変形例におけるＵＩ画面を示す図である。
【図８】変形例におけるＵＩ画面を示す図である。
【図９】変形例におけるＵＩ画面を示す図である。
【発明を実施するための形態】
【００１３】
１．画像処理装置の構成
２．画像検索処理の流れ
３．変形例
【００１４】
１．画像処理装置の構成
図１は、本発明の画像処理装置を具体的に実現するコンピューターの一例の構成を示している。同図において、コンピューター１０はＣＰＵ１１とＲＡＭ１２とＲＯＭ１３とハードディスクドライブ（ＨＤＤ）１４と汎用インターフェイス（ＧＩＦ）１５とビデオインターフェイス（ＶＩＦ）１６と入力インターフェイス（ＩＩＦ）１７とバス１８とから構成されている。バス１８は、コンピューター１０を構成する各要素１１〜１７の間でのデータ通信を実現するものであり、図示しないチップセット等によって通信が制御されている。ＨＤＤ１４には、オペレーティングシステム（ＯＳ）を含む各種プログラムを実行するためのプログラムデータ１４ａが記憶されており、当該プログラムデータ１４ａをＲＡＭ１２に展開しながらＣＰＵ１１が当該プログラムデータ１４ａに準じた演算を実行する。
【００１５】
また、ＨＤＤ１４には、デジタルスチルカメラやスキャナによって画像入力された多数の画像データＩＤと、画像検索の際に生成される特徴量テーブルＴ１とクエリーテーブルＴ２が記憶されている。ＧＩＦ１５は、例えばＵＳＢ規格に準じたインターフェイスを提供するものであり、外部のプリンター２０をコンピューター１０に接続させている。ＶＩＦ１６はコンピューター１０を外部のディスプレイ４０に接続し、ディスプレイ４０に画像を表示するためのインターフェイスを提供する。ＩＩＦ１７はコンピューター１０を外部のキーボード５０ａとマウス５０ｂに接続し、キーボード５０ａとマウス５０ｂからの入力信号をコンピューター１０が取得するためのインターフェイスを提供する。
【００１６】
図２は、コンピューター１０において実行されるプログラムのソフトウェア構成を示している。同図において、オペレーティングシステム（ＯＳ）と画像検索アプリケーションＰ１とプリンタードライバーＰ２が実行されている。ＯＳは各プログラム間のインターフェイスを提供し、プリンタードライバーＰ２はプリンター２０を制御するための処理を実行する。画像検索アプリケーションＰ１は、条件受付部Ｐ１ａと特徴量算出部Ｐ１ｂと領域特定部Ｐ１ｃと検索部Ｐ１ｄとから構成されている。画像検索アプリケーションＰ１を構成する各モジュールＰ１ａ〜Ｐ１ｄが実行する処理の詳細については後述する画像検索処理の流れとともに説明する。
【００１７】
２．画像検索処理の流れ
図３は、画像検索処理の流れを示している。ステップＳ１００においては、検索条件を受け付けるためのＵＩ画面をディスプレイ４０に表示させる。条件受付部Ｐ１ａは、ＵＩ画面に対応する画像データを生成し、該画像データをＶＩＦ１６に出力する。
【００１８】
図４は、検索条件を受け付けるためのＵＩ画面を示している。ＵＩ画面においては、検索範囲エクスプローラーＥ１とクエリー指定領域Ａ１と一覧領域Ａ２と検索結果表示領域Ａ３と印刷実行ボタンＢ１と検索条件保存ボタンＢ２と検索条件読込ボタンＢ３とが設けられている。検索範囲エクスプローラーＥ１においては、ＨＤＤ１４に形成されたフォルダを一覧化されるとともに、各フォルダに対応するチェックボックスが設けられている。このチェックボックスがチェックされたフォルダに属する画像データＩＤが検索の対象とされる。クエリー指定領域Ａ１は矩形状の領域であり、初期において所定色のベタ画像とされる。一覧領域Ａ２は、検索範囲エクスプローラーＥ１に隣接して設けられており、検索範囲エクスプローラーＥ１においてチェックされたフォルダに属する画像データＩＤのサムネイルＳを並べて表示する。検索結果表示領域Ａ３も矩形状の領域であり、初期において所定色のベタ画像とされる。
【００１９】
ステップＳ１１０において、条件受付部Ｐ１ａは、ＵＩ画面に対するマウス５０ｂの操作を検出し、いずれかの操作が検出されるまで待機する。ステップＳ１１０において、いずれかの操作が検出されると、該操作が検索範囲エクスプローラーＥ１に対する操作であるか否かを判定する（ステップＳ１２０）。検索範囲エクスプローラーＥ１に対する操作であれば、ステップＳ１３０において、チェックボックスがチェックされているフォルダに属する画像データＩＤのサムネイルＳを取得し、該取得したサムネイルＳを一覧領域Ａ２において並べて表示する。これにより、ユーザーは、検索範囲として指定したフォルダに属する画像データＩＤが示す画像の概要を把握することができる。
【００２０】
ステップＳ１４０において、特徴量算出部Ｐ１ｂは検索範囲として指定したフォルダに属する各画像データＩＤについての複数の特徴量を算出する。特徴量は、数値化することが可能な指標であればよく、例えば、各画像データＩＤが示す画像の明るさやコントラストやエッジ量や色数等の基本的な特徴量を算出しもよい。また、画像全体についての基本的な特徴量を算出するのに限らず、例えば画像の特定領域に関する特徴量を算出するようにしてもよい。さらに、各画像データＩＤについて顔検出を行い、その結果に基づく特徴量を算出するようにしてもよい。さらに、画像から得られる特徴量に限られず、画像データＩＤに添付された撮影時刻等の添付情報を特徴量としてもよい。本実施例では、３種類以上の特徴量を算出し、３次元以上の特徴量空間が形成できるようにする。また、各特徴量のレンジが０〜１００となるように、各特徴量が正規化されるものとする。ステップＳ１４５においては、検索範囲内の各画像データＩＤのファイル名と、各画像データＩＤの各特徴量を特徴量テーブルＴ１に対応付けて記憶する。
【００２１】
検索範囲エクスプローラーＥ１に対する操作は、複数回受け付けられる場合も考えられるが、２回目以降の操作は、フォルダのチェックを追加したり取り消したりする操作となる。検索範囲のフォルダのチェックが追加された場合には、追加されたフォルダに属する画像データＩＤについてのみステップＳ１４０を実行し、特徴量テーブルＴ１に追記すれば足りる。一方、検索範囲のフォルダのチェックが取り消された場合には、取り消されたフォルダに属する画像データＩＤについての情報を特徴量テーブルＴ１から削除すればよい。ＵＩ画面に対するマウス５０ｂの操作が検索範囲エクスプローラーＥ１に対する操作でなかった場合には、該操作がサムネイルＳのいずれかを一覧領域Ａ２からドラッグし、クエリー指定領域Ａ１のいずれかの位置にドロップ（配置）したものであるか否かを判定する（ステップＳ１５０）。
【００２２】
すなわち、一覧領域Ａ２に表示されたいずれかのサムネイルＳをクエリー指定領域Ａ１に移動させる操作が行われたか否かが判定される。ここで、位置とは、ドロップされたときのサムネイルＳの重心位置とする。クエリー指定領域Ａ１にドロップされているサムネイルＳに対応する画像データＩＤをクエリー画像ＳＣと表記する。なお、クエリー画像は本発明の指定画像に相当する。ステップＳ１６０では、クエリー指定領域Ａ１にドロップされたサムネイルＳに対応するクエリー画像ＳＣについての反転指定値ａと順序指定値ｂと近傍範囲指定値ｃをそれぞれデフォルト値に設定する。反転指定値ａは、非反転を示す“０”、または、反転を示す“１”のいずれかの値をとり、デフォルト値は“０”とされる。順序指定値ｂのデフォルト値は、クエリーテーブルＴ２にすでに登録され、かつ、反転指定値ａが“０”となっているサムネイルＳの数に１を加えた自然数とされる。すなわち、順序指定値ｂは、クエリーテーブルＴ２において反転指定値ａが“０”となっている画像データＩＤに順次割り振られる連番である。
【００２３】
近傍範囲指定値ｃは、０〜８０までの値をとり、デフォルト値は“４０”とされる。ステップＳ１７０においては、ドロップされたサムネイルＳに対応するクエリー画像ＳＣのファイル名とドロップされた位置を取得し、該画像データＩＤについての情報（ファイル名、位置、反転指定値ａと順序指定値ｂと近傍範囲指定値ｃ）をクエリーテーブルＴ２に登録させる。ステップＳ１７５においては、ドラッグ＆ドロップされたサムネイルＳに対応するクエリー画像ＳＣについての順序指定値ｂをクエリーテーブルＴ２に登録する。
【００２４】
ステップＳ１８０においては、ステップＳ１１０にて検出した操作がサムネイルＳのいずれかをクエリー指定領域Ａ１内においてドラッグ＆ドロップしたものであるか否かを判定する。すなわち、いずれかのサムネイルＳをクエリー指定領域Ａ１内において移動させる操作が行われたか否かが判定される。ステップＳ１９０では、クエリー指定領域Ａ１内において移動させられたサムネイルＳに対応するクエリー画像ＳＣの位置をクエリーテーブルＴ２にて更新する。すでにクエリー指定領域Ａ１内に存在しているサムネイルＳをドラッグしているため、当該サムネイルＳに対応するクエリー画像ＳＣについての情報は予めクエリーテーブルＴ２に登録されている（ステップＳ１７０）こととなる。そのため、すでにクエリーテーブルＴ２に登録されている画像データＩＤの位置を、ドロップの位置で更新する。
【００２５】
ステップＳ２００においては、ステップＳ１１０にて検出した操作がサムネイルＳのいずれかをクエリー指定領域Ａ１からドラッグし、一覧領域Ａ２にドロップしたものであるか否かを判定する。すなわち、クエリー指定領域Ａ１に表示されたいずれかのサムネイルＳを一覧領域Ａ２に移動させる操作が行われたか否かが判定される。ステップＳ２１０では、クエリー画像ＳＣから除外されたとして、一覧領域Ａ２にドロップされたサムネイルＳに対応するクエリー画像ＳＣについての情報をクエリーテーブルＴ２から削除する。削除された画像データＩＤの反転指定値ａが“０”であった場合には、いずれかの順序指定値ｂが割り振られているため、該順序指定値ｂよりも大きい順序指定値ｂを有する画像データＩＤについては順序指定値ｂを１ずつデクリメントする。
【００２６】
ステップＳ２２０においては、ステップＳ１１０にて検出した操作がクエリー指定領域Ａ１内のサムネイルＳに付随して表示された近傍範囲スライダーｓ１のポインタｐに対するドラッグ＆ドロップであるか否かを判定する。近傍範囲スライダーｓ１のポインタｐに対するドラッグ＆ドロップである場合には、ステップＳ２３０においてポインタｐがドロップされた位置を取得し、当該位置によってサムネイルＳに対応するクエリー画像ＳＣの近傍範囲指定値ｃを更新する。図４に示すように、近傍範囲スライダーｓ１は、左端が近傍範囲指定値ｃの０に対応付けられ、中央が近傍範囲指定値ｃの４０に対応付けられ、右端が近傍範囲指定値ｃの８０に対応付けられたスライダーである。ユーザーは、近傍範囲スライダーｓ１の任意の位置においてポインタｐをドロップすることにより、所望の近傍範囲指定値ｃを指定することができる。
【００２７】
ステップＳ２４０においては、ステップＳ１１０にて検出した操作がクエリー指定領域Ａ１内のサムネイルＳに付随して表示された反転ボタンｓ２に対するクリック操作であるか否かを判定する。反転ボタンｓ２に対するクリック操作である場合には、クエリーテーブルＴ２において、クリック操作された反転ボタンｓ２が付随するサムネイルＳに対応するクエリー画像ＳＣの反転指定値ａを更新する（ステップＳ２５０）。ここでは、現在の反転指定値ａが“０”であれば“１”に更新し、“１”であれば“０”に更新する。“１”に更新した場合には、該クエリー画像ＳＣについて順序指定値ｂを新たに割り振る。すなわち、クエリーテーブルＴ２にすでに登録され、かつ、反転指定値ａが“０”となっているクエリー画像ＳＣの数に１を加えた順序指定値ｂが付与される。一方、“０”に更新した場合には、該画像データＩＤについての順序指定値ｂを削除するとともに、該順序指定値ｂよりも大きい順序指定値ｂを有する画像データＩＤについては順序指定値ｂを１ずつデクリメントする。
【００２８】
ステップＳ２６０においては、ステップＳ１１０にて検出した操作がクエリー指定領域Ａ１内のサムネイルＳに付随して表示された重視ボタンｓ３または非重視ボタンｓ４に対するクリック操作であるか否かを判定する。重視ボタンｓ３に対するクリック操作である場合には、クエリーテーブルＴ２において、操作された重視ボタンｓ３が付随するサムネイルＳに対応するクエリー画像ＳＣの順序指定値ｂを１だけデクリメントする（ステップＳ２７０）。すなわち、もとの順序指定値ｂがｎであった場合、順序指定値ｂを（ｎ−１）とする。同時に、順序指定値ｂが（ｎ−１）であったサムネイルＳに対応するクエリー画像ＳＣについては順序指定値ｂをｎにインクリメントする。一方、非重視ボタンｓ４に対するクリック操作である場合には、クエリーテーブルＴ２において、操作された非重視ボタンｓ４が付随するサムネイルＳに対応するクエリー画像ＳＣの順序指定値ｂを１だけインクリメントする（ステップＳ２８０）。もとの順序指定値ｂがｎであった場合、順序指定値ｂを（ｎ＋１）とし、同時に、順序指定値ｂが（ｎ＋１）であったサムネイルＳについては順序指定値ｂをｎにデクリメントする。なお、図４に示すように順序指定値ｂは各サムネイルＳに付随して（左上隅に重畳して）表示されている。
【００２９】
以上説明したように、ステップＳ１１０〜Ｓ２８０においては、各操作を検出し、各操作に応じて特徴量テーブルＴ１またはクエリーテーブルＴ２が更新される。特徴量テーブルＴ１またはクエリーテーブルＴ２が更新されると、ステップＳ２９０において、領域特定部Ｐ１ｃが特徴量空間において検索領域を特定する。
【００３０】
図５ＡはクエリーテーブルＴ２の例を示し、図５Ｂ，５Ｃは特徴量空間において検索領域が特定される様子を模式的に示している。図示の簡略化のため図５Ｂは、２次の特徴量平面を示している。クエリーテーブルＴ２においては、クエリー要素として３個の画像データＩＤ（クエリー画像ＳＣ１，ＳＣ２，ＳＣ３）が登録されている。まず、特徴量テーブルＴ１を参照して、クエリー画像ＳＣ１，ＳＣ２，ＳＣ３の特徴量を取得し、該特徴量が示す特徴座標Ｃ１，Ｃ２，Ｃ３を特徴量空間にプロットする。次に、クエリーテーブルＴ２を参照して、クエリー画像ＳＣ１，ＳＣ２，ＳＣ３の近傍範囲指定値ｃを取得し、特徴座標Ｃ１，Ｃ２，Ｃ３からの距離がそれぞれ近傍範囲指定値ｃ以内となる領域を特定する。距離は特徴量空間におけるユークリッド距離を使用すればよい。図５Ｂでは、特徴座標（●で図示）を中心とし、直径が近傍範囲指定値ｃとなる円の内側の領域が特定されることとなる。これらの円によって確定される集合を集合Ｇ１，Ｇ２，Ｇ３と表記するものとする。
【００３１】
次に、クエリー画像ＳＣ１，ＳＣ２，ＳＣ３のうち反転指定値ａが“１”となっているものをクエリーテーブルＴ２から特定する。そして、反転指定値ａが“１”となっているクエリー画像ＳＣ１，ＳＣ２，ＳＣ３についての集合Ｇ１，Ｇ２，Ｇ３について論理否定が指定されたものとする。図４，５Ａの例では、クエリー画像ＳＣ１についての反転指定値ａが“１”となっており、集合Ｇ１に論理否定が指定されたものとされる。次に、クエリー画像ＳＣ１，ＳＣ２，ＳＣ３に対応するサムネイルＳが重なっているか否かを特定する。クエリー画像ＳＣ１，ＳＣ２，ＳＣ３に対応するサムネイルＳのクエリー指定領域Ａ１における位置関係は、図４に示すものとする。サムネイルＳが重なっている場合には、重なったサムネイルＳに対応する画像データＩＤに関する検索領域同士の論理積が指定されているものとする。一方、サムネイルＳが重なっていない場合には、重なっていないサムネイルＳに対応する画像データＩＤに関する検索領域同士の論理和が指定されているものとする。なお、本実施例では、サムネイルＳが重なっていなければ論理和が指定されることとしたが、サムネイルＳ同士が重なることなく接している場合に論理和が指定されるようにしてもよい。以上により、図４に示す位置関係および図５ＡのクエリーテーブルＴ２に基づいて下記の（１）式の論理式を得ることができる。
【００３２】
【数１】
2010250426.tif 000003
前記（１）式に示すように、集合Ｇ１は、論理否定となっている。クエリー画像ＳＣ１，ＳＣ２のサムネイルＳ同士が重なっているため、集合Ｇ１と集合Ｇ２との間で論理積がとられている。さらに、クエリー画像ＳＣ３のサムネイルＳはいずれのサムネイルＳとも重なっていないため、集合Ｇ３については論理和がとられている。論理式は、クエリー指定領域Ａ１において左側に配置されたサムネイルＳから順に作成されることとする。以上のようにして論理式が作成できると、該論理式に基づいて検索領域を特定する。この検索領域の特定は、通常の計算規則に則った計算順序で行えばよい。すなわち、まず論理否定に基づく領域を特定し、その後、論理積に基づく領域を特定し、最後に論理和に基づく領域を特定すればよい。同一の論理記号が複数ある場合には、左側から順に特定すればよい。
【００３３】
図５Ｃは、最終的に特定された検索領域をハッチングによって示している。本例では、クエリー画像ＳＣ２，ＳＣ３に類似する特徴を有し、かつ、クエリー画像ＳＣ１とは類似しないような領域が検索領域として特定されることとなる。以上のように領域特定部Ｐ１ｃが検索領域を特定すると、検索部Ｐ１ｄは、ステップＳ３００において特徴量テーブルＴ１を参照しつつ特徴量空間において該検索領域に属する画像データＩＤを検索する。特徴量テーブルＴ１においては、検索範囲の画像データＩＤのすべてについて特徴量が記憶されているため、該特徴量が検索領域に属するか否かを判定していくことができる。ステップＳ３１０においては、検索された各画像データＩＤについて適合指数Ｘを算出する。適合指数Ｘは、値が小さければ小さいほどユーザーの指定した検索条件にマッチした画像データＩＤであることを表す指数であり、下記の（２）式によって算出される。
【数２】
2010250426.tif 000004
【００３４】
前記の（２）式において、Ｕbは、クエリーテーブルＴ２において反転指定値ａが“０”となっている画像データＩＤと、検索された画像データＩＤとの特徴量空間における距離を示している。クエリーテーブルＴ２において反転指定値ａが“０”となっている画像データＩＤのそれぞれに対して順序指定値ｂが割り振られているため、順序指定値ｂの下付文字によって距離Ｕbを識別する。前記の（２）式において、検索されたある画像データＩＤについての適合指数Ｘは、クエリーテーブルＴ２において反転指定値ａが“０”となっている各画像データＩＤとの距離Ｕbを、順序指定値ｂの逆数によって重み付け、線形結合した値とされている。順序指定値ｂが小さいほど距離Ｕbの重みが大きくなり、順序指定値ｂが小さいほど適合指数Ｘへの寄与が大きくなる。検索された各画像データＩＤについて適合指数Ｘが算出できると、検索された各画像データＩＤを適合指数Ｘの昇順にソートする（ステップＳ３２０）。
【００３５】
ステップＳ３３０において、条件受付部Ｐ１ａは、検索結果表示領域Ａ３において、検索された各画像データＩＤのサムネイルＳをソートした順序で並べて表示するようにＵＩ画面を更新し、クエリー指定領域Ａ１におけるサムネイルＳの表示状態も更新する。具体的には、図４に示すように、反転指定値ａが“０”の画像データＩＤを示すサムネイルＳについてはクエリー画像ＳＣの本来の方向で表示させ、反転指定値ａが“１”の画像データＩＤを示すサムネイルＳについてはクエリー画像ＳＣの本来の方向から１８０°天地反転させて表示させる。従って、反転指定値ａに変動があった場合には、クエリー指定領域Ａ１におけるサムネイルＳの表示方向が反転することとなる。また、順序指定値ｂに変動があった場合には、サムネイルＳに付随する順序指定値ｂの表示も更新させる。以上のようにＵＩ画面を更新すると、リターンする。すなわち、更新したＵＩ画面を表示させ、さらなる操作を受け付ける。
【００３６】
以上説明したループ処理（ステップＳ１１０〜Ｓ３３０）を実行することにより、ユーザーのマウスの操作を監視し、該操作に応じてＵＩ画面の検索結果表示領域Ａ３に検索結果として表示されるサムネイルＳを更新することができる。従って、ユーザーはＵＩ画面において各指定項目を再指定しながら、より好ましい検索結果を得ることができる。また、上述したＵＩ画面によれば直感的な操作で画像の検索を行うことができる。まず、ユーザーが一覧領域Ａ２から検索したいと思う画像に類似する画像データＩＤのサムネイルＳを選び、クエリー指定領域Ａ１にドラッグ＆ドロップすることができる。例えば、花の写真を検索したい場合、花が撮影されたいずれかの写真をクエリー指定領域Ａ１にドロップすればよい。サムネイルＳをドロップした段階で、該ドロップが検出され、サムネイルＳに特徴量が類似する画像データＩＤのサムネイルＳが検索結果として検索結果表示領域Ａ３に表示されることとなる。検索結果として表示されるサムネイルＳが多すぎたり、あまり似ていない画像データＩＤが検索された感じられた場合には、ユーザーは近傍範囲スライダーｓ１のポインタｐをドラッグ＆ドロップして検索範囲を狭めることができる。逆に、検索結果として表示されるサムネイルＳが少なすぎた場合には、ユーザーは近傍範囲スライダーｓ１のポインタｐをドラッグ＆ドロップして検索範囲を広げることができる。
【００３７】
また、クエリー指定領域Ａ１にドロップし、該サムネイルＳに付随する反転ボタンｓ２をクリックすることにより、該サムネイルＳが示すクエリー画像ＳＣの近傍範囲について論理否定を指定することができる。従って、ユーザーが検索したくない系統の画像を容易に指定することができる。付随する反転ボタンｓ２がクリックされたサムネイルＳに対応するクエリー画像ＳＣについては、反転指定値ａが“１”となり、ＵＩ画面の表示を更新する際に、天地反転させられることなる。従って、ユーザーは、論理否定を指定したことを感覚的に認知することができる。さらに、単一のサムネイルＳだけでなく複数のサムネイルＳを一覧領域Ａ２からクエリー指定領域Ａ１にドラッグ＆ドロップすることができる。複数のサムネイルＳをクエリー指定領域Ａ１にドロップした場合、サムネイルＳ同士を重ねるか重ねないかによって、論理積か論理和を指定することができる。従って、より複雑な検索を行うことができるとともに、論理積と論理和を感覚的に指定することができる。さらに、各画像データＩＤについて近傍範囲指定値ｃを指定することができるため、満足度の高い検索結果を得ることができる。
【００３８】
検索された画像データＩＤのサムネイルＳは、適合指数Ｘの小さい順にソートされて表示されることとなる。すなわち、指定した検索条件にマッチする度合いが高い順にソートされて表示されることとなる。この適合指数Ｘは、クエリー指定領域Ａ１において論理否定が指定された以外のサムネイルＳに対応するクエリー画像ＳＣに類似するほど小さくなる傾向を示す。そして、論理否定が指定された以外のサムネイルＳが複数存在する場合には、順序指定値ｂが小さい画像データＩＤに対する類似度（距離Ｕb）が重視される。この順序指定値ｂは、基本的にクエリー指定領域Ａ１にドロップされたのが早いサムネイルＳほど小さい傾向を有する。最も重要視するサムネイルＳを早期にドラッグ＆ドロップすると考えられ、そのようなサムネイルＳが示す画像データＩＤに対する類似度（距離Ｕb）を重視することができる。また、前記基本的な傾向を維持しつつも、順序指定値ｂは重視ボタンｓ３と重視ボタンｓ４のクリックによって任意に調整することができるため、後発的に重要なサムネイルＳが指定された場合でも対応することができる。
【００３９】
最終的にユーザーが満足できる検索結果が得られれば、ユーザーは印刷実行ボタンＢ１をクリックし、検索された画像データＩＤを印刷させることができる（ステップＳ３４０，Ｓ３４５）。ステップＳ３４５では、プリンタードライバーＰ２が検索された画像データＩＤに対して色変換処理やハーフトーン処理やラスタライズ処理を順次実行し、処理後のデータをプリンター２０に出力する。これにより、検索された画像データＩＤをプリンター２０にて印刷させることができる。適合指数Ｘはユーザーが希望した検索条件にマッチする度合いであるため、各画像データＩＤの適合指数Ｘに応じて各画像データＩＤの印刷条件を設定してもよい。例えば、適合指数Ｘが小さいほど、画質重視の印刷条件を設定してもよい。また、検索条件保存ボタンＢ２のクリックが検出されると、検索に使用した検索条件（クエリーテーブルＴ２）をＨＤＤ１４に記憶する（ステップＳ３５０，Ｓ３６０）。これにより、ユーザーは、好ましい検索結果が得ることが可能な検索条件を登録しておくことができる。残る操作は検索条件読込ボタンＢ３のクリックのみであるため、検索条件読込ボタンＢ３がクリックされたと認識する（ステップＳ３７０）。そして、検索に使用した検索条件（クエリーテーブルＴ２）をＨＤＤ１４から読み出し、該クエリーテーブルＴ２に準じて検索を行い、ＵＩ画面を更新させることができる（ステップＳ３８０，Ｓ２９０〜Ｓ３３０）。
【００４０】
３．変形例
３−１．変形例１
前記実施例では、検索範囲が指定された段階で、該検索範囲に属する画像データＩＤについて特徴量を算出し、特徴量テーブルＴ１に格納するようにしたが、予め各画像データＩＤの特徴量を格納したデータベースを用意しておき、画像検索処理の際に該データベースを参照するようにしてもよい。例えば、ＨＤＤ１４に画像データＩＤが記憶された段階で、画像データＩＤの特徴量を算出し、データベースに格納しておくようにしてもよい。このようにすることにより、画像検索処理を高速に行うことができる。なお、所定の操作がなされた場合にクエリー指定領域Ａ１が示す画像を印刷するようにしてもよい、クエリー指定領域Ａ１におけるサムネイルＳの配置は検索条件を表しているため、検索条件の記録として活用することができる。
【００４１】
３−２．変形例２
図６は、変形例にかかるＵＩ画面を示している。本変形例でも、クエリー指定領域Ａ１にサムネイルＳが表示されるが、近傍範囲スライダーｓ１が設けられていない。その代わりに、各サムネイルＳ隅部をドラッグ＆ドロップすることにより、サムネイルＳの表示サイズを調整することが可能となっている。近傍範囲指定値ｃは、サムネイルＳの表示サイズに対応しており、サムネイルＳを拡大するほど近傍範囲指定値ｃを広く指定することができる。さらに、本変形例では、反転指定値ａが“１”の画像データＩＤを示すサムネイルＳを天地反転させるのではなく、グレーアウトさせるようにしている。このような手法によっても、論理否定を指定したことを感覚的に認知させることができる。
【００４２】
３−３．変形例３
図７は、変形例にかかるＵＩ画面を示している。同図においては、一覧領域Ａ２の中に、検索範囲に属する画像データＩＤのサムネイルＳと、テキストボックスＴが表示されている。ユーザーは、テキストボックスＴをクリックし、キーボード５０ａを操作することにより、テキストボックスＴにキーワードを入力することができる。テキストを入力し、クエリー追加ボタンＢ４をクリックすると、テキストを表示したテキストサムネイルＳＴが生成され、該テキストサムネイルＳＴがクエリー指定領域Ａ１に配置される。テキストサムネイルＳＴは、他のサムネイルＳと同様にクエリー指定領域Ａ１の内外へドラッグ＆ドロップすることができる。また、テキストサムネイルＳＴを他のサムネイルＳやテキストボックスＴと重ねる／重ねないことにより、論理積／論理和を指定することができる。このようにすることにより、キーワードによっても検索条件を指定することができる。本発明では、特徴量空間における特徴量に基づいて検索を行うため、テキストボックスＴについての特徴量も必要となる。
【００４３】
そこで、本変形例では、典型画像データベースをＨＤＤ１４に予め用意しておく。典型画像データベースは、キーワードと、該キーワードが示す典型的な画像から得られた特徴量との対応関係が記憶されており、検索部Ｐ１ｄは典型画像データベースを参照してテキストボックスＴに入力されたキーワードに対応する特徴量を使用する。これにより、他のサムネイルＳと同様に、特徴量に基づく検索を行うことができる。
【００４４】
３−４．変形例４
図８は、変形例にかかるＵＩ画面を示している。本変形例でも、クエリー指定領域Ａ１にサムネイルＳが表示されるが、近傍範囲スライダーｓ１が設けられていない。一方、特徴量空間表示領域Ａ４が追加されている。特徴量空間表示領域Ａ４においては、クエリー指定領域Ａ１のサムネイルＳに対応するクエリー画像ＳＣの特徴量がプロットされるとともに、その周囲に近傍範囲の外縁ｅが図示されている。ユーザーは、外縁ｅをドラッグ＆ドロップすることにより、近傍範囲指定値ｃを調整することができる。このようにすることにより、視覚的に複数の近傍範囲が重なるか否かを判断することができる。
【００４５】
３−５．変形例５
図９は、変形例にかかるＵＩ画面を示している。本変形例では、クエリー指定領域Ａ１において、上部にタブＴ１〜Ｔ３を有するフォルダＦが表示されている。タブＴ１をクリックするとフォルダＦに論理積記号が表示され、タブＴ２をクリックするとフォルダＦに論理和記号が表示され、タブＴ３をクリックするとフォルダＦに論理否定記号が表示される。フォルダＦにおいて論理積記号および論理和記号が表示された状態において、一対のサムネイルＳを一覧領域Ａ２からフォルダＦ上にドラッグ＆ドロップすることが可能となっている。これにより、一対のサムネイルＳに対応するクエリー画像ＳＣ同士の間で、論理積および論理和を指定することができる。さらに、フォルダＦにおいて論理否定記号が表示された状態において、１個のサムネイルＳを一覧領域Ａ２からフォルダＦ上にドラッグ＆ドロップすることが可能となっている。これにより、サムネイルＳに対応するクエリー画像ＳＣについて、論理否定を指定することができる。
【００４６】
３−６．変形例６
上述した実施例では、コンピューター上において本発明の画像処理を実行することとしたが、本発明の画像処理をプリンター（印刷装置）上で実行するようにしてもよい。すなわち、プリンターが備えるＣＰＵ上にて本発明の画像処理が実行されてもよい。
【符号の説明】
【００４７】
１０…コンピューター、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…ＨＤＤ、１５…ＧＩＦ、１６…ＶＩＦ、１７…ＩＩＦ、１８…バス、Ｐ１ａ…条件受付部、Ｐ１ｂ…特徴量算出部、Ｐ１ｃ…領域特定部、Ｐ１ｄ…検索部、Ｐ２…プリンタードライバー。
【図１】
2010250426.tif 000005
【図２】
2010250426.tif 000006
【図３】
2010250426.tif 000007
【図４】
2010250426.tif 000008
【図５】
2010250426.tif 000009
【図６】
2010250426.tif 000010
【図７】
2010250426.tif 000011
【図８】
2010250426.tif 000012
【図９】
2010250426.tif 000013