(57)【要約】【課題】画像検索の精度を向上させること。【解決手段】画像サーバー１０は、プリンター２０から複数の検索画像データを取得し、取得した複数の画像データから複数の特徴量を取得する。画像サーバー１０は、取得した複数の各特徴量に対して重要度を決定し、決定した重要度と検索画像データの複数の特徴量と画像サーバー１０が備える複数の検索画像データの特徴量とを用いて複数の検索画像データの各々に類似または一致する１または複数の画像データを検索する。【選択図】図１
2010250632.tif 000002
【特許請求の範囲】
【請求項１】
画像サーバーであって、
複数の画像を複数の特徴量と対応付けて格納する記憶装置と、
検索の対象となる画像である検索画像を複数取得する検索画像取得部と、
前記取得した複数の検索画像からそれぞれ複数の特徴量を取得する特徴量取得部と、
前記複数の検索画像から取得された複数の特徴量を用いて、各特徴量の重要度を決定する重要度決定部と、
前記決定された重要度と、各前記検索画像から取得された前記複数の特徴量と、前記記憶装置に格納されている各画像の複数の特徴量と、を用いて、前記各検索画像について記憶装置から１または複数の画像を検索する検索部とを備える画像サーバー。
【請求項２】
請求項１に記載の画像サーバーにおいて、
前記重要度決定部は、前記複数の検索画像から取得された複数の特徴量を正規化し、前記正規化された複数の特徴量について標準偏差を算出し、算出した標準偏差を用いて前記重要度を決定する
画像サーバー。
【請求項３】
請求項１または請求項２のいずれかに記載の画像サーバーにおいて、
各前記重要度は重み付け係数であり、
前記検索部は、前記重要度である重み付け係数と、前記複数の検索画像から取得された前記複数の特徴量と、前記記憶装置に格納されている複数の画像の特徴量との類似度を算出して前記各検索画像に類似または一致する１または複数の画像を前記記憶装置から検索する
画像サーバー。
【請求項４】
請求項１から請求項３のいずれか一項に記載の画像サーバーにおいて、
前記記憶装置に格納されている前記各画像の各前記特徴量は正規化され、前記各検索画像の各前記特徴量は正規化されている、
画像サーバー。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像サーバーにおいて、
前記検索部は、検索の結果得られた画像数が１のときには、前記重要度を用いずに再度画像検索を実行する画像サーバー。
【請求項６】
画像検索システムであって、
請求項１から請求項５のいずれか一項に記載の画像サーバーと、
前記画像サーバーにネットワークを介してアクセス可能なプリンターであって、前記画像サーバーに対して前記検索画像を送信する送信部と、前記画像サーバーから出力された前記検索結果としての複数のクラスタまたは複数の画像を受け取る受信部と、前記検索されたクラスタの中から１のクラスタが選択されたか否かを、前記画像サーバーに対して通知する通知部と、前記受信した画像を表示する表示部とを備えるプリンターとを備える、画像検索システム。
【請求項７】
画像検索方法であって、
検索の対象となる画像である検索画像を複数取得し、
前記取得した複数の検索画像からそれぞれ複数の特徴量を取得し、
前記複数の検索画像から取得された複数の特徴量を用いて、各特徴量の重要度を決定し、
複数の画像と各画像の特徴量とを格納する記憶装置から、前記決定された重要度と、各前記検索画像から取得された前記複数の特徴量と、前記各画像の特徴量とを用いて、前記各検索画像について１または複数の画像を検索する
画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を検索するための画像検索システムに関する。
【背景技術】
【０００２】
ネットワークを介して、所望の画像を検索するための技術が実用化されている。画像データを格納するサーバーコンピューター（画像サーバー）は、一般的に、数多くの画像データを画像データの特徴を記述するメタデータと関連付けて格納している。画像サーバーとネットワークを介して接続されているクライアントコンピューターは、検索を所望する画像をキーワードで表した検索要求を画像サーバーに送信し、画像サーバーから検索結果として、一または複数の画像データを受信する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１２３０９５号公報
【０００４】
しかしながら、メタデータを用いた従来の検索では、検索対象が画像であるにもかかわらず、検索要求をキーワードによって入力しなければならず、所望の画像をキーワードによって適切に特定することは容易でない。また、画像サーバー上に格納されている画像データについても適切なメタデータが付されていない場合がある。この結果、利用者が所望する画像を精度良く、また、迅速に得られないという問題があった。この問題は、一般的に更に時間を要する画像を用いた画像の検索においても同様であり、ユーザの意図を反映した精度の高い検索が望まれていた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記課題の少なくとも一部を解決するためになされたものであり、画像検索の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一部を解決するために、本発明は以下の種々の態様を採る。
【０００７】
第１の態様は画像サーバーを提供する。第１の態様に係る画像サーバーは、複数の画像を複数の特徴量と対応付けて格納する記憶装置と、検索の対象となる画像である検索画像を複数取得する検索画像取得部と、前記取得した複数の検索画像からそれぞれ複数の特徴量を取得する特徴量取得部と、前記複数の検索画像から取得された複数の特徴量を用いて、各特徴量の重要度を決定する重要度決定部と、前記決定された重要度と、各前記検索画像から取得された前記複数の特徴量と、前記記憶装置に格納されている各画像の複数の特徴量と、を用いて、前記各検索画像について前記記憶装置から１または複数の画像を検索する検索部とを備える。
【０００８】
第１の態様に係る画像サーバーによれば、複数の検索画像から取得された特徴量を用いて各特徴量の重要度を決定し、決定した重要度と、複数の検索画像から取得された複数の特徴量と、記憶装置に格納されている各画像の複数の特徴量と、を用いて記憶装置から１または複数の画像を検索するので、画像検索の精度を向上させることができる。
【０００９】
第１の態様に係る画像サーバーにおいて、前記重要度決定部は、前記複数の検索画像から取得された複数の特徴量を正規化し、前記正規化された複数の特徴量について標準偏差を算出し、算出した標準偏差を用いて前記重要度を決定しても良い。この場合には、各特徴量のばらつきに応じて重要度を決定することが可能となり、例えば、ばらつきの少ない特徴量に対して高い重要度を決定することができる。
【００１０】
第１の態様に係る画像サーバーにおいて、各前記重要度は重み付け係数であり、前記検索部は、前記重要度前記重要度である重み付け係数と、前記複数の検索画像から取得された前記複数の特徴量と、前記記憶装置に格納されている複数の画像の特徴量との類似度を算出して前記各検索画像に類似または一致する１または複数の画像を前記記憶装置から検索しても良い。この場合には、重み付け係数によって、各特徴量の重要度に応じた類似度を得ることが可能となり、ユーザの検索意図に沿った画像検索結果を得ることができる。
【００１１】
第１の態様に係る画像サーバーにおいて、前記記憶装置に格納されている前記複数の画像の特徴量は正規化され、前記各検索画像の各前記特徴量は正規化されていても良い。この場合には、画像の検索に要する時間を低減することができる。また、異なる指標の特徴量を共通の指標を用いて評価することが可能となり、複数の異なる特徴量を組み合わせて精度の良い画像検索を行うことができる。
【００１２】
第１の態様に係る画像サーバーにおいて、前記検索部は、検索の結果得られた画像数が１のときには、前記重要度を用いずに再度画像検索を実行しても良い。重要度を外すことによって複数の検索画像を得ることができる。
【００１３】
第２の態様は、画像検索システムを提供する。第２の態様に係る画像検索システムは、第１に態様に係る画像サーバーと、前記画像サーバーにネットワークを介してアクセス可能なプリンターであって、前記画像サーバーに対して前記検索画像を送信する送信部と、前記画像サーバーから出力された前記検索結果としての複数のクラスタまたは複数の画像を受け取る受信部と、前記検索されたクラスタの中から１のクラスタが選択されたか否かを、前記画像サーバーに対して通知する通知部と、前記受信した画像を表示する表示部とを備えるプリンターとを備える。
【００１４】
第２の態様に係る画像検索システムによれば、画像検索の精度を向上させることができる。
【００１５】
第３の態様は画像検索方法を提供する。第３の態様に係る画像検索方法は、検索の対象となる画像である検索画像を複数取得し、前記取得した複数の検索画像からそれぞれ複数の特徴量を取得し、前記複数の検索画像から取得された複数の特徴量を用いて、各特徴量の重要度を決定し、複数の画像と各画像の特徴量とを格納する記憶装置から、前記決定された重要度と、各前記検索画像から取得された前記複数の特徴量と、前記各画像の特徴量とを用いて、前記各検索画像について１または複数の画像を検索することを備える。
【００１６】
第３の態様に係る画像検索方法によれば、第１の態様に係る画像サーバーと同様の作用効果を得ることができると共に、第１の態様に係る画像サーバーと同様にして種々の態様にて実現され得る。
【００１７】
第３の態様に係る方法は、画像検索プログラムとして実現され得ると共に、画像検索プログラムがそれぞれ記録されたコンピューター読み取り可能な媒体として実現され得る。
【図面の簡単な説明】
【００１８】
【図１】本実施例に係る画像検索システムの概略構成を示す説明図である。
【図２】本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。
【図３】画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。
【図４】画像データベースにおける画像管理テーブルの一例を示す説明図である。
【図５】画像データベースにおける画像管理テーブルの他の一例を示す説明図である。
【図６】本実施例に係るプリンターの内部構成を機能ブロック図にて模式的に示す説明図である。
【図７】画像プリンターが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。
【図８】本実施例に係る画像サーバーにおいて実行される画像検索処理ルーチンを示すフローチャートである。
【図９】本実施例に係るプリンターにおいて実行される画像検索要求処理ルーチンを示すフローチャートである。
【図１０】重要度を決定するために用いられる複数の検索画像データから取得された特徴量と各特徴量の標準偏差の一例を示す説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る画像検索システム、画像サーバー、画像検索方法、プリンターについて、図面を参照しつつ、実施例に基づいて説明する。
【００２０】
第１の実施例：
図１は本実施例に係る画像検索システムの概略構成を示す説明図である。本実施例に係る画像検索システムＩＳＳは、サーバーコンピューター１０、プリンター２０、パーソナルコンピューター３０を備えている。サーバーコンピューター１０と、プリンター２０およびパーソナルコンピューター３０とはネットワークＮＥを介して双方向通信可能に接続されている。ネットワークは、インターネットであっても良く、イントラネットであっても良い。
【００２１】
サーバーコンピューター１０は、数多くの被検索画像データを格納し、クライアントコンピューターからの検索要求に応じて画像の検索を実行する。したがって、サーバーコンピューターは画像データベースを有する画像サーバー、画像データを検索する画像検索装置であると言うことができる。プリンター２０およびパーソナルコンピューター３０は、画像サーバー１０に対するクライアントまたは画像検索端末装置と呼ぶことができる。パーソナルコンピューター３０は、表示ディスプレイ３１並びにキーボードおよびマウスといった入力装置３２を備えている。
【００２２】
画像サーバーの構成：
図２は本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。図３は画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。画像サーバー１０は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１１、メモリ１２、画像データベースが構築されている記憶装置（画像データベースともいう）１３、および入出力インターフェース１４を備えている。ＣＰＵ１１は、メモリ１２に格納されている各種プログラム、モジュールを実行する。メモリ１２は、ＣＰＵ１１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ１２としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置が用いられ得る。
【００２３】
記憶装置１３は、例えば、ハードディスクドライブ、フラッシュメモリドライブといった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、複数の画像データ、並びに各画像データの特徴量および画像データの特徴量といった画像データの管理情報（属性情報）から構成されている画像データベースが構築されている。なお、画像データが機器上で出力（表示、印刷）された態様が画像であるが、請求項における画像は画像データを意味することは当業者にとって自明な事項である。記憶装置１３は、複数の画像データのみを格納する画像データ格納部として機能しても良い。この場合には、記憶装置１３に格納されている各画像データの特徴量および画像データの管理情報（属性情報）はメモリ１２に格納される。本実施例では、クライアントから見て、画像サーバー１０自体が画像データベースとして機能する。なお、本実施例では、記憶装置１３が単に画像データおよび画像管理情報を格納するデータベースを例をとって説明しているが、記憶装置１３に検索機能を備える制御部を備え、外部からの検索要求に応じて検索結果を出力する独立型のデータベースシステム（ファイルサーバー）であっても良い。この場合には、画像サーバー１０の外部に画像データベースシステムが配置され、入出力インターフェース１４を介して両者の間で検索要求および検索結果の送受信が実行される。いずれの場合にも、データベース検索用のプログラムはメモリ１２に格納され、ＣＰＵ１１によって実行される。
【００２４】
入出力インターフェース１４は、外部装置、例えば、プリンター２０、パーソナルコンピューター３０といったクライアントとの間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。
【００２５】
メモリ１２に格納されている各種プログラム、モジュールについて図３を用いて説明する。メモリ１２は、本実施例に係る画像データベースからクラスタ、画像を検索するために実行される画像検索プログラムＳＰ１を格納している。
【００２６】
画像検索プログラムＳＰ１は、検索画像データ取得モジュールＳＭ１１、検索画像データ特徴量取得モジュールＳＭ１２、重要度決定モジュールＳＭ１３および画像データ検索モジュールＳＭ１４を備えている。検索画像データ取得モジュールＳＭ１１は、クライアントであるプリンター２０およびパーソナルコンピューター３０によって送信された検索画像データを取得するために実行されるモジュールである。検索画像データ特徴量取得モジュールＳＭ１２は、取得された検索画像データを解析して、複数の特徴量を取得するために実行されるモジュールである。ここで、特徴量とは、例えば、画像データの平均輝度、最小輝度、最高輝度、色相、画像データに含まれる顔のサイズ、位置といった値である。これら特徴量は、当業者にとって周知の方法で取得することが可能である。重要度決定モジュールＳＭ１３は、複数の検索画像データから得られた複数の特徴量に基づいて、画像データ検索時に用いられる検索キーとしての各特徴量の重要度を決定するために実行されるモジュールである。なお、重要度決定モジュールＳＭ１３は、複数の検索画像データから得られた複数の特徴量を特徴量毎にそれぞれ正規化し、正規化された各特徴量について標準偏差を求めた上で重要度を決定しても良い。正規化は、例えば、特徴量の標準偏差を用いて実行されても良く、あるいは、取得された各特徴量の最大値が１に最小値が０になるように実行されても良い。画像データ検索モジュールＳＭ１４は、取得した検索画像データを用いて、記憶装置１３から、検索画像データに類似または一致する複数のクラスタを検索するため、並びに検索画像データに類似または一致する１または複数の画像データを検索するために実行されるモジュールである。画像データ検索モジュールＳＭ１４は、例えば、各検索画像データの特徴量と、各クラスタの代表値および各クラスタに属する画像データの特徴量と、重要度決定モジュールＳＭ１３によって決定された重要度とを用いて検索画像データと被検索画像データとの類似度を算出するため実行されるモジュールである。なお、検索画像データ取得モジュールＳＭ１１、検索画像データ特徴量取得モジュールＳＭ１２、重要度決定モジュールＳＭ１３、画像データ検索モジュールＳＭ１４は、それぞれＣＰＵ１１によって実行されることによって、検索画像取得部、特徴量取得部、重要度決定部、画像検索部として機能する。
【００２７】
画像データベース：
図４は画像データベースにおける画像管理テーブルの一例を示す説明図である。図５は画像データベースにおける画像管理テーブルの他の一例を示す説明図である。各画像データは、例えば、図４に示す管理テーブルによって特徴量と対応付けられている。図４の例では、管理テーブルには画像データのファイル名と、正規化されていない特徴量とが記述されている。なお、管理テーブルに代えて、各画像データのヘッダに正規化されていない特徴量が共通のフォーマットで記述されていても良い。図５の例では、各画像データはクラスタに対応付けられることによって、クラスタ化されている。図５の例では、管理テーブルには画像データのファイル名と、所属クラスタと、正規化されていない特徴量とが記述されている。なお、管理テーブルに代えて、各画像データのヘッダに所属クラスタと、正規化されていない特徴量とが共通のフォーマットで記述されていても良いことは言うまでもない。この管理テーブルは、メモリ１２に格納されていてもよく、画像データベース（記憶装置１３）の所定の領域に格納されていても良い。
【００２８】
プリンターの構成：
図６は本実施例に係るプリンターの内部構成を機能ブロック図にて模式的に示す説明図である。図７は画像プリンターが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。本実施例では、画像検索端末装置としてプリンター２０を例にとって説明するが、パーソナルコンピューター３０についても同様に画像検索端末装置として用いることが可能であることは言うまでもない。プリンター２０は、信号線によって互いに接続されている制御回路２１、入力操作部２２、表示部２３、印刷部２４、外部入出力インターフェース２５を備えている。制御回路２１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）２１０、メモリ２１１、入出力（Ｉ／Ｏ）インターフェース２１２を備えている。ＣＰＵ２１０は、メモリ２１１に格納されている各種プログラム、モジュールを実行する。メモリ２１１は、ＣＰＵ２１０によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ２１０による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ２１１としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置が用いられ得る。入出力インターフェース２１２は、制御回路２１と、入力操作部２２、表示部２３、印刷部２４および外部入出力インターフェース２５との間で、コマンド、データの送受信を実行する。入力操作部２２は、プリンター２０に対してユーザが指示を入力するための操作部であり、例えば、ボタン、ホイールによって実現され得る。表示部２３は、ユーザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行うカラー表示可能な表示画面である。印刷部２４は、ユーザ（制御回路２１）からの印刷指示に従って印刷媒体に対して画像を形成する印刷実行部である。外部入出力インターフェース２５は、外部装置、例えば、画像サーバー１０との間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。
【００２９】
メモリ２１１に格納されている各種プログラム、モジュールについて図５を用いて説明する。メモリ２１１は、画像サーバー１０に対して画像検索を要求するための画像検索要求プログラムＣＰ１を備え、画像検索要求プログラムＣＰ１は、画像データ特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得モジュールＣＭ１３、検索結果表示モジュールＣＭ１４を備えている。画像データ特定モジュールＣＭ１１は、検索対象（検索キー）となる複数の画像（画像データ）を特定するために実行されるモジュールである。複数の画像データは一度に特定されても良く、あるいは、順次特定されても良い。検索要求モジュールＣＭ１２は、特定された複数の画像データと検索の要求を画像サーバー１０に対して送信するためのモジュールである。検索結果取得モジュールＣＭ１３は、画像サーバー１０から検索結果としても一または複数の画像データを取得するためのモジュールである。検索結果表示モジュールＣＭ１４は、検索結果として取得した一または複数の画像データを用いて表示部２３に検索結果としての画像を表示するためのモジュールである。なお、画像検索要求プログラムＣＰ１、画像データ特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得モジュールＣＭ１３、検索結果表示モジュールＣＭ１４は、それぞれＣＰＵ２１０によって実行されることによって、画像検索要求部、検索画像特定部、検索要求部、検索結果取得部、検索結果表示部として機能する。
【００３０】
画像データの検索：
図８は本実施例に係る画像サーバーにおいて実行される画像検索処理ルーチンを示すフローチャートである。図９は本実施例に係るプリンターにおいて実行される画像検索要求処理ルーチンを示すフローチャートである。図１０は重要度を決定するために用いられる複数の検索画像データから取得された特徴量と各特徴量の標準偏差の一例を示す説明図である。図８に示す処理ルーチンの実行時、画像サーバー１０は画像検索装置として機能する。
【００３１】
図９を参照して説明する。プリンター２０（ＣＰＵ２１０）は、画像データ特定モジュールＣＭ１１を実行して、表示部２３に表示されている画像の内、ユーザによって特定された複数の画像（検索画像）に対応する検索画像データを特定する（ステップＳ２００）。本実施例では、検索画像として複数の画像が選択される。画像の選択は入力操作部２２を介して実行される。ＣＰＵ２１０は、画像の選択入力を受けて、検索要求モジュールＣＭ１２を実行して、特定された複数の検索画像データを画像サーバー１０に送信する（ステップＳ２０２）。具体的には、外部入出力インターフェース２５、ネットワークＮＥを介して複数の画像データが画像サーバー１０に送信される。なお、ステップＳ２００における画像の特定、およびステップＳ２０２における画像の送信を一画像毎とし、ステップＳ２００およびＳ２０２を繰り返すことで複数の画像データが画像サーバー１０に送信されるようにしても良い。
【００３２】
図８を参照して説明する。画像サーバー１０（ＣＰＵ１１）は、検索画像データ取得モジュールＳＭ１１を実行して、プリンター２０から送信されてきた複数の検索画像データを取得する（ステップＳ１００）。具体的には、入出力インターフェース１４を介して複数の検索画像データが画像サーバー１０内に取り込まれ、メモリ１２に格納される。ＣＰＵ１１は、検索画像データ特徴量取得モジュールＳＭ１２を実行して、各検索画像データの複数の特徴量を取得する（ステップＳ１０２）。本実施例において用いられる特徴量は、例えば、画像データの輝度または画像データの一部の領域における輝度のヒストグラム、テクスチャ、顔の有無、顔の大きさ、色相であり、複数の特徴量が用いられる。輝度のヒストグラムからは、平均輝度値、最高輝度値、最小輝度値が取得され、色相としては、画像データにおけるＲ、Ｇ、Ｂ各成分の平均値、または、画像データを構成する全画素数に占める所定値以上のＲ、Ｇ、Ｂ成分画素数の割合が取得される。輝度のヒストグラム、色相、テクスチャを特徴量として取得する方法は当業者にとって周知の方法であるから説明を省略する。また、顔の有無、すなわち顔検出、および顔の大きさの検出は、例えば、モデル顔形状を用いたパターンマッチング法、肌色の色相領域を特定する方法、顔の器官を検出する方法がそれぞれ単独または組み合わせて用いられ得る。さらに、本実施例では、シャッタースピード、露出補正量、焦点距離、ＩＳＯ、フラッシュの使用の有無といった撮影時の撮影条件（例えば、Ｅｘｉｆ情報）が特徴量として用いられる。これら撮影条件もまた、画像データを特徴付ける情報であり、画像データの検索条件として有用である。これら撮影条件は、値として画像データに撮影時に関連付けられている。
【００３３】
ＣＰＵ１１は、重要度決定モジュールＳＭ１３を実行して、各画像データから取得した特徴量を各特徴量毎に正規化する（ステップＳ１０４）。本実施例では、特徴量の値、パターン毎に標準偏差σを求め、求めた標準偏差σと以下の式（１）を用いて平均が０、標準偏差が１となるように正規化が行われる。正規化値＝（ｘ−μ）／σ（式１：ｘは正規化対象の度数、μは当該度数の平均値）。ＣＰＵ１１は、更に、重要度決定モジュールＳＭ１３を実行して、各検索画像データの正規化された各特徴量について標準偏差を求め、重要度を決定する（ステップＳ１０６）。具体的には、各特徴量の標準偏差σｎを用いて以下の式（２）から画像データ検索時に用いられる関数に適用される重み付け係数Ｋｎを求める。
Ｋｎ＝σｎ／Σ（０．５／σｎ）    （式２）
【００３４】
図１０の例では、正規化特徴量Ｆ１として輝度平均値が、正規化特徴量Ｆ２として顔サイズが、正規化特徴量Ｆ３として分割された画像の１領域における輝度平均値が用いられている。画像データ１は、正規化特徴量Ｆ１、Ｆ２、Ｆ３として、それぞれ０．１、０．４、０．８の値を有し、画像データ２は、正規化特徴量Ｆ１、Ｆ２、Ｆ３として、それぞれ０．３、０．５、０．５の値を有し、画像データ３は、正規化特徴量Ｆ１、Ｆ２、Ｆ３として、それぞれ０．８、０．６、０．９の値を有する。また、各正規化特徴量Ｆ１、Ｆ２、Ｆ３の標準偏差（分散値）は、０．２９４３９２、０．０８１６５、０．１６９９６７であり、正規化特徴量Ｆ２の分散値が最も小さく（ばらつきが小さく）、正規化特徴量Ｆ１の分散値が最も大きい（ばらつきが大きい）。したがって、検索画像データにおいて、特徴量Ｆ２（顔サイズ）が最もばらつきがなく、ユーザの検索意図を表している特徴量であり、重要度の高い特徴量であるということができる。正規化特徴量Ｆ１、Ｆ２、Ｆ３の重み付け係数は、式（２）を用いると、それぞれ、０．１５７７８８、０．５６８９１４、０．２７３２９８となる。得られた重み付け係数からも、特徴量Ｆ２（顔サイズ）に対して最も重み付けがなされていることが理解される。
【００３５】
ＣＰＵ１１は、画像データ検索モジュールＳＭ１４を実行して、決定した重要度を用いて複数の検索画像データのそれぞれについて、同一または類似する複数の画像データを検索する（ステップＳ１０８）。具体的には、各検索画像データについて、取得した複数の検索画像特徴量と、画像データベース上の複数の画像データ（被検索画像データ）の各特徴量と、係数としての重要度とを用いて類似度が算出される。類似度は、例えば、ユークリッド距離、マハラノビス距離といった距離算出方法によって算出された検索画像データの特徴量と、各クラスタの代表値としての特徴量との間の距離、すなわち、検索画像データの特徴量とクラスタの代表値によって表される多次元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。あるいは、検索画像データの各特徴量の値を成分とする多次元ベクトルと、各被検索画像データの各特徴量の値を成分とする多次元ベクトルとの内積を求めて判断されても良い。この場合には、両多次元ベクトルのコサイン成分の差を求めるので、得られた内積の値が１に近いほど（両多次元ベクトル間の角度が０に近いほど）類似度が高いと判断することができる。
【００３６】
求められた重み付け係数Ｋｎは、ユークリッド距離を用いる場合には、以下の式（３）および（４）に示すように係数ｋiとして用いられる。
【００３７】
【数１】
2010250632.tif 000003
【数２】
2010250632.tif 000004
【００３８】
式（１）において（ｘi）は検索対象画像データの特徴量の値、（ｙi）は被検索画像データの特徴量の値を示し、式（２）においては理解を容易にするため特徴量毎の差分であることを明示している。距離を用いた類似度判断では、算出結果が０に近いほど検出対象画像データとクラスタとが類似していることを示すので、高い重要度に対して大きな係数を対応付けることによって、重要度の高い特徴量に関する感度を高くして検索結果数を絞り込むことができる。一方、内積を用いる場合には、以下の式（５）における各多次元ベクトルの成分に対して係数が適用される。
【００３９】
【数３】
2010250632.tif 000005
【００４０】
類似度として内積を用いる場合にも、両多次元ベクトル間角度が０に近いほど検出対象画像データとクラスタとが類似していることを示すので、複数の検索画像データにおいて共通または近似する値の特徴量に対して重み付けを大きくすることにより重要度の高い特徴量に関する感度を高くして検索結果を精選し、検索精度を向上させることができる。
【００４１】
ＣＰＵ１１は、各検索画像データについて検出した複数の画像データを、検索要求の送信元であるプリンター２０に対して送信して（ステップＳ１１０）、本処理ルーチンを終了する。ここで、いずれのプリンター２０から検索要求が送信されたかについては、たとえば、プリンター２０が備える外部入出力インターフェース２５の識別情報（例えば、ＭＡＣアドレス）によって識別することができ、当該識別情報を用いて検索要求の送信元であるプリンター２０に対して複数の画像データを送信することができる。なお、画像サーバー１０からプリンター２０に送信される複数の画像データの選択は、予めしきい値としての距離を決めておいても良く、あるいは、画像データ数を決めておいても良い。
【００４２】
図９を参照して説明する。プリンター２０（ＣＰＵ２１０）は、検索結果取得モジュールＣＭ１３を実行して、画像サーバー１０から受信した検索結果としての複数の画像データを取得し（ステップＳ２０４）、検索結果表示モジュールＣＭ１４を実行して取得した画像データを用いて複数の画像を表示部２３に表示させて（ステップＳ２０６）、本処理ルーチンを終了する。  
【００４３】
以上説明した本実施例に係る画像サーバー、画像検索方法、プリンター（画像検索端末装置）、画像検索システムによれば、複数の検索画像データに基づいて特徴量の重要度を決定するので、一の検索画像データを用いた画像検索と比較して、画像データの検索精度を向上させることができる。
【００４４】
さらに、本実施例にでは、複数の検索画像データから求めた各特徴量に対して標準偏差を求め、標準偏差の小さい特徴量、すなわち、ユーザが所望する特徴量、に対して高い重要度（大きな重み付け係数）を割り当てるので、ユーザが意図する（所望する）特徴量に対する検索感度を高くすることができる。この結果、ユーザが所望する特徴量については、検索画像データの特徴量と被検索画像データの特徴量との僅かな差分が大きな差分とされ、検索結果として得られる画像データは検索画像データに近いまたは一致する画像データとなるので、検索精度を向上させることができる。
【００４５】
また、画像データに関連付けられた画像データの内容を記述するメタデータを用いることなく、画像データの特徴量に基づいて画像データを検索するので、言葉（キーワード）を用いて画像データを特定する必要が無く画像データの検索を容易化することができる。さらに、主観的なメタデータに依存しないので、画像データの検索の客観性を高めることが可能となり、画像データの検索精度を向上させることができる。
【００４６】
・変形例：
（１）上記実施例では、画像サーバー１０として、クライアントからの要求に応じての画像データベースを検索するサーバーコンピューターを例にとって説明したが、プリンター２０、パーソナルコンピューター３０において実行されても良い。例えば、パーソナルコンピューター３０の記憶装置に格納されているローカルな画像データベースに対して上記した画像データ検索が実行されも良い。また、プリンター２０に大容量記憶装置が備えられている場合には、上記した画像検索方法は、プリンター２０におけるローカルな画像データ検索に適用されても良い。すなわち、画像サーバーはネットワークに接続されていない、スタンドアローンのパーソナルコンピューターまたはプリンターが有する機能の一部、さらにはコンピュータープログラム、コンピュータープログラムが格納されたコンピューター読み取り可能媒体として実現されても良い。この場合には、パーソナルユースにおける画像データ検索の利便性、すなわち、検索速度の向上、検索精度の向上、検索の容易化を実現することができる。なお、コンピューター読み取り可能媒体としては、ＣＤ、ＤＶＤ、ハードディスクドライブ、フラッシュメモリといった種々の記録媒体を用いることができる。
【００４７】
（２）上記実施例では画像データの特徴量として、輝度、色相、テクスチャ、顔の大きさ、顔の有無を用いているが、他の特徴量が用いられることは言うまでもない。例えば、画像データのコントラスト、彩度、顔の目、鼻、口といった器官の配置位置（パターン）、露出補正量、撮影シーン情報といった特徴量を用いることができる。これらの特徴量を用いることによって、画像データベースの特性を適切に表す重要度を決定、対応付けることが可能となり、ユーザの所望する画像データの検索結果を得ることができる。
【００４８】
（３）上記実施例では、重要度として標準偏差を用いた重み付け係数が例示され、類似度計算時における係数として用いられる場合について説明したが、重要度として、各特徴量について頻度を求めて正規化し、正規化された頻度を係数として用いて類似度が算出されても良い。この場合にも、頻度の高い特徴量に対して重み付けされることとなり、画像データの検索精度を向上させることができる。
【００４９】
（４）上記実施例では、検索結果として複数の画像データを検索結果として得られる場合について説明しているが、検索結果として１の画像データのみが得られた場合には、重要度（重み付け係数）を用いることなく、再度検索を実行しても良い。重み付け係数を外すことによって、複数の検索結果としての画像データを得ることが可能となり、却って、ユーザの検索意図に沿った画像データを提供できる場合がある。
【００５０】
（５）上記実施例では、プリンター２０から受信した複数の検索画像データについてそれぞれ画像データの検索を実行しているが、複数の画像データの一部についてのみ画像データの検索を実行しても良い。例えば、プリンター２０において最初に選択または送信された画像データのみについて検索が実行されても良い。この場合には、複数の検索画像データに基づいて特徴量の重み付けが可能であると共に、画像データ検索に要する時間を短縮することができる。なお、複数の画像データの一部とは、１の画像データ、１／３の画像データといったように、複数の画像データのうちの５０％未満の画像データであることを意味する。
【００５１】
（６）上記実施例では、クラスタリングされていない複数の画像データを備える画像データベースを用いて説明したが、複数の画像データが複数のクラスタにクラスタリングされた画像データベースを用いても良い。クラスタリングは、各特徴量について正規化された特徴量を用いて階層型または非階層型のクラスタリング手法によって実行される。この場合には、検索画像データは先ず、各クラスタの代表値、例えば、クラスタに属する複数の画像データの特徴量の平均値と、検索画像データの特徴量と、重要度とを用いて１または複数のクラスタが選択され、選択されたクラスタに属する画像データに対して画像データの検索が実行される。クラスタリングによって、検索対象となる画像データを予め低減することが可能となり、画像検索効率を向上させることができる。
【００５２】
（７）上記実施例では、正規化されていない特徴量を用いて画像データの検索が実行されたが、画像データベースに格納されている画像データの特徴量を予め正規化しておき、複数の検索画像データの特徴量についても正規化を行い、検索画像データの正規化された特徴量と被検索画像データの正規化された特徴量とを用いて類似度が求められても良い。この場合には、類似度の算出負荷を低減し、検索時間を短縮することができる。
【００５３】
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【符号の説明】
【００５４】
ＩＳＳ…画像検索システム
１０…サーバーコンピューター（画像サーバー）
１１…ＣＰＵ
１２…メモリ
１３…記憶装置（画像データベース）
１４…入出力インターフェース
２０…プリンター
２１…制御回路
２２…入力操作部
２３…表示部
２４…印刷部
２５…外部入出力インターフェース
３０…パーソナルコンピューター
３１…表示ディスプレイ
３２…入力装置
２１０…ＣＰＵ
２１１…メモリ
２１２…入出力インターフェース
ＣＰ１…画像検索要求プログラム
ＣＭ１１…画像データ特定モジュール
ＣＭ１２…検索要求モジュール
ＣＭ１３…検索結果取得モジュール
ＣＭ１４…検索結果表示モジュール
ＮＥ…ネットワーク
ＳＰ１…画像検索プログラム
ＳＭ１１…検索画像データ取得モジュール
ＳＭ１２…検索画像データ特徴量取得モジュール
ＳＭ１３…重要度決定モジュール
ＳＭ１４…検索画像データ検索モジュール
【図１】
2010250632.tif 000006
【図２】
2010250632.tif 000007
【図３】
2010250632.tif 000008
【図４】
2010250632.tif 000009
【図５】
2010250632.tif 000010
【図６】
2010250632.tif 000011
【図７】
2010250632.tif 000012
【図８】
2010250632.tif 000013
【図９】
2010250632.tif 000014
【図１０】
2010250632.tif 000015