(57)【要約】  【課題】  画像データの検索の確度を向上できる画像データ検索方法及び画像データ検索装置を提供する。  【解決手段】  メタデータに基づけば、例えば人物Ａが写っている画像に対応する画像データを確実に検索できるが、必ずしもメタデータが存在するとは限らないということと、特徴量に基づけば、全ての画像データを機械的に検索できるが、その検索確度は低いということから、メタデータの検索結果より、特徴量の検索パラメータを補正し、検索確度をより向上するものである。【選択図】    図３
2005100090.tif 000002
【特許請求の範囲】
【請求項１】
画像データの内容に関する文字もしくは数字の情報を、その画像データに対応づけて保存したデータベースより、画像データを検索する画像データ検索方法において、
前記データベース内の画像データから特徴量を抽出するステップと、
所定のキー情報に対応する特徴量とパラメータとに基づいて、抽出した特徴量を処理することによって第１の画像データ群を検索するステップと、
前記所定のキー情報に対応する前記文字もしくは数字の情報に基づいて、第２の画像データ群を検索するステップと、
前記第１の画像データ群と前記第２の画像データ群とを比較するステップと、
前記比較結果に基づいて、前記パラメータを調整するステップとを有することを特徴とする画像データ検索方法。
【請求項２】
前記パラメータの調整はニューラルネットワークの学習機能を用いて行われることを特徴とする請求項１に記載の画像データ検索方法。
【請求項３】
画像データの内容に関する文字もしくは数字の情報を、その画像データに対応づけて保存したデータベースより、画像データを検索する画像データ検索装置において、
前記データベース内の画像データから特徴量を抽出する抽出手段と、
所定のキー情報に対応する特徴量とパラメータとに基づいて、抽出した特徴量を処理することによって第１の画像データ群を検索し、前記所定のキー情報に対応する前記文字もしくは数字の情報に基づいて、第２の画像データ群を検索する検索手段と、
前記第１の画像データ群と前記第２の画像データ群とを比較する比較手段と、
前記比較結果に基づいて、前記パラメータを調整する調整手段とを有することを特徴とする画像データ検索装置。
【請求項４】
前記パラメータの調整はニューラルネットワークの学習機能を用いて行われることを特徴とする請求項３に記載の画像データ検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ検索方法及び画像データ検索装置に関し、特に検索の精度を向上できる画像データ検索方法及び画像データ検索装置に関する。
【背景技術】
【０００２】
銀塩カメラやデジタルスチルカメラの発展に伴い、数多くの写真や画像が撮影されている。このような写真や画像のプリントは、従来はアルバムなどで保存することも行われているが、プリント枚数が増えるにつれてアルバムも増えることから、その整理や保管が問題となっている。
【０００３】
これに対し、写真やネガフィルムなどから間接的に、或いはデジタルスチルカメラなどを介して直接的に、可視画像をデジタイズして、画像データとしてデータベースに蓄積することが既に行われている。画像を画像データに変換すれば、大量の画像でもハードディスクやＤＶＤなどの大容量記憶メディアに、場所をとることなく保管できるので便利である。
【０００４】
ところが、これらの大容量記憶メディアは、無秩序に何千枚もの画像データを保存することができるものであるため、一旦、多数の画像データを保存した後に、特定の画像データを抽出することが困難となる問題がある。これに対し、画像データの特徴量から画像データを機械的に検索する技術も開発されている。これは、例えば「海」というキーワードを入力すれば、比較的青の色が多い画像データを抽出し、「人物」というキーワードを入力すれば、比較的肌色が多い画像データを抽出する技術である（特許文献１参照）。
【特許文献１】特開２００１−３５７０６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかるに、このような機械的な検索では、確度が低いため、必ずしも特定の画像データを選択することはできないという問題がある。例えば、「海」というキーワードを入力しても、青色のビルが写っている画像に対応する画像データを誤って抽出してしまう恐れがある。
【０００６】
一方、画像データに対応するタイトルなどの文字を入力し、双方を対応づけて保存することは可能である。又、日付などの情報や、カメラ付き携帯電話などで撮影を行った場合、撮影場所などの情報は、画像データに自動的に対応づけて保存されるようになっている。ところが、このような文字情報や数字情報は、常に撮影者もしくは撮影装置が入力するとは限らないし、誤って入力する場合も考えられる。従って、文字情報や数字情報だけに頼って画像データの検索を行うと、検索の洩れが生じる恐れがある。
【０００７】
尚、特許文献２には、画像検索フィルタを学習させることで検索の確度を向上させる技術が開示されているが、これは使用者が検索したい画像と検索したくない画像とを特定した上で、学習した画像検索フィルタにより画像データを検索するものであり、検索したくない画像を予め特定する必要があるという点で使いづらいものである。
【特許文献２】特開２０００−１３２５５４号公報
【０００８】
本発明は、かかる従来技術の問題点に鑑みてなされたものであり、画像データの検索の確度を向上できる画像データ検索方法及び画像データ検索装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の本発明の画像データ検索方法は、画像データの内容に関する文字もしくは数字の情報を、その画像データに対応づけて保存したデータベースより、画像データを検索する画像データ検索方法において、前記データベース内の画像データから特徴量を抽出するステップと、所定のキー情報に対応する特徴量とパラメータとに基づいて、抽出した特徴量を処理することによって第１の画像データ群（画像データが単一である場合を含む）を検索するステップと、前記所定のキー情報に対応する前記文字もしくは数字の情報に基づいて、第２の画像データ群（画像データが単一である場合を含む）を検索するステップと、前記第１の画像データ群と前記第２の画像データ群とを比較するステップと、前記比較結果に基づいて、前記パラメータを調整するステップとを有するので、最初に画像データを検索したときは、検索の確度が悪かったとしても、検索を繰り返すたびに、パラメータの最適化が進み、それにより検索の確度が向上し、誤検索を抑制して特定の画像データを効率よく検索することができるようになる。
【００１０】
前記パラメータの調整はニューラルネットワークの学習機能を用いて行われると好ましい。
【００１１】
第２の本発明の画像データ検索装置は、画像データの内容に関する文字もしくは数字の情報を、その画像データに対応づけて保存したデータベースより、画像データを検索する画像データ検索装置において、前記データベース内の画像データから特徴量を抽出する抽出手段と、所定のキー情報に対応する特徴量とパラメータとに基づいて、抽出した特徴量を処理することによって第１の画像データ群を検索し、前記所定のキー情報に対応する前記文字もしくは数字の情報に基づいて、第２の画像データ群を検索する検索手段と、前記第１の画像データ群と前記第２の画像データ群とを比較する比較手段と、前記比較結果に基づいて、前記パラメータを調整する調整手段とを有するので、最初に画像データを検索したときは、検索の確度が悪かったとしても、検索を繰り返すたびに、パラメータの最適化が進み、それにより検索の確度が向上し、誤検索を抑制して特定の画像データを効率よく検索することができるようになる。
【００１２】
前記パラメータの調整はニューラルネットワークの学習機能を用いて行われると好ましい。
【発明の効果】
【００１３】
本発明によれば、画像データの検索の確度を向上できる画像データ検索方法及び画像データ検索装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明による実施の形態を、図面を参照して説明する。図１は、本実施の形態にかかる画像データ検索装置を示す図である。画像データ検索装置は、大容量の記憶装置を備えた本体１と、検索結果や画像を表示するディスプレイである表示装置２と、ユーザーが検索条件等を入力できるキーボードである入力装置３と、画像をプリント可能なプリンタ４とを備えている。このデータ検索装置は、インターネットに接続され、例えばプリント注文ネットワークの一部を構成していることが好ましい。例えば、画像データ検索方法を実行するためのプログラムを格納した記憶媒体ＣＤが、本体１の読取部１ａに挿入されると、かかるプログラムが本体１のメモリに読み出されて実行されるようになっている。このようなデータ検索装置の例としては、パソコン本体とモニター等の表示手段とプリンタ、或いはゲーム機本体とモニター等の表示手段とプリンタ等があげられる。尚、本体１のＣＰＵが、抽出手段、比較手段、検索手段、調整手段を構成する。
【００１５】
本体１内には、膨大な量の画像データがデータベース化されて記憶されている。かかる画像データは、画像データに対応する画像中に写っている人物の氏名、性別、生年月日、住所、電話番号、ファクス番号、メールアドレス、写っている人物の人数などにかかるテキストデータ（文字情報又は数字情報、ここではメタデータと呼ぶ）と対応づけて記憶されている。ただし、メタデータが存在しない画像もあるものとする。この一例を図２に示す。
【００１６】
メタデータの入力方法は制限されない。例えば、デジタルスチルカメラ等の撮影装置に、タブレット方式のテキストデータ入力装置を設けて、ユーザーが撮影の都度、被写体を確認しながら入力しても良く、一括して入力してもよい。メタデータはファイルとして別個に保存されても良く、対応する画像ファイル中のヘッダやフッタに記録されてもよい。尚、記憶方式は、テキストデータに限られず、バイナリ形式でも何でも良いことは言うまでもない。
【００１７】
図３は、画像データの検索工程を示すフローチャート図である。図３のステップＳ１０１において、ユーザーが検索条件を入力する。ここで、ユーザーは、例えば人物Ａが写っている画像に対応した画像データを検索するために、キー情報として「人物Ａ」と、画像データ検索装置に入力したものとする。続くステップＳ１０２で、ユーザーが画像データの特徴量に基づいて、人物Ａの画像にかかる画像データを検索することを指定した場合、ステップＳ１０３で、画像データ検索装置は、以下のようにして画像データを検索する。
【００１８】
画像データ検索装置において、まず本体１のＣＰＵが、人物Ａの基準特徴量を確認する。人物Ａの基準特徴量が予め存在していれば、それを用いるが、基準特徴量が存在していなければ、基準特徴量を作成する。基準特徴量を作成する場合、本体１のＣＰＵは、ユーザーに人物Ａが単独で写っている画像（例えば「ｉｍｇ＿０００１．ｊｐｇ」）を特定させる。更に本体１のＣＰＵは、特定された画像に対応する画像データを処理することで、おおよそ普遍的な顔の輪郭、目、鼻、口、眉の間隔等を数値入力する。これが基準特徴量となる。このような技術の例が、特開平８−６３５９７号、特開平１１−３９３２５号等に記載されている。尚、特徴量はこれに限られることはない。
【００１９】
更に、本体１のＣＰＵは、データベースの画像データを検索して、個々に顔の輪郭、目、鼻、口、眉の間隔等の特徴量を求め（抽出するステップ）、これを基準特徴量と比較し、その差が所定範囲（パラメータ）内に収まる画像データを全て検索し（第１の画像データ群を検出するステップ）、ステップＳ１０４で、結果を表示する。
【００２０】
ここで、第１の画像データ群の検索結果として、図２を参照して、「ｉｍｇ＿０００１．ｊｐｇ」、「ｉｍｇ＿０００４．ｊｐｇ」が検索されたものとする。かかる場合、デフォルトで設定された所定範囲では、人物Ａが含まれていない画像に対応する画像データ（「ｉｍｇ＿０００４．ｊｐｇ」）が検索されたり、検索されなかった画像データ（「ｉｍｇ＿０００５．ｊｐｇ」）に人物Ａが含まれているなど、検索の確度が低い場合もある。
【００２１】
一方、ステップＳ１０２で、ユーザーがメタデータに基づいて、人物Ａの画像にかかる画像データを検索することを指定した場合、ステップＳ１０５で、本体１のＣＰＵは、キー情報に基づいてメタデータを全て検索し（第２の画像データ群を検出するステップ）、人物Ａというテキストデータのある画像データ（第２の画像データ群）を全て抽出し、ステップＳ１０６で、結果を表示する。
【００２２】
ここで、第２の画像データ群の検索結果として、図２を参照して、「ｉｍｇ＿０００１．ｊｐｇ」、「ｉｍｇ＿０００５．ｊｐｇ」が検索されたものとする。更に、ステップＳ１０７で、パラメータ調整ルーチンを実行する。
【００２３】
図４は、パラメータ調整ルーチンを示すフローチャート図である。まず、ステップＳ１０７ａで、本体１のＣＰＵは、データベースの画像データを検索して、個々に顔の輪郭、目、鼻、口、眉の間隔等の特徴量を求め、これを基準特徴量と比較し、その差が所定範囲（パラメータ）内に収まる画像データを全て検索する。この場合、先述したように、第１の画像データ群の検索結果として、図２を参照して、「ｉｍｇ＿０００１．ｊｐｇ」、「ｉｍｇ＿０００４．ｊｐｇ」が検索される。
【００２４】
更に、ステップＳ１０７ｂで、本体１のＣＰＵは、メタデータによる検索結果と特徴量による検索結果とを比較する（比較するステップ）。この場合、メタデータによる検索結果では、「ｉｍｇ＿０００５．ｊｐｇ」が検索されたのに対し、特徴量による検索では、検索されなかったのであるから、本体１のＣＰＵは、「ｉｍｇ＿０００５．ｊｐｇ」が検索結果に含まれるように所定範囲を変更する（ステップＳ１０７ｃ：調整するステップ）。本体１のＣＰＵは、変更された所定範囲を用いて、再度検索を行い、メタデータによる検索結果と特徴量による検索結果とが一致するまで、所定範囲の変更を行うことができる。尚、以上とは逆に、メタデータより、「ｉｍｇ＿０００４．ｊｐｇ」は人物Ｂが写っている画像に対応する画像データであることがわかるため、本体１のＣＰＵは、「ｉｍｇ＿０００４．ｊｐｇ」が検索結果に含まれないように所定範囲を変更することもできる。
【００２５】
一方、メタデータによる検索結果と特徴量による検索結果とを比較した結果、両者が一致していれば、本体１のＣＰＵは、所定範囲を変更することはない。
【００２６】
すなわち、本実施の形態は、メタデータに基づけば、例えば人物Ａが写っている画像に対応する画像データを確実に検索できるが、必ずしもメタデータが存在するとは限らないということと、特徴量に基づけば、全ての画像データを機械的に検索できるが、その検索確度は低いということから、メタデータの検索結果より、特徴量の検索パラメータを補正し、検索確度をより向上せんとするものである。これにより、最初のうちは検索結果が低くても、検索を重ねる内にパラメータが最適化されてゆき、最終的にはメタデータのない画像データでも検索できるようになることも期待できる。この結果に基づいて、メタデータに書き加えることもできる。
【００２７】
以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。例えば、特徴量の検索パラメータを変更するに当たっては、ニューラルネットワークの学習機能を用いることができる。このような技術としては、例えば、特開２００２−０２４７９５に開示がある。又、人物に限らず、動植物、風景など全ての被写体に対して、キー情報を用いて同様な検索を行うことができることは言うまでもない。
【図面の簡単な説明】
【００２８】
【図１】本実施の形態にかかる画像データ検索装置を示す図である。
【図２】メタデータの一例を示す図である。
【図３】画像データの検索工程を示すフローチャート図である。
【図４】パラメータ調整ルーチンを示すフローチャート図である。
【符号の説明】
【００２９】
１  本体
２  表示装置
３  入力装置
４  プリンタ
【図１】
2005100090.tif 000003
【図２】
2005100090.tif 000004
【図３】
2005100090.tif 000005
【図４】
2005100090.tif 000006