(57)【要約】撮像して得られた画像データを基にして、概要テンプレート（２１）を使ったテンプレートマッチングにより全体特徴量ＤＢを構成したストレージ（２０）から複数の画像データを検索し、その検索した結果の複数の画像データから、上記概要テンプレート（２１）より狭い領域で且つ解像度の高い詳細テンプレート（２２）を使って、テンプレートマッチングにより単一又は複数の画像データを検索する。
2007004520.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段（１１）と、
上記画像入力手段で入力した画像を基にして、第１のテンプレート（２１）を使ったテンプレートマッチングによりデータベース（２０）から複数の画像を検索し、その検索した結果の複数の画像から、上記第１のテンプレートより狭い領域で且つ解像度の高い第２のテンプレート（２２）を使って、テンプレートマッチングにより単一又は複数の画像を検索する画像検索手段（１４；４３）と、
を具備することを特徴とする検索システム。
【請求項２】
上記画像検索手段において、上記第２のテンプレートは、画像の中央領域部分に対応することを特徴とする請求項１に記載の検索システム。
【請求項３】
上記画像検索手段において、上記第２のテンプレートは、画像の複数領域部分的に対応することを特徴とする請求項１に記載の検索システム。
【請求項４】
上記画像検索手段において、上記第２のテンプレートは、画像の合焦領域部分に対応することを特徴とする請求項１に記載の検索システム。
【請求項５】
画像を入力する画像入力手段（１１）と、
上記画像入力手段で入力した画像を基にして、部分的に解像度を高めたテンプレート（２３）によるテンプレートマッチングによりデータベース（２０）から単一又は複数の画像を検索する画像検索手段（１４；４３）と、
を具備することを特徴とする検索システム。
【請求項６】
上記画像検索手段において、上記テンプレートで部分的に解像度を高めた領域は、画像の中央領域部分に対応することを特徴とする請求項５に記載の検索システム。
【請求項７】
上記画像検索手段において、上記テンプレートで部分的に解像度を高めた領域は、画像の複数領域部分に対応することを特徴とする請求項５に記載の検索システム。
【請求項８】
上記画像検索手段において、上記テンプレートで部分的に解像度を高めた領域は、画像の合焦領域部分に対応することを特徴とする請求項５に記載の検索システム。
【請求項９】
上記画像検索手段において、上記画像入力手段によって入力される画像は、プリントアウトした画像（１）を撮像したものであることを特徴とする請求項１又は５に記載の検索システム。
【請求項１０】
画像を入力し、
上記入力した画像を基にして、第１のテンプレート（２１）を使ったテンプレートマッチングによりデータベースから複数の画像を検索し、
上記検索した結果の複数の画像から、上記第１のテンプレートより狭い領域で且つ解像度の高い第２のテンプレート（２２）を使って、テンプレートマッチングにより単一又は複数の画像を検索する、
ことを特徴とする検索方法。
【請求項１１】
上記第１及び第２のテンプレート（２１，２２）が、作例的に好ましい画像から作成されたものであり、
上記検索される単一又は複数の画像として、好ましい画像が選別されることを特徴とする請求項１０に記載の検索方法。
【請求項１２】
画像を入力し、
上記入力した画像を基にして、部分的に解像度を高めたテンプレート（２３）によるテンプレートマッチングによりデータベースから単一又は複数の画像を検索する、
ことを特徴とする検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、データベースから画像データを検索する検索システム及び検索方法に関する。
【背景技術】
【０００２】  近年、デジタルカメラで撮影した画像データについても、銀塩カメラで撮影した画像と同様に、それをプリントアウトして楽しむことが広く行われている。【０００３】  そのようにプリントアウトしてしまった画像データを再プリントしようとするとき、その画像データの付帯情報（ファイル名、撮影日時、等）を参考に、画像記憶媒体からユーザが検索しなければならず、非常に手間がかかるものであった。【０００４】  そこで、例えば、特開２００１−８８３７４号公報には、画像データ供給源から一度プリントアウトした画像のデータを簡易に探し出すことを目的に、プリントアウトした画像データを保存しておき、キーワード検索等が行えるようにしたストレージプリンタが提案されている。
【発明の開示】
【０００５】  しかしながら、上記特開２００１−８８３７４号公報に開示のストレージプリンタでは、キーワード分類による検索を行うため、事前にユーザが分類する必要があり、手間がかかっていた。
【０００６】  また、大きな母集団から、テンプレートマッチングで目的の画像データを検索する場合、認識率向上のためにそのまま解像度の高いテンプレートを適用すると、演算時間が増加する傾向にあるため、高速化手法が必要となっている。
【０００７】  本発明は、上記の点に鑑みてなされたもので、データベースから画像データを容易且つ高速に探し出すことが可能な検索システム及び検索方法を提供することを目的とする。
【０００８】  本発明の検索システムの一態様は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像を基にして、第１のテンプレートを使ったテンプレートマッチングによりデータベースから複数の画像を検索し、その検索した結果の複数の画像から、上記第１のテンプレートより狭い領域で且つ解像度の高い第２のテンプレートを使って、テンプレートマッチングにより単一又は複数の画像を検索する画像検索手段と、を具備することを特徴とする。
【０００９】  また、本発明の検索システムの別の態様は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像を基にして、部分的に解像度を高めたテンプレートによるテンプレートマッチングによりデータベースから単一又は複数の画像を検索する画像検索手段と、を具備することを特徴とする。
【００１０】  また、本発明の検索方法の一態様は、画像を入力し、上記入力した画像を基にして、第１のテンプレートを使ったテンプレートマッチングによりデータベースから複数の画像を検索し、上記検索した結果の複数の画像から、上記第１のテンプレートより狭い領域で且つ解像度の高い第２のテンプレートを使って、テンプレートマッチングにより単一又は複数の画像を検索する、ことを特徴とする。
【００１１】  また、本発明の検索方法の別の態様は、画像を入力し、上記入力した画像を基にして、部分的に解像度を高めたテンプレートによるテンプレートマッチングによりデータベースから単一又は複数の画像を検索する、ことを特徴とする。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１実施例に係る検索システムの概略構成を示す図である。
【図２】図２は、概要テンプレートを説明するための図である。
【図３】図３は、詳細テンプレートを説明するための図である。
【図４】図４は、原画像データと概要テンプレート及び詳細テンプレートとの位置関係を説明するための図である。
【図５】図５は、第１実施例に係る検索システムのブロック構成図である。
【図６】図６は、第１実施例に係る検索システムの動作フローチャートを示す図である。
【図７】図７は、プリントアウトの切り出し処理の詳細フローチャートを示す図である。
【図８】図８は、ＤＢとのマッチング処理の詳細フローチャートを示す図である。
【図９】図９は、画像候補を１点だけ表示する場合のデジタルカメラの表示部の表示画面を示す図である。
【図１０】図１０は、９点の画像候補を表示する場合の表示画面を示す図である。
【図１１】図１１は、画像データの中央部に注目した詳細テンプレートを説明するための図である。
【図１２】図１２は、画像内に数箇所分散配置した詳細テンプレートを説明するための図である。
【図１３】図１３は、注目領域を原画像データ撮影時の合焦位置においた詳細テンプレートを説明するための図である。
【図１４】図１４は、概要テンプレートと詳細テンプレートとを同一画像に納めた複合テンプレートを説明するための図である。
【図１５】図１５は１６×１６テンプレートと、１２８×１２８テンプレートと、それらを組み合わせた複合テンプレートとを示す図である。
【図１６】図１６は、概要テンプレートと同じ領域に対して作成した詳細テンプレートを説明するための図である。
【図１７】図１７は、特徴量データベースの作成方法を説明するためのフローチャートを示す図である。
【図１８】図１８は、特徴量データベースの作成方法の別の例を説明するためのフローチャートを示す図である。
【図１９】図１９は、特徴量データベースの作成方法の更に別の例を説明するためのフローチャートを示す図である。
【図２０】図２０は、特徴量データベースの作成方法の他の例を説明するためのフローチャートを示す図である。
【図２１】図２１は、本発明の第２実施例に係る検索システムのブロック構成図である。
【図２２】図２２は第２実施例に係る検索システムの動作フローチャートを示す図である。
【図２３】図２３は、プリントアウトの撮像処理の詳細フローチャートを示す図である。
【図２４】図２４は、特徴量データベースの作成方法を説明するためのフローチャートを示す図である。
【図２５】図２５は、撮影時などにおける手本画像への誘導機能をデジタルカメラに適用した例を示す図である。
【図２６】図２６は、誘導の表示例を示す図である。
【図２７】図２７は、誘導の別の表示例を示す図である。
【図２８】図２８は、本発明の第３実施例に係る検索システムの動作フローチャートを示す図である。
【発明を実施するための最良の形態】
【００１３】  以下、本発明を実施するための最良の形態を図面を参照して説明する。【００１４】  ［第１実施例］
本発明の第１実施例に係る検索システムは、図１に示すように、デジタルカメラ１０と、ストレージ２０と、プリンタ３０とから構成される。ここで、ストレージ２０は、複数の画像データを格納するもので、プリンタ３０は、そのストレージ２０に格納された画像データをプリントアウトする。【００１５】  例えば、ストレージ２０は、デジタルカメラ１０に内蔵乃至は脱着可能なメモリであって、プリンタ３０は、デジタルカメラ１０からのプリントアウト指示に従って、そのストレージ２０であるメモリ内の画像データをプリントアウトする。あるいは、ストレージ２０は、デジタルカメラ１０に接続端子，ケーブル，あるいは無線／有線ネットワークを介して接続される、もしくは、デジタルカメラ１０から取り外されたメモリを装着して、画像データを転送可能なデバイスであっても良い。その場合には、プリンタ３０は、ストレージ２０に接続または一体的に構成され、デジタルカメラ１０からのプリントアウト指示に従ってプリントアウトを実行するようなものであっても良い。【００１６】  なお、ストレージ２０は、特徴量によって画像データが検索可能に構成されたデータベースの機能も備える。即ち、ストレージ２０は、原画像のデジタルデータより作成された特徴量データ（テンプレート）群を格納した特徴量データベースを構成している。【００１７】  この場合、第１のテンプレートとしての概要テンプレートを登録した全体特徴量データベースと、第２のテンプレートとしての詳細テンプレートを登録した詳細特徴量データベースとを含む。なお、特徴量は、所定の解像度に相当する画像データ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対濃度などを使うものでも構わないし、分割エリア毎のフーリエ変換値などに基づいたものでも構わない。【００１８】  ここで、概要テンプレート２１は、図２に示すように、画像データ５０の全体（１００％）のほとんど（例えば約９０％）を含む領域を比較的粗い解像度（分割エリア）で特徴量データを抽出することで得られたものである。また、詳細テンプレート２２は、図３に示すように、画像データ５０の中央領域部分（例えば中央約２５％）を含む領域を、上記概要テンプレート２１の解像度に比べて高い解像度で特徴量データを抽出することで得られたものである。なお、原画像データと上記概要テンプレート２１及び詳細テンプレート２２との位置関係は、図４に示すようになる。【００１９】  このような構成の検索システムは、以下のように動作する。【００２０】  （１）まず、デジタルカメラ１０は、プリンタ３０によって一旦プリントアウトされた検索元プリントアウト１の画像を含む被写体を撮影する。そして、得られた撮影画像データから、その検索元プリントアウト１の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。【００２１】  （２）そして、デジタルカメラ１０は、その抽出した特徴量によってストレージ２０に格納された概要テンプレート２１及び詳細テンプレート２２とテンプレートマッチング処理を実行する。【００２２】  （３）その結果、デジタルカメラ１０は、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト１の原画像��ータであるとして、ストレージ２０から読み出す。【００２３】  （４）これにより、デジタルカメラ１０は、その読み出した原画像データを、再び、プリンタ３０でプリントアウトすることができる。【００２４】  なお、検索元プリントアウト１としては、１枚単位で出力されたプリントアウト以外に、複数の縮小画像をまとめて出力したインデックスプリントを使うことも可能である。これは、インデックスプリントから必要なものを選択して、焼き増しする方がコスト面や利便性が良いためである。【００２５】  また、検索元プリントアウト１については、システム内のストレージ２０に構成した特徴量データベースに原画像データがある画像であれば、システム外（図示せず）のプリンタでプリントアウトしたものであっても構わない。【００２６】  以下、本第１実施例に係る検索システムを、図５に示すブロック構成図及び図６に示す動作フローチャートを参照して、詳細に説明する。なお、デジタルカメラ１０は、通常の撮影モードとは別に、撮影済みデータの検索モードを有し、図６の動作フローチャートは、その検索モードに設定されている場合の処理を示している。【００２７】  即ち、ユーザは、上記検索モードに設定した後、再度プリントアウトすることを望む検索元プリントアウト１をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ１０の撮像部１１により、少なくとも上記検索元プリントアウト１の欠けが無いように撮影する（ステップＳ１１）。【００２８】  すると、デジタルカメラ１０においては、領域抽出部１２にて、撮像部１１で撮影された画像データ中から、上記検索元プリントアウト１の画像を特定し、その部分を特定して抽出するためのプリントアウトの切り出し処理を実行する（ステップＳ１２）。【００２９】  このプリントアウトの切り出し処理は、図７に示すように、まず、撮影された画像データ中の線分を検出し（ステップＳ１２１）、それら検出された線分の中から直線を検出する（ステップＳ１２２）。そして、それら検出した直線４本で構成される枠を推定する（ステップＳ１２３）。即ち、４辺に囲まれた関心領域を撮影された画像データ中から探し出す。なお、そのような４辺に囲まれた領域が複数ある場合には、その中で最も面積の大きい部分を関心領域として抽出したり、或いは矩形の縦横比などから関心領域を特定すれば良い。また、まれに、撮影された画像データの中で検索元プリントアウト１自体がそりを生じ、その結果、４辺に囲まれた領域と特定できないことがある。この場合、４辺の内幾つかが緩い円弧で構成されていてもそれを許容するような処理を行うことも有効である。また、ここで検索元プリントアウト１と見られる領域を抽出した後、その画像データ領域をアフィン変換等により正規化する処理も含んでいる。【００３０】  次に、特徴量抽出部１３によって、上記領域抽出部１２で特定され抽出された関心領域の画像データ全体から特徴量を抽出する全体特徴量抽出処理を行う（ステップＳ１３）。そしてその後、マッチング部１４により、上記特徴量抽出部１３で抽出した全体特徴量データを、ストレージ２０に構成した上記概要テンプレート２１を登録した全体特徴量データベースと比較し、その類似度の高いもの���順に抽出する全体特徴量ＤＢとのマッチング処理を実行する（ステップＳ１４）。【００３１】  即ち、この全体特徴量ＤＢとのマッチング処理は、図８に示すように、まず、各概要テンプレート２１との類似度を算出し（ステップＳ１４１）、類似度に基づいてソートする（ステップＳ１４２）。そして、その類似度に従って原画像候補を選出する（ステップＳ１４３）。なお、この選出は、閾値を設定しても良いし、類似度の高い順に上位のものを指定しても良い。何れにしても、類似度の最上位のものを１点選出する方法と、類似度の高いものから複数点を選出する方法の２種の方法がある。【００３２】  その後、上記領域抽出部１２にて、上記特定され抽出された関心領域全体の画像データから、更に詳細検索対象領域、この例では上記関心領域の中央領域部の画像データを詳細検索対象画像データとして抽出する（ステップＳ１５）。そして、特徴量抽出部１３によって、上記領域抽出部１２で抽出した詳細検索対象画像データから特徴量を抽出する詳細特徴量抽出処理を行い（ステップＳ１６）、その抽出した詳細特徴量データを、マッチング部１４により、ストレージ２０に構成した上記詳細テンプレート２２を登録した詳細特徴量データベースと比較し、その類似度の高いものを順に抽出する詳細特徴量ＤＢとのマッチング処理を実行する（ステップＳ１７）。但しこの場合、詳細特徴量データベースに登録された全ての詳細テンプレート２２とのテンプレートマッチングを行うのではなく、上記ステップＳ１４の全体特徴量ＤＢとのマッチング処理で抽出された複数の原画像候補に対応する詳細テンプレート２２についてのみテンプレートマッチングが実行される。従って、解像度が高いため処理時間を要する詳細テンプレート２２とのテンプレートマッチング処理は、必要最低限で済むことになる。なお、上記ステップＳ１４の全体特徴量ＤＢとのマッチング処理での抽出する基準としては、類似度に閾値を設ける方法や上位５００個分固定的に選択する等といった方法で行う。【００３３】  而して、この詳細特徴量ＤＢとのマッチング処理にて類似度の高い画像データが原画像候補として抽出されたならば、次に、表示部１５に、上記抽出された原画像候補の画像データをストレージ２０から読み出して、抽出すべき画像候補として表示し（ステップＳ１８）、ユーザによる選択を受け付ける（ステップＳ１９）。【００３４】  図９は、画像候補を１点だけ表示する場合の表示部１５の表示画面を示している。この表示画面では、画像候補１５１の表示の横に、他の画像候補の表示を指示する際に操作すべきボタンを表す『前』及び『次』アイコン１５２と、当該画像候補１５１を所望の画像データとして指示する際に操作すべきボタンを表す『決定』アイコン１５３とが配置される。『前』及び『次』アイコン１５２は、デジタルカメラ１０が通常備える所謂十字キーの左キー及び右キーであることを表し、『決定』アイコン１５３はその十字ボタンの真ん中に配置されるエンターキーであることを表す。【００３５】  ここで、『前』及び『次』アイコン１５２に相当する十字キーが操作された場合には（ステップＳ２０）、上記ステップＳ１８に戻って、画像候補１５１を更新表示する。これに対して、『決定』アイコン１５３に相当するエンターキーが操作された場合には（ステップＳ２０）、マッチング部１４は、ストレージ２０に格納されている当該画像候補１５１に対応する原画像データを、接続されたプリンタ３０に送り、再度プリントアウトする（ステップＳ２１）。また、プリンタ３０に有線／無線で直接接続されていない場合には、ストレージ２０に格納されている当該画像候補１５１に対応する原画像データに、フラグを追記する等の所定のマーキングを行う処理を実行することで、該ストレージ２０にアクセス可能なプリンタ３０でプリントアウトすることを可能とする。【００３６】  なお、上記ステップＳ１８の画像候補の表示において、複数の候補を同時に表示するようにしても構わない。この場合、通常デジタルカメラ１０に設置されている表示部１５は当然数インチの小型のものであるため、４点或いは９点程度の表示が使い易い。図１０は、９点の画像候補１５１を表示するようにした例を示している。この場合、『前』及び『次』アイコン１５２に相当する十字キーの左キー及び右キーの操作にじて、選択画像を示す太枠１５４が移動される。なお、特に図示はしていないが、十字キーの上キー及び下キーの操作に応じて、９点の画像候補１５１の表示を前及び次の９点の画像候補の表示に変更する、所謂ページ切り替え表示を行うようにしても良い。【００３７】  このような本実施例によれば、原画像データの検索結果の質（満足度）向上と、妥当な検索時間の両立ができる。【００３８】  また、撮影者の注目領域を考慮した検索結果を得ることができる。即ち、通常、撮影者は主要被写体を画像中央に捕らえて撮影するので、図１１に示すように、画像データの中央部に注目した詳細テンプレート２２を使用することで、良好な検索結果を得ることができる。従って、プリントアウトした写真である検索元プリントアウト１から、その原画像データを検索抽出し、焼き増しを容易に行うシステムにおいて、そのプリント写真の検索において効果が高い。【００３９】  さらに、キーワード分類などが難しい原画像母集団に対する検索において、高速に細部の違いを判別する手段としての効果が高い。即ち、大規模な母集団に対する、段階的な検索結果絞り込みが可能となる。【００４０】  なお、詳細テンプレート２２は、図３や図１１に示したように、画像データの中央部に注目したものに限定するものではない。【００４１】  例えば、図１２に示すように、画像内に数箇所、詳細テンプレート２２を設定しても良い。このように詳細テンプレート２２を分散配置することで、プリント撮影条件による失敗を回避できる。即ち、位置や数を動的に変化させて絞り込みが行える。【００４２】  また、図１３に示すように、注目領域を原画像データ撮影時の合焦位置においた詳細テンプレート２２としても良い。このような詳細テンプレート２２では、撮影者の意図を反映した結果が見込める。【００４３】  また、図１４に示すように、低解像度の概要テンプレート２１と高解像度の詳細テンプレート２２とを同一画像に納めた複合テンプレート２３を構成し、１回のテンプレートマッチング処理で済むようにしても良い。例えば、図１５に示すように、概要テンプレート２１（１６×１６テンプレート）と詳細テンプレート２２（１２８×１２８テンプレート）とを組み合わせることで、複合テンプレート２３を構成する。このような複合テンプレート２３によれば、高速性と安定的な検索結果の両立が見込める。また、高解像度領域の配置や構成を変更しても、全体の実装を変更せずに扱える。【００４４】  さらに、図１６に示すように、詳細テンプレート２２を概要テンプレート２１と同じ領域について作成しデータベースに登録しておき、実際の詳細テンプレート２２とのテンプレートマッチング時には、その内の一部の領域、つまり図１１乃至図１３に示すような領域を参照領域２４として使用し、他の領域を非参照領域２５とするようにしても良い。【００４５】  なお、上記のような詳細テンプレート２２を登録した詳細特徴量データベース並びに概要テンプレート２１を登録した全体特徴量データベースについては、予め、ストレージ２０中の原画像データを元に作成しておく必要がある。また、このストレージ２０は、デジタルカメラ１０に付属するメモリであっても良いし、図２に破線で示すような通信部を介してアクセス可能なデータベースであっても良い。【００４６】  これらの特徴量データベースの作成には、各種の方法が考えられる。【００４７】  例えば、原画像撮影時にその撮影画像データをデジタルカメラ１０のメモリ領域に保存する際に、各特徴量算出とそのデータベース登録を行う方法である。即ち、図１７に示すように、デジタルカメラ１０にて撮影を行い（ステップＳ３０１）、その撮影画像データをデジタルカメラ１０のメモリ領域に保存する（ステップＳ３０２）。そして、その保存した撮影画像データから２種類の解像度（及び位置）でそれぞれ特徴量を算出して両テンプレートデータを作成し（ステップＳ３０３）、その作成した各テンプレートデータを上記撮影画像データに関連付けてそれぞれのデータベースに保存する（ステップＳ３０４）。従って、ストレージ２０がデジタルカメラ１０の内蔵するメモリであれば、データベースが構築されることになる。また、ストレージ２０がデジタルカメラ１０と別体の場合には、デジタルカメラ１０のメモリ領域に保存された撮影画像データとテンプレートデータが共にストレージ２０に転送され、データベースが構築されることになる。【００４８】  また、ストレージ２０に蓄積された原画像データをプリンタ３０でプリントアウトする際に、そのプリントアウト指示と同時に特徴量抽出処理を行い、データベースに蓄積することもプロセス的に効率が良い方法である。即ち、図１８に示すように、ストレージ２０に蓄積された原画像データをプリントアウトする際、通常、ユーザ指示により、プリントアウトする原画像データが選択され（ステップＳ３１１）、また、プリント条件が設定されて（ステップＳ３１２）、プリントが実行される（ステップＳ３１３）。通常はここでプリント処理は終了であるが、本例では、更に続けて、その選択された原画像データから各解像度（及び位置）で特徴量を算出して両テンプレートデータを作成し（ステップＳ３１４）、作成した各テンプレートデータをその原画像データに関連付けて各データベースに保存する（ステップＳ３１５）。なお、テンプレートデータ作成の際に、プリント条件を反映させることで、検索元プリントアウト１とテンプレートデータとのマッチング精度を向上させることができる。このような方法によれば、マッチング処理が実施されるかもしれない原画像データについてのみしかテンプレートデータを作成しないので、不必要なテンプレートデータの作成時間及び保存容量を省略することができる。【００４９】  また、勿論、バッジ処理で行っても構わない。即ち、図１９に示すように、ユーザからの一括テンプレート作成実行指示があったとき（ステップＳ３２１）、ストレージ２０内のテンプレート未作成原画像データを選別して（ステップＳ３２２）、それら選別したテンプレート未作成原画像データに対して一括テンプレート作成処理を実行する（ステップＳ３２３）。この一括テンプレート作成処理は、個々のテンプレート未作成原画像データから各解像度（及び位置）で特徴量を抽出して両テンプレートデータを作成し（ステップＳ３２３Ａ）、それら作成した各テンプレートデータを対応する原画像データに関連付けてストレージ２０に保存するものである（ステップＳ３２３Ｂ）。【００５０】  さらには、ユーザの指示入力によって、個別に処理しても良い。即ち、図２０に示すように、ユーザが、ストレージ２０内の原画像データの一つを選択し（ステップＳ３３１）、その選択した原画像データについてテンプレートデータの作成の指示を行うことで（ステップＳ３３２）、その選択された原画像データから各解像度（及び位置）で特徴量を抽出して両テンプレートデータを作成し（ステップＳ３３３）、その作成した各テンプレートデータを上記選択された原画像データに関連付けてそれぞれのストレージ２０に保存する（ステップＳ３３４）。【００５１】  なお、必ずしも同時に両テンプレートを作成する必要は無く、例えば、詳細テンプレート２２は、２次検索を実行する段階で必要になったときに作成する方法でも良い。【００５２】  また、上記ステップＳ１２乃至Ｓ２０の処理は、デジタルカメラ１０内で実施するものとして説明したが、デジタルカメラ１０と別体でストレージ２０を存在させる場合には、そのような処理をソフトウェアとしてストレージ２０にて起動させる、或いはデジタルカメラ１０とストレージ２０とに分割した形で起動させることで実際に動作させることも可能である。【００５３】  以上のように、これまで、プリントアウトしてしまった画像データを再プリントしようとするとき、画像データの付帯情報（ファイル名、撮影日時、等）を参考にユーザが検索する事が多かったが、本実施例に係る検索システムによれば、デジタルカメラ１０にて所望の検索元プリントアウト１の画像を撮影するだけで、原画像のファイル（画像データ）にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。【００５４】  加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ１０に付属するメモリや図５に破線で示すような通信部を介してアクセス可能なデータベース等のストレージ２０に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。【００５５】  また、上述したように、本実施例によれば、原画像データの検索結果の質（満足度）向上と、妥当な検索時間の両立ができる。【００５６】  更には、撮影者の注目領域を考慮した検索結果を得ることができる。【００５７】  また、キーワード分類などが難しい原画像母集団に対する検索において、高速に細部の違いを判別する手段としての効果が高い。即ち、大規模な母集団に対する、段階的な検索結果絞り込みが可能となる。【００５８】  ［第２実施例］
次に、図１を参照して、本発明の第２実施例に係る検索システムの概略を説明する。【００５９】  即ち、本検索システムは、デジタルカメラ１０と、ストレージ２０と、プリンタ３０と、パーソナルコンピュータ（ＰＣ）４０とから構成される。ここで、ストレージ２０は、ＰＣ４０に内蔵乃至は通信によってアクセス可能な記憶装置である。また、ＰＣ４０は、デジタルカメラ１０に無線／有線接続される、もしくは、デジタルカメラ１０から取り外されたメモリを装着して、デジタルカメラ１０のメモリに保存された画像データを読み出し可能に構成されている。【００６０】  このような構成の検索システムは、以下のように動作する。【００６１】  （１）まず、デジタルカメラ１０は、プリンタ３０によって一旦プリントアウトされた検索元プリントアウト１の画像を含む被写体を撮影する。【００６２】  （５）ＰＣ４０は、得られた撮影画像データから、その検索元プリントアウト１の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。【００６３】  （６）そして、ＰＣ４０は、その抽出した特徴量によってストレージ２０に格納された概要テンプレート２１及び詳細テンプレート２２とテンプレートマッチング処理を実行する。【００６４】  （７）その結果、ＰＣ４０は、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト１の原画像データであるとして読み出す。【００６５】  （８）これにより、ＰＣ４０は、その読み出した原画像データを、再び、プリンタ３０でプリントアウトすることができる。【００６６】  以下、本第２実施例に係る検索システムを、図２１に示すブロック構成図及び図２２に示す動作フローチャートを参照して、詳細に説明する。なお、これらの図において、上記第１実施例と対応するものについては、同一の参照番号を付してある。【００６７】  即ち、本実施例は、デジタルカメラ１０で撮影された画像データをそのユーザが特定するＰＣ４０に内蔵又は接続されたストレージ２０に蓄積し、且つ図２２にＰＣ側として示す処理がアプリケーションソフトウェアとしてＰＣ４０にて動作する場合である。なお、ＰＣ４０とデジタルカメラ１０を有線或いは無線で接続し、通信状態を確立した状態で、本アプリケーションソフトウェアを立ち上げるものである。これは、デジタルカメラ１０に設定された“検索モード”等といったスイッチを入れる操作によって機能が起動される状態でも構わない。【００６８】  このように本アプリケーションソフトウェアが動作したところで、デジタルカメラ１０側にて、プリントアウトの撮像処理が実行される（ステップＳ１１）。即ち、図２３に示すように、ユーザが、再度プリントアウトすることを望む検索元プリントアウト１をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ１０の撮像部１１により、少なくとも上記検索元プリントアウト１の欠けが無いように撮影する（ステップＳ１１１）。これにより、得られた撮影画像データがデジタルカメラ１０内のメモリである記憶部１６に保存される。そして、その保存された撮影画像データが、有線或いは無線で、接続されたＰＣ４０に転送される（ステップＳ１１２）。【００６９】  すると、ＰＣ４０においては、アプリ��ーションソフトウェアにより実現される領域抽出部４１にて、上記送信されてきた撮影画像データ中から、上記検索元プリントアウト１の画像を特定し、その部分を特定・抽出するためのプリントアウトの切り出し処理を実行する（ステップＳ１２）。次に、アプリケーションソフトウェアにより実現される特徴量抽出部４２によって、上記特定・抽出された関心領域の画像データ全体から特徴量を抽出する全体特徴量抽出処理を行う（ステップＳ１３）。【００７０】  そしてその後、アプリケーションソフトウェアにより実現されるマッチング部４３により、上記抽出した全体特徴量データを、ストレージ２０に構成した上記概要テンプレート２１を登録した全体特徴量データベースと比較し、その類似度の高いものを順に抽出する全体特徴量ＤＢとのマッチング処理を実行する（ステップＳ１４）。即ち、算出された全体特徴量データを元にＰＣ４０側のマッチング部４３にて、ストレージ２０の画像データそれぞれに同梱される（或いは包括的にデータベース化された）特徴量データ（概要テンプレート２１）群と比較し、最も近いものを選び出す。設定により、最も近い複数の特徴量候補を選出する事も使い勝手において有効である。この特徴量データには、その特徴量を算出した原画像データの指定情報が含まれており、それに従い候補画像を呼び出す。【００７１】  その後、上記領域抽出部４１にて、上記特定・抽出された関心領域全体の画像データから、更に詳細検索対象領域、この例では上記関心領域の中央領域部の画像データを詳細検索対象画像データとして抽出する（ステップＳ１５）。そして、上記特徴量抽出部４２によって、上記領域抽出部４１で抽出した詳細検索対象画像データから特徴量を抽出する詳細特徴量抽出処理を行い（ステップＳ１６）、その抽出した詳細特徴量データを、マッチング部４３により、ストレージ２０に構成した上記詳細テンプレート２２を登録した詳細特徴量データベースと比較し、その類似度の高いものを順に抽出する詳細特徴量ＤＢとのマッチング処理を実行する（ステップＳ１７）。但しこの場合、詳細特徴量データベースに登録された全ての詳細テンプレート２２とのテンプレートマッチングを行うのではなく、上記ステップＳ１４の全体特徴量ＤＢとのマッチング処理で抽出された複数の原画像候補に対応する詳細テンプレート２２についてのみテンプレートマッチングが実行される。従って、解像度が高いため処理時間を要する詳細テンプレート２２とのテンプレートマッチング処理は、必要最低限で済むことになる。【００７２】  その後、上記選出された原画像候補（或いは候補画像群）の画像データをストレージ２０から読み出して、該ＰＣ４０のディスプレイである表示部４４に抽出すべき画像候補として表示し（ステップＳ１８）、上記第１実施例と同様に、ユーザによる選択を受け付ける。このとき、上記選出された原画像候補（或いは候補画像群）の画像データをそのままか、適宜圧縮した状態で、ＰＣ４０よりデジタルカメラ１０に転送し、デジタルカメラ１０の表示部１５上に表示するようにしても構わない（ステップＳ４１）。【００７３】  そして、マウス等の操作による選択に応じて、ストレージ２０に格納されている当該画像候補に対応する原画像データを、接続されたプリンタ３０に送り、再度プリントアウトする（ステップＳ２１）。即ち、上記表示された原画像候補をユーザの判断により決定し、印刷プロセスに渡すことにより当初の目的であるプリントアウト済み画像の再印刷がユーザにとっては簡単に行えるものである。なおこのとき、単純に印刷するばかりではなく、候補画像として複数選択した中でユーザ判断によっては、「狙いの元画像とは異なるが、類似の画像を集めた」ことになり、類似の画像データを一括検索する機能の実現にも繋がっている。【００７４】  なお、本実施例においては、特徴量データベースの作成は、デジタルカメラ１０からＰＣ４０を介したストレージ２０への撮影画像データの転送時に行うようにしても良い。即ち、図２４に示すように、デジタルカメラ１０からＰＣ４０への撮影画像データの転送を開始し（ステップＳ３４１）、ＰＣ４０により、その転送されてきた撮影画像データをストレージ２０に保存すると共に（ステップＳ３４２）、その撮影画像データから概要テンプレートデータ及び詳細テンプレートデータを作成する（ステップＳ３４３）。そして、その作成した各テンプレートデータをストレージ２０に上記撮影画像データに関連付けて保存する（ステップＳ３４４）。【００７５】  以上のように、本第２実施例においても、上記第１実施例と同様の効果を奏することができる。【００７６】  加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ１０に付属するメモリや図５に破線で示すような通信部を介してアクセス可能なデータベース等のストレージ２０に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。更には、そのデータに紐付くインターネットサイトをＰＣ４０やデジタルカメラ等のディスプレイで表示したり、特定のアプリケーション（音声・動画等）を作動させることなどが可能となる。【００７７】  なお、類似の画像構成の画像データを検索する機能は、撮影時などにおける手本画像への誘導といったことも可能である。これは、全体の構図を概要テンプレート２１で評価し、詳細テンプレート２２で細部の評価を行い、誘導情報や好ましい構図の画像を選別することが可能となるためである。【００７８】  この機能は、ＰＣ４０上でオフライン処理する方法と、デジタルカメラ１０や携帯情報端末等の撮像装置に内蔵しオンライン処理する方法がある。ＰＣ４０上でオフライン処理する例としては、撮影した多数の画像の中から、好ましい構図の画像を選別するといった用途に適用可能である。また、デジタルカメラ１０や携帯情報端末に内蔵した場合は、撮影の補助機能として動作し、撮影をリアルタイムでサポートするといった例にも適用できる。【００７９】  この機能で使う手本画像としては、フォトコンテストなどで選ばれた良い作例やプロカメラマンが撮影した画像などの作例的に好ましい画像（手本画像）を用い、ユーザの好みに応じて選択することも可能である。【００８０】  手本画像のテンプレートには、特徴量だけでな���、時間、位置情報、気象情報などを加えることも可能で、これらの情報を用いることにより、例えば撮影位置における日没時刻を考慮して最適な構図になる時間帯を指示するといったことも可能となる。また、レンズ交換式のカメラの場合には、交換したレンズの情報をもとに手本画像テンプレートの自動選択や補正といった機能も可能である。【００８１】  図２５は、撮影時などにおける手本画像への誘導機能をデジタルカメラ１０に適用した例を示す図である。この例では、手本画像をテンプレートとしストレージ２０に保持しておき、撮影時に手本画像テンプレートとマッチングを行い、その類似度が高い画像を撮影できるように誘導していくことで、最適な構図の画像を撮影できるよう補助することができる。手本画像とのズレをマッチングにより検知し、例えば図２６に示すように矢印１５５などで構図的に好ましい方向へ誘導する方法や、図２７に示すように構図的に好ましい部分を強調表示１５６するといった方法などある。【００８２】  誘導時に使う特徴量としては、画像データ内の特徴点や色情報の配置関係を使うものであっても良いし、所定のルールに従った画像データ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対濃度などを使うものでも構わないし、分割エリア毎のフーリエ変換値などに基づいたものでも構わない。【００８３】  なお、上記説明では、デジタルカメラ１０を用いたが、本実施例はそれに限定されるものではなく、スキャナであっても構わない。【００８４】  また、実際にプリントアウトした検索元プリントアウト１をデジタルカメラ１０で撮影しているが、例えば検索元プリントアウト１を撮影した画像を表示しているディスプレイをデジタルカメラ１０で撮影しても同様に実施可能である。【００８５】  ［第３実施例］
次に、本発明の第３実施例に係る検索システムを説明する。【００８６】  本実施例は、カメラ付携帯電話機等の撮像機能付通信装置である通信機能を備えたデジタルカメラ１０を使う例であり、予め登録した画像を撮影する事により、その画像を認識し、認識結果に応じて所定の動作（例えば音声出力や所定のプログラムの起動、或いは所定のＵＲＬの表示）をさせる場合に適用するものである。【００８７】  画像を認識する場合、参照するデータベース（いわゆる辞書データ）として画像データは登録するが、画像をそのまま比較するのではなく、画像の特徴量を比較するのが効率が良く実際的である為、画像から抽出した特徴量データベースを使う。またこのデータベースは内蔵でも通信を介したサーバ上に存在するものでも構わない。【００８８】  本実施例では、画像の特徴点の配置関係をベクトル量の組み合わせとして算出し、その多数組を特徴量として定義する。そのとき、この特徴量は特徴点の現れる数によってその精度が異なり、原画像データの精細度が高ければ特徴点が数多く検出可能であるため、同じ原画像データに対し、なるべく高精細な条件で特徴量を算出する。このとき、同じ画像素材に対して精細度を低下させた画像データを基に特徴量を算出すると、特徴点が比較的少なくなるため特徴量自体は小さい容量となる。容量が小さいことはマッチング精度には劣るものの、マッチング速度が高速であることや、通信速度が速い等のメリットがある。【００８９】  本実施例においてはここに着眼し、画像データを参照データ（テンプレート）として登録する際、一つの画像素材の登録に際し異なる複数の精細度から特徴量を算出し、それぞれの精細度に個別化したデータベースを構成する。そのそれぞれのデータベースには、それぞれに対応するマッチングサーバが接続し、並列動作可能な配置とする。即ち、図２８に示すように、１次特徴量のマッチングサーバ及び１次情報ＤＢ２１、２次特徴量のマッチングサーバ及び２次情報ＤＢ２２、…、ｎ次特徴量のマッチングサーバ及びｎ次情報ＤＢ２ｎを準備する。なお、２次特徴量のマッチングサーバ及び２次情報ＤＢ２２乃至ｎ次特徴量のマッチングサーバ及びｎ次情報ＤＢ２ｎは、１次特徴量のマッチングサーバ及び１次情報ＤＢ２１よりも高精細な特徴量又は特別なカテゴリのデータベースである。【００９０】  このようなマッチング処理系を準備した上で、図２８に示すように、通信機能を備えたデジタルカメラ１０から、既に登録されている意匠（対象マーカ）を撮影し（ステップＳ５１）、上記デジタルカメラ１０に内蔵されるアプリケーションソフトウェアにより特徴点の配置関係から特徴量データを算出する（ステップＳ５２）。そして、その特徴量データを通信を介して各マッチングサーバに送信することで、各ＤＢとのマッチング処理が行われる（ステップＳ５３）。このマッチング処理によって、マッチする結果が得られたならば、その結果に紐付く動作情報（例えばＵＲＬのリンク等）が取得され（ステップＳ５４）、その動作情報がデジタルカメラ１０に送信されて、例えば３Ｄオブジェクト取得と表示といった指定動作が遂行される（ステップＳ５５）。【００９１】  なお、このときのカメラ解像度が２００万画素級であったとすれば、通信を介してマッチングサーバにて検索する場合も２００万画素級の解像度の特徴量データベースからのデータでマッチングを行えば誤認識率が少ない。しかしながら、同時に動作する低解像度（例えばＶＧＡクラスの解像度）の特徴量データベースでのマッチングは高速に応答するため、先にデジタルカメラ１０に結果が送付される。このようにマッチングサーバを解像度別に並列配置する事は速度的、認識精度的に有利である。なお、後追いの高解像度マッチングサーバからの回答が既に先に出ている低解像度マッチングサーバと異なる場合があり、そのような場合には、まず早いほうの結果に基づく表示が行われ、その後に、後追いの結果に基づく表示に更新される。例えば、紙幣などを認識しようとすると、低解像度マッチングでの回答が『一万円札』と言ったレベルであっても、高解像度マッチングにおいては『一万円札でナンバーがＺＴＡ４７３２９８ＳＰＫ』と言った回答のように、より精細度が高いことによる詳しい或いは正しい結果が得られる。【００９２】  また、上述した通り高解像度マッチングサーバにおいては特徴量自体の容量が大きく、ＸＧＡクラスの特徴量は４０ｋＢ程度に肥大するが、予め低解像度マッチングによりおよそ１０ｋＢ程度までに小さく成る。また、２次以降のマッチングサーバ及びデータベースにおいては、より低解像データベースとの差分のみを保持すれば、より小さいデータベース構成を実現し、それは認識処理の高速化につながる。なお、特徴量にテンプレート（エリア割付を行い、各々の濃度値を比較する方式）での抽出を進めた場合、一般的に１０ｋＢ以下であり、適宜両方式を組み合わせた多次元特徴量も認識精度の向上に有効であることを確認している。【００９３】  このように、撮影画像面の一部又は全面の解像度を多段階化し、実質上のマッチング階層化を実現することは、単純に複数のマッチングサーバをクラスター的に分散処理する場合に比べて認識速度、認識精度の両面で効果がある。【００９４】  特に、予めデータベース登録した画像が極めて多数（１０００以上）の場合に効果がある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有する。【００９５】  以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。【００９６】  例えば、デジタルカメラは、静止画を撮影するデジタルスチルカメラに限定するものではなく、動画像を撮影するデジタルムービーカメラも含む。【００９７】  また、通信機能を備えたデジタルカメラである撮像機能付通信装置とは、カメラ付携帯電話機、カメラ付ＰＨＳ、固定テレビ電話を含む。
【産業上の利用可能性】
【００９８】  本発明の応用範囲として、カメラ付携帯電話やデジタルカメラは言うに及ばず、画像で認証するタイプのセキュリティーシステム等、一般的にカメラによりデジタル画像を撮影して蓄積するシステムにおいては広範な利用が期待できる。
【図１】
2007004520.tif 000003
【図２】
2007004520.tif 000004
【図３】
2007004520.tif 000005
【図４】
2007004520.tif 000006
【図５】
2007004520.tif 000007
【図６】
2007004520.tif 000008
【図７】
2007004520.tif 000009
【図８】
2007004520.tif 000010
【図９】
2007004520.tif 000011
【図１０】
2007004520.tif 000012
【図１１】
2007004520.tif 000013
【図１２】
2007004520.tif 000014
【図１３】
2007004520.tif 000015
【図１４】
2007004520.tif 000016
【図１５】
2007004520.tif 000017
【図１６】
2007004520.tif 000018
【図１７】
2007004520.tif 000019
【図１８】
2007004520.tif 000020
【図１９】
2007004520.tif 000021
【図２０】
2007004520.tif 000022
【図２１】
2007004520.tif 000023
【図２２】
2007004520.tif 000024
【図２３】
2007004520.tif 000025
【図２４】
2007004520.tif 000026
【図２５】
2007004520.tif 000027
【図２６】
2007004520.tif 000028
【図２７】
2007004520.tif 000029
【図２８】
2007004520.tif 000030
【国際調査報告】
2007004520.tif 000031
2007004520.tif 000032