(57)【要約】【課題】画像データに目的とする被写体候補が含まれているかを簡単に、且つ柔軟に検索可能とする。【解決手段】上位カテゴリ条件で上位カテゴリ条件を満たす上位カテゴリ被写体候補の画像を抽出し、下位カテゴリ条件で下位カテゴリ条件を満たす下位カテゴリ被写体候補の画像を選択する。そして、下位カテゴリ被写体候補の画像が選択できたら、現在撮像しようとする画像データには、検索条件を満たす被写体の画像が含まれる旨を表示する画像検索装置。【選択図】図１
2008178042.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する画像入力手段と、
上位カテゴリ条件と、当該上位カテゴリ条件に対応付けられた下位カテゴリ条件とを含む被写体の検索条件を設定する検索条件設定手段と、
前記画像データに含まれる被写体から、前記上位カテゴリ条件を満たす上位カテゴリ被写体候補を抽出する被写体候補抽出手段と、
抽出された前記上位カテゴリ被写体候補に、前記上位カテゴリ条件に対応付けられた前記下位カテゴリ条件を満たす下位カテゴリ被写体候補を選択する選択手段と、
前記下位カテゴリ被写体候補が選択された場合に、前記データ画像に前記検索条件を満たす被写体候補が含まれる旨の表示を行う表示手段と、を備える、ことを特徴とする画像検索装置。
【請求項２】
前記上位カテゴリ条件は、人物を特定する条件を含む、ことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記検索条件設定手段は、前記上位カテゴリ条件及び下位カテゴリ条件を記憶する検索条件データ記憶手段を備える、ことを特徴とする請求項１に記載の画像検索装置。
【請求項４】
前記下位カテゴリ条件は、前記上位カテゴリ条件により特定された人物の状態を特定する条件を含む、ことを特徴とする請求項２に記載の画像検索装置。
【請求項５】
前記下位カテゴリ条件は、前記上位カテゴリ条件により特定された人物の顔の状態を特定する条件を含む、ことを特徴とする請求項２に記載の画像検索装置。
【請求項６】
前記下位カテゴリ条件は、前記上位カテゴリ条件により特定された人物の、前記特定された顔の状態を備える前記下位カテゴリ被写体候補が前記上位カテゴリ被写体候補の中で一定以上の割合で存在する条件を含む、ことを特徴とする請求項５に記載の画像検索装置。
【請求項７】
前記表示手段は、前記画像データとともに前記下位カテゴリ被写体候補を示す図形若しくはマーカを表示する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像検索装置。
【請求項８】
前記表示手段は、さらに前記検索条件を表示する、ことを特徴とする請求項１乃至７のいずれか１項に記載の画像検索装置。
【請求項９】
前記検索条件設定手段は、検索条件画像を入力する検索条件画像入力手段と、前記検索条件画像を解析して前記前記検索条件画像に含まれる被写体の前記上位カテゴリ条件および下位カテゴリ条件を出力する画像解析手段と、を備え、
前記画像解析手段からの前記上位カテゴリ条件および下位カテゴリ条件に係る出力に基づき前記検索条件を設定する、ことを特徴とする請求項１乃至８のいずれか１項に記載の画像検索装置。
【請求項１０】
前記検索条件データ記憶手段は、階層的な構造で前記検索条件を記憶し、
前記表示手段は、前記検索条件を階層的に表示する、ことを特徴とする請求項１乃至９のいずれか１項に記載の画像検索装置。
【請求項１１】
前記上位カテゴリ条件は、被写体の種類を特定する条件であり、
前記下位カテゴリ条件は、被写体の状態を特定する条件である、ことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像検索装置。
【請求項１２】
前記上位カテゴリ条件は、被写体が人以外の動物を特定する条件であり、
前記下位カテゴリ条件は、被写体の種類、被写体の状態、被写体の数の少なくともいずれか１つについての条件である、ことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像検索装置。
【請求項１３】
画像データを入力する画像入力手段と、表示手段と、記録手段と、を備える撮像装置において、
上位カテゴリ条件と、当該上位カテゴリ条件に対応付けられた下位カテゴリ条件とを含む被写体の検索条件を設定する検索条件設定手段と、
前記画像データに含まれる被写体から、前記上位カテゴリ条件を満たす上位カテゴリ被写体候補を抽出する被写体候補抽出手段と、
抽出された前記上位カテゴリ被写体候補に、前記上位カテゴリ条件に対応付けられた前記下位カテゴリ条件を満たす下位カテゴリ被写体候補を選択する選択手段と、
前記下位カテゴリ被写体候補が選択された場合に、前記画像データに前記検索条件を満たす被写体候補が含まれる旨の表示を行う表示手段と、を備える画像検索装置を、さらに備える、ことを特徴とする撮像装置。
【請求項１４】
前記上位カテゴリ被写体候補の抽出の結果に従って、前記画像入力手段に含まれる露出制御機構または焦点検出制御機構のいずれか１つを制御する撮像条件制御手段を、さらに備える、ことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
さらに、記録手段を備え、
前記記録手段は、前記下位カテゴリ被写体候補が選択された前記画像データを記録媒体に記録する、ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記撮像条件制御手段は、前記下位カテゴリ被写体候補の選択の結果に従って前記露出制御機構または前記焦点検出制御機構を制御する、ことを特徴とする請求項１４または１５に記載の撮像装置。
【請求項１７】
画像データを入力する画像入力工程と、
上位カテゴリ条件と、当該上位カテゴリ条件に対応付けられた下位カテゴリ条件とを含む被写体の検索条件を設定する検索条件設定工程と、
前記画像データに含まれる被写体から、前記上位カテゴリ条件を満たす上位カテゴリ被写体候補を抽出する被写体候補抽出工程と、
抽出された前記上位カテゴリ被写体候補に、前記上位カテゴリ条件に対応付けられた前記下位カテゴリ条件を満たす下位カテゴリ被写体候補を選択する選択工程と、
前記下位カテゴリ被写体候補が選択された場合に、前記画像データに前記検索条件を満たす被写体候補が含まれる旨の表示を行う表示工程と、を備える、ことを特徴とする画像検索装置の制御方法。
【請求項１８】
請求項１７に記載の画像検索装置の制御方法の手順をコンピュータに実行させるためのプログラム。
【請求項１９】
請求項１７に記載の画像検索装置の制御方法の手順をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに含まれる特定の被写体を検索する画像検索装置、撮像装置、画像検索装置の制御方法、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
これまで画像データに含まれる各種の被写体（特に人物）が望ましい状態（ポーズ、表情、など）になったときに自動的に画像データの記録を行う技術が知られている。例えば、特許文献１に記載された自動撮像システム、特許文献２に記載された画像評価装置、特許文献３に記載されたデジタルカメラ、および本出願人による特許文献４に記載されたカメラなどが提案されている。また、特許文献５に記載された顔画像記録装置では、１人の人物を複数回撮像し、良好な画質の顔画像データを選択して記録する構成が開示されている。また、特許文献６に開示された技術では、階層的に分類されたカテゴリとキーワード、および画像の特徴の分類木を用いて画像検索する方法が提案されている。
【特許文献１】特開２００４−２９４４９８号公報
【特許文献２】特開２００４−４６５９１号公報
【特許文献３】特開２００１−２１１３７７号公報
【特許文献４】特開２００１−５１３３８号公報
【特許文献５】特開２００３−９９７６３号公報
【特許文献６】特許登録０３６８３４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記で挙げた従来より提案されている技術では、被写体として複数の多種多様な人物や物体が存在する画像データの中からユーザが希望する特定の人物の画像を検索し、さらにその特定の人物の画像が特定の状態にあることを自動的に検索するものはない。そして、その結果を表示し、若しくは、そのように特定の人物が特定の状態にある画像が含まれた画像データを記録媒体へ記録することが可能な画像の検索技術に関する効率的な方法は提案されていない。具体的には、入力されている画像データから人物の画像を特定しその人物の状態評価を行なったり、集合写真の撮像において、撮像したい関係者の画像だけを特定し、その関係者の画像の状態評価を行う等に関する効率的な方法はまだ提案されていない。
【０００４】
また、上記の従来の技術では、入力されている画像データの画像の撮像状態を特定条件または特定カテゴリの被写体の抽出や選択に適するように画像を入力手段を制御することは行われていなかった。そのため、撮像環境によらずに予め決められた状態のカテゴリに属する被写体候補が存在する画像データを認識できる保証がない、という問題がある。更に、上記の従来技術では、様々な画像の検索条件、または画像の検索の絞込み条件を柔軟に設定する事が出来ないという問題があった。
【０００５】
したがって本発明の目的は、画像データに目的とする被写体候補の画像が含まれているかを簡単に、且つ柔軟に検索可能な画像検索装置、及びその画像検索装置が搭載された撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明の実施形態に係る画像検索装置は、
画像データを入力する画像入力手段と、
上位カテゴリ条件と、当該上位カテゴリ条件に対応付けられた下位カテゴリ条件とを含む被写体の検索条件を設定する検索条件設定手段と、
前記画像データに含まれる被写体から、前記上位カテゴリ条件を満たす上位カテゴリ被写体候補を抽出する被写体候補抽出手段と、
抽出された前記上位カテゴリ被写体候補に、前記上位カテゴリ条件に対応付けられた前記下位カテゴリ条件を満たす下位カテゴリ被写体候補を選択する選択手段と、
前記下位カテゴリ被写体候補が選択された場合に、前記画像データに前記検索条件を満たす被写体候補が含まれる旨の表示を行う表示手段と、を備える、ことを特徴とする。
【０００７】
上記の目的を達成するため、本発明の他の実施形態に係る撮像装置は、
画像データを入力する画像入力手段と、表示手段と、記録手段と、を備える撮像装置において、
上位カテゴリ条件と、当該上位カテゴリ条件に対応付けられた下位カテゴリ条件とを含む被写体の検索条件を設定する検索条件設定手段と、
前記画像に含まれる被写体から、前記上位カテゴリ条件を満たす上位カテゴリ被写体候補を抽出する被写体候補抽出手段と、
抽出された前記上位カテゴリ被写体候補に、前記上位カテゴリ条件に対応付けられた前記下位カテゴリ条件を満たす下位カテゴリ被写体候補を選択する選択手段と、
前記下位カテゴリ被写体候補が選択された場合に、前記画像データに前記検索条件を満たす被写体候補が含まれる旨の表示を行う表示手段と、を備える画像検索装置を、さらに備える、ことを特徴とする。
【０００８】
上記の目的を達成するため、本発明のさらに他の実施形態に係る画像検索装置の制御方法は、
画像データを入力する画像入力工程と、
上位カテゴリ条件と、当該上位カテゴリ条件に対応付けられた下位カテゴリ条件とを含む被写体の検索条件を設定する検索条件設定工程と、
前記画像に含まれる被写体から、前記上位カテゴリ条件を満たす上位カテゴリ被写体候補を抽出する被写体候補抽出工程と、
抽出された前記上位カテゴリ被写体候補に、前記上位カテゴリ条件に対応付けられた前記下位カテゴリ条件を満たす下位カテゴリ被写体候補を選択する選択工程と、
前記下位カテゴリ被写体候補が選択された場合に、前記画像データに前記検索条件を満たす被写体候補が含まれる旨の表示を行う表示工程と、を備える、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像データに目的とする被写体候補が含まれているかを簡単に、且つ柔軟に検索可能な画像検索装置、及びその画像検索装置が搭載された撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１０】
＜実施形態１＞
以下、図面を参照して本発明の実施形態１に係る画像検索装置を詳細に説明する。図１は、本発明の実施形態１に係る画像検索装置を備える撮像装置１００の要部構成図を示す。撮像装置１００は、結像光学系１、ＣＣＤもしくはＣＭＯＳセンサ等で構成される撮像素子２、およびセンサ周辺回路３（図示しないＡＤ変換回路、センサ信号処理回路、センサ駆動回路を含む）を備える。これらの回路は画像入力部を構成する。
【００１１】
さらに、撮像素子２からの映像信号はセンサ周辺回路３でＡＤ変換して画像データに変換される。撮像装置１００は、このように変換して得られる画像データを一時的に保持するＲＡＭまたはキャッシュメモリなどの記憶回路４、および撮像モード設定部５を備える。結像光学系１は、図示しないが、露出制御機構および焦点検出制御機構を含む。
【００１２】
検索条件設定部６は、画像の検索条件のデータを格納する検索条件データ記憶部（ＲＯＭ、ＲＡＭなど）７を含み、ユーザに画像の検索条件である上位カテゴリ条件、下位カテゴリ条件を設定させるものである。ユーザは操作部８で、検索条件である上位カテゴリ条件および下位カテゴリ条件を直接入力するＧＵＩ、または検索条件データ記憶部７に記憶された検索条件を選択し、検索条件を設定する。
【００１３】
そのために、検索条件設定部６には、それぞれのＧＵＩを発生するためのディスプレイ表示制御回路を含み、これらＧＵＩは表示部９に表示される。ユーザが入力した上位カテゴリ条件および下位カテゴリ条件を特定するための各種のデータが上位カテゴリ条件および下位カテゴリ条件に対応させて検索条件データ記憶部７に記憶されている。
【００１４】
被写体候補抽出部１０は、記憶回路４に一時的に記憶されている画像データを読み出し、画像データに含まれる上位カテゴリ条件を満たす特定の被写体候補（例えば、顔）の画像の抽出を行う。ここで抽出された特定の被写体候補（例えば、顔）の画像は、ここでは上位カテゴリ被写体候補と呼ぶ。
【００１５】
また被写体候補選択部１１は、抽出された上位カテゴリ被写体候補の画像の中から、指定された下位カテゴリ条件（予め登録された特定人物の笑った顔）を満たす被写体候補の画像の選択を行う。ここで選択された被写体候補は、ここでは下位カテゴリ被写体候補と呼ぶ。
【００１６】
これらの上位カテゴリ条件及び下位カテゴリ条件は、検索条件設定部６により、被写体候補抽出部１０及び被写体候補選択部１１に関連する特徴データ等と共に供給され、設定される。
【００１７】
撮像装置１００は、その他、撮像条件制御回路１２、画像データ圧縮／伸長回路１３、フラッシュメモリなどの着脱可能な記録媒体、または、ハードディスク等の記録媒体に記録をおこなう記録再生回路１４等を備える。記録媒体に記録された画像データは、記録再生回路１４で再生し、画像データ圧縮／伸長回路１３を介して表示部９で表示することが可能に構成される。
【００１８】
撮像装置１００の動作は、基本的に制御部１５に従って制御される。制御部１５には不揮発メモリ１６が接続され、不揮発メモリ１６に記憶された制御プログラムに従って、撮像装置１００が制御され、同様に、本発明の実施形態の動作も制御される。フラッシュ部１７は、撮像装置１００に必要に応じて設けられる。
【００１９】
撮像条件制御回路１２は、結像光学系１、撮像素子２、およびセンサ周辺回路に対し、焦点、露出時間、ホワイトバランス等の撮像条件を制御する。そのため、結像光学系１に含まれる露出制御機構および焦点検出制御機構を制御して露出状態および焦点状態を制御し、さらにセンサ周辺回路３においてホワイトバランスを制御する。撮像条件を手動で設定するときは、基本的に操作部８に設けられた十字キー、決定キー、電源スイッチ、レリーズスイッチ、ズームレバーなどが用いられる。
【００２０】
制御部１５、被写体候補抽出部１０、被写体候補選択部１１、撮像条件制御回路１２の区別は、説明の便宜上のものである。したがって本発明は、一つのプロセッサ上でのソフトウエア処理による実装若しくはマルチコアのチップとしての実装形態として実施することができる。ここで、一つのプロセッサの意味は、ＣＰＵ、コンフィギュラブルプロセッサ、ＤＳＰ、メディアプロセッサなどを含み、マルチコアのチップの意味は、ハードＩＰとしての回路、ソフトＩＰ、または両者の混在したものを含む。
【００２１】
本実施形態１では、上位カテゴリ条件に基づく顔の検出処理による上位カテゴリ被写体候補の画像の抽出後、下位カテゴリ条件に基づくたとえば個人識別処理により下位カテゴリ被写体候補の画像が選択されたとする。すなわち、現在の画像データに、条件に合致した被写体の画像が含まれることで、この画像データは撮像すべき画像データと判断する。
【００２２】
これにより、制御部１５の制御により、画像入力部を構成する撮像素子２からの対応する現在の画像データを記録再生回路１４を通じて記録媒体に記録するように動作する。画像データ圧縮／伸長回路１３は、動画ではＭＰＥＧの各バージョン、静止画ではＪＰＥＧの各バージョンなど標準化圧縮符号化アルゴリズムを実行する回路である。このようにすることで、ユーザが希望する被写体が含まれる画像データを確実に記録することが可能となる。
【００２３】
撮像モード設定部５は、設定（選択）された撮像モードの情報の入力および表示部９への表示などを行うものであり、制御部１５、撮像条件制御回路１２と同様に、各種プロセッサ等で実装されて実施することも可能である。従って、制御部１５、撮像条件制御回路１２および撮像モード設定部５は同一のプロセッサに実装される形で構成されてもよい。
【００２４】
先に説明したように、撮像条件制御回路１２は、焦点条件、露光条件、ホワイトバランスなどを手動または自動制御するためのものである。本実施形態１では、まずユーザにより撮像モード設定部５で撮像モードを設定する。それに応じて、検索条件設定部６で決まる上位カテゴリ条件を満たす上位カテゴリ被写体候補が抽出し易い画像データが得られるように露出制御機構、焦点検出制御機構、センサ周辺回路３を制御する。そのために撮像条件制御回路１２は、焦点条件、露光条件、ホワイトバランス条件等の制御を行う。
【００２５】
図２は、被写体候補抽出部１０の回路ブロックである。被写体候補抽出部１０は、上位カテゴリ条件に従った所定種類の特徴抽出を行う特徴抽出回路１０１、特徴抽出回路１０１からの出力の画像が上位カテゴリ条件を満たすか否かの判定を行う判定回路１０２、及び上位カテゴリ条件入力回路１０３から構成される。特徴抽出回路１０１には、記憶回路４に一次的に記憶されている現在の画像データが入力され、例えば複数の特定方向成分のエッジ特徴などの検出をし被写体の特徴データを出力する。上位カテゴリ条件入力回路１０３は、検索条件設定部６から与えられる上位カテゴリ条件およびその特徴データが入力され、判定回路１０２に供給するものである。
【００２６】
判定回路１０２は、特徴抽出回路１０１から検出された画像の特徴データ、上位カテゴリ条件入力回路１０３からの上位カテゴリ条件の画像の特徴データとの間でマッチング処理を実行し、上位カテゴリ条件を満たす上位カテゴリ被写体候補の画像を抽出する。この場合、複数の上位カテゴリ被写体候補の画像が抽出されることもありうる。尚、この被写体候補抽出部１０は、機能回路ブロックとしてのハードＩＰまたは所定のプロセッサに展開実装されるソフトＩＰとして実装されるものであってもよい。
【００２７】
図１に戻り、表示部９には、記憶回路４を介して撮像素子２からの入力画像である現在の画像データが表示されるとともに、抽出された上位カテゴリ被写体候補の画像の位置にマーカの表示がなされる。例えば、抽出された上位カテゴリ被写体候補の顔位置に、顔のサイズに合わせて矩形の枠の図形を表示する。このような表示の制御は、制御部１５が判定回路１０２からの判定結果の出力に基づいて実行される。
【００２８】
図３は、被写体候補選択部１１の回路ブロックを示す。図示するように、被写体候補選択部１１は、検索条件設定部６で設定された下位カテゴリ条件およびその特徴データが入力される下位カテゴリ条件入力回路１１２を備える。さらに、被写体候補抽出部１０で抽出された上位カテゴリ被写体候補の特徴データが入力される上位カテゴリ被写体候補入力回路１１１を有する。さらに入力された上位カテゴリ被写体候補の画像の特徴データから下位カテゴリ条件の画像の特徴データをマッチング処理して、下位カテゴリ条件を満たす下位カテゴリ被写体候補の画像を判定する判定回路１１３から構成される。被写体候補選択部１１の構成においても、被写体候補抽出部１０と同様にハードＩＰ若しくはソフトＩＰとして実装される。
【００２９】
以下、たとえば、下位カテゴリ条件の画像を「特定人物Ａさんが笑う場面の撮像」、上位カテゴリ条件の画像を「人の顔の検出」、として実施形態１の動作を説明する。
【００３０】
まず、上位カテゴリ条件を満たす上位カテゴリ被写体候補の画像が複数抽出された場合には、ラスタスキャン順に顔領域の部分画像である上位カテゴリ被写体候補の画像の特徴データが上位カテゴリ被写体候補入力回路１１１に入力される。
【００３１】
判定回路１１３は、上位カテゴリ被写体候補入力回路１１１から入力される上位カテゴリ被写体候補である部分的な画像（本実施形態１では、顔部分画像）の特徴データを処理する。そして、検索条件設定部６から下位カテゴリ条件入力回路１１２を通じて入力された下位カテゴリ条件の画像の特徴データに基づき実行するプログラムを選択的に起動する。
【００３２】
例えば、「特定人物Ａが笑う場面の撮像」という下位カテゴリ条件の画像の場合、判定回路１１３では、上位カテゴリ被写体候補の画像の特徴データに対し、個人識別処理および表情検出プログラムとしての笑顔検出処理が共に実行される。個人識別処理では、上位カテゴリ被写体候補の画像の特徴データに対し、顔の画像の認証処理が実行さる。すなわち、マッチング処理により、入力された上位カテゴリ被写体候補の画像の顔部分の特徴データが特定人物Ａを特定する画像の特徴データと一致するか否かが判定される。
【００３３】
また笑顔検出処理では、被写体候補抽出部１０の特徴抽出回路１０１により抽出された「笑顔」に関する画像の特徴データを入力し、それらの変化パターンに基づき所定の表情を検出し、下位カテゴリ被写体候補の画像を選択する。「笑顔」に限らず、「退屈」、「興奮」、「困惑」、「怒り」、「驚き」などの表情検出のアルゴリズムについても周知の方式を用いればよいことはいうまでもない。
【００３４】
被写体候補選択部１１からの出力で、下位カテゴリ条件を満たす下位カテゴリ被写体候補の画像が選択されたと判定されたとする。この場合、撮像条件制御回路１２は、焦点制御、露出制御、ホワイトバランス制御のうち少なくとも一つを選択された下位カテゴリ被写体候補の画像の被写体領域に対して行う。これは、現在の撮像条件が上位カテゴリ被写体候補の画像の抽出および下位カテゴリ被写体候補の画像の選択に適したものに設定されている。このため、必ずしも撮像して記録するために適した画像データを得る撮像条件となっていないので、撮像して記録するために適した画像データを得る撮像条件としてから、画像データを記録する必要がある。
【００３５】
図４は、本実施形態１の画像検索装置である撮像装置１００の基本的な処理の流れをまとめた図である。先ず、処理の開始後のステップ４０１で、ユーザが撮像モード設定部５を用いて撮像モードを設定し、さらに操作部８を使用して検索条件設定部６に、被写体候補抽出部１０、被写体候補選択部１１で使用する上位カテゴリ条件および下位カテゴリ条件を設定する。
【００３６】
この場合、たとえば上位カテゴリ条件のＧＵＩメニュー画面が表示部９に表示される。ここで、ユーザが希望の上位カテゴリ条件を操作部８を用いて選択すると、上位カテゴリ条件に関連する下位カテゴリ条件のＧＵＩメニュー画面が表示される。同様にして下位カテゴリ条件の画像がユーザにより選択可能となる。この場合、ＧＵＩメニュー画面で、下位カテゴリ条件を設定すると、自動的に上位カテゴリ条件が設定される構成とすることも可能である。上位カテゴリ条件および下位カテゴリ条件の画像の特徴データのセットは、検索条件データ記憶部７に格納されている。
【００３７】
他の構成としては、ユーザが上位カテゴリ条件及び下位カテゴリ条件を選択し、設定するのではなく、希望する被写体条件（下位カテゴリ条件に相当）を選択し、設定する。すると自動的に、上位カテゴリ条件及び下位カテゴリ条件が設定されるように予め希望する被写体条件と、上位カテゴリ条件および下位カテゴリ条件を満たす画像の特徴データのセットの構造を設定しておくことも可能である。
【００３８】
例えば、「特定個人のＡさんが笑う場面の撮像」を被写体条件として設定すると、上位カテゴリ条件は「顔の検出」、下位カテゴリ条件は「特定個人のＡさんが笑う場面」などのように設定される。このように上位カテゴリ条件および下位カテゴリ条件条件間のデータリンク構造が所定のフォーマットで記述され、特徴データと共に、先の検索条件データ記憶部７に格納されているようにしてもよい。
【００３９】
一般的に撮像する対象を記述するカテゴリ条件は、２階層以上の階層構造を用いて記述することが可能な場合が多い。「特定個人のＡさんが笑う場面の撮像」の例では、「顔の検出と撮像」が最上位のカテゴリ条件であるとすると、その下位のカテゴリ条件に「Ａさんの検出」、更に下位のカテゴリ条件に「笑顔の検出」と続く３階層構造で記述できる。或いは、２階層構造として上位のカテゴリ条件に「Ａさんの検出（撮像）」、下位のカテゴリ条件に「笑顔の検出（撮像）」で記述する。若しくは上位のカテゴリ条件に「笑顔の検出（撮像）」、下位のカテゴリ条件に「Ａさんの検出（撮像）」といったような階層構造で与えても良い。いずれがより効率的に行えるかは、撮像時の状況に依存して異なる。
【００４０】
一般的には、上位カテゴリ条件は下位カテゴリ条件の前段として大まかな被写体の種類などを限定するための条件である。下位カテゴリ条件は、更に被写体の条件を限定するものである。すなわち、容貌、個人名、年齢、服装、犬、猫など人物に付帯する条件、或いは、特定の移動経路／移動パターン、特定の表情／身ぶり／手振り／振る舞い／歩き方、などの動作パターンに関するものが含まれる。或いはこれらの正常性／異常性に関するものが含まれてもよい。
【００４１】
なお、上位カテゴリ条件は人物の抽出、顔の抽出といったレベルのカテゴリ条件に限定若しくは固定されているわけではなく、目的とする最終的な画像データの入力のカテゴリ条件に相当する被写体のカテゴリ条件の細かさに応じて決まるものとしてもよい。
【００４２】
このように上位カテゴリで大まかな絞込みを行って上位カテゴリ被写体候補の抽出した後に、上位カテゴリ被写体候補の画像の中から、下位カテゴリ条件に相当する特定条件に当てはまる下位カテゴリ被写体候補の画像を選択する。これにより設定された条件で画像を判定することにより、多様な被写体およびその多様な状態の組み合わせが一般的に存在する中で効率的な処理、即ち処理の高速化をもたらすことができる。
【００４３】
被写体の撮像を記述するカテゴリ条件の表現は、上位カテゴリ条件に属する下位カテゴリ条件として図５に示すように階層的な分岐構造を持つものであっても良い。即ち、上述したような上位カテゴリ条件の直下に下位カテゴリ条件が複数並んでいる表現がある。またほかに、図５に示すように２階層以上の分岐階層構造の上位層に位置するカテゴリほど上位のカテゴリであり、同一階層レベルの異なるカテゴリは同じレベルのカテゴリとして表現されているものであってもよい。この場合、下位カテゴリは上位カテゴリ（例えば、人物の撮像とする）を特徴付ける要素を付加した付帯カテゴリ（例えば、髭をはやしている人の撮像、Ａさんの家族の撮像など）が代表例として挙げられる。
【００４４】
図４のフローチャート図に戻り、次にステップＳ４０２に進み、撮像モードに基づく撮像条件制御処理が行われる。その後ステップＳ４０３に進み、被写体候補抽出部１０で、設定された上位カテゴリ条件に基づいて被写体候補抽出処理が実行される。これにより、撮像素子２からの出力に基づき生成された画像データに対して被写体候補抽出処理が実行される。ステップＳ４０４では、先のステップＳ４０３で実行された被写体候補抽出処理の結果として出力される画像の各点での被写体候補検出レベルに基づいて被写体候補抽出の判定が実行される。この処理は、被写体候補抽出部１０の判定回路１０２で実行される。
【００４５】
このステップＳ４０４において、上位カテゴリ条件を満たす上位カテゴリ被写体候補（人物の顔）の画像が現在の画像データ内で検出されないときは、ステップＳ４０５に進み、撮像条件制御終了判定の処理を実行する。その結果、終了と判定された場合には全体の処理を終了する。一方、ステップＳ４０５で終了ではないと判定された場合には、ステップＳ４０２の撮像条件制御処理に戻る。
【００４６】
その後、ステップＳ４０１で設定された下位カテゴリ条件を満たす被写体候補の画像の選択処理がステップＳ４０６において、被写体候補選択部１１により実行される。そしてステップＳ４０７に進み、被写体候補の選択の判定を行う判定処理が判定回路１１３で実行される。ステップＳ４０７の判定処理の結果、合致する下位カテゴリ被写体候補の画像が選択されたと判定された場合には、再度撮像条件を設定し直すステップＳ４０８に進み、撮像し、記録するのに適する画像データとするための撮像条件制御処理を行う。この処理は、判定回路１１３の出力にしたがって、撮像条件制御回路１２が実行することとなる。
【００４７】
撮像条件が記録に適した画像データとなる条件に設定されたあと、下位カテゴリ被写体候補が検出されたフレームに対応する画像データが記憶回路４から読み出され、画像データ圧縮／伸長回路１３により所定の圧縮処理を含む処理が施される。その後、記録再生回路１４で記録媒体に記録されることとなる。一方、ステップＳ４０７で、上位カテゴリ被写体候補の画像の中から下位カテゴリ条件を満たす被写体候補の画像が選択されなかった場合には、全体の処理を終了する。
【００４８】
以下、各処理動作をさらに詳細に説明する。まず、図６に示す処理のフローチャートを参照して、図４のステップＳ４０２における撮像条件制御回路１２での撮像条件制御処理について説明する。具体的には、ステップＳ４０２における撮像条件制御処理においては、上位カテゴリ条件が、「顔」の画像が検出されることであるとすると、先ずステップＳ６０１において、撮像条件推定処理を行い、推定された撮像条件に従って撮像条件制御が実行される。
【００４９】
具体的には、ステップＳ６０２に進み、撮像条件の推定として焦点条件、露出条件およびホワイトバランス条件を、通常モードでの焦点条件設定値および露出条件設定値を推定値の初期値として設定する。その後ステップＳ６０３に進み、最適な撮像条件の探索と制御を各条件のスキャン探索（撮像条件のパラメータの段階的増加または減少）などにより行う。なお、最適な撮像条件とは、指定された被写体に関して予め設定された明度、色調、コントラストなどのパラメータで上位カテゴリ被写体候補を抽出しやすくした画像データとして撮像されることを意味する。通常モードとは、本実施形態１に示すような被写体の画像データの入力のモード以外の撮像モードのことをいう。
【００５０】
逆光の照明下で人物の顔の画像の検出が困難な場合、図４のステップＳ４０２の撮像条件制御処理では、通常モードでの露出条件設定値を初期値とし、露出時間を段階的に長くなるように予め設定したステップ幅で増加させ、顔検出処理をその都度実行する。このステップ幅の設定方法としては、例えば、画像データの中央付近若しくは露出補正用測光スポットを中心とする局所領域での入力されている画像データの画素値の平均値できまる値として、ＬＵＴを使用して所定のメモリに格納しておく。
【００５１】
図６のステップＳ６０１における撮像環境条件推定処理の一つとして行われる逆光照明条件の判定は、公知の方法（例えば、本出願人による特許登録０２５０４９３９号公報記載の方法など）を用いればよい。上位カテゴリ被写体候補として顔検出がされた場合であっても、そのときの露出条件、ホワイトバランス条件が最適とは限らないので、顔画像の画質評価処理を行ったうえで撮像条件の変更処理の停止の判定を行っても良い。具体的には、好ましい被写体の記憶色を登録し、所定のメモリに記憶色データとして予め格納しておく。
【００５２】
また、ステップＳ６０３における最適撮像条件の探索制御処理における、撮像条件の変更処理停止条件としては、その記憶色に露出条件等の制御範囲で最も近くなるか、または記憶色との差異が予め設定された閾値以下となるように制御する。この制御は、撮像条件制御回路１２により、露出条件やホワイトバランス条件を制御する。
【００５３】
次に、図４のステップＳ４０３で実行される被写体候補抽出処理について説明する。図２に示した被写体候補抽出部１０の内部の判定回路１０２は、特徴抽出回路１０１から出力される画像の特徴データと、検索条件設定部６から入力される上位カテゴり条件の画像の特徴データをマッチング処理する。その結果、人物の頭部や顔、上半身部分、または全身の画像の抽出と利用者（予め登録した人物）の識別を行うためのモジュールである。したがって、ソフトウエアモジュールもしくは回路モジュールとして実装される。
【００５４】
判定回路１０２で用いられるアルゴリズムは、本実施形態１でいえば、人体の頭部や顔抽出など周知の方式を用いればよい（例えば、本出願人による特許第３０７８１６６号公報など参照）。一般的には、それぞれの被写体候補のカテゴリ条件に応じた抽出ソフトウエアのライブラリまたは抽出パラメータの特徴データファイルとしてメモリに格納され、判定回路１０２は、メモリに格納された特徴データファイルを読み込んでアルゴリズムを実行する。
【００５５】
なお、人体頭部の画像の抽出および顔部位特徴の抽出処理に用いる低次の特徴の種類としては、色彩情報や動きベクトル情報が使用できる。さらに、他の低次の特徴量、例えば、特定範囲の方向成分と特定範囲の空間周波数を有するような幾何学的特徴、或いは本出願人に係る特許第３０７８１６６号公報に開示されるような局所的特徴要素などを用いてもよいことは言うまでも無い。
【００５６】
次に、図４におけるステップＳ４０６の被写体候補選択処理について説明する。ステップＳ４０６の被写体候補選択処理は、ＣＰＵ、メディアプロセッサ、コンフィギュラブルプロセッサその他各種の演算回路により実行される。この処理はステップＳ４０３での被写体候補抽出処理により得られた上位カテゴリ被写体候補から下位カテゴリ条件を満たす被写体候補が存在するか否かの判定を行う。具体的には、上位カテゴリ被写体候補の候補点を中心とし、下位カテゴリ条件に応じた画像の領域設定を行い、その領域の画像の特徴データを入力して、判定回路１１３で判定処理を行う。
【００５７】
上位カテゴリ条件および下位カテゴリ条件の１例を、図７の（ａ）および（ｂ）に示す表１および表２に示す。これらの条件は、ユーザの知人（登録人物）、年齢性別、服装や髪型などに関する特定のカテゴリに該当する人物が存在していることがある。或いは、複数の顔のうち一定以上の割合で、人の顔の状態が特定の状態にあること（例えば目が開いていること、カメラを向いていること、笑っていること）等、が挙げられる。一定以上の割合とは、たとえば、１０のなかで８以上等である。しかしこの一定以上の割合は、選ばれた上位カテゴリおよび下位カテゴリで変わるものである。これらは上位カテゴリ条件（例：人物の検出撮像）と比べるとより詳細な条件に相当する。上位カテゴリ条件で被写体を絞り込み、絞り込んだ被写体の中でより詳細な条件を満たす被写体の有無を判定することにより高速かつ効率的な処理が実現できることは既に説明したとおりである。
【００５８】
次に、図４のステップＳ４０８で示す撮像条件制御処理について、図８に示すフローチャート図を用いて説明する。
【００５９】
図４のステップＳ４０７で下位カテゴリ被写体候補の画像が選択されたら、現在の画像データは記録するのに値する画像データであると判断される。この場合、記録に先立ち、画像データの下位カテゴリ被写体候補の画像が存在する画像の対象領域について、撮像する画像データとして適性か否かがステップＳ８０１で判断される。適正であれば、図４のステップＳ４０９に進み、現在の撮像条件で得られている画像データを、記録再生回路１４で記録媒体に記録し、撮像を完了する。
【００６０】
しかし、ステップＳ８０１で不適正とされたならば、ステップＳ８０２に進み、制御の対象領域の撮像条件の再設定をする。制御の対象領域は、選択された下位カテゴリ被写体候補の画像位置にしたがって設定が変更される。その後ステップＳ８０３に進み、変更された撮像条件、制御の対象領域に従って撮像条件制御回路１２で撮像条件を制御し、再びステップＳ８０１で判定する。この動作は適正となるまで繰り返され、適正となったならばこの処理を終了するそして、図４のステップＳ４０９に進み、設定が変更された撮像条件で得られている画像データを、記録再生回路１４で記録媒体に記録し、撮像を完了する。
【００６１】
以上説明した、実施形態１によれば、撮像を希望する被写体が、撮像を希望する状態にある画像データを自由に検索することが可能な検索装置を提供することが可能となる。さらに撮像装置に組み込むことにより、不要な画像データを記録することを避けることが可能な撮像装置を提供できる。
【００６２】
＜実施形態２＞
本実施形態２は、実施形態１と同様に画像検索装置である撮像装置であり、主な構成要素は図１に示すものと同じであるので、以下の説明では構成要素は図１を引用する。ここでは実施形態１と同様に被写体のカテゴリ条件が、様々なカテゴリ条件に分解され、複合化されている場合を扱う。
【００６３】
特に本実施形態２では、条件の詳細を簡易に設定可能とするため、予めメニュー選択形式でカテゴリ条件を選択し、組み合わせ可能にしたことに特徴を備える。図９に表示部９に表示される検索条件設定画面のＧＵＩの例を示す。先に実施形態１で説明したように、この画面は、検索条件設定部６の制御により表示されるものとする。なお、検索条件設定画面が表示される表示装置としては、本実施形態２の撮像装置１００に設けられた表示部９とは異なる他の所定の端末の表示装置を使用することも可能である。
【００６４】
ここでは、カテゴリ条件の階層構造を図で示し、ユーザがその検索条件設定画面を見ながら直接タッチパネル等で指示するか、十字キーなどを含む操作部８で選択する。階層構造の最下階層部を特定し、設定することで、実際に撮像する対象の被写体が含まれる画像データの特定が行われる。
【００６５】
例えば、人という上位カテゴリ条件の下にある服装というカテゴリがユーザにより選択された状態では、服装に関する画像、若しくはその服装を文字で表現した文字列が下位カテゴリ条件の画像の選択肢として表示される。カテゴリの階層構造は予め設定されている状態のものを使用しても良いが、ユーザが階層構造を特定することもできるものとする。
【００６６】
かくして、検索条件設定画面を使用してユーザにより設定された被写体条件（下位カテゴリ条件若しくは絞込みのカテゴリ条件）に応じて決まる画像の上位カテゴリ条件が少なくとも一つ自動的に生成されて被写体候補の抽出処理及び選択処理が実行される。これらの処理は実施形態１で説明した被写体候補抽出部１０および被写体候補選択部１１で実行される。
【００６７】
そして設定された被写体条件を満たす被写体候補の画像が選択されたら、この被写体候補を含む現在の画像データが符号化されて記録再生回路１４により記録媒体に自動的に記録されてもよい。具体的には、「むっつりした表情で座っているＡさん（男性）の撮像」のように複数のカテゴリ条件が複合している画像の場合を例として以下に説明する。
【００６８】
この場合、被写体の識別（Ａさんであること）に関する画像の条件、被写体の状態に関する画像の条件（表情と姿勢に関する条件）が複合している。この場合、上位カテゴリ条件としては、座っている人の検出、または、Ａさんの検出、むっつりした表情の人の検出など、複合条件を構成する要素の一部を画像の上位カテゴリ条件とする。あるいは、複合条件を構成する要素の上位概念（例えば、人の検出撮像、男性の検出撮像）を画像の上位カテゴリ条件とする。
【００６９】
このとき、上位カテゴリ条件に基づく画像の抽出結果として対応する上位カテゴリ被写体候補の画像が表示部９上でマーカなどを重畳表示させることができる。このときユーザは、上位カテゴリ条件で抽出された上位カテゴリ被写体候補の画像が妥当か否かを画像を見て判断し、不適切と判断された場合には、上位カテゴリ条件の変更をメニュー画面上で行うことができる。このような各種動作はユーザが検索条件設定部６に操作部８を用いて適宜行う。
【００７０】
以上説明した実施形態２においては、操作部８を操作して検索条件設定部６で検索条件を設定する場合、ユーザはメニュー画面を見ながら簡単に、上位カテゴリ条件および下位カテゴリ条件を満たす画像を設定することが可能となる。
【００７１】
＜実施形態３＞
実施形態１、２では、予め定められた検索条件をＧＵＩ及び操作部８を使用して、検索条件設定部６から入力するように構成したが、検索条件は、新たに用意した画像データから取り出す構成とすることも可能である。図１０は、実施形態３を示し、実施形態１、２の検索条件設定部６に対応する部分のみを示す。他の構成部分は基本的に実施形態１、２と同じ構成であり、図では省略されている。
【００７２】
図において、６１は、検索条件画像入力部を示し、イメージリーダを含む。検索条件画像入力部６１で読み込まれた画像は、所謂検索したい被写体候補の画像を含み、記憶回路６２に記憶される。記憶回路６２に記憶された画像データは、画像解析部６３において含まれている被写体候補の画像の特徴データが解析されて抽出され特徴データ記憶回路６４に記憶される。特徴データ記憶回路６４からは、上位カテゴリ条件、下位カテゴリ条件およびそれぞれの画像の特徴データが出力される。これらの動作は、制御部６５の制御にしたがって実行される。
【００７３】
図１０の検索条件設定部６０において、検索条件画像入力部６１は、検索条件を画像データ（典型的な検索したい被写体の画像もしくはユーザによるスケッチによる画像タなど）を入力する。したがって、画像読み取り装置を含む。検索条件画像入力部６１で入力された画像データは記憶回路６２に記憶される。この場合、検索条件画像入力部６１は、必ずしも画像読み取り装置を使用して画像データを取り込む必要はなく、すでにデータ化された、検索したい被写体の画像データがあれば、外部の装置から取り込むことも可能である。いずれの画像データも記憶回路６２に記憶される。記憶回路６２に記憶された画像データは検索したい被写体の特徴データを抽出するために画像解析部６３に供給される。
【００７４】
画像解析部６３では、検索したい被写体の画像データに含まれる、検索したい被写体の特徴データを解析し、上位カテゴリ条件、下位カテゴリ条件を抽出する。抽出された上位カテゴリ条件、下位カテゴリ条件は、図９に示すような階層的カテゴリ表現での文字表示、若しくは類似のサンプルの画像データの画像を図１の表示部９に類似度の高い画像順に並べて表示ことによりユーザに確認させる。
【００７５】
さらにユーザは、図９に示すように、階層的な構造で表示されたカテゴリ条件から、さらに上位カテゴリ条件、下位カテゴリ条件を絞ることも可能である。これらの一連の処理は、図１の制御部１５からの指示に従い、制御部６５が実行する。
【００７６】
本実施形態３では、上記で説明するように、検索の対象となる被写体の画像データを入力して、検索の対象となる被写体の特徴データを抽出し、上位カテゴリ条件および下位カテゴリ条件を特定することが可能となる。この場合、被写体の上位カテゴリ条件、下位カテゴリ条件を階層的に表現されたカテゴリの分岐構造（木構造）の中の特定の階層レベルとして指定することができ、更にその階層構造の中で条件の絞込みも可能とされる。例えば、「笑っているＡさん」というカテゴリは、図９に示すような階層的な分岐構造に示される各ノードでの被写体候補抽出処理を経て、最終的に該当する下位カテゴリ被写体を含む画像データが検索される。
【００７７】
以上のように検索カテゴリを階層的に分類表現する検索用データ構造を予め保持し、または生成することにより、検索処理を階層構造の上位カテゴリ条件から下位カテゴリ条件順に絞り込むことができる。ユーザはその途中経過を検索結果データとして確認することにより、適切な検索条件の画像を、途中結果を見ながら設定することができる。本実施形態３の場合、「笑っているＡさんの画像検索」などのような検索条件では、「Ａさんの画像」が上位カテゴリ条件、「笑っている表情の画像」がＡさんに付帯する下位カテゴリ条件の画像として設定される。先ずＡさんの画像を検索抽出し、然る後、笑っている表情の画像を検索することになる。なお、どちらを上位カテゴリ条件の画像とするかは、ユーザが設定することができる。
【００７８】
図１１は、本実施形態３に係る画像検索装置における画像検索処理の基本フローを示したものである。先ず処理の開始後のステップＳ１１０１において、検索条件の設定を画像データの入力により行う。これは、図１０に示した検索条件画像入力部６１が備える画像読み取り装置でおこなわれる。しかし、外部のメモリ等から検索条件の画像として取り込んでも構わない。いずれにしても、検索したい被写体が含まれる画像である。
【００７９】
その後ステップＳ１１０２に進み、画像解析部６３と制御部６５により検索カテゴリの階層構造の分析を行い、その被写体を検索するための上位カテゴリ条件および下位カテゴリ条件の特徴データを抽出する。そしてステップ１１０３に進み、そのカテゴリ条件の階層構造の表示を行う。カテゴリの階層構造は、図９に例示するものと同じであってもよい。ユーザは、表示部９に表示されたカテゴリ条件の階層構造を確認し、ステップＳ１１０４で修正が必要と判断するなら、ステップＳ１１０３にもどり、必要に応じて検索結果の修正等を行う。
【００８０】
続いてステップＳ１１０５においては、現在撮像しようとする画像データから上位カテゴリ条件に基づく被写体候補の画像の抽出が実行される。その抽出結果はステップＳ１１０６に示すように表示部９に表示される。ステップＳ１１０７でこの結果に満足しない場合には、ステップＳ１１０３にもどり、必要に応じて分析結果の修正等を行い、再度検索を行うことになる。満足するのであれば、ステップＳ１１０８に進み、現在撮像しようとする画像データから下位カテゴリ条件に基づく被写体候補の画像の選択が実行され、ステップＳ１１０９では、その選択結果が表示される。すなわち、表示部９に表示された現在撮像しようとする画像データに選択された下位カテゴリ条件を満たす下位カテゴリ被写体候補の画像が識別可能に表示されることとなる。この結果に満足しない場合には、ステップＳ１１１０からステップＳ１１０３にもどり、修正した後に動作を繰り返すことになるが、満足するのであれば、一連の検索処理が終了する。
【００８１】
以上、本実施形態３では、特定人物や動物の状態を検知して自動撮像または検索する場合について説明した。しかし、対象となる被写体としては、人物や動物以外、例えば、車両その他の物品のうち、特定の物品を検出してその画像を自動入力することなどに適用してもよいことはいうまでもない。
【００８２】
以上説明した、本発明の実施形態３によれば、検索条件として入力する画像、典型的には、検索対象の被写体が含まれる画像もしくはユーザによるスケッチ画像などの検索条件を満足する被写体候補の画像を抽出し、選択することが可能となる。
【００８３】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても実施可能である。すなわち本発明の目的は、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００８４】
また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行いこともありうる。それにより、本発明は、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８５】
さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施形態１に係る画像検索装置が組み込まれた撮像装置のブロック図である。
【図２】本発明の実施形態１に係る画像検索装置の被写体候補抽出部の構成を示すブロック図である。
【図３】本発明の実施形態１に係る画像検索装置の被写体候補選択部の構成を示すブロック図である。
【図４】本発明の実施形態１に係る画像検索装置の動作を説明するフローチャート図である。
【図５】本発明の実施形態１に係る画像検索装置で使用されるカテゴリ条件の階層構造の例を示す概念図である。
【図６】本発明の実施形態１に係る画像検索装置の動作を説明するフローチャート図である。
【図７】本発明の実施形態２に係る画像検索装置で使用されるカテゴリ条件の表を示す図である。
【図８】本発明の実施形態２に係る画像検索装置の動作を説明するフローチャート図である。
【図９】本発明の実施形態２に係る画像検索装置で使用されるカテゴリ条件の階層構造の表示される画面の図である。
【図１０】本発明の実施形態３に係る画像検索装置で使用される検索条件設定部の構成を示すブロック図である。
【図１１】本発明の実施形態３に係る画像検索装置の動作を説明するフローチャート図である。
【符号の説明】
【００８７】
１  結像光学系
２  撮像素子
３  センサ周辺回路
４  記憶回路
５  撮像モード設定部
６、６０  検索条件設定部
７  検索条件データ記憶部
８  操作部
９  表示部
１０  被写体候補抽出部
１１  被写体候補選択部
１２  撮像条件制御回路
１３  画像データ圧縮／伸長回路
１４  記録再生回路
１５、６５  制御部
１６  不揮発メモリ
６１  検索条件画像入力部
６２  記憶回路
６３  画像解析部
６４  特徴データ記憶回路
１０１  特徴抽出回路
１０２、１１３  判定回路
１０３  上位カテゴリ条件入力回路
１１１  上位カテゴリ被写体候補入力回路
１１２  下位カテゴリ条件入力回路
【図１】
2008178042.tif 000003
【図２】
2008178042.tif 000004
【図３】
2008178042.tif 000005
【図４】
2008178042.tif 000006
【図５】
2008178042.tif 000007
【図６】
2008178042.tif 000008
【図７】
2008178042.tif 000009
【図８】
2008178042.tif 000010
【図９】
2008178042.tif 000011
【図１０】
2008178042.tif 000012
【図１１】
2008178042.tif 000013