(57)【要約】【課題】所望の画像を煩雑な作業を行うことなく検索することが可能な画像検索装置、撮影装置、画像検索方法及びプログラムを提供する。【解決手段】本発明に係る電子カメラ１０によれば、登録処理により登録された登録画像データを少なくとも一つのキーワードと対応付けて記憶部１７に記憶する。操作部１８の操作により検索モードへの移行が指示されると、記憶部１７に記憶された登録画像データに対応付けられているキーワードを読み出して表示部１５に一覧表示し、表示されたキーワードの中から選択されたキーワードに対応する登録画像データの画像を含む撮影画像データを記憶部１７に記憶された撮影画像データのなかから検索し、検索結果を表示する。【選択図】図１
2009049886.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を記憶する撮影画像記憶手段と、
予め登録された登録画像と少なくとも一つの検索情報とを対応付けて記憶する検索情報記憶手段と、
前記検索情報記憶手段に記憶された検索情報から使用者が所望の検索情報を選択するための検索情報選択手段と、
前記検索情報選択手段によって選択された検索情報に対応付けられている登録画像を前記検索情報記憶手段から検索し、当該検索された登録画像を含む撮影画像を前記撮影画像記憶手段から検索する画像検索手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記検索情報記憶手段は、前記登録画像の識別情報と前記少なくとも一つの検索情報とを対応付けて記憶しており、
前記撮影画像を前記検索情報記憶手段に記憶されている登録画像のそれぞれと照合して前記撮影画像に含まれる登録画像を検出し、当該検出された登録画像の識別情報を前記撮影画像に対応付ける照合手段を備え、
前記画像検索手段は、前記検索情報選択手段によって選択された検索情報に対応付けられている登録画像を前記検索情報記憶手段から検索し、当該検索された登録画像の識別情報が対応付けられた撮影画像を前記撮影画像記憶手段から検索する、
ことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記登録画像は顔画像であり、
前記照合手段は、前記撮影画像に含まれる顔画像領域を検出し、この検出された顔画像領域を前記検索情報記憶手段に記憶されている顔画像のそれぞれと照合することによって、前記撮影画像に含まれる顔画像を検出する、
ことを特徴とする請求項２に記載の画像検索装置。
【請求項４】
前記撮影画像を前記撮影画像記憶手段に記憶する際に、当該撮影画像を前記検索情報記憶手段に記憶された登録画像と照合するか否かを選択する照合選択手段を備え、
前記照合手段は、前記照合選択手段により照合することが選択された場合に、前記撮影画像を前記検索情報記憶手段に記憶された登録画像のそれぞれと照合して前記撮影画像に含まれる登録画像を検出し、当該検出された登録画像の識別情報を前記撮影画像に付加する、
ことを特徴とする請求項２又は３に記載の画像検索装置。
【請求項５】
前記画像検索手段は、前記検索された登録画像の識別情報を含む撮影画像を前記撮影画像記憶手段に記憶された撮影画像から検索することを特徴とする請求項４に記載の画像検索装置。
【請求項６】
前記撮影画像を前記検索情報記憶手段に記憶された登録画像と照合するか否かを選択する照合選択手段と、
前記撮影画像と前記照合選択手段の選択結果を対応付けて記憶する照合情報記憶手段とを備え、
前記照合手段は、前記照合選択手段により照合することが選択された場合に、前記撮影画像を前記検索情報記憶手段に記憶された登録画像のそれぞれと照合して前記撮影画像に含まれる登録画像を検出し、当該検出された登録画像の識別情報を、更に前記撮影画像及び前記選択結果と対応付けて前記照合情報記憶手段に記憶させる、
ことを特徴とする請求項２又は３に記載の画像検索装置。
【請求項７】
前記画像検索手段は、前記照合情報記憶手段を参照し、前記検索された登録画像の識別情報が対応付けられた撮影画像を検索することを特徴とする請求項６に記載の画像検索装置。
【請求項８】
被写体を撮影し撮影画像を取得する撮影装置において、
請求項１〜７の何れか一項に記載の画像検索装置を備えることを特徴とする撮影装置。
【請求項９】
撮影画像を記憶する撮影画像記憶ステップと、
予め登録された登録画像と少なくとも一つの検索情報とを対応付けて記憶する検索情報記憶ステップと、
前記検索情報記憶ステップによって記憶された検索情報から使用者が所望の検索情報を選択するための検索情報選択ステップと、
前記検索情報選択ステップによって選択された検索情報に対応付けられている登録画像を前記検索情報記憶ステップによって記憶された登録画像から検索し、当該検索された登録画像を含む撮影画像を前記撮影画像記憶ステップによって記憶された撮影画像から検索する画像検索ステップと、
を含むことを特徴とする画像検索方法。
【請求項１０】
コンピュータに、
撮影画像を記憶する撮影画像記憶機能、
予め登録された登録画像と少なくとも一つの検索情報とを対応付けて記憶する検索情報記憶機能、
前記検索情報記憶機能によって記憶された検索情報から使用者が所望の検索情報を選択するための検索情報選択機能、
前記検索情報選択機能によって選択された検索情報に対応付けられている登録画像を前記検索情報記憶機能によって記憶された登録画像から検索し、当該検索された登録画像を含む撮影画像を前記撮影画像記憶機能によって記憶された撮影画像から検索する画像検索機能、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、撮影装置、画像検索方法及びプログラムに関する。
【背景技術】
【０００２】
従来、電子カメラ等の撮影装置により撮影されたデジタルの撮影画像は、撮影装置の本体やパーソナルコンピュータの記憶装置等に保存され、ユーザ（使用者）は保存された撮影画像のなかから所望の画像を探し出して閲覧や編集等を行っている。
【０００３】
近年、記憶装置の大容量化に伴い、記憶装置には大量の画像が保存可能となっている。そのため、ユーザが所望の画像を探し出すのは大変な作業となっている。
【０００４】
そこで、ユーザの画像検索の作業を支援する技術として、例えば特許文献１には、ユーザの顔を撮影した画像からユーザの顔領域を抽出し、抽出した顔領域の特徴量に基づいて、ユーザの顔が含まれる画像を複数の画像から検索するようにした画像検索装置が記載されている。
【特許文献１】特開２００７−１０９１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１においては、複数の画像のなかから撮影された顔画像と同じ顔画像が含まれる画像を検索するだけであり、検索条件によって画像を検索することはできなかった。
【０００６】
本発明の課題は、所望の画像を煩雑な作業を行うことなく検索することが可能な画像検索装置、撮影装置、画像検索方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１に記載の発明の画像検索装置は、
撮影画像を記憶する撮影画像記憶手段と、
予め登録された登録画像と少なくとも一つの検索情報とを対応付けて記憶する検索情報記憶手段と、
前記検索情報記憶手段に記憶された検索情報から使用者が所望の検索情報を選択するための検索情報選択手段と、
前記検索情報選択手段によって選択された検索情報に対応付けられている登録画像を前記検索情報記憶手段から検索し、当該検索された登録画像を含む撮影画像を前記撮影画像記憶手段から検索する画像検索手段と、
を備えることを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、
前記検索情報記憶手段は、前記登録画像の識別情報と前記少なくとも一つの検索情報とを対応付けて記憶しており、
前記撮影画像を前記検索情報記憶手段に記憶されている登録画像のそれぞれと照合して前記撮影画像に含まれる登録画像を検出し、当該検出された登録画像の識別情報を前記撮影画像に対応付ける照合手段を備え、
前記画像検索手段は、前記検索情報選択手段によって選択された検索情報に対応付けられている登録画像を前記検索情報記憶手段から検索し、当該検索された登録画像の識別情報が対応付けられた撮影画像を前記撮影画像記憶手段から検索する、ことを特徴とする。
【０００９】
請求項３に記載の発明は、請求項２に記載の発明において、
前記登録画像は顔画像であり、
前記照合手段は、前記撮影画像に含まれる顔画像領域を検出し、この検出された顔画像領域を前記検索情報記憶手段に記憶されている顔画像のそれぞれと照合することによって、前記撮影画像に含まれる顔画像を検出する、ことを特徴とする。
【００１０】
請求項４に記載の発明は、請求項２又は３に記載の発明において、
前記撮影画像を前記撮影画像記憶手段に記憶する際に、当該撮影画像を前記検索情報記憶手段に記憶された登録画像と照合するか否かを選択する照合選択手段を備え、
前記照合手段は、前記照合選択手段により照合することが選択された場合に、前記撮影画像を前記検索情報記憶手段に記憶された登録画像のそれぞれと照合して前記撮影画像に含まれる登録画像を検出し、当該検出された登録画像の識別情報を前記撮影画像に付加する、ことを特徴とする。
【００１１】
請求項５に記載の発明は、請求項４に記載の発明において、
前記画像検索手段は、前記検索された登録画像の識別情報を含む撮影画像を前記撮影画像記憶手段に記憶された撮影画像から検索することを特徴とする。
【００１２】
請求項６に記載の発明は、請求項２又は３に記載の発明において、
前記撮影画像を前記検索情報記憶手段に記憶された登録画像と照合するか否かを選択する照合選択手段と、
前記撮影画像と前記照合選択手段の選択結果を対応付けて記憶する照合情報記憶手段とを備え、
前記照合手段は、前記照合選択手段により照合することが選択された場合に、前記撮影画像を前記検索情報記憶手段に記憶された登録画像のそれぞれと照合して前記撮影画像に含まれる登録画像を検出し、当該検出された登録画像の識別情報を、更に前記撮影画像及び前記選択結果と対応付けて前記照合情報記憶手段に記憶させる、ことを特徴とする。
【００１３】
請求項７に記載の発明は、請求項６に記載の発明において、
前記画像検索手段は、前記照合情報記憶手段を参照し、前記検索された登録画像の識別情報が対応付けられた撮影画像を検索することを特徴とする。
【００１４】
請求項８に記載の発明は、
被写体を撮影し撮影画像を取得する撮影装置において、
請求項１〜７の何れか一項に記載の画像検索装置を備えることを特徴とする。
【００１５】
請求項９に記載の発明の画像検索方法は、
撮影画像を記憶する撮影画像記憶ステップと、
予め登録された登録画像と少なくとも一つの検索情報とを対応付けて記憶する検索情報記憶ステップと、
前記検索情報記憶ステップによって記憶された検索情報から使用者が所望の検索情報を選択するための検索情報選択ステップと、
前記検索情報選択ステップによって選択された検索情報に対応付けられている登録画像を前記検索情報記憶ステップによって記憶された登録画像から検索し、当該検索された登録画像を含む撮影画像を前記撮影画像記憶ステップによって記憶された撮影画像から検索する画像検索ステップと、
を含むことを特徴とする。
【００１６】
請求項１０に記載の発明のプログラムは、
コンピュータに、
撮影画像を記憶する撮影画像記憶機能、
予め登録された登録画像と少なくとも一つの検索情報とを対応付けて記憶する検索情報記憶機能、
前記検索情報記憶機能によって記憶された検索情報から使用者が所望の検索情報を選択するための検索情報選択機能、
前記検索情報選択機能によって選択された検索情報に対応付けられている登録画像を前記検索情報記憶機能によって記憶された登録画像から検索し、当該検索された登録画像を含む撮影画像を前記撮影画像記憶機能によって記憶された撮影画像から検索する画像検索機能、
を実現させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、所望の画像を煩雑な作業を行うことなく検索することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図を参照して本発明の実施形態について説明する。なお、以下の実施形態においては、本発明の画像検索装置を電子カメラ１０に適用した場合を例にとり説明するが、これに限定されるものではない。また、登録画像を人物の顔画像とした場合を例にとり説明するが、これに限定されるものではない。
【００１９】
（実施形態１）
以下、図を参照して、実施形態１を詳細に説明する。
まず、構成を説明する。
図１に、実施形態１における電子カメラ１０の機能構成例を示す。
図１に示すように、電子カメラ１０は、光学レンズ部１１、イメージセンサ１２、画像処理部１３、ビデオ出力部１４、表示部１５、制御部１６、記憶部１７、操作部１８、外部装置インターフェース部１９、外部記憶インターフェース部２０等を備える。
【００２０】
光学レンズ部１１は、フォーカシングレンズ、ズームレンズ、絞り等により構成され、被写体の光学像を取り込んでイメージセンサ１２に結像する。
【００２１】
イメージセンサ１２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の光電変換素子等により構成され、光学レンズ部１１を介してイメージセンサ１２の撮像面に結像された被写体像を撮像して、アナログ撮像信号を出力する。
【００２２】
画像処理部１３は、イメージセンサ１２から入力されたアナログ撮像信号をデジタル撮像信号に変換し、色補間処理等の信号処理を施した後、所定のフォーマットの画像データを取得する。
【００２３】
ビデオ出力部１４は、画像処理部１３により入力された画像データを表示信号に変換し表示部１５に出力する。
【００２４】
表示部１５は、ＬＣＤ（Liquid Crystal Display）等のモニタにより構成され、ビデオ出力部１４から入力される表示信号の指示に従って、撮影しようとする画像及び撮影された画像等を表示画面上に表示する。
【００２５】
制御部１６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部１６のＣＰＵは、操作部１８の操作に応じて、記憶部１７のプログラム格納領域１７１に記憶されているシステムプログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って電子カメラ１０各部の動作を集中制御する。
【００２６】
例えば、制御部１６は、図示しない測距センサや光量センサ等によって検出された検出信号に基づいて光学レンズ部１１のレンズの移動量や絞り量を算出し、レンズ駆動制御、絞り量の制御を行って、焦点合わせ（ピント合わせ）やズーム調整を行う。また、制御部１６は、イメージセンサ１２からの撮像信号の読出しタイミングの制御を行う。
【００２７】
また、制御部１６は、記憶部１７に記憶されている登録モードプログラム、撮影モードプログラム、検索モードプログラム、アルバム作成モードプログラムを始めとする各種処理プログラムを読み出して、後述する登録処理、撮影処理、検索処理、アルバム作成処理を始めとする各種処理を実行する。
【００２８】
記憶部１７は、電気的に内容を消去したり書き換えたりすることができる、半導体のメモリ等で構成され、制御部１６を動作させるための各種プログラムや、制御部１６から書き込まれた各種データを記憶する。記憶部１７は、図１に示すように、プログラム格納領域１７１、登録情報格納領域１７２、登録画像格納領域１７３、撮影画像格納領域１７４を有しており、制御部１６からの書き込み動作に応じて、プログラムをプログラム格納領域１７１に、登録情報を登録情報格納領域１７２に、登録画像データを登録画像格納領域１７３に、撮影画像データを撮影画像格納領域１７４に格納し記憶する。
【００２９】
登録情報格納領域１７２は、登録情報、具体的には、後述する登録処理（図６参照）において登録された画像データ（登録画像データ）と当該画像データに対して入力された検索情報（キーワード）とを対応付けて格納する領域である。ここで、後述する登録処理において撮影され、当該登録情報格納領域１７２及び登録画像格納領域１７３に登録された画像データを登録画像データという。登録情報格納領域１７２は、図２に示すように、登録画像データを識別するために一意に割り当てられた登録番号（即ち、登録画像データの識別番号）を格納する「登録番号」領域、登録画像データのファイル名を示すデータを格納する「ファイル名（登録画像）」領域、登録画像データに対して入力された検索情報（キーワード）を格納する「検索情報（キーワード）」領域を有し、登録番号、登録画像データのファイル名、キーワードを対応付けて記憶する。キーワードは、登録画像データの人物を特定するための人物情報（例えば、人物の氏名等）と、その登録画像データの人物に関連する語句（例えば、その人物の趣味や所属するグループ等）を示す関連情報にわけて格納される。
【００３０】
登録画像格納領域１７３は、図３に示す例のように、後述する登録処理（図６参照）において登録された登録画像データを格納する領域である。
【００３１】
撮影画像格納領域１７４は、図４に示す例のように、後述する撮影処理（図８参照）において撮影された撮影画像データを格納する領域である。撮影画像データは、図５に示すファイル形式で格納される。即ち、撮影画像データは、ヘッダ部とデータ部を含む。ヘッダ部は、撮影画像データに関する情報（ファイル名、圧縮方式、撮影日時、画像サイズ、ノート等）からなる。データ部は、撮影画像データの実データ（画像データ）からなる。
【００３２】
操作部１８は、シャッターキー、テンキー、メニューキー、十字キー、決定キー及び各種機能キー等の入力キーを備えて構成され、ユーザにより操作されたキーに対応する操作信号を制御部１６に出力する。
【００３３】
外部装置インターフェース部１９は、ＵＳＢ（Universal Serial Bus）、又はＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）等の有線通信により外部装置と接続するための有線通信Ｉ／Ｆや、赤外線データ通信、Ｂｌｕｅｔｏｏｔｈ（Ｒ）等の無線通信により外部装置と無線接続するための無線通信Ｉ／Ｆ等により構成され、パーソナルコンピュータ、プリンタ等の外部装置とデータの送受信を行う。
【００３４】
外部記憶インターフェース部２０は、ＣＦ（Compact Flash）カード、ＳＤカード、ＵＳＢメモリ等の外部記憶装置２０ａを接続可能であり、外部記憶装置２０ａとのデータの入出力を行うためのインターフェースである。
以上が電子カメラ１０の機能的構成である。
【００３５】
次に、本実施形態における電子カメラ１０の動作について説明する。
【００３６】
〔登録処理〕
まず、電子カメラ１０において実行される登録処理を図６に示すフローチャートを参照して説明する。この登録処理は、電子カメラ１０のユーザが操作部１８を操作することにより、登録モードへの移行を指示したことを契機に開始される。
【００３７】
登録モードへの移行指示の操作が検出されると、プログラム格納領域１７１に記憶された登録モードプログラムが制御部１６のＲＡＭにロードされることにより登録モードが起動される（ステップＳ１１）。次いで、操作部１８のシャッターキーの操作に応じて登録画像の撮影が実行される（ステップＳ１２）。具体的には、登録対象となる人物の顔を被写体とした状態で操作部１８のシャッターキーが操作されると、操作部１８のシャッターキーの操作に応じて光学レンズ部１１及びイメージセンサ１２が制御されて画像データが取得される。
【００３８】
次いで、表示部１５に、撮影により取得された画像データとともに当該画像データを登録するか否かを問い合わせる画面（図示せず）が表示され、操作部１８により登録しない指示の入力が検出されると（ステップＳ１３；ＮＯ）、本処理は終了する。
【００３９】
一方、操作部１８により当該画像データを登録する指示の入力が検出されると（ステップＳ１３；ＹＥＳ）、表示部１５にキーワード入力画面１５１が表示される（ステップＳ１４）。
図７に、表示部１５に表示されるキーワード入力画面１５１の一例を示す。図７に示すように、キーワード入力画面１５１は、サムネイル表示欄１５１ａ、登録番号表示欄１５１ｂ、人物情報入力欄１５１ｃ、関連情報入力欄１５１ｄ、１５１ｅ、「決定」ボタン１５１ｆ、「クリア」ボタン１５１ｇが表示されている。サムネイル表示欄１５１ａは、ステップＳ１２で撮影された画像データのサムネイル画像を表示する。登録番号表示欄１５１ｂは、撮影された画像データに付与された登録番号を表示する。人物情報入力欄１５１ｃは、撮影された画像データに対応付けるキーワード（人物情報）の入力を受け付ける。関連情報入力欄１５１ｄ、１５１ｅは、撮影された画像データに対応付けるキーワード（関連情報）の入力を受け付ける。「決定」ボタン１５１ｆは、入力された内容での撮影された画像データの登録を指示するためのボタンである。「クリア」ボタン１５１ｇは、撮影された画像データの登録キャンセルを指示するためのボタンである。
【００４０】
操作部１８の操作によりキーワード入力画面１５１からキーワードが入力され（ステップＳ１５）、「決定」ボタン１５１ｆに対応するキー操作が検出されると（ステップＳ１６；ＹＥＳ）、撮影された画像データと入力されたキーワードが対応付けられて記憶部１７に記憶され（ステップＳ１８）、本処理は終了する。具体的には、撮影された画像データのファイル名、登録番号及び入力されたキーワードが１レコードとして登録情報格納領域１７２に格納される。また、撮影された画像データが登録画像データとして登録画像格納領域１７３に格納される。
【００４１】
一方、操作部１８によりキーワード入力画面１５１から「クリア」ボタン１５１ｇに対応するキー操作が検出されると（ステップＳ１７；ＹＥＳ）、本処理は終了する。
【００４２】
〔撮影処理〕
次に、電子カメラ１０において実行される撮影処理を図８に示すフローチャートを参照して説明する。この撮影処理は、電子カメラ１０のユーザが操作部１８を操作することにより、撮影モードへの移行を指示したことを契機に開始される。
【００４３】
撮影モードへの移行指示の操作が検出されると、プログラム格納領域１７１に記憶された撮影モードプログラムが制御部１６のＲＡＭにロードされることにより撮影モードが起動される（ステップＳ２１）。次いで、操作部１８のシャッターキーの操作に応じて撮影が行われる（ステップＳ２２）。具体的には、操作部１８のシャッターキーが操作されると、操作部１８のシャッターキーの操作に応じて光学レンズ部１１及びイメージセンサ１２が制御されて撮影画像データが取得される。
【００４４】
次いで、撮影により取得した撮影画像データを記憶部１７に記憶されている登録画像データと照合することを許可するか否かをユーザが選択するための選択画面（図示せず）が表示部１５に表示され、当該画面において操作部１８により「照合を許可しない」ことを選択する操作が検出されると（ステップＳ２３；ＮＯ）、処理はステップＳ２９に移行する。
人物の顔画像を登録画像としている本実施形態においては、例えば、風景を撮影した撮影画像を登録画像と照合しても、一致する画像は存在することはなく、無駄である。そこで、このような場合には、選択画面から「照合を許可しない」を選択することで、必要のない処理を省略することができる。
【００４５】
一方、選択画面において操作部１８により「照合を許可する」ことを選択する操作が検出されると（ステップＳ２３；ＹＥＳ）、ステップＳ２２で撮影された撮影画像データに対し顔画像領域の検出が実行される（ステップＳ２４）。顔画像領域の検出は、撮影画像データに人物の顔画像領域が含まれているか否かを検出し、含まれている場合に、顔画像領域の位置を特定するために行われる。
顔画像領域の検出は、例えば、予め用意された人物の特徴を表す顔検出情報（肌色情報、目、鼻、ロなどに相当する特徴部分（顔パーツ）情報等）を用い、撮影された画像から肌色領域を抽出し、抽出された各領域内に目、鼻、ロなどに相当する特徴部分（顔パーツ）があるか否かを判定して、顔パーツがあると判定されれば当該肌色領域を顔画像領域として抽出する。
また、例えば、特開２００２−１８９７２４号に記載されているように、複数のサンプル用画像により予め求めた確率密度関数、顔画像領域を示す複数の第１部分空間、非顔画像領域を示す第２部分空間を用いて、撮影された画像から顔画像領域を検出する手法を用いてもよい。
【００４６】
次いで、検出された顔画像領域のそれぞれに対し顔認識処理が実行される（ステップＳ２５）。ステップＳ２５では、検出された顔画像領域のそれぞれと、登録画像格納領域１７３に記憶された各登録画像データの顔画像領域との照合を行い、検出された顔画像領域と同一人物の登録画像データを特定する。即ち、撮影画像に含まれる登録画像を特定する。例えば、ステップＳ２４で抽出された顔画像領域のそれぞれについて、画像を拡大、縮小しながら登録画像格納領域１７３に記憶された各登録画像データの顔画像領域との相関係数をテンプレートマッチング法により求め、求められた相関係数が最も大きく、かつ、予め定めた閾値を超えている顔画像領域を有する登録画像データをステップＳ２４で抽出された顔画像領域と同一人物の顔画像として検出する。
【００４７】
顔認識処理が終了すると、表示部１５に照合結果画面１５２が表示される（ステップＳ２６）。
図９に、照合結果画面１５２の一例を示す。照合結果画面１５２は、照合結果、即ち、ステップＳ２４における顔画像領域検出結果及びステップＳ２５における顔認識結果を示す画面である。照合結果画面１５２の撮影画像表示欄１５２ａには、ステップＳ２２で撮影された画像が表示される。撮影画像表示欄１５２ａにおいて、ステップＳ２４で検出された顔画像領域は細線の枠１５２ｂによりユーザが識別可能に表示される。ステップＳ２５で人物が特定された顔画像領域は、太線の枠１５２ｃによりユーザが識別可能に表示される。また、照合結果画面１５２には、「決定」ボタン１５２ｄ、「リスト」ボタン１５２ｅが表示されており、操作部１８により「リスト」ボタン１５２ｅに対応するキーが操作されると、照合結果リスト画面１５３が表示される。
【００４８】
図１０に、照合結果リスト画面１５３の一例を示す。照合結果リスト画面１５３は、ステップＳ２５の顔認識処理において、ステップＳ２４で抽出された顔画像領域の人物と同一人物の顔画像として認識された登録画像のサムネイル画像１５３ａ及び登録情報格納領域１７２において登録画像に対応付けられている登録情報（登録番号、キーワード（人物情報、関連情報））１５３ｂがリスト表示される。一つの撮影画像中から複数の人物が特定された場合は、特定された複数の人物についての登録画像のサムネイル画像及び登録情報が表示される。照合結果リスト画面１５３には、「決定」ボタン１５３ｃ、「画像」ボタン１５３ｄが表示されており、操作部１８により「画像」ボタン１５３ｄが操作されると、図９に示す照合結果画面１５２に戻る。
【００４９】
操作部１８により照合結果リスト画面１５３の「決定」ボタン１５３ｃ又は照合結果画面１５２の「決定」ボタン１５２ｄに対応するキー操作が検出されると、撮影された画像データに照合結果を登録するか否かを問い合わせる画面（図示せず）が表示部１５に表示され、ユーザが照合結果を確認した上で撮影された画像データに照合結果を登録するか否かを指示入力することが可能となる。
【００５０】
図８に戻り、操作部１８により「決定」ボタン１５２ｄ又は「決定」ボタン１５３ｃに対応するキー操作が検出され、更に、撮影画像データに照合結果を登録する指示が操作部１８により入力されると（ステップＳ２７；ＹＥＳ）、照合許可情報及び照合結果（撮影画像データに画像が含まれるとして特定された登録画像データの登録番号）を含むノートが生成されて撮影画像データのヘッダ部に付加され（ステップＳ２８）、処理はステップＳ３０に移行する。一方、撮影画像データに照合結果を登録しない指示が操作部１８により入力されると（ステップＳ２７；ＹＥＳ）、照合禁止情報を含むノートが生成されて撮影画像データのヘッダ部に付加され（ステップＳ２９）、処理はステップＳ３０に移行する。
【００５１】
上述したように、ノートとは、撮影画像データのヘッダ部に書き込む情報（図５参照）である。照合許可情報は、ステップＳ２３で照合を許可する指示がユーザにより入力され、ステップＳ２７で照合結果を登録することがユーザにより選択された場合に書き込まれる情報である。照合許可情報が書き込まれた撮影画像データは、図１１に示す検索処理における検索対象となる。照合禁止情報は、ステップＳ２３で照合を許可しない指示が入力され登録画像との照合が行われていないか、又は、ステップＳ２７で照合結果を登録しない指示が選択された場合に書き込まれる情報である。照合禁止情報が書き込まれた撮影画像データは、図１１に示す検索処理における検索対象とならない。
【００５２】
ステップＳ３０においては、ステップＳ２２により撮影された画像データが所定のファイル形式（例えば、ＪＰＥＧ形式等。図５参照）で圧縮され（ステップＳ３０）、圧縮された撮影画像データが撮影画像格納領域１７４に格納され（ステップＳ３１）、本処理は終了する。
【００５３】
〔検索処理〕
次に、電子カメラ１０において実行される検索処理を図１１に示すフローチャートを参照して説明する。この検索処理は、電子カメラ１０のユーザが操作部１８を操作することにより、検索モードへの移行を指示したことを契機に開始される。
【００５４】
検索モードへの移行指示の操作が検出されると、プログラム格納領域１７１に記憶された検索モードプログラムが制御部１６のＲＡＭにロードされることにより検索モードが起動される（ステップＳ４０）。次いで、登録情報格納領域１７２に格納されている検索情報、即ちキーワードが読み出され、読み出されたキーワードを一覧表示した検索条件選択画面１５４が表示部１５に表示される（ステップＳ４１）。
【００５５】
図１２に、検索条件選択画面１５４の一例を示す。図１２に示すように、検索条件選択画面１５４には、登録情報格納領域１７２に格納されているキーワードが一覧表示される。検索条件選択画面１５４においてユーザが操作部１８の十字キー等の操作によりカーソルを所望のキーワードに移動させ、「選択」ボタン１５４ｂに対応するキーを操作することで、キーワードを選択することができる。なお、キーワードは複数選択することが可能であり、表示された複数のキーワードのＡＮＤ検索、或いはＯＲ検索などの検索方法を設定可能としてもよい。検索条件選択画面１５４において、キーワードが選択された状態で「検索」ボタン１５４ａに対応するキーが操作されると、選択されたキーワードが対応付けられた撮影画像データの検索を行うことができる。また、検索条件選択画面１５４において操作部１８により「クリア」ボタン１５４ｃに対応するキーを操作することで、キーワードの選択を解除するようにしてもよい。
【００５６】
検索条件選択画面１５４において操作部１８の「選択」ボタン１５４ｂに対応するキー操作によりキーワードが選択され（ステップＳ４２）、次いで「検索」ボタン１５４ａに対応するキー操作が検出されると（ステップＳ４３；ＹＥＳ）、選択されたキーワードを含む登録情報が登録情報格納領域１７２において検索され、選択されたキーワードに対応付けられている登録画像データの登録番号が特定される（ステップＳ４４）。次いで、撮影画像格納領域１７４に格納されている各撮影画像データのヘッダ部が参照され、ノートとして照合許可情報が書き込まれており、かつステップＳ４４において特定された登録番号を含む撮影画像データが検索される（ステップＳ４５）。そして、検索された撮影画像データのサムネイル画像が検索結果表示画面１５５に表示され（ステップＳ４６）、本処理は終了する。
【００５７】
図１３に、検索結果表示画面１５５の一例を示す。当該画面には、撮影画像格納領域１７４に格納されている撮影画像データのうち、ステップＳ４２で選択されたキーワードに対応する撮影画像データの検索結果が表示される。このように、ユーザは、操作部１８によりキーワードを選択する操作を行うだけで、キーワードに対応する撮影画像データのみを簡単に表示させることが可能となる。
【００５８】
〔アルバム作成処理〕
次に、電子カメラ１０において実行されるアルバム作成処理を図１４に示すフローチャートを参照して説明する。このアルバム作成処理は、図１１に示した検索処理を利用した処理であり、電子カメラ１０のユーザが操作部１８を操作することにより、アルバム作成モードへの移行を指示したことを契機に開始される。
【００５９】
アルバム作成モードへの移行指示の操作が検出されると、プログラム格納領域１７１に記憶されたアルバム作成モードプログラムが制御部１６のＲＡＭにロードされることによりアルバム作成モードが起動される（ステップＳ５１）。次いで、図１１の検索処理が実行され、検索結果表示画面が表示部１５に表示される（ステップＳ５２）。なお、アルバム作成処理における検索結果表示画面は、図１３に示した検索結果表示画面１５５と略同様であり、検索された撮影画像のサムネイル画像が一覧表示されるが、編集メニューを表示するための「編集」ボタンを有しており、操作部１８によるキーの操作により、画像の選択、配置順変更、ページレイアウト、テキスト挿入等のアルバム編集ができるようになっている。
【００６０】
検索結果表示画面において、操作部１８が操作されると、操作に応じてアルバム編集が実行される（ステップＳ５３）。操作部１８により検索結果表示画面上の「終了」ボタンが操作され編集終了が指示されるまで、操作部１８の操作に応じてステップＳ５２〜５３の処理が繰り返し実行される。操作部１８により検索結果表示画面上の「終了」ボタンが操作され編集終了が指示されると（ステップＳ５４；ＹＥＳ）、編集されたアルバムのデータが記憶部１７に保存される（ステップＳ５５）。
【００６１】
操作部１８により、編集されたアルバムデータを送信する指示が入力されなければ（ステップＳ５６；ＮＯ）、本処理は終了する。操作部１８により、編集されたアルバムのデータを送信する指示及びデータの送信先が入力されると（ステップＳ５６；ＹＥＳ）、外部装置インターフェース部１９を介して送信先の外部装置にデータが送信され（ステップＳ５７）、本処理は終了する。
【００６２】
以上説明したように、実施形態１の電子カメラ１０によれば、登録処理により登録された登録画像データを少なくとも一つのキーワードと対応付けて記憶部１７に記憶する。操作部１８の操作により検索モードへの移行が指示されると、記憶部１７の登録情報格納領域１７２において登録画像データに対応付けて記憶されているキーワードを全て読み出して表示部１５に一覧表示し、表示されたキーワードの中から選択されたキーワードに対応する登録画像データの画像を含む撮影画像データを記憶部１７に記憶された撮影画像データのなかから検索し、検索結果を表示する。
【００６３】
従って、ユーザは、検索したい撮影画像のキーワードを選択操作するだけの簡単な操作で、煩雑な作業を行うことなくそのキーワードに対応する撮影画像を記憶部１７に記憶されている撮影画像の中から検索することができる。
【００６４】
また、撮影時に、撮影画像データを記憶部１７に記憶されている登録画像データのそれぞれと照合して撮影画像データに含まれる登録画像データの画像を特定しその登録画像の登録番号を撮影画像データに対応付けて記憶部１７の撮影画像格納領域１７４に記憶しておき、検索時には、キーワードに対応する登録画像データを示す登録番号に対応する撮影画像データを記憶部１７に記憶された撮影画像データのなかから検索するので、検索時に登録画像データと撮影画像データとの照合等を行う必要がなく、検索処理を短時間で行うことが可能となる。
【００６５】
また、人物の顔画像である登録画像データをキーワードと対応付けて記憶しておき、撮影画像データと登録画像データを照合する際には、撮影画像データに含まれる顔画像領域を検出し、この検出された顔画像領域を記憶部１７に記憶されている登録画像（顔画像）データのそれぞれと照合することによって撮影画像データに含まれる顔画像を特定し、撮影画像データに含まれる顔画像の登録番号を撮影画像データに対応付けて記憶するので、キーワードを選択するだけで、煩雑な作業を行うことなくキーワードに対応付けられた人物の顔画像が含まれている撮影画像データを検索することが可能となる。
【００６６】
また、撮影画像データを記憶部１７に記憶する際に、撮影画像データと登録画像データの照合を行うか否かをユーザが選択することができるので、例えば、顔画像を登録画像としている場合に風景を撮影した場合等に、無駄な照合処理を省略することが可能となる。
【００６７】
また、撮影画像データと登録画像データとの照合の結果、撮影画像データに画像が含まれるとされた登録画像データの登録番号を撮影画像データのノートに付加することにより撮影画像データと当該撮影画像データに画像が含まれる登録画像データを対応付けることができる。また、キーワードで画像を検索する際に、選択されたキーワードに対応する登録画像データの画像が含まれる撮影画像データを容易に検索することが可能となる。
【００６８】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１においては、撮影処理において、撮影画像データのヘッダ部にノートとして照合許可（禁止）情報や照合結果情報を書き込んでおくこととしたが、本実施形態２においては、照合許可（禁止）情報や照合結果情報を直接撮影画像データに書き込まず、撮影画像データと、照合許可（禁止）情報と、照合結果情報（登録番号）とを対応付けて記憶する照合情報格納領域１７５を記憶部１７に設けた構成である。
【００６９】
図１５に、実施形態２における記憶部１７の構成例を示す。図１５に示すように、実施形態２においては、記憶部１７は、照合情報格納領域１７５を有する。照合情報格納領域１７５は、図１６に示すように、「撮影番号」領域、「ファイル名（撮影画像）」領域、「照合許可／禁止情報」領域、「照合結果情報」領域を有し、照合対象となった撮影画像データについての照合情報、即ち、照合対象となった撮影画像データを識別するための撮影番号、撮影画像データのファイル名、照合許可（禁止）情報、照合結果情報を対応付けて記憶する。
【００７０】
実施形態２におけるその他の構成は、実施形態１で説明したのと同様であるので説明を省略する。
【００７１】
次に、実施形態２における動作について説明する。
実施形態２においては、撮影処理が実施形態１と異なる。実施形態２における撮影処理では、撮影により取得された画像データは、所定のファイル形式に圧縮され、撮影画像格納領域１７４に記憶される。即ち、図８におけるステップＳ２２の処理に続いてステップＳ３０、Ｓ３１の処理が実行される。
【００７２】
また、実施形態２において、電子カメラ１０は、照合モードを有しており、撮影処理により取得された撮影画像データや、外部装置インターフェース部１９等を介して入力された撮影画像データ（外部装置により取得された撮影画像データ）、外部記憶インターフェース部２０を介して接続されている外部記憶装置２０ａに記憶されている撮影画像データに対し、登録画像格納領域１７３に登録されている登録画像データとの照合を行うことが可能となっている。
【００７３】
〔照合処理〕
以下、電子カメラ１０において実行される照合処理を図１７に示すフローチャートを参照して説明する。この照合処理は、電子カメラ１０のユーザが操作部１８を操作することにより、照合モードへの移行を指示したことを契機に開始される。
【００７４】
照合モードへの移行指示の操作が検出されると、プログラム格納領域１７１に記憶された照合モードプログラムが制御部１６のＲＡＭにロードされることにより照合モードが起動される（ステップＳ６０）。次いで、操作部１８の操作に応じて照合対象の撮影画像データが取得される（ステップＳ６１）。例えば、表示部１５に記憶部１７の撮影画像格納領域１７４に記憶されている撮影画像データや外部記憶インターフェース部２０を介して接続されている外部記憶装置２０ａに記憶されている撮影画像データの一覧（ファイル名又はサムネイル画像）が表示され、操作部１８の操作により照合対象となる撮影画像が選択されると、選択された撮影画像が制御部１６のＲＡＭに読み出される。また、外部装置インターフェース部１９を介して撮影画像データを取得してもよい。
【００７５】
次いで、取得した撮影画像データを記憶部１７に記憶されている登録画像データと照合することを許可するか否かをユーザが選択するための選択画面（図示せず）が表示部１５に表示され、当該画面において操作部１８により「照合を許可しない」ことを選択する操作が検出されると（ステップＳ６２；ＮＯ）、処理はステップＳ６８に移行する。
【００７６】
一方、選択画面において操作部１８により「照合を許可する」ことを選択する操作が検出されると（ステップＳ６２；ＹＥＳ）、取得された撮影画像データに対し顔画像領域の検出が実行される（ステップＳ６３）。顔画像領域の検出は、実施形態１の図８のステップＳ２４で説明したのと同様の手法により実施することができる。
【００７７】
次いで、検出された顔画像領域のそれぞれに対し顔認識処理が実行される（ステップＳ６４）。顔認識処理は、実施形態１の図８のステップＳ２５で説明したのと同様の手法により実施することができる。
【００７８】
顔認識処理が終了すると、表示部１５に照合結果画面１５２が表示される（ステップＳ６５）。照合結果画面１５２は、図９に示したものと同様である。照合結果画面１５２には、「決定」ボタン１５２ｄ、「リスト」ボタン１５２ｅが表示されており、操作部１８により「リスト」ボタン１５２ｅに対応するキーが操作されると、照合結果リスト画面１５３が表示される。照合結果リスト画面１５３は、図１０に示したものと同様である。
【００７９】
操作部１８により照合結果リスト画面１５３の「決定」ボタン１５３ｃ又は照合結果画面１５２の「決定」ボタン１５２ｄに対応するキー操作が検出されると、撮影された画像データに照合結果を登録するか否かを問い合わせる画面（図示せず）が表示部１５に表示され、ユーザが照合結果を確認した上で、照合情報格納領域１７５に照合結果の登録を許可するか否かを指示入力することが可能となる。
【００８０】
操作部１８による照合結果画面１５２の「決定」ボタン１５２ｄ又は照合結果リスト画面１５３の「決定」ボタン１５３ｃに対応するキー操作が検出され、更に、照合情報格納領域１７５への照合結果の登録を許可する指示が操作部１８により入力されると（ステップＳ６６；ＹＥＳ）、照合情報格納領域１７５に撮影画像データに付与された撮影番号、撮影画像データのファイル名、照合許可情報及び照合結果情報（撮影画像データに画像が含まれる登録画像データの登録番号）が追加登録されて照合情報が更新される（ステップＳ６７）。次に、処理はステップＳ６９に移行する。
【００８１】
一方、撮影された画像データに照合結果を登録しない指示が操作部１８により入力されると（ステップＳ６６；ＮＯ）、照合情報格納領域１７５に撮影画像データに付与された撮影番号、撮影画像データのファイル名、照合禁止情報が追加登録されて照合情報が更新され（ステップＳ６８）、処理はステップＳ６９に移行する。
なお、ステップＳ６７及びＳ６８においては、照合情報格納領域１７５を照合対象の撮影画像データのファイル名で検索し、照合対象の撮影画像データと同一のファイル名をもつ照合情報が既に登録されているか否かを判断し、登録されている場合は、その照合情報を新たな情報で上書きするようにすることが好ましい。
【００８２】
ステップＳ６９においては、操作部１８により照合処理の終了指示が入力されたか否かが判断され、入力されていないと判断されると（ステップＳ６９；ＮＯ）、処理はステップＳ６１に戻る。操作部１８により照合処理の終了指示が入力されたと判断されると（ステップＳ６９；ＹＥＳ）、本処理は終了する。
【００８３】
以上説明したように、実施形態２における電子カメラ１０によれば、撮影画像データと登録画像データとの照合の結果、撮影画像データに画像が含まれるとされた登録画像データの登録番号を撮影画像データと対応付けて照合情報格納領域１７５に記憶することで、撮影画像データと当該撮影画像データに画像が含まれる登録画像データを対応付けることができる。また、キーワードで画像を検索する際に、選択されたキーワードに対応する登録画像データの画像が含まれる撮影画像データを容易に検索することが可能となる。
【００８４】
また、撮影画像データと登録画像データとの照合は、撮影時のみならず、ユーザの操作に応じて開始することができるので、利便性が向上する。また、外部装置から取得した撮影画像データも照合の対象とすることができる。
【００８５】
以上、本発明の実施形態１及び実施形態２について説明したが、本発明に係る電子カメラ１０としては、上述した実施形態に限るものではなく、他の構成のものにも適用可能である。また、本発明に係る画像検索装置は、電子カメラだけでなく、例えば、携帯電話機やＰＤＡ（Personal Digital Assistant）等の他の電子機器にも適用可能である。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施形態における電子カメラの機能的構成を示すブロック図である。
【図２】図１の登録情報格納領域のデータ格納例を示す図である。
【図３】図１の登録画像格納領域のデータ格納例を示す図である。
【図４】図１の撮影画像格納領域のデータ格納例を示す図である。
【図５】図４の撮影画像データのファイル構成例を示す図である。
【図６】本発明の実施形態における「登録処理」を説明するためのフローチャートである。
【図７】図６の登録処理における「キーワード入力画面」の表示例を示す図である。
【図８】本発明の実施形態における「撮影処理」を説明するためのフローチャートである。
【図９】図８の撮影処理における「照合結果画面」の表示例を示す図である。
【図１０】図８の撮影処理における「照合結果リスト画面」の表示例を示す図である。
【図１１】本発明の実施形態における「検索処理」を説明するためのフローチャートである。
【図１２】図１１の検索処理における「検索条件選択画面」の表示例を示す図である。
【図１３】図１１の検索処理における「検索結果表示画面」の表示例を示す図である。
【図１４】本発明の実施形態における「アルバム作成処理」を説明するためのフローチャートである。
【図１５】実施形態２における記憶部の構成例を示す図である。
【図１６】図１５の照合情報格納領域のデータ格納例を示す図である。
【図１７】実施形態２における「照合処理」を説明するためのフローチャートである。
【符号の説明】
【００８７】
１０  電子カメラ
１１  光学レンズ部
１２  イメージセンサ
１３  画像処理部
１４  ビデオ出力部
１５  表示部
１６  制御部
１７  記憶部
１７１  プログラム格納領域
１７２  登録情報格納領域
１７３  登録画像格納領域
１７４  撮影画像格納領域
１７５  照合情報格納領域
１８  操作部
１９  外部装置インターフェース部
２０  外部記憶インターフェース部
２０ａ  外部記憶装置
【図１】
2009049886.tif 000003
【図２】
2009049886.tif 000004
【図３】
2009049886.tif 000005
【図４】
2009049886.tif 000006
【図５】
2009049886.tif 000007
【図６】
2009049886.tif 000008
【図７】
2009049886.tif 000009
【図８】
2009049886.tif 000010
【図９】
2009049886.tif 000011
【図１０】
2009049886.tif 000012
【図１１】
2009049886.tif 000013
【図１２】
2009049886.tif 000014
【図１３】
2009049886.tif 000015
【図１４】
2009049886.tif 000016
【図１５】
2009049886.tif 000017
【図１６】
2009049886.tif 000018
【図１７】
2009049886.tif 000019