(57)【要約】【課題】  本発明は、撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象を撮影画像に容易に関連付けることができる撮像装置を提供する。【解決手段】  撮像装置は、撮像素子と、認識部と、撮影制御部と、記録処理部とを備える。撮像素子は、被写体の像を撮像する。認識部は、撮像素子により時系列に得られる第１画像を解析して、第１画像内に含まれるオブジェクトを認識する。撮影制御部は、第１画像の撮影、及び記録用の第２画像の撮影を行なう。記録処理部は、第２画像と認識部によって認識された少なくとも第２画像に含まれないオブジェクトの情報とを関連付けて記録する。【選択図】    図１
2013229696.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を撮像する撮像素子と、
前記撮像素子により時系列に得られる第１画像を解析して、前記第１画像内に含まれるオブジェクトを認識する認識部と、
前記第１画像の撮影、及び記録用の第２画像の撮影を行なう撮影制御部と、
前記第２画像と前記認識部によって認識された少なくとも前記第２画像に含まれないオブジェクトの情報とを関連付けて記録する記録処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
画像表示用の表示部と、
前記表示部の表示態様を制御する表示制御部とをさらに備え、
前記表示制御部は、前記第１画像と前記オブジェクトの情報とを前記表示部に表示させ、
前記記録処理部は、前記第１画像と共に前記表示部に表示された前記オブジェクトの情報を前記第２画像に関連付けて記録することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記表示部に表示された前記第１画像に対して、ユーザ入力により前記オブジェクトを選択する選択入力部をさらに備え、
前記認識部は、前記ユーザ入力により前記選択入力部が選択した前記オブジェクトを認識することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記選択入力部は、接触体の接触により情報入力を行なうタッチパネルであって、
前記認識部は、前記表示部に表示中の前記第１画像内の前記オブジェクトに対して、前記タッチパネルを介して前記接触体が指示した前記オブジェクトを認識することを特徴とする撮像装置。
【請求項５】
請求項１から請求項４の何れか１項に記載の撮像装置において、
前記記録処理部は、前記第２画像の一部領域に前記オブジェクトの情報を合成する、若しくは前記第２画像のタグ情報に前記オブジェクト情報を追加することで、前記第２画像とオブジェクト情報とを関連付けて記録することを特徴とする撮像装置。
【請求項６】
請求項１から請求項５の何れか１項に記載の撮像装置において、
照合用のオブジェクトの情報が予め登録されているデータベースと、
前記第１画像に含まれる部分画像と前記データベースに登録された前記照合用のオブジェクトの情報とを照合する第１照合部とをさらに備え、
前記認識部は、前記第１照合部の照合結果に応じて、前記オブジェクトを認識することを特徴とする撮像装置。
【請求項７】
請求項１から請求項６の何れか１項に記載の撮像装置において、
照合用のオブジェクトの情報が予め登録されているデータベースを有する外部サーバと通信する通信部と、
前記通信部を介して、前記第１画像に含まれる部分画像と前記データベースに登録された前記照合用のオブジェクトの情報とを照合させる第２照合部をさらに備え、
前記認識部は、前記第２照合部の照合結果に応じて、前記オブジェクトを認識することを特徴とする撮像装置。
【請求項８】
請求項６又は請求項７に記載の撮像装置において、
前記データベースに登録されている前記オブジェクトの情報には前記オブジェクトに関連する情報を含み、前記記録処理部は、前記第１照合部又は前記第２照合部の照合結果に応じて、前記第２画像と前記オブジェクトに関連する情報とを関連付けて記録することを特徴とする撮像装置。
【請求項９】
請求項６から請求項８の何れか１項に記載の撮像装置において、
前記記録処理部が登録した前記オブジェクトの情報を所定の条件ごとに管理する管理部をさらに備えることを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、
前記管理部は、複数の前記オブジェクトの情報をグループとして管理することを特徴とする撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記記録処理部は、撮影ごと、時間ごと、日付ごと、または撮影イベントごとに前記認識部が認識した前記オブジェクトの情報をグループとして前記データベースへ登録することを特徴とする撮像装置。
【請求項１２】
請求項１０又は請求項１１に記載の撮像装置において、
前記管理部は、ユーザ入力により指定された特定のグループ、又は前記認識部が現在認識しているオブジェクトが含まれる特定のグループを読み出し、
前記表示制御部は、前記特定のグループのオブジェクトの情報を前記表示部に表示させることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、構図確認用のスルー画像から人物の顔を識別する撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８７８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えば５人の友人からなるグループで旅行へ行き、グループ内の何れかの撮影者がそのグループ内の２人を撮影した場面を想定する。この場合、他の２名（撮影者を除く）は、撮影場所の周辺に存在しているにも拘らず、撮影画像には撮影されないことになる。そのため、撮影者がその撮影画像を後日（例えば数年後）になって確認した時に以下の問題が生じることがある。すなわち、撮影者は、誰と旅行へ行ったのかグループ全員を思い出せなくなることがある。
【０００５】
しかしながら、特許文献１の撮像装置では、撮影対象の人物を識別することを前提としているので、上記の問題を解決することができない。
【０００６】
そこで、本発明は、上記事情に鑑み、撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象（オブジェクト）の情報を撮影画像に容易に関連付けることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明に係る撮像装置は、撮像素子と、認識部と、撮影制御部と、記録処理部とを備える。撮像素子は、被写体の像を撮像する。認識部は、撮像素子により時系列に得られる第１画像を解析して、第１画像内に含まれるオブジェクトを認識する。撮影制御部は、第１画像の撮影、及び記録用の第２画像の撮影を行なう。記録処理部は、第２画像と認識部によって認識された少なくとも第２画像に含まれないオブジェクトの情報とを関連付けて記録する。
【０００８】
第２の発明は、第１の発明において、画像表示用の表示部と、表示制御部とをさらに備える。表示制御部は、表示部の表示態様を制御する。表示制御部は、第１画像とオブジェクトの情報とを表示部に表示させる。記録処理部は、第１画像と共に表示部に表示されたオブジェクトの情報を第２画像に関連付けて記録する。
【０００９】
第３の発明は、第２の発明において、選択入力部をさらに備える。選択入力部は、表示部に表示された第１画像に対して、ユーザ入力によりオブジェクトを選択する。認識部は、ユーザ入力により選択入力部が選択したオブジェクトを認識する。
【００１０】
第４の発明は、第３の発明において、選択入力部は、接触体の接触により情報入力を行なうタッチパネルである。認識部は、表示部に表示中の第１画像内のオブジェクトに対して、タッチパネルを介して接触体が指示したオブジェクトを認識する。
【００１１】
第５の発明は、第１から第４の何れか１の発明において、記録処理部は、第２画像の一部領域にオブジェクトの情報を合成する、若しくは第２画像のタグ情報にオブジェクト情報を追加することで、第２画像とオブジェクト情報とを関連付けて記録する。
【００１２】
第６の発明は、第１から第５の何れか１の発明において、データベースと、第１照合部とをさらに備える。データベースには、照合用のオブジェクトの情報が予め登録されている。第１照合部は、第１画像に含まれる部分画像とデータベースに登録された照合用のオブジェクトの情報とを照合する。認識部は、第１照合部の照合結果に応じて、オブジェクトを認識する。
【００１３】
第７の発明は、第１から第６の何れか１の発明において、通信部と、第２照合部をさらに備える。通信部は、照合用のオブジェクトの情報が予め登録されているデータベースを有する外部サーバと通信する。第２照合部は、通信部を介して、第１画像に含まれる部分画像とデータベースに登録された照合用のオブジェクトの情報とを照合させる。認識部は、第２照合部の照合結果に応じて、オブジェクトを認識する。
【００１４】
第８の発明は、第６又は第７の発明において、データベースに登録されているオブジェクトの情報にはオブジェクトに関連する情報を含む。記録処理部は、第１照合部又は第２照合部の照合結果に応じて、第２画像とオブジェクトに関連する情報とを関連付けて記録する。
【００１５】
第９の発明は、第６から第８の何れか１の発明において、管理部をさらに備える。管理部は、記録処理部が登録したオブジェクトの情報を所定の条件ごとに管理する。
【００１６】
第１０の発明は、第９の発明において、管理部は、複数の前記オブジェクトの情報をグループとして管理する。
【００１７】
第１１の発明は、第１０の発明において、記録処理部は、撮影ごと、時間ごと、日付ごと、または撮影イベントごとに認識部が認識したオブジェクトの情報をグループとしてデータベースへ登録する。
【００１８】
第１２の発明は、第１０又は第１１の発明において、管理部は、ユーザ入力により指定された特定のグループ、又は認識部が現在認識しているオブジェクトが含まれる特定のグループを読み出す。表示制御部は、特定のグループのオブジェクトの情報を表示部に表示させる。
【発明の効果】
【００１９】
本発明の撮像装置は、撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象（オブジェクト）の情報を撮影画像に容易に関連付けることができる。
【図面の簡単な説明】
【００２０】
【図１】電子カメラ１の構成例を示すブロック図
【図２】電子カメラ１の筐体の背面図
【図３】電子カメラ１の動作の一例を示すフローチャート
【図４】電子カメラ１の動作の一例を説明する図
【図５】撮影画像の一例を示す図
【図６】Ｅｘｉｆ形式の画像ファイルの一例を示す図
【図７】第２実施形態における電子カメラ１の動作の一例を示すフローチャート
【図８】第２実施形態における電子カメラ１の動作の一例を説明する図
【図９】第３実施形態における電子カメラ１の動作の一例を説明する図
【図１０】第３実施形態における撮影画像の一例を示す図
【図１１】第４実施形態における電子カメラ１の動作の一例を説明する図
【図１２】第５実施形態の照合システムの構成例を説明する図
【図１３】データベース１５ａ内に登録されているグループの一例を示す概念図
【図１４】表示モニタ１７に表示されたグループの一例を示す図
【図１５】撮影画像の他の表示態様を例示した図
【図１６】方位角検出モードにおける撮影画像の再生処理を説明する図
【発明を実施するための形態】
【００２１】
（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第１実施形態では、本発明の一実施形態の電子カメラ１について説明する。なお、第２乃至第６実施形態おいて、電子カメラ１の構成は共通しているので、第２乃至第６実施形態では、電子カメラ１の構成の説明を省略する。
【００２２】
図１は、電子カメラ１の構成例を示すブロック図である。ここで、電子カメラ１は、撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象（オブジェクト）の情報を撮影画像に容易に関連付けるための撮影モード（以下「関連付けモード」という。）を有している。なお、本実施形態におけるオブジェクトの情報は、構図内に収まらない被写体に関する情報であって、例えば、被写体の画像（人物の顔画像等）や、被写体の名称等を含んで良い。以下の説明では、簡単のため、人物の顔画像等を単にオブジェクトと称することがある。
【００２３】
電子カメラ１は、撮影光学系１０と、撮像素子１１と、信号処理部１２と、ＲＡＭ（Random Access Memory）１３と、画像処理部１４と、フラッシュメモリ１５と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という。）１６と、表示モニタ１７と、表示インターフェース部（以下「表示Ｉ／Ｆ部」という。）１８と、タッチパネル１９と、操作部２０と、レリーズ釦２１と、通信インターフェース部（以下「通信Ｉ／Ｆ部」という。）２２と、アンテナ２２ａと、方位センサ２３と、ＣＰＵ（Central Processing Unit）２４と、バス２５とを備える。
【００２４】
このうち、信号処理部１２、ＲＡＭ１３、画像処理部１４、フラッシュメモリ１５、記録Ｉ／Ｆ部１６、表示Ｉ／Ｆ部１８及びＣＰＵ２４は、バス２５を介して互いに接続されている。
【００２５】
撮影光学系１０は、焦点距離を調整するズームレンズと、撮像素子１１の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部（不図示）は、撮影光学系１０内でズームレンズやフォーカスレンズのレンズ位置をＣＰＵ２４の指示に応じて光軸方向に調整する。なお、簡単のため、図１では、撮影光学系１０を１枚のレンズとして図示する。
【００２６】
撮像素子１１は、被写体の像を撮像して、画像（アナログの画像信号）を生成する。そして、撮像素子１１が出力するアナログの画像信号は、信号処理部１２に入力される。なお、撮像素子１１の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子１１の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。撮像素子１１は、ＣＣＤ（Charge Coupled Device）型又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のカラーイメージセンサである。
【００２７】
信号処理部１２は、撮像素子１１が出力するアナログの画像信号をデジタル信号（画像データ）に変換しバス２５に出力する。
【００２８】
ＲＡＭ１３は、揮発性のメモリ（バッファメモリ）である。ＲＡＭ１３は、ＣＰＵ２４の制御によりバス２５を介して、画像データを一時記録する。画像処理部１４は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。
【００２９】
フラッシュメモリ１５は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１５には、電子カメラ１の制御を行なうプログラム等が予め記録されている。ＣＰＵ２４は、このプログラムに従い、一例として後述の図３及び図７に示すフローチャートの処理（以下「フローの処理」という。）を実行する。
【００３０】
また、フラッシュメモリ１５には、照合用のオブジェクトの情報が予め登録されているデータベース１５ａを有する。データベース１５ａについては、第４実施形態で説明する。
【００３１】
記録Ｉ／Ｆ部１６には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１６は、そのコネクタに接続された記録媒体３０にアクセスして記録用の撮影画像の記録処理等を行なう。この記録媒体３０は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。
【００３２】
表示モニタ１７は、例えば液晶表示媒体により構成される。そして、表示モニタ１７は、撮像素子１１により時系列に得られる構図確認用のスルー画像、撮影画像、電子カメラ１の操作メニュー等を表示する。
【００３３】
表示Ｉ／Ｆ部１８は、表示モニタ１７に画像等を表示するためのインターフェースを提供する。具体的には、表示Ｉ／Ｆ部１８は、後述する表示制御部２４ｂの指示を受け、電子カメラ１の操作メニューや撮影画像を表示モニタ１７に表示させる。
【００３４】
また、表示Ｉ／Ｆ部１８は、撮影待機時において、スルー画像をライブビュー表示用として表示モニタ１７に表示させる。具体的には、ＣＰＵ２４は、撮影待機時において、記録媒体３０に記録する撮影画像に比べて撮像素子１１が出力する画像の解像度を低く設定する。これにより、撮像素子１１は、タイミングジェネレータの指示により、例えば３０フレーム毎秒（３０ｆｐｓ）でスルー画像を出力する。そして、表示Ｉ／Ｆ部１８は、表示制御部２４ｂの指示により、スルー画像をライブビュー表示用のスルー画像として表示モニタ１７に表示させる。
【００３５】
タッチパネル１９は、接触体の接触により情報入力を行なう。具体的には、タッチパネル１９は、例えば感圧（抵抗膜）式のタッチパネルであって、表示モニタ１７上に設けられたタッチパネル表面に接触体（例えば指先）の位置を検出する。そして、タッチパネル１９は、検出した位置を示す信号（位置情報）をＣＰＵ２４に送信する。これにより、タッチパネル１９は、表示モニタ１７に表示されたスルー画像に対して、ユーザ入力によりオブジェクトの情報を選択することができる。
【００３６】
なお、タッチパネル１９は、感圧（抵抗膜）式に限られず、他の方式（例えば、静電容量式）のタッチパネルであっても良い。また、タッチパネル１９は、接触体として例えば感圧式のペン型の入力装置（ポインティングデバイス等）の位置を検出しても良い。
【００３７】
操作部２０は、撮影者の操作を受け付ける複数のボタンを有しており、電子カメラ１を操作するための指示入力を受け付ける。レリーズ釦２１は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の撮影準備の動作開始）と全押し操作（撮影動作開始）との撮影の指示入力とを受け付ける。
【００３８】
図２は、電子カメラ１の筐体の背面図である。電子カメラ１の筐体の背面には、一例として、表示モニタ１７と、操作部２０として、広角ズームボタン２０ａと、望遠ズームボタン２０ｂと、モードボタン２０ｃと、メニューボタン２０ｄと、十字ボタン２０ｅとが備えられている。また、電子カメラ１の筐体の上面には、レリーズ釦２１と操作部２０として電源ボタン２０ｆとが備えられている。
【００３９】
広角ズームボタン２０ａは、焦点距離を広角側に変更し、望遠ズームボタン２０ｂは焦点距離を望遠側に変更する。モードボタン２０ｃは、撮影モード又は再生モードに切り替える操作を受け付ける。メニューボタン２０ｄは、メニュー画面を立ち上げるための操作をユーザから受け付ける。十字ボタン２０ｅは、電子カメラ１の操作メニューにおける設定条件等の選択又は決定をユーザから受け付ける。
【００４０】
ここで、十字ボタン２０ｅは、電子カメラ１の操作メニューの設定条件を選択若しくは決定する操作ボタンである。十字ボタン２０ｅは、上下左右の４方向の操作ボタンにより、例えば設定条件等の項目の選択入力をユーザから受け付ける。また、十字ボタン２０ｅは、中央に配置されている円形の操作ボタンが押下されることにより、選択された設定条件の決定の入力をユーザから受け付ける。また、十字ボタン２０ｅは、表示モニタ１７に表示されたスルー画像に対して、ユーザ入力によりオブジェクトの情報を選択する。また、電源ボタン２０ｆは、電子カメラ１の電源（不図示）のオン又はオフを受け付ける。
【００４１】
再び、図１の説明に戻り、通信Ｉ／Ｆ部２２は、無線通信するためのインターフェースを提供する。具体的には、通信Ｉ／Ｆ部２２は、アンテナ２２ａを介して無線通信により、電気通信回線（例えばインターネット網）に接続し、図１２で後述する外部サーバ５０と通信を行なう。方位センサ２３は、例えば電子コンパスであって、地磁気を検知してＣＰＵ２４へ出力する。
【００４２】
ＣＰＵ２４は、高速な画像処理機能を備えたＡＳＩＣ（Application Specific Integrated Circuit）を搭載し、マイクロプロセッサとしての各種演算及び電子カメラ１の統括的な制御を行なう。ＣＰＵ２４は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。
【００４３】
また、ＣＰＵ２４は、認識部２４ａと、表示制御部２４ｂと、撮影制御部２４ｃと、記録処理部２４ｄと、第１照合部２４ｅと、第２照合部２４ｆと、置換部２４ｇと、管理部２４ｈとしても機能する。
【００４４】
認識部２４ａは、スルー画像を解析して、スルー画像内に含まれるオブジェクト（例えば顔画像）を認識する。具体的には、認識部２４ａは、スルー画像の画像データをＲＡＭ１３から読み出して、その画像データから被写体として人物の顔の領域（顔画像）を抽出する。この場合、人物の顔の領域の抽出は、公知の顔抽出処理により行なうことができる。
【００４５】
より具体的には、認識部２４ａは、スルー画像の画像データから顔の領域を肌色等の輝度信号に基づいて抽出し、顔画像をオブジェクトとして認識する。そして、顔画像のデータは、順次、ＲＡＭ１３に一時的に記録される。ここで、認識部２４ａは、顔を含む顔枠の矩形の領域を顔画像として切り出して認識しても良い。なお、認識部２４ａは、画像処理部１４に指示を出して、画像処理部１４にオブジェクトの認識を行なわせる構成としても良い。
【００４６】
或いは、認識部２４ａは、公知のグラフカット（Graph Cuts）法を用いて、人物等の物体の輪郭形状をオブジェクトとして認識しても良い。グラフカット法は、一例として、隣接する画素値が同一領域内の画素値とみなせるか否かの判定を「確からしさ」という数学的尺度に基づいて、対象領域（例えば人物の輪郭形状）と背景領域とを分割して対象領域を決定する方法である。
【００４７】
或いは、認識部２４ａは、タッチパネル１９や十字ボタン２０ｅを介して、ユーザの選択によりオブジェクトを認識しても良い。
【００４８】
表示制御部２４ｂは、表示モニタ１７の表示態様を制御する。具体的には、表示制御部２４ｂは、表示Ｉ／Ｆ部１８を介して、例えば、スルー画像にオブジェクトを重畳させて表示モニタ１７に表示させる。ここで、一例として、撮影者が電子カメラ１の向きを変えてスルー画像を撮影した場合、認識部２４ａは、電子カメラ１の向きに応じてオブジェクトを認識できる。或いは、一例として、撮影者が、焦点距離を広角側又は望遠側に変更してスルー画像を撮影した場合、認識部２４ａは、焦点距離に応じてオブジェクトを認識できる。
【００４９】
そして、表示制御部２４ｂが、例えばスルー画像に少なくとも現在映っていない任意のオブジェクトを表示モニタ１７に表示させれば、撮影者は、構図内に収まらないオブジェクトを直感的に認識できる。なお、表示制御部２４ｂは、デフォルト設定（ユーザが特に指定しない場合に、予め設定されている値）において、認識部２４ａが認識したオブジェクトを順次表示モニタ１７に表示させる。
【００５０】
撮影制御部２４ｃは、スルー画像の撮影、及び撮影画像の撮影を行なう。具体的には、撮影制御部２４ｃは、スルー画像の撮影を行なう場合、撮影制御部２４ｃは、タイミングジェネレータ（不図示）を介して例えば３０ｆｐｓで撮像素子１１にスルー画像を出力させる。また、レリーズ釦２１が所定のタイミングで撮影（半押し操作、全押し操作）の指示入力を受け付けると、撮影制御部２４ｃは、撮影画像の撮影を行なう。
【００５１】
記録処理部２４ｄは、撮影画像と認識部２４ａによって認識された少なくとも撮影画像に含まれないオブジェクトの情報とを関連付けて記録する。なお、記録処理部２４ｄの処理の詳細については、図３、５等を用いて後述する。第１照合部２４ｅは、撮影画像に含まれる部分画像とデータベース１５ａに登録された照合用のオブジェクトの情報とを照合する。認識部２４ａは、第１照合部２４ｅの照合結果に応じて、オブジェクトを認識する。
【００５２】
また、第２照合部２４ｆは、通信Ｉ／Ｆ部２２を介して、撮影画像に含まれる部分画像とデータベース５０ａに登録された照合用のオブジェクトの情報とを照合させる。認識部２４ａは、第２照合部２４ｆの照合結果に応じて、オブジェクトを認識する。
【００５３】
置換部２４ｇは、第１照合部２４ｅ又は第２照合部２４ｆの照合結果に応じて、オブジェクトをそのオブジェクトに対応する名前（例えば、テキストデータの文字列）に置き換える。
【００５４】
管理部２４ｈは、オブジェクトの情報の管理を行なう。管理部２４ｈは、例えば、記録処理部２４ｄが登録した少なくとも一つ以上のオブジェクトの情報を管理する。なお、第１照合部２４ｅ及び置換部２４ｇの詳細については、第４実施形態で説明する。また、第２照合部２４ｆの詳細については、第５実施形態等で説明する。また、管理部２４ｈの詳細については、第３、第６実施形態等で説明する。
【００５５】
次に、電子カメラ１の関連付けモード時における動作の一例を説明する。
【００５６】
図３は、電子カメラ１の動作の一例を示すフローチャートである。図４は、電子カメラ１の動作の一例を説明する図である。図４（１）〜（４）は、撮影手順を模式的に示している。また、図４（５）〜（８）は、図４（１）〜（４）における点線枠３１で囲む撮影エリアにおいて、電子カメラ１の向きに応じて表示モニタ１７に表示されたスルー画像を各々対応付けて描いている。すなわち、図４（１）及び（５）、図４（２）及び（６）、図４（３）及び（７）、図４（４）及び（８）が各々ペアになっている。
【００５７】
説明をわかりやすくするため、本実施形態では、５人の友人（Ａ、B、Ｃ、D、Ｅ）と旅行に行った場面を想定する。図４では、電子カメラ１の撮影者をＥとする。ここで、撮影者Ｅは、友人Ｂ、Ｃを主要被写体として撮影することを考えていることとする。また、撮影者Ｅは、撮影画像の構図に収まらない位置にいる友人Ａ、Ｄの情報についても残したいと考えている。
【００５８】
以下の動作例では、電源オンの後、ＣＰＵ２４は、メニュー画面にて関連付けモードの選択入力を受け付けると、ＣＰＵ２４の撮影制御部２４ｃは、スルー画像の撮影を開始する。そして、ＣＰＵ２４は、図３に示すフローの処理を開始する。
【００５９】
ステップＳ１０１：ＣＰＵ２４の表示制御部２４ｂは、ライブビュー表示を開始させる。具体的には、表示制御部２４ｂは、撮像素子１１が出力するスルー画像を表示モニタ１７に表示させる。図４（１）では、撮影者Ｅは、電子カメラ１を友人Ｂ、Ｃに向けた状態を表している。図中の矢印（電子カメラ１に重畳させて表記した矢印）は、電子カメラ１の向きを表している。したがって、表示モニタ１７には、友人Ｂ、Ｃがスルー画像として映っている（図４（５）参照）。
【００６０】
ステップＳ１０２：ＣＰＵ２４の認識部２４ａは、オブジェクトの認識処理を行なう。具体的には、認識部２４ａは、例えば顔認識処理を行ない、スルー画像から友人Ｂ、Ｃの顔をオブジェクトとして認識する。なお、認識部２４ａは、例えばグラフカット理論を用いた方法によりスルー画像から友人Ｂ、Ｃを切り出しても良い。この場合、認識部２４ａは、友人Ｂ、Ｃの全体の領域をオブジェクトとして認識する。つまり、本実施形態では、オブジェクトは、人物の顔（顔画像）や、人物全体（人物画像）、或いはその他の物体（例えば、スルー画像内に映っている木の画像）等であって良い。図４の説明では、簡単のため、認識部２４ａは、人物の顔（顔画像）をオブジェクトとして認識する。
【００６１】
ステップＳ１０３：認識部２４ａは、認識したオブジェクトが新規であるか否かを判定する。ここで、関連付けモードでは、撮影者Ｅが、例えば、電子カメラ１の向きを変えながらスルー画像の撮影を行なうため、認識部２４ａは、同じ人物の顔を再度認識することが想定される。そこで、新規なオブジェクトの場合、ＣＰＵ２４は、ステップＳ１０４の処理を行なうこととする。したがって、認識したオブジェクトが新規でない場合（ステップＳ１０３：Ｎｏ）、ＣＰＵ２４は、ステップＳ１０５の処理に移行する。認識したオブジェクトが新規である場合（ステップＳ１０３：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ１０４の処理に移行する。
【００６２】
ステップＳ１０４：ＣＰＵ２４は、認識部２４ａが認識したオブジェクトの取得処理を行なう。具体的には、ＣＰＵ２４は、友人Ｂ、Ｃの顔画像Ｂ１、Ｃ１をＲＡＭ１３に一時的に記録する。
【００６３】
ステップＳ１０５：ＣＰＵ２４の撮影制御部２４ｃは、撮影の指示入力の有無を判定する。具体的には、レリーズ釦２１が撮影の指示入力を受け付けた場合（ステップＳ１０５：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ１０６の処理に移行する。レリーズ釦２１が撮影の指示入力を受け付けていない場合（ステップＳ１０５：Ｎｏ）、ＣＰＵ２４は、ステップＳ１０２の処理に戻る。そして、ＣＰＵ２４は、レリーズ釦２１が撮影の指示入力を受け付けるまで、ステップＳ１０２からステップＳ１０５の処理を繰り返す。
【００６４】
ここで、図４（２）に示す通り、撮影者Ｅが電子カメラ１の向きを変えて友人Ａに向けたとする。すると、ＣＰＵ２４の表示制御部２４ｂは、表示モニタ１７の画面上で友人Ａが映っているスルー画像に、認識部２４ａが認識した顔画像Ｂ1、Ｃ１を重畳表示させる（図４（６）参照）。なお、表示制御部２４ｂは、スルー画像の主要被写体（友人Ｃ）に顔画像Ｂ１、Ｃ１が重ならないように重畳表示させることが好ましい。続いて、認識部２４ａは、スルー画像から友人Ａの顔をオブジェクトとして認識する（ステップＳ１０２）。友人Ａは、新規なオブジェクトであるため（ステップＳ１０３：Ｙｅｓ）、ＣＰＵ２４は、オブジェクトの取得処理を行なう（ステップＳ１０４）。
【００６５】
続いて、図４（３）に示す通り、撮影者Ｅが電子カメラ１の向きを変えて友人Ｄに向けたとする。すると、ＣＰＵ２４の表示制御部２４ｂは、表示モニタ１７の画面上で友人Ｄが映っているスルー画像に、認識部２４ａが認識した顔画像Ｂ1、Ｃ１及びＡ１を重畳表示させる（図４（７）参照）。続いて、認識部２４ａは、スルー画像から友人Ｄの顔をオブジェクトとして認識する（ステップＳ１０２）。友人Ｄは、新規なオブジェクトであるため（ステップＳ１０３：Ｙｅｓ）、ＣＰＵ２４は、オブジェクトの取得処理を行なう（ステップＳ１０４）。
【００６６】
次に、図４（４）に示す通り、撮影者Ｅが電子カメラ１を再度友人Ｂ、Ｃに向けたとする。すると、ＣＰＵ２４の表示制御部２４ｂは、表示モニタ１７の画面上で友人Ｂ、Ｃが映っているスルー画像に、認識部２４ａが認識した顔画像Ｂ1、Ｃ１、Ａ１及びＤ１を重畳表示させる。ここで、認識部２４ａは、既に友人Ｂ、Ｃをオブジェクトと認識しているので、ＣＰＵ２４は、ステップＳ１０４の処理をスキップしてステップＳ１０５の処理に移行する。そして、レリーズ釦２１が撮影の指示入力を受け付けた場合（ステップＳ１０５：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ１０６の処理に移行する。
【００６７】
ステップＳ１０６：撮影制御部２４ｃは、撮影処理を行なう。具体的には、撮影制御部２４ｃは、半押し操作の指示入力により、絞り値、撮像素子１１での電荷蓄積時間（シャッタスピード）、信号処理部１２のゲイン（ＩＳＯ感度）等の撮影パラメータをそれぞれ設定する。その後、ＣＰＵ２４は、全押し操作の指示入力により、撮像素子１１を駆動してアナログの画像信号を生成させる。信号処理部１２は、アナログの画像信号のＡ／Ｄ変換等を行なう。この信号処理部１２が出力するデジタルの画像信号は、ＲＡＭ１３に記録用の画像データとして一旦記録される。そして、画像処理部１４は、ＲＡＭ１３に記録されている画像データを読み出し、必要に応じて各種の画像処理（例えば、階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。
【００６８】
ステップＳ１０７：ＣＰＵ２４の記録処理部２４ｄは、記録処理を行なう。具体的には、記録処理部２４ｄは、ステップＳ１０６の処理が施された撮影画像とオブジェクトとを関連付けて記録する。この場合、記録処理部２４ｄは、撮影画像の一部領域にオブジェクトの情報を組み込むことにより、記録する。具体的には、記録処理部２４ｄは、撮影画像の一部領域にオブジェクトの情報を合成する、若しくは撮影画像のタグ情報にオブジェクト情報を追加することで、撮影画像とオブジェクト情報とを関連付けて記録する。
【００６９】
図５は、撮影画像の一例を示す図である。なお、図４（８）に示した顔画像Ａ１、Ｂ１、Ｃ１及びＤ１のうち、顔画像Ｂ１及びＣ１は、撮影対象である。そこで、記録処理部２４ｄは、画像処理部１４に指示を出して、顔画像Ｂ１及びＣ１を除く、顔画像Ａ１及びＤ１を撮影画像に合成させる（図５（ａ）参照）。この場合、画像処理部１４は、撮影画像の主要被写体（友人Ｂ、Ｃ）に顔画像Ａ1、Ｄ１が重ならないように合成する。
【００７０】
そして、ＣＰＵ２４は、記録Ｉ／Ｆ部１６を介して、撮影画像を記録媒体３０に記録する。これにより、オブジェクトの情報が撮影画像に関連付けられる。したがって、図５（ａ）に示すような撮影画像であれば、撮影者は、いっしょに行った友人を視覚的に思い出しやすくなる。
【００７１】
なお、記録処理部２４ｄは、画像処理部１４に指示を出して、顔画像Ｂ１、Ｃ１、Ａ１及びＤ１を撮影画像に合成させても良い（図５（ｂ）参照）。
【００７２】
或いは、撮影画像がＥｘｉｆ（Exchangeable Image File Format）形式の画像ファイルの場合、記録処理部２４ｄは、オブジェクトを画像ファイルに記録しても良い。
【００７３】
図６は、Ｅｘｉｆ形式の画像ファイルの一例を示す図である。図６では、Ｅｘｉｆ形式の画像ファイルにオブジェクト（例えば顔画像）を登録した例を示す。図６に示す通り、Ｅｘｉｆ形式の画像ファイルは、例えば、画素数、圧縮モードの種類、撮影日時、機種名、・・・、メーカーノート、サムネイル、撮影画像及びオブジェクト（例えば顔画像）等の領域が構成される。サムネイルは、主画像よりもデータ量の少ない縮小画像（一例として160×120画素）である。撮影画像は、撮像素子１１が生成した記録用の画像である。オブジェクトは、記録処理部２４ｄにより撮影画像に関連付けられる画像である。これにより、図６に示すようなＥｘｉｆ形式の画像ファイルであれば、表示制御部２４ｂは、撮影者の選択入力に応じて画像再生時にオブジェクトが組み込まれていない撮影画像を表示させたり、オブジェクトが組み込まれた撮影画像（図５（ａ）参照）を合成して表示させたりすることができる。
【００７４】
ＣＰＵ２４は、ステップＳ１０７の処理を終了すると、図３に示すフローの処理を終了させる。
【００７５】
以上より、電子カメラ１は、スルー画像を解析して、スルー画像内に含まれるオブジェクトを認識する。そのため、電子カメラ１では、例えば、撮影画像を写す向きと異なる撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象（オブジェクト）の情報についてスルー画像を解析することにより撮影画像に容易に関連付けることができる。したがって、撮影者は、関連付けモードで撮影した撮影画像を後日（例えば数年後）になって確認した時、誰と旅行へ行ったのかグループ全員を容易に思い出すことができる。
【００７６】
なお、図４（４）の状態で友人Ａ、Ｄが移動して、友人Ａ、Ｂ、C及びＤが構図内に収まった場合には、構図内に収まらないオブジェクトが存在しないので、表示制御部２４ｂは、顔画像の重畳表示を行なうのをやめるようにしても良い。
【００７７】
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態では、認識部２４ａがスルー画像を解析してオブジェクトを認識した。第２実施形態では、ユーザ入力によりオブジェクトを選択して認識できる機能をさらに追加する。これにより、認識部２４ａは、オブジェクトの認識の手段を拡張することができる。
【００７８】
図７は、第２実施形態における電子カメラ１の動作の一例を示すフローチャートである。図８は、第２実施形態における電子カメラ１の動作の一例を説明する図である。図８（１）〜（５）は、図４と同様、撮影手順を模式的に示している。図８（６）〜（１０）は、図４と同様、電子カメラ１の向きに応じて表示モニタ１７に表示されたスルー画像を各々対応付けて描いている。
【００７９】
説明をわかりやすくするため、第１実施形態と同様、５人の友人（Ａ、B、Ｃ、D、Ｅ）と旅行に行った場面を想定する。但し、５人の友人とは関係ない他人Ｘが撮影エリア３１内にいることとする。ここで、撮影者Ｅは、友人Ｂ、Ｃを撮影したいと考えている。さらに、撮影画像の構図内に収まらない友人Ａ、Ｄの近くの位置する木Ｔの情報も残したいと考えている。なお、撮影者Ｅは、友人Ｄについては、情報をあえて残さなくても良いと考えている。また、撮影者Ｅは、友人Ａの隣にいる他人Ｘの情報は残したくないと考えている。つまり、本実施形態では、撮影画像の構図内に収まらない友人を全て情報として残すのではなく、撮影者の視点で残したい情報を選択することができる。
【００８０】
以下の動作例では、第１実施形態と同様、ＣＰＵ２４は、メニュー画面にて関連付けモードの選択入力を受け付けると、撮影制御部２４ｃは、スルー画像の撮影を開始する。そして、ＣＰＵ２４は、図７に示すフローの処理を開始する。
【００８１】
ステップＳ２０１：表示制御部２４ｂは、ライブビュー表示を開始させる。そして、ＣＰＵ２４は、ステップＳ２０２の処理に移行する。図８（１）では、撮影者Ｅは、電子カメラ１を友人Ｂ、Ｃに向けた状態を表している。したがって、表示モニタ１７には、友人Ｂ、Ｃがスルー画像として映っている（図８（６）参照）。ここで、撮影者Ｅは、電子カメラ１の向きを変えて友人Ａに向けたとする（図８（２）参照）。
【００８２】
ステップＳ２０２：ＣＰＵ２４は、オブジェクトの選択の指示入力の有無を判定する。ここで、撮影者Ｅは、撮影対象の友人Ｂ、Ｃの構図に収まらない周辺のオブジェクトをタッチパネル１９の操作で選択することができる。オブジェクトの選択の指示入力を受け付けていない場合（ステップＳ２０２：Ｎｏ）、ＣＰＵ２４は、ステップＳ２０２の処理を繰り返し、オブジェクトの選択の指示入力の待ち状態となる。一方、オブジェクトの選択の指示入力を受け付けた場合（ステップＳ２０２：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ２０３の処理に移行する。
【００８３】
ステップＳ２０３：認識部２４ａは、オブジェクトの認識処理を行なう。ここで、図８（７）に示す通り、表示モニタ１７には、友人Ａと他人Ｘとが表示されている。この状態下で、ＣＰＵ２４は、撮影者Ｅの指Ｆがタッチパネル１９に触れることにより、オブジェクトの選択入力を受け付ける。
【００８４】
ＣＰＵ２４は、タッチパネル１９からの信号を受信し、指先の位置情報をスルー画像内の位置に対応させて検出する。なお、撮影者Ｅは指Ｆで選択したいオブジェクトの領域を指で囲むようにしても良い。
【００８５】
認識部２４ａは、指先の位置情報に基づいて、スルー画像を解析してオブジェクトを認識する。或いは、認識部２４ａは、指先で囲まれた範囲の領域をオブジェクトとして認識する。そして、ＣＰＵ２４は、ステップＳ２０４の処理に移行する。
【００８６】
ステップＳ２０４：記録処理部２４ｄは、オブジェクトの登録処理を行なう。具体的には、先ず、ＣＰＵ２４は、タッチパネル１９を介して認識部２４ａが認識した友人Ａのオブジェクト（例えば人物画像）をスルー画像から抽出する。続いて、記録処理部２４ｄは、そのオブジェクトをフラッシュメモリ１５のデータベース１５ａに記録する。これにより、オブジェクトが一旦データベース１５ａに登録される。そして、ＣＰＵ２４は、ステップＳ２０５の処理に移行する。
【００８７】
ステップＳ２０５：表示制御部２４ｂは、オブジェクトの表示処理を行なう。具体的には、表示制御部２４ｂは、図８（８）に示す通り、表示モニタ１７の画面右下に相当するスルー画像の領域に友人Ａの人物画像（縮小画像）Ａ２を重畳表示させる。そして、ＣＰＵ２４は、ステップＳ２０６の処理に移行する。
【００８８】
ステップＳ２０６：ＣＰＵ２４は、オブジェクトの選択終了の指示入力の有無を判定する。オブジェクトの選択終了の指示入力を受け付けていない場合（ステップＳ２０６：Ｎｏ）、ＣＰＵ２４は、ステップＳ２０２の処理に戻り、オブジェクトの選択の指示入力の待ち状態に移行し、再度ステップＳ２０２からステップＳ２０６の処理を繰り返す。
そして、ＣＰＵ２４は、オブジェクトの選択終了の指示入力を受け付けるまで、ステップＳ２０２からステップＳ２０６の処理を繰り返す。
【００８９】
ここで、図８（４）に示す通り、撮影者Ｅが電子カメラ１の向きを変えて、木Ｔに向けたとする。そして、ＣＰＵ２４は、撮影者Ｅの指Ｆがタッチパネル１９に触れることにより、オブジェクトとして木Ｔの選択入力を受け付ける（ステップＳ２０２：Ｙｅｓ）。すると、認識部２４ａは、木Ｔの認識処理を行なう（ステップＳ２０３）。続いて、記録処理部２４ｄは、木Ｔの登録処理を行なう（ステップＳ２０４）。さらに、表示制御部２４ｂは、木Ｔの画像Ｔ１の表示処理を行なう（ステップＳ２０５）。具体的には、表示制御部２４ｂは、図８（９）に示す通り、表示モニタ１７の画面右下に相当するスルー画像の領域に友人Ａの人物画像Ａ２及び木Ｔの画像Ｔ１を重畳表示させる。
【００９０】
そして、オブジェクトの選択終了の指示入力を受け付けた場合（ステップＳ２０６：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ２０７の処理に移行する。
【００９１】
ステップＳ２０７：ＣＰＵ２４は、撮影の指示入力の有無を判定する。具体的には、レリーズ釦２１が撮影の指示入力を受け付けていない場合（ステップＳ２０７：Ｎｏ）、ＣＰＵ２４は、ステップＳ２０７の処理を繰り返して、撮影の指示入力の待ち状態となる。図８（５）では、撮影者Ｅが電子カメラ１の向きを変えて、撮影対象である友人Ｂ、Ｃに電子カメラ１を向けた状態を示している。この際、表示制御部２４ｂは、表示モニタ１７の画面右側に相当するスルー画像の領域に友人Ａの人物画像Ａ２及び木Ｔの画像Ｔ１を重畳表示させる。
【００９２】
この状態で、レリーズ釦２１が撮影の指示入力を受け付けた場合（ステップＳ２０７：Ｙｅｓ）、ＣＰＵ２４は、ステップＳ２０８の処理に移行する。
【００９３】
ステップＳ２０８：撮影制御部２４ｃは、撮影処理を行なう。ここで、撮影制御部２４ｃは、図３のステップＳ１０６と同様の撮影処理を行なうため、説明を省略する。そして、ステップＳ２０９の処理に移行する。
【００９４】
ステップＳ２０９：記録処理部２４ｄは、記録処理を行なう。具体的には、記録処理部２４ｄは、ステップＳ２０８の処理が施された撮影画像とデータベース１５ａに登録されたオブジェクト（図８（１０）に示す人物画像Ａ２及び木Ｔの画像Ｔ１）とを関連付けて記録する。ここで、記録処理部２４ｄは、例えば、第１実施形態の図３のステップＳ１０７で説明した通り、撮影画像のＥｘｉｆ形式の画像ファイルにオブジェクトの情報を関連付けて記録する。つまり、第２実施形態における記録処理部２４ｄは、データベース１５ａにオブジェクトを登録し、そのオブジェクトを撮影画像に記録する。そして、ＣＰＵ２４は、ステップＳ２０９の処理を終了すると、図７に示すフローの処理を終了させる。
【００９５】
以上より、電子カメラ１は、ユーザ入力によりオブジェクトを選択的に登録できるので、構図内に収まらない特定の対象（オブジェクト）を選択的に撮影画像に関連付けることができる。また、電子カメラ１は、ユーザ入力により人物以外のオブジェクト（例えば、木等）も容易に登録できる。つまり、第２実施形態では、必要に応じて撮影者が意図したオブジェクトの情報のみを撮影画像に関連付けて記録できる。なお、第２実施形態では、ユーザ入力によりリアルタイムでオブジェクトを選択したが、撮影画像の撮影直後にオブジェクトの情報を一覧表示させて、ユーザ入力により選択するようにしても良い。
【００９６】
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、既に登録したオブジェクトの情報を管理する機能をさらに追加する。例えば、撮影者が関連付けモードで撮影した後、続けて関連付けモードで撮影したい場合が起こり得る。この場合、スルー画像撮影時にオブジェクト（例えば顔画像）の登録を再度やり直すのでは、二度手間になるという問題が生じる。そこで、第３実施形態では、この問題を解消する手段を提供する。
【００９７】
図９は、第３実施形態における電子カメラ１の動作の一例を説明する図である。図１０は、第３実施形態における撮影画像の一例を示す図である。
【００９８】
ここで、撮影者Ｅが、図４（４）に示すように電子カメラ１を向けた場合、表示制御部２４ｂは、図４（８）で示す通り、表示モニタ１７の画面上でスルー画像に顔画像Ａ１、Ｂ１、Ｃ１及びＤ１を重畳表示させる。この状態で、ＣＰＵ２４の記録処理部２４ｄは、顔画像Ａ１、Ｂ１、Ｃ１及びＤ１をデータベース１５ａに登録する。そして、撮影者Ｅがレリーズ釦２１を押下すると、撮影制御部２４ｃは、撮影画像を記録する。
【００９９】
ここで、説明をわかりやすくするため、図９（１）は、図４（８）に示した構図で撮影された後のスルー画像を示している。なお、図９では、図４と比較して、撮影エリア３１内の図を省略して、電子カメラ１に矢印を重畳させた表記により、電子カメラ１の向きを示している。
【０１００】
図９（１）において、表示制御部２４ｂは、表示Ｉ／Ｆ部１８を介して、表示モニタ１７の画面右側に相当するスルー画像の領域に顔画像Ａ１、Ｂ１、Ｃ１及びＤ１を重畳表示させる。また、認識部２４ａは、顔認識処理により現在のスルー画像内の顔を認識する。そして、表示制御部２４ｂは、図９（１）に示す通り、現在スルー画像に映っている顔画像Ｂ１、Ｃ１を特定の色（例えば薄いグレー）でさらに重畳表示させる（以下「グレーアウト表示」という。）。これにより、撮影者Ｅは、この構図で撮影画像を撮影した場合、顔画像Ａ１、Ｄ１が撮影画像に関連付けられることを知ることができる。
【０１０１】
つまり、表示制御部２４ｂは、データベース１５ａから顔画像Ａ１、Ｂ１、Ｃ１及びＤ１を読み出して、スルー画像に重畳表示させる。これにより、記録処理部２４ｄは、オブジェクトの登録を再度する手間を省くことができる。
【０１０２】
そして、撮影者Ｅが電子カメラ１を友人Ａに向けると、表示制御部２４ｂは、表示モニタ１７に友人Ａの顔画像Ａ１をグレーアウト表示させる。撮影制御部２４ｃは、この構図で撮影者Ｅからの撮影の指示入力を受け付けると、撮影処理を行なう。図１０（ａ）に示す撮影画像は、図９（２）に示す構図で撮影されたことを示しており、グレーアウト表示された顔画像Ａ１は、撮影画像に組み込まれないこととなる。
【０１０３】
また、撮影者Ｅが電子カメラ１を友人Ｄに向けると、表示制御部２４ｂは、表示モニタ１７に友人Ｄの顔画像Ｄ１をグレーアウト表示させる。撮影制御部２４ｃは、この構図で撮影者Ｅからの撮影の指示入力を受け付けると、撮影処理を行なう。図１０（ｂ）に示す撮影画像は、図９（３）に示す構図で撮影されたことを示しており、グレーアウト表示された顔画像Ｄ１は、撮影画像に組み込まれないこととなる。
【０１０４】
このようにして、表示制御部２４ｂがグレーアウト表示を行なうことにより、撮影者Ｅは、撮影場所の周辺に存在しているにも拘らず、構図内に存在しない人物の存在について視覚的にわかりやすくなる。また、本実施形態では、スルー画像撮影時にオブジェクトの登録を再度やり直す必要がなくなり、例えば構図内に存在しない人物のみを撮影画像の画像ファイルに関連付けて登録できる。
【０１０５】
次に、オブジェクトの情報を管理する機能として、撮影者Ｅが構図内に存在しない特定の人物を削除する場合について説明する。例えば、撮影者Ｅが友人Ｄの登録を削除したい場合、その撮影者Ｅは、削除するモードにした上で表示モニタ１７の画面上の顔画像Ｄ１の領域を指Ｆでタッチすれば良い。これにより、ＣＰＵ２４は、タッチパネル１９を介してオブジェクト（顔画像Ｄ１）の削除の確認の指示入力を受け付ける（図９（４）参照）。
【０１０６】
そして、表示制御部２４ｂは、ホップアップメニューにより、一例として「削除しますか？」等のメッセージを表示モニタ１７に表示させる。撮影者Ｅが指Ｆで画面上の「OK」をタッチすることにより、ＣＰＵ２４は、タッチパネル１９を介してオブジェクト（顔画像Ｄ１）の削除の指示入力を受け付ける（図９（５）参照）。
【０１０７】
これにより、管理部２４ｈは、データベース１５ａに登録されていた友人Ｄのオブジェクト（顔画像Ｄ１）を削除する。すると、表示制御部２４ｂは、表示モニタ１７の画面右側に相当するスルー画像の領域に顔画像Ａ１、Ｂ１及びＣ１を重畳表示させる（図９（６）参照）。但し、友人Ｂ、Ｃが構図内に存在するので、表示制御部２４ｂは、顔画像Ｂ１、Ｃ１をグレーアウト表示させる。撮影制御部２４ｃは、この構図で撮影者Ｅからの撮影の指示入力を受け付けると、撮影処理を行なう。図１０（ｃ）に示す撮影画像は、図９（６）に示す構図で撮影されたことを示しており、グレーアウト表示された顔画像Ｂ１、Ｃ１は、撮影画像に組み込まれないこととなる。
【０１０８】
以上より、オブジェクトを管理する機能を用いることにより、撮影者Ｅは、撮影画像に関連付けるオブジェクトを容易に選択することができる。
【０１０９】
（第４実施形態）
次に、第４実施形態について説明する。第４実施形態では、電子カメラ１のフラッシュメモリ１５内のデータベース１５ａに予め照合用のオブジェクトの情報を登録しておく。そして、第４実施形態では、スルー画像、若しくはスルー画像に含まれる部分画像（例えば顔画像）とデータベース１５ａに登録された照合用のオブジェクトの情報とで照合を行なう。ここで、認識部２４ａは、第１照合部２４ｅの照合結果に応じて、スルー画像、若しくはスルー画像に含まれる部分画像が認識対象となるオブジェクトであると認識する。
【０１１０】
そして、記録処理部２４ｄは、認識部２４ａが認識したオブジェクトの情報を撮影画像と関連付ける。第４実施形態では、特定のオブジェクトの情報のみを撮影画像に関連付けることができる。
【０１１１】
具体的に説明すると、部分画像（例えば顔画像）に含まれるオブジェクトがデータベース１５ａに登録されている場合、例えばオブジェクトの認識方法として、データベース１５ａにオブジェクトの情報を示す特徴量が登録されており、第１照合部２４ｅは、この特徴量とスルー画像に含まれる部分画像とで照合を行なう。
【０１１２】
比較の結果、ある閾値以上一致していると、認識部２４ａは、スルー画像に含まれる部分画像を認識対象となるオブジェクトと認識する。そして記録処理部２４ｄは、撮影画像に認識部２４ａが認識したオブジェクトの情報を関連付ける。
【０１１３】
ここで、第１照合部２４ｅでは、データベース１５aに登録された特徴量とスルー画像との照合を、スルー画像全体で行っても良いし、またスルー画像の一部分のみと照合させても良い。すなわち、予めスルー画像から顔検出などの公知の技術を用いて顔画像を抽出しておき、第１照合部２４ｅでは、その顔画像とデータベース１５ａに登録された顔画像とで照合を行っても良い。このようにスルー画像の一部分を抽出することで、照合処理の処理負荷を下げることができる。
【０１１４】
一方、スルー画像、若しくは部分画像（例えば顔画像）に含まれるオブジェクトがデータベース１５ａに登録されていない（比較の結果、ある閾値以上一致していない）場合、認識部２４ａは、オブジェクトの認識を行わない。すなわち記録処理部２４ｄは、撮影画像にオブジェクトの情報との関連付けを行なわない。
【０１１５】
したがって、第４実施形態では、ユーザ入力を必要とせずに構図内に収まらない特定のオブジェクトの情報を選択的に撮影画像に関連付けることができる。
【０１１６】
また、データベース１５ａには、オブジェクトに対応する名前を予め登録しても良い。置換部２４ｇは、第１照合部２４ｅの照合結果に応じて、オブジェクトをそのオブジェクトに対応する名前（文字列）に置き換える。
【０１１７】
図１１は、第４実施形態における電子カメラ１の動作の一例を説明する図である。図１１（ａ）では、例えば、図９（１）に示した構図のスルー画像を表示モニタ１７に表示している状態を表している。なお、上記の実施形態では、ライブビュー表示において、オブジェクトをスルー画像内に重畳表示していたが、表示制御部２４ｂによる表示態様は、このような重畳表示に限定されない。表示制御部２４ｂは、図１１（ａ）に示す通り、スルー画像の表示部分とは別のエリアにオブジェクトを表示するようにしても良い。
【０１１８】
ここで、撮影者Ｅが電子カメラ１を友人Ａに向けた後、その撮影者Ｅは、十字ボタン２０ｅを操作することにより、オブジェクトの表示態様として顔画像の表示をその顔画像に対応する名前（文字列）の表示に置換する指示入力を行なっても良い。
【０１１９】
この場合、ＣＰＵ２４がその指示入力を受け付けると、第１照合部２４ｅは、データベース１５ａから、顔画像Ａ１、Ｂ１、Ｃ１及びＤ１のそれぞれの名前を照合する。そして、第１照合部２４ｅがそれぞれの名前を照合できた場合、置換部２４ｇは、顔画像Ａ１、Ｂ１、Ｃ１及びＤ１に対して、各々対応する名前に置換する。
【０１２０】
続いて、表示制御部２４ｂは、図１１（ｂ）に示す通り、各々の顔画像に対応する名前を表示モニタ１７に表示させる。この場合、表示制御部２４ｂは、スルー画像内に友人Ａが映っているので、文字列「Ａさん」をグレーアウト表示する。これにより、記録処理部２４ｄは、撮影画像に友人B、C及びＤの名前を関連付けて記録することができる。
【０１２１】
なお、撮影画像がＥｘｉｆ形式の画像ファイルの場合、記録処理部２４ｄは、友人の名前を顔画像に対応付けて、その名前のテキストデータをメーカーノートの領域に登録しても良い。また、記録処理部２４ｄは、顔画像も併せて記録するようにしても良い。
【０１２２】
以上より、第４実施形態では、第１照合部２４ｅがデータベース１５ａでオブジェクトの情報を照合することにより、ユーザ入力を必要とせずにオブジェクトの情報を選択的に撮影画像に関連付けできたり、ユーザ入力に応じてオブジェクトの表示態様を画像から文字列に置換したりすることができる。
【０１２３】
（第５実施形態）
次に、第５実施形態について説明する。上述した第４実施形態では、電子カメラ１のフラッシュメモリ１５内のデータベース１５ａに予め照合用のオブジェクトの情報を登録していたが、第５実施形態では、照合用のオブジェクトの情報を外部サーバのデータベースに登録して利用する点が異なる。そこで、第５実施形態では、外部サーバを利用する照合システムを採用する。
【０１２４】
図１２は、第５実施形態の照合システムの構成例を説明する図である。照合システムでは、電子カメラ１と、無線ＬＡＮ（Local Area Network）装置４０、インターネット網４１、外部サーバ５０とで構成される。
【０１２５】
外部サーバ５０は、一般のサーバコンピュータに適用可能であり、ＣＰＵ、データ処理の作業用のＲＡＭ、ＯＳ（オペレーティングシステム）プログラム等を記録するフラッシュメモリ、各種データを記憶する記憶装置（例えばハードディスクドライブ（Hard Disc Drive）装置）、電子カメラ１とインターネット網４１を介して通信するための通信手段等を備えていれば良い（図示省略）。
【０１２６】
さらに、外部サーバ５０は、記憶装置に本実施形態のデータベース５０ａがインストールされる。データベース５０ａは、電子カメラ１内のデータベース１５ａと同様の構成である。図１２に示す外部サーバ５０には、説明の便宜上、データベース５０ａのみ描かれている。なお、外部サーバ５０のＣＰＵは、電子カメラ１側からの指示に基づいて、データベース５０ａのデータ処理を行なう。
【０１２７】
電子カメラ１の通信Ｉ／Ｆ部２２は、アンテナ２２ａを介して無線通信により無線ＬＡＮ装置４０を経由してインターネット網４１に接続し、外部サーバ５０と通信を行なう。
【０１２８】
第２照合部２４ｆは、上述した通り、通信Ｉ／Ｆ部２２を介して、撮影画像に含まれる部分画像とデータベース５０ａに登録された照合用のオブジェクトの情報とを照合させる。認識部２４ａは、第２照合部２４ｆの照合結果に応じて、オブジェクトを認識する。
【０１２９】
なお、照合の仕方は、第４実施形態と同様、部分画像（例えば顔画像）に含まれるオブジェクトがデータベース５０ａに登録されている場合、例えばオブジェクトの認識方法として、データベース５０ａにオブジェクトの情報を示す特徴量が登録されており、第２照合部２４ｆは、この特徴量とスルー画像に含まれる部分画像とで照合を行なう。
【０１３０】
比較の結果、ある閾値以上一致していると、認識部２４ａは、第４実施形態と同様、スルー画像に含まれる部分画像を認識対象となるオブジェクトと認識する。そして記録処理部２４ｄは、撮影画像に認識部２４ａが認識したオブジェクトの情報を関連付ける。
【０１３１】
ここで、第２照合部２４ｆでは、データベース５０aに登録された特徴量とスルー画像との照合を、スルー画像全体で行っても良いし、またスルー画像の一部分のみと照合させても良い。なお、詳細については、上述した第１照合部２４ｅの処理と同様であるので、説明を省略する。
【０１３２】
一方、スルー画像、若しくは部分画像（例えば顔画像）に含まれるオブジェクトがデータベース５０ａに登録されていない（比較の結果、ある閾値以上一致していない）場合、認識部２４ａは、オブジェクトの認識を行わない。すなわち記録処理部２４ｄは、撮影画像にオブジェクトの情報との関連付けを行なわない。
【０１３３】
したがって、第５実施形態では、外部サーバ５０を利用することにより、ユーザ入力を必要とせずに構図内に収まらない特定のオブジェクトの情報を選択的に撮影画像に関連付けることができる。
【０１３４】
また、データベース５０ａには、データベース１５ａと同様にしてオブジェクト（例えば顔画像）に対応する名前が予め登録されていても良い。置換部２４ｇは、第２照合部２４ｆの照合結果に応じて、オブジェクトをそのオブジェクトに対応する名前（文字列）に置き換える。これにより、記録処理部２４ｄは、撮影画像と名前とを関連付けて記録することができる。
【０１３５】
以上より、第５実施形態では、第２照合部２４ｆが外部サーバ５０のデータベース５０ａを利用してオブジェクトの情報を照合する。これにより、第５実施形態では、ユーザ入力を必要とせずにオブジェクトの情報を選択的に撮影画像に関連付けできたり、ユーザ入力に応じてオブジェクトの情報の表示態様を画像から文字列に置換したりすることができる。
【０１３６】
（第６実施形態）
次に、第６実施形態について説明する。第６実施形態では、ＣＰＵ２４の管理部２４ｈは、記録処理部２４ｄが登録した少なくとも一つ以上のオブジェクトの情報を管理する管理機能をさらに備える。例えば、管理部２４ｈは、以下に説明する通り、オブジェクトの情報をグループとして管理することができる。
【０１３７】
図１３は、データベース１５ａ内に登録されているグループの一例を示す概念図である。記録処理部２４ｄは、認識部２４ａが認識したオブジェクトをグループとして登録するため、一例として撮影の際に、認識しているオブジェクトをグループとしてデータベース１５ａに記録して行く。これにより、記録処理部２４ｄは、撮影日時に関連付けて、オブジェクトのグループを登録することができる。ここで、記録処理部２４ｄは、記録領域を効率よく利用するために今回登録するグループのオブジェクトが前回登録したグループのオブジェクトと同一の場合は、今回の登録をキャンセルしても良い。
【０１３８】
なお、本実施形態では、登録したオブジェクトを、外部サーバ５０のデータベース５０ａに転送するようにしても良い。
【０１３９】
或いは、グループの単位は、ある一つのイベント（XX旅行、YY食事会等）であって、ユーザがタッチパネル１９を介して手動（マニュアル操作）でグループを作成するようにしても良い。具体的には、ユーザがカメラメニューのグループ登録を選択すると、表示制御部２４ｂは、表示モニタ１７に、「現在の認識しているオブジェクトをグループ登録しますか？」等のメッセージを表示させる。ここで、ユーザが「ＹＥＳ」を選択すると、記録処理部２４ｄは、現在の認識しているオブジェクトをグループとしてデータベース１５ａ内に登録する。
【０１４０】
なお、自動でグループを作成する場合、電子カメラ１では、ある一つのイベントの開始／終了を自動認識して、イベント終了時に現在の認識しているオブジェクトをグルーピングするようにしても良い。
【０１４１】
説明をわかりやすくするため、例えば、図１１（ａ）に示す構図の場合、管理部２４ｈは、認識部２４ａが現在認識しているオブジェクトが含まれる特定のグループをデータベース１５ａから自動的に読み出す。この場合、スルー画像には、友人Ｂ、Ｃが映っているので、管理部２４ｈは、友人Ｂ、Ｃを含むグループをデータベース１５ａから読み出す。なお、管理部２４ｈは、ユーザ入力により指定された特定のグループをデータベース１５ａから読み出しても良い。
【０１４２】
そして、表示制御部２４ｂは、一旦画面表示を切り替えて、例えば第１乃至第３グループのオブジェクトを表示モニタ１７に表示させる。表示制御部２４ｂは、特定のグループのオブジェクトを表示モニタ１７に表示させるため、撮影者Ｅは、関連付けしたいオブジェクトを容易に探すことができる。
【０１４３】
図１４は、表示モニタ１７に表示されたグループの一例を示す図である。ここで、撮影者Ｅは、友人Ａ、Ｄを撮影画像に関連付けたいのであれば、第１グループを選択すれば良い。
【０１４４】
以上より、第６実施形態では、グループ管理の機能を利用することにより、撮影者Ｅの意図に従って、撮影画像にオブジェクトの情報を関連付けることができる。なお、管理部２４ｈは、ユーザ入力に応じて、グループの新規作成、読み出し、編集、又は削除を行なっても良い。
【０１４５】
（実施形態の補足事項）
（１）上記の実施形態では、本発明の適用可能な撮像装置として、コンパクト方式の電子カメラを例示したが、この方式の電子カメラに限られない。本発明の適用可能な撮像装置は、例えば、一眼レフ方式の電子カメラやミラーレス方式の一眼の電子カメラが含まれる。また、本発明の適用可能な撮像装置は、カメラ機能を備えた携帯電話機、携帯情報端末（ＰＤＡ:Personal Digital Assistant）も含まれる。また、電子カメラ機能を備えた携帯電話機の場合、外部サーバ５０との通信は、携帯電話の基地局を介してインターネット網４１に接続する構成とすれば良い。
【０１４６】
（２）上記の実施形態では、撮影画像の一例として、図５や図１０に示すように、撮影画像の構図内にオブジェクト（顔画像）を重畳させるようにして合成したが、合成の仕方は、これに限られない。以下、図１５において、撮影画像の他の表示態様を例示する。
【０１４７】
図１５は、撮影画像の他の表示態様を例示した図である。図１５では、関連付けモードで撮影して記録したＥｘｉｆ形式の画像ファイルを、表示モニタ１７に再生した状態を表している。図１５（ａ）では、撮影画像とは別エリアに登録済のオブジェクト（顔画像）が合成されている。図１５（ｂ）では、撮影画像とは別エリアに登録済のオブジェクトに対応する名前（文字列）が合成されている。図１５（ｃ）では、撮影画像内の一部エリアに登録済のオブジェクトに対応する名前（文字列）が重畳表示されている。
【０１４８】
以上より、撮影画像の表示態様は、例えば撮影者がメニュー画面で選択することにより、様々なバリエーションにすることができる。
【０１４９】
（３）上記の実施形態に加えて、関連付けモードにおいて、方位角を検出しながらスルー画像の撮影を行なった後に撮影画像を撮影しても良い。ここで、関連付けモードの下位の設定モードとして、方位角検出モードを追加する。
【０１５０】
具体的には、方位角検出モードにおいて、ＣＰＵ２４は、方位センサ２３が出力する地磁気のデータに基づいて、電子カメラ１（撮影光学系１０の光軸）からオブジェクトへの向き（方位角）を検出する。そして、記録処理部２４ｄは、撮影画像とスルー画像内のオブジェクトの情報とを関連付けて記録する。さらに、記録処理部２４ｄは、オブジェクトの情報に方位角の情報を付加して記録する。これにより、構図内のオブジェクトと構図内に収まらないオブジェクトとの位置関係がわかる。したがって、表示制御部２４ｂは、例えば撮影画像を再生する際、方位角の情報に基づいて、オブジェクトの表示の仕方を変えることができる。以下、図１６を用いて、具体例を説明する。
【０１５１】
図１６は、方位角検出モードにおける撮影画像の再生処理を説明する図である。例えば、撮影者Ｅは、先ず、第１実施形態と同様にして、スルー画像の撮影を行なった後、撮影画像の撮影を行なう。この際、方位角を検出しながら、撮像制御部２４ｃはスルー画像の撮影を行なう。
【０１５２】
続いて、撮像制御部２４ｃは撮影画像の撮影を行なう。記録処理部２４ｄは、撮影画像とオブジェクトの情報とを関連付けて記録すると共に、そのオブジェクトの情報に方位角の情報を付加して記録する。
【０１５３】
図１６（ａ）は、撮影画像を表示モニタ１７に表示させた状態を示している。ここで、撮影者Ｅがタッチパネル１９の操作で指Ｆを左方向又は右方向に移動させると、表示制御部２４ｂは、タッチパネル１９の操作に応じて、撮影画像に関連付けられたオブジェクトを方位角の情報に基づいて読み出して表示モニタ１７に表示させる（図１６（ｂ）、（ｃ）参照）。これにより、撮影者Ｅは、撮影画像から見て、撮影画像に収まらなかった友人Ａ、Dの位置関係がわかる。
【０１５４】
さらに、表示制御部２４ｂは、撮影画像内にオブジェクトを表示させる際に、方位角の情報に基づいて、撮影画像内で表示させる位置を変えても良い。例えば、図１６（ａ）において、表示制御部２４ｂは、顔画像Ｄ１、Ａ１を撮影画像の右下側に重畳表示させているが、方位角の情報に基づいて、顔画像Ｄ１を撮影画像の右下側に、顔画像Ａ１を撮影画像の左下側に重畳表示させるようにしても良い。これにより、撮影者Ｅは、撮影画像内で、撮影画像に収まらなかった友人Ａ、Ｄの位置関係がわかる。
【０１５５】
或いは、図１６（ｂ）、（ｃ）において、友人Ｂと友人Ａとの距離が、友人Ｂと友人Ｄとの距離よりも短いとする。ここで、ＣＰＵ２４は、例えば方位角の情報に基づいて距離を推定しても良い。表示制御部２４ｂは、例えば、友人Ｂと友人Ａとの距離、友人Ｂと友人Ｄとの距離に応じて、撮影画像の構図から外れた仮想空間上での友人Ａのオブジェクトの情報、及び友人Ｄのオブジェクトの情報を表示モニタ１７上に配置しても良い。この場合、表示制御部２４ｂは、撮影画像の表示中に友人Ａのオブジェクトの情報を表示するために必要な指のスライド距離を、友人Ｄのオブジェクトの情報を表示するために必要な指のスライド距離よりも短くする。
【０１５６】
すなわち、タッチパネル１９上でユーザが指でなぞると、その指のスライド距離を例えば友人Ｂと友人Ａとの距離や友人Ｂと友人Ｄとの距離に対応付ける。これにより、例えば、ユーザが撮影画面に対して右方向に指で２回スクロール操作を行なうと、表示制御部２４ｂは、友人Ａのオブジェクトを表示モニタ１７に表示させ、ユーザが撮影画面に対して左方向に指で３回スクロール操作を行なうと、表示制御部２４ｂは、友人Ｄのオブジェクトを表示モニタ１７に表示させるようにしても良い。
【０１５７】
或いは、表示制御部２４ｂは、オブジェクトの情報をスライドインさせて表示モニタ１７上に表示させる際、オブジェクトの情報が表示モニタ１７上の所定位置に表示されるまでにかかる時間を距離に応じて変えるようにしても良い。例えば、友人Ｂと友人Ａとの距離が、友人Ｂと友人Ｄとの距離よりも短いとする。撮影画像の表示中（図１６（ａ））、ユーザ入力により、図２に示す十字ボタン２０ｅの左側のボタンが押されると、表示制御部２４ｂは、友人Ｄをスライドインさせて表示モニタ１７上の所定位置（例えば、図１６の表示モニタ１７上に表示される画像D１の位置）に表示させる。一方、撮影画像の表示中（図１６（ａ））、ユーザ入力により、図２に示す十字ボタン２０ｅの右側のボタンが押されると、表示制御部２４ｂは、友人Ａをスライドインさせて表示モニタ１７に表示させる。このスライドインによる表示において、表示制御部２４ｂは、友人Ｂと友人Ａとの距離が、友人Ｂと友人Ｄとの距離よりも短いので、十字ボタン２０ｅの右側のボタンが押されてから友人Ａが表示モニタ１７上の所定位置に表示されるまでにかかる時間は、十字ボタン２０ｅの左側のボタンが押されてから友人Ｄが表示モニタ１７上の所定位置に表示されるまでにかかる時間よりも早くしても良い。
【０１５８】
（４）上記の実施形態では、Ｅｘｉｆ形式の画像ファイルを例示したが、画像ファイルは、Ｅｘｉｆ形式の画像ファイルに限定されない。上記の実施形態では、撮影画像とオブジェクトとを関連付けて記録できる他の形式の画像ファイルであっても良い。
【符号の説明】
【０１５９】
１・・・電子カメラ、１１・・・撮像素子、２４ａ・・・認識部、２４ｃ・・・撮影制御部、２４ｄ・・・記録制御部
【図１】
2013229696.tif 000003
【図２】
2013229696.tif 000004
【図３】
2013229696.tif 000005
【図４】
2013229696.tif 000006
【図５】
2013229696.tif 000007
【図６】
2013229696.tif 000008
【図７】
2013229696.tif 000009
【図８】
2013229696.tif 000010
【図１０】
2013229696.tif 000011
【図１２】
2013229696.tif 000012
【図１３】
2013229696.tif 000013
【図１４】
2013229696.tif 000014
【図１６】
2013229696.tif 000015
【図９】
2013229696.tif 000016
【図１１】
2013229696.tif 000017
【図１５】
2013229696.tif 000018