(57)【要約】【課題】動画像で時間とともに主要被写体が変わっても主要被写体を正しく推定して主要被写体の情報を記録することが可能な画像記録装置、また、動画像中で時間とともに変化する主要被写体に対して効果的な画像処理を施して再生することが可能な画像再生装置、及びこれらを有する画像記録再生システムを提供すること。【解決手段】撮像素子１０４を介して動画像データを構成するフレームの撮像が完了する毎に、各フレームにおける主要被写体に関する情報が解析される。この解析結果に従って主要被写体に関する情報をフレーム毎に記録した被写体リストが生成される。被写体リストは、動画像データと関連付けて記録媒体１１２に記録される。【選択図】図１
2012191503.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを含む動画像データを取得する画像取得部と、
前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、
前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、
前記被写体リストを前記動画像データと関連付けて記録する記録部と、
を具備することを特徴とする画像記録装置。
【請求項２】
前記動画像データのそれぞれのフレームにおける被写体の顔を認識する顔認識部をさらに具備し、
前記被写体リストは、前記それぞれのフレームにおいて認識された被写体の顔の位置を示す情報を含むことを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記被写体リストは、前記それぞれのフレームにおいて認識された被写体の顔の位置が前記フレームの中央領域に位置していることを示す情報を含むことを特徴とする請求項２に記載の画像記録装置。
【請求項４】
前記被写体リストは、前記それぞれのフレームにおいて認識された被写体の顔に合焦しているか否かを示す情報を含むことを特徴とする請求項２又は３に記載の画像記録装置。
【請求項５】
前記被写体リスト生成部は、前記認識された被写体の顔が既に認識されている顔であるか否かを判定し、既に認識されている顔でない場合に、該既に認識されていない顔の画像を前記フレームから抽出し、
前記記録部は、前記抽出された顔の画像をさらに前記被写体リストと関連付けて記録することを特徴とする請求項２乃至４の何れか１項に記載の画像記録装置。
【請求項６】
複数のフレームを含む動画像データを取得する画像取得部と、
前記動画像データのそれぞれのフレーム毎に主要被写体に関する情報を記録した被写体リストを取得する被写体リスト取得部と、
前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、
前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、
前記演出付加処理を施した前記フレームを再生する再生制御部と、
を具備することを特徴とする画像再生装置。
【請求項７】
前記被写体リストには、前記それぞれのフレームにおける被写体の顔の位置の情報が記録されており、
前記主要被写体判別部は、前記被写体リストから前記それぞれのフレームにおける顔の位置を判別し、顔の位置が前記フレームの中央領域に位置している回数の多い被写体を主要被写体と判別することを特徴とする請求項６に記載の画像再生装置。
【請求項８】
前記被写体リストには、前記それぞれのフレームにおいて被写体の顔に合焦しているか否かを示す情報が記録されており、
前記主要被写体判別部は、前記被写体リストから前記それぞれのフレームにおける顔の合焦の有無を判別し、合焦している回数の多い被写体を主要被写体と判別することを特徴とする請求項６又は７に記載の画像再生装置。
【請求項９】
手動操作によって主要被写体を指定するための主要被写体指定部をさらに具備し、
前記主要被写体判別部は、前記主要被写体指定部によって指定された被写体を主要被写体と判別することを特徴とする請求項６に記載の画像再生装置。
【請求項１０】
前記画像処理部は、前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分を拡大する処理を行うことを特徴とする請求項６乃至９の何れか１項に記載の画像再生装置。
【請求項１１】
前記画像処理部は、前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分の輝度を上げて他の部分の輝度を下げる処理を行うことを特徴とする請求項６乃至９の何れか１項に記載の画像再生装置。
【請求項１２】
前記被写体リストには、前記それぞれのフレームにおいて被写体の顔に合焦しているか否かを示す情報が記録されており、
前記画像処理部は、前記被写体リストから前記それぞれのフレームにおける顔の合焦の有無を判別し、合焦している主要被写体には前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分を拡大する処理を行い、合焦していない主要被写体には前記演出付加処理として前記フレームにおける前記主要被写体と判別された部分の輝度を上げて他の部分の輝度を下げる処理を行うことを特徴とする請求項６乃至９の何れか１項に記載の画像再生装置。
【請求項１３】
複数のフレームを含む動画像データを取得する画像取得部と、
前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、
前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、
前記被写体リストを前記動画像データと関連付けて記録する記録部と、
前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、
前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、
前記演出付加処理を施した前記フレームを再生する再生制御部と、
を有することを特徴とする画像記録再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を記録する画像記録装置、動画像を再生する画像再生装置、及びこれらを有する画像記録再生システムに関する。
【背景技術】
【０００２】
従来、撮影時における主要被写体を検出する技術が知られている。例えば、特許文献１においては、撮影者の視線位置や画面内の肌色部分を検出することによって、撮影時における主要被写体の位置を検出している。特許文献１では、主要被写体の位置情報を記録しておくことにより、主要被写体の位置情報を再生時に利用することが可能である。例えば、特許文献１では、例えばラボによるプリント時に主要被写体の明るさを適正とするようにプリントすることが可能となる。また、主要被写体の位置情報を利用することにより、再生時において主要被写体に対して特殊な演出効果を与えることも可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−１５８１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影する画像が静止画像であれば、例えばＡＦ合焦ポイントから容易に主要被写体を推定することができる。これに対し、撮影する画像が動画像の場合には時間とともに主要被写体が変わる可能性がある。
本発明は、上記の事情に鑑みてなされたもので、動画像で時間とともに主要被写体が変わっても主要被写体を正しく推定して主要被写体の情報を記録することが可能な画像記録装置、また、動画像中で時間とともに変化する主要被写体に対して効果的な画像処理を施して再生することが可能な画像再生装置、及びこれらを有する画像記録再生システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の態様の画像記録装置は、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、前記被写体リストを前記動画像データと関連付けて記録する記録部と、を具備することを特徴とする。
【０００６】
また、上記の目的を達成するために、本発明の第２の態様の画像再生装置は、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレーム毎に主要被写体に関する情報を記録した被写体リストを取得する被写体リスト取得部と、前記被写体リストに従って主要被写体が出現するタイミングを前記フレーム毎に判別する主要被写体判別部と、前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、前記演出付加処理を施した前記フレームを再生する再生制御部と、を具備することを特徴とする。
【０００７】
また、上記の目的を達成するために、本発明の第３の態様の画像記録再生システムは、複数のフレームを含む動画像データを取得する画像取得部と、前記動画像データのそれぞれのフレームにおける主要被写体に関する情報を解析する画像解析部と、前記解析された主要被写体に関する情報をフレーム毎に記録した被写体リストを生成する被写体リスト生成部と、前記被写体リストを前記動画像データと関連付けて記録する記録部と、前記被写体リストに従って主要被写体が出現するか否かを前記フレーム毎に判別する主要被写体判別部と、前記主要被写体が出現したフレームにおいて前記主要被写体を強調するための演出付加処理を施す画像処理部と、前記演出付加処理を施した前記フレームを再生する再生制御部と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画像であっても時間とともに変化する主要被写体を正しく推定して主要被写体の情報を記録することが可能な画像記録装置、動画像中で時間とともに変化する主要被写体に対して効果的な画像処理を施して再生することが可能な画像再生装置、及びこれらを有する画像記録再生システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の各実施形態に係る画像記録装置及び画像再生装置を有する画像記録再生システムの一例としてのデジタルカメラの構成を示すブロック図である。
【図２】本発明の各実施形態に係るデジタルカメラの撮影モード時の動作を示すフローチャートである。
【図３】撮影動作の処理の詳細を示すフローチャートである。
【図４】画像ファイルの構造例を示す図である。
【図５】被写体リスト生成処理について示すフローチャートである。
【図６】被写体リストに記録する情報を示した図である。
【図７】被写体位置の領域分けの例を示す図である。
【図８】１回の動画撮影時に生成される被写体リストの例を示す図である。
【図９】本発明の各実施形態に係るデジタルカメラの再生モード時の動作を示すフローチャートである。
【図１０】本発明の第１の実施形態における動画再生モードの動作を示すフローチャートである。
【図１１】図１１（ａ）は演出付加処理を施さないように設定されている場合の第１の実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図であり、図１１（ｂ）はズームアップ処理を施す場合の第１の実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図であり、図１１（ｃ）は輝度変更処理を施す場合の第１の実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図である。
【図１２】スポットライト処理の例を示す図である。
【図１３】本発明の第２の実施形態における動画再生モードの動作を示すフローチャートである。
【図１４】顔画像サムネイルの選択画面の例を示す図である。
【図１５】本発明の第３の実施形態における動画再生モードの動作を示すフローチャートである。
【図１６】演出付加処理について示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］  
図１は、本発明の各実施形態に係る画像記録装置及び画像再生装置を有する画像記録再生システムの一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ（カメラ）は、レンズ１０１と、アクチュエータ１０２と、アクチュエータ駆動回路１０３と、撮像素子１０４と、撮像回路１０５と、フレームメモリ（ＳＤＲＡＭ）１０６と、表示駆動回路１０７と、表示パネル１０８と、バックライトユニット１０９と、映像信号出力回路１１０と、映像信号出力端子１１１と、記録媒体１１２と、発光回路（フラッシュ）１１３と、手ブレ補正用ジャイロセンサ１１４と、ステレオマイクロホン（ステレオマイク）１１５と、スピーカー１１６と、ＥＥＰＲＯＭ（ＦｌａｓｈＲＯＭ）１１７と、キーマトリクス１１８と、ＣＰＵ１１９と、電源回路１２０と、電池１２１と、電池状態検出回路１２２と、バックアップ電源１２３と、を有している。
【００１１】
レンズ１０１は、図示しない被写体の像（被写体像）を撮像素子１０４の受光面上に結像させるための光学系である。このレンズ１０１は、フォーカスレンズ及びズームレンズ等の複数のレンズや、絞りを有している。
アクチュエータ１０２は、モータ等を有し、アクチュエータ駆動回路１０３からの駆動信号に従ってレンズ１０１内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞りを開閉駆動させたりする。また、アクチュエータ１０２は、アクチュエータ駆動回路１０３からの駆動信号に従って、撮像素子１０４をその受光面と平行な平面内で移動させる。
【００１２】
撮像素子１０４は、フォトダイオード等で構成された受光面を有している。この撮像素子１０４は、レンズ１０１を介して受光面上に結像された被写体の像を電気信号（画像信号）に変換する。撮像素子の駆動方式としてはＣＣＤ方式を用いても、ＣＭＯＳ方式を用いても良い。撮像素子１０４の駆動はＣＰＵ１１９によって制御される。
【００１３】
撮像回路１０５は、撮像素子１０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像回路１０５は、アナログ処理した画像信号をデジタル信号（画像データ）に変換することも行う。ＡＧＣ処理の際のゲイン量等はＣＰＵ１１９によって指示される。撮像素子１０４と撮像回路１０５とは、後述のＣＰＵ１１９とともに画像取得部の一例として機能する。
【００１４】
ＳＤＲＡＭ１０６は、撮像回路１０５で得られた画像データを一時的に保管する機能を有している。この他、ＳＤＲＡＭ１０６は、ＣＰＵ１１９による処理中のデータ等の各種データを一時的に保管する。
表示駆動回路１０７は、ＳＤＲＡＭ１０６に保管されている画像データに基づく画像や記録媒体１１２に記録されている画像データに基づく画像を表示パネル１０８に表示させるように表示パネル１０８を駆動する。表示パネル１０８は、例えば液晶パネルである。この表示パネル１０８は、表示駆動回路１０７によって駆動されて各種の画像を表示する。バックライトユニット１０９は、表示パネル１０８が液晶パネルの場合に設けられるものである。このバックライトユニット１０９は、ＣＰＵ１１９の制御に従って液晶パネルのバックライトを発光させる。映像信号出力回路１１０は、ＳＤＲＡＭ１０６に保管されている画像データや記録媒体１１２に記録されている画像データを、映像信号出力端子１１１を介して例えばテレビジョン受像機（ＴＶ）等の外部画像表示装置２００に出力させる。映像信号出力端子１１１は、コンポジット映像端子やＨＤＭＩ（登録商標）端子等の映像信号出力端子である。
【００１５】
記録媒体１１２は、例えばＦｌａｓｈメモリ等であって、例えばＣＰＵ１１９の画像圧縮伸長機能１２３７を用いて得られた画像ファイルを記録する。記録媒体１１２は、カメラに内蔵するようにしても良いし、カメラに対して着脱自在に構成するようにしても良い。
【００１６】
フラッシュ１１３は、フラッシュ充電用のコンデンサやフラッシュの発光回路等を備えており、ＣＰＵ１１９の制御に従って発光する。フラッシュ１１３は、例えば低輝度時や逆光時において発光されるものであり、この発光によって被写体を照明する。
手ブレ補正用ジャイロセンサ１１４は、カメラの互いに直交する３軸方向の振動をカメラの手ブレとして検出するジャイロセンサである。手ブレ補正用ジャイロセンサ１１４によって検出される手ブレの影響を打ち消すように、撮像素子１０４を移動させることにより、カメラの手ブレによって生じる画像ブレが軽減される。
【００１７】
ステレオマイク１１５は、一対のマイクロホンを有しており、外部から入力されたステレオ音声を電気信号（音声信号）に変換する。例えば、動画像の撮影時においては、撮像素子１０４による画像信号の取得と並行してステレオマイク１１５による音声信号の取得が行われる。この音声信号は、デジタル化された後、画像データとともに１つの動画ファイルとして記録媒体１１２に記録される。スピーカー１１６は、記録媒体１１２に記録された音声データに基づく音声を出力する。
【００１８】
ＦｌａｓｈＲＯＭ１１７は、被写体管理情報の記憶機能１１７１と、カメラの駆動情報の記憶機能１１７２と、を主に有する電気的に情報を書き込み及び消去可能な記憶媒体である。ここで、被写体管理情報の記憶機能１１７１とは、後述する被写体リストの生成に必要な情報を記憶しておく機能である。この被写体リストの生成に必要な情報とは、顔の特徴量情報等である。カメラの駆動情報の記憶機能１１７２とは、撮影動作時の設定、画像処理設定、カメラの各ブロックの動作設定といった設定情報、撮像素子１０４やレンズ１０１の特性情報、カメラの動作に必要な処理プログラムといったカメラの各種の動作に必要な情報、及び撮影動作時の撮影条件等の、各種のカメラの駆動情報を記憶しておく機能である。
【００１９】
キーマトリクス１１８は、ボタンやスイッチ等の、ユーザの操作に応じて操作信号をＣＰＵ１１９に出力する各種の操作部材である。キーマトリクス１１８には、レリーズボタン１１８１や動画ボタン１１８２が含まれている。レリーズボタン１１８１は、ユーザが静止画撮影の実行を指示するためのボタンであり、動画ボタン１１８２は、ユーザが動画撮影の実行を指示するためのボタンである。この他、キーマトリクス１１８としては、カメラの動作モードや各種メニュー項目の選択、カメラの電源のオン/オフ切り替え等を行うための操作部材も含まれる。
【００２０】
ＣＰＵ１１９は、システムコントロール機能１２３１と、画像記録・再生機能１２３２と、顔検出・認識機能１２３３と、顔サムネイル生成・管理機能１２３４と、画像処理機能１２３５と、記録媒体アクセス機能１２３６と、画像圧縮伸長機能１２３７と、を主に有している。
【００２１】
システムコントロール機能１２３１は、ＦｌａｓｈＲＯＭ１１７に記憶されている処理プログラムに従って、カメラの各ブロックの動作を制御する機能である。ここで、本実施形態におけるシステムコントロール機能１２３１としては、さらに、合焦判定機能１２３１ａと、被写体リスト管理機能１２３１ｂと、ファイル生成・管理機能１２３１ｃと、演出タイミング管理機能１２３１ｄと、が含まれている。合焦判定機能１２３１ａとは、撮影により得られた画像データ（静止画像データ又は動画像データ）中に合焦している被写体が存在しているか否かを判定し、合焦被写体が存在している場合にはその位置を検出する機能である。ここで、動画データについては、動画像データのフレーム毎に合焦被写体の有無を判定する。画像解析部及び被写体リスト生成部の一例としての被写体リスト管理機能１２３１ｂは、合焦判定機能１２３１ａによる判定結果や顔検出・認識機能１２３３による認識結果といった画像データの解析結果を用いて被写体リストを生成し、生成した被写体リストをＦｌａｓｈＲＯＭ１１７に記録して管理する機能である。この被写体リスト管理機能１２３１ｂの詳細については後述する。記録部の一例としてのファイル生成・管理機能１２３１ｃは、画像圧縮伸長機能１２３７によって圧縮された画像データから画像ファイル（静止画ファイル又は動画ファイル）を生成し、生成した画像ファイルを記録媒体１１２に記録して管理する機能である。被写体リスト取得部及び主要被写体判別部の一例としての演出タイミング管理機能１２３１ｄは、画像の再生時において、被写体リストを読み込み、読み込んだ被写体リストから画像内に主要被写体が出現しているか否かを判別することによって、画像内の主要被写体に対して所定の演出効果を施すタイミングを管理する機能である。この演出タイミング管理機能１２３１ｄの詳細については後述する。
【００２２】
画像記録・再生機能１２３２は、撮影により得られた画像データに従って生成された画像ファイルを記録するために記録媒体１１２を制御するとともに、記録媒体１１２に記録されている画像ファイルを再生するために表示駆動回路１０７を制御する機能である。
【００２３】
顔検出・認識機能１２３３は、画像データ中の顔を検出し、検出した顔が予め登録されている特定の顔であることを認識する機能である。顔検出は、周知の特徴点検出によって行うことが可能である。また、顔認識は、顔と推定される特徴点の特徴量（形状や色、配置等）を、予め登録してある顔の特徴量と比較することで行うことができる。この比較を行うため、ＦｌａｓｈＲＯＭ１１７の被写体管理情報として、複数の顔の特徴量の情報が登録されている。この顔の特徴量は、ユーザが自由に登録することが可能である。
【００２４】
顔サムネイル生成・管理機能１２３４は、顔検出・認識機能１２３３によって認識された画像データ中の顔を抽出して顔画像のサムネイルデータ（顔サムネイル画像データ）を生成し、生成した顔サムネイル画像データを被写体リストに記録して管理する機能である。
【００２５】
画像処理機能１２３５は、記録媒体１１２に記録する画像データに対してガンマ補正等の画像処理を施す機能である。さらに、本実施形態における画像処理機能１２３５は、表示パネル１０８に再生する画像データに所定の演出効果を与えるための演出付加処理を施す機能も含む。この演出付加処理としては、例えば拡大（ズームアップ）処理やスポットライト処理等がある。
【００２６】
記録媒体アクセス機能１２３６は、記録媒体１１２にアクセスしてデータの書き込み又は読み出しを行う機能である。画像圧縮伸長機能１２３７は、撮像素子１０４を介して得られた画像データをＪＰＥＧ形式やＭＰＥＧ形式等の所定の形式で圧縮したり、圧縮された画像データを伸長したりする機能である。
【００２７】
電源回路１２０は、電池１２１やバックアップ電源１２３の電圧をカメラの各ブロックが必要とする電圧に変換する回路である。電池１２１は、カメラの電源電圧を供給するための例えば２次電池である。電池状態検出回路１２２は、電池１２１の電圧を測定することによって電池１２１の残量を検出する回路である。バックアップ電源１２３は、電池１２１の残量が不足した際等に用いられるバックアップ用の電源である。
【００２８】
以下、カメラの動作について説明する。まず、カメラの撮影モードの動作について、図２を参照して説明する。図２の動作は、カメラの動作モードが撮影モードのときに電源がオンされた場合やカメラの動作モードが撮影モードに変更された場合等に開始される。図２において、ＣＰＵ１１９は、まず、初期化処理を行う（ステップＳ１０１）。初期化処理として、ＣＰＵ１１９は、レンズ１０１や撮像素子１０４の位置を初期位置に復帰させたり、内部のレジスタを初期化したりする処理を行う。
【００２９】
初期化処理の後、ＣＰＵ１１９は、スルー画表示の後、撮影待機状態となる（ステップＳ１０２）。スルー画表示処理として、ＣＰＵ１１９は、撮像素子１０４を連続動作させる。そして、ＣＰＵ１１９は、表示駆動回路１０７を制御して、撮像素子１０４の連続動作によって逐次得られる画像データに対応した画像を表示パネル１０８に表示させる。このようなスルー画表示処理により、ユーザは、表示パネル１０８に表示された画像に基づいて構図の決定等を行うことが可能である。
【００３０】
撮影待機状態に移行した後、ＣＰＵ１１９は、キーマトリクス１１８のレリーズボタン１１８１又は動画ボタン１１８２が押されたか否かを判定する（ステップＳ１０３）。ステップＳ１０３の判定において、レリーズボタン１１８１又は動画ボタン１１８２が押された場合に、ＣＰＵ１１９は、撮影動作を実行する（ステップＳ１０４）。この撮影動作については後述する。
【００３１】
ステップＳ１０３においてレリーズボタン１１８１と動画ボタン１１８２の何れも押されていない場合、又はステップＳ１０４の撮影動作の後、ＣＰＵ１１９は、カメラの電源をオフさせるか否かを判定する（ステップＳ１０５）。例えば、ユーザによってカメラの電源のオフ操作がなされた場合や、無操作状態が所定時間継続された場合に、カメラの電源をオフさせる。ステップＳ１０５の判定において、カメラの電源をオフさせない場合に、ＣＰＵ１１９は、ステップＳ１０２の撮影待機状態に戻る。また、ステップＳ１０５の判定において、カメラの電源をオフさせる場合に、ＣＰＵ１１９は、カメラの電源をオフさせるためのパワーオフ処理を行った後、待機状態となる（ステップＳ１０６）。この場合には、図２の処理が終了する。
【００３２】
図３は、撮影動作の処理の詳細を示すフローチャートである。撮影動作の処理の開始後、ＣＰＵ１１９は、図２のステップＳ１０３においてユーザによって押されたボタンがレリーズボタン１１８１であるか否かを判定する（ステップＳ２０１）。
ステップＳ２０１の判定において、ユーザによって押されたボタンがレリーズボタン１１８１である場合に、ＣＰＵ１１９は、静止画撮影を実行する（ステップＳ２０２）。静止画撮影において、ＣＰＵ１１９は、合焦処理を行ってレンズ１０１のフォーカスレンズを合焦位置に駆動させたり、必要に応じてズーム処理を行ってレンズ１０１のズームレンズを駆動させたりする。また、ＣＰＵ１１９は、レンズ１０１の合焦処理と並行して、撮影動作の実行時の露出条件（絞りの開放量、撮像素子１０４の露光時間・感度）をシーンモードや被写体輝度等に応じて決定する。その後、ＣＰＵ１１９は、決定した露出条件に従って、撮像素子１０４による撮像を実行させる。この際、必要に応じてフラッシュ１１３を発光させる。撮像素子１０４による撮像によって得られた画像データはＳＤＲＡＭ１０６に記憶される。
【００３３】
静止画撮影の後、ＣＰＵ１１９は、顔認識処理を行う（ステップＳ２０３）。顔認識処理において、ＣＰＵ１１９は、静止画撮影によってＳＤＲＡＭ１０６に記憶されている画像データを読み出し、読み出した画像データにおける顔を検出する。その後、ＣＰＵ１１９は、検出した顔の特徴量を予め登録してある顔の特徴量と比較して、画像データから検出された顔を認識する。この顔認識処理の後、ＣＰＵ１１９は、顔認識結果等を用いて被写体リストを生成する（ステップＳ２０４）。被写体リストの生成処理の詳細については後述する。
【００３４】
被写体リストの生成後、ＣＰＵ１１９は、ステップＳ２０２において得られた画像データに対してガンマ補正等の画像処理を施し、また、ＣＰＵ１１９は、画像処理を施した画像データに対してＪＰＥＧ方式等の静止画圧縮処理を施す。その後、ＣＰＵ１１９は、静止画圧縮処理後の画像データに、ステップＳ２０２における撮影条件を示す撮影情報とステップＳ２０４で生成した被写体リスト及び顔画像サムネイルデータとを付与して画像ファイル（静止画ファイル）を生成する（ステップＳ２０５）。
【００３５】
また、ステップＳ２０１の判定において、ユーザによって押されたボタンがレリーズボタン１１８１でない、即ち動画ボタン１１８２である場合に、ＣＰＵ１１９は、動画撮影を開始させる（ステップＳ２０６）。動画撮影の開始時においても、ＣＰＵ１１９は、合焦処理や露出条件の設定をした後、撮像素子１０４による撮像を開始させる。また、ＣＰＵ１１９は、撮像素子１０４による撮像の開始と同期してステレオマイク１１５を動作させて音声データの取得を開始させる。動画撮影が開始され、動画像データを構成する１フレームの撮像が終了した後、ＣＰＵ１１９は、顔認識処理を行う（ステップＳ２０７）。顔認識処理において、ＣＰＵ１１９は、撮像によってＳＤＲＡＭ１０６に記憶されている現フレームの画像データを読み出し、読み出した画像データにおける顔を検出する。その後、ＣＰＵ１１９は、検出した顔の特徴量を予め登録してある顔の特徴量と比較して、画像データから検出された顔を認識する。この顔認識処理の後、ＣＰＵ１１９は、顔認識結果等を用いて被写体リストを生成（又は更新）する（ステップＳ２０８）。被写体リストの生成処理の詳細については後述する。
【００３６】
被写体リストの生成又は更新後、ＣＰＵ１１９は、動画ボタン１１８２が押されたか否かを判定する（ステップＳ２０９）。ステップＳ２０９の判定において、動画ボタン１１８２が押されていない場合に、ＣＰＵ１１９は、処理をステップＳ２０７に戻して、動画撮影を継続する。一方、ステップＳ２０９の判定において、動画ボタン１１８２が押された場合に、ＣＰＵ１１９は、撮像素子１０４の動作を停止させる等の動画撮影を終了させるための処理を行う（ステップＳ２１０）。その後、ＣＰＵ１１９は、ＳＤＲＡＭ１０６に逐次記憶された画像データに対してガンマ補正等の画像処理を施す。また、ＣＰＵ１１９は、ＳＤＲＡＭ１０６に逐次記憶された音声データに対して音声処理を施す。その後、ＣＰＵ１１９は、画像データ及び音声データに対してＭＰＥＧ方式等の圧縮処理を施す。そして、ＣＰＵ１１９は、圧縮処理後の画像データに音声データをマージし、さらにステップＳ２０６における撮影条件を示す撮影情報とステップＳ２０８で生成した被写体リスト及び顔画像サムネイルデータとを付与して画像ファイル（動画ファイル）を生成する（ステップＳ２１１）。
【００３７】
ステップＳ２０５又はステップＳ２１１において、画像ファイルを生成した後、ＣＰＵ１１９は、生成した画像ファイルを記録媒体１１２に記録する（ステップＳ２１２）。その後、ＣＰＵ１１９は、図３の処理を終了させて図２の処理に復帰する。
図４は、画像ファイルの構造例を示す図である。図４に示すように、画像ファイルは、ヘッダ情報部と、画像データ部とに分かれている。  
ヘッダ情報部には、上述した撮影情報や被写体リストといった各種の情報が記録される。ここで、画像ファイルが静止画ファイルの場合には静止画撮影に対応した撮影情報が記録される。また、画像ファイルが動画ファイルの場合には動画撮影に対応した撮影情報が記録される。さらに、本実施形態においては、ヘッダ情報部に、被写体リストの生成の際に生成される顔画像サムネイルデータも記録される。  
画像データ部には、画像データが主に記録される。ここで、画像ファイルが静止画ファイルの場合には静止画撮影時には静止画像データが圧縮されて記録される。一方、画像ファイルが動画ファイルの場合には動画像データと音声データとがそれぞれ圧縮されて記録される。  
図４に示すような形式で画像ファイルを生成することで、被写体リストを画像データと関連付けて記録することが可能である。
【００３８】
図５は、被写体リスト生成処理について示すフローチャートである。ここで、図５の処理は、静止画撮影時であっても動画撮影時であっても実行されるものである。しかしながら、以下の説明においては特に動画撮影時の被写体リスト生成処理について説明する。
【００３９】
図５において、ＣＰＵ１１９は、撮像素子１０４を介して取得された画像データにおいて、予め登録してある顔が認識できたか否かを判定する（ステップＳ３０１）。
ステップＳ３０１の判定において、予め登録してある顔が認識できた場合に、ＣＰＵ１１９は、その認識した顔の位置（座標）を判別するとともに、その認識した顔に対する合焦の有無を判別する（ステップＳ３０２）。顔の位置及び合焦の有無を判別した後、ＣＰＵ１１９は、ステップＳ３０１で認識した顔が、被写体リスト生成処理を開始してから既に認識している顔であるか否かを判定する（ステップＳ３０３）。
【００４０】
ステップＳ３０３の判定において、ステップＳ３０１で認識した顔が既に認識している顔でない場合に、ＣＰＵ１１９は、新たに認識した顔に対応した被写体番号を被写体リストに追加する（ステップＳ３０４）。次に、ＣＰＵ１１９は、認識した顔の部分の画像データ（顔画像データ）を、撮像素子１０４を介して取得された画像データから抽出する（ステップＳ３０５）。その後、ＣＰＵ１１９は、抽出した顔画像データに対して縮小処理等を施して顔画像サムネイルデータを生成する（ステップＳ３０６）。
【００４１】
ステップＳ３０３の判定において、ステップＳ３０１で認識した顔が既に認識している顔である場合、又はステップＳ３０６の後、ＣＰＵ１１９は、被写体リストを生成（又は更新）する（ステップＳ３０７）。その後、ＣＰＵ１１９は、図５の処理を終了させて図３の処理に復帰する。
【００４２】
以下、被写体リストの生成についてさらに具体的に説明する。本実施形態においては、被写体リストに、図６に示す４種類の情報を記録する。図６に示す情報は何れも図５の処理によって判別される。  
図６に示す「被写体番号」は、予め顔の情報が登録してある被写体（顔）の識別番号である。図６では、Ａ〜Ｇで示す７つまでの被写体番号を登録できる例を示している。勿論、登録できる被写体番号の数は７つに限るものではない。  
「被写体座標」は、画像内の被写体（顔）の位置（座標）を示す情報である。ここで、被写体座標は、顔を含む矩形領域の重心の位置又は顔そのものの重心の位置とする。例えば画像の重心位置を原点とし、この原点からの距離に応じて被写体座標が決定される。例えば、画面水平方向をＸ方向、画面垂直方向をＹ方向とする。勿論、原点位置やＸ方向、Ｙ方向はここでの定義に限るものではない。  
「被写体位置」は、被写体（顔）がフレーム内のどの領域に存在しているかを示す情報である。この被写体位置の情報としては、例えばフレーム内の領域毎に割り当てられた番号を記録する。図７に、被写体位置の領域分けの例を示す。図７の例では、フレーム中央の領域、フレーム端の領域と、その間の領域とを含む３つの領域に１つのフレームを分け、それぞれの領域に対して番号付けしている。このようにして領域分けをするのは、フレームの中央に存在する被写体が撮影者としてのユーザにとっての主要被写体である可能性が高いためである。なお、領域の分割数は３つに限るものではないが、中央領域は含めるようにすることが望ましい。また、同じ番号の領域を２つ以上設定するようにしても良い。  
「合焦情報」は、認識された被写体（顔）に対してレンズ１０１が合焦しているか否かを示す情報である。レンズ１０１が画像中のどの被写体に合焦しているかは、合焦処理の結果から判別できる。図６では、丸印が該当する被写体に合焦していることを示し、ばつ印が該当する被写体に合焦していないことを示している。実際には、合焦情報は２値のフラグである。
【００４３】
図８は、１回の動画撮影時に生成される被写体リストの例を示している。動画撮影の場合、１フレーム目において被写体リストを生成し、それ以後のフレームにおいては情報を順次追記していく。ここで、図８では、被写体Ａ〜Ｄに対応した被写体位置、合焦情報、被写体座標をそれぞれ記録している。これは、動画撮影時において被写体Ｅ〜Ｇの顔が一度も認識されなかったことを示している。図８の被写体リストでは、被写体Ｅ、Ｆ、Ｇの欄も図示されているが、図５のステップＳ３０４でも説明したように、認識された被写体に対応した欄だけ設けられていれば良い。
【００４４】
また、図８の被写体リストにおいて、被写体位置については、領域３に顔が存在していたことを示す「３」が記録された回数を被写体番号毎にカウントしている。また、合焦情報については、合焦である旨を示す「丸印」が記録された回数を被写体番号毎にカウントしている。これらは、後述の被写体順位の特定処理の際に用いられる。
【００４５】
以上説明したような被写体リストを用いることで、画像データの再生時において主要被写体を正しく認識できるようにする。以下、画像データの再生時の動作について図９を参照して説明する。図９の動作は、カメラの動作モードが再生モードのときに電源がオンされた場合等に開始される。図９において、ＣＰＵ１１９は、まず、初期化処理を行う（ステップＳ４０１）。初期化処理として、ＣＰＵ１１９は、内部のレジスタを初期化したりする処理を行う。
【００４６】
初期化処理の後、ＣＰＵ１１９は、表示駆動回路１０７を制御して、記録媒体１１２に記録されている画像ファイル（静止画ファイル及び動画ファイル）の一覧を表示パネル１０８に表示させる。この後、ＣＰＵ１１９は、ユーザからの画像ファイルの選択を待つべく、待機状態となる（ステップＳ４０２）。
【００４７】
ユーザによって画像ファイルの選択がなされた後、ＣＰＵ１１９は、選択された画像ファイルが静止画ファイルであるか否かを判定する（ステップＳ４０３）。
ステップＳ４０３の判定において、選択された画像ファイルが静止画ファイルである場合に、ＣＰＵ１１９は、静止画再生モードの動作を実行する（ステップＳ４０４）。静止画再生モードにおいて、ＣＰＵ１１９は、ユーザによって選択された静止画ファイルを記録媒体１１２から読み込んで伸長する。そして、ＣＰＵ１１９は、表示駆動回路１０７を制御して、静止画ファイルを表示パネル１０８に再生する。ここで、静止画再生モードの動作において、後述する動画再生モードと同様の主要被写体を強調するような画像処理を施すようにしても良い。また、ステップＳ４０３の判定において、選択された画像ファイルが動画ファイルである場合に、ＣＰＵ１１９は、動画再生モードの動作を実行する（ステップＳ４０５）。動画再生モードの動作については後述する。
【００４８】
静止画再生モードの動作又は動画再生モードの動作の実行後、ＣＰＵ１１９は、カメラの動作モードを再生モードから撮影モードに変更するか否かを判定する（ステップＳ４０６）。例えば、ユーザによって動作モードの変更が指示された場合に、カメラの動作モードを撮影モードに変更する。ステップＳ４０６の判定において、カメラの動作モードを再生モードから撮影モードに変更する場合に、ＣＰＵ１１９は、図９の処理を終了させて図２の撮影モードの処理を実行する。
【００４９】
また、ステップＳ４０６の判定において、カメラの動作モードを変更しない場合に、ＣＰＵ１１９は、カメラの電源をオフさせるか否かを判定する（ステップＳ４０７）。ステップＳ４０７の判定において、カメラの電源をオフさせない場合に、ＣＰＵ１１９は、ステップＳ４０２の画像ファイルの選択待機状態に戻る。また、ステップＳ４０７の判定において、カメラの電源をオフさせる場合に、ＣＰＵ１１９は、カメラの電源をオフさせるためのパワーオフ処理を行った後、待機状態となる（ステップＳ４０８）。この場合には、図９の処理が終了する。
【００５０】
図１０は、本発明の第１の実施形態における動画再生モードの動作を示すフローチャートである。ここで、図１０は、動画再生中に主要被写体を強調する演出付加処理を施す例のみの動作を示している。動画再生中に主要被写体を強調する演出付加処理を施すか否かはユーザが自由に設定できるものである。
【００５１】
図１０において、ＣＰＵ１１９は、ユーザによって選択された動画ファイルのヘッダ情報部から被写体リストを読み込む（ステップＳ５０１）。次に、ＣＰＵ１１９は、被写体リストに記録されている情報から「主人公順位」を特定する（ステップＳ５０２）。
【００５２】
主人公順位とは、選択された動画ファイルに記録されている動画像に出現する複数の被写体を、主要被写体である可能性の高い順に順位付けしたものである。例えば、撮影者は、主要被写体をフレームの中央領域に配置して撮影を行うことが多い。したがって、中央領域に存在している回数の多い、即ち被写体リストに「３」が記録された回数が多い被写体の主人公順位を高くする。また、撮影者は、主要被写体に合焦するように撮影を行うことが多い。したがって、合焦回数の多い、即ち被写体リストに「丸印」が記録された回数が多い被写体の主人公順位を高くする。
【００５３】
本実施形態では、例えば「３」が記録された回数と「丸印」が記録された回数との合計値が大きい順に順位を付ける。図８の例では、被写体Ａの主人公順位が１位となり、被写体Ｂの主人公順位が２位となり、被写体Ｃの主人公順位が３位となる。本実施形態では主人公順位を３位まで特定する。勿論、これに限るものではない。
【００５４】
ここで、上述の例で顔が領域３に存在していた回数を被写体毎に加算している。これに対し、領域１、２に存在していた回数を考慮しても良い。この際、例えば領域３に存在していた場合に３を加算し、領域２に存在していた場合に２を加算し、領域１に存在していた場合に１を加算するようにして合計を求めるようにしても良い。
【００５５】
主人公順位を特定した後、ＣＰＵ１１９は、ユーザによって選択された動画像ファイルから表示フレームを読み込む（ステップＳ５０３）。その後、ＣＰＵ１１９は、読み込んだ表示フレームに主人公順位が１位の被写体（図８の例では被写体Ａ）が存在しているか否かを判定する（ステップＳ５０４）。ステップＳ５０４の判定において、読み込んだ表示フレームに主人公順位が１位の被写体が存在している場合に、ＣＰＵ１１９は、その主人公順位が１位の被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ５０５）。
【００５６】
また、ステップ５０４の判定において、読み込んだ表示フレームに主人公順位が１位の被写体が存在していない場合に、ＣＰＵ１１９は、読み込んだ表示フレームに主人公順位が２位の被写体（図８の例では被写体Ｂ）が存在しているか否かを判定する（ステップ５０６）。ステップ５０６の判定において、読み込んだ表示フレームに主人公順位が２位の被写体が存在している場合に、ＣＰＵ１１９は、その主人公順位が２位の被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ５０７）。
【００５７】
また、ステップ５０６の判定において、読み込んだ表示フレームに主人公順位が２位の被写体が存在していない場合に、ＣＰＵ１１９は、読み込んだ表示フレームに主人公順位が２位の被写体（図８の例では被写体Ｃ）が存在しているか否かを判定する（ステップ５０８）。ステップ５０８の判定において、読み込んだ表示フレームに主人公順位が３位の被写体が存在している場合に、ＣＰＵ１１９は、その主人公順位が３位の被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ５０９）。
【００５８】
また、ステップ５０８の判定において、読み込んだ表示フレームに主人公順位が３位の被写体が存在していない場合に、ＣＰＵ１１９は、読み込んだ表示フレームに対して演出付加処理を施すことをせずに表示フレームを表示パネル１０８に再生する（ステップ５１０）。
【００５９】
表示フレームを再生した後、ＣＰＵ１１９は、動画再生を終了するか否かを判定する（ステップＳ５１１）。例えば、動画像ファイルを構成する全フレームの再生が終了したか又はユーザによって動画再生の終了指示がなされた場合に、動画再生を終了すると判定する。ステップＳ５１１の判定において、動画再生を終了しない場合に、ＣＰＵ１１９は、処理をステップＳ５０３に戻して次の表示フレームの読み込みを行う。一方、ステップＳ５１１の判定において、動画再生を終了する場合に、ＣＰＵ１１９は、図１０の処理を終了させて図９の処理に復帰する。
【００６０】
図１１（ａ）は、演出付加処理を施さないように設定されている場合の本実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図である。演出付加処理を施さないように設定されている場合、主要被写体順位の高い被写体（被写体Ａや被写体Ｂ）が存在している場合であっても、読み込んだ表示フレームがそのまま表示パネル１０８に再生される。
【００６１】
これに対し、図１１（ｂ）は、演出付加処理を施すように設定されている場合の本実施形態の動画再生モード時において再生されるフレーム毎の画像を示す図である。例えば、図１１（ｂ）の１フレーム目のように被写体Ａと被写体Ｂとが同時に存在するような表示フレームでは被写体Ａを拡大するような演出付加処理が施されて表示フレームが再生される。この後、被写体Ａがいなくなると、次は被写体Ｂを拡大するような演出付加処理が施されて表示フレームが再生される。さらに、主要被写体順位が３位までの被写体が表示フレーム中に存在しなくなると、図１１（ａ）と同様の演出付加処理を施さない表示フレームの再生に戻る。
【００６２】
図１１（ｂ）に示すように、動画像の場合、主要被写体が時間的に変化する可能性がある。第１の実施形態においては、フレーム毎に主要被写体に関する情報を記録した被写体リストを撮影時に生成しておくことにより、再生時にはＣＰＵ１１９にそれほどの負荷をかけることなく、表示フレーム内に存在する被写体を主要被写体である可能性の高い順に順位付けすることが可能である。これにより、時間的に変化し得る主要被写体を適切に推定し、推定した主要被写体を強調するような演出付加処理を施すことが可能である。
【００６３】
ここで、上述の被写体リストでは、被写体位置と合焦の有無とを記録しているが、さらに主要被写体を特定するための別の情報を記録するようにしても良い。例えば、女性を優先したり、男性を優先したりするような情報を記録しても良い。
また、演出付加処理も上述したズームアップ（拡大）処理に限るものではない。例えば、図１１（ｃ）に示すような、各表示フレームにおいて主要被写体と考えられる被写体の顔を含む領域の輝度を他の部分に対して高くする輝度変更処理を行っても良い。また、図１１（ｃ）の輝度変更処理は、被写体の顔を含む矩形領域の輝度を変更するようにしているが、図１２に示すような、被写体の顔を含む円形領域の輝度を変更するようにしても良い。このようなスポットライト処理でも主要被写体を強調することが可能である。
【００６４】
この他、領域の輝度ではなく、領域の彩度を変更するようにしても良い。また、被写体のコントラスト（輪郭）を強調したり、逆に輪郭をぼかすソフトフォーカス処理を施すようにしても良い。
［第２の実施形態］  
次に、本発明の第２の実施形態について説明する。上述の第１の実施形態は、フレームの中央に存在する被写体や合焦している被写体といった、主に撮影者としてのユーザが考える主要被写体を特定するようにしている。しかしながら、動画像を視聴するユーザや視聴するときの気分等で、同じ動画像であっても主要とする被写体が変わる可能性もある。この場合には、動画像を視聴しているユーザが考えている主要被写体と撮影者が考えている主要被写体とが異なる可能性もある。第２の実施形態は、動画像を視聴する人が考えている主要被写体も特定可能とした例である。ここで、第２の実施形態は、動画再生モードの動作以外は第１の実施形態と同様である。したがって、カメラの構成や動画再生モード以外の動作については説明を省略する。
【００６５】
図１３は、本発明の第２の実施形態における動画再生モードの動作を示すフローチャートである。図１３において、ＣＰＵ１１９は、ユーザによって選択された動画ファイルのヘッダ情報部から被写体リスト及び顔画像サムネイルデータを読み込む（ステップＳ６０１）。
【００６６】
次に、ＣＰＵ１１９は、手動で主人公順位を設定するように指定されているか否かを判定する（ステップＳ６０２）。ここで、手動で主人公順位を設定するか否かは例えば動画像の視聴者であるユーザが適宜指定できるものである。
ステップＳ６０２の判定において、手動で主人公順位を設定するように指定されている場合、ＣＰＵ１１９は、表示駆動回路１０７を制御して、図１４に示すような顔画像サムネイルの選択画面を表示パネル１０８に表示させる（ステップＳ６０３）。ここで、図１４は、被写体リストの生成処理の結果、３人分の顔画像サムネイルデータが記録された場合（被写体リストに３人分の情報が記録されている場合）の顔画像サムネイルの選択画面の例である。図１４のような顔画像サムネイルの選択画面を表示させた後、ＣＰＵ１１９は、表示パネル１０８に表示されている顔画像サムネイルのユーザからの選択を待つべく、待機状態となる（ステップＳ６０４）。ユーザからの選択を受けて、ＣＰＵ１１９は、主人公順位を特定する。
【００６７】
また、ステップＳ６０２の判定において、手動で主人公順位を設定するように指定されていない場合、ＣＰＵ１１９は、第１の実施形態と同様にして被写体リストから主人公順位を特定する（ステップＳ６０５）。
ステップＳ６０６〜Ｓ６１４の動作は、図１０のステップＳ５０３〜ステップＳ５１１の動作と同様であるので説明を省略する。
【００６８】
以上説明したような第２の実施形態によれば、撮影者の意図する主要被写体だけでなく、動画像を視聴する視聴者の意図も反映して主要被写体を特定することが可能である。これにより、時間的に主要被写体が変化し得る動画像においてより適切に主要被写体を特定することが可能である。
【００６９】
［第３の実施形態］  
次に、本発明の第３の実施形態について説明する。上述の第１及び第２の実施形態においては、フレーム中の主要被写体に対して特定の演出付加処理を施すようにしている。実際には、被写体の状態に応じて適切な演出付加処理を施すことが望ましい。第３の実施形態は、被写体の状態に応じて複数の演出付加処理を使い分ける例である。ここで、第３の実施形態は、動画再生モードの動作以外は第１の実施形態と同様である。したがって、カメラの構成や動画再生モード以外の動作については説明を省略する。
【００７０】
図１５は、本発明の第３の実施形態における動画再生モードの動作を示すフローチャートである。ここで、図１５は、ステップＳ７１８、Ｓ７２０、Ｓ７２２における演出付加処理がズームアップ処理ではなく、図１６に示す演出付加処理である点のみが図１０と異なっている。したがって、図１５の説明は省略する。
【００７１】
図１６は、図１５のステップＳ７１８、Ｓ７２０、Ｓ７２２における演出付加処理について示すフローチャートである。図１６において、ＣＰＵ１１９は、演出付加被写体（ステップＳ７１８の場合には主人公順位が１位の被写体、ステップＳ７２０の場合には主人公順位が２位の被写体、ステップＳ７２２の場合には主人公順位が３位の被写体）の現在の表示フレームに対応した合焦情報を被写体リストから取得する（ステップＳ８０１）。そして、ＣＰＵ１１９は、取得した合焦情報から、演出付加被写体が合焦しているか否かを判定する（ステップＳ８０２）。
【００７２】
ステップＳ８０２の判定において、演出付加被写体が合焦している場合に、ＣＰＵ１１９は、演出付加被写体をズームアップ（拡大）する演出付加処理を施し、演出付加処理を施した表示フレームを表示パネル１０８に再生する（ステップ８０３）。その後、ＣＰＵ１１９は、図１６の処理を終了させて図１５の処理に復帰する。一方、ステップＳ８０４の判定において、演出付加被写体が合焦していない場合に、ＣＰＵ１１９は、演出付加被写体に対してスポットライト処理を施し、スポットライト処理を施した表示フレームを表示パネル１０８に再生する（ステップ８０４）。その後、ＣＰＵ１１９は、図１６の処理を終了させて図１５の処理に復帰する。
【００７３】
以上説明したような第３の実施形態によれば、フレーム毎に記録されている合焦情報から、合焦していない被写体に対してはズームアップ処理を施さないようにしている。これにより、合焦していない不鮮明な像が拡大されてしまう可能性を低減することが可能である。ここで、図１６の例では、ズームアップ処理とスポットライト処理との間での切り替えであるが、その他の組み合わせであっても良い。
【００７４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した各実施形態においては、画像記録装置と画像再生装置の両方を１つのデジタルカメラに設けている例を示している。しかしながら、各実施形態に係る画像記録装置と画像再生装置とは別体としても良い。また、画像再生装置は動画像の再生機能があれば良く、必ずしもデジタルカメラである必要はない。
【００７５】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００７６】
１０１…レンズ、１０２…アクチュエータ、１０３…アクチュエータ駆動回路、１０４…撮像素子、１０５…撮像回路、１０６…フレームメモリ（ＳＤＲＡＭ）、１０７…表示駆動回路、１０８…表示パネル、１０９…バックライトユニット、１１０…映像信号出力回路、１１１…映像信号出力端子、１１２…記録媒体、１１３…発光回路（フラッシュ）、１１４…手ブレ補正用ジャイロセンサ、１１５…ステレオマイクロホン（ステレオマイク）、１１６…スピーカー、１１７…ＥＥＰＲＯＭ（ＦｌａｓｈＲＯＭ）、１１８…キーマトリクス、１１９…ＣＰＵ、１２０…電源回路、１２１…電池、１２２…電池状態検出回路、１２３…バックアップ電源、２００…外部画像表示装置
【図１】
2012191503.tif 000003
【図２】
2012191503.tif 000004
【図３】
2012191503.tif 000005
【図４】
2012191503.tif 000006
【図５】
2012191503.tif 000007
【図６】
2012191503.tif 000008
【図７】
2012191503.tif 000009
【図８】
2012191503.tif 000010
【図９】
2012191503.tif 000011
【図１０】
2012191503.tif 000012
【図１１】
2012191503.tif 000013
【図１２】
2012191503.tif 000014
【図１３】
2012191503.tif 000015
【図１４】
2012191503.tif 000016
【図１５】
2012191503.tif 000017
【図１６】
2012191503.tif 000018