(57)【要約】      （修正有）【課題】顔認証機能を有する撮像装置で撮像された画像について、主要被写体に対する補正処理の重複を防止する手段を提供する。【解決手段】第１ファイルは、被写体を撮像して生成された第１画像のデータを含む。第２ファイルは、第１画像に予め所定の画像処理を施した第２画像のデータおよび第２画像を識別するためのメタデータを含む。メモリは、認証対象となる顔の特徴を示す登録データを記録する。顔認証部は、画像ファイルから取得した画像から顔領域を検出するとともに、登録データとに基づいて顔領域が認証対象であるか否かを判定する。被写体指定部は、顔認証部の判定結果に基づいて、認証対象に対応する被写体を主要被写体に指定する。画像処理部は、画像の主要被写体に対応する領域に他の領域と異なる画像処理を施す。制御部は、画像ファイルからメタデータを検出したときに、第２画像への画像処理を不能化する。【選択図】図１
2008258830.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して生成された第１画像のデータを含む第１ファイルと、前記第１画像に予め所定の画像処理を施した第２画像のデータおよび前記第２画像を識別するためのメタデータを含む第２ファイルとのいずれかから選択される画像ファイルを読み込むデータ読込部と、
認証対象となる顔の特徴を示す登録データを記録したメモリと、
前記画像ファイルから取得した前記画像から顔領域を検出するとともに、前記登録データとに基づいて前記顔領域が前記認証対象であるか否かを判定する顔認証部と、
前記顔認証部の判定結果に基づいて、前記認証対象に対応する前記被写体を主要被写体に指定する被写体指定部と、
前記画像の前記主要被写体に対応する領域に他の領域と異なる画像処理を施す画像処理部と、
前記画像ファイルから前記メタデータを検出したときに、前記第２画像への画像処理を不能化する制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記メタデータは、前記第２画像に施された画像処理の種類を示すデータを含み、
前記制御部は、複数の画像処理のうちで、前記メタデータの示す画像処理の種類と重複する処理を不能化することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
ユーザーから画像処理の実行指示操作を受け付ける入力部をさらに備え、
前記制御部は、前記画像ファイルから前記メタデータを検出したときに、前記入力部による前記実行指示操作を不能化することを特徴とする画像処理装置。
【請求項４】
データ読込部と、認証対象となる顔の特徴を示す登録データを記録したメモリと、制御部とを有する画像処理装置に関するプログラムであって、
被写体を撮像して生成された第１画像のデータを含む第１ファイルと、前記第１画像に予め所定の画像処理を施した第２画像のデータおよび前記第２画像を識別するためのメタデータを含む第２ファイルとのいずれかから選択される画像ファイルを読み込む第１ステップと、
前記画像ファイルから取得した前記画像から顔領域を検出するとともに、前記登録データとに基づいて前記顔領域が前記認証対象であるか否かを判定する第２ステップと、
前記第２ステップでの判定結果に基づいて、前記認証対象に対応する前記被写体を主要被写体に指定する第３ステップと、
前記画像ファイルから前記メタデータを検出したときに、前記第２画像への画像処理を不能化する第４ステップと、
前記画像の前記主要被写体に対応する領域に他の領域と異なる画像処理を施す第５ステップと、
を前記制御部に実行させることを特徴とするプログラム。
【請求項５】
被写体像を光電変換して画像のデータを生成する撮像部と、
認識対象となる顔の特徴を示す登録データを記録したメモリと、
前記画像から顔領域を検出するとともに、前記登録データとに基づいて前記顔領域が前記認証対象であるか否かを判定する顔認証部と、
前記顔認証部の判定結果に基づいて、前記認証対象に対応する前記被写体を主要被写体に指定する被写体指定部と、
前記画像の前記主要被写体に対応する領域に他の領域と異なる画像処理を施す画像処理部と、
ユーザーの入力に基づいて、撮像時に前記画像のデータに施す前記画像処理のオン／オフの設定を変更する制御部と、
前記画像処理が施された前記画像のデータと、前記設定の内容を記録したメタデータとを対応付けして画像ファイルを生成するファイル生成部と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物などの顔認証機能を有する画像処理装置、撮像装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に示すように、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認証する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認証を行う技術が開示されている。また、上記の顔認証機能の用途の１つとして、顔認証によって抽出された主要被写体に対して画像処理を行うことも検討されている。
【特許文献１】特開平６−２５９５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、近年では、撮像装置で撮像した画像のデータを、コンピュータなどによる後処理工程で加工することが一般的に行われるようになっている。そのため、撮像装置で上記の顔認証に基づく補正処理が行われた場合において、後処理工程で同様の補正処理が重複して行われる可能性もあるので、これを防止するための対策が要望されている。
【０００４】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、顔認証機能を有する撮像装置で撮像された画像について、主要被写体に対する補正処理の重複を防止する手段を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の第１の形態に係る画像処理装置は、データ読込部と、メモリと、顔認証部と、被写体指定部と、画像処理部と、制御部と、を備える。データ読込部は、第１ファイルと、第２ファイルとのいずれかから選択される画像ファイルを読み込む。第１ファイルは、被写体を撮像して生成された第１画像のデータを含む。第２ファイルは、第１画像に予め所定の画像処理を施した第２画像のデータおよび第２画像を識別するためのメタデータを含む。メモリは、認証対象となる顔の特徴を示す登録データを記録する。顔認証部は、画像ファイルから取得した画像から顔領域を検出するとともに、登録データとに基づいて顔領域が認証対象であるか否かを判定する。被写体指定部は、顔認証部の判定結果に基づいて、認証対象に対応する被写体を主要被写体に指定する。画像処理部は、画像の主要被写体に対応する領域に他の領域と異なる画像処理を施す。制御部は、画像ファイルからメタデータを検出したときに、第２画像への画像処理を不能化する。
【０００６】
上記の第１の形態の好ましい形態では、メタデータは、第２画像に施された画像処理の種類を示すデータを含む。また、制御部は、複数の画像処理のうちで、メタデータの示す画像処理の種類と重複する処理を不能化する。
【０００７】
上記の第１の形態の好ましい形態では、ユーザーから画像処理の実行指示操作を受け付ける入力部を画像処理装置がさらに備える。また、制御部は、画像ファイルからメタデータを検出したときに、入力部による実行指示操作を不能化する。
【０００８】
ここで、上記の画像処理装置に関する構成を、画像処理方法やプログラムなどに変換して表現したものも本発明の具体的態様として有効である。
【０００９】
本発明の第２の形態に係る撮像装置は、撮像部と、メモリと、顔認証部と、被写体指定部と、画像処理部と、制御部と、ファイル生成部とを備える。撮像部は、被写体像を光電変換して画像のデータを生成する。メモリは、認証対象となる顔の特徴を示す登録データを記録する。顔認証部は、画像から顔領域を検出するとともに、登録データとに基づいて顔領域が認証対象であるか否かを判定する。被写体指定部は、顔認証部の判定結果に基づいて、認証対象に対応する被写体を主要被写体に指定する。画像処理部は、画像の主要被写体に対応する領域に他の領域と異なる画像処理を施す。制御部は、ユーザーの入力に基づいて、撮像時に画像のデータに施す画像処理のオン／オフの設定を変更する。ファイル生成部は、画像処理が施された画像のデータと、設定の内容を記録したメタデータとを対応付けして画像ファイルを生成する。
【発明の効果】
【００１０】
本発明によれば、メタデータに基づいて、画像内の主要被写体に対する補正処理の重複を防ぐことができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本実施形態の画像処理システムの概略を示すブロック図である。画像処理システムは、電子カメラ１と、画像処理装置２とで構成される。
【００１２】
電子カメラ１は、撮像光学系１１と、撮像素子１２と、ＡＦＥ１３と、画像処理部１４と、第１メモリ１５と、記録Ｉ／Ｆ１６と、通信Ｉ／Ｆ１７と、モニタ１８と、操作部１９と、ＣＰＵ２０と、第２メモリ２１と、システムバス２２とを有している。ここで、画像処理部１４、第１メモリ１５、記録Ｉ／Ｆ１６、通信Ｉ／Ｆ１７、モニタ１８およびＣＰＵ２０は、システムバス２２を介して接続されている。また、操作部１９および第２メモリ２１は、ＣＰＵ２０と接続されている。
【００１３】
撮像光学系１１は、撮像素子１２の撮像面に被写体像を結像させる。撮像素子１２は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１２の出力はＡＦＥ１３に接続されている。
【００１４】
ここで、電子カメラ１の動作モードの一つである撮影モードにおいて、撮像素子１２はレリーズ釦の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定間隔毎にスルー画像を撮像する。なお、スルー画像のデータは、撮像素子１２から間引き読み出しで出力されて、モニタ１８での画像表示や、ＣＰＵ２０による各種の演算処理などに使用される。
【００１５】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１３の出力は画像処理部１４に接続されている。
【００１６】
画像処理部１４は、デジタルの画像信号に対して、各種の画像処理（例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。
【００１７】
第１メモリ１５は、画像処理部１４による画像処理の前後で画像のデータを一時的に記録するバッファメモリである。
【００１８】
記録Ｉ／Ｆ１６には、記録媒体３を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１６は、コネクタに接続された記録媒体３に対してデータの書き込み／読み込みを実行する。上記の記録媒体３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体３の一例としてメモリカードを図示する。
【００１９】
通信Ｉ／Ｆ１７は、画像処理装置２とのデータ送受信を所定の通信規格に準拠して制御する。なお、電子カメラ１と画像処理装置２との通信は、有線または無線の公知の通信回線４を介して行われる。
【００２０】
モニタ１８は、ＣＰＵ２０の指示に応じて各種画像を表示する。なお、本実施形態でのモニタ１８の構成は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶パネルのいずれでもよい。
【００２１】
操作部１９は、レリーズ釦や操作釦などを有している。操作部１９のレリーズ釦は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。また、操作部１９の操作釦は、電子カメラ１の設定変更の入力や、電子カメラ１のモードの切り換え入力などをユーザーから受け付ける。
【００２２】
ＣＰＵ２０は、電子カメラ１の各部を統括的に制御するプロセッサである。一例として、ＣＰＵ２０は、ＡＦ，ＡＥなどの演算を実行する。また、ＣＰＵ２０は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠して、画像ファイルのヘッダ領域に記録されるメタデータを生成する。
【００２３】
また、ＣＰＵ２０は、不図示のＲＯＭに格納されたプログラムの実行により、顔検出部２３および顔認証部２４として機能する。
【００２４】
顔検出部２３は、画像のデータに顔検出処理を施して、画像内に含まれる人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。一例として、顔検出部２３は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて顔領域か否かを判定する。なお、顔検出部２３では、犬、猫、鳥などの動物の顔を検出の対象とすることもできる。
【００２５】
顔認証部２４は、顔検出部２３が検出した特徴点に基づいて、認証対象となる顔の特徴を示す登録データを生成する。例えば、顔認証部２４は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから上記の登録データを生成する。
【００２６】
また、顔認証部２４は、画像内の人物の顔が認証対象となる人物の顔か否かを判定する顔認証処理を行う。具体的には、まず顔認証部２４は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認証部２４は、上記の演算結果と登録データとを比較して、登録データの各人物の顔と撮影人物の顔との相似度を求める。そして、顔認証部２４は上記の相似度が閾値を上回る場合に撮影人物が登録データの人物に合致すると判定する。なお、顔認証部２４は、上記の顔認証の結果に基づいて、後述の主要被写体を指定する。
【００２７】
ここで、本実施形態での顔認証部２４は、人間の場合と同様に動物の登録データを生成することもできる。そして、顔認証部２４は、動物の登録データに基づいて、画像内の動物を対象とする個体認証を行なうことも可能である。
【００２８】
第２メモリ２１は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２１には、顔認証部２４で生成された登録データが記録される。
【００２９】
また、第２メモリ２１に記録された登録データは、各々の登録人物（認証対象の人物）ごとに関連付けされてデータベース化されている。すなわち、第２メモリ２１には、同一の登録人物に関して顔の向きや撮影条件などが異なる複数の登録データがあるときには、これらの登録データはグループ化されて記録される。
【００３０】
さらに、第２メモリ２１には、ＣＰＵ２０が登録人物を認証したときの画像処理の内容（個々の画像処理のオン／オフ）を示す設定データが、各々の登録人物ごとに記録されている（なお、これらの内容については後述する）。
【００３１】
また、上記の設定データには、（１）再生表示の設定、（２）印刷設定、（３）送信設定などがさらに含まれていてもよい。上記（１）の再生表示の設定の項目には、編集モードでの再生表示の各種設定が含まれる。再生表示の設定の内容としては、例えば、スライドショー表示において、登録人物が撮影されている撮影画像の表示時間、表示のパターン、表示時の音楽などの設定が該当する。上記（２）の印刷設定の項目には、例えば、ＤＰＯＦ（Digital Print Order Format）規格による印刷設定データの生成のオン／オフや、印刷設定の詳細内容（印刷枚数やサイズの指定）などの設定が含まれる。上記（３）の送信設定の項目には、登録人物が撮影されている撮影画像の送信の要否と、送信先のアドレスデータ（電子メールアドレス）とが含まれる。
【００３２】
なお、上記の説明では、人間の登録データの場合を前提として説明したが、動物の登録データについても同様にグループ化することが可能である。また、動物の登録データに関しても設定データを記録することが可能である。例えば、ＣＰＵ２０は、飼犬を認証対象とする登録データを、家族の人物とグループ化して第２メモリ２１に登録しておくこともできる。
【００３３】
一方、画像処理装置２は、電子カメラ１から取得した画像のデータに画像処理を施す。この画像処理装置２は、データ読込部３１と、通信部３２と、記録部３３と、操作部３４１９と、表示Ｉ／Ｆ３５と、制御部３６とを有している。データ読込部３１、通信部３２、記録部３３、操作部３４および表示Ｉ／Ｆ３５は、それぞれ制御部３６と接続されている。なお、本実施形態での画像処理装置２は、例えばパーソナルコンピュータなどで構成される。
【００３４】
データ読込部３１は、記録媒体３を接続するコネクタを有している。そして、データ読込部３１は、コネクタに接続された記録媒体３から画像のデータを読み込む。通信部３２は、上記の通信回線４を介して、電子カメラ１とのデータ送受信を所定の通信規格に準拠して制御する。記録部３３には、画像処理プログラムと、認証対象の登録データ（上記の第２メモリ２１と同様のデータ）とが記録されている。なお、記録部３３には、画像処理後の画像のデータを記録することもできる。操作部３４は、画像処理プログラムに関する各種の操作入力をユーザーから受け付ける。表示Ｉ／Ｆ３５には、モニタ３７が接続されている。そして、表示Ｉ／Ｆ３５は、ＣＰＵ２０によって指示された各種の画面表示をモニタ３７に出力する。
【００３５】
制御部３６は、上記の画像処理プログラムに関する各種の演算処理を実行するプロセッサである。この制御部３６は、上記の画像処理プログラムによって、画像のデータの画像処理を実行する。また、制御部３６は、上記の画像処理プログラムの実行によって、顔検出部および顔認証部としても機能する。なお、顔検出部および顔認証部の説明は、電子カメラ１の場合と共通するので重複説明を省略する。
【００３６】
以下、本実施形態の画像処理システムでの動作を、電子カメラ１での撮像工程と、画像処理装置２での後処理工程とに分けて説明する。
【００３７】
（電子カメラでの撮像工程）
以下、図２の流れ図を参照しつつ、電子カメラ１での撮像工程を説明する。なお、図２の例では、電子カメラ１の顔認証機能が予めオンに設定されるとともに、人物が含まれるシーンをユーザーが電子カメラ１で撮影することを前提として説明を行う。
【００３８】
ステップ１０１：まず、ＣＰＵ２０は、ユーザーの入力に基づいて、登録人物の認証時の画像処理の詳細設定を実行する。なお、前回の撮影時に上記の詳細設定が予め行われている場合には、ＣＰＵ２０はＳ１０１の工程を省略することも可能である。
【００３９】
ここで、図３に示すモニタ１８の設定画面を参照しつつ、上記の詳細設定の説明を行う。なお、以下の設定画面での表示処理は、ＣＰＵ２０が所定のプログラムに基づいて実行する。
【００４０】
図３（ａ）は、第１の表示画面を示す図である。第１の表示画面には、顔登録メモリの登録人物に対応する人物選択項目が表示される。第１の表示画面上の各々の人物選択項目は、顔登録メモリの登録人物にそれぞれ対応する。なお、図３に示すように、人物選択項目のアイコンには、登録人物のサムネイル画像が対応付けして表示されてもよい。そして、第１の表示画面において登録人物の指定をＣＰＵ２０が操作部１９から受け付けると、ＣＰＵ２０はモニタ１８の画面を後述の第２の表示画面に切り替える。
【００４１】
図３（ｂ）は、第２の表示画面を示す図である。第２の表示画面では、ユーザーが操作部１９を介して、その登録人物に対する画像処理のオン／オフをＣＰＵ２０に対して入力できる。図３（ｂ）の例では、第２の表示画面で設定可能な画像処理の項目として、美肌処理、痩身処理、ノイズ除去、赤目補正が含まれている。また、第２の表示画面では、上記の各々の画像処理を撮像時または再生時のいずれで行うかを、ユーザーがＣＰＵ２０に対して設定できる。なお、第２の表示画面における設定内容は、ＣＰＵ２０によって第２メモリ２１に記録される。
【００４２】
ステップ１０２：ＣＰＵ２０は、撮像素子１２を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２０は、スルー画像をモニタ１８に動画表示する。したがって、ユーザーは、モニタ１８のスルー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
【００４３】
ステップ１０３：ＣＰＵ２０は、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。
【００４４】
ステップ１０４：ＣＰＵ２０は、Ｓ１０３の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）にはＣＰＵ２０はＳ１０５に移行する。一方、顔領域を検出していない場合（ＮＯ側）にはＣＰＵ２０はＳ１１０に移行する。
【００４５】
ステップ１０５：ＣＰＵ２０は、Ｓ１０３の顔検出処理で取得した特徴点のデータと、第２メモリ２１の登録データとに基づいて、上記の顔領域のうちから登録人物の顔を検出する顔認証処理を実行する。
【００４６】
ステップ１０６：ＣＰＵ２０は、Ｓ１０５の顔認証処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合（ＹＥＳ側）にはＣＰＵ２０はＳ１０７に移行する。一方、登録人物の顔を検出できない場合（ＮＯ側）にはＣＰＵ２０はＳ１０９に移行する。
【００４７】
ステップ１０７：ＣＰＵ２０は、Ｓ１０５の顔認証処理の結果に基づいて、顔領域に対応する被写体のうちから、登録人物を主要被写体を指定する。
【００４８】
ここで、撮影画面内から複数の登録人物が検出された場合、ＣＰＵ２０は、（１）撮影画面の中央に位置する登録人物か、（２）顔のサイズが最も大きく、被写体がカメラの至近側に位置すると推定される登録人物か、（３）登録データに予め設定された登録人物間の優先順位が最も高い人物、のいずれかを主要被写体に指定する。この場合には、ＣＰＵ２０は、主要被写体となった登録人物に関する画像処理の設定を優先的に適用する。
【００４９】
ステップ１０８：ＣＰＵ２０は、Ｓ１０３で検出した顔領域と、Ｓ１０７で指定した主要被写体とを示す表示をモニタ１８で行う。なお、ＣＰＵ２０はその後にＳ１１０に移行する。
【００５０】
図４（ａ）にモニタ１８での顔領域および主要被写体の表示例を示す。図４（ａ）の例では、ＣＰＵ２０は、モニタ１８上のスルー画像において顔領域の位置に矩形の枠を重畳表示する。そして、ＣＰＵ２０は、矩形の枠の太さや色を変えるなどの手段によって、モニタ１８上で主要被写体に対応する顔領域を示している。これにより、ユーザーはスルー画像で顔検出の結果と、ＣＰＵ２０の指定した主要被写体とを確認することができる。
【００５１】
ステップ１０９：ＣＰＵ２０はＳ１０３で検出した顔領域のみを示す表示をモニタ１８で行う。なお、この場合のモニタ１８の表示は、図４（ｂ）に示すように、主要被写体の表示がない点を除いてＳ１０８の場合とほぼ共通する。
【００５２】
ステップ１１０：ＣＰＵ２０はレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ１１１に移行する。一方、レリーズ釦が半押しされていない場合（ＮＯ側）には、ＣＰＵ２０はＳ１０３に戻って上記動作を繰り返す。
【００５３】
ステップ１１１：ＣＰＵ２０は、Ｓ１０７で主要被写体が指定されているか否かを判定する。主要被写体が指定されている場合（ＹＥＳ側）には、ＣＰＵ２０はＳ１１２に移行する。一方、主要被写体が指定されていない場合（ＮＯ側）には、ＣＰＵ２０はＳ１１９に移行する。
【００５４】
ステップ１１２：ＣＰＵ２０は、Ｓ１０７で指定された主要被写体（登録人物）を基準としてＡＦおよびＡＥを実行する。
【００５５】
ステップ１１３：ＣＰＵ２０は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２０はＳ１１５に移行する。一方、レリーズ釦が全押しされていない場合（ＮＯ側）には、ＣＰＵ２０はＳ１１４に移行する。
【００５６】
ステップ１１４：ＣＰＵ２０は、レリーズ釦の半押しが解除されたか否かを判定する。レリーズ釦の半押しが解除された場合（ＹＥＳ側）には、ＣＰＵ２０はＳ１０３に戻って上記動作を繰り返す。一方、レリーズ釦が半押しされたままの場合（ＮＯ側）には、ＣＰＵ２０はＳ１１３に戻って上記動作を繰り返す。
【００５７】
ステップ１１５：ＣＰＵ２０は撮像素子１２を駆動させて本画像の撮像を行う。
【００５８】
ステップ１１６：ＣＰＵ２０は、主要被写体（Ｓ１０７）の登録人物に対応する詳細設定（Ｓ１０１）を第２メモリ２１から読み出す。
【００５９】
ステップ１１７：ＣＰＵ２０は、Ｓ１１６で読み出した詳細設定に基づいて、画像処理部１４に本画像のデータ（Ｓ１１５）の画像処理を指示する。このとき、ＣＰＵ２０は、画像処理部１４に対しては、図３（ｂ）の第２表示画面で示した画像処理のうち、「撮像時」が選択されているものの実行を指示する。なお、図３（ｂ）の第２表示画面で「撮像時」の項目がまったく選択されていない場合には、ＣＰＵ２０はＳ１１８に移行する。
【００６０】
そして、画像処理部１４は、本画像のうちの主要被写体（Ｓ１０７）の領域に対して、ＣＰＵ２０に指示された画像処理を選択的に施す。以下、画像処理部１４の実行する各々の画像処理を概説する。
【００６１】
第１に、美肌処理の場合には、画像処理部１４は、以下の（イ）〜（ホ）の少なくとも１つの画像処理を実行する。
【００６２】
（イ）画像処理部１４は、主要被写体の領域に対する輪郭強調処理を他の領域と変化させる。例えば、画像処理部１４は、撮影画像の主要被写体の領域には、他の領域よりも輪郭強調の度合いが弱い輪郭強調フィルタを適用して輪郭強調処理を実行する。その結果、主要被写体の人物の肌荒れなどが目立ちにくい好ましい画像を得ることができる。
【００６３】
（ロ）画像処理部１４は、主要被写体の領域の階調補正の特性を他の領域と変化させる。例えば、画像処理部１４は、本画像の主要被写体の領域には、他の領域と異なる階調曲線の階調特性テーブルを適用して階調補正を実行する。具体的には、主要被写体の領域に対しては、他の領域の階調曲線よりも相対的にコントラストが低めになる軟調の階調曲線の階調特性テーブルを適用する。その結果、主要被写体の顔に柔らかさのある好ましい画像を得ることができる。
【００６４】
（ハ）画像処理部１４は、主要被写体の領域の彩度を他の領域よりも高める補正を行う。例えば、画像処理部１４は、本画像の主要被写体の領域の彩度のパラメータを他の領域よりも相対的に高く設定する。その結果、主要被写体の人物の肌色のくすみなどが軽減された好ましい画像を得ることができる。
【００６５】
（ニ）画像処理部１４は、主要被写体の領域の階調をオーバー側に補正する。これにより、主要被写体が女性の場合には、肌が白く表現された好ましい画像を得ることができる。
【００６６】
（ホ）画像処理部１４は、主要被写体の領域にソフトフォーカス処理を施す。例えば、画像処理部１４は、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどによるフィルタ処理を本画像のデータに施してソフトフォーカス画像を生成する。また、画像処理部１４は、本画像からマスク画像を生成するとともに、マスク画像に基づいてフィルタ処理後の画像と原画像とを合成してソフトフォーカス画像を生成してもよい。これにより、主要被写体の女性が強調されるとともに、柔らかみのある好ましい画像を得ることができる。また、主要被写体の女性のしわや肌荒れなどが目立ちにくい好ましい画像を得ることができる。
【００６７】
第２に、痩身処理の場合には、例えば、画像処理部１４は、撮影画像の縦横比を若干縦長に変更した後、画像をトリミングして画像サイズを調整することで、本画像の主要被写体を痩身にみせる補正を実行する。あるいは、画像処理部１４は、特開２００４−２６４８９３号公報のように、アフィン変換などの幾何変換を伴う画像処理で顔の輪郭を補正して頬を細くみせるようにしてもよい。これにより、主要被写体の人物が痩せてみえる好ましい画像を得ることができる。
【００６８】
第３に、ノイズ除去の場合には、画像処理部１４は、主要被写体の領域のノイズ低減処理を他の領域と変化させる。例えば、画像処理部１４は、本画像のうちで主要被写体の領域のみを対象としてメディアンフィルタなどによるノイズ低減処理を実行する。その結果、主要被写体の顔の粒状感を低減できる。また、主要被写体の領域以外に施す画像処理を省略することで演算時間を短縮できる。
【００６９】
第４に、赤目補正の場合には、画像処理部１４は、主要被写体の領域に対してのみ画像処理による赤目軽減補正を施す。上記の赤目軽減補正は、例えば、特開平１０−２３３９２９号公報に開示された公知の技術により行われる。具体的には、画像処理部１４は、顔領域から赤目領域を検出するとともに、検出した赤目領域の明度または彩度を低下させる補正を行う。その結果、主要被写体の赤目を防止できる。また、主要被写体以外の人物に対する画像処理を省略することで演算時間を短縮できる。
【００７０】
ステップ１１８：ＣＰＵ２０は、Ｅｘｉｆ規格に準拠した画像ファイルの生成を行う。このとき、ＣＰＵ２０は、ワークメモリ（不図示）を利用して画像ファイルのヘッダのデータを生成する。ヘッダに記録された主要被写体の位置などのデータは、ユーザーが主要被写体に対する画像処理（Ｓ１１７と同様の処理）などを事後的に行なおうとする場合に使用される。
【００７１】
ここで、ＣＰＵ２０は、Ｅｘｉｆ規格のＭａｋｅｒＮｏｔｅタグを利用して、主要被写体（Ｓ１０７）の位置を示す第１データと、主要被写体に対する各々の画像処理の設定を示す第２データとをヘッダに記録する。上記の第２データには、美肌処理、痩身処理、ノイズ除去、赤目補正の各処理について、各々の画像処理における実行の有無と、再生時における画像処理の実行指示の有無とが記録される。なお、再生時における画像処理の実行指示がある場合のデータは、図３（ｂ）の第２表示画面で「再生時」の項目が選択されたときにＣＰＵ２０が生成する。
【００７２】
そして、ＣＰＵ２０は、本画像のデータと、上記のヘッダのデータとを関連づけして画像ファイルを生成し、この画像ファイルを最終的に記録媒体３に記録する。
【００７３】
ステップ１１９：この場合には、ＣＰＵ２０は通常の撮影時と同様のアルゴリズムでＡＦやＡＥを実行する。そして、レリーズ釦の全押しに応じて、ＣＰＵ２０は本画像のデータを生成する。以上で、図２に示す撮像工程の説明を終了する。
【００７４】
上記の電子カメラ１では、顔認証の結果に基づいて指定された主要被写体の領域に対して、他の領域と異なる画像処理が施される。そのため、本実施形態によれば、ユーザーにとって利便性の高い電子カメラを実現できる。
【００７５】
（画像処理装置での後処理工程）
以下、図５の流れ図を参照しつつ、画像処理装置２での後処理工程を説明する。
【００７６】
ステップ２０１：画像処理装置２の制御部３６は、電子カメラ１によって生成された画像ファイルの読み込みを行う。Ｓ２０１において、電子カメラ１と画像処理装置２との間での画像のデータの受け渡しは、記録媒体３の授受または通信回線４を介したデータ通信によって実現される。なお、Ｓ２０１で画像処理装置２が読み込む画像ファイルは、上記の電子カメラ１と画像ファイルと規格が共通するものであれば、他の電子カメラで生成されたものであってもよい。
【００７７】
ステップ２０２：制御部３６は、Ｓ２０１で読み出した画像ファイルのヘッダに主要被写体の位置および登録人物を示すデータが含まれているか否かを判定する。具体的には、制御部３６は、上記の撮像工程のＳ１１８で生成された第１データおよび第２データがあるか否かを判定する。ヘッダに上記のデータが含まれる場合（ＹＥＳ側）には、制御部３６はＳ２１２に移行する。画像ファイルに上記のデータが含まれない場合（ＹＥＳ側）には、制御部３６はＳ２０３に移行する。
【００７８】
ステップ２０３：制御部３６は、画像ファイル内の本画像のデータに顔検出処理を実行する。
【００７９】
ステップ２０４：制御部３６は、Ｓ２０３の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）には、制御部３６はＳ２０５に移行する。一方、顔領域を検出していない場合（ＮＯ側）には、制御部３６はＳ２０９に移行する。
【００８０】
ステップ２０５：制御部３６は、Ｓ２０３の顔検出処理で取得した特徴点のデータと、記録部３３の登録データとに基づいて、上記の顔領域のうちから登録人物の顔を検出する顔認証処理を実行する。
【００８１】
ステップ２０６：制御部３６は、Ｓ２０５の顔認証処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合（ＹＥＳ側）には、制御部３６はＳ２０７に移行する。一方、登録人物の顔を検出できない場合（ＮＯ側）には、制御部３６はＳ２０９に移行する。
【００８２】
ステップ２０７：制御部３６は、Ｓ２０５の顔認証処理の結果に基づいて、顔領域に対応する被写体のうちから主要被写体を指定する。ここで、制御部３６による主要被写体の指定の方法については、上記のＳ１０７の場合とほぼ共通するので重複説明を省略する。
【００８３】
ステップ２０８：制御部３６は、Ｓ２０７で指定した主要被写体の位置を示す第１データを、画像ファイルのヘッダに記録する。あるいは、制御部３６は、Ｓ２０１で読み出した画像ファイルとは別に、上記の第１データを含む画像ファイルを新たに生成してもよい。これにより、制御部３６は、次回以降において上記の顔認証処理の結果を再利用できる。
【００８４】
ステップ２０９：制御部３６は、解像度変換された本画像をモニタ３７に再生表示させる。このとき、制御部３６は、図６に示すようなＧＵＩ形式のメニュー表示をモニタ３７に表示し、ユーザーによる項目の選択入力を受け付ける。メニュー表示の項目には、例えば、フォトレタッチ、スライドショー、ＤＯＰＦ、通信などが含まれる。そして、制御部３６はメニュー表示で選択された項目に応じて各種の処理を実行する。なお、制御部３６は、表示終了後にＳ２１０に移行する。
【００８５】
以下、各項目の詳細を説明する。
【００８６】
（１）フォトレタッチ
メニュー表示でフォトレタッチの項目が選択された場合、制御部３６は、再生中の本画像のデータに、美肌処理、痩身処理、ノイズ除去、赤目補正などの画像処理を実行する。ここで、主要被写体が指定されている画像ファイルについては、制御部３６は、上記のＳ１１７の場合と同様に、主要被写体に対応する領域を対象とする画像処理を施すことができる。なお、個々の画像処理の説明は上記のＳ１１７と重複するので省略する。
【００８７】
（２）スライドショー
メニュー表示でスライドショーの項目が選択された場合、制御部３６は画像ファイルのスライドショーを実行し、複数の画像ファイル（例えば記録媒体３内の全画像ファイルなど）の画像を順次再生する。ここで、主要被写体が指定されている画像ファイルについては、制御部３６はスライドショーにおいて以下の処理を行う。
【００８８】
制御部３６は、本画像に含まれる主要被写体の人数に応じて、スライドショーでの画像表示時間を長く設定する。また、制御部３６は、スライドショーの表示において、主要被写体の顔の位置を基準として特殊効果を伴う表示を行うようにしてもよい。例えば、制御部３６は、主要被写体の顔の位置を基準としてズームアップ、ズームダウン、画像の回転、フェードイン、フェードアウトなどの表示を行うようにしてもよい。
【００８９】
（３）ＤＰＯＦ
メニュー表示でＤＰＯＦの項目が選択された場合、制御部３６は再生対象の画像ファイルに関する印刷設定データをＤＰＯＦ規格に準拠して生成する。ここで、主要被写体が指定されている画像ファイルについては、制御部３６は本画像の主要被写体の人数をカウントして印刷設定データの印刷枚数を自動的に指定する。また、主要被写体となった登録人物に関する印刷設定のデータが記録部３３にある場合には、制御部３６は登録人物の印刷設定を記録部３３からを読み出して、印刷設定データの印刷枚数や印刷サイズを指定してもよい。
【００９０】
（４）通信
メニュー表示で通信の項目が選択された場合、制御部３６は通信部３２を介して再生対象の画像ファイルを外部に送信する。例えば、主要被写体となった登録人物に関する送信設定のデータが記録部３３にある場合には、制御部３６は、アドレスデータを記録部３３から読み出して再生対象の画像ファイルを外部のコンピュータに送信する。
【００９１】
ステップ２１０：制御部３６は、Ｓ２０９で主要被写体の領域に対する画像処理（美肌処理、痩身処理、ノイズ除去、赤目補正など）を実行したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御部３６はＳ２１１に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３６は図５の流れ図の処理を終了する。
【００９２】
ステップ２１１：制御部３６は、上記の画像処理の内容を示す第２データを画像ファイルのヘッダに記録し、その後に図５の流れ図の処理を終了する。
【００９３】
ステップ２１２：制御部３６は、画像ファイルの第２データを読み出して、再生時における画像処理の実行指示があるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御部３６はＳ２１３に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３６はＳ２１４に移行する。
【００９４】
ステップ２１３：制御部３６は、第１データおよび第２データに基づいて、再生時に実行指示されている画像処理を本画像のデータに施す。その後、制御部３６は、画像ファイルのヘッダにある第２データを更新する。具体的には、Ｓ２１３で実行された画像処理に関する項目について、制御部３６は、再生時の実行指示をキャンセルするとともに画像処理の実行済を示すデータを記録する。なお、制御部３６は、ユーザーの指示に応じて、このＳ２１３での画像処理をキャンセルしてもよい。
【００９５】
ステップ２１４：制御部３６は、解像度変換された本画像をモニタ３７に再生表示させる。このＳ２１４での制御部３６は、画像ファイルの第２データに基づいて、主要被写体の領域に対する重複した画像処理を制限する。
【００９６】
具体的には、制御部３６は、画像ファイルの第２データを参照し、各々の画像処理が既に実行されたか否かをチェックする。そして、主要被写体に対して実行済みの画像処理がある場合には、制御部３６は、モニタ３７上のメニュー表示での項目を選択できない状態にして、ユーザーの選択操作を不能化する。一例として、図７に、Ｓ２１４での表示画面の一例を示す。この場合には、画像処理の項目が非表示となりユーザーの選択操作が不能化される。
【００９７】
なお、制御部３６は、表示終了後にＳ２１０に移行する。以上で、図５に示す後処理工程の説明を終了する。
【００９８】
上記の画像処理装置２では、主要被写体への同じ画像処理が重複して実行されることが防止される。そのため、ユーザーのミスにより画像のデータが損なわれるおそれが減少し、ユーザーの利便性が大きく向上する。
【００９９】
（実施形態の補足事項）
（１）上記実施形態では、画像処理装置２において後処理工程を実行する例を説明したが、電子カメラ１のＣＰＵ２０が上記の画像処理プログラムを実行し、電子カメラ１を本発明の画像処理装置として機能させてもよい。
【０１００】
（２）Ｓ２１４での他の例として、主要被写体に対して重複する画像処理をユーザーが選択した場合には、制御部３６がモニタ３７上に警告表示を行うようにしてもよい。なお、上記の警告表示があったときに、制御部３６は、画像処理の実行確認をユーザーに求めて、ユーザーの実行確認があったときは、その画像処理の不能化を解除するようにしてもよい。
【０１０１】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【０１０２】
【図１】本実施形態の画像処理システムの概略を示すブロック図
【図２】電子カメラでの撮像工程を説明する流れ図
【図３】モニタの設定画面の例を示す図
【図４】被写体認証時および顔検出時のモニタの表示例を示す図
【図５】画像処理装置での後処理工程を説明する流れ図
【図６】Ｓ２０９での表示画面の例を示す図
【図７】Ｓ２１４での表示画面の例を示す図
【符号の説明】
【０１０３】
１…電子カメラ、２…画像処理装置、１２…撮像素子、１４…画像処理部、１６…記録Ｉ／Ｆ、１７…通信Ｉ／Ｆ、１８…モニタ、１９…操作部、２０…ＣＰＵ、２１…第２メモリ、２３…顔検出部、２４…顔認証部、３１…データ読込部、３２…通信部、３３…記録部、３４…操作部、３５…表示Ｉ／Ｆ、３６…制御部、３７…モニタ
【図１】
2008258830.tif 000003
【図２】
2008258830.tif 000004
【図３】
2008258830.tif 000005
【図４】
2008258830.tif 000006
【図５】
2008258830.tif 000007
【図６】
2008258830.tif 000008
【図７】
2008258830.tif 000009