(57)【要約】【課題】  予め人物を撮影した画像データを読み込んで、目的とする人物の顔認識データを容易に生成できる画像処理装置を提供する。【解決手段】  画像処理装置は、制御部と、顔検出部と、顔画像生成部または顔認識データ生成部と、記録部と、を備える。制御部は、内蔵メモリ、記録媒体との接続部および外部通信手段の少なくとも１つを有するとともに、電子カメラで予め生成された撮影画像データを内蔵メモリ、記録媒体、外部通信手段を介して接続されたコンピュータのいずれかから取得する。顔検出部は、撮影画像データに基づいて、撮影画面内の顔領域を検出する。顔画像生成部は、顔領域の画像を切り出して顔画像データを生成する。顔認識データ生成部は、撮影画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、特徴点に基づいて顔認識データを生成する。記録部は、顔画像データまたは顔認識データを記録する。【選択図】  図１
2007148691.tif 000002
【特許請求の範囲】
【請求項１】
内蔵メモリ、記録媒体との接続部および外部通信手段の少なくとも１つを有するとともに、電子カメラで予め生成された撮影画像データを前記内蔵メモリ、前記記録媒体、前記外部通信手段を介して接続されたコンピュータのいずれかから取得する制御部と、
前記撮影画像データに基づいて、撮影画面内の顔領域を検出する顔検出部と、
前記顔領域の画像を切り出して顔画像データを生成する顔画像生成部または前記撮影画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、前記特徴点に基づいて顔認識データを生成する顔認識データ生成部と、
前記顔画像データまたは前記顔認識データを記録する記録部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮影画像データの再生画像に前記顔領域を識別する表示を合成する画像処理部と、
前記画像処理部の出力画像を表示する表示部と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ユーザーの入力を受け付ける入力部をさらに備え、
前記顔検出部は、前記入力部からの入力に基づいて前記顔領域の検出精度を規定する閾値を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ユーザーの入力を受け付ける入力部をさらに備え、
前記顔画像生成部または前記顔認識データ生成部は、前記撮影画像データから複数の顔領域が検出された場合、前記入力部からの入力で選択された顔領域について前記顔画像データまたは前記顔認識データを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記制御部は、同一の撮影人物から生成した複数の前記顔画像データまたは前記顔認識データをグループ化して前記記録部に記録することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記制御部は、前記撮影画像データの顔領域の部分を所定のサイズに切り出してインデックス画像データを生成するとともに、該インデックス画像データを前記顔画像データまたは前記顔認識データに対応付けて前記記録部に記録することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影画像データは撮影時の撮影条件を記録した付属データ領域を有し、
前記制御部は、前記付属データ領域の撮影条件に基づいて撮影条件データを生成するとともに、該撮影条件データを前記顔画像データまたは前記顔認識データに対応付けて前記記録部に記録することを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮影画像データは撮影日時を記録した付属データ領域を有し、
前記制御部は、前記付属データ領域の撮影日時に基づいて前記顔画像データまたは前記顔認識データの取得時期データを生成するとともに、該取得時期データを前記顔画像データまたは前記顔認識データに対応付けて前記記録部に記録することを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔認識機能を備えた画像処理装置に関する。
【背景技術】
【０００２】
従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている（特許文献１参照）。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。
【特許文献１】特開平６−２５９５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、顔認識データを登録する場合、より多くの撮影画像データから顔認識データを生成できるようにすることが要望されている。例えば、他の電子カメラで撮影した画像データや過去に撮影した画像データから顔認識データを生成できれば、ユーザーの利便性は大幅に向上する。また、顔登録作業では、煩雑な作業を行うことなく顔登録をより簡易に行える手段が要望されている。
【０００４】
本発明は上記従来技術の課題を解決するためのものであって、その目的は、予め人物を撮影した画像データを読み込んで、目的とする人物の顔認識データを容易に生成できる画像処理装置を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明に係る画像処理装置は、制御部と、顔検出部と、顔画像生成部または顔認識データ生成部と、記録部と、を備える。制御部は、内蔵メモリ、記録媒体との接続部および外部通信手段の少なくとも１つを有するとともに、電子カメラで予め生成された撮影画像データを内蔵メモリ、記録媒体、外部通信手段を介して接続されたコンピュータのいずれかから取得する。顔検出部は、撮影画像データに基づいて、撮影画面内の顔領域を検出する。顔画像生成部は、顔領域の画像を切り出して顔画像データを生成する。顔認識データ生成部は、撮影画像データの顔領域の部分から撮影人物の顔の特徴点を抽出し、特徴点に基づいて顔認識データを生成する。記録部は、顔画像データまたは顔認識データを記録する。
【０００６】
第２の発明は、第１の発明において、撮影画像データの再生画像に顔領域を識別する表示を合成する画像処理部と、画像処理部の出力画像を表示する表示部と、をさらに備える。
第３の発明は、第２の発明において、ユーザーの入力を受け付ける入力部をさらに備える。顔検出部は、入力部からの入力に基づいて顔領域の検出精度を規定する閾値を変更する。
【０００７】
第４の発明は、第２の発明において、ユーザーの入力を受け付ける入力部をさらに備える。顔画像生成部または顔認識データ生成部は、撮影画像データから複数の顔領域が検出された場合、入力部からの入力で選択された顔領域について顔画像データまたは顔認識データを生成する。
第５の発明は、第１から第４のいずれかの発明において、制御部は、同一の撮影人物から生成した複数の顔画像データまたは顔認識データをグループ化して記録部に記録する。
【０００８】
第６の発明は、第１から第５のいずれかの発明において、制御部は、撮影画像データの顔領域の部分を所定のサイズに切り出してインデックス画像データを生成するとともに、該インデックス画像データを顔画像データまたは顔認識データに対応付けて記録部に記録する。
第７の発明は、第１から第６のいずれかの発明において、撮影画像データは撮影時の撮影条件を記録した付属データ領域を有する。制御部は、付属データ領域の撮影条件に基づいて撮影条件データを生成するとともに、該撮影条件データを顔画像データまたは顔認識データに対応付けて記録部に記録する。
【０００９】
第８の発明は、第１から第７のいずれかの発明において、撮影画像データは撮影日時を記録した付属データ領域を有する。制御部は、付属データ領域の撮影日時に基づいて顔画像データまたは顔認識データの取得時期データを生成するとともに、該取得時期データを顔画像データまたは顔認識データに対応付けて記録部に記録する。
ここで、上記発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１０】
本発明によれば、予め人物を撮影した画像データを読み込んで、目的とする人物の顔認識データを容易に生成することができる。
【発明を実施するための最良の形態】
【００１１】
図１は本発明の画像処理装置の一実施形態である電子カメラの構成を示すブロック図である。
電子カメラは、撮影光学系１１と、第１レンズ駆動部１２と、揺動センサ部１３と、像ぶれ補正レンズ１４と、第２レンズ駆動部１５と、撮像素子１６と、アナログ信号処理部１７と、Ａ／Ｄ変換部１８と、内蔵メモリ１９と、画像処理部２０と、カードＩ／Ｆ２１と、入出力Ｉ／Ｆ２２と、操作部材２３および液晶モニタ２４と、閃光発光部２５と、ＣＰＵ２６と、顔登録メモリ２７およびデータバス２８とを有している。なお、内蔵メモリ１９、画像処理部２０、カードＩ／Ｆ２１、入出力Ｉ／Ｆ２２およびＣＰＵ２６は、データバス２８を介して接続されている。
【００１２】
撮影光学系１１は、ズームレンズ１１ａと、合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影光学系１１を構成する各レンズは、第１レンズ駆動部１２によって光軸方向に駆動調整される。
揺動センサ部１３は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部１３は電子カメラの揺れを示すカメラ揺動データをＣＰＵ２６に出力する。このカメラ揺動データは、像ぶれ補正レンズ１４の移動量の演算に使用される。
【００１３】
像ぶれ補正レンズ１４は光軸直角方向に揺動可能に構成されている。第２レンズ駆動部１５は、像ぶれ補正レンズ１４を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ１４を横方向に揺動させる横揺動手段とで構成される。この第２レンズ駆動部１５は、ＣＰＵ２６が演算した像ぶれ補正レンズ１４の移動量に基づいて、像ぶれ補正レンズ１４を揺動させてぶれ補正を実行する。
【００１４】
撮像素子１６は、撮影光学系１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子１６は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号（スルー画像信号）を出力する。スルー画像信号は、後述のＡＦ演算、ＡＥ演算および顔検出動作や、ファインダ用画像の生成などに使用される。
【００１５】
アナログ信号処理部１７は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１８は撮像素子１６のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ１９は、画像処理部２０での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ１９には後述の撮影画像データを記録可能な記録領域を設けることもできる。
【００１６】
画像処理部２０はデジタル画像信号に所定の画像処理を施す。この画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部２０はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、ＣＰＵ２６による顔認識処理に使用されるとともに、液晶モニタ２４の表示画像（プレビュー画像）としても使用される。さらに、画像処理部２０は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部２０は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。
【００１７】
また、画像処理部２０は、ＣＰＵ２６の指示により各種表示（顔認識時の枠表示など）のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ２４に出力する。これによって、プレビュー画像には上記の各種表示が合成される。
カードＩ／Ｆ２１には、記録媒体２９を接続するためのコネクタが形成されている。記録媒体２９は公知の半導体メモリなどで構成される。そして、カードＩ／Ｆ２１は、記録媒体２９に対する撮影画像データの書き込み／読み込みを制御する。
【００１８】
入出力Ｉ／Ｆ２２には、操作部材２３および液晶モニタ２４が接続されている。操作部材２３は入力釦やレリーズ釦などを備えている。操作部材２３の入力釦は、例えば、電子カメラの撮影モード（通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等）の切り換え入力などを受け付ける。また、操作部材２３のレリーズ釦は、半押しによるＡＦ動作の指示入力と、全押しによるレリーズ入力とを受け付ける。
【００１９】
一方、液晶モニタ２４は主として電子カメラの背面部分に配置される。この液晶モニタ２４には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ２４には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ２４のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。
【００２０】
さらに、入出力Ｉ／Ｆ２２には外部接続端子が形成されている。そして、入出力Ｉ／Ｆ２２は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。また、入出力Ｉ／Ｆ２２の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット３０を接続することも可能である。
【００２１】
閃光発光部２５は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。
ＣＰＵ２６は、不図示のＲＯＭに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、ＣＰＵ２６はスルー画像信号に基づいて公知のコントラスト方式のＡＦ（オートフォーカス）演算や、公知のＡＥ（自動露出）演算などを実行する。また、ＣＰＵ２６は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ１４の移動量を演算する。
【００２２】
さらに、ＣＰＵ２６は顔検出部３１、顔認識部３２として機能する。顔検出部３１は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。
【００２３】
顔認識部３２は、「顔登録モード」では、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部３２は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。
また、顔認識部３２は、「顔認識撮影モード」では、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３２は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３２は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３２は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。
【００２４】
なお、ＣＰＵ２６は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子１６へのレリーズ指示などを実行することが可能である。
顔登録メモリ２７には、ＣＰＵ２６の顔認識部３２が生成した顔認識データが記録される。この顔登録メモリ２７には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ２７の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、ＣＰＵ２６はグループフォルダ内の顔認識データを顔登録メモリ２７から一括して読み出すことが可能となっている。
【００２５】
また、顔登録メモリ２７には、「登録人物の名称」および「顔認識時の処理設定」のデータが記録されている。上記の「登録人物の名称」および「顔認識時の処理設定」は、各登録人物のグループフォルダにそれぞれ対応付けされている。
ここで、「顔認識時の処理設定」には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、「顔認識時の処理設定」には、（１）撮影時の撮影条件の設定、（２）撮影画像データの画像処理の設定、（３）撮影画像データの記録先の設定、（４）撮影画像データの印刷指定の設定、（５）撮影画像データの送信設定、などが含まれる。
【００２６】
上記（１）の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定（浅め、標準の選択）などが含まれる。また、登録人物の検出の際にＣＰＵ２６が自動的に撮影を行う設定も可能である。上記（２）の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。
上記（３）の記録先の設定では、撮影画像データの記録先となる記録媒体２９内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、ＣＰＵ２６は顔登録メモリ２７のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。
【００２７】
上記（４）の印刷指定の設定では、例えば、ＤＰＯＦ（Digital Print Order Format）などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記（５）の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報（電子メールアドレス）とを指定できる。
また、顔登録メモリ２７には、「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータが記録されている。上記の「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。
【００２８】
上記の「顔登録画像」は顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、「顔登録画像」は上記の編集画面で液晶モニタ２４に表示される。すなわち、「顔登録画像」は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、「顔登録画像」によって、ユーザーは誰のどのような画像（顔正面、横向きなど）から顔認識データが生成されたかを編集画面で確認することも可能となる。
【００２９】
「顔認識データの登録時期」は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、「顔認識データの取得時の撮影条件」は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系１１の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、ＣＰＵ２６が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。
【００３０】
以下、本実施形態の電子カメラの動作を「顔登録モード」と「顔認識撮影モード」とに分けて説明する。
（顔登録モードでの動作）
図２は本実施形態の「顔登録モード」の動作を示す流れ図である。この「顔登録モード」は再生モードの一種であって、撮影画像データの再生時において顔認識データを生成するためのモードである。
【００３１】
ステップ１０１：まず、ユーザーは操作部材２３により電子カメラを「再生モード」に設定する。ＣＰＵ２６は記録媒体２９や内蔵メモリ１９から顔登録画像データ（顔認識データの生成に使用する撮影画像データ）を読み出して、顔登録画像データの再生画像を液晶モニタ２４に再生表示する。なお、ＣＰＵ２６は、入出力Ｉ／Ｆ２２の外部接続端子または通信ユニット３０を介して接続されたコンピュータ（不図示）から顔登録画像データを読み出すこともできる。
【００３２】
ステップ１０２：ユーザーは操作部材２３により電子カメラのモードを「顔登録モード」に設定する。
例えば、電子カメラが「再生モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図３参照）を液晶モニタ２４に表示する。そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に「顔登録モード」の起動を指示する。これにより、ＣＰＵ２６は「顔登録モード」の一連の動作を開始する。
【００３３】
ステップ１０３：ＣＰＵ２６の顔検出部３１は、顔登録画像データ（Ｓ１０１）に公知の顔検出処理を施して撮影画面内の顔領域を検出する。
ステップ１０４：ＣＰＵ２６は撮影画面での顔領域の位置を画像処理部２０に出力する。そして、画像処理部２０は再生画像の顔領域の位置に矩形の枠を合成表示する（図４〜図６参照）。これにより、ユーザーは液晶モニタ２４で顔検出の状態を確認できる。
【００３４】
ステップ１０５：ＣＰＵ２６は顔検出処理の再試行をユーザーに確認する表示（「ＯＫ」および「やり直し」の選択表示）を液晶モニタ２４に表示する（図４参照）。登録しようとする人物の顔に枠表示がない場合には、ユーザーは操作部材２３で「やり直し」を選択入力する。一方、登録しようとする人物の顔に枠表示がある場合には、ユーザーは操作部材２３で「ＯＫ」を選択入力する。
【００３５】
そして、ＣＰＵ２６は、上記の確認表示で「やり直し」（顔検出処理の再試行）が選択されたか否かを判定する。「やり直し」が選択された場合（ＹＥＳ側）にはＳ１０６に移行する。一方、「ＯＫ」が選択された場合（ＮＯ側）にはＳ１０７に移行する。
ステップ１０６：ＣＰＵ２６の顔検出部３１は、操作部材２３からのユーザーの入力に基づいて、顔領域の検出精度を規定する閾値を変更する。
【００３６】
例えば、選択したい人物の顔に枠表示がない場合には、ユーザーは上記の閾値を前回よりも低い値に変更する。その後、Ｓ１０３に戻って、顔検出部３１は顔登録画像データに顔検出処理を施して撮影画面内の顔領域を再検出する。この場合には、顔領域を正しく検出する正解率は低下する一方で顔候補（枠表示される顔領域）の数は前回より増えるので、顔検出がしにくい状態の顔領域（例えば横向きの顔など）を検出できる可能性がより向上する。
【００３７】
また、顔登録画像に多数の人物が写っており、かつ顔候補が必要以上に検出されている場合には、ユーザーは上記の閾値を前回よりも高い値に変更する。その後、Ｓ１０３に戻って、顔検出部３１は顔登録画像データに顔検出処理を施して撮影画面内の顔領域を再検出する。この場合には、顔領域を正しく検出する正解率が高まるので、顔候補の数が絞り込まれて後述の選択作業（Ｓ１０７）が容易となる。
【００３８】
ステップ１０７：ＣＰＵ２６は顔登録画像のいずれかの顔領域（Ｓ１０３）に選択枠を合成表示する（図５参照）。ユーザーは、操作部材２３で選択枠を操作して顔認識データを作成する人物を選択する一方で、ＣＰＵ２６はユーザーの選択入力を受け付ける。なお、Ｓ１０７では、ユーザーは１つの再生画像から複数の顔領域を選択することも可能である。
【００３９】
ステップ１０８：ＣＰＵ２６は、選択された人物が新規の登録人物か否かをユーザーに確認する表示（「新規」および「追加」の選択表示）を液晶モニタ２４に表示する（図６参照）。この画面では、ユーザーは入力釦で選択枠を操作して「新規」または「追加」をＣＰＵ２６に選択入力する。新たな人物の顔を登録する場合には、ユーザーは「新規」を選択入力する。一方、既に登録されている人物の顔をさらに撮影する場合には、ユーザーは「追加」を選択入力する。
【００４０】
そして、ＣＰＵ２６は、上記の確認表示で「新規」が選択されたか否かを判定する。「新規」が選択された場合（ＹＥＳ側）にはＳ１０９に移行する。一方、「追加」が選択された場合（ＮＯ側）にはＳ１１０に移行する。
ステップ１０９：Ｓ１０８で「新規」が選択された場合、ＣＰＵ２６は顔登録メモリ２７に新規登録人物のグループフォルダを生成する。そして、ＣＰＵ２６は「登録人物の詳細情報画面」（図８参照）を液晶モニタ２４に表示するとともに、ユーザーに「登録人物の名称」および「顔認識時の処理設定」の情報の入力を促す。図８の「登録人物の詳細情報画面」で入力された情報は、グループフォルダに対応付けされた状態で顔登録メモリ２７に記録される。その後、Ｓ１１１に移行する。
【００４１】
なお、ユーザーは「登録人物の名称」および「顔認識時の処理設定」の入力を省略し、後で改めて図８の「登録人物の詳細情報画面」を立ち上げて、これらの情報を顔登録メモリ２７に入力することも可能である。
ステップ１１０：一方、Ｓ１０８で「追加」が選択された場合、ＣＰＵ２６は既に登録されている登録人物の選択画面（図７参照）を液晶モニタ２４に表示し、顔認識データを追加する登録人物をユーザーに選択入力させる。
【００４２】
ステップ１１１：ＣＰＵ２６の顔認識部３２は、顔登録画像データのうちで選択された顔領域（Ｓ１０７）から登録人物の顔認識データを生成する。また、画像処理部２０は、顔登録画像データの顔領域をトリミングするとともに、解像度変換で所定のサイズにリサイズしてインデックス画像データを生成する。
ステップ１１２：ＣＰＵ２６は、顔登録画像データの付属データ領域に記録されている撮影条件および撮影日時のデータを取得する。例えば、顔登録画像データがＥｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠した画像ファイルの場合には、ＣＰＵ２６は画像ファイルにタグ形式で記録されている撮影条件および撮影日時のデータを読み出して取得する。なお、顔登録画像データのデータ形式が上記の付属データ領域を含まない場合にはこの工程は省略される。
【００４３】
ステップ１１３：ＣＰＵ２６は、顔認識データ、インデックス画像データ、顔登録画像データの撮影条件および撮影日時を顔登録メモリ２７に記録する。上記の各データはそれぞれ対応付けされた状態で、Ｓ１０９またはＳ１１０で指定された登録人物のグループフォルダに記録される。上記の各データのうち、インデックス画像データは「顔登録画像」に対応する。また、撮影日時は「顔認識データの登録時期」に対応し、撮影条件は「顔認識データの取得時の撮影条件」に対応する。
【００４４】
以上で、「顔登録モード」での一連の動作が終了する。なお、Ｓ１０７で複数の顔領域が指定されている場合には、ＣＰＵ２６は顔領域の数に応じてＳ１０８からＳ１１３までの処理を繰り返す。
以下、本実施形態の「顔登録モード」の効果を説明する。上記の顔登録モードでは、再生時において記録媒体２９などから読み込んだ撮影画像データから顔認識データが生成される（Ｓ１０１、Ｓ１１１）。すなわち、過去に撮影した撮影画像データや、他の電子カメラで撮影された撮影画像データから顔認識データを生成できるので、ユーザーの利便性が大幅に向上する。
【００４５】
また、上記の顔登録モードでは、顔検出処理で自動的に検出された顔領域に基づいて顔認識データが生成される（Ｓ１０３、Ｓ１１１）。このとき、ユーザーは検出された顔領域のうちから顔認識データを生成する対象を指定すれば足りるので、顔認識データを容易に生成することができる。
（顔登録モードの動作の変形例）
上記の実施形態では撮影時に顔登録画像から顔認識データを生成する例を説明した。しかし、顔登録画像から顔認識データを生成する代わりに、ＣＰＵが顔登録画像から顔領域の部分を切り出して顔画像データを生成し、この顔画像データをメモリや記録媒体に記録するようにしてもよい。そして、コンピュータによる後処理で顔画像データから顔認識データを生成するようにすることもできる。
【００４６】
ここで、顔画像データは、顔登録画像の顔領域を例えば８０×８０画素程度のサイズで切り出して生成される。かかる顔画像データの画像に対しては、解像度変換による変倍処理を施さないようにするのが好ましい。また、顔登録画像データの場合と同様に、ＣＰＵは、上記の顔画像データに、インデックス画像データ、顔登録画像データの撮影条件および撮影日時を対応付けして記録しておくことが好ましい。さらに、上記の顔画像データについても、ＣＰＵは、同一の撮影人物から生成した複数の顔画像データを同一のフォルダ等にグループ化して記録するのが好ましい。
【００４７】
（顔認識撮影モードでの動作）
図９は本実施形態の「顔認識撮影モード」の動作を示す流れ図である。この「顔認識撮影モード」は、指定した登録人物が撮影画面に存在する場合に、電子カメラが所定の制御を行って撮影画像データを取得する撮影モードである。
ステップ２０１：まず、ユーザーは操作部材２３により電子カメラの撮影モードを「顔認識撮影モード」に設定する。
【００４８】
例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図１０参照）を液晶モニタ２４に表示する。そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に「顔認識撮影モード」の起動を指示する。これにより、ＣＰＵ２６は「顔認識撮影モード」の一連の動作を開始する。
【００４９】
ステップ２０２：ＣＰＵ２６は、登録人物の選択画面（図７参照）を液晶モニタ２４に表示する。そして、ＣＰＵ２６は、顔認識対象の登録人物（撮影時に顔認識を行う登録人物）の指定入力を受け付ける。なお、顔認識対象の登録人物を撮影前に予めユーザーがＣＰＵ２６に指定入力しておくことも可能である。
ここで、「登録人物の選択画面」では、ＣＰＵ２６は１または２以上の登録人物の指定を受け付けることができる。例えば、ＣＰＵ２６は顔登録メモリ２７の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ（例えば、家族、サークルなど）で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、ＣＰＵ２６にリンクされた登録人物の一括指定を入力することもできる。
【００５０】
ステップ２０３：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ２０４：一方、ＣＰＵ２６の顔検出部３１は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。
【００５１】
ステップ２０５：ＣＰＵ２６はＳ２０４で撮影画面から顔検出されたか否かを判定する。顔検出された場合（ＹＥＳ側）にはＳ２０６に移行する。一方、顔検出されていない場合（ＮＯ側）にはＳ２０９に移行する。
ステップ２０６：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算を実行する。なお、顔領域を複数検出した場合には、ＣＰＵ２６は、撮影画面の中央に位置する顔領域または最も至近側に位置する顔領域を優先してＡＦ演算を実行する。
【００５２】
ステップ２０７：ＣＰＵ２６の顔認識部３２は、検出した顔領域（Ｓ２０４）に対して顔認識処理を実行する。そして、顔認識部３２は、認識対象の顔（Ｓ２０２）が含まれているか否かを判定する。認識対象の顔が含まれている場合（ＹＥＳ側）にはＳ２０８に移行する。一方、認識対象の顔が含まれない場合（ＮＯ側）にはＳ２１０に移行する。
ステップ２０８：ＣＰＵ２６は、検出された登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、Ｓ２１０に移行する。
【００５３】
ここで、認識対象の顔が撮影画面内に複数検出されている場合には、ＣＰＵ２６は所定のアルゴリズムで登録人物の優先順位を決定する。そして、ＣＰＵ２６は、優先順位が最も高い登録人物に対応する「顔認識時の処理設定」に基づいて電子カメラの各種設定を変更する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、ＣＰＵ２６はＳ２１１に移行して登録人物を自動的に撮影する。
【００５４】
ステップ２０９：一方、この場合には、ＣＰＵ２６はユーザーによるレリーズ釦の半押し操作に応じて、通常撮影時のアルゴリズムでＡＦエリアを選択してＡＦ演算を実行する。
ステップ２１０：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ２１１に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＣＰＵ２６はレリーズ釦の全押し操作を待機する。
【００５５】
ステップ２１１：ＣＰＵ２６は撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。なお、認識対象の顔が撮影されている場合には、画像処理部２０はＳ２０８で設定された画像処理を撮影画像データに施す。
ステップ２１２：ＣＰＵ２６は撮影画像データを記録媒体２９に記録する。なお、認識対象の顔が撮影されている場合、ＣＰＵ２６は顔登録メモリ２７で指定されているディレクトリパスに基づいて、所定の記録フォルダに撮影画像データを分類して記録することもできる。以上で、「顔認識撮影モード」での一連の動作が終了する。
【００５６】
以下、本実施形態の「顔認識撮影モード」の効果を説明する。上記の顔認識撮影モードでは、顔認識データに基づいて撮影人物の顔認識が行われる（Ｓ２０７）。そして、認識対象の顔が検出された場合には、その登録人物に対応する設定で撮影時の各種処理などが行われる（Ｓ２０８、Ｓ２１１、Ｓ２１２）。そのため、登録人物の撮影時にユーザーの意図を反映させた処理を自動的に行うことができ、電子カメラを操作するユーザーの利便性が著しく向上する。
【００５７】
（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。
（１）上記実施形態において、「顔登録モード」および「顔検出撮影モード」を、「通常撮影モード」、「ポートレート撮影モード」、「再生モード」などと同様にモードダイヤル等で直接指定して立ち上げられるようにしてもよい。
【００５８】
（２）顔登録メモリの「顔認識データの登録時期」のデータは、元となる顔登録画像データが概ねいつ頃撮影されたかを示すものでも足りる。したがって、「顔認識データの登録時期」については撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。
（３）「顔認識撮影モード」の顔認識処理（Ｓ２０７）では、顔認識部３２はグループ化された顔認識データのうちから判定に使用する顔認識データを所定条件で絞り込むようにしてもよい。例えば、顔認識部３２は、「顔認識データの登録時期」に基づいて撮影日時よりも一定期間以上古い顔認識データを除外してもよい。同様に、顔認識部３２は「顔認識データの取得時の撮影条件」に基づいて今回の撮影条件と大きく異なる撮影条件で生成された顔認識データを除外してもよい。
【００５９】
（４）「顔認識撮影モード」の顔認識処理（Ｓ２０７）では、顔認識部３２は撮影光学系１１の焦点距離のデータから演算したディストーションの度合いに応じて、顔認識データを補正するようにしてもよい。
（５）「顔登録モード」において、ＣＰＵ２６はユーザーの入力に基づいて顔認識データの顔の向きに関する識別情報を生成し、顔登録メモリ２７に上記識別情報も記録するようにしてもよい。
【００６０】
（６）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ１９と顔登録メモリ２７とが共通のメモリで構成されていてもよい。顔登録メモリ２７がデータバス２８を介してＣＰＵ２６に接続されていてもよい。また、揺動センサ部１３、像ぶれ補正レンズ１４および第２レンズ駆動部１５からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット３０が内蔵されていてもよい。
【００６１】
（７）ＣＰＵ２６は顔登録メモリ２７内のデータを記録媒体２９に記録して、顔登録メモリ２７のバックアップを可能としてもよい。また、ＣＰＵ２６は、予め他の電子カメラで生成された顔認識データ等を記録媒体２９から取得し、電子カメラ間で顔登録メモリ２７のデータを共用できるようにしてもよい。
（８）本発明の画像処理装置は上記実施形態の電子カメラの構成に限定されることはない。例えば、本発明の画像処理装置を、画像データを外部から読み込む手段と、顔認識データを記録する記録部と、上記の「顔登録モード」のプログラムを実行する制御部と、を備えたパーソナルコンピュータ等で構成してもよい（図示を省略する）。
【図面の簡単な説明】
【００６２】
【図１】本実施形態の電子カメラの構成を示すブロック図
【図２】本実施形態の「顔登録モード」での動作を示す流れ図
【図３】顔登録モードを指定可能なモード選択画面の一例を示す図
【図４】顔検出処理の再試行を確認する表示の一例を示す図
【図５】選択枠による顔領域の選択状態を示す図
【図６】「新規」および「追加」の選択表示の一例を示す図
【図７】登録人物の選択画面の一例を示す図
【図８】登録人物の詳細情報画面の一例を示す図
【図９】本実施形態の「顔認識撮影モード」の動作を示す流れ図
【図１０】顔認識撮影モードを指定可能なモード選択画面の一例を示す図
【符号の説明】
【００６３】
１９…内蔵メモリ、２０…画像処理部、２１…カードＩ／Ｆ、２２…入出力Ｉ／Ｆ、２３…操作部材、２４…液晶モニタ、２６…ＣＰＵ、２７…顔登録メモリ、２９…記録媒体、３０…通信ユニット、３１…顔検出部、３２…顔認識部
【図１】
2007148691.tif 000003
【図２】
2007148691.tif 000004
【図３】
2007148691.tif 000005
【図４】
2007148691.tif 000006
【図５】
2007148691.tif 000007
【図６】
2007148691.tif 000008
【図７】
2007148691.tif 000009
【図８】
2007148691.tif 000010
【図９】
2007148691.tif 000011
【図１０】
2007148691.tif 000012