(57)【要約】【課題】  従来は、誤認識により未撮影の人物を撮影済と判断して、撮影漏れになってしまうという問題があった。【解決手段】  本発明では、顔画像を記憶する顔画像記憶手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像を記録する画像記録手段と、前記撮像手段により撮像された画像から顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像に付随する情報を検出する顔付随情報検出手段と、前記顔検出手段により検出された顔画像が前記被写体記憶手段に記憶された顔画像に類似しているか否かを検出する類似検出手段と、前記顔付随情報検出手段および前記類似検出手段の検出結果に基づいて、前記被写体記憶手段に記憶された顔画像を含む画像が撮影されたか否かを判別し、未撮影の顔画像を表示媒体に表示する制御手段とを備えることを特徴とする。【選択図】図１
2013118574.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を記憶する顔画像記憶手段と、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像を記録する画像記録手段と、
前記撮像手段により撮像された画像から顔を検出する顔検出手段と、
前記顔検出手段により検出された顔に付随する情報を検出する顔付随情報検出手段と、
前記顔検出手段により検出された顔が前記被写体記憶手段に記憶された顔画像に類似しているか否かを検出する類似検出手段と、
前記顔付随情報検出手段および前記類似検出手段の検出結果に基づいて、前記被写体記憶手段に記憶された顔画像を含む画像が撮影されたか否かを判別し、未撮影の顔画像を表示媒体に表示する制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記被写体記憶手段に予め記憶された顔画像は、複数の被写体に対応し、
前記制御手段は、前記被写体毎に前記判別結果を表示する
ことを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記顔付随情報検出手段は、
前記顔検出手段により検出された顔画像に対して、前記被写体画像内における顔の位置、顔の大きさ、顔の向き、顔の個数、顔のボケ、顔のブレの少なくとも１つの顔画像の撮影状態を検出する顔画像状態検出手段と、
前記顔検出手段により検出された顔画像の撮影内容を解析し、眼鏡の反射状態、帽子の装着状態、目の状態の少なくとも１つを属性として検出する顔属性検出手段と
で構成され、
前記制御手段は、前記顔画像状態検出手段の検出結果が予め設定された条件を満たす場合に前記類似検出手段による検出を行った後、更に前記類似検出手段が求めた類似度合いが予め設定された条件を満たす場合に前記顔属性検出手段による検出を行い、前記顔属性検出手段の検出結果が予め設定された条件を満たす場合に当該顔画像を撮影済に設定する
ことを特徴とする撮像装置。
【請求項４】
請求項１から３のいずれか一項に記載の撮像装置において、
前記制御手段は、前記顔付随情報検出手段および前記類似検出手段の各検出結果に基づいて前記被写体記憶手段に記憶された顔画像を撮影済に設定するか否かを判断できない場合、前記顔検出手段が検出した顔画像と、前記検出結果に類似する前記被写体記憶手段に記憶された顔画像とを並べて表示する
ことを特徴とする撮像装置。
【請求項５】
請求項１から４のいずれか一項に記載の撮像装置において、
前記制御手段は、前記画像記録手段が記録した撮影済の被写体画像に対して、前記顔検出手段、前記顔付随情報検出手段および前記類似検出手段の各処理を実行し、前記被写体記憶手段に記憶された顔画像を含む画像が撮影済であるか否かを判別する
ことを特徴とする撮像装置。
【請求項６】
請求項３から５に記載の撮像装置において、
前記顔属性検出手段は、更に性別、年齢の少なくとも一つの属性を検出し、
前記性別が女性の場合および前記年齢が予め設定された年齢より低い場合の少なくとも一つの条件を満たす場合に前記類似検出手段の判別条件を変更する
ことを特徴とする撮像装置。
【請求項７】
請求項１から６のいずれか一項に記載の撮像装置において、
前記制御手段は、顔画像毎に撮影済と判別された回数をカウントして前記回数が予め設定された回数以上の場合は、前記被写体記憶手段から当該顔画像を削除または判定対象外とする
ことを特徴とする撮像装置。
【請求項８】
請求項１から７のいずれか一項に記載の撮像装置において、
前記制御手段は、撮影済の顔画像と未撮影の顔画像とを前記表示媒体に表示する時に、前記未撮影の顔画像を前記撮影済の顔画像よりも大きく表示する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
複数の人が集まる場所で参加者の顔を漏れなく撮影する技術が求められている。例えば、撮影画像に予め登録された参加者の顔画像が含まれている場合は当該参加者を撮影済とし、未撮影の顔画像を表示部に表示して参加者の撮影漏れを防止する技術が考えられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−００４４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、顔の認識率は完全ではなく、撮影された顔画像の条件が良くない場合は顔の認識率が低くなる。例えば、撮影画像に写っている人物が正面を向いていない場合、メガネや帽子など予め登録された画像と異なる場合、顔の一部が隠れている場合、顔画像の解像度や鮮明度が低い場合などでは、顔認識ができなかったり、誤認識する可能性がある。特に誤認識の場合は、実際には未撮影の人物であるにも拘わらず撮影済と判断され、撮影漏れになってしまうという問題がある。
【０００５】
本発明の目的は、顔の認識率の向上と誤認識の低減を図ることにより、撮影漏れを防ぐことができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、顔画像を記憶する顔画像記憶手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像を記録する画像記録手段と、前記撮像手段により撮像された画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔に付随する情報を検出する顔付随情報検出手段と、前記顔検出手段により検出された顔が前記被写体記憶手段に記憶された顔画像に類似しているか否かを検出する類似検出手段と、前記顔付随情報検出手段および前記類似検出手段の検出結果に基づいて、前記被写体記憶手段に記憶された顔画像を含む画像が撮影されたか否かを判別し、未撮影の顔画像を表示媒体に表示する制御手段とを備えることを特徴とする。
【０００７】
また、前記被写体記憶手段に予め記憶された顔画像は、複数の被写体に対応し、前記制御手段は、前記被写体毎に前記判別結果を表示することを特徴とする。
【０００８】
さらに、前記顔付随情報検出手段は、前記顔検出手段により検出された顔画像に対して、前記被写体画像内における顔の位置、顔の大きさ、顔の向き、顔の個数、顔のボケ、顔のブレの少なくとも１つの顔画像の撮影状態を検出する顔画像状態検出手段と、前記顔検出手段により検出された顔画像の撮影内容を解析し、眼鏡の反射状態、帽子の装着状態、目の状態の少なくとも１つを属性として検出する顔属性検出手段とで構成され、前記制御手段は、前記顔画像状態検出手段の検出結果が予め設定された条件を満たす場合に前記類似検出手段による検出を行った後、更に前記類似検出手段が求めた類似度合いが予め設定された条件を満たす場合に前記顔属性検出手段による検出を行い、前記顔属性検出手段の検出結果が予め設定された条件を満たす場合に当該顔画像を撮影済に設定することを特徴とする。
【０００９】
また、前記制御手段は、前記顔付随情報検出手段および前記類似検出手段の各検出結果に基づいて前記被写体記憶手段に記憶された顔画像を撮影済に設定するか否かを判断できない場合、前記顔検出手段が検出した顔画像と、前記検出結果に類似する前記被写体記憶手段に記憶された顔画像とを並べて表示することを特徴とする。
【００１０】
或いは、前記制御手段は、前記画像記録手段が記録した撮影済の被写体画像に対して、前記顔検出手段、前記顔付随情報検出手段および前記類似検出手段の各処理を実行し、前記被写体記憶手段に記憶された顔画像を含む画像が撮影済であるか否かを判別することを特徴とする。
【００１１】
さらに、前記顔属性検出手段は、更に性別、年齢の少なくとも一つの属性を検出し、前記性別が女性の場合および前記年齢が予め設定された年齢より低い場合の少なくとも一つの条件を満たす場合に前記類似検出手段の判別条件を変更することを特徴とする。
【００１２】
また、前記制御手段は、顔画像毎に撮影済と判別された回数をカウントして前記回数が予め設定された回数以上の場合は、前記被写体記憶手段から当該顔画像を削除または判定対象外とすることを特徴とする。
【００１３】
さらに、前記制御手段は、撮影済の顔画像と未撮影の顔画像とを前記表示媒体に表示する時に、前記未撮影の顔画像を前記撮影済の顔画像よりも大きく表示することを特徴とする。
【発明の効果】
【００１４】
本発明に係る撮像装置は、顔の認識率の向上と誤認識の低減を図ることにより、撮影漏れを防ぐことができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る撮像装置１０１の構成例を示すブロック図である。
【図２】顔画像登録モードの処理を示すフローチャートである。
【図３】登録顔画像の一覧表示例を示す図である。
【図４】撮影漏れ防止撮影モードの処理を示すフローチャートである。
【図５】撮影画像例と顔の位置判別方法の一例を示す図である。
【図６】顔登録判定処理を示すフローチャートである。
【図７】顔画像状態検出例と評価例とを示す図である。
【図８】ボケとブレの様子を示す図である。
【図９】類似度の評価例を示す図である。
【図１０】類似度が小さくなる画像例を示す図である。
【図１１】属性の判定例を示す図である。
【図１２】未撮影顔画像の表示例を示す図である。
【図１３】登録顔確認処理を示すフローチャートである。
【図１４】一致／不一致確認画面例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る撮像装置の実施形態について図面を用いて詳しく説明する。
［撮像装置１０１の構成例］
図１は、本実施形態に係る撮像装置１０１の構成例を示す図である。図１において、撮像装置１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、画像バッファ１０５と、画像処理部１０６と、制御部１０７と、メモリ１０８と、表示部１０９と、操作部１１０と、メモリカードＩＦ（インターフェース）１１１とで構成される。
【００１７】
図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に結像される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞り機構などを有し、制御部１０７によって、ズームレンズ位置、フォーカスレンズ位置、絞り値などが制御される。
【００１８】
撮像素子１０４は、例えばＣＭＯＳ型固体撮像素子で構成され、受光面に行列状に配置された画素の光電変換部により受光量に応じた電気信号に変換する。そして、各画素毎に出力されるアナログの電気信号はＡ／Ｄ変換され、デジタルの画像データとして出力される。
【００１９】
画像バッファ１０５は、例えば揮発性の高速メモリで構成される。画像バッファ１０５は、撮像素子１０４が出力する画像データを一時的に記憶するだけでなく、画像処理部１０６や制御部１０７が画像処理を行う時のバッファメモリとしても使用される。或いは撮影時の画像やメモリカードＩＦ１１１に接続されたメモリカード１１１ａに保存されている撮影済の画像を画像バッファ１０５に読み出して画像処理を行う時にも使用される。
【００２０】
画像処理部１０６は、画像バッファ１０５に取り込まれた画像データに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭輪郭強調処理などの画像処理を行う。また、画像処理部１０６は、画像処理後の画像データに対してＪＰＥＧ規格などに準拠した画像圧縮方法を用いて圧縮処理を行う。
【００２１】
制御部１０７は、例えば内部に記憶されたプログラムに従って動作するＣＰＵで構成される。制御部１０７は撮像装置１０１全体の動作を制御し、例えば操作部１１０の電源ボタン１１０ａの押下により電源をＯＮ／ＯＦＦしたり、シャッターボタン１１０ｂの押下時には光学系１０２のフォーカスレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉し、撮像素子１０４で被写体画像を撮像する。そして、制御部１０７は、撮像素子１０４から画像データを読み出し、画像バッファ１０５に取り込む処理を行う。さらに、制御部１０７は、画像バッファ１０５に取り込まれた画像データに対して所定の画像処理を施すよう画像処理部１０６に指令し、画像処理後の画像データ（例えばＪＰＥＧデータ）に所定のファイル名やヘッダ情報を付加してメモリカード１１１ａに保存する。或いは、画像バッファ１０５に取り込まれた画像データを表示部１０９に撮影画像として表示する。
【００２２】
特に、本実施形態に係る撮像装置１０１は、パーティー、結婚式、運動会など多数の人物が集まる場合に、予めメモリ１０８やメモリカード１１１ａの顔画像登録テーブルに登録された顔画像に対応する人物を漏れなく撮影するためのアシスト機能（「撮影漏れ防止撮影モード」）を有している。「撮影漏れ防止撮影モード」では、撮影画像に予め登録された参加者の顔画像が含まれている場合は当該参加者を撮影済に設定し、未撮影の顔画像を表示部１０９に表示して撮影者に認識させることで、参加者の撮影漏れを防止する。
【００２３】
また、「撮影漏れ防止撮影モード」では、撮影前に予め漏れなく撮影したい被写体の顔画像をメモリ１０８やメモリカード１１１ａの顔画像登録テーブルに登録しておく。そして、撮影画像から顔画像を抽出し、この抽出した顔画像が顔画像登録テーブルに登録されている顔画像であるか否かを判断する。そして、登録されている顔画像が撮影画像に含まれていると判断された登録顔画像の撮影済みフラグをＯＮにする。また、顔画像登録テーブルにおいて撮影済みフラグがＯＦＦとなっている登録顔画像を未撮影顔画像として検出し、この未撮影画像を表示部１０９に表示する。これにより、撮影者は未撮影者と面識が無い場合でも表示部１０９に表示された顔画像を見ながら未撮影者を探して撮影することができる。
【００２４】
特に、本実施形態に係る撮像装置１０１では、撮影画像に含まれる顔を検出して顔画像登録テーブルに登録されている顔画像であるか否かを判断する時に、類似度だけでなく撮影された顔画像の撮影状態や属性など顔に付随する情報を検出して判断することによって顔の認識率を向上し、誤認識を低減することができる。
【００２５】
尚、「撮影漏れ防止撮影モード」は、操作部１１０のモード選択ダイヤル１１０ｃにより選択できる。また、漏れなく撮影したい人物の顔画像を登録する場合は、操作部１１０のモード選択ダイヤル１１０ｃまたはメニューボタン１１０ｄにより「顔画像登録モード」を選択して、撮像素子１０４で撮影した画像の中から顔画像を選択して登録することができる。或いは、パソコンなどにより漏れなく撮影したい人物の顔画像をメモリカード１１１ａに記憶して撮像装置１０１のメモリカードＩＦ１１１に装着するようにしても構わない。
【００２６】
さらに、「顔画像登録モード」で漏れなく撮影したい人物の顔画像を登録する時に、名前やニックネームなどを操作部１１０のメニューボタン１１０ｄや十字キー１１０ｅで入力して、顔画像登録テーブルに登録する顔画像に関連付けて記憶しておいても構わない。
【００２７】
このようにして、「撮影漏れ防止撮影モード」では、制御部１０７は、画像バッファ１０５に取り込まれた撮影画像に対して顔検出処理を行い、検出した顔画像が予めメモリ１０８やメモリカード１１１ａの顔画像登録テーブルに記憶された顔画像と一致するか否かを判定する処理を行う。尚、これらの処理については後で詳しく説明する。また、顔検出処理などを画像処理部１０６で行っても構わず、或いは画像処理部１０６と制御部１０７とで処理を分担しても構わない。
【００２８】
メモリ１０８は、例えばフラッシュメモリなどの不揮発性の半導体メモリで構成される。撮像装置１０１の撮影モードや露出情報、フォーカス情報などのパラメータが記憶される。制御部１０７は、これらのパラメータを参照して撮像装置１０１の動作を制御する。特に、本実施形態に係る撮像装置１０１では、先に説明したように、漏れなく撮影した人物の顔画像が予めメモリ１０８やメモリカード１１１ａに記憶される。
【００２９】
表示部１０９は、液晶モニタなどで構成される。そして、制御部１０７によって、撮影画像や撮像装置１０１の操作に必要な設定メニューなどが表示部１０９に表示される。特に、本実施形態に係る撮像装置１０１では、撮影者が撮影漏れを把握できるように未撮影の顔画像が表示部１０９に表示される。また、撮影した顔画像と類似する登録済の顔画像とを並べて表示し、撮影者が一致しているか否かの確認を行う画面が表示部１０９に表示される。
【００３０】
操作部１１０は、電源ボタン１１０ａ、シャッターボタン１１０ｂ、モード選択ダイヤル１１０ｃ、メニューボタン１１０ｄ、十字キー１１０ｅなどで構成される。撮影者は、これらの操作部材を操作して撮像装置１０１を使用する。尚、操作部１１０による操作情報は制御部１０７に出力され、制御部１０７は操作部１１０から入力する操作情報に応じて撮像装置１０１の動作を制御する。
【００３１】
メモリカードＩＦ１１１は、撮像装置１０１にメモリカード１１１ａを接続するためのインターフェースである。制御部１０７は、メモリカードＩＦ１１１を介してメモリカード１１１ａに画像データを読み書きする。特に、本実施形態に係る撮像装置１０１では、先に説明したように、漏れなく撮影したい人物の顔画像が予めメモリカード１１１ａやメモリ１０８の顔画像登録テーブルに記憶される。
【００３２】
以上が本実施形態に係る撮像装置１０１の構成および基本動作である。
［制御部１０７の構成例］
次に、本実施形態に係る撮像装置１０１の制御部１０７の構成について詳しく説明する。
【００３３】
図１において、制御部１０７は、撮影処理部２０１と、表示処理部２０２と、記録処理部２０３と、顔登録処理部２０４と、顔検出処理部２０５と、顔画像状態判定処理部２０６と、類似度判定処理部２０７と、顔属性判定処理部２０８とを有する。
【００３４】
撮影処理部２０１は、操作部１１０のシャッターボタン１１０ｂが押下された時に、光学系１０２のフォーカスレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉し、撮像素子１０４で撮像した被写体画像を読み出して画像バッファ１０５に取り込む処理を行う。
【００３５】
表示処理部２０２は、画像バッファ１０５に取り込まれた撮影画像や撮像装置１０１の操作に必要な設定メニューなどを表示部１０９に表示する処理を行う。特に、本実施形態に係る撮像装置１０１では、未撮影の顔画像を表示したり、撮影した顔画像に類似する登録済の顔画像を並べて表示して一致しているか否かを確認する画面などを表示部１０９に表示する。
【００３６】
記録処理部２０３は、画像バッファ１０５に取り込まれた撮影画像をメモリ１０８やメモリカード１１１ａに記録する処理を行う。
【００３７】
顔登録処理部２０４は、「顔画像登録モード」が選択された場合に、撮像素子１０４で撮影した画像の中から顔画像を選択して、メモリ１０８やメモリカード１１１ａの顔画像登録テーブルに記憶する処理を行う。
【００３８】
顔検出処理部２０５は、例えば顔、目、鼻、口の輪郭や配置などの特徴量により顔検出を行う周知の技術を用いる。そして、検出した顔領域を抽出して顔画像としてメモリ１０８やメモリカード１１１ａに記憶する。尚、顔検出処理部２０５は、顔検出を行うだけであり、特定人物の顔認識は行わない。
【００３９】
顔画像状態判定処理部２０６は、顔検出処理部２０５により検出された顔画像に対して、撮影画像内における顔の位置、顔の大きさ、顔の向き、顔の個数、顔のボケ、顔のブレなど、顔画像の撮影状態を検出する処理を行う。
【００４０】
類似度判定処理部２０７は、撮影された顔画像と顔画像登録テーブルに予め登録された顔画像とを比較して類似度を求める処理を行う。類似度の算出は、例えば顔検出処理部２０５により検出された顔画像と顔画像登録テーブルに予め登録された各顔画像との相関値に対応する。
【００４１】
顔属性判定処理部２０８は、顔検出処理部２０５により検出された顔画像の撮影内容を解析し、眼鏡の反射状態、帽子の装着状態、目の状態などの属性を判定する処理を行う。眼鏡の反射状態は眼鏡で光が反射しているか否かの判定、帽子の装着状態は帽子を目深に被っているか否かの判定、目の状態は目を閉じているか否かの判定である。
【００４２】
尚、顔画像状態判定処理部２０６および顔属性判定処理部２０８が行う処理は、統合しても構わないし、対象項目を相互に入れ替えても構わない。例えば、顔属性判定処理部２０８が行う目の状態の判定を顔画像状態判定処理部２０６で行うようにしても構わないし、顔画像状態判定処理部２０６が検出する顔の向きを顔属性判定処理部２０８で行うようにしても構わない。
【００４３】
顔画像状態判定処理部２０６、類似度判定処理部２０７および顔属性判定処理部２０８の各処理については、後で詳しく説明する。
【００４４】
このように、制御部１０７は構成され、撮像装置１０１の全体の動作を制御する。
［顔登録処理］
図２は、制御部１０７の顔登録処理部２０４により実行される「顔画像登録モード」の処理を示すフローチャートである。操作部１１０のモード選択ダイヤル１１０ｃで「顔画像登録モード」が選択されると、制御部１０７は撮像素子１０４でスルー画像を撮影して表示部１０９に表示する。
【００４５】
（ステップＳ１０１）撮影者は登録したい人物の顔を捉えて、操作部１１０のシャッターボタン１１０ｂを押下すると、制御部１０７は撮像素子１０４で撮影した人物の顔画像を画像バッファ１０５に取り込む。尚、新たな撮影を行わずに、撮影済みの顔画像を選択するようにしてもよい。
【００４６】
（ステップＳ１０２）制御部１０７は、撮影画像を表示部１０９に表示する。この時、撮影された画像に顔以外の部分が写っている場合は、顔検出を行って顔領域を抽出した顔画像を表示部１０９に表示するようにしてもよい。
【００４７】
（ステップＳ１０３）制御部１０７は、表示部１０９に表示された顔画像に登録するか否かのメッセージを表示して撮影者に登録確認を促す。そして、撮影者は、操作部１１０の十字キー１１０ｅを操作して表示部１０９の画面に表示されている登録ボタンまたは再撮影ボタンを押下する。登録ボタンが押下された場合はステップＳ１０４に進み、再撮影ボタンが押下された場合はステップＳ１０１に戻って撮影をやり直す。
【００４８】
（ステップＳ１０４）制御部１０７は、画像バッファ１０５に取り込まれた撮影画像から顔領域を抽出した顔画像をメモリ１０８またはメモリカード１１１ａの顔画像登録テーブルに漏れなく撮影したい人物の顔画像として登録する。
【００４９】
このように、ステップＳ１０１からステップＳ１０４までの処理を繰り返すことによって、漏れなく撮影したい人物の顔画像をメモリ１０８またはメモリカード１１１ａの顔画像登録テーブルに登録することができる。
【００５０】
そして、撮影者は操作部１１０のメニューボタン１１０ｄを操作して、図３に示すような事前登録された顔画像一覧を表示部１０９に表示して確認することができる。図３の例では、７人の顔画像が登録されている。
【００５１】
［撮影漏れ防止撮影モード］
次に、撮影漏れ防止撮影モードを操作部１１０のモード選択ダイヤル１１０ｃで選択した時の処理について図４のフローチャートを用いて説明する。
【００５２】
（ステップＳ２０１）制御部１０７は、撮影者が操作部１１０のシャッターボタン１１０ｂを押下したか否かを判別し、シャッターボタン１１０ｂが押下されていない場合はステップＳ２０１で待機し、シャッターボタン１１０ｂが押下された場合はステップＳ２０２に進み。
【００５３】
（ステップＳ２０２）制御部１０７は、撮像素子１０４で撮像した画像を画像バッファ１０５に取り込み（撮影処理部２０１）、画像処理部１０６で所定の画像処理を施した後、メモリカード１１１ａに記録する（記録処理部２０３）。例えば、図５（ａ）に示すような撮影画像１５１がメモリカード１１１ａに記録される。
【００５４】
（ステップＳ２０３）制御部１０７は、ステップＳ２０２で画像バッファ１０５に取り込まれた画像に対して顔検出処理を行う（顔検出処理部２０５）。例えば、図５（ａ）の撮影画像１５１の例では、顔検出処理部２０５は、顔画像１５２、顔画像１５３、顔画像１５４、顔画像１５５、顔画像１５６の５つの顔を検出する。
【００５５】
（ステップＳ２０４）制御部１０７は、ステップＳ２０３で顔が検出されたか否かを判別する。顔が検出された場合はステップＳ２０５に進み、顔が検出されなかった場合はステップＳ２０６に進む。
【００５６】
（ステップＳ２０５）制御部１０７は、検出された顔画像がメモリ１０８またはメモリカード１１１ａの顔画像登録テーブルに予め登録された顔画像に一致するか否かを判定する登録顔判定処理を実行する。例えば、図５（ａ）の５つの顔画像１５２から顔画像１５６に対して、図３で説明した事前登録された顔画像のいずれかに一致するか否かを判定する。尚、登録顔判定処理については後で詳しく説明する。
【００５７】
（ステップＳ２０６）制御部１０７は、顔画像登録テーブルに登録されている顔画像が撮影済に設定されていない未撮影の顔画像を表示部１０９に表示する。例えば図１２に示すような未撮影顔画像の一覧が表示部１０９に表示される。図１２（ａ）の例では、顔画像１５４、顔画像１６１、顔画像１６２および顔画像１６３に撮影済を示すＯＫマークがオーバーレイ表示されているので、顔画像１５３、顔画像１５５および顔画像１５６が未撮影の顔画像であることがわかる。
【００５８】
尚、図１２（ｂ）に示すように、未撮影の顔画像を撮影済の顔画像よりも大きく表示しても構わないし、或いは未撮影の顔画像のみを表示するようにしても構わない。
【００５９】
或いは、撮影済と判断された回数を表示するようにしても構わず、この場合は未撮影の顔画像は０枚と表示される。これにより、撮影者は撮影枚数が少ない人物を把握できるので、特定の人物に偏ることなく、公平に撮影することができる。
【００６０】
また、撮影済と判断された回数をカウントして、回数が予め設定した回数以上の場合に、当該顔画像を顔画像登録テーブルから削除または判定対象外に設定するようにしても構わない。
【００６１】
このようにして、撮影者は予め登録された顔画像に対応するどの人物が未撮影であるかを容易に知ることができ、被撮影者の面識が無い人に撮影を依頼した場合でも撮影漏れを防ぐことができる。
【００６２】
［登録顔判定処理］
次に、図４のステップＳ２０５で実行される登録顔判定処理について、図６のフローチャートを用いて詳しく説明する。
【００６３】
（ステップＳ３０１）制御部１０７は、顔画像状態を検出する（顔画像状態判定処理部２０６）。顔画像状態判定処理部２０６は、例えば顔検出処理部２０５により検出された顔画像に対して、撮影された被写体画像内（例えば図５（ａ））における顔の位置、顔の大きさ、顔の向き、顔の個数、顔のボケ、顔のブレの少なくとも１つの顔画像の状態を検出する。
【００６４】
顔の位置は、例えば図５（ｂ）に示すように、撮影画像１５７を中央部分１５８と周辺部分１５９とに分けて、検出した顔画像がどの部分にあるかを判別する。そして各顔画像の中心位置で判別する場合、図５（ａ）において、顔画像１５２と顔画像１５６は周辺部分１５９にあり、顔画像１５３、顔画像１５４および顔画像１５５は中央部分１５８にある。ここで、図７（ａ）は、顔画像状態判定処理部２０６の判別内容と点数例を示す図で、例えば顔の位置が中央部分１５８にある場合は３点、周辺部分１５９にある場合は１点、のように判別する。
【００６５】
顔の大きさは、例えば図５（ａ）の顔画像１５２から顔画像１５６までの領域の大きさを判別する。例えば、図５（ａ）の点線で囲った領域の一辺の長さ（または画素数）が撮影画像の一辺の長さ（または画素数）の１／５以下の場合は「小」、１／３から１／５の場合は「中」、１／３よりも大きい場合は「大」、のように判別する。図７（ａ）の例では、顔画像状態判定処理部２０６は、顔の大きさが「大」の場合は４点、「中」の場合は２点、「小」の場合は０点、のように判別する。
【００６６】
顔の向きは、例えば図５（ａ）の顔画像１５２のように「横向き」の場合は０点、顔画像１５３から顔画像１５６のように「正面向き」の場合は２点、のように判別する。
【００６７】
顔の個数は、撮影画像内に検出された顔の数で、例えば図５（ａ）の場合は顔画像１５２から顔画像１５６の５つである。そして、図７（ａ）に示すように、例えば検出された顔の個数が３個以下の場合は２点、４個から６個の場合は１点、７個以上の場合は０点、のように判別する。
【００６８】
顔画像のボケやブレは、例えば図８に示すように、顔画像１５４がブレた顔画像１５４ａやボケた顔画像１５４ｂの判別を行い、ボケやブレの度合いに応じて図７（ａ）に示すように、ボケやブレが「小」の場合は４点、「中」の場合は２点、「大」の場合は０点、のように判別する。尚、ボケの度合いは高周波成分が含まれる割合をヒストグラムなどから求めて判断することができる。また、ブレの度合いは、自己相関などを計算して求めることができる。
【００６９】
このようにして、顔画像状態判定処理部２０６は、顔の位置、顔の大きさ、顔の向き、顔の個数、顔のボケ、顔のブレなどの少なくとも１つの顔画像の状態を数値化することができる。
【００７０】
（ステップＳ３０２）制御部１０７の顔画像状態判定処理部２０６は、ステップＳ３０１で数値化した値と予め設定した閾値とを比較して撮影画像が適切であるか否かを判定する。例えば図７（ａ）の顔の位置、顔の大きさ、顔の向き、顔の個数、顔のボケやブレの５つの顔画像状態で総合的に判定する場合、５つの評価点数の合計値が予め設定した閾値以上である場合に撮影画像として適切であると判断する。そして、適切であると判断された場合はステップＳ３０３に進み、適切でないと判断された場合は顔登録判定処理を終了する。
【００７１】
尚、５つの項目ではなく、何れか１つの項目だけで判断しても構わないし、何れかの組み合わせで判断しても構わない。
【００７２】
図７（ｂ）の例では、顔画像状態の評価例を示す図で合計点が１０点以上の顔画像が適切であると判断する。例えば、顔画像１５２の場合は顔の位置：１点、顔の大きさ：２点、顔の向き：０点、顔の個数：１点、顔のボケやブレ：２点なので、合計値は６点でＮＧである。同様に、顔画像１５３の場合は顔の位置：３点、顔の大きさ：２点、顔の向き：２点、顔の個数：１点、顔のボケやブレ：４点なので、合計値は１２点でＯＫである。画像１５４および画像１５５についても同様に合計点は１２点でＯＫである。また、顔画像１５６の場合は顔の位置：１点、顔の大きさ：０点、顔の向き：２点、顔の個数：１点、顔のボケやブレ：０点なので、合計値は６点でＮＧである。
【００７３】
このようにして、顔画像１５３から顔画像１５５までの３つの顔画像がＯＫと判断される。
【００７４】
（ステップＳ３０３）制御部１０７は、ステップＳ３０２で判定された顔画像がメモリ１０８またはメモリカード１１１ａの顔画像登録テーブルに予め登録されたいずれかの顔画像に一致するか否かを類似度を求めて判断する（類似度判定処理部２０７）。ここで、類似度は、例えば顔検出処理部２０５により検出された顔画像と予め登録された顔画像との相関値を求めればよい。ここで、類似度が大きいほど相関が高く、類似していることを意味する。
【００７５】
（ステップＳ３０４）制御部１０７の類似度判定処理部２０７は、類似度が予め設定された設定値以上であるか否かを判別し、設定値以上である場合はステップＳ３０５に進み、設定値未満である場合はステップＳ３０８に進む。
【００７６】
例えば、類似度判定処理部２０７は、図９に示すように、類似度が０．７以上の場合は撮影された顔画像が予め登録された顔画像に一致したと判断し（評価：ＯＫ）、類似度が０．７未満の場合は撮影された顔画像が予め登録された顔画像に一致しなかったと判断する（評価：ＮＧ）。図９の例では、顔画像１５３の類似度は０．５なのでＮＧ、顔画像１５４の類似度は０．９なのでＯＫ、顔画像１５５の類似度は０．７なのでＯＫ、のように判断される。
【００７７】
ここで、類似度は、図１０に示すように、帽子を装着して登録された顔画像１５３の人物が撮影された顔画像１５３ａで帽子を装着していなかった場合の類似度は小さくなる。同様に、眼鏡を装着して登録された顔画像１５５の人物が撮影された顔画像１５５ａで眼鏡を装着していなかった場合の類似度も小さくなる。また、帽子や眼鏡などを装着していない場合でも、顔画像１５４ｃのように登録された顔画像１５４と表情が大きく異なる場合にも類似度は小さくなる。
【００７８】
（ステップＳ３０５）制御部１０７は、ステップＳ３０４でＯＫと判定された顔画像を解析して属性を抽出する（顔属性判定処理部２０８）。ここで、属性とは、顔画像の撮影内容を解析し、眼鏡の反射状態、帽子の装着状態、目の状態などに対応する。
【００７９】
（ステップＳ３０６）制御部１０７の顔属性判定処理部２０８は、例えば図１１に示すように、顔画像１５３に対して帽子の装着状態を解析して、帽子を目深に被っていて目の部分が写っていない場合はＮＧと判断する（顔画像１５３ｂ）。同様に、顔画像１５５の眼鏡の反射状態を解析して、顔画像１５５ｂのように眼鏡の反射が大きい場合はＮＧと判断する。或いは、顔画像１５４の目の状態を解析して、目を閉じている場合にもＮＧと判断する（顔画像１５４ｄ）。
【００８０】
ここで、顔属性が設定条件を満たす場合（ＯＫの場合）はステップＳ３０７に進み、設定条件を満たさない場合（ＮＧの場合）はステップＳ３０８に進む。尚、ステップＳ３０１およびステップＳ３０２の顔画像状態判定処理部２０６と、ステップＳ３０５およびステップＳ３０６の顔属性判定処理部２０８とが検出する項目は、任意に入れ替えても構わない。
【００８１】
（ステップＳ３０７）制御部１０７は、当該顔画像に対する撮影済フラグをＯＮにする。尚、撮影済と判定された枚数をカウントするようにしてもよい。
【００８２】
（ステップＳ３０８）制御部１０７は、登録顔確認処理を実行する。
【００８３】
このようにして、本実施形態に係る撮像装置１０１は、顔検出で検出された顔画像に対してステップＳ３０１およびステップＳ３０２で顔画像状態判定処理を行い、撮影画像として適切ではない顔画像の場合（顔が画面の中央に写っていない、顔の大きさが小さい（画素数が少ない）、画質が良くない（ブレやボケがある）、撮像装置１０１の方を向いていない、多数の人物が写っている（当人が主体ではない）、などの場合）は、登録顔画像であるか否かの判定処理自体を行わないので、品質が良くない顔画像による誤認識を低減できる。
【００８４】
さらに、本実施形態に係る撮像装置１０１は、ステップＳ３０４およびステップＳ３０５で類似度による登録顔画像であるか否かの判定処理を行った後、ステップＳ３０６およびステップＳ３０７で眼鏡の反射や帽子によって顔が見えにくい或いは目を閉じているなどの撮影内容の解析処理（顔属性判定処理）を行うことにより、撮影される人物の顔がはっきりと写っている品質の良い撮影画像をメモリカード１１１ａに記録することができる。
【００８５】
［登録顔確認処理］
次に、図６のフローチャートのステップＳ３０８における登録顔確認処理について詳しく説明する。登録顔確認処理は、撮影された顔画像が顔画像登録テーブルに登録された顔画像であるか否かの判定を制御部１０７ができなかった場合（ステップＳ３０４またはステップＳ３０６でＮＯの場合）に実行され、撮影者に確認するための処理である。
【００８６】
図１３は、制御部１０７により実行される登録顔確認処理を示すフローチャートで、撮影者の選択に応じて制御部１０７により実行される。
【００８７】
（ステップＳ４０１）制御部１０７は、図１４に示したような撮影画像１６１を表示部１０９に表示する。
【００８８】
（ステップＳ４０２）制御部１０７は、図４のステップＳ２０４で顔検出された領域の顔画像１５３、顔画像１５４および顔画像１５５にメッセージを表示する。
【００８９】
例えば、制御部１０７は、ステップＳ３０４の類似度判別で設定値未満ではあるが、ある程度の類似度が得られている登録顔画像がある場合は、その登録顔画像に関連付けて顔画像登録テーブルに記憶されている名前やニックネームを読み出して「Ａさんですか？」、「Ｂさんですか？」のように確認メッセージを表示する。或いは、ステップＳ３０４の類似度判別で類似度が低く、特定の登録顔画像であると判定できなかった場合は、「未登録？」のようなメッセージを表示する。
【００９０】
（ステップＳ４０３）撮影者は、撮影画像１６１に表示された顔画像１５３、顔画像１５４および顔画像１５５を十字キー１１０ｅで選択する。そして、制御部１０７は、何れかの顔画像が選択された場合はステップＳ４０４に進み、選択されなかった場合は登録顔確認処理を終了する。尚、選択しない場合は、予め設定した時間（１分間など）でタイムアウトするようにしてもよいし、画面上に終了ボタンなどを設けて十字キー１１０ｅで選択するようにしてもよい。
【００９１】
（ステップＳ４０４）制御部１０７は、選択された顔画像に対してある程度の類似度が得られている登録顔画像があるか否かを判別する。そして、登録顔画像がある場合はステップＳ４０５に進み、登録顔画像がない場合はステップＳ４０７に進む。
【００９２】
例えば図１４の顔画像１５３と顔画像１５４は、ある程度の類似度が得られている登録顔画像があるのでステップＳ４０５に進み、顔画像１５５は類似度が低く、特定の登録顔画像であると判定できなかったので、登録顔画像がないと判断してステップＳ４０７に進む。
【００９３】
（ステップＳ４０５）制御部１０７は、類似度が高い登録顔画像を読み出して、撮影された顔画像と並べて拡大して表示する。
【００９４】
例えば撮影者が操作部１１０の十字キー１１０ｅで画像１６１の中の顔画像１５３を選択すると、下に示した画像１６２が表示部１０９に表示される。或いは、撮影者が操作部１１０の十字キー１１０ｅで画像１６１の中の顔画像１５４を選択すると、下に示した画像１６３が表示部１０９に表示される。
【００９５】
（ステップＳ４０６）撮影者は、表示部１０９に拡大して並べて表示された撮影顔画像と登録顔画像とを見比べて同じ人物であるか否かを判断する。そして、画面上に表示されている一致ボタンまたは不一致ボタンを十字キー１１０ｅで選択する。
【００９６】
例えば、画像１６２は、撮影された顔画像１５３と、顔画像１５３に類似度が高い登録顔画像とが並べて表示され、撮影者は画面を見て一致または不一致を十字キー１１０ｅで選択する。画像１６２の例では、撮影者は一致を選択した状態を描いてある。同様に、画像１６３は、撮影された顔画像１５４と、顔画像１５４に類似度が高い登録顔画像とが並べて表示され、撮影者は画面を見て一致または不一致を十字キー１１０ｅで選択する。画像１６３の例では、撮影者は不一致を選択した状態を描いてある。
【００９７】
そして、制御部１０７は、一致ボタンが選択された場合はステップＳ４０９に進み、不一致ボタンが選択された場合はステップＳ４０７に進む。
【００９８】
尚、画像１６２および画像１６３の例では、類似度が最も高い１枚の登録顔画像のみを撮影顔画像に並べて表示しているが、類似度が高い画像から数枚（例えば上位３枚など）の登録顔画像を読み出して撮影顔画像の周りに並べて表示するようにしてもよい。
【００９９】
（ステップＳ４０７）ステップＳ４０６で撮影者が不一致を選択した場合、或いは、ステップＳ４０４で類似する登録顔画像を識別できなかった場合、制御部１０７は、図１４に示すような登録顔画像一覧１６４（または登録顔画像一覧１６５）を表示する。
【０１００】
（ステップＳ４０８）撮影者は、登録顔画像一覧１６４（または登録顔画像一覧１６５）を見て、撮影された顔画像１５４（または顔画像１５５）と同じ人物の登録顔画像があるか否かを判断する。尚、登録顔画像一覧１６４（または登録顔画像一覧１６５）の一部に撮影顔画像を表示して、撮影者が比較し易いようにしてもよい。そして、一致する顔画像がある場合、撮影者は、当該顔画像を十字キー１１０ｅで選択する。登録顔画像一覧１６４（または登録顔画像一覧１６５）の例では、点線で囲まれた登録顔画像が選択されている。
【０１０１】
ここで、登録顔画像一覧１６４（または登録顔画像一覧１６５）に撮影顔画像が見当たらない場合（一致顔画像無し）は、「該当なし」または「新規登録」と表示されている位置を顔画像の選択と同様に十字キー１１０ｅで選択する。
【０１０２】
そして、制御部１０７は、いずれかの登録顔画像が選択された場合はステップＳ４０９に進み、「該当なし」または「新規登録」が選択された場合はステップＳ４１１に進む。
【０１０３】
（ステップＳ４０９）制御部１０７は、ステップＳ４０８で選択された登録顔画像を撮影済に設定する。尚、撮影済であるか否かの設定は、例えば撮影済フラグを設けておき、これをＯＮにする。
【０１０４】
（ステップＳ４１０）制御部１０７は、ステップＳ４０８で選択され、ステップＳ４０９で撮影済に設定した登録顔画像に対応する撮影顔画像を同じ人物の登録顔画像として追加する。そして、次のステップＳ４１４に進む。
【０１０５】
尚、本処理によって、当該人物の登録顔画像が顔認識に適していない場合に新たに認識し易い同じ人物の登録顔画像を追加し、次の撮影時の認識率を向上することができる。尚、前の登録顔画像に追加した場合は、同じ人物に対して複数の登録顔画像が存在するので、同じ人物であることを示す識別情報を登録顔画像のヘッダ情報として記憶するようにしてもよい。或いは、前の登録顔画像に上書きして一人の人物に対して一枚の登録顔画像しか存在しないようにしてもよいし、本ステップを実行せずに常に最初に登録した顔画像を用いるようにしてもよい。または、撮影者が新たに登録するか否かを選択できるようにしてもよい。
【０１０６】
（ステップＳ４１１）制御部１０７は、撮影された顔画像を新たな登録顔画像として登録するか否かを判断する。例えば、撮影者がステップＳ４０８で「新規登録」を選択した場合はステップＳ４１２に進み、「該当なし」を選択した場合はステップＳ４１４に進む。尚、「該当なし」の場合は、当該撮影画像をまたは顔画像を登録されていない人物のデータベースとしてメモリ１０８またはメモリカード１１１ａに保存するようにしてもよい。
【０１０７】
（ステップＳ４１２）制御部１０７は、撮影された顔画像を新たな登録顔画像としてメモリ１０８またはメモリカード１１１ａの顔画像登録テーブルに登録する。これにより、パーティーなどに参加する予定では無かった人物が途中から参加することになった場合などに対応することができる。
【０１０８】
（ステップＳ４１３）制御部１０７は、表示部１０９に図１４の画面１６６に示すように「顔画像が登録されました」というメッセージを表示する。そして、次のステップＳ４１４に進む。
【０１０９】
（ステップＳ４１４）撮影者は、図１４の撮影画像１６１に表示されている他の顔を選択するか否かを判断する。例えば、制御部１０７は表示部１０９に「他の顔を選択する」、「他の顔を選択しない」の選択画面を表示して、撮影者が十字キー１１０ｅで選択する。そして、他の顔を選択する場合はステップＳ４０１に戻り、他の顔を選択しない場合はステップＳ４１５に進む。
【０１１０】
（ステップＳ４１５）制御部１０７は、新たに追加された登録顔画像などを含む登録顔画像一覧を表示部１０９に表示し、一連の登録顔確認処理を終了する。
【０１１１】
尚、図１４の画面１６１では名前やニックネームを表示するようにしたが、名前やニックネームを表示せずに、判定が難しかった顔画像の領域枠（図１４では点線四角の枠）を点滅させて、撮影者に操作部１１０の十字キー１１０ｅで選択させるようにしても構わない。これにより、撮影される人物の面識が無い撮影者でも容易に一致や不一致を確認することができる。
【０１１２】
以上、各実施形態で説明してきたように、本実施形態に係る撮像装置１０１は、撮影画像に写っている人物が正面を向いていない場合、メガネや帽子など予め登録された画像と異なる場合、顔の一部が隠れている場合、顔画像の解像度や鮮明度が低い場合などにおける誤認識を低減し、実際には未撮影の人物であるにも拘わらず撮影済と判断され、撮影漏れになってしまうという問題を回避できる。特に、予め設定された条件に合致せず特定人物の顔の識別が難しい場合は、撮影された顔画像に近いと思われる登録顔画像を並べて表示部１０９に表示して撮影者に確認させることにより、確実に誤認識による撮影漏れを防ぐことができる。
【０１１３】
以上、本発明に係る撮像装置について、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【０１１４】
１０１・・・撮像装置；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・画像バッファ；１０６・・・画像処理部；１０７・・・制御部；１０８・・・メモリ；１０９・・・表示部；１１０・・・操作部；１１０ａ・・・電源ボタン；１１０ｂ・・・シャッターボタン；１１０ｃ・・・モード選択ダイヤル；１１０ｄ・・・メニューボタン；１１０ｅ・・・十字キー；１１１・・・メモリカードＩＦ；１１１ａ・・・メモリカード；２０１・・・撮影処理部；２０２・・・表示処理部；２０３・・・記録処理部；２０４・・・顔登録処理部；２０５・・・顔検出処理部；２０６・・・顔画像状態判定処理部；２０７・・・類似度判定処理部；２０８・・・顔属性判定処理部
【図１】
2013118574.tif 000003
【図２】
2013118574.tif 000004
【図３】
2013118574.tif 000005
【図４】
2013118574.tif 000006
【図５】
2013118574.tif 000007
【図６】
2013118574.tif 000008
【図７】
2013118574.tif 000009
【図８】
2013118574.tif 000010
【図９】
2013118574.tif 000011
【図１０】
2013118574.tif 000012
【図１１】
2013118574.tif 000013
【図１２】
2013118574.tif 000014
【図１３】
2013118574.tif 000015
【図１４】
2013118574.tif 000016