(57)【要約】【課題】所定の表情でない人物が所定の表情になることを支援することで、素早く所望の画像が得られるようにする。【解決手段】撮像が行われると、得られた画像データに対して顔認識および笑顔認識が行われ、笑顔でない場合に笑顔にするようカメラが要請する。また、笑顔であっても基準レベル以上の笑顔でない場合は、笑顔レベルを上げるよう要請する。これらの要請は、スピーカから被写体人物に対して音声を発することで行う。基準レベル以上の笑顔が検出されると画像データの記録が許容される。その際、笑顔レベルを報知するようにしてもよい。【選択図】図４
2010177990.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像手段と、
画像データ中の人物の顔およびその表情を認識する認識手段と、
前記認識手段が認識した顔が特定の表情の場合に画像記録を許可する記録許可手段と、
前記記録許可手段により画像記録が許可されるまで前記撮像手段による撮像を繰り返し、画像記録が許可されると画像データを記録する制御手段と、
前記記録許可手段により画像記録が許可されないときに、被写体人物に対して表情の変更を要請する要請手段とを具備することを特徴とするデジタルカメラ。
【請求項２】
前記画像記録が許可された場合に、前記画像データ中の顔の表情のレベルを報知する報知手段を更に備えることを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
人物の顔の特徴情報と人物の名前とが対応づけられて登録されたデータベース手段を更に備え、
前記記録許可手段は、前記認識手段が認識した画像データ中の全ての顔が特定の表情の場合に画像記録を許可し、前記要請手段は、前記記録許可手段により画像記録が許可されないときに、前記画像データから特定の表情でない人物の顔の特徴情報を抽出するとともに、その特徴情報に基づいて前記データベースから当該人物の名前を検索し、その検索結果に基づき、前記特定の表情でない人物を名指しして表情の変更を要請することを特徴とする請求項１に記載のデジタルカメラ。
【請求項４】
前記画像記録が許可された場合に、前記画像データ中の顔の表情のレベルが最も高い人物の名前を前記データベースから検索し、その名前を報知する報知手段を更に備えることを特徴とする請求項３に記載のデジタルカメラ。
【請求項５】
前記要請手段は音声発生手段であることを特徴とする請求項１〜４のいずれか１項に記載のデジタルカメラ。
【請求項６】
前記画像記録が許可された場合に、画像データ中の人物の名前と前記表情のレベルとを前記画像データに対応づけて保存することを特徴とする請求項１〜５のいずれか１項に記載のデジタルカメラ。
【請求項７】
前記特定の表情は笑顔であることを特徴とする請求項１〜６のいずれか１項に記載のデジタルカメラ。
【請求項８】
前記特定の表情は、予め設定された所定レベル以上の笑顔であることを特徴とする請求項１〜６のいずれか１項に記載のデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体人物の表情を検出し、その結果に基づいて画像記録を許可するか否かを決定するデジタルカメラに関する。
【背景技術】
【０００２】
人物の喜怒哀楽の表情や視線の方向を検出し、所定の表情になったときに画像記録を行うカメラが知られている（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−５１３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体人物によってはなかなか所定の表情にならないことがあり、いつまでたっても画像記録が許可されないということがあった。
【課題を解決するための手段】
【０００５】
本発明にかかるデジタルカメラは、被写体を撮像して画像データを生成する撮像手段と、画像データ中の人物の顔およびその表情を認識する認識手段と、認識手段が認識した顔が特定の表情の場合に画像記録を許可する記録許可手段と、記録許可手段により画像記録が許可されるまで撮像手段による撮像を繰り返し、画像記録が許可されると画像データを記録する制御手段と、記録許可手段により画像記録が許可されないときに、被写体人物に対して表情の変更を要請する要請手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、所定の表情でない人物が所定の表情になることをカメラが支援することで、素早く所望の画像を得ることが可能となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるデジタルカメラのブロック図。
【図２】顔登録手順の一例を示すフローチャート。
【図３】顔登録データの一例を示す図。
【図４】笑顔認識モード設定時の処理手順の一例を示すフローチャート。
【図５】笑顔認識モード設定時の他の処理手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
図１〜図５により本発明の一実施の形態を説明する。
図１は本実施形態におけるデジタルカメラの制御ブロック図である。なお、デジタルカメラは、デジタルカメラ機能を持つ機器全般を指す（例えば、カメラ機能付き携帯電話機も含む）。
【０００９】
図１において、撮影レンズ１を透過した被写体光束は、撮像素子２で撮像され、その撮像信号は画像処理部３に入力される。画像処理部３を構成する画像処理回路３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路３ｂによる処理を経て、カメラ背面などに設けられた液晶モニタ４に表示される。撮影モード設定時には、上記撮像および画像表示が繰り返され、いわゆるライブビュー表示（スルー画表示）が行われる。撮像指示がなされると改めて撮像が行われ、生成された画像データは記録／再生回路３ｃを介してメモリカード等の記録媒体５に記録される。
【００１０】
一方、再生モードでは、記録媒体５に記録された画像データを記録／再生回路３ｃにて読み出し、画像処理回路３ａおよび表示回路３ｂによる処理を経て液晶モニタ４に表示することができる。
【００１１】
ＣＰＵ６には、画像処理部３の他、カメラ制御部７、操作部８、マイク９、スピーカ１０などが接続される。カメラ制御部７は、ＣＰＵ６からの指令に応じて露出制御等の撮像に関する基本動作を実行する。またＣＰＵ６は、マイク９を介して入力された音声を録音し、スピーカ１０から再生することができる。操作部８は、電源ボタンやレリーズボタン、再生操作や情報入力等で用いる各種操作部材等を含む。
【００１２】
次に、顔認識および笑顔認識について説明する。
カメラは公知の顔認識機能を備え、顔認識モードにおいて、画像データ中に被写体として人物が存在する場合は、その人物の顔領域の位置および大きさを検出し、顔部分にピントや露出が合うような制御を行う。１画像データ中に複数の顔を認識することが可能であり、認識された顔位置および大きさは、ライブビュー画像中の顔の位置に、顔の大きさに応じた顔認識枠を表示することでユーザに報知される。
【００１３】
さらに顔認識では、認識した顔の特徴情報に基づいてデータベース検索を行うことで、画像データ中の人物が誰であるかを特定することができる。これを可能とするために、カメラには顔認識用のデータベースが備えられ、所定の顔登録モードにおいて、人物を撮像した画像データと、その画像データから得た顔の特徴情報と、その人物に関する情報（名前等）とを対応づけて複数人分登録することができる。
【００１４】
上記顔登録モードにおける顔登録手順の一例を図２に示す。
顔登録モードが設定されるとＣＰＵ６によってこのプログラムが起動され、まずステップＳ１において、液晶モニタ４上に人物の撮像を促すメッセージを表示し、ステップＳ２でレリーズ操作を待つ。撮影者が登録したい人物を構図に入れてレリーズ操作を行うと、ステップＳ３で撮像を行い、画像データを得る。ステップＳ４では顔認識を行い、被写体の顔の特徴情報を抽出する。顔の特徴情報しては、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点、顎の下端点などの特徴点と、各特徴点の相対距離などが含まれる。撮像された画像を液晶モニタに表示してもよい。
【００１５】
ステップＳ５では、撮像した人物の名前を入力するよう要請し、ステップＳ６で入力を待つ。入力方法は、所定の入力画面において登録対象者または撮影者が文字入力するようにしてもよいし、音声で入力してもよい。文字と音声の双方で入力するようにしてもよい。音声入力の場合は、カメラに音声認識機能を組み込み、マイク９から入力された音声データを解析して内容を把握する。なお、同じ名前が重複して登録されないようにすることが望ましい。
【００１６】
名前が入力されると、ステップＳ７でその名前を液晶モニタ４に表示し、ＯＫか否かを問う。ＮＧの場合は再度名前を入力することができる。ＯＫの場合はステップＳ８に進み、上記撮像した顔の画像と、顔の特徴情報と、入力された名前とを対応づけてデータベースに格納（登録）する。
【００１７】
上記の処理で一人分のデータ登録が完了し、ステップＳ９で処理を終了するか続行するかをユーザに問う。操作者は、他に登録すべき人物がいる場合は「続行」を選択し、この場合はステップＳ１に戻る。「終了」を選択すると処理が終了する。図３はデータベース内の登録データの一例を示し、３人分の情報が登録されている。
【００１８】
笑顔認識は、上記顔認識で認識された画像データ中の顔が笑顔か否かを検出するとともに、笑顔の場合はその度合いを数段階に分けて検出する機能である。笑顔の度合いは、笑顔度、笑顔レベル、スマイルレベルなどと呼ばれるが、以下の説明では「笑顔レベル」に統一する。
【００１９】
本実施形態では、撮影モードとして「笑顔認識モード」が設定可能とされている。これは、人物を笑顔で撮像したいときに用いられるもので、被写体人物の笑顔レベルが基準レベル以上に達して初めて画像の記録が許可される。基準レベルは予め選択可能で、レベルを高く設定すると、微笑み程度では画像記録は許可されない。
【００２０】
図４は笑顔認識モード設定時の処理手順の一例を示している。
上記データベースにデータが登録されている状態で「笑顔認識モード」が選択されると、ＣＰＵ６は図４のプログラムを起動する。ステップＳ２１では撮像を行い、画像データを得る。ステップＳ２２では、得られた画像データに対して顔認識を行い、ステップＳ２３で顔領域が認識されたか否かを判定する。顔領域が認識されない場合はステップＳ２１に戻り、認識された場合はステップＳ２４に進む。
【００２１】
ステップＳ２４では、認識された顔に対して笑顔認識を行い、その結果に基づき、ステップＳ２５で笑顔か否かを判定する。笑顔でない場合はステップＳ２６に進み、被写体人物に対して笑顔要請を行う。例えば、スピーカ１０を介して「笑ってください」などの音声メッセージを発することが考えられる。これにより、笑っていなかった人物が笑う可能性が高まる。その後、ステップＳ２１に戻る。
【００２２】
一方、被写体人物が笑顔であることが認識された場合はステップＳ２７に進み、笑顔レベルが予め設定された基準レベル以上か否かを判定する。否定されるとステップＳ２８に進み、被写体人物に対して笑顔レベルを上げるよう要請する。例えば、スピーカ１０を介して「笑顔が基準レベルに達していません」あるいは「もっと笑ってください」などの音声メッセージを発することが考えられる。これにより、笑顔レベルが基準レベル以上となる可能性が高まる。その後、ステップＳ２１に戻る。
【００２３】
ステップＳ２７が肯定された場合、すなわち笑顔レベルが基準レベル以上の場合はステップＳ２９に進み、笑顔レベルを報知する。例えば、スピーカ１０を介して「笑顔レベルは７０％です」などの音声メッセージを発することが考えられる。ステップＳ３０では、最新の画像データを記録媒体５に記録し、その後、処理を終了する。
【００２４】
このように、被写体人物が笑っていなかったり、笑顔度が基準レベルに達していない場合、その人物に笑顔要請を行うようにしたので、所望の笑顔度の写真を素早く得ることができ、特にあまり笑わない人物を撮像するときや、基準レベルを高く設定したときに有効である。
【００２５】
なお、笑顔レベルは特に考慮しなくてもよい（ステップＳ２７，Ｓ２８はなくてもよい）。
【００２６】
次に、図５を参照して、例えば集合写真のような複数の人物を対象とした笑顔認識モードについて説明する。なお、図４と同様のステップには同一のステップ番号を付す。
ステップＳ５１では、ステップＳ２４での笑顔認識の結果に基づき、全員笑顔か否かを判定する。一人でも笑顔でない人物がいた場合はステップＳ５２に進み、上述したデータベースで検索を行うことで、笑っていない人物が誰であるかを特定する。
【００２７】
人物特定は、画像データから得た該当人物の顔の特徴データと、そのデータと上述したデータベースに登録されている顔データとを比較することで行い、両データの相似度が所定の閾値を上回るものが見つかった場合に人物特定となる。これにより、その笑っていない人物の名前が判明するので、ステップＳ５３ではその名前を用いて、その人物に笑顔要請を行う。例えば、スピーカ１０を介して「XXXXさん、YYYYYさん、笑ってください」などの音声メッセージを発することが考えられる。このように名指しで笑顔要請を行うことで、名指しされた人物（笑っていない）が笑う可能性が高まる。その後、ステップＳ２１に戻る。
【００２８】
なお、データベースに登録されていない人物が被写体としていた場合、あるいは画像データから正確な顔の特徴データを得られなかった場合は、人物は特定できない（笑っていない人物の名前が判明しない）。この場合は、単に「笑ってください」あるいは「笑っていない人がいます」などの音声メッセージを発すればよい。名前が判明した人物と判明しない人物が混在している場合は、「笑っていない人がいます」でもよいし、「XXXXさん、笑ってください。他にも笑っていない人がいます」でもよい。
【００２９】
一方、全員笑顔であればステップＳ５４に進み、画像データ中の各顔の笑顔度を比較し、最も笑顔度の高い顔（ベストスマイル）を選び出すとともに、データベース検索によってそのベストスマイルの人物を特定する。ステップＳ５５では、特定できたか（名前が判明したか）否かを判定し、判明した場合には名前と笑顔度を報知する。例えば、「XXXXさん、ベストスマイルです」あるいは「ベストスマイルはXXXXさんです」のような音声メッセージを発することが考えられる。これにより、誰がベストスマイルであるかを撮影者および非撮影者全員が知ることができる。ステップＳ３０では、当該画像データを記録して処理を終了する。
【００３０】
なお、図５では笑顔レベルは考慮しなかったが、図４のステップＳ２７，Ｓ２８に相当するステップを追加してもよい。つまり全員の笑顔レベルが基準レベル以上か否かを判定し、肯定されると画像記録を許可し、笑顔レベルが基準レベル未満の人物がいた場合は、笑顔レベルを上げるよう名指しで要請するようにしてもよい。
【００３１】
また、図４，図５のステップＳ２９およびＳ５６の報知処理においては、被写体人物の名前（ステップＳ５６の場合は全員の名前）を報知するようにしてもよい。これは、「笑顔認識モード」だけではなく、上述した「顔認識モードに」おいて行うこともできる。
【００３２】
さらに図４，図５の処理において、画像記録の際、被写体人物の名前や笑顔レベル、基準レベル、ベストスマイルの人物の名前などの情報を画像データに対応づけて保存してもよい。例えば、画像ファイルのヘッダ情報（Ｅｘｉｆ情報等）としてこれらの情報を記述することが考えられる。これによれば、上記の情報に基づいて画像データ（画像ファイル）の分類や検索が容易に行える。
【００３３】
なお「笑顔」にて説明したが、他の表情（「悲しみ」、「怒り」、「驚き」等）でも同様の制御が可能である。
【符号の説明】
【００３４】
１  撮影レンズ
２  撮像素子
３  画像処理部
４  液晶モニタ
５  記録媒体
６  ＣＰＵ
７  カメラ制御部
８  操作部
９  マイク
１０  スピーカ
【図１】
2010177990.tif 000003
【図２】
2010177990.tif 000004
【図３】
2010177990.tif 000005
【図４】
2010177990.tif 000006
【図５】
2010177990.tif 000007