(57)【要約】【課題】人物の表情を検出して画像記録の可否を決定するデジタルカメラにおいて、被写体人物によって撮影者の好みでない表情の画像が記録されることを防止する。【解決手段】人物Ａの場合は、「悲しみ」以外の「笑顔度１０％」、「喜び」、「怒り」、「驚き」、「ウインク」のいずれかが検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。人物Ｃの場合は、カメラに視線を向けてウインクしない限り、いずれの喜怒哀楽の表情が検出されても画像記録は許可されない。【選択図】図２
2010178259.tif 000002
【特許請求の範囲】
【請求項１】
画像データ内の人物が所定の表情であるときにその画像データを記録するか否かを人物ごとに設定する設定手段と、
撮像により画像データを得る撮像手段と、
画像データ中の人物を特定する特定手段と、
画像データ中の人物の表情を検出する表情検出手段と、
画像データ中の人物が特定され、かつ前記所定の表情が検出されたときに、該特定された人物に対する前記設定手段の設定内容に基づいて画像データの記録の可否を決定する制御手段とを具備することを特徴とするデジタルカメラ。
【請求項２】
前記設定手段は、人物の画像を表示装置に表示した状態で前記記録の可否の入力を許可し、その入力値に基づいて設定を行うことを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
各人物ごとに複数の表情に対して前記記録の可否が設定可能であり、前記表情検出手段は、前記複数の表情を検出可能であることを特徴とする請求項１または２に記載のデジタルカメラ。
【請求項４】
画像データ中の人物に対し、記録可の設定がなされている表情が所定時間検出されない場合に警告を行う表情警告手段を更に備えることを特徴とする請求項１〜３のいずれか１項に記載のデジタルカメラ。
【請求項５】
画像データ中の人物がカメラに視線を向けているか否かを検出する視線検出手段を更に備え、
前記制御手段は、前記特定された人物に対して記録可の設定がなされている表情が検出され、かつその人物がカメラに視線を向けていることが検出されたときに画像データの記録を許可することを特徴とする請求項１〜４のいずれか１項に記載のデジタルカメラ。
【請求項６】
画像データ中の人物がカメラに視線を向けていることが所定時間検出されない場合に警告を行う視線警告手段を更に備えることを特徴とする請求項５に記載のデジタルカメラ。
【請求項７】
前記表情とは別に画像データ中の人物の所定の所作を検出する所作検出手段を更に備え、
前記制御手段は、前記所定の所作が検出されると、表情とは無関係に画像データの記録を許可することを特徴とする請求項１〜６のいずれか１項に記載のデジタルカメラ。
【請求項８】
前記制御手段は、前記所定の所作が検出された場合は、その検出から所定時間経過後に撮像を行い、それによって得られた画像データを記録することを特徴とする請求項７に記載のデジタルカメラ。
【請求項９】
前記所定の所作はウインクであることを特徴とする請求項７または８に記載のデジタルカメラ。
【請求項１０】
前記表情検出手段は、所定の記録済み画像データから得た顔の表情データを記憶することで、その表情データに基づく新たな表情が検出可能となり、
前記新たな表情を、前記設定手段における記録可否の対象とすることが可能であることを特徴とする請求項１〜９のいずれか１項に記載のデジタルカメラ。
【請求項１１】
撮像により画像データを得る撮像手段と、
画像データ中の人物の表情を検出する表情検出手段と、
前記表情検出手段により所定の表情が検出されたときに連写を開始し、所定の表情が検出されなくなると前記連写を停止する制御手段とを具備することを特徴とするデジタルカメラ。
【請求項１２】
撮像により画像データを得る撮像手段と、
画像データ中の人物の表情を検出する表情検出手段と、
前記表情検出手段により所定の表情が検出されたときに動画撮影を開始し、所定の表情が検出されなくなると前記動画撮影を停止する制御手段とを具備することを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の表情を検出して画像記録の可否を決定するデジタルカメラに関する。
【背景技術】
【０００２】
従来、画像データ中の人物の笑顔のレベルを評価可能な装置が知られている（例えば、特許文献１）。また、人物の喜怒哀楽の表情や視線の方向を検出し、所定の表情になったときに画像記録を行うカメラ（例えば、特許文献２）や、人物の目つぶりの有無を検出可能な装置（例えば、特許文献３）も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−４６５９１号公報
【特許文献２】特開２００１−５１３３８号公報
【特許文献３】特開２００１−３３８３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人物撮影時の被写体人物は、笑顔の似合う人もいれば、そうでない人もいる。また、撮影者がいかなる表情を撮りたいかも被写体人物によって異なり、例えば「この人の悲しみの表情だけは撮りたくない」といった思い入れもある。このため、単にある表情になったときに画像記録を許可するというものでは、被写体人物によっては撮影者の好みでない表情の画像が記録されてしまう。
【課題を解決するための手段】
【０００５】
本発明に係るデジタルカメラは、画像データ内の人物が所定の表情であるときにその画像データを記録するか否かを人物ごとに設定する設定手段と、撮像により画像データを得る撮像手段と、画像データ中の人物を特定する特定手段と、画像データ中の人物の表情を検出する表情検出手段と、画像データ中の人物が特定され、かつ上記所定の表情が検出されたときに、特定された人物に対する設定手段の設定内容に基づいて画像データの記録の可否を決定する制御手段とを具備することを特徴とする。
他の発明に係るデジタルカメラは、撮像により画像データを得る撮像手段と、画像データ中の人物の表情を検出する表情検出手段と、表情検出手段により所定の表情が検出されたときに連写（動画撮影）を開始し、所定の表情が検出されなくなると連写（動画撮影）を停止する制御手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、人物の表情を検出して画像記録の可否を決定するデジタルカメラにおいて、被写体人物によって撮影者の好みでない表情の画像が記録されることを防止できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるデジタルカメラの制御ブロック図。
【図２】表情による画像記録可否設定の一例を示す図。
【図３】表情撮影モード時の処理手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
図１〜図３により本発明の一実施の形態を説明する。
図１は本実施形態におけるデジタルカメラ（撮像装置）の制御ブロック図である。なお、デジタルカメラは、デジタルカメラ機能を持つ機器全般を指す（例えば、カメラ機能付き携帯電話機も含む）。
【０００９】
図１において、撮影レンズ１を透過した被写体光束は、撮像素子２で撮像され、その撮像信号は画像処理部３に入力される。画像処理部３を構成する画像処理回路３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路３ｂによる処理を経て、カメラ背面などに設けられた液晶モニタ４に表示される。撮影モード設定時には、上記撮像および画像表示が繰り返され、いわゆるライブビュー表示（スルー画表示）が行われる。撮像指示がなされると改めて撮像が行われ、生成された画像データは記録／再生回路３ｃを介してメモリカード等の記録媒体５に記録される。
【００１０】
一方、再生モードでは、記録媒体５に記録された画像データを記録／再生回路３ｃにて読み出し、画像処理回路３ａおよび表示回路３ｂによる処理を経て液晶モニタ４に表示することができる。
【００１１】
ＣＰＵ６は、操作部７からの入力に応答して画像処理部３や不図示の回路を制御する。操作部７は、電源ボタンやレリーズボタン、再生操作や情報入力等で用いる各種操作部材等を含む。
【００１２】
次に、顔認識および表情認識について説明する。
カメラは公知の顔認識機能を備え、画像データ中に被写体として人物が存在する場合は、その人物の顔領域の位置および大きさを検出し、顔部分にピントや露出が合うような制御を行う。１画像データ中に複数の顔を認識することが可能であり、認識された顔位置および大きさは、ライブビュー画像中の顔の位置に、顔の大きさに応じた顔認識枠を表示することでユーザに報知される。
【００１３】
さらに顔認識では、認識した顔の特徴情報に基づいてデータベース検索を行うことで、画像データ中の人物が誰であるかを特定することができる。これを可能とするために、カメラには顔認識用のデータベースが備えられ、所定の顔登録モードにおいて、人物を撮像した画像データと、その画像データから得た顔の特徴点と、その人物に関する情報（名前等）とを対応づけて複数人分登録することができる。顔の特徴情報しては、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点、顎の下端点などの特徴点と、各特徴点の相対距離などが含まれる。そして、撮像時に画像データから得た顔の特徴情報と、データベース内の特徴情報とを比較し、相似度が所定の閾値を上回るものが見つかった場合に人物特定となる。
【００１４】
表情認識は、上記顔認識で認識された画像データ中の顔の表情を認識する機能である。本実施形態では、表情として、「笑顔」、「喜び」、「悲しみ」、「怒り」、「驚き」といった喜怒哀楽の表情を検出できる。特に「笑顔」については、ちょっとした微笑み程度から大笑いまで、そのレベル（以下、笑顔度）を数段階に分けて認識できる。笑顔以外の表情に対してレベル検出が行えるようにしてもよい（喜び度、悲しみ度、怒り度、驚き度など）。
【００１５】
さらに、被写体人物の所作として「ウインク」が検出できる他、視線がカメラ（レンズ）を向いているか否かをも検出できる。これらの表情、ウインク、視線の検出は、例えば背景技術に示した文献の手法を用いて行うことができる。
【００１６】
各検出結果は、画像記録の有無に反映される。カメラは、撮影モード時に撮像を繰り返し、その都度得られる画像データに対して顔認識を行う。画像データ中に人物の顔が認識されると、表情認識を行い、人物が予め設定された表情になったことが検出されるまで、撮像、顔認識および表情認識が繰り返される。設定された表情になったことが検出されると、その表情で撮像した画像データが画像ファイルとして記録媒体５に記録される。これにより撮影者の望む表情の画像が得られる。
【００１７】
そして本実施形態では、画像記録の可否を決める表情を被写体となる人物ごとに設定し、その設定内容を上記顔認識用のデータベースに登録することができる。これを画像記録可否設定と呼び、設定方法の詳細は後述する。
【００１８】
図２は画像記録可否設定の一例を示し、この例では３人分の情報が登録されている。図中、丸印は「選択」（記録可）を、バツ印は「非選択」（記録不可）をそれぞれ意味し、また笑顔度のパーセンテージは、笑顔と認識する範囲を示す。例えば「笑顔度１０％」は、１０％以上の笑顔の表情を意味し、ほんの少しでも笑ったら画像記録が許可される。「笑顔度５０％」の場合は、ちょっとした微笑み程度では画像記録は許可されず、中程度以上の笑顔で初めて許可される。また、「笑顔度０％」は、笑顔非選択（笑顔では画像記録不可）を意味する。なお、パーセンテージの異なる笑顔は、同じ笑顔でも異なる表情と位置づける。
【００１９】
「ウインク」は、他の喜怒哀楽の表情とは異なり、被写体人物からの撮影許可または撮影催促の合図と捕らえる。別にウインクしている顔画像を取得したいわけではないので、ウインクが検出された場合は、所定時間（例えば、３秒〜５秒）経過後に改めて撮像を行い、その結果得られた画像データを記録することが望ましい。また「視線」は、被写体人物がカメラを向いていることを意味し、これが選択されている場合は、選択された他の表情や「ウインク」と「視線」とのＡＮＤ条件が成立したときに画像記録が許可される。「視線」が非選択の場合は、視線の方向に拘わらず、選択された表情のいずれかが検出された場合に画像記録が許可される。
【００２０】
例えば人物Ａの場合は、「悲しみ」以外の「笑顔度１０％」、「喜び」、「怒り」、「驚き」、「ウインク」のいずれかが検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。普段あまり笑わない人に対しては、少し笑っただけでも画像記録を許可する「笑顔度１０％」が有効かも知れない。また、「悲しみ」の表情は撮りたくないと思った人物に対しては、「悲しみ」は非選択とするのがよい。
【００２１】
人物Ｂの場合は、「笑顔度５０％」、「悲しみ」、「怒り」、「ウインク」のいずれかの表情が検出され、かつ視線がカメラを向いていることが検出された場合に画像記録が許可される。人物Ｃの場合は、カメラに視線を向けてウインクしない限り、いずれの喜怒哀楽の表情が検出されても画像記録は許可されない。表情を被写体任せにするときはこの設定が有効である。
【００２２】
図２に示すような画像記録可否設定は、液晶モニタ４を見ながら簡単な操作で行えるようにすることが望ましい。例えば、顔認識用に登録してある人物の画像を液晶モニタ４に表示すると、その人物に対して設定入力が行えるようにすれば、対象人物の顔を見ながら適切な設定が行える。各選択項目に対し、所定操作で丸とバツが交互に切換えられるようにしてもよいし、各選択項目に対応するチェックボックスのチェックの有無で選択／非選択を決めるようにしてもよい。笑顔度のパーセンテージは、バー表示や数値入力で選択できるようにすればよい。液晶パネル４の表示面積によっては、１画面に複数の画像を表示し、複数人分の設定を行えるようにしてもよい。
【００２３】
ここで、上記表情による画像記録可否設定に応じて画像記録の可否を決める撮影機能を「表情撮影モード」と呼ぶ。
図３は表情撮影モード設定時の処理手順の一例を示すフローチャートである。表情撮影モードの設定に伴い、あるいは設定後に何らかの操作が行われるのに伴ってこのプログラムが起動され、まずステップＳ１で撮像を行い、画像データを得る。ステップＳ２では、得られた画像データに対して顔認識を行い、ステップＳ３で顔が検出されたか否かを判定する。否定されるとステップＳ１に戻り、肯定されるとステップＳ４で人物を特定するためのデータベース検索を行う。ステップＳ５では、データベース内に該当するデータがあるか否かを判定し、肯定されると、すなわち人物が特定されるとステップＳ６に進む。ステップＳ６では、データベースから、該当する人物の画像記録可否に関する設定情報を取得する。この設定情報は、例えば図２にて説明したものである。ステップＳ５が否定された場合、つまり該当人物のデータがデータベースにない場合は、ステップＳ７で予め定められたデフォルトの設定情報を取得する。
【００２４】
ステップＳ８では、画像データに対して表情認識を行い、人物の表情や視線情報、ウインクの有無などを取得する。ステップＳ９では、ステップＳ６またはＳ７で取得した画像記録可否設定の情報と、ステップＳ８での表情認識結果に基づき、画像記録の可否判定を行う。例えば図２の例において、画像中の人物がＡであり、１０％以上の「笑顔」、「喜び」、「怒り」、「驚き」、「ウインク」のいずれかが検出され、かつ視線がカメラを向いていることが検出された場合は、画像記録許可の判定となる。同様に人物がＡであり、「悲しみ」の表情が検出された場合や、視線がカメラ以外を向いていることが検出された場合は、画像記録不可の判定となる。
【００２５】
画像記録許可の場合は、ステップＳ１０からステップＳ１１に進み、ステップＳ８での表情認識でウインクが検出されているか否かを判定する。否定されると、ステップＳ１４で画像データを記録媒体５に記録して終了する。ステップＳ１１が肯定されると、ステップＳ１２で所定時間Ｔ１だけ待機し、その後にステップＳ１３で新たな撮像を行ってステップＳ１４に進む。この待機時間を設ける理由は上述したとおりである。
【００２６】
一方、ステップＳ１０で画像記録不可と判定された場合はステップＳ１５に進み、最初の撮像から所定時間Ｔ２が経過したか否かを判定する。否定されるとステップＳ１に戻り、撮像以降の処理を繰り返す。ステップＳ１５が肯定されると、つまり所定時間が経過しても画像記録が許可となる表情または視線が検出されない場合は、ステップＳ１６で支援措置を講ずる。これは、画像記録可否設定の設定内容に基づき、例えば「笑ってください」や「笑わないでください」などの音声警告を発することが考えられる。また、被写体人物がなかなかカメラに視線を向けないときは、「こちらを向いてください」などの音声警告を行ってもよいし、ＡＦ補助光などを点滅させて自然に視線をカメラに誘導するようにしてもよい。
その後、処理はステップＳ１に戻る。
【００２７】
以上は１駒撮りを行う例を示したが、連写や動画撮影にも適用できる。ステップＳ１０で画像記録許可と判定されている間は連写（動画撮影）を続行し、画像記録不可と判定されると連写（動画撮影）を停止するようにしてもよい。
【００２８】
なお、処理の対象となる表情は、上述した「笑顔」、「喜び」、「悲しみ」、「怒り」、「驚き」等に限定されず、より多くの表情が検出可能なものでもよいし、１つの表情しか検出できれないものでもよい。また、処理の対象となる表情をユーザが追加したり削除できるようにしてもよい。追加する場合は、例えば撮影者が過去に撮った記録済み画像から気に入った表情の画像を選び出し、あるいは新たに好みの表情の画像を撮像し、それらをテンプレート画像として登録する。表情認識用のプログラムは、テンプレート画像から表情の特徴を抽出して表情データとして記憶し、その表情データに基づいて表情検出を行うことで、新たな表情（上記テンプレート画像の表情）を検出することが可能となる。新たな表情は、予め用意された「喜び」等の表情と同等に扱うことができ、その表情を検出して画像記録の可否を決めることが可能となる。勿論、新たな表情は、図２の画像記録可否設定における表情項目として選択／非選択が可能となる。
【００２９】
また、カメラメーカー等がＷｅｂサイト上に種々の表情データを公開し、これをユーザがダウンロードして追加できるようにしてもよい。あるいは、同Ｗｅｂサイト上に種々の表情の画像を用意し、好みの画像をユーザがダウンロードして上記テンプレート画像として用いるようにしてもよい。例えば、流行の表情を年代別に用意しておき、年代を入力すると、その年代における流行の表情の画像をいくつか表示し、その中から好みのものをダウンロードできるようにしてもよい。
【００３０】
さらに、国や地域によって流行の表情が異なることを考慮し、国や地域ごとの流行の表情を登録できるようにしてもよい。この場合は、例えばカメラにＧＰＳ受信機を設け、取得した位置情報に基づいて自動的にその地域で流行の表情を呼び出し、その表情を上記の処理で利用できるようにすることができる。
【００３１】
また、ＧＰＳ受信機で取得した位置情報に基づいて各人物に対する笑顔度を変更してもよい。例えば、笑顔の回数や程度が自然にアップする遊園地等の行楽スポットにおいては、画像記録可否設定における笑顔度を通常時よりもダウンさせるようにしてもよい。
【００３２】
画像データ中に笑顔度の異なる複数の人物が存在する場合は、何らかの操作で「主役」を選択できるようにし、その主役の表情に基づいて処理を行うようにしてもよい。あるいは、カメラが自動的に主役を決定してもよい（例えば、笑顔度の最も高い人物を主役と見なす等）。
【符号の説明】
【００３３】
１  撮影レンズ
２  撮像素子
３  画像処理部
４  液晶モニタ
５  記録媒体
６  ＣＰＵ
【図１】
2010178259.tif 000003
【図２】
2010178259.tif 000004
【図３】
2010178259.tif 000005