(57)【要約】【課題】目つぶりらしき画像を撮影後に、すばやく確認可能にすることを目的とする。【解決手段】画画像内における被写体の顔を検出する顔検出手段と、顔検出手段で検出された顔の目が開いているか、閉じているかを判断し、目が閉じていると判断した顔を特定の表情の顔として検出する表情検出手段と、表情検出手段で検出された表情の顔を拡大し、表示部に表示させる表示制御手段と、を有することによって課題を解決する。【選択図】図１
2009296165.tif 000002
【特許請求の範囲】
【請求項１】
画像内における被写体の顔を検出する顔検出手段と、
前記顔検出手段で検出された顔の目が開いているか、閉じているかを判断し、目が閉じていると判断した顔を特定の表情の顔として検出する表情検出手段と、
前記表情検出手段で検出された表情の顔を拡大し、表示部に表示させる表示制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記表示制御手段は、前記顔検出手段で検出された顔の数が設定された設定値未満の場合には、前記表情検出手段で検出された表情の顔を優先させて拡大し、前記表示部に表示させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示制御手段は、前記顔検出手段で検出された顔の数が設定された設定値以上の場合には、前記表情検出手段で検出された表情の顔のみを拡大し、前記表示部に表示させることを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮像装置における表示制御方法であって、
画像内における被写体の顔を検出する顔検出ステップと、
前記顔検出ステップで検出された顔の目が開いているか、閉じているかを判断し、目が閉じていると判断した顔を特定の表情の顔として検出する表情検出ステップと、
前記表情検出ステップで検出された表情の顔を拡大させて表示部に表示させる表示制御ステップと、
を有することを特徴とする表示制御方法。
【請求項５】
前記表示制御ステップでは、前記顔検出ステップで検出された顔の数が設定された設定値未満の場合には、前記表情検出ステップで検出された表情の顔を優先させて拡大し、前記表示部に表示させることを特徴とする請求項４に記載の表示制御方法。
【請求項６】
前記表示制御ステップでは、前記顔検出ステップで検出された顔の数が設定された設定値以上の場合には、前記表情検出ステップで検出された表情の顔のみを拡大し、前記表示部に表示させることを特徴とする請求項４に記載の表示制御方法。
【請求項７】
コンピュータを、
画像内における被写体の顔を検出する顔検出手段と、
前記顔検出手段で検出された顔の目が開いているか、閉じているかを判断し、目が閉じていると判断した顔を特定の表情の顔として検出する表情検出手段と、
前記表情検出手段で検出された表情の顔を拡大させて表示部に表示させる表示制御手段と、
して機能させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータにより読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、表示制御方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
撮影後に目つぶりを検出した場合、その旨を警告してくれる技術が知られている（特許文献１）。しかしながら、笑顔で目が細くなっているときと、単に目を閉じてしまったときの区別を正確に行うことは難しい。そのため、目つぶりらしき画像であると判断した場合、拡大表示してユーザーに確認させることが望ましい。
これに対して、撮影した人の表情を確認できるようにするため、撮影した画像から顔領域を検出して、この領域を拡大表示する技術がある（特許文献２）。この構成であれば、目をつぶっているか、笑顔であるか、ユーザーに確認させることができる。
【０００３】
【特許文献１】特開２００６−２５４２２９号公報
【特許文献２】特開２００７−１９５０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
集合写真のように人数が多い場合に、全員の顔を順々に拡大表示した場合、確認のために要する時間が長くなってしまう問題がある。
【０００５】
本発明はこのような問題点に鑑みなされたもので、目つぶりらしき画像を撮影後に、すばやく確認可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、画像内における被写体の顔を検出する顔検出手段と、前記顔検出手段で検出された顔の目が開いているか、閉じているかを判断し、目が閉じていると判断した顔を特定の表情の顔として検出する表情検出手段と、前記表情検出手段で検出された表情の顔を拡大し、表示部に表示させる表示制御手段と、を有することを特徴とする。
【０００７】
また、本発明は、撮像装置における表示制御方法であって、画像内における被写体の顔を検出する顔検出ステップと、前記顔検出ステップで検出された顔の目が開いているか、閉じているかを判断し、目が閉じていると判断した顔を特定の表情の顔として検出する表情検出ステップと、前記表情検出ステップで検出された表情の顔を拡大させて表示部に表示させる表示制御ステップと、を有することを特徴とする。
【０００８】
また、本発明は、プログラム及び記録媒体としてもよい。
【発明の効果】
【０００９】
本発明によれば、目つぶりらしき画像を撮影後に、すばやく確認可能にすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、デジタルカメラ１のハードウェア構成の一例を示す図である。図１のデジタルカメラ１において、中央処理装置（以下ＣＰＵとする）６は、図示しないレリーズスイッチやモードダイヤル、画像拡大スイッチ等の操作部７の各種操作部材からの入力に基づいてデジタルカメラ１内の各回路を統括制御する。撮像レンズ２を透過した光は、撮像素子３に入射し画像信号として順次読み出され、それぞれ撮像回路４に加えられる。
撮像回路４は、ゲイン調整回路を含み、得られた画像データは画像処理回路５へ送られる。画像処理回路５は、ＣＰＵ６からのコマンドに従ってホワイトバランス補正、ガンマ補正、コントラスト補正等の画像処理を行う。そして、画像処理回路５に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃ１信号）に変換されると共に、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ８に格納される。撮影画像を表示部１０に出力する場合、ＣＰＵ６は、ＶＲＡＭ８からＹＣ信号が読み出し、ビデオエンコーダ９に入力する。ビデオエンコーダ９は、入力されたＹＣ信号を表示用の所定のフォーマット（ＮＴＳＣ等）に変換して表示部１０に出力する。
【００１２】
また所定のフレームレートで処理された各フレームのＹＣ信号はＶＲＡＭ８のＡ領域とＢ領域とに交互に書き込まれる。ＶＲＡＭ８のＡ領域Ｂ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ８内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１０に供給されることにより、撮影中の映像がリアルタイムに表示部１０に表示される。そして撮影者は表示部１０に表示されるスルー画像によって撮影画角を確認できる。
ここで、レリーズスイッチが半押しされると、ＡＥ及びＡＦ処理が開始される。ＡＥ／ＡＦ処理が行われ、レリーズスイッチの全押しされることによって記録用の撮影がスタートする。これにより得られた画像データは画像処理回路５において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＶＲＡＭ８に格納される。ＶＲＡＭ８に格納されたＹ／Ｃ信号は、圧縮伸長処理回路１１によって所定のフォーマットに従って圧縮された後、メディアコントローラ１２を介して記録媒体１３にＥｘｉｆファイルとして記録される。画像はＥｘｉｆファイルのデータ部分に記録される。
【００１３】
モードダイヤルにより再生モードが選択されると記録媒体１３に記録されている最後の画像ファイルの圧縮データが読み出される。この読み出された画像圧縮データは、圧縮伸長処理回路１１を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭ８に保存され、ビデオエンコーダ９に加えられる。ビデオエンコーダ９は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１０に出力する。これにより、表示部１０には記録媒体１３に記録されている最終コマの画像が表示される。
メモリ１４等に記憶されているプログラムをＣＰＵ６が実行することにより実現されるデジタルカメラ１の機能構成の一例を図２に示す。図２は、デジタルカメラ１の機能構成の一例を示す図である。
【００１４】
図２に示されるように、デジタルカメラ１は、機能構成として、顔領域抽出部２０、目領域抽出部２１、目開閉検出部２２、目つぶり判定部２３、表示指示部２４を含む。各部の機能は、後述する図３を用いて説明する。
【００１５】
図３は、再生画像表示処理の一例を示す図（その１）である。
スルー画像の表示指示を受け取ると、Ｓ３０１において、顔領域抽出部２０は、スルー画像内の被写体の顔領域抽出処理を行う（顔検出）。顔領域抽出の方法としては例えば特開平９−１０１５７９のように撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に画像内のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。そして肌色領域内に位置し、非エッジ部分に分類された画素からなり、かつ、エッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域か否かを判定する。そしてこの判定結果に基づき顔領域として抽出する方法がある。またこの他に、顔領域抽出部２０は、特開２００３−２０９６８３や特開２００２−１９９２２１に記載される方法で顔領域抽出を行うようにしてもよい。
【００１６】
Ｓ３０２において、顔領域抽出部２０は、抽出した顔領域をカウントし、抽出した人数をＭ０としてメモリ１４へ記録する。そして、顔領域抽出部２０は、Ｍ０が０か否かを判定する。Ｍ０が０の場合、顔領域抽出部２０は、図３に示す処理を終了する。一方、Ｍ０が０でない場合、顔領域抽出部２０は、Ｓ３０３に処理を進める。
Ｓ３０３において、目領域抽出部２１は、顔領域抽出部２０が画像から抽出した顔領域から目の存在する目領域を検出する。目領域抽出部２１は、目領域を顔領域抽出処理の結果得られる顔概略中心位置の相対的位置関係から検出することができる。そして、目開閉検出部２２は、目領域抽出部２１で抽出された目領域内の目が開いているか又は閉じているかを判断する。目の開閉の判断方法は特に限定されない。例えば目開閉検出部２２は、両目に相当する２つの目領域内の縦方向黒色画素数をそれぞれ検出する。そして、目開閉検出部２２は、２つの目領域の縦方向黒色画素数に基づき、両目が開いているか否かを判断する。
つまり、目開閉検出部２２は、顔領域抽出部２０で検出された顔の目が開いているか、閉じているかを判断し、目が閉じていると判断した顔を特定の表情の顔（目つぶりなのか笑顔で目が細くなっている顔）として検出する（表情検出）。
【００１７】
Ｓ３０４において、目開閉検出部２２は、両目が開いていると判断した顔領域の総数Ｍ１を集計し、メモリ１４に記憶する。
Ｓ３０５において、目つぶり判定部２３は、メモリ１４に記憶されている前述の顔領域の検出された人数のＭ０と、両目が開いていると判断された顔領域の総数のＭ１と、が等しいか否か判定する。目つぶり判定部２３は、メモリ１４に記憶されている前述の顔領域の検出された人数のＭ０と、両目が開いていると判断された顔領域の総数のＭ１と、が等しくない場合、画像の中に目つぶり画像が有ると判定し、ステップＳ３０８に進む。一方、目つぶり判定部２３は、メモリ１４に記憶されている前述の顔領域の検出された人数のＭ０と、両目が開いていると判断された顔領域の総数のＭ１と、が等しい場合、画像の中に目つぶり画像が無いと判定し、ステップＳ３０６に進む。
【００１８】
Ｓ３０６において、表示指示部２４は、通常指標を表示するよう（図４に示す表示内容を表示するよう）表示部１０を制御する（表示制御）。図４は、表示部１０の表示内容の一例を示す図（その１）である。デジタルカメラ１は、撮影画像内で顔が認識（抽出）された状態を指標１５にて表示し、ユーザーに認知させている。
Ｓ３０７において、表示指示部２４は、顔画像を拡大表示しない、通常の表示を行うよう表示部１０を制御する（表示制御）。
一方、Ｓ３０８において、表示指示部２４は、Ｓ３０３で特定の表情の顔として検出した顔（目を閉じていると判断した顔）の領域にＮＧ指標を表示するよう（図５に示す表示内容を表示するよう）表示部１０を制御する（表示制御）。図５は、表示部１０の表示内容の一例を示す図（その２）である。デジタルカメラ１は、抽出した顔のうち、目を閉じていると判断した顔にＮＧ指標１６を表示する。つまり、デジタルカメラ１は、目つぶりがある場合、指標１５の表示方法を点線及び点滅表示に変更し、目つぶり画像であるとユーザーに知らせることができる。このＮＧ指標状態では、大人数を撮影する集合写真では、本当に目つぶりをしてしまったのか、それとも笑顔で目が細くなっているかを拡大表示がされていないため、ユーザーは、判別しづらい。本当に目つぶりをしてしまったＮＧ指標を１６ａ、笑顔で目が細くなっているＮＧ指標を１６ｂとする。
【００１９】
Ｓ３０９において、表示指示部２４は、目つぶり顔画像を優先して拡大表示するよう表示部１０を制御する（表示制御）。
図６は、図５におけるＮＧ指標１６ａの目をつぶっている顔を拡大した図である。図５の表示状態でユーザーが画像拡大スイッチを押すことにより、デジタルカメラ１は、ＮＧ指標１６の顔の拡大画像を優先して表示する。
図７は、図５におけるＮＧ指標１６ｂの笑顔で目が細くなっている顔を拡大した図である。図６の状態で更にユーザーが画像拡大スイッチを押すことにより、デジタルカメラ１は、目つぶり顔の拡大表示を図６から図７に切り替える。よって、ユーザーは、目をつぶっているのか、笑顔で目が細くなっているのかを確認することができる。なお、デジタルカメラ１は、顔領域の大きい順で拡大表示を行う。
このようにして、デジタルカメラ１は、目つぶり又は目つぶりらしき画像のみを優先的に拡大表示させることで、失敗画像を撮影後にすばやく、より明確に撮影者（ユーザー）に知らせることができる。
【００２０】
＜実施形態２＞
前述の実施形態１では、デジタルカメラ１は、ＮＧ指標１６に該当する顔の拡大画像のみを順に切り替えて表示していたが、このＮＧ指標に該当する顔の拡大画像を優先的に表示させ、その後にＮＧ指標でない顔画像の拡大表示を行ってもよい。このようにした場合の処理について以下に説明する。
【００２１】
図８は、再生画像表示処理の一例を示す図（その２）である。Ｓ８０１より前の処理は、前述の実施形態１の図３の処理と同じため、ここでの説明は省略する。
ＮＧ指標１６とそうでない指標１５とが存在する画像が表示部１０に表示されている状態で、ユーザーが画像拡大スイッチを押すと、Ｓ８０１において、表示指示部２４は、ＮＧ指標１６の目つぶり顔画像の拡大表示を優先的に行うよう表示部１０を制御する。ＮＧ指標１６の画像が複数存在する場合、表示指示部２４は、顔領域の大きい順で表示を行うよう表示部１０を制御する。拡大表示画像は、実施形態１の図６、図７と同一である。表示指示部２４は、ＮＧ指標１６の拡大表示を全て行った後に、Ｓ８０２において、ＮＧ指標のつかない顔画像の拡大表示を順に行う。表示指示部２４は、この拡大表示の順番も顔領域の大きい順で表示を行うよう表示部１０を制御する。
図９は、Ｓ８０２でのＮＧ指標のつかない画像の拡大表示の一例を示す図である。
【００２２】
このようにして、デジタルカメラ１は、目つぶり又は目つぶりらしき画像のみを優先的に拡大表示させることで、失敗画像を撮影後にすばやく、より明確に撮影者に知らせることができる。更にその後に目つぶりの無い顔の拡大画像を表示することで、撮影された全員の顔の表情も確認も可能となる。
【００２３】
＜実施形態３＞
前述の実施形態２では、デジタルカメラ１は、ＮＧ指標１６に該当する顔の拡大画像及びＮＧ指標でない顔の拡大画像を全員分、順に切り替えて表示していた。しかしこのような処理を例えば５人以上の集合写真に適用した場合、短時間で目つぶり画像を確認するには、ＮＧ指標１６の拡大画像のみの表示を行うことが望ましい。このようにした場合の処理について以下に説明する。
【００２４】
図１０は、再生画像表示処理の一例を示す図（その３）である。Ｓ１００１より前の処理は、前述の実施形態１の図３の処理と同じのため、ここでの説明は省略する。
Ｓ１００１において、表示指示部２４は、顔領域が検出された人数のＭ０をメモリ１４から読み込み、設定された設定値（例えば５人）以上の集合写真か否かを判定する。設定された設定値以上の集合写真の場合、表示指示部２４は、Ｓ１００２においてＮＧ指標１６の目つぶり顔画像の拡大表示のみを行うよう表示部１０を制御する。設定された設定値未満の場合、表示指示部２４は、Ｓ１００３において、ＮＧ指標１６の目つぶり顔画像の拡大表示を優先的に行うよう表示部１０を制御する。ＮＧ指標１６の画像が複数存在する場合、表示指示部２４は、顔領域の大きい順で表示を行うよう表示部１０を制御する。ＮＧ指標１６の拡大表示を全て行った後に、Ｓ１００４において、表示指示部２４は、ＮＧ指標のつかない顔画像の拡大表示を順に行うよう表示部１０を制御する。表示指示部２４は、この拡大表示の順番も顔領域の大きい順で表示を行うよう表示部１０を制御する。拡大表示画像は、実施形態１又は実施形態２で示した図６、図７、図９と同一である。
なお、前述の説明では、Ｓ１００１において５人以上の集合写真かを判別したが、必ずしも５人に限定するものではない。
【００２５】
このようにして、デジタルカメラ１は、大人数での集合写真の場合、目つぶり又は目つぶりらしき画像のみを拡大表示させることで、失敗画像を撮影後にすばやく、より明確に撮影者に知らせることができる。
【００２６】
＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。
【００２７】
また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００２８】
更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００２９】
本発明を前記記憶媒体に適用する場合、その記憶媒体（コンピュータ読み取り可能な記憶媒体）には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００３０】
以上、上述した各実施形態によれば、目つぶりなのか笑顔で目が細くなっているのかという、目つぶりらしき画像を撮影後にすばやく確かめることできる。
【００３１】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００３２】
【図１】デジタルカメラ１のハードウェア構成の一例を示す図である。
【図２】デジタルカメラ１の機能構成の一例を示す図である。
【図３】再生画像表示処理の一例を示す図（その１）である。
【図４】表示部１０の表示内容の一例を示す図（その１）である。
【図５】表示部１０の表示内容の一例を示す図（その２）である。
【図６】図５におけるＮＧ指標１６ａの目をつぶっている顔を拡大した図である。
【図７】図５におけるＮＧ指標１６ｂの笑顔で目が細くなっている顔を拡大した図である。
【図８】再生画像表示処理の一例を示す図（その２）である。
【図９】Ｓ８０２でのＮＧ指標のつかない画像の拡大表示の一例を示す図である。
【図１０】再生画像表示処理の一例を示す図（その３）である。
【符号の説明】
【００３３】
１    デジタルカメラ
２    撮影レンズ
３    撮像素子
４    撮像回路
５    画像処理回路
６    ＣＰＵ（中央処理装置）
７    操作部
８    ＶＲＡＭ
９    ビデオエンコーダ
１０  表示部
１１  圧縮伸長処理回路
１２  メディアコントローラ
１３  記録媒体
１４  メモリ
【図１】
2009296165.tif 000003
【図２】
2009296165.tif 000004
【図３】
2009296165.tif 000005
【図４】
2009296165.tif 000006
【図５】
2009296165.tif 000007
【図６】
2009296165.tif 000008
【図７】
2009296165.tif 000009
【図８】
2009296165.tif 000010
【図９】
2009296165.tif 000011
【図１０】
2009296165.tif 000012