(57)【要約】【課題】衣服に施された赤色の水玉模様などを赤目現象と判断して誤補正してしまう場合がある。また、口唇の端部を赤目現象と判断して誤補正してしまう場合がある。【解決手段】画像データを生成する撮像手段１１１と、前記画像データに含まれる人物の顔の上半分領域を検出する顔上半分領域検出手段１１０と、前記画像データに含まれる赤目現象が発生した赤目領域を検出する赤目領域検出手段１１０と、前記人物の顔の上半分領域に存在する前記赤目領域について赤目処理を行なう赤目処理手段１１０と、を備えることを特徴とする。【選択図】図２
2011041170.tif 000002
【特許請求の範囲】
【請求項１】
画像データを生成する撮像手段と、
前記画像データに含まれる人物の顔の上半分領域を検出する顔上半分領域検出手段と、
前記画像データに含まれる赤目現象が発生した赤目領域を検出する赤目領域検出手段と、前記人物の顔の上半分領域に存在する前記赤目領域について赤目処理を行なう赤目処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
画像データを生成する撮像手段と、
前記画像データに含まれる人物の顔の上半分領域を検出する顔上半分領域検出手段と、
前記人物の顔の上半分領域に含まれる赤目現象が発生した赤目領域を検出する赤目領域検出手段と、
前記赤目領域について赤目処理を行なう赤目処理手段と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物に赤目現象が発生した画像を補正することができる撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルスチルカメラ等の撮像装置には、フラッシュ撮影が可能なものが存在する。このような撮像装置では、撮影環境が暗いときにフラッシュを発光させて人物を撮影すると、人物の目が赤く写ってしまう赤目現象が存在した。そのため現在では、赤目現象の発生を軽減したり、人物に赤目現象が発生した画像を補正したりする技術が数多く提案されている。
【０００３】
なお赤目現象は、撮影環境が暗いために大きく開いた瞳孔から光が入り、眼球内部の毛細血管が無数に走る脈絡膜層に光が反射して起こるものである。そのため、瞳孔を収縮させることによって、赤目現象を防止することができる。
【０００４】
例えば、特許文献１に記載の撮像装置では、赤目現象が発生する可能性のある環境に人物が存在すると判断した場合、撮影直前に人物に対してフラッシュを発光させる。そして、撮影直前の発光から一定時間経過後、撮影と同時に人物に対してフラッシュを再度発光させるようにしている。これによって、撮影の際、人物の瞳孔を収縮させることができ、赤目現象を低減するようにしている。ここで、赤目現象が発生する環境に人物が存在するか否かの判断は、撮影環境の明るさに応じた輝度情報と人物から撮像装置までの距離との関係により判断される。これは、赤目現象の発生を軽減するために、フラッシュの発光方法を工夫した例である。
【０００５】
一方、特許文献２に記載の画像処理装置は、顔画像を含む画像の中から赤目領域を検出し、検出した赤目領域の色を変更することにより自然な顔画像に変換する際に、赤目領域を検出する前処理として、顔の領域を検出する顔領域検出を行い、顔領域の検出結果を赤目領域の検出／除去等の赤目処理に利用する手段を備える。これは、赤目現象が発生した画像に対して、画像処理によってこれを補正する技術の例である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１−２３５９３２号公報
【特許文献２】特開平１０−２３３９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献1に記載の撮像装置では、撮影直前の発光から一定時間経過後、撮影と同時に発光を行うため、赤目現象の軽減効果が十分得られない場合がある。例えば、瞳孔が大きく開いた人物の目は、発光から０．８秒程度で瞳孔が収縮する（最小径となる）といわれている。しかしながら、瞳孔の収縮速度には個人差があるため、撮影直前の発光から一定時間（例えば、０．８秒）で撮影と同時の発光を行ったのでは、赤目現象が発生してしまう場合がある。
【０００８】
また、人物が撮影直前の発光から撮影まで必要以上に待たなければならないという課題がある。例えば、撮影環境が室内程度の明るさである場合、真っ暗な撮影環境と比べ、人物の瞳孔は少しだけ閉じている。そのため、撮影直前の発光から一定時間経過しなくても、赤目現象を発生しない程度まで瞳孔を閉じることができる。すなわち、人物の瞳孔が閉じられているにも関わらず、撮影直前の発光から一定時間待たなければならない。この必要以上の待機時間により、人物が撮影直前の発光を撮影と同時の発光と取り違え、撮影時に人物が動いてしまう、または、目を閉じてしまうといった失敗写真につながる場合がある。
【０００９】
一方、特許文献２に記載の画像処理装置では、フラッシュの発光方法を工夫してもなお発生してしまった赤目現象を、画像処理によって事後的に補正することができる。また、赤目領域を検出する前に顔領域を検出し、検出した顔領域に限って赤目領域の検出／除去等の赤目処理を行うので効率的である。しかしながら、顔領域に限って赤目領域の検出／除去等の赤目処理を行っても、やはり処理時間が長くかかるという問題がある。例えば、コンピュータで赤目処理を行う場合は大きな問題とならなくとも、撮像装置に搭載される処理能力の低い演算装置でこれを行う場合は処理時間が長くかかる。また、撮影の直後に赤目処理を行なって、赤目処理を行なった画像を記録するような撮像装置においては、深刻な問題となる。
【００１０】
さらに、発生してしまった赤目現象を、画像処理によって事後的に補正する場合は、誤補正の問題が無視できない。画像全体について赤目領域の検出／除去等の赤目処理を行う場合は、例えば、衣服に施された赤色の水玉模様などを赤目現象と判断して誤補正してしまう場合がある。また、顔領域に限って赤目領域の検出／除去等の赤目処理を行ったとしても、口唇の端部を赤目現象と判断して誤補正してしまう場合がある。
【００１１】
なお、ここで赤目処理とは、赤目現象によって赤色となった人物の目を黒色に補正する処理をいう。
【００１２】
本発明は、前記課題を解決し、処理能力の比較的低い演算装置を搭載した撮像装置であっても、比較的短時間でかつ誤補正の少ない赤目処理が可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明の撮像装置は、画像データを生成する撮像手段と、前記画像データに含まれる赤目現象が発生した赤目領域を検出する赤目領域検出手段と、前記画像データに含まれる人物の顔の上半分領域を検出する顔上半分領域検出手段と、前記人物の顔の上半分領域に存在する前記赤目領域について赤目処理を行なう赤目処理手段と、を備えることを特徴とする。
【発明の効果】
【００１４】
以上のように、本発明によれば、人物の顔領域のさらに上半分に限って赤目処理を行なうので、赤目処理に要する処理時間を短縮することができるとともに誤補正の可能性も減少する。
【図面の簡単な説明】
【００１５】
【図１】本実施の形態に係る撮像装置１００の外観図
【図２】本実施の形態に係る撮像装置１００のブロック図
【図３】赤目処理の流れを示すフローチャート
【図４】顔上半分領域検出の概念を示す図
【図５】本発明の効果の一例を示す図
【発明を実施するための形態】
【００１６】
以下、添付の図面を参照しながら本発明の実施の形態を説明する。以下に説明する撮像装置は、光学的な画像を電気信号に変換し、その結果得られる画像データ（デジタル信号）を着脱可能な記録媒体に記録するものである。また、この撮像装置は、被写体に対して発光する発光部を有し、被写体に対して発光を伴った撮影を可能にするものである。例えば、デジタルスチルカメラがこれに含まれる。
（実施の形態）
（１．構成）
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１７】
図１は、本実施の形態に係る撮像装置１００の外観図である。図１（ａ）は、正面図であり、図１（ｂ）は、背面図である。図２は、本実施の形態に係る撮像装置１００のブロック図である。以下、撮像装置１００の具体的構成について説明する。
【００１８】
発光部１０１は、キセノンランプ等を有する発光装置によって構成されるものであり、制御部１１０からの制御信号によって、被写体に対して発光する。光学系１０２は、複数のレンズによって構成され、フォーカスレンズやズームレンズを含んで構成される。これによって、被写体の光学的な画像を集光することができる。
【００１９】
撮像部１１１は、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等の撮像素子によって構成され、制御部１１０からの制御信号に基づいて、被写体の光学的な画像を電気信号に変換する。そして、撮像部１１１は、変換された電気信号をＡ／Ｄ変換部１１２に出力する。なお、撮像部１１１から出力される電気信号は、オペアンプ等の増幅器１１３によって増幅されてＡ／Ｄ変換部１１２に出力される。ここで増幅器１１３の増幅レベルは、撮像部１１１から出力される電気信号に基づいて判断される。例えば、撮像部１１１から出力される電気信号によって撮影環境が暗いと判断されれば、増幅器１１３の増幅レベルを上げるように制御する。
【００２０】
Ａ／Ｄ変換部１１２は、Ａ／Ｄコンバータ等のＩＣチップによって構成されるものであり、撮像部１１１から出力された電気信号をデジタル信号である画像データに変換する。制御部１１０は、Ａ／Ｄ変換部１１２から出力された画像データに所定の処理を行なって表示部１０４に出力したり、記録媒体が装着された記録部１０５に出力したりすることができる。なお、Ａ／Ｄ変換部１１２から出力された画像データを表示部１０４に出力するときは、表示部１０４での表示に適した画像データに変換する。表示部１０４は、液晶ディスプレイや有機ＥＬディスプレイ等の小型フラットパネルディスプレイで構成される。また、Ａ／Ｄ変換部１１２から出力された画像データを記録媒体が装着された記録部１０５に出力するときは、Ａ／Ｄ変換部１１２から出力された画像データに対してＹＣ分離とＪＰＥＧ圧縮を行なう。
【００２１】
シャッタースイッチ１０３は、撮影者の操作に基づいて、撮影開始のタイミングを制御するものである。図１では、撮像装置１００の上面に設けられ、撮影者からの半押し及び全押しを検知することができる。なお、シャッタースイッチ１０３は、撮影者の半押し操作を検知した場合、制御部１１０に対して半押信号を出力する。制御部１００は、シャッタースイッチ１０３から出力される半押信号を受け付けると、被写体の光学的な画像を撮像部１１１に合焦させるよう光学系１０２を制御する。シャッタースイッチ１０３は、撮影者の全押し操作を検知した場合、制御部１１０に対して撮影開始信号を出力する。制御部１００は、シャッタースイッチ１０３から出力される全押信号を受け付けると、撮像動作を行なうよう撮像部１１１を制御するとともに、Ａ／Ｄ変換部１１２から出力された画像データに所定の処理を行なって記録媒体が装着された記録部１０５に出力する。
【００２２】
制御部１１０は、撮像装置１００の各部を制御するとともに、Ａ／Ｄ変換部１１２から出力されたデジタル信号に所定の処理を行うＬＳＩである。制御部１１０は、ＣＰＵ１１０ａと内蔵メモリ１１０ｂと図示しないその他の回路によって構成され、内蔵メモリ１１０ｂに記憶されている制御プログラムにしたがって、撮像装置１００の各部の制御を行う。
【００２３】
ここで、制御部１１０は、撮像部１１１から出力される電気信号によって撮影環境が暗いと判断されれば、発光部１０１を発光させるように制御する。制御部１１０は、撮像手段１１１の撮像動作の後、Ａ／Ｄ変換部１１２から出力された画像データに対して赤目現象が発生した赤目領域を検出する。また、Ａ／Ｄ変換部１１２から出力された画像データに対して人物の顔の上半分領域を検出する。制御部１１０は、さらに、人物の顔の上半分領域に存在する赤目領域について赤目処理を行なう。なお、上記の一連の処理は、内蔵メモリ１１０ｂに記憶されている制御プログラムにしたがってＣＰＵ１１０ａが行なってもよいし、それぞれの処理に対して専用回路を設けても構わない。
（２．動作）
図３は、赤目処理の流れを示すフローチャートである。図３は、赤目処理の流れを三通り示す。なお、三通りの赤目処理の流れのいずれについても、顔上半分領域検出処理は、ＹＣデータに対して行なってもよいし、Ｙデータに対して行なってもよい。顔検出に色情報（Ｃ）も使用するのであればＹＣデータに対して顔上半分領域検出処理を行えばよいし、顔検出に輝度情報（Ｙ）しか使用しないのであればＹデータに対して顔上半分領域検出処理を行えばよい。
（２−１．並行型）
図３（ａ）は、Ａ／Ｄ変換部１１２から出力された画像データに対して赤目現象が発生した赤目領域を検出する赤目領域検出処理と、Ａ／Ｄ変換部１１２から出力された画像データに対して人物の顔の上半分領域を検出する顔上半分領域検出処理を並行して行う場合の赤目処理の流れを示す。
【００２４】
Ａ／Ｄ変換部１１２から出力された画像データに対してＹＣ分離（Ｓ３０１）を行ってＹＣデータを生成する。生成されたＹＣデータに対して赤目領域検出（Ｓ３０２）と顔上半分領域検出（Ｓ３０３）を並行して行なう。赤目領域検出（Ｓ３０２）と顔上半分領域検出（Ｓ３０３）を並行して行なうためには、制御部１１０は、赤目領域検出（Ｓ３０２）と顔上半分領域検出（Ｓ３０３）をそれぞれ独立して行なうことができる専用回路を備えることが望ましい。これによって、赤目領域検出（Ｓ３０２）と顔上半分領域検出（Ｓ３０３）を並行にかつ高速に行なうことができる。ただし、内蔵メモリ１１０ｂに記憶されている制御プログラムにしたがってＣＰＵ１１０ａが赤目領域検出（Ｓ３０２）と顔上半分領域検出（Ｓ３０３）を並行して行なうことを除外するものではない。次に、赤目領域検出（Ｓ３０２）によって得られた赤目領域のうち、顔上半分領域検出（Ｓ３０３）によって得られた顔上半分領域に存在する赤目領域について赤目処理（Ｓ３０４）を行なう。
【００２５】
なお、ＹＣ分離（Ｓ３０１）によって生成されたＹＣデータに対して赤目領域検出（Ｓ３０２）と顔上半分領域検出（Ｓ３０３）を並行して行なうとしたが、ＹＣ分離（Ｓ３０１）によって生成されたＹＣデータとまったく同じＹＣデータである必要はない。赤目領域検出（Ｓ３０２）については、赤目領域検出（Ｓ３０２）が可能な程度に間引いたＹＣデータであっても構わない。また、顔上半分領域検出（Ｓ３０３）については、顔上半分領域検出（Ｓ３０３）が可能な程度に間引いた上、輝度情報のみのデータとしてもよい。
【００２６】
以上で、Ａ／Ｄ変換部１１２から出力された画像データに対して赤目現象が発生した赤目領域を検出する赤目領域検出処理と、Ａ／Ｄ変換部１１２から出力された画像データに対して人物の顔の上半分領域を検出する顔上半分領域検出処理を並行して行う場合の赤目処理が終了する。
（２−２．顔上半分領域検出先行型）
図３（ｂ）は、Ａ／Ｄ変換部１１２から出力された画像データに対して人物の顔の上半分領域を検出する顔上半分領域検出処理をＡ／Ｄ変換部１１２から出力された画像データに対して赤目現象が発生した赤目領域を検出する赤目領域検出処理に先行して行なう場合の赤目処理の流れを示す。
【００２７】
Ａ／Ｄ変換部１１２から出力された画像データに対してＹＣ分離（Ｓ３１１）を行ってＹＣデータを生成する。生成されたＹＣデータに対して顔上半分領域検出（Ｓ３１２）を行なう。次に、顔上半分領域検出（Ｓ３１２）によって得られた顔上半分領域に対して赤目領域検出（Ｓ３１３）を行なう。これによって、赤目領域検出（Ｓ３１３）を行なう対象が顔上半分領域に限定されるので、高速に赤目領域検出（Ｓ３１３）を行なうことができる。次に、赤目領域検出（Ｓ３１３）によって得られた赤目領域のうち、顔上半分領域検出（Ｓ３１２）によって得られた顔上半分領域に存在する赤目領域について赤目処理（Ｓ３１４）を行なう。
【００２８】
なお、ＹＣ分離（Ｓ３１１）によって生成されたＹＣデータに対して顔上半分領域検出（Ｓ３１２）を行なうとしたが、ＹＣ分離（Ｓ３０１）によって生成されたＹＣデータとまったく同じＹＣデータである必要はない。顔上半分領域検出（Ｓ３０３）が可能な程度に間引いた上、輝度情報のみのデータとしてもよい。
【００２９】
以上で、Ａ／Ｄ変換部１１２から出力された画像データに対して人物の顔の上半分領域を検出する顔上半分領域検出処理をＡ／Ｄ変換部１１２から出力された画像データに対して赤目現象が発生した赤目領域を検出する赤目領域検出処理に先行して行なう場合の赤目処理が終了する。
（２−３．赤目領域検出先行型）
図３（ｃ）は、Ａ／Ｄ変換部１１２から出力された画像データに対して赤目現象が発生した赤目領域を検出する赤目領域検出処理をＡ／Ｄ変換部１１２から出力された画像データに対して人物の顔の上半分領域を検出する顔上半分領域検出処理に先行して行なう場合の赤目処理の流れを示す。
【００３０】
Ａ／Ｄ変換部１１２から出力された画像データに対してＹＣ分離（Ｓ３２１）を行ってＹＣデータを生成する。生成されたＹＣデータに対して赤目領域検出（Ｓ３２２）を行なう。次に、生成されたＹＣデータに対して顔上半分領域検出（Ｓ３２３）を行なう。次に、赤目領域検出（Ｓ３２２）によって得られた赤目領域のうち、顔上半分領域検出（Ｓ３２３）によって得られた顔上半分領域に存在する赤目領域について赤目処理（Ｓ３２４）を行なう。
【００３１】
なお、ＹＣ分離（Ｓ３２１）によって生成されたＹＣデータに対して赤目領域検出（Ｓ３０２）を行なうとしたが、ＹＣ分離（Ｓ３２１）によって生成されたＹＣデータとまったく同じＹＣデータである必要はない。赤目領域検出（Ｓ３０２）が可能な程度に間引いたＹＣデータであっても構わない。
【００３２】
以上で、Ａ／Ｄ変換部１１２から出力された画像データに対して人物の顔の上半分領域を検出する顔上半分領域検出処理をＡ／Ｄ変換部１１２から出力された画像データに対して赤目現象が発生した赤目領域を検出する赤目領域検出処理に先行して行なう場合の赤目処理が終了する。
（３．顔上半分領域検出処理）
図４は、顔上半分領域検出の概念を示す図である。専用回路やソフトウェアモジュールで構成された顔検出エンジンが知られている。顔検出エンジンは、画像データを入力すると検出した人物の顔に関する情報を出力する。
【００３３】
本実施の形態の形態に係る撮像装置１００は、制御部１１０の内部に専用回路で構成された顔検出エンジンを搭載するものとする。本実施の形態に係る撮像装置１００に搭載された顔検出エンジンは、入力された画像データに対して以下の情報を出力するものとする。なお、以下の情報は顔検出エンジンが出力する情報の一例であって、顔検出エンジンが異なれば、出力する情報も異なりうる。例えば、右を向いているのか、左を向いているのか、上を向いているのか、下を向いているのか等の顔の向き、あるいは顔の傾きに関する情報を出力する顔検出エンジンも存在する。そのような場合にも、必要な情報を適宜用いて顔上半分領域を画定すればよい。
（ａ）顔の検出方向
本実施の形態に係る撮像装置１００に搭載された顔検出エンジンでは、顔の検出は、顔を検索する方向に依存する。したがって、顔検出エンジンは、顔を検出する際に、１）画像データの上から下へ向かう方向に顔を検索したのか（図４（ａ）の場合）、２）画像データの右から左へ向かう方向に顔を検索したのか（図４（ｂ）の場合）、３）画像データの左から右へ向かう方向に顔を検索したのか（図４（ｃ）の場合）を示す情報を出力する。上記１）の場合は０°を、上記２）の場合は９０°を、上記３）の場合は２７０°を、それぞれ出力する。
（ｂ）顔の大きさ
本実施の形態に係る撮像装置１００に搭載された顔検出エンジンは、顔の大きさを縦方向、横方向ともに同じ値（Ｌ）で出力する。したがって、顔領域は正方形となる。
（ｃ）顔の中心位置座標
本実施の形態に係る撮像装置１００に搭載された顔検出エンジンは、顔の中心位置座標（Ｘ，Ｙ）を出力する。
【００３４】
以上の情報から、顔上半分領域を画定する。本実施の形態に係る撮像装置１００では、制御部１１０の内部に専用回路で構成された顔検出エンジンの出力する情報を基に、制御部１１０のＣＰＵ１１０ａが顔上半分領域を画定するものとする。
【００３５】
上記１）画像データの上から下へ向かう方向に顔を検索した場合（図４（ａ）の場合）について説明する。顔上半分領域を特定するためには、長方形である顔上半分領域の四つの頂点の座標が分かればよい。顔検出エンジンの出力する情報から、長方形である顔上半分領域の四つの頂点の座標は、以下のように求められる。なお、上記（ａ）顔の検出方向である０°は、以下の演算の前提条件となる。
【００３６】
顔上半分領域左上座標＝（Ｘ−Ｌ／２，Ｙ−Ｌ／２）
顔上半分領域右上座標＝（Ｘ＋Ｌ／２，Ｙ−Ｌ／２）
顔上半分領域左下座標＝（Ｘ−Ｌ／２，Ｙ        ）
顔上半分領域右下座標＝（Ｘ＋Ｌ／２，Ｙ        ）
このようにして、顔上半分領域を特定することができる。上記２）画像データの右から左へ向かう方向に顔を検索した場合（図４（ｂ）の場合）も上記３）画像データの左から右へ向かう方向に顔を検索した場合（図４（ｃ）の場合）も、上記（ａ）顔の検出方向に関する情報を使用する以外、基本的な考え方は同じであるから説明を省略する。なお、以上で説明した顔上半分領域の特定方法では長方形である顔上半分領域の四つの頂点の座標を求めることとしたが、顔上半分領域の一つの頂点の座標と横方向の大きさと縦方向の大きさを求めることとしてもよい。さらに、縦方向の大きさは横方向の大きさの１／２であるから、顔上半分領域の一つの頂点の座標と横方向の大きさのみを求めることとしても構わない。
（４．効果）
図５は本発明の効果の一例を示す図である。顔上半分領域（Ａ）に存在する赤目領域（Ｂ）に対しては、赤目処理を行なう。顔上半分領域（Ａ）に存在する赤目領域（Ｂ）は、真に赤目現象が発生した人物の目である可能性が非常に高い。一方、顔領域に存在しても、顔上半分領域（Ａ）に存在しない赤目領域（Ｃ）に対しては、赤目処理を行わない。顔領域に存在しても、顔上半分領域（Ａ）に存在しない赤目領域（Ｃ）は、真に赤目現象が発生した人物の目ではなく、例えば、口唇の端部の誤検出であると考えられる。同様に、顔領域に存在しない赤目領域に対しても、赤目処理を行わない。
【００３７】
これによって、衣服に施された赤色の水玉模様などを赤目現象と判断して誤補正してしまったり、口唇の端部を赤目現象と判断して誤補正してしまったりすることがない。
【産業上の利用可能性】
【００３８】
本発明によれば、人物の顔領域のさらに上半分に限って赤目処理を行なうので、赤目処理に要する処理時間を短縮することができるとともに誤補正の可能性も減少するから、デジタルスチルカメラ等の撮像装置に適用して有用である。
【符号の説明】
【００３９】
１００    撮像装置
１０１    発光部
１０２    光学系
１０３    シャッターボタン
１０４    表示部
１０５    記録部
１１０    制御部
１１０ａ    ＣＰＵ
１１０ｂ    内蔵メモリ
１１１    撮像部
１１２    Ａ／Ｄ変換部
１１３    増幅器
【図１】
2011041170.tif 000003
【図２】
2011041170.tif 000004
【図３】
2011041170.tif 000005
【図４】
2011041170.tif 000006
【図５】
2011041170.tif 000007