(57)【要約】【課題】  顔領域を検出することなく赤目を検出することで処理時間を短縮して、赤目補正を行うことができる画像処理装置、画像処理方法およびデジタルカメラを提供すること。【解決手段】  分離度マップ生成部１０２が、画像入力部１０１から入力されたＲＧＢのフォーマットの画像から分離度フィルタによって分離度を算出して分離度マップを作成する。特徴点候補検出部１０３が、分離度マップ内の分離度の値と所定の閾値とを比較して特徴点候補を検出する。特徴点検出部１０４が、所定の条件を満たす特徴点候補を特徴点である赤目を検出する。画像補正部１０５が、赤目付近の領域である赤目領域に対して赤目補正処理を行って、画像出力部１０６が、赤目補正処理を行った後の画像を出力する。【選択図】        図１
2005196385.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の中から赤目領域を検出して、この検出した赤目領域を補正する画像処理装置において、
所定の形状の内部領域と外部領域とを有する分離度フィルタによって前記入力画像の中のから前記内部領域と前記外部領域とを検出して、前記内部領域に含まれる前記入力画像の画像特徴量と前記外部領域に含まれる前記入力画像の画像特徴量との分離の度合いを示す分離度を前記入力画像の画素ごとに算出して、この算出した各分離度と前記各画素とを対応付けた分離度マップを作成する分離度マップ作成手段と、
この分離度マップ作成手段によって作成された分離度マップの各分離度と所定の閾値とを比較して、前記分離度が前記閾値よりも大きい画素を検出して、この検出した画素の分離度が局所最大値を示す画素を赤目の候補として検出する特徴点候補検出手段と、
この特徴点候補検出手段によって検出された前記赤目の候補が所定の条件を満たしているか否かを判定して、前記所定の条件を満たしている赤目の候補を含む所定の領域を赤目領域として検出する特徴点検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴点検出手段によって赤目領域として検出された領域に対して赤目補正処理を行う画像補正手段、
をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分離度マップ作成手段は、
前記入力画像がＲＧＢ値によって入力される場合、前記分離度を算出する画像特徴量としてＧ値の画像特徴量を用いることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記分離度フィルタは円形状の外部領域と内部領域とを有し、
前記特徴点検出手段が前記赤目領域を検出する所定の条件を、
前記赤目の候補のＧ値の画像特徴量が所定の閾値より小さいこととすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記分離度フィルタは円形状の外部領域と内部領域とを有し、
前記特徴点検出手段が前記赤目領域を検出する所定の条件を、
前記赤目の候補を中心として前記分離度フィルタの内部領域に含まれる各画素のＧ値の画像特徴量の平均値が所定の閾値より小さいこととすることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記分離度フィルタは円形状の外部領域と内部領域とを有し、
前記特徴点検出手段が前記赤目領域を検出する所定の条件を、
前記赤目の候補の色相値が示す赤みが所定の閾値より大きいこととすることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記分離度フィルタは円形状の外部領域と内部領域とを有し、
前記特徴点検出手段が前記赤目領域を検出する所定の条件を、
前記赤目の候補を中心として前記分離度フィルタの内部領域に含まれる各画素の色相値が示す赤みの平均値が所定の閾値より大きいこととすることを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記分離度フィルタは円形状の外部領域と内部領域とを有し、
前記特徴点検出手段が前記赤目領域を検出する所定の条件を、
前記特徴点候補検出手段によって検出された赤目の候補の中から、右目と左目とを示す組となる配置の赤目の候補を検出こととすることを特徴とする請求項３に記載の画像処理装置。
【請求項９】
入力画像の中から赤目領域を検出して、この検出した赤目領域を補正する画像処理方法において、
所定の形状の内部領域と外部領域とを有する分離度フィルタによって前記入力画像の中のから前記内部領域と前記外部領域とを検出して、前記内部領域に含まれる前記入力画像の画像特徴量と前記外部領域に含まれる前記入力画像の画像特徴量との分離の度合いを示す分離度を前記入力画像の画素ごとに算出して、この算出した各分離度と前記各画素とを対応付けた分離度マップを作成する分離度マップ作成ステップと、
この分離度マップ作成ステップによって作成された分離度マップの各分離度と所定の閾値とを比較して、前記分離度が前記閾値よりも大きい画素を検出して、この検出した画素の分離度が局所最大値を示す画素を赤目の候補として検出する特徴点候補検出ステップと、
この特徴点候補検出ステップによって検出された前記赤目の候補が所定の条件を満たしているか否かを判定して、前記所定の条件を満たしている赤目の候補を含む所定の領域を赤目領域として検出する特徴点検出ステップと、
を備えることを特徴とする画像処理方法。
【請求項１０】
請求項１〜８の何れか一つに記載の画像処理装置が搭載されたことを特徴とするデジタルカメラ。
【請求項１１】
光学系を介して入力される被写体を撮影して、この撮影した被写体の画像を記録するデジタルカメラにおいて、
前記被写体を撮影する前の入力画像の中から瞳の位置を検出する瞳位置決定手段と、
この瞳位置決定手段によって瞳の位置が検出された場合には、検出された瞳の位置を含む所定の形状の基準領域を決定する基準領域決定手段と、
この基準領域決定手段によって決定された基準領域に基づいて前記被写体を撮影するためのパラメータを調整するパラメータ調整手段と、
を備えることを特徴とするデジタルカメラ。
【請求項１２】
前記パラメータは前記光学系の焦点であって、前記パラメータ調整手段は、前記基準領域に前記光学系の焦点を合わせることを特徴とする請求項１１に記載のデジタルカメラ。
【請求項１３】
前記瞳位置決定手段は、
所定の形状の内部領域と外部領域とを有する分離度フィルタによって前記入力画像の中のから前記内部領域と前記外部領域とを検出して、前記内部領域に含まれる前記入力画像の画像特徴量と前記外部領域に含まれる前記入力画像の画像特徴量との分離の度合いを示す分離度を前記入力画像の画素ごとに算出して、この算出した各分離度と前記各画素とを対応付けた分離度マップを作成する分離度マップ作成手段と、
この分離度マップ作成手段によって作成された分離度マップの各分離度と所定の閾値とを比較して、前記分離度が前記閾値よりも大きい画素を検出して、この検出した画素の分離度が局所最大値を示す画素を瞳の候補として検出する特徴点候補検出手段と、
この特徴点候補検出手段によって検出された前記瞳の候補を含む所定の領域と所定の辞書との類似度を算出して、この算出した類似度に基づいて瞳の位置を検出する特徴点検出手段と、
を備えることを特徴とする請求項１１または１２に記載のデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人物や動物などをフラッシュを用いて撮影した際に発生する赤目を検出して、検出した赤目を補正する画像処理装置、画像処理方法およびデジタルカメラに関するものである。
【背景技術】
【０００２】
小型化、高画質化などの技術の進歩と、銀塩カメラに比べて手軽に使用することができることから、デジタルカメラは、急激に普及しており、銀塩カメラに取って代わりつつある。
【０００３】
暗い場所での撮影は、デジタルカメラも銀塩カメラと同様にフラッシュなどの照明が不可欠である。人物や動物をフラッシュを用いて撮影した場合、フラッシュの光が網膜で反射することによって、被写体である人物や動物の瞳が赤くなる赤目現象が発生することがある。この赤目現象は、レンズの光軸とフラッシュの光軸とが並行で、かつ２つの光軸の距離が近い場合に発生しやすい。特に、小型化が進んでいるデジタルカメラでは、レンズとフラッシュとの間の距離が短くなっているので、赤目現象が発生することが多い。そのため、デジタルカメラに限らず小型カメラには、赤目を軽減する赤目軽減機能が搭載されていることが多い。
【０００４】
赤目軽減機能の１つとして、フラッシュから２回光を照射する方法がある。まず、撮影する直前にフラッシュによってダミーの光を照射して人物や動物の瞳孔を狭くしておき、撮影時のフラッシュの光による網膜での反射光を少なくすることで、赤目現象の発生を防止する。
【０００５】
しかしながら、フラッシュから２回光を照射する方法では、ダミーの光を照射しなければならないため、電池の消耗が激しいという問題があった。
【０００６】
また、フラッシュから２回光を照射して、フラッシュの光による網膜での反射光を少なくなるようにしても、完全に赤目現象を無くすことはできない。そのため、撮影後に赤目を補正する必要があった。
【０００７】
特許文献１（第１の従来技術）には、赤目領域を検出する前処理として、顔領域を検出する顔領域検出を行い、顔領域の検出を赤目領域の検出／除去等の赤目処理に利用する技術が開示されている。具体的には、まず、操作者によってディスプレイに表示されている画像の中から赤目領域が含まれる顔の一点あるいは、一部範囲が指定されると、指定された領域を一定範囲拡大した画像領域の検索範囲を初期設定する。そして、操作者が指定した領域の画素の色、あるいは、初期設定された検索範囲の全部または一部の画素の色を参照して顔の画像領域の基本的な色である肌色の基準色を決定して、決定した基準色と画像領域の画素の色との色差に基づいて顔の画像領域を検索する。
【０００８】
つぎに、検索した顔の画像領域の中の各画素の色差を用いたクラスタリング処理によって、目や口、眉等の特徴点を検出する。そして、検出した特徴点の色を判別し、輝度情報を基準として、毛、黒目部分影等の黒領域および白目部分などの白領域を検出し、彩度情報を基準として、しみや赤目、唇等の赤領域の判別等の特徴点の色を判別する。
【０００９】
最後に、各色の判別結果に加えて、特徴点の形状なども考慮して総合的に判断して、赤目領域を検出して、検出した赤目領域の彩度および明度を低下させて赤目を補正する。
【００１０】
また、特許文献２（第２の従来技術）には、認識対象となる人物の入力画像から当該人物の顔領域が抽出された際に、その顔領域の中から分離度フィルタを用いて顔の各特徴点候補を抽出し、この各特徴点候補の中から顔の構造的な制約情報に基づいて各特徴点のセット候補を選択し、この各特徴点セット候補を基準に切り出した特徴点近傍領域と予め登録してあるテンプレートパターンとの照合により各適合度を計算してその緩和を求め、最も適合度の緩和の高い特徴点セットを正しい特徴点セットとして選択することで、入力画像から目、鼻などの特徴点を安定に抽出する技術が開示されている。
【００１１】
さらに、非特許文献１（第３の従来技術）には、瞳と鼻孔とが含まれている顔辞書パターンを画像全体にわたって移動させながら類似度を随時求めていき、類似度の局所最大点を顔領域として抽出し、抽出した顔領域の中から分離度フィルタを用いて顔の各特徴点候補を抽出して、部分空間法を用いたパターン照合により、抽出した各特徴点候補が正しい特徴点であるのか否かを検証して、画像全体から目、鼻孔などの特徴点を抽出する技術が開示されている。
【００１２】
【特許文献１】特開平１０−２３３９２９号公報
【特許文献２】特許第３２７９９１３号公報
【非特許文献１】電子情報通信学会論文誌  Ｄ−II  Vol.J80-D-II  No.8 pp.2170-2177 1997年8月  「形状抽出とパターン照合の組み合わせによる顔特徴点抽出」
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記第１の従来技術では、たとえば、色相だけを用いた場合には赤目領域の検出精度が低く、誤検出が発生することがある。そのため、面積、彩度、明度、形状などの複数の条件を考慮して総合的に判断しているが、考慮する条件が多くなると赤目検出に時間がかかってしまうという問題があった。
【００１４】
また、上記第１の従来技術では、赤目を補正するために、操作者が、ディスプレイに表示されている画像の中から赤目領域が含まれる顔の１点あるいは、一部範囲を指定するようにしており、この指定によっては赤目検出に時間がかかってしまう。赤目検出の時間を短縮するためには、適切な領域を指定しなければならい。しかしながら、領域の指定は、操作者が手動で行うため、非常に不便であるという問題もあった。
【００１５】
さらに、上記第２および第３の従来技術では、瞳を正確に検出することはできるが、顔領域を検出した後に特徴点である瞳を検出するようにしているため、その処理時間が長く、デジタルカメラなどの赤目検出にそのまま適用することは難しいという問題があった。
【００１６】
また、デジタルカメラには、自動的に被写体までの距離を測定することにより、レンズの焦点を調整する自動焦点調節機能がある。デジタルカメラでは、自動焦点調節機能において画像の中のどの部分に焦点を合わせるかは、予め定められていることが多い。しかし、風景の中を背景に人物や動物を撮影する場合、必ずしも予め定められている部分に人物や動物が位置するわけではない。このような場合には、人物に焦点が合っていない画像が撮影されることがあるという問題があった。
【００１７】
本発明は、上記に鑑みて成されたものであって、顔領域を検出することなく赤目を検出することで処理時間を短縮して、赤目補正を行うことができる画像処理装置、画像処理方法およびデジタルカメラを得ることを第１の目的とする。
【００１８】
第２の目的は、人物や動物を含む撮影の場合、正確に人物や動物に焦点を合わせることができるデジタルカメラを得ることである。
【課題を解決するための手段】
【００１９】
上述した課題を解決し、目的を達成するために、本発明は、所定の形状の内部領域と外部領域とを有する分離度フィルタによって前記入力画像の中のから前記内部領域と前記外部領域とを検出して、前記内部領域に含まれる前記入力画像の画像特徴量と前記外部領域に含まれる入力画像の画像特徴量との分離の度合いを示す分離度を前記入力画像の画素ごとに算出して、この算出した各分離度と前記各画素とを対応付けた分離度マップを作成する分離度マップ作成手段と、この分離度マップ作成手段によって作成された分離度マップの各分離度と所定の閾値とを比較して、前記分離度が前記閾値よりも大きい画素を検出して、この検出した画素の分離度が局所最大値を示す画素を赤目の候補として検出する特徴点候補検出手段と、この特徴点候補検出手段によって検出された前記赤目の候補が所定の条件を満たしているか否かを判定して、前記所定の条件を満たしている赤目の候補を含む所定の領域を赤目領域として検出する特徴点検出手段と、を備えることを特徴とする。
【００２０】
また、本発明は、入力画像の中から赤目領域を検出して、この検出した赤目領域を補正する画像処理方法において、所定の形状の内部領域と外部領域とを有する分離度フィルタによって前記入力画像の中のから前記内部領域と前記外部領域とを検出して、前記内部領域に含まれる前記入力画像の画像特徴量と前記外部領域に含まれる入力画像の画像特徴量との分離の度合いを示す分離度を前記入力画像の画素ごとに算出して、この算出した各分離度と前記各画素とを対応付けた分離度マップを作成する分離度マップ作成ステップと、この分離度マップ作成ステップによって作成された分離度マップの各分離度と所定の閾値とを比較して、前記分離度が前記閾値よりも大きい画素を検出して、この検出した画素の分離度が局所最大値を示す画素を赤目の候補として検出する特徴点候補検出ステップと、この特徴点候補検出ステップによって検出された前記赤目の候補が所定の条件を満たしているか否かを判定して、前記所定の条件を満たしている赤目の候補を含む所定の領域を赤目領域として検出する特徴点検出ステップと、を備えることを特徴とする。
【００２１】
また、本発明は、光学系を介して入力される被写体を撮影して、この撮影した被写体の画像を記録するデジタルカメラにおいて、前記被写体を撮影する前の入力画像の中から瞳の位置を検出する瞳位置決定手段と、この瞳位置決定手段によって瞳の位置が検出された場合には、検出された瞳の位置を含む所定の形状の基準領域を決定する基準領域決定手段と、この基準領域決定手段によって決定された基準領域に基づいて前記被写体を撮影するためのパラメータを調整するパラメータ調整手段と、を備えることを特徴とする。
【発明の効果】
【００２２】
本発明は、分離度マップ作成手段が、所定の形状の内部領域と外部領域とを有する分離度フィルタによって入力画像の中のから内部領域と外部領域とを検出して、内部領域に含まれる入力画像の画像特徴量と外部領域に含まれる入力画像の画像特徴量との分離の度合いを示す分離度を入力画像の画素ごとに算出して、この算出した各分離度と各画素とを対応付けた分離度マップを作成し、特徴点候補検出手段が、分離度マップの各分離度と所定の閾値とを比較して、分離度が閾値よりも大きい画素を検出して、検出した画素の分離度が局所最大値を示す画素を赤目の候補として検出し、特徴点検出手段が、赤目の候補が所定の条件を満たしているか否かを判定して、所定の条件を満たしている赤目の候補を含む所定の領域を赤目領域として検出しているので、入力画像から顔領域を検出した後に赤目を検出することなく正確に赤目を検出することができ、赤目の検出に要する時間を短縮することができる。
【００２３】
また、本発明は、瞳位置検出手段が、入力画像の中から人物または動物の瞳を検出して、基準領域決定手段が、検出された瞳を含む基準領域を決定し、パラメータ調整手段が、基準領域に基づいて被写体を撮影するためのパラメータを調整するようにしているため、被写体に人物または動物が含まれている場合には、撮影のためのパラメータを人物または動物に正確にあわせて画像を撮影することができる。
【発明を実施するための最良の形態】
【００２４】
以下に、本発明にかかる画像処理装置、画像処理方法およびデジタルカメラの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【００２５】
（第１の実施形態）
図１〜図４を用いてこの発明における第１の実施形態を説明する。図１は、この発明における第１の実施形態の画像処理装置の構成を示すブロック図である。この発明における第１の実施形態の画像処理装置は、画像入力部１０１、分離度マップ生成部１０２、特徴点候補検出部１０３、特徴点検出部１０４、画像補正部１０５および画像出力部１０６を備えている。
【００２６】
画像入力部１０１は、デジタルカメラで撮影された画像を取り込む入力手段である。デジタルカメラで撮影された画像フォーマットは、ＲＢＧフォーマットやＹＵＶフォーマットなどさまざまである。画像入力部１０１は、取り込んだ画像フォーマットがＲＢＧフォーマットとは異なる画像フォーマットである場合には、入力された画像フォーマットをＲＧＢフォーマットに変換する特許請求の範囲でいうところの入力画像変換手段の機能を備えている。
【００２７】
分離度マップ生成部１０２は、後述する図２に示した分離度フィルタを用いて、赤目補正の対象となる画像の分離度マップを生成する。特徴点候補検出部１０３は、分離度マップ内の分離度の値と所定の閾値とを比較して、分離度の値が所定の閾値よりも大きい点を検出して、検出した点の中で局所最大値を示す画素を特徴点候補（赤目の候補）として検出する。
【００２８】
特徴点検出部１０４は，特徴点候補検出部１０３によって検出された複数の特徴点候補が所定の条件を満たしているか否かを判定して、所定の条件を満たしている特徴点候補を赤目を示す特徴点として検出する。
【００２９】
画像補正部１０５は、特徴点検出部１０４によって検出された特徴点付近の領域、すなわち赤目領域に対して赤目補正処理を行う。画像出力部１０６は、画像補正部１０５によって赤目補正処理が施された画像をＣＲＴ（Cathode-Ray Tube）、液晶ディスプレイなどの一般的な表示機器に出力する。なお、表示機器は、画像補正処理装置内に備えるようにしてもよいし、画像補正処理装置を表示機器に接続して用いるようにしてもよい。
【００３０】
つぎに、この発明における第１の実施形態の画像処理装置の動作を説明する。画像入力部１０１は、デジタルカメラで撮影された画像を取り込み、取り込んだ画像がＲＧＢフォーマットであるのか否かを判断する。取り込んだ画像がＲＧＢフォーマットとは異なる場合には、取り込んだ画像フォーマットをＲＧＢフォーマットに変換する。画像入力部１０１は、ＲＧＢフォーマットの画像を分離度マップ生成部１０２に出力する。
【００３１】
分離度マップ生成部１０２は、画像の各画素に対して分離度フィルタの出力値（分離度）を算出して、分離度マップを生成する。分離度フィルタは、図２に示すように、半径ｒの円の外側の外部領域１と、半径ｒの円の内側の内部領域２とで構成されている。分離度マップ生成部１０２は、分離度フィルタの外部領域１と内部領域２との間で、輝度などの画像特徴量がどの程度分離されているかを示す分離度を算出する。具体的には、分離度ηは
【数１】
2005196385.tif 000003
によって算出される。なお、分離度フィルタを用いて特徴点を検出する方法は、特許文献２によって公知である。
【００３２】
通常の特徴点候補検出では、（式２）および（式３）の画像特徴量である輝度Ｐｉには白黒画像における輝度を用いる。しかし、本発明の画像処理装置では赤目領域を検出すること、すなわち、周辺と比較して赤い領域が円形状の領域として存在する特徴点を検出する。したがって、分離度マップ生成部１０２は、（式２）および（式３）の輝度ＰｉにＲＧＢのＧ値（緑）の輝度を用いる。ここで、図３−１〜図３−５を参照して赤目領域の検出において（式２）および（式３）の輝度ＰｉにＧ値が適していることを説明する。
【００３３】
図３−１は、赤目を含む目の画像領域を示している。図３−１において、領域Ａは赤目を、領域Ｂは白目を、領域Ｃは目の周りの肌を示している。ここで、図３−１の各領域Ａ〜ＣのＲ値（赤）、Ｇ値（緑）、Ｂ値(青）の個別の画像に着目する。Ｒ値の画像は、一般的に、図３−２に示すように、赤目の領域Ａ、白目の領域Ｂ、肌の領域Ｃの全ての領域の輝度は大きくなる。Ｇ値の画像は、一般的に、図３−３に示すように、赤目の領域Ａの輝度は小さくなり、白目の領域Ｂおよび肌の領域Ｃの輝度は大きくなる。Ｂ値の画像は、一般的に、図３−４に示すように、赤目の領域Ａおよび肌の領域Ｃの輝度は小さくなり、白目の領域Ｂの輝度は大きくなる。すなわち、図３−５に示すように、赤目の領域Ａでは、Ｒ値の画像の輝度が「大」、Ｇ値の画像の輝度が「小」、Ｂ値の画像の輝度が「小」となり、白目の領域Ｂでは、Ｒ値の画像の輝度が「大」、Ｇ値の画像の輝度が「大」、Ｂ値の画像の輝度が「大」となり、肌の領域Ｃでは、Ｒ値の画像の輝度が「大」、Ｇ値の画像の輝度が「大」、Ｂ値の画像の輝度が「小」となる。赤目の領域Ａを検出するためには、白目の領域Ｂの輝度と肌の領域Ｃの輝度との和と、赤目の領域Ａの輝度の差が大きいことが望ましい。白目の領域Ｂの輝度と肌の領域Ｃの輝度との和と、赤目の領域Ａの輝度の差は、Ｇ値の画像が最も大きくなっているので、Ｇ値の輝度を用いることが赤目検出には適している。
【００３４】
分離度マップ生成部１０２は、Ｇ値の輝度を用いて（式１）〜（式３）によって算出した分離度から、画像の各画素とその分離度とを対応付けた分離度マップを作成する。分離度マップは、分離度フィルタの半径ｒを対象とする顔画像あるいは赤目領域の大きさに応じて変更して、想定される複数の半径に対して分離度を算出して作成してもよいし、各半径の分離度マップの値に応じて複数の分離度マップを統合するようにしてもよい。複数の分離度マップを統合す場合には、ある位置における分離度値として、各半径の分離度の値の最大値を利用して、最大値となった分離度フィルタの半径も対応付けておく。
【００３５】
特徴点候補検出部１０３は、分離度マップ内の分離度の値と所定の閾値とを比較して、分離度の値が所定の閾値よりも大きい画素を検出する。図２に示した円形状の分離度フィルタでは、瞳や鼻孔などの円形状の特徴点にフィットするほど分離度は「１．０」に近い値となり、分離度を算出する対象領域の形状が円形から離れるに連れて分離度は低下して「０」に近い値となる。たとえば、図４に示すように、画像内の点線で示した部分の分離度は、瞳を示す領域３にかかる部分で大きくなる。特徴点候補検出部１０３は、検出した分離度の値が所定の閾値よりも大きい点の中で局所最大値を示す画素を特徴点候補（赤目の候補）として検出する。
【００３６】
なお、局所最大値を求める前に、分離度の値に、たとえば、ガウスフィルタなどで平滑化フィルタ処理を行えば、ノイズに対する耐性が高くなり、より精度のよい特徴点候補を検出することができる。
【００３７】
特徴点検出部１０４は、特徴点候補検出部１０３によって検出された複数の特徴点候補が、所定の条件を満たしているか否かを判定して、所定の条件を満たしている特徴点候補を赤目を示す特徴点として検出する。
【００３８】
所定の条件は、
（１）特徴点である赤目の候補のＧ値の画像特徴量（この場合は、輝度）が所定の閾値より小さいこと。
（２）特徴点候補である赤目の候補を中心として分離度フィルタの内部領域の各画素のＧ値の画像特徴量（この場合は、輝度）の平均値が所定の閾値より小さいこと。
（３）特徴点である赤目の候補の色相値が示す赤みが所定の閾値より大きいこと。
（４）特徴点候補である赤目の候補を中心として分離度フィルタの内部領域の色相値が示す赤みの平均値が所定の閾値より大きいこと。
（５）複数の特徴点候補である赤目の候補の中から、右目と左目とを示す組となる配置の特徴点候補が存在すること。
とする。
【００３９】
特徴点検出部１０４は、上記５つの条件の少なくとも１つを満たす赤目の候補を特徴点として検出する。なお、上記５つの条件は、各値が所定の閾値より大きいか、または小さいかで判断するようにしたが、所定の画像中における相対値によって判断するようにしてもよいし、所定の閾値と相対値とを組み合わせて判断するようにしてもよい。もちろん、最大値または最小値で判断するようにしてもかまわない。
【００４０】
画像補正部１０５は、特徴点検出部１０４によって検出された特徴点付近、すなわち赤目領域に対してたとえば、赤目領域のＲ値から所定の値を減算して、赤目領域の赤みを減少させるなどの赤目補正処理を行って、赤目補正処理を行った後の画像を画像出力部１０６に出力する。
【００４１】
画像出力部１０６は、画像補正部１０５によって赤目補正処理が施された画像を、表示機器に表示する。
【００４２】
このようにこの第１の実施形態では、ＲＧＢフォーマットにおける画像においては、赤目部分ではＲ値の輝度が大きくて、かつＢ値およびＧ値の輝度が小さくなっていて、赤目部分付近の白目部分ではＲ値、Ｇ値、Ｂ値すべての輝度が大きくなっていて、赤目部分付近の肌部分ではＲ値およびＧ値の輝度が大きくて、かつＢ値の輝度が小さくなっていることに着目して、赤目部分と、白目部分および肌部分の輝度の差が最も大きいＧ値の輝度を用いて入力画像から分離度を算出して、算出した分離度に基づいて赤目を検出し、検出した赤目に対して赤目補正処理を行うようにしている。これにより、入力画像から顔領域を検出した後に赤目を検出することなく正確に赤目を検出することができ、従来技術と比べて対象となる画像から赤目を検出して、検出した赤目を補正する処理に要する時間を短縮することができる。
【００４３】
また、赤目補正処理に必要な情報を外部から入力する必要がないため、操作者をわずらわせることなく赤目補正処理を行うことができ、利便性を上げることができる。
【００４４】
なお、この第１の実施の形態では、分離度マップ生成部１０２が、分離度を算出する（式２）および（式３）の輝度Ｐｉに、Ｇ値の輝度を用いるようにした。しかし、輝度ＰｉはＧ値の輝度に限るものではなく、たとえば、Ｒ値の輝度、Ｇ値の輝度、Ｂ値の輝度をすべて用いるようにしてもよいし、任意の組み合わせによる演算を行った値を用いるようにしてもよい。
【００４５】
また、分離度マップ生成部１０２が分離度を算出する際に、図２に示した分離度フィルタの外部領域１にはＲ値の輝度を、内部領域２にはＧ値の輝度とＢ値の輝度の和を用いるというように、異なる種類の値を用いるようにしてもよい。
【００４６】
また、この第１の実施形態では、ＹＵＶなどのＲＧＢフォーマットとは異なる画像が入力された場合、画像入力部１０１が入力された画像フォーマットをＲＧＢフォーマットに変換するようにしたが、入力された画像フォーマットをＲＧＢフォーマットに変換することなく、入力された画像フォーマットの値から分離度を算出するようにしてもよい。たとえば、入力された画像フォーマットがＹＵＶフォーマットの場合には、ＹＵＶの値をそのまま用いて分離度を算出してもよい。また、入力された画像がＪＰＥＧのフォーマットの場合には、入力された画像をデコードした後に処理を行うことが望ましい。
【００４７】
また、この第１の実施形態の画像処理装置にコンピュータなどに接続する通信インタフェース機能を備えて、コンピュータなどに接続して使用してもよい。この場合、画像入力部１０１および画像出力部１０６は、通信インタフェース機能を介して接続されたコンピュータと画像の入出力を行えばよい。また、画像出力部１０６は、赤目補正処理を施した画像を表示機器に出力するだけでなく、たとえば、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク（ＦＤ）、ＤＶＤなどの記録媒体や、コンピュータ内のメモリなどに赤目補正処理を施した画像を出力するようにしてもよい。もちろん、この第１の実施形態の画像処理装置をデジタルカメラ内に備えるようにしてもかまわない。
【００４８】
また、分離度マップ生成部１０２が生成する分離度マップは、画像入力部１０１から入力された画像全体を対象としてもよいし、画像処理装置内に、たとえば、キーボードやマウスなどの一般的な入力機器を備え、この入力機器を用いて操作者が、赤目を含む領域を選択するようにして、選択された領域のみを処理対象画像として分離度マップを生成するようにしてもよい。もちろん、コンピュータなどに画像処理装置を接続して用いる場合には、接続されたコンピュータの入力機器を用いて処理対象画像を選択するようにしてもよい。
【００４９】
さらに、この発明における第１の実施形態の画像処理装置の画像入力部１０１、分離度マップ生成部１０２、特徴点候補検出部１０３、特徴点検出部１０４、画像補正部１０５および画像出力部１０６によって実現される前述した各機能を、汎用のコンピュータに実行させるための画像処理プログラムとして提供してもよい。この場合、画像処理プログラムは、コンピュータにインストール可能な形式、またはコンピュータが実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供する。記録媒体に記録された画像処理プログラムは、記録媒体から読み出されてコンピュータ上で実現される。
【００５０】
この発明にかかる画像処理プログラムを実行するコンピュータは、少なくとも制御装置と、記憶装置とを備えている。制御装置は、コンピュータ全体を制御するＣＰＵなどの演算処理装置と、ＲＯＭとを備えている。記憶装置は、一般的なＲＡＭで構成され、入力された処理対象となる画像や分離度マップ、赤目補正処理が施された画像を記憶する。制御装置は、画像処理プログラムが記録されている記録媒体から画像処理プログラムを読み出して実行することで、分離度マップ生成部１０２、特徴点候補検出部１０３、特徴点検出部１０４、画像補正部１０５および画像出力部１０６によって実現される前述した各機能としてコンピュータを動作させる。
【００５１】
また、画像処理プログラムをネットワークに接続されたコンピュータ上に格納し、ネットワークを介してダウンロードさせることにより提供するように構成してもよい。また、画像処理プログラムをネットワークを介して提供または配布するように構成してもよい。
【００５２】
（第２の実施形態）
図５〜図７を用いてこの発明における実施の形態２を説明する。図５は、この発明における第２の実施形態のデジタルカメラの構成の一例を示すブロック図である。この発明における第２の実施形態のデジタルカメラは、シャッター５０９、レンズ５０１（特許請求の範囲でいうところの光学系）、ＣＣＤ５１０、画像入力部５０８、記憶部５０５、表示部５０４、瞳位置決定部５０７、ＡＦ領域決定部５０６（特許請求の範囲でいうところの基準領域決定手段）、焦点制御部５０３（特許請求の範囲でいうところのパラメータ調整手段）およびモータ５０２を備えている。
【００５３】
シャッター５０９は、レンズ５０１から入力された光をＣＣＤ５１０がデジタルデータに変換した被写体の画像を画像入力部５０８に取り込ませるための手段として使用される。シャッター５０９は、たとえば、２段階の押しボタンで構成され、操作者によって、１段階まで押されると、レンズ５０１の焦点を調整する指示である焦点調整指示を、２段階まで押されると、被写体の画像を記憶する指示である撮影指示を画像入力部５０８に出力する。
【００５４】
焦点調整指示が入力されると、画像入力部５０８は、ＣＣＤ５１０から入力される画像を取り込んで、取り込んだ画像を表示部５０４と瞳位置決定部５０７内の分離度マップ生成部５１７とに出力する。撮影指示が入力されると、画像入力部５０８は、ＣＣＤ５１０から入力される画像を取り込んで記憶部５０５に記憶させる。
【００５５】
表示部５０４は、たとえば、液晶ディスプレイなどで構成され、画像入力部５０８から入力された画像、または記憶部５０５に記憶されている画像を表示する。
【００５６】
瞳位置決定部５０７は、画像入力部５０８から入力された画像内に人物または動物の瞳が存在するか否かを検出して、瞳が存在する場合には、検出した瞳の位置情報をＡＦ領域決定部５０６に出力する。画像内に瞳が存在しない場合には、瞳位置決定部５０７は、たとえば、画像内の位置情報としてありえない値を位置情報とするなどで、瞳が存在しないことをＡＦ領域決定部５０６に通知する。
【００５７】
瞳位置決定部５０７は、分離度マップ生成部５１７と、特徴点候補検出部５２７と、焦点制御部５０３とを備えている。
【００５８】
分離度マップ生成部５１７は、画像に対して分離度フィルタの出力値（分離度）を算出して、分離度マップを生成する。分離度マップを生成するための分離度フィルタについては、第１の実施形態で説明したものと同様となるのでここではその説明を省略する。分離度マップ生成部５１７は、（式１）〜（式３）によって分離度を算出するが、ここでは、瞳を検出するために分離度マップを生成するので、（式２）および（式３）の輝度Ｐｉには白黒画像における輝度を用いる。
【００５９】
特徴点候補検出部５２７は、分離度マップ内の分離度の値と所定の閾値とを比較して、分離度の値が所定の閾値よりも大きい画素を検出して、検出した画素の中で局所最大値を示す画素を特徴点候補として検出する。
【００６０】
特徴点検出部５３７は、特徴点候補検出部５２７によって検出された複数の特徴点候補に対して、パターン照合処理を行って類似度を算出して、算出した類似度の値や各特徴点候補の位置、分離度フィルタの半径などの情報を統合して、瞳の位置を検出する。そして、検出した瞳の位置情報をＡＦ領域決定部５０６に出力する。
【００６１】
ＡＦ領域決定部５０６は、瞳位置決定部５０７から入力される位置情報に基づいて、レンズ５０１の焦点を調整するためのＡＦ領域を決定する。焦点制御部５０３は、ＡＦ領域決定部５０６によって決定されたＡＦ領域にレンズ５０１の焦点を調整するモータ５０２を駆動してレンズ５０１を制御する。
【００６２】
つぎに、図６のフローチャートを参照して、この発明における第２の実施形態のデジタルカメラの動作を説明する。なお、分離度マップ生成部５１７が分離度マップを生成して、特徴点候補検出部５２７が分離度マップを用いて特徴点候補（ここでは、瞳領域の候補)を検出する動作は、第１の実施形態と同様のものとなるので、ここではその詳細な説明は省略する。
【００６３】
シャッター５０９から焦点調節指示が入力されると、画像入力部５０８は、ＣＣＤ５１０から入力される画像を取り込んで、取り込んだ画像を表示部５０４と分離度マップ生成部５１７とに出力する（ステップＳ１００，Ｓ１１０）。表示部５０４は、画像入力部５０８から入力された画像を表示する。
【００６４】
分離度マップ生成部５１７は、画像入力部５０８から入力された画像の白黒画像の輝度を用いて、（式１）〜（式３）によって分離度を算出して、分離度マップを生成する（ステップＳ１２０）。
【００６５】
特徴点候補検出部５２７は、分離度マップ内の分離度の値と所定の閾値とを比較して、分離度の値が所定の閾値よりも大きい画素を検出する。特徴点候補検出部５２７は、検出した分離度の値が所定の閾値よりも大きい値の中で局所最大値を示す画素を特徴点候補として検出する（ステップＳ１３０）。
【００６６】
特徴点検出部５３７は、特徴点候補検出部５２７によって検出された複数の特徴点候補に対して、パターン照合処理を行って特徴点である瞳を検出して、検出した瞳の位置情報をＡＦ領域決定部５０６に出力する（ステップＳ１４０）。具体的には、特徴点検出部５３７は、特徴点候補検出部５２７が検出した複数の特徴点候補の付近において、分離度フィルタの半径に応じた局所正規化画像を取得する。そして、取得した局所正規化画像と辞書との類似度を部分空間法によって算出する。
【００６７】
なお、類似度を算出するための辞書は、様々な人物や照明条件、顔の向きなどにおける左右の瞳の学習パターンを収集して作成される第１の辞書と、特徴点候補の中で第１の辞書との類似度が所定の閾値より高い、目尻や目頭、眉端などの誤りパターンを選別収集して作成された第２の辞書とが予め準備されているものとする。
【００６８】
特徴点検出部５３７は、局所正規化画像と第２の辞書との類似度を、局所正規化画像と第１の辞書との類似度から減算して類似度を算出する。特徴点検出部５３７は、左瞳および右瞳の類似度の値によって、各特徴点候補を整列して、類似どの値がそれぞれ所定の数、または所定の閾値以上となる特徴点候補を選択する。そして、選択した特徴点候補を用いて左右の瞳の組（セット）を作成する。
【００６９】
特徴点検出部５３７は、セットが、予め想定した顔の大きさや角度から定められた所定の条件を満たしているか否かを判定する。所定の条件を満たしているセットの左瞳と右瞳とから推定される顔領域が、異なるセットとの間でも成り立つか否かを判定する。すなわち、推定された顔領域の瞳位置として成り立つセットが複数あるか否かを判定する。推定された顔領域の瞳の位置として成り立つセットが複数ある場合、特徴点検出部５３７は、さらに所定の評価値を用いて、瞳の位置として成り立つセットを１つ検出する。評価値は、たとえば、セットの左瞳と右瞳との類似度の和を用いて、より類似度の値が大きいセットを瞳の位置として検出する。特徴点検出部５３７は、検出した瞳の位置情報をＡＦ領域決定部５０６に出力する。なお、部分空間法を用いて特徴点検出する方法は、非特許文献１によって公知である。
【００７０】
特徴点検出部５３７は、上述したパターン処理によって特徴点である瞳の位置を検出できなかった（被写体に人物や動物が含まれていない）場合には、たとえば、画像内の位置情報としてありえない値を位置情報とするなどで、瞳が存在しないことをＡＦ領域決定部５０６に通知する。
【００７１】
ＡＦ領域決定部５０６は、特徴点検出部５３７によって瞳が検出されたか否かを判定する（ステップＳ１６０）。特徴点検出部５３７から瞳の位置情報が入力された場合、ＡＦ領域決定部５０６は、瞳の位置情報に基づいて、両瞳が含む領域をレンズ５０１の焦点を調整するためのＡＦ領域を決定する（ステップＳ１７０）。たとえば、図７に示すような画像７０１が画像入力部５０８によって取り込まれたとすると、ＡＦ領域決定部５０６には、特徴点検出部５３７から人物７０２の左右の瞳７０３を示す位置情報が入力される。ＡＦ領域決定部５０６は、左右の瞳７０３を含む矩形領域をＡＦ領域７０４に決定する。そして、決定したＡＦ領域の位置情報を焦点制御部５０３に出力する。
【００７２】
ＡＦ領域決定部５０６は、瞳が検出されなかった場合には、予め定められた所定の領域をＡＦ領域に決定する（ステップＳ１８０）。そして、決定したＡＦ領域を焦点制御部５０３に出力する。
【００７３】
焦点制御部５０３は、ＡＦ領域決定部５０６によって決定されたＡＦ領域にレンズ５０１の焦点を調整するにモータ５０２を駆動してレンズ５０１の焦点制御処理を行う（ステップＳ１９０）。焦点制御には、たとえば、レンズ５０１を段階的に動かして、ＡＦ領域における画像のコントラストが最も高くなるところに焦点を合わせるＴＴＬコントラスト検出方式などを用いる。もちろん、ＡＦ領域を対象として焦点制御を行う方式であれば、ＴＴＬコントラスト検出方式とは異なる方式を用いてもかまわない。
【００７４】
画像入力部５０８は、焦点制御処理が終了した後の画像を取り込んで、取り込んだ画像を表示部５０４に表示する（ステップＳ２００）。そして、シャッター５０９から撮影指示が入力されると、画像入力部５０８はＣＣＤ５１０から入力される画像を取り込んで記憶部５０５に記憶させて、画像を保存する（ステップＳ２１０）。
【００７５】
このようにこの第２の実施形態では、人物または動物の瞳を検出して、検出した瞳を含む領域をＡＦ領域として焦点制御を行うようにしているため、撮影する被写体の中に人物または動物が存在する場合には、正確に焦点制御を行って画像を撮影することができる。
【００７６】
なお、この第２の実施形態では、シャッター５０９が１段階押された時に焦点調整指示を、シャッター５０９が２段階押された時に撮影指示を画像入力部５０８に出力するようにしたが、焦点調整指示を出力するタイミングはこれに限るものではない。たとえば、デジタルカメラが撮影可能な状態、すなわち、入力された画像が表示部５０４に表示されている間は繰り返し焦点制御処理を行うような場合には、デジタルカメラ内の計時機能によって所定の間隔で焦点調整指示を発生させるようにしてもよい。
【００７７】
また、この第２の実施形態では、レンズ５０１からの光をデジタルデータに変換するための画像素子としてＣＣＤ５１０を用いる例を挙げて説明したが、たとえば、ＣＭＯＳセンサーなどの画像素子を用いてもよい。
【００７８】
また、この第２の実施形態では、ＡＦ領域決定部５０６は左右の瞳が含まれる矩形領域をＡＦ領域に決定するようにしたが、これに限るものではなく、片方の瞳だけが含まれる領域をＡＦ領域としてもよいし、ＡＦ領域の形状は矩形でなくてもかまわない。
【００７９】
また、画像の中に二人以上の人物の瞳が検出された場合には、特徴点検出部５３７は、推定される人物の顔の大きさを比較して、比較した結果、推定される顔の大きさが大きい方がデジタルカメラからの距離が近いと判断して、推定される顔の大きさが大きいほうの瞳の位置情報をＡＦ領域決定部５０６に出力するようにしてもよいし、検出された瞳の位置を表示部５０４に重畳して表示して操作者に選択させるようにしてもよい。
【００８０】
一般的には、デジタルカメラにはデジタルカメラを制御するＣＰＵが搭載されていることが多い。この第２の実施形態の分離度マップ生成部５１７、特徴点候補検出部５２７、特徴点検出部５３７およびＡＦ領域決定部５０６によって実現される前述した各機能をソフトウエアによって実現して、デジタルカメラ内のＣＰＵに実行させるようにしてもよい。
【産業上の利用可能性】
【００８１】
以上のように、本発明にかかる画像処理装置、画像処理方法およびデジタルカメラは、フラッシュを内蔵したデジタルカメラの画像処理に有用であり、特に、フラッシュを用いて撮影した際に発生する赤目現象を補正する赤目補正処理に適している。
【図面の簡単な説明】
【００８２】
【図１】この発明における第１の実施形態の画像処理装置の構成を示すブロック図である。
【図２】分離度フィルタを説明するための図である。
【図３−１】分離度を算出する際に用いる適切な輝度を説明するための図である。
【図３−２】分離度を算出する際に用いる適切な輝度を説明するための図である。
【図３−３】分離度を算出する際に用いる適切な輝度を説明するための図である。
【図３−４】分離度を算出する際に用いる適切な輝度を説明するための図である。
【図３−５】分離度を算出する際に用いる適切な輝度を説明するための図である。
【図４】特徴点候補の決定方法を説明するための図である。
【図５】この発明における第２の実施形態のデジタルカメラの構成の一例を示すブロック図である。
【図６】この発明における第２の実施形態のデジタルカメラの動作を説明するためのフローチャートである。
【図７】ＡＦ領域の決定方法を説明するための図である。
【符号の説明】
【００８３】
１０１，５０８  画像入力部
１０２，５１７  分離度マップ生成部
１０３，５２７  特徴点候補検出部
１０４，５３７  特徴点検出部
１０５  画像補正部
１０６  画像出力部
５０１  レンズ
５０２  モータ
５０３  焦点制御部
５０４  表示部
５０５  記憶部
５０６  ＡＦ領域決定部
５０７  瞳位置決定部
５０９  シャッター
５１０  ＣＣＤ
【図１】
2005196385.tif 000004
【図２】
2005196385.tif 000005
【図３−１】
2005196385.tif 000006
【図３−２】
2005196385.tif 000007
【図３−３】
2005196385.tif 000008
【図３−４】
2005196385.tif 000009
【図３−５】
2005196385.tif 000010
【図４】
2005196385.tif 000011
【図５】
2005196385.tif 000012
【図６】
2005196385.tif 000013
【図７】
2005196385.tif 000014