(57)【要約】【課題】  実用化に適した速度で、かつ、正確に、入力画像中の対象領域を決定できる画像処理方法及び画像処理装置を提供する。【解決手段】  予め特徴領域定義部１２において、対象領域の特徴を有するサンプルをニューラルネットワークに学習させ、特徴領域定義を生成しておく。特徴領域決定部１１は、特徴領域定義を用いて入力画像中の特徴領域を決定し、特徴領域画像を生成する対象領域中心色算出部１３は、特徴領域画像を重みマスクとして、入力画像の画素と加重平均をとることによって、対象領域中心色を算出する。この対象領域中心色からの距離などによって、対象領域決定部１４は対象領域中心色及びその近傍の色を有する画素を抽出し、入力画像中の対象領域を決定する。【選択図】  図１
2005250596.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から対象領域を決定する画像処理方法において、前記対象領域の特徴を特徴領域定義として生成しておき、前記特徴領域定義を用いて前記入力画像中から前記対象領域の特徴を表している特徴領域を決定し、前記特徴領域内の画素を用いて前記対象領域を代表する色となる対象領域中心色を算出し、前記対象領域中心色及びその近傍の色の画素を前記対象領域の画素とすることを特徴とする画像処理方法。
【請求項２】
前記特徴領域定義は、前記対象領域の特徴を表す特徴ベクトルを少なくとも１つ以上用いて構成されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記特徴ベクトルは、前記対象領域を表すサンプルの特徴量であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記特徴ベクトルは、前記対象領域を表すサンプルを含む、少なくとも１つ以上の領域サンプルの特徴量を学習した、ニューラルネットワークの結合係数であることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記特徴ベクトルは、前記対象領域を表すサンプルを含む、複数の領域サンプルの特徴量を、統計的に処理することにより算出されることを特徴とする請求項２に記載の画像処理方法。
【請求項６】
前記特徴領域は、前記入力画像中の部分領域の特徴量と、前記特徴ベクトルとの距離である特徴距離を用いて決定されることを特徴とする請求項２ないし請求項５のいずれか１項に記載の画像処理方法。
【請求項７】
前記特徴領域は、前記入力画像中の部分領域の特徴量と、前記特徴領域定義の特徴ベクトルの中で、前記部分領域の特徴量と最も近い特徴ベクトルとの距離である特徴距離を用いて決定されることを特徴とする請求項２ないし請求項５のいずれか１項に記載の画像処理方法。
【請求項８】
前記対象領域中心色は、前記特徴領域の近さによる加重と、前記入力画像の画素を用いた加重平均を行うことにより算出することを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理方法。
【請求項９】
前記対象領域中心色は、前記特徴距離による加重と、前記入力画像の画素を用いた加重平均を行うことにより算出することを特徴とする請求項６または請求項７に記載の画像処理方法。
【請求項１０】
前記対象領域の画素は、指定された色空間内で、前記対象領域中心色からの距離または前記対象領域中心色が存在する色相からの距離の少なくとも１つに応じた値で決定することを特徴とする請求項１ないし請求項９のいずれか１項に記載の画像処理方法。
【請求項１１】
前記対象領域の画素は、指定された色空間内で、前記対象領域中心色を含む所定の領域に含まれる画素であることを特徴とする請求項１ないし請求項９のいずれか１項に記載の画像処理方法。
【請求項１２】
前記対象領域の画素は、指定された色空間内で、前記対象領域中心色を中心とした色分布からのマハラノビス距離によって決定されることを特徴とする請求項１ないし請求項９のいずれか１項に記載の画像処理方法。
【請求項１３】
前記色分布は、指定された色空間内で、前記特徴領域の画素近傍の分布であることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記対象領域の特徴は、テクスチャ、または、階調性、または、周波数的な特徴であることを特徴とする請求項１ないし請求項１３のいずれか１項に記載の画像処理方法。
【請求項１５】
前記対象領域の特徴は、前記対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性を表す特徴であることを特徴とする請求項１ないし請求項１３のいずれか１項に記載の画像処理方法。
【請求項１６】
入力画像から、対象領域の色を決定する画像処理方法において、請求項１ないし請求項１５のいずれか１項に記載の画像処理方法によって算出された対象領域中心色、または、請求項１ないし請求項１５のいずれか１項に記載の画像処理方法によって決定された対象領域を用いて算出された色を、対象領域の色とすることを特徴とする画像処理方法。
【請求項１７】
入力画像から対象領域を決定する画像処理装置において、前記対象領域の特徴が定義された特徴領域定義を用いて前記入力画像中から前記対象領域の特徴を表している特徴領域を決定する特徴領域決定手段と、前記特徴領域内の画素を用いて前記対象領域を代表する色となる対象領域中心色を算出する対象領域中心色算出手段と、前記対象領域中心色及びその近傍の色の画素を前記対象領域の画素とする対象領域決定手段を備えることを特徴とする画像処理装置。
【請求項１８】
前記特徴領域定義は、前記対象領域の特徴を表す特徴ベクトルを少なくとも１つ以上用いて構成されることを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記特徴ベクトルは、前記対象領域を表すサンプルの特徴量であることを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記特徴ベクトルは、前記対象領域を表すサンプルを含む、少なくとも１つ以上の領域サンプルの特徴量を学習した、ニューラルネットワークの結合係数であることを特徴とする請求項１８に記載の画像処理装置。
【請求項２１】
前記特徴ベクトルは、前記対象領域を表すサンプルを含む、複数の領域サンプルの特徴量を、統計的に処理することにより算出されることを特徴とする請求項１８に記載の画像処理装置。
【請求項２２】
前記特徴領域決定手段は、前記入力画像中の部分領域の特徴量と、前記特徴ベクトルとの距離である特徴距離を用いて前記特徴領域を決定することを特徴とする請求項１８ないし請求項２１のいずれか１項に記載の画像処理装置。
【請求項２３】
前記特徴領域決定手段は、前記入力画像中の部分領域の特徴量と、前記特徴領域定義の特徴ベクトルの中で、前記部分領域の特徴量と最も近い特徴ベクトルとの距離である特徴距離を用いて前記特徴領域を決定することを特徴とする請求項１８ないし請求項２１のいずれか１項に記載の画像処理装置。
【請求項２４】
前記対象領域中心色算出手段は、前記特徴領域の近さによる加重と、前記入力画像の画素を用いた加重平均を行うことにより前記対象領域中心色を算出することを特徴とする請求項１７ないし請求項２３のいずれか１項に記載の画像処理装置。
【請求項２５】
前記対象領域中心色算出手段は、前記特徴距離による加重と、前記入力画像の画素を用いた加重平均を行うことにより前記対象領域中心色を算出することを特徴とする請求項２２または請求項２３のいずれか１項に記載の画像処理装置。
【請求項２６】
前記対象領域決定手段は、指定された色空間内で、前記対象領域中心色からの距離または前記対象領域中心色が存在する色相からの距離の少なくとも１つに応じた値で対象領域の画素を決定することを特徴とする請求項１７ないし請求項２５のいずれか１項に記載の画像処理装置。
【請求項２７】
前記対象領域決定手段は、指定された色空間内で、前記対象領域中心色を含む所定の領域に含まれる画素を対象領域の画素とすることを特徴とする請求項１７ないし請求項２５のいずれか１項に記載の画像処理装置。
【請求項２８】
前記対象領域決定手段は、指定された色空間内で、前記対象領域中心色を中心とした色分布からのマハラノビス距離によって対象領域の画素を決定することを特徴とする請求項１７ないし請求項２５のいずれか１項に記載の画像処理装置。
【請求項２９】
前記色分布は、指定された色空間内で、前記特徴領域の画素近傍の分布であることを特徴とする請求項２８に記載の画像処理装置。
【請求項３０】
前記対象領域の特徴は、テクスチャ、または、階調性、または、周波数的な特徴であることを特徴とする請求項１７ないし請求項２９のいずれか１項に記載の画像処理装置。
【請求項３１】
前記対象領域の特徴は、前記対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性を表す特徴であることを特徴とする請求項１７ないし請求項２９のいずれか１項に記載の画像処理装置。
【請求項３２】
入力画像から、対象領域の色を決定する画像処理装置において、請求項１ないし請求項１５のいずれか１項に記載の画像処理方法あるいは請求項１７ないし請求項３１のいずれか１項に記載の画像処理装置によって算出された対象領域中心色、または、請求項１ないし請求項１５のいずれか１項に記載の画像処理方法あるいは請求項１７から請求項３１のいずれか１項に記載の画像処理装置によって決定された対象領域を用いて算出された色を、対象領域の色とする代表色算出手段を備えたことを特徴とする画像処理装置。
【請求項３３】
入力画像から対象領域を決定する画像処理プログラムにおいて、請求項１ないし請求項１５のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項３４】
入力画像から対象領域の色を決定する画像処理プログラムにおいて、請求項１６に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項３５】
入力画像から対象領域を決定する画像処理プログラムを格納したコンピュータが読取可能な記憶媒体において、請求項１ないし請求項１５のいずれか１項に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを格納したことを特徴とするコンピュータが読取可能な記憶媒体。
【請求項３６】
入力画像から対象領域の色を決定する画像処理プログラムを格納したコンピュータが読取可能な記憶媒体において、請求項１６に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを格納したことを特徴とするコンピュータが読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の中で、人物の肌領域やその他の記憶色領域などの特定の領域を決定するための画像処理技術に関するものである。
【背景技術】
【０００２】
画像から対象となる領域を正確に決定することは、画像が表すシーンの予測や、対象となる色の選択的な色補正などを適用する上で、重要な前処理となる。例えば、人物の肌、空、草などの記憶色の補正を行う上では、記憶色領域を決定する処理が必要不可欠となる。特に、人物の肌領域は、人間が画像を見るときに最も注意を引く部分である。このため、人物領域の抽出や、肌色の抽出に関する多くの手法が提案されている。
【０００３】
画像から人物領域を決定する手法としては、画素の色情報により肌色を抽出する手法と、顔の部位による形状パターンにより、顔領域の位置を決定する手法の、大きく２つに分けられると考えられる。前者の手法は、色相の範囲を定め、指定された範囲内の色を肌色とするものや、画素のヒストグラムから判定するものが多い。後者の手法は、目や口などの部位での当てはめや探索により顔領域の位置を推定するものや、楕円などで顔領域に当てはめを行うものが多い。
【０００４】
例えば、特許文献１、特許文献２に記載されている方法では、画像から作成した色相と彩度の２次元ヒストグラムがベースとなっている。画像中の画素がヒストグラムの山のどれに属するかの判定を行うことによって領域の分割を行い、選択された領域がどのような領域か（顔領域か否か、など）の判断を行っている。また、特許文献３に記載されている方法では、肌色の色相から顔を検出し、楕円で顔を近似することにより、顔の大きさの正規化を行っている。
【０００５】
形状パターンを用いた従来の手法としては、例えば特許文献４には、画像の角度の変化や回転に依存されない基準点を両目の中心とし、基準点からその他の特徴部位を認識することにより顔領域か否かの判別を行う技術が記載されている。また、特許文献５に記載されている方法では、あらかじめモザイク化された顔のテンプレートを用意し、画像中で相関が高い位置を顔領域とするという方法によって顔領域の検出を行っている。
【０００６】
上記の色情報を用いて特定領域を決定する手法は、構成が単純で、高速に実装できることが多いので、実用化には向いている。しかし、実際に色情報のみで記憶色領域を決定するのは困難であり、正確さに欠けるところが多々ある。例えば上記の肌領域を色情報のみで抽出しようとすると、背景に存在する類似の色領域、例えば花や白木の表面、暖色系のライトを浴びた壁クロスなど、人間以外の様々な肌色及びそれに近い色の領域が抽出されてしまう。また、形状パターンを用いて行う手法は、人間の認識能力を忠実に模倣することを目的としたものが多く、認識率は高いものの、膨大な処理時間を要する場合がある。このように、従来の技術では、正確に、しかも高速に特定の領域を抽出することができなかった。
【０００７】
【特許文献１】特開平５−１５８１６４号公報
【特許文献２】特開平６−６７３２０号公報
【特許文献３】特開平１０−２９３８４０号公報
【特許文献４】特開平６−３０９４５７号公報
【特許文献５】特開平１１−３１２２４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した事情に鑑みてなされたもので、画像中の特定の領域を決定する際に、実用化に適した速度で、かつ、正確に、対象領域を決定することができるとともに、対象領域に対して選択的に色補正を行う上で、対象領域の代表色を正確に決定することができる画像処理方法及び画像処理装置を提供することを目的とするものである。また、そのような画像処理方法または画像処理装置の機能をコンピュータにより実現するためのプログラムと、そのプログラムを格納した記憶媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は、入力画像から対象領域を決定する画像処理方法及び画像処理装置において、対象領域の特徴を特徴領域定義として生成しておき、その特徴領域定義を用いて入力画像中から対象領域の特徴を表している特徴領域を特徴領域決定手段で決定し、その特徴領域内の画素を用いて対象領域を代表する色となる対象領域中心色を対象領域中心色算出手段で算出し、対象領域決定手段は対象領域中心色及びその近傍の色の画素を対象領域の画素とすることを特徴とするものである。
【００１０】
特徴領域を決定する際に用いる特徴領域定義は、対象領域の特徴量を、統計的に処理した特徴ベクトルから構成される。特徴量は、対象領域そのもの、または、対象領域を、特徴をよく表すことのできる形に変換する。公知の技術によれば、できるだけ少ない次元のベクトルに変換することも可能である。このようにして変換された特徴量を用いて統計処理を行ったり、ニューラルネットワークによって学習させることにより、特徴ベクトルを生成することができる。
【００１１】
また特徴領域決定手段による特徴領域の決定の際には、入力画像中の部分領域の特徴量と特徴ベクトルの距離である特徴距離を用いる。部分領域の特徴量は、特徴ベクトルを生成する際に行った特徴量に変換することにより求める。特徴距離、または、特徴距離による距離加重から、特徴領域を決定することができる。
【００１２】
さらに対象領域中心色算出手段による対象領域中心色の算出は、特徴距離による距離加重と、入力画像の画素との加重平均を行うことにより算出することができる。
【００１３】
さらにまた対象領域決定手段において対象領域を決定する際には、指定された色空間内で、対象領域中心色からの距離または対象領域中心色が存在する色相からの距離の少なくとも１つに応じた値で対象領域の画素を決定することができる。あるいは、指定された色空間内で、対象領域中心色を含む所定の局所領域に含まれる画素を対象領域の画素とすることができる。あるいは、対象領域中心色を中心とした分布からのマハラノビス距離により、対象領域の画素を決定することができる。
【００１４】
なお、対象領域の特徴としては、テクスチャ、または、階調性、または、周波数的な特徴とすることができる。特に対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性を表す特徴を対象領域の特徴とすることができる。
【００１５】
また本発明は、入力画像から、対象領域の色を決定する画像処理方法および画像処理装置において、上述のような本発明の画像処理方法あるいは画像処理装置によって算出された対象領域中心色、または、決定された対象領域を用いて算出された色を、対象領域の色とすることを特徴とするものである。
【００１６】
さらに本発明は、入力画像から対象領域を決定する画像処理プログラムにおいて、上述のような画像処理方法をコンピュータに実行させることを特徴とするものである。さらにまた、コンピュータが読取可能な記憶媒体において、これらの画像処理プログラムを格納したことを特徴とするものである。
【発明の効果】
【００１７】
本発明によれば、対象領域の特徴が定義された特徴量域定義を用いて、対象領域の特徴を表している特徴領域を抽出し、その特徴領域から対象領域中心色を算出し、その対象領域中心色を用いて対象領域を決定する。色調整の前処理として対象領域の抽出を行う場合は、色情報のみによる抽出を行う場合が多いが、従来のように色情報のみで抽出する方法に比べて正確に対象領域及び対象領域の色を決定することができる。
【００１８】
また、従来の形状パターンを用いた方法に比べても高速な処理が可能であり、実用化に適した速度で処理を行うことができる。
【００１９】
このように本発明によれば、画像中の対象領域の決定及び対象領域の色の決定を、実用化に適した速度で、かつ、正確に行うことができるという効果がある。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明の第１の実施の形態を示すブロック図である。図中、１１は特徴領域決定部、１２は特徴領域定義部、１３は対象領域中心色算出部、１４は対象領域決定部である。特徴領域決定部１１は、対象となる領域の特徴が最もよく表れている特徴領域を決定する。このとき、対象領域の特徴が定義された特徴領域定義を用い、対象領域の特徴と類似している入力画像中の部分領域を特徴領域として決定することができる。
【００２１】
図２は、特徴領域定義の一例の説明図、図３は、特徴領域の近さの度合いと特徴距離との関係の一例を示すグラフである。特徴領域定義は、例えば、図２に示すように、特徴ベクトルから構成され、類似の判断は、部分領域の特徴量と特徴ベクトルとの距離である特徴距離により行うことができる。特徴ベクトルが複数ある場合は、部分領域の特徴量と最も近い特徴ベクトルとの距離を特徴距離とすればよい。図３（Ａ）に示すように、特徴距離が小さい場合は、特徴領域と判断し（近さの度合い１）、大きい場合は否（近さの度合い０）と判断すればよい。または、図３（Ｂ）に示すように、特徴距離による加重によって特徴領域への近さの度合いを求めればよい。
【００２２】
なお、特徴領域定義の生成に用いる特徴としては、テクスチャ、または、階調性、または、周波数的な特徴など、あるいはこれらを組み合わせて特徴量とすればよい。例えば対象領域が人物の肌領域である場合は、明度や色度の滑らかな階調性を表す特徴を特徴量として用いることができる。また特徴領域定義は、局所的な特徴が、例えば１つの式で表されるなど、定量化されている場合には、その定量化された局所的な特徴を特徴領域定義として用いてもよい。
【００２３】
図１に戻り、特徴領域定義部１２は、対象領域の特徴を表す特徴領域定義を生成する。特徴領域定義は、例えば、１つ以上の特徴ベクトルから構成することができる。対象領域を表す領域のサンプルを用意し、特徴量への変換を行い、それを特徴ベクトルとしてもよい。または、複数のサンプルの特徴量を統計処理したものを、特徴ベクトルとしてもよい。
【００２４】
図４は、特徴ベクトルとしてニューラルネットワークを用いる場合の一例の説明図である。特徴ベクトルとして、ニューラルネットワークを用いることもできる。この場合は、図４に示すように、複数のサンプルから特徴量を抽出し、該特徴量を自己組織的に学習させ、学習後の結合ベクトルを特徴ベクトルとしてもよい。図４では、１個の出力ニューロンに結合している入力ニューロンからの係数の組を、１つの特徴ベクトルとすることができる。出力ニューロンがｎ個あるので、特徴領域定義は、ｎ個の特徴ベクトルを有するものになる。
【００２５】
図５は、多数のサンプルから代表するいくつかの特徴ベクトルを求める場合の一例の説明図である。特徴領域定義に、全サンプルの特徴量を用いてしまうと、多くの特徴ベクトルを持たなければならないことになる。しかしながら、ニューラルネットワークの学習によって、図５に示すように、多くのサンプルを、学習後の特徴ベクトル（結合係数）で代表することができる。図５の境界線は、特徴量空間で、小領域ごとにサンプルを代表する特徴ベクトルの代表範囲を表す。
【００２６】
なお、特徴領域定義は予め生成しておけば、実際に入力画像から対象領域を抽出する際には、この特徴領域定義部１２を設けておかなくてもよい。また、局所的な特徴を定量化できる場合など、特徴領域定義が与えられる場合には、この特徴領域定義部１２を設けずに構成することもできる。
【００２７】
再び図１に戻り、対象領域中心色算出部１３は、特徴領域決定部１１で決定された特徴領域内の画素を用いて、対象領域を代表する色となる対象領域中心色を算出する。具体的には、図３（Ａ）のように決定した特徴領域の画素で平均化を行うか、図３（Ｂ）のように算出される度合いを用いて、入力画像の画素値との加重平均を行うことにより、対象領域中心色を算出することができる。もちろん、この方法に限られるものではない。
【００２８】
対象領域決定部１４は、指定された色空間内で、対象領域中心色算出部１３で算出された対象領域中心色及びその近傍の色の画素を、対象領域の画素として決定する。対象領域中心色の近傍色は、例えば対象領域中心色を含む所定の局所領域、より具体的には、対象領域中心色からの色空間上の距離や、対象領域中心色が存在する色相からの距離などに応じて、所定範囲内の色とすればよい。または、対象領域中心色を中心とした分布からのマハラノビス距離によって求めることができる。
【００２９】
以下、上述の各部の構成について、さらに説明してゆく。特徴領域決定部１１では、上述のように対象となる領域の特徴が最もよく表れている領域を決定する。例えば、対象領域が人物の肌領域である場合は、相当画質が劣化していない限り、例え逆光ぎみであっても、顔ならば顎や頬や額などに、腕ならば光の当たった部分と影になる境界などのように、明度や色度に必ず滑らかな階調が存在する局所的な特徴を有する領域がある。このような対象領域の局所的な特徴を有している領域を特徴領域として決定する。
【００３０】
図６は、局所的な特徴の一例の説明図である。なお、図示の都合上、図６（Ａ）においては輪郭線のみを示しているが、実際には多階調画像やカラー画像である。また図６（Ｂ）、（Ｃ）についてはハッチングを異ならせることによって階調や色の違いを表現している。図６（Ａ）に示す写真画像には、人物と背景が存在するが、例えば同じ肌色の領域は人物以外にも、背景の木の手摺りなどにも存在する。しかし、同じ色の領域であっても、その局所的な特徴は異なる。例えば人物の肌の場合には、図６（Ｂ）に示すようになめらかに階調や色が変化する領域が存在する。しかし木の手摺りでは、局所的な特徴は木目によって変化するパターンとなる。従って、入力画像中に同じ色の領域が複数存在したとしても、上述のような局所的な特徴（質感）を判断することによって、人物とその他の部分とを分離することができる。
【００３１】
このような局所的な特徴が、例えば１つの式で表されるなど、定量化されている場合には、その定量化された局所的な特徴を特徴領域定義とし、特徴領域決定部１１は、入力画像から特徴量を算出して、その特徴がよく表れている領域を特徴領域として決定すればよい。特徴量の定量化が困難で統計的な手法などに頼る場合は、次に説明する特徴領域定義部１２により予め統計的に定義することもできる。
【００３２】
特徴領域定義部１２は、上述のように局所的な特徴を定量化できない場合に設けられ、対象領域の特徴を表す複数のサンプルから局所的な特徴を特徴領域定義として定義する。図７は、人物の肌領域を表現するサンプルの一例の説明図である。例えば、対象領域を人物の肌領域とする場合は、図７に示すような局所的な領域の滑らかな階調特性を表すサンプルを用意すればよい。サンプルは白黒の濃淡情報でもカラーの濃淡情報でもどちらでもよいものとする。なお、図６の場合と同様に図７においても、図示の都合上、濃淡あるいは色の違いをハッチングの違いで表現している。
【００３３】
このようなサンプルからの特徴領域定義は、例えば前述の図４に示すようなニューラルネットワークを用いて生成することができる。図８は、特徴領域定義として用いるニューラルネットワークの一例のより詳細な説明図である。図８では、前述の図４をさらに詳しく説明している。ここではサンプルを９×９画素とした。このカラーサンプルを、例えば図８に示すように明度と色度をもつ色成分Ｙ，Ｃｂ，Ｃｒに分解し、９×９×３次元のベクトルとしてニューラルネットワークの入力とすればよい。これによって、複数のサンプルについて、ニューラルネットワークに自己組織的に学習させることができる。学習したニューラルネットワークの入力と出力のシナプス結合係数は、図５に示すように、与えたサンプルの統計的な性質を獲得する。
【００３４】
図９は、特徴領域画像の具体例の説明図である。図９は、図８のように学習されたニューラルネットワークの結合係数を特徴ベクトルとして、入力画像中の部分領域の特徴量と、特徴ベクトルとの距離を、図３に示す加重関数で加重を算出し、それを特徴領域画像として表したものである。ここで、部分領域の特徴量も、当然ながらＹＣｂＣｒ画素の９×９×３次元の階調パターンである。図９（Ａ）は原画像を、図９（Ｂ）は特徴領域画像を表す。図９（Ｂ）における黒い領域ほど１に近い値となる。ここでは、対象領域を人物の肌領域としているので、１に近いほど、人物の肌に近い領域となる。なお、図示の都合上、図９（Ａ）においては画像中の主要な輪郭線のみを示し、また図９（Ｂ）においては２値で示している。
【００３５】
このようにしてサンプルを学習させたニューラルネットワークの結合係数を特徴ベクトルとし、これらの特徴ベクトルを有する特徴領域定義として、特徴領域決定部１１は入力画像から特徴領域を決定することができる。図９では、もちろん、全領域を調べなくても、あらかじめ色の範囲で限定した領域のみを調べてもよい。
【００３６】
このようにして決定された特徴領域は、図９（Ｂ）に示すように、人物の頬や額などである。従来の色情報のみを用いて対象領域を決定する手法では、背景中の木の柵の部分なども人物の肌領域とともに抽出されていたが、局所的な特徴を用いることによって木の柵の部分はほとんど抽出されなくなっている。
【００３７】
上述のようにして求めた特徴領域は、対象領域の局所的な特徴を有する領域であり、そのまま対象領域とすることはできない。例えば図９（Ｂ）を参照しても分かるように、人物の肌領域を対象領域とする時、人物の頬や額の一部は抽出されたが、肌の大部分は抽出されていない。本発明では、特徴領域から対象領域の中心色を算出し、その中心色及びその近傍の色を有する領域を対象領域として抽出する。
【００３８】
そのために、まず対象領域中心色算出部１３において対象領域中心色を算出する。この対象領域中心色算出部１３では、特徴領域画像を重みマスクとして、入力画像の画素と加重平均をとることによって、対象領域の中心となる色を算出する。上述のように特徴領域の画像は０〜１の範囲で表されている。この特徴領域画像の（ｉ，ｊ）番目の画素値をｐij、入力画像がＲＧＢで表現されているときの（ｉ，ｊ）番目の画素値を（Ｒij，Ｇij，Ｂij）としたとき、対象領域中心色（Ｒc 、Ｇc 、Ｂc ）は、
【数１】
2005250596.tif 000003
で算出することができる。なお、ここでは色空間としてＲＧＢ色空間を用いて説明してゆくが、ＲＧＢに限らず、どのような色空間を用いてもよい。また、対象領域中心色の求め方も数式１に限らず、他の方法を用いても良い。
【００３９】
このようにして求めた対象領域中心色を用いて、対象領域決定部１４で対象領域を決定する。図１０は、対象領域として抽出する色範囲の一例の説明図である。対象領域決定部１４は、図１０に示すように、色空間内で対象領域中心色及びその近傍の色を含む所定の色範囲を設定し、その色範囲の色を有する画素を抽出する。これにより、画像の中での対象領域を決定する。図１０では、対象領域中心色（Ｒc 、Ｇc 、Ｂc ）を、（Ｒc 、Ｇc 、Ｂc ）→（Ｙc 、Ｃｂc 、Ｃｒc ）に色空間変換を行い、明度と色度に分離できるＹＣｂＣｒ空間内の点として色範囲を設定している。例えば、図１０のように、点（Ｃｂc 、Ｃｒc ）を含んだ２次元平面の色度だけの近傍色で対象領域の画素の抽出を行えばよい。または、点（Ｙc 、Ｃｂc 、Ｃｒc ）を含んだ３次元平面の明度と色度の空間で色範囲を設定し、対象領域の画素の抽出を行ってもよい。色範囲の形状は円、楕円など、どのような形状でもよい。
【００４０】
対象領域の決定は、このようにして設定された色範囲内の画素については１，色範囲外の画素は０とする。これによって、２値の対象領域画像を生成することができる。この場合は、対象領域画像の（ｉ，ｊ）番目の画素値をＰijとすると、Ｐij＝０または１となる。
【００４１】
図１１は、対象領域の決定処理の第２の例の説明図である。図１０で説明したように、色範囲を設定して対象領域を決定するほか、例えば図１１に示すように、対象領域中心色からの距離重みにより対象領域を決定してもよい。距離重みは、対象領域中心色からの距離を用いることができる。あるいは、対象領域中心色が存在する色相からの距離重みを用いることもできる。または、その両方の距離重みの積をとることにより、楕円状に値を決定することができる。
【００４２】
例えば、点（Ｃｂc 、Ｃｒc ）を含んだ２次元平面において、入力画像の（ｉ，ｊ）番目の画素のＣｂＣｒ成分と（Ｃｂc 、Ｃｒc ）の距離をｄij、点（Ｃｂc 、Ｃｒc ）を含む色相からの距離をＤijとすれば、対象領域画像の（ｉ，ｊ）番目の画素値Ｐijは、
Ｐij＝ｗd（ｄij）・ｗl（Ｄij）    数式２
と表すことができる。ここで、ｗd 、ｗl はそれぞれ、ｄijとＤijの単調減少関数で、距離重みを表す。図１２は、距離重みの一例を示すグラフである。例えば、距離重みは図１２に示すような単調減少関数を用いればよい。これにより、対象領域中心色に近い色は１、遠い色は０になるような０〜１の範囲で対象領域画像の画素値を決定することができる。
【００４３】
図１３は、対象領域の決定処理の第３の例の説明図、図１４は、対象領域の決定処理の第３の例において用いる加重の一例の説明図である。前述の例のように、単純に距離に対する加重を用いてもよいが、図１３に示すように、対象領域中心色を中心とした色分布からのマハラノビス距離に対する加重をとってもよい。この色分布は、特徴領域で決定した画素の色分布そのものでもよいし、または、その周辺を加えてもよい。肌色は分布形状を特定するのが難しい。そのような場合は、マハラノビス距離の加重により、分布からどれだけ離れているかを定量化することができる。これにより、分布形状を考慮した距離加重が行える。加重は、例えば図１４に示すようなものを用いることができる。
【００４４】
図１５は、対象領域画像の一例の説明図である。図１５（Ａ）、（Ｂ）は図９（Ａ）、（Ｂ）と同じものである。図１５（Ｂ）に示した特徴領域画像から対象領域中心色を求め、対象領域を決定すると、例えば図１５（Ｃ）に示すような対象領域画像が得られる。ここでは図示の関係上、２値の画像として対象領域画像の概略を示している。もちろん図１１〜図１４を用いて説明した方法などを適用すれば、０〜１の範囲の値を有する対象領域画像を得ることができる。図１５（Ｃ）に示した結果を参照して分かるように、的確に人物の肌領域を抽出することができる。従来の色情報のみから対象領域を抽出する場合に比べて、精度良く対象領域を抽出することができる。従って、例えば対象領域のみに色補正処理を施す場合でも、他の領域に影響を与えずに、目的とする対象領域について色補正を行うことが可能となる。もちろん、他の用途への利用も可能である。
【００４５】
なお、最終的に対象領域中心色を含む色範囲あるいは対象領域中心色からの距離などによって対象領域の画素を抽出するので、形状パターンを用いて行う手法に比べれば多少のノイズは含まれるものの、本発明では数回の画像のスキャンと演算程度で実行できるため、実用に適した処理時間で対象領域を抽出することができる。
【００４６】
図１６は、本発明の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。２１は代表色算出部である。この第２の実施の形態では、上述のようにして決定される対象領域を代表する代表色を代表色算出部２１において求める。なお、入力画像から対象領域を決定するまでの処理は上述の第１の実施の形態と同様である。
【００４７】
代表色算出部２１は、対象領域決定部１４で生成された対象領域画像を用いて、入力画像との加重平均を行うなどの処理を施し、代表色を決定する。もちろん、対象領域中心色算出部１３で算出された対象領域中心色を代表色とするなど、他の方法を用いて代表色を決定しても良い。
【００４８】
このようにして決定された代表色は、例えば、その後の入力画像に対する色調整などにおいて用いることができる。また、対象領域画像とともに用い、対象領域のみに対して代表色を用いた色調整を行うこともできる。例えば人物の肌領域について、肌の色を調整するといったことができる。本発明によれば上述のように対象領域を精度良く取得できるので、代表色を用いて色調整を行うことによって、対象領域についてそれぞれの入力画像に合わせた調整が可能となる。代表色及びその周囲の色について選択的に色調整を行う方法としては、例えば特願２００２−２７５８２１号に記載されている方法がある。この方法では、移動元となる代表色を含む部分空間と移動先となる最適目標色を含む部分空間を含むカプセル体を考え、そのカプセル体の中で連続性を維持し、色の逆転が発生しないように、移動元から移動先へ向けた調整を行うことができる。もちろん、色調整以外の用途での利用も可能である。
【００４９】
図１７は、本発明の画像処理装置の機能及び画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、３１はプログラム、３２はコンピュータ、４１は光磁気ディスク、４２は光ディスク、４３は磁気ディスク、４４はメモリ、５１は光磁気ディスク装置、５２は光ディスク装置、５３は磁気ディスク装置である。
【００５０】
上述の各実施の形態で説明した各部の処理について、その一部または全部を、コンピュータにより実行可能なプログラム３１によって実現することが可能である。その場合、そのプログラム３１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク４１，光ディスク４２（ＣＤやＤＶＤなどを含む）、磁気ディスク４３，メモリ４４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【００５１】
これらの記憶媒体にプログラム３１を格納しておき、例えばコンピュータ３２の光磁気ディスク装置５１，光ディスク装置５２，磁気ディスク装置５３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム３１を読み出し、本発明の画像処理装置の機能及び画像処理方法を実行することができる。あるいは、あらかじめ記憶媒体をコンピュータ３２に装着しておき、例えばネットワークなどを介してプログラム３１をコンピュータ３２に転送し、記憶媒体にプログラム３１を格納して実行させてもよい。
【００５２】
もちろん、一部の機能についてハードウェアによって構成することもできるし、すべてをハードウェアで構成してもよい。あるいは、他のソフトウェアの一部として組み込むことも可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】特徴領域定義の一例の説明図である。
【図３】特徴領域の近さの度合いと特徴距離との関係の一例を示すグラフである。
【図４】特徴ベクトルとしてニューラルネットワークを用いる場合の一例の説明図である。
【図５】多数のサンプルから代表するいくつかの特徴ベクトルを求める場合の一例の説明図である。
【図６】局所的な特徴の一例の説明図である。
【図７】人物の肌領域を表現するサンプルの一例の説明図である。
【図８】特徴領域定義として用いるニューラルネットワークの一例のより詳細な説明図である。
【図９】特徴領域画像の具体例の説明図である。
【図１０】対象領域として抽出する色範囲の一例の説明図である。
【図１１】対象領域の決定処理の第２の例の説明図である。
【図１２】距離重みの一例を示すグラフである。
【図１３】対象領域の決定処理の第３の例の説明図である。
【図１４】対象領域の決定処理の第３の例において用いる加重の一例の説明図である。
【図１５】対象領域画像の一例の説明図である。
【図１６】本発明の第２の実施の形態を示すブロック図である。
【図１７】本発明の画像処理装置の機能及び画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
【００５４】
１１…特徴領域決定部、１２…特徴領域定義部、１３…対象領域中心色算出部、１４…対象領域決定部、２１…代表色算出部、３１…プログラム、３２…コンピュータ、４１…光磁気ディスク、４２…光ディスク、４３…磁気ディスク、４４…メモリ、５１…光磁気ディスク装置、５２…光ディスク装置、５３…磁気ディスク装置。
【図１】
2005250596.tif 000004
【図２】
2005250596.tif 000005
【図３】
2005250596.tif 000006
【図４】
2005250596.tif 000007
【図５】
2005250596.tif 000008
【図６】
2005250596.tif 000009
【図７】
2005250596.tif 000010
【図８】
2005250596.tif 000011
【図９】
2005250596.tif 000012
【図１０】
2005250596.tif 000013
【図１１】
2005250596.tif 000014
【図１２】
2005250596.tif 000015
【図１３】
2005250596.tif 000016
【図１４】
2005250596.tif 000017
【図１５】
2005250596.tif 000018
【図１６】
2005250596.tif 000019
【図１７】
2005250596.tif 000020