(57)【要約】【課題】顔候補領域の大きさや解像度によらず、顔候補領域が顔であるか否かを高精度に判定する。【解決手段】顔候補領域の画像を取得し（ステップＢ１）、顔候補領域の大きさに基づいて、顔候補領域から目画素及び口画素を抽出するための抽出条件を決定する（ステップＢ２）。決定された抽出条件に基づいて顔候補領域から目画素及び口画素を抽出し（ステップＢ３）、目画素及び口画素に基づいて顔候補領域に対する目及び口の面積率を算出する（ステップＢ４）。そして、目と口の面積率をニューラルネットワークに入力し、ニューラルネットワークを用いて顔候補領域が人物の顔であるか否かを判定する（ステップＢ５）。【選択図】図５
2005202562.tif 000002
【特許請求の範囲】
【請求項１】
カラーデジタル画像を取得する画像取得工程と、
前記カラーデジタル画像から顔候補領域を抽出する顔候補領域抽出工程と、
前記顔候補領域から目画素及び口画素を抽出する特徴部位抽出工程と、
前記抽出された目画素及び口画素に基づいて、前記顔候補領域に対する目及び口の面積率を算出する面積率算出工程と、
前記顔候補領域に対する目及び口の面積率に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
前記顔候補領域の大きさに基づいて、前記特徴部位抽出工程における抽出条件を決定する抽出条件決定工程を含み、
前記特徴部位抽出工程において、前記抽出条件に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記特徴部位抽出工程において、前記顔候補領域の色情報及びエッジ情報に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記特徴部位抽出工程において、ハフ変換を用いて前記顔候補領域から目画素及び／又は口画素を抽出することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記特徴部位抽出工程において、二項ウェーブレット変換を用いて前記顔候補領域からエッジ情報を抽出することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記顔判定工程において、ニューラルネットワークを用いて、前記顔候補領域が顔であるか否かを判定することを特徴とする請求項１〜５のいずれか一項に記載の画像処理方法。
【請求項７】
前記顔判定工程における判定結果に基づいて、画像処理条件を決定し、前記画像処理条件に基づいて、前記カラーデジタル画像の少なくとも一部に対して画像処理を行う補正処理工程を含むことを特徴とする請求項１〜６のいずれか一項に記載の画像処理方法。
【請求項８】
カラーデジタル画像を取得する画像取得手段と、
前記カラーデジタル画像から顔候補領域を抽出する顔候補領域抽出手段と、
前記顔候補領域から目画素及び口画素を抽出する特徴部位抽出手段と、
前記抽出された目画素及び口画素に基づいて、前記顔候補領域に対する目及び口の面積率を算出する面積率算出手段と、
前記顔候補領域に対する目及び口の面積率に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定手段と、
を備えたことを特徴とする画像処理装置。
【請求項９】
前記顔候補領域の大きさに基づいて、前記特徴部位抽出手段における抽出条件を決定する抽出条件決定手段を備え、
前記特徴部位抽出手段は、前記抽出条件に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記特徴部位抽出手段は、前記顔候補領域の色情報及びエッジ情報に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記特徴部位抽出手段は、ハフ変換を用いて前記顔候補領域から目画素及び／又は口画素を抽出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記特徴部位抽出手段は、二項ウェーブレット変換を用いて前記顔候補領域からエッジ情報を抽出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記顔判定手段は、ニューラルネットワークを用いて、前記顔候補領域が顔であるか否かを判定することを特徴とする請求項８〜１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記顔判定手段による判定結果に基づいて、画像処理条件を決定し、前記画像処理条件に基づいて、前記カラーデジタル画像の少なくとも一部に対して画像処理を行う補正処理手段を備えたことを特徴とする請求項８〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
画像処理を行うコンピュータに、
カラーデジタル画像を取得する画像取得機能と、
前記カラーデジタル画像から顔候補領域を抽出する顔候補領域抽出機能と、
前記顔候補領域から目画素及び口画素を抽出する特徴部位抽出機能と、
前記抽出された目画素及び口画素に基づいて、前記顔候補領域に対する目及び口の面積率を算出する面積率算出機能と、
前記顔候補領域に対する目及び口の面積率に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定機能と、
を実現させるための画像処理プログラム。
【請求項１６】
前記コンピュータに、
前記顔候補領域の大きさに基づいて、前記特徴部位抽出機能における抽出条件を決定する抽出条件決定機能を実現させ、
前記特徴部位抽出機能を実現させる際に、前記抽出条件に基づいて、前記顔候補領域から目画素及び口画素を抽出させることを特徴とする請求項１５に記載の画像処理プログラム。
【請求項１７】
前記特徴部位抽出機能を実現させる際に、前記顔候補領域の色情報及びエッジ情報に基づいて、前記顔候補領域から目画素及び口画素を抽出させることを特徴とする請求項１５又は１６に記載の画像処理プログラム。
【請求項１８】
前記特徴部位抽出機能を実現させる際に、ハフ変換を用いて前記顔候補領域から目画素及び／又は口画素を抽出させることを特徴とする請求項１７に記載の画像処理プログラム。
【請求項１９】
前記特徴部位抽出機能を実現させる際に、二項ウェーブレット変換を用いて前記顔候補領域からエッジ情報を抽出させることを特徴とする請求項１８に記載の画像処理プログラム。
【請求項２０】
前記顔判定機能を実現させる際に、ニューラルネットワークを用いて、前記顔候補領域が顔であるか否かを判定させることを特徴とする請求項１５〜１９のいずれか一項に記載の画像処理プログラム。
【請求項２１】
前記コンピュータに、
前記顔判定機能における判定結果に基づいて、画像処理条件を決定し、前記画像処理条件に基づいて、前記カラーデジタル画像の少なくとも一部に対して画像処理を行う補正処理機能を実現させるための請求項１５〜２０のいずれか一項に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔を含むカラーデジタル画像に対して画像処理を施す画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、ユーザが鑑賞する画像の対象が、銀塩写真フィルムから得られた写真プリントに替わって、一般的な汎用デジタルカメラ、携帯電話機に付属するカメラ、高機能のプロ用デジタルカメラで撮像した画像や、銀塩写真フィルムのスキャン画像等、デジタル画像に移行しつつある。デジタル画像においても、鑑賞者の着目度が高く、評価基準が厳しいのは、人物が含まれる画像であり、このような画像、若しくは人物の顔領域に対して、より高画質にすることを目的として補正処理を施す場合が増えている。
【０００３】
そのため、撮影画像内における人物の顔の候補領域の判定技術が種々開示されている。いずれの技術も、人物の顔領域には目や口等の特徴部分が含まれるという点を利用している。例えば、事前にKohonenの自己組織化による学習方法を使用して、顔の複数の特徴部分（例えば、目や口）について複数の特徴パターン（例えば、目の開閉）の学習を行い、顔候補の特徴部分が学習された複数の特徴パターンに含まれるか否かを判定し、さらに顔候補の特徴部分の位置関係が顔の特徴部分の位置関係と一致するか否かを判定することにより、顔候補が顔であるか否かを判定する技術が開示されている（例えば、特許文献１、特許文献２参照。）。
【０００４】
また、人の顔の形状に相当する顔候補領域を決定し、顔候補領域内の特徴量に基づいて所定の閾値を利用して顔領域を決定する技術が開示されている（例えば、特許文献３参照。）。顔候補領域の明度ヒストグラムが高明度の肌部と、低明度の目に相当する２つのピークで構成されるとし、顔候補領域の画素数に対する低明度のピークを構成する画素数、すなわち目画素の出現率を特徴量としている。目の抽出については、テンプレートマッチング法を用いている。
【０００５】
また、輪郭や髪、目等の部分パーツを抽出し、合成して主要被写体候補とする方法が開示されている（例えば、特許文献４参照。）。対象となる画像を二値化し、一般的な人の目から求められる所定範囲の長軸／短軸比を有する楕円形の黒領域を、顔の内部構造の１つである眼部に対応する可能性がある領域（眼部候補領域）として抽出し、さらに、抽出した眼部候補領域の長軸の角度を求め、長軸の角度差が所定範囲内の楕円の黒領域を求め、先に抽出した眼部候補領域と対をなす眼部候補領域として抽出する。このようにして抽出した各眼部候補領域の対に対して、両眼部候補領域の中心を結ぶ線に垂直な線対称軸を設定して、線対称類似度を判定し、それに応じて眼部と推定できる黒領域を抽出する。
【特許文献１】特開平５−２８２４５７号公報
【特許文献２】特開平６−２１４９７０号公報
【特許文献３】特開平８−６３５９７号公報
【特許文献４】特開平１１−３１６８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１、２に記載の技術では、特徴部分の位置関係までもが判定材料となっているため、顔候補領域が高精度に抽出されていないと誤判定となるおそれがあった。例えば、一般ユーザのポートレートに多い、複数の人物が顔を寄せているシーンにおいて、複数の人物の顔が１つの顔候補として抽出される場合等がこれに当たる。また、一般ユーザの自然画像においては、光源種や露光状態、被写体となる人物の表情等、撮影状態が種々多様であるため、高精度に顔を抽出することは、処理負荷が大きかった。
【０００７】
また、顔部には目の他にも眉毛や髪の毛、顔の輪郭近辺、コントラストの強いシーンであれば鼻の影等、目と同様の明度や色値を持つ部分があるため、特許文献３のようにヒストグラムを使用する方法では、目以外の構造物が目として誤抽出されてしまうおそれがあった。また、建造物の前での集合写真等、被写体となる人物一人ひとりの大きさが小さい場合、目や口等の部位を構成する画素数が少なくなり、本来の目や口等の構造を持たず、ブロック状になってしまい、テンプレートマッチング法による抽出は困難であった。
【０００８】
また、被写体となる人物の大きさが小さく、目や口等の部位を構成する画素数が少ない場合には、特許文献４に記載の眼部候補領域の長軸／短軸比や長軸の角度を用いた抽出方法における精度は低かった。
【０００９】
本発明は上記の従来技術における問題に鑑みてなされたものであって、顔候補領域の大きさや解像度によらず、顔候補領域が顔であるか否かを高精度に判定するための画像処理方法、画像処理装置又は画像処理プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、カラーデジタル画像を取得する画像取得工程と、前記カラーデジタル画像から顔候補領域を抽出する顔候補領域抽出工程と、前記顔候補領域から目画素及び口画素を抽出する特徴部位抽出工程と、前記抽出された目画素及び口画素に基づいて、前記顔候補領域に対する目及び口の面積率を算出する面積率算出工程と、前記顔候補領域に対する目及び口の面積率に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定工程と、を含むことを特徴とする。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記顔候補領域の大きさに基づいて、前記特徴部位抽出工程における抽出条件を決定する抽出条件決定工程を含み、前記特徴部位抽出工程において、前記抽出条件に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする。
【００１２】
請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、前記特徴部位抽出工程において、前記顔候補領域の色情報及びエッジ情報に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする。
【００１３】
請求項４に記載の発明は、請求項３に記載の画像処理方法において、前記特徴部位抽出工程において、ハフ変換を用いて前記顔候補領域から目画素及び／又は口画素を抽出することを特徴とする。
【００１４】
請求項５に記載の発明は、請求項４に記載の画像処理方法において、前記特徴部位抽出工程において、二項ウェーブレット変換を用いて前記顔候補領域からエッジ情報を抽出することを特徴とする。
【００１５】
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の画像処理方法において、前記顔判定工程において、ニューラルネットワークを用いて、前記顔候補領域が顔であるか否かを判定することを特徴とする。
【００１６】
請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の画像処理方法において、前記顔判定工程における判定結果に基づいて、画像処理条件を決定し、前記画像処理条件に基づいて、前記カラーデジタル画像の少なくとも一部に対して画像処理を行う補正処理工程を含むことを特徴とする。
【００１７】
請求項８に記載の発明は、カラーデジタル画像を取得する画像取得手段と、前記カラーデジタル画像から顔候補領域を抽出する顔候補領域抽出手段と、前記顔候補領域から目画素及び口画素を抽出する特徴部位抽出手段と、前記抽出された目画素及び口画素に基づいて、前記顔候補領域に対する目及び口の面積率を算出する面積率算出手段と、前記顔候補領域に対する目及び口の面積率に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定手段と、を備えたことを特徴とする。
【００１８】
請求項９に記載の発明は、請求項８に記載の画像処理装置において、前記顔候補領域の大きさに基づいて、前記特徴部位抽出手段における抽出条件を決定する抽出条件決定手段を備え、前記特徴部位抽出手段は、前記抽出条件に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする。
【００１９】
請求項１０に記載の発明は、請求項８又は９に記載の画像処理装置において、前記特徴部位抽出手段は、前記顔候補領域の色情報及びエッジ情報に基づいて、前記顔候補領域から目画素及び口画素を抽出することを特徴とする。
【００２０】
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記特徴部位抽出手段は、ハフ変換を用いて前記顔候補領域から目画素及び／又は口画素を抽出することを特徴とする。
【００２１】
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、前記特徴部位抽出手段は、二項ウェーブレット変換を用いて前記顔候補領域からエッジ情報を抽出することを特徴とする。
【００２２】
請求項１３に記載の発明は、請求項８〜１２のいずれか一項に記載の画像処理装置において、前記顔判定手段は、ニューラルネットワークを用いて、前記顔候補領域が顔であるか否かを判定することを特徴とする。
【００２３】
請求項１４に記載の発明は、請求項８〜１３のいずれか一項に記載の画像処理装置において、前記顔判定手段による判定結果に基づいて、画像処理条件を決定し、前記画像処理条件に基づいて、前記カラーデジタル画像の少なくとも一部に対して画像処理を行う補正処理手段を備えたことを特徴とする。
【００２４】
請求項１５に記載の発明は、画像処理を行うコンピュータに、カラーデジタル画像を取得する画像取得機能と、前記カラーデジタル画像から顔候補領域を抽出する顔候補領域抽出機能と、前記顔候補領域から目画素及び口画素を抽出する特徴部位抽出機能と、前記抽出された目画素及び口画素に基づいて、前記顔候補領域に対する目及び口の面積率を算出する面積率算出機能と、前記顔候補領域に対する目及び口の面積率に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定機能と、を実現させるための画像処理プログラムである。
【００２５】
請求項１６に記載の発明は、請求項１５に記載の画像処理プログラムにおいて、前記コンピュータに、前記顔候補領域の大きさに基づいて、前記特徴部位抽出機能における抽出条件を決定する抽出条件決定機能を実現させ、前記特徴部位抽出機能を実現させる際に、前記抽出条件に基づいて、前記顔候補領域から目画素及び口画素を抽出させることを特徴とする。
【００２６】
請求項１７に記載の発明は、請求項１５又は１６に記載の画像処理プログラムにおいて、前記特徴部位抽出機能を実現させる際に、前記顔候補領域の色情報及びエッジ情報に基づいて、前記顔候補領域から目画素及び口画素を抽出させることを特徴とする。
【００２７】
請求項１８に記載の発明は、請求項１７に記載の画像処理プログラムにおいて、前記特徴部位抽出機能を実現させる際に、ハフ変換を用いて前記顔候補領域から目画素及び／又は口画素を抽出させることを特徴とする。
【００２８】
請求項１９に記載の発明は、請求項１８に記載の画像処理プログラムにおいて、前記特徴部位抽出機能を実現させる際に、二項ウェーブレット変換を用いて前記顔候補領域からエッジ情報を抽出させることを特徴とする。
【００２９】
請求項２０に記載の発明は、請求項１５〜１９のいずれか一項に記載の画像処理プログラムにおいて、前記顔判定機能を実現させる際に、ニューラルネットワークを用いて、前記顔候補領域が顔であるか否かを判定させることを特徴とする。
【００３０】
請求項２１に記載の発明は、前記コンピュータに、請求項１５〜２０のいずれか一項に記載の画像処理プログラムにおいて、前記顔判定機能における判定結果に基づいて、画像処理条件を決定し、前記画像処理条件に基づいて、前記カラーデジタル画像の少なくとも一部に対して画像処理を行う補正処理機能を実現させるための画像処理プログラムである。
【発明の効果】
【００３１】
請求項１、８、１５に記載の発明によれば、カラーデジタル画像を取得し、カラーデジタル画像から顔候補領域を抽出し、顔候補領域から目画素及び口画素を抽出し、抽出された目画素及び口画素に基づいて顔候補領域に対する目及び口の面積率を算出し、顔候補領域に対する目及び口の面積率に基づいて顔候補領域が顔であるか否かを判定するので、顔候補領域の大きさや解像度によらず、高精度に顔であるか否かを判定することができる。
【００３２】
請求項２、９、１６に記載の発明によれば、顔候補領域の大きさに基づいて顔候補領域から目画素及び口画素を抽出するための抽出条件を決定し、抽出条件に基づいて顔候補領域から目画素及び口画素を抽出するので、顔候補領域の大きさに応じて目画素及び口画素の抽出条件を変更することができる。したがって、低解像度の顔候補領域、又は構成画素数が少ない小さな顔候補領域においても、高解像度の顔候補領域、又は十分な画素数で構成されている顔候補領域においても、高精度に顔であるか否かを判定することができる。
【００３３】
請求項３、１０、１７に記載の発明によれば、顔候補領域の色情報及びエッジ情報を併用することにより、より高精度に顔候補領域から目画素及び口画素を抽出することができる。
【００３４】
自然画像であるデジタル画像を扱う際には、目や口の輪郭となるエッジの抽出において欠損が生じる場合があるが、請求項４、１１、１８に記載の発明によれば、エッジ欠損に対する耐性が強いハフ変換を用いることにより、高精度に顔候補領域から目画素及び／又は口画素を抽出することができる。特に、顔候補領域に略円形又は略楕円形の形状で存在する目を精度よく抽出することができる。顔候補領域が所定値以上の大きさである場合に有効である。
【００３５】
請求項５、１２、１９に記載の発明によれば、二項ウェーブレット変換を用いることにより、エッジ情報を精度よく抽出することができる。また、エッジのグラディエントの方向を精度よく得られるので、これをハフ変換に適用することにより、さらに高精度に目等の特徴部位を抽出することができる。
【００３６】
請求項６、１３、２０に記載の発明によれば、目及び口の面積率を入力信号とし、顔らしさを表すパラメータを出力信号としたニューラルネットワークを用いて、顔候補領域が顔であるか否かを判定することにより、処理負荷が低く、簡単な顔判定を行うことができる。
【００３７】
請求項７、１４、２１に記載の発明によれば、顔判定結果に基づいて画像処理条件を決定し、画像処理条件に基づいてカラーデジタル画像の少なくとも一部に対して画像処理を行うので、特に顔の見栄えをよくするための補正処理を行うことができる。
【発明を実施するための最良の形態】
【００３８】
以下、図を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【００３９】
＜画像処理装置１の外観構成＞
まず、本発明の実施の形態の画像処理装置１について説明する。
図１は、画像処理装置１の概観構成を示す斜視図である。
【００４０】
図１に示すように、画像処理装置１には、本体２の一側面に感光材料を装填するためのマガジン装填部３が設けられている。本体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するプリント作成部５が設けられている。作成されたプリントは、本体２の他側面に設けられたトレー６に排出される。
【００４１】
また、本体２の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。さらに、本体２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部１５が備えられている。また、本体２の内部には、これらの各部を集中制御する制御部７が備えられている。
【００４２】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフロッピーディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、デジタルカメラで撮像された複数の画像データが記録されたメモリを有する。フロッピーディスク１３ｂには、例えば、デジタルカメラで撮像された複数の画像データが記録されている。その他、画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＭＤ（Mini Disc）データ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等が挙げられる。
【００４３】
画像書込部１５には、フロッピーディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、各々、ＦＤ１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク１６ｃとしては、ＣＤ−Ｒ（Compact Disc-Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）等がある。
【００４４】
なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、本体２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。
【００４５】
なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【００４６】
＜画像処理装置１の内部構成＞
図２は、画像処理装置１の内部構成を示すブロック図である。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント作成部５、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、操作部１１、画像読込部１４、画像書込部１５、通信手段（入力）３２、通信手段（出力）３３、データ蓄積手段７１から構成される。
【００４７】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。
【００４８】
制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段（入力）３２を介して入力された画像データに対して、画像処理を施して出力用画像データ生成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。
【００４９】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【００５０】
フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。
【００５１】
反射原稿入力装置１０は、図示しないフラットベッドスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。
【００５２】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像データ等を表示する。
【００５３】
画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピーディスク用アダプタ１４ｂ等を有し、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピーディスク用アダプタ１４ｂに差し込まれたフロッピーディスク１３ｂに記録された画像データを読み出して制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【００５４】
画像書込部１５は、画像搬送部３１として、フロッピーディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピーディスク用アダプタ１５ａに差し込まれたフロッピーディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、生成された画像データを書き込む。
【００５５】
通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【００５６】
通信手段（出力）３３は、画像処理を施した後の撮影画像を表す画像データと注文情報を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【００５７】
データ蓄積手段７１は、画像データとそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【００５８】
＜画像処理部７０の構成＞
図３は、画像処理装置１の画像処理部７０の機能的構成を示すブロック図である。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。
【００５９】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。
【００６０】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。
【００６１】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。
【００６２】
画像調整処理部７０４は、操作部１１又は制御部７の指令に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から受け取った画像に対して各種画像処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段７１へ処理済みの画像信号を出力する。特に、画像調整処理部７０４は、顔候補領域抽出手段、抽出条件決定手段、特徴部位抽出手段、面積率算出手段、顔判定手段及び補正処理手段として機能する。
【００６３】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ８に出力する。
【００６４】
プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【００６５】
画像処理装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【００６６】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、必要に応じてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【００６７】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像処理装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【００６８】
次に、画像処理装置１の動作について説明する。
まず、図４を参照して、画像調整処理部７０４において実行される画像処理全体の概要を説明する。
【００６９】
フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、顔判定処理の対象となるカラーデジタル画像が取得され（ステップＡ１）、取得されたカラーデジタル画像から顔候補領域（Ｎ個）が抽出される（ステップＡ２）。顔候補領域が抽出されなければ（ステップＡ３；ＮＯ）、処理は終了する。
【００７０】
顔候補領域の抽出方法については制限されないが、明度や彩度、色相値といった色値を利用して、所定の範囲の特定色が連続する領域を顔領域とする方法や、画像からエッジを抽出する等して楕円等の特定の形状パターンを抽出する方法、パターンマッチングやニューラルネットワークを利用する方法、又はこれらを組み合わせた方法等を用いることができる。
【００７１】
例えば、特開平４−３４６３３２号公報に開示されている元画像を多数画素に分割し、各画素のＢＧＲ値から色相値と彩度値のヒストグラムを作成し、その形状からヒストグラムを分割し、分割した各部位に相当する各画素で構成される領域に画像を分割し、分割された複数の領域から顔に相当する領域を推定する方法、特開平６−３０９４３３号公報、特開平６−６７３２０号公報、特開平５−１５８１６４号公報、特開平５−１６５１２０号公報に開示されている色相値、彩度値、輝度値等のヒストグラムに基づいて肌色領域を決定し、この肌色領域を顔領域とする方法、特開平８−１８４９２５号公報に開示されている画像に二値化等の処理を施して複数の領域に分割し、複数の領域から顔に相当する領域である確度が最も高い領域を抽出する方法、特開平８−２２１５６７号公報、特開２０００−２０６９４号公報、特開２０００−３２２７２号公報、特開２０００−２０１３５８号公報、特開２０００−２０７５６９号公報に開示されているラインプロセス法を用いた方法等が挙げられる。
【００７２】
また、カラーデジタル画像からエッジと低周波画像を生成し、所定のパラメータ（例えば、彩度、色相、明度の各値）が所定の初期条件（各所定範囲の値）と合致する初期画素を抽出し、低周波画像に対して抽出された初期画素から単純領域拡張を行い、画像エッジに到達した場合に単純領域拡張を強制的に終了させて、領域抽出を行うこともできる。また、画像に対し人物の目領域の画素を中心とした対数極座標変換を施し、対数極座標変換後の画像を用いて単純領域拡張を行ったり、対数極座標変換後の画像に対して顔領域を抽出するためのテンプレートを用いてパターンマッチングを行ったりして、領域抽出を行うこともできる。
【００７３】
また、特に顔候補領域抽出の難易度が高い場合には、オペレータがマウスやライトペン等を使用してモニタ上で手動で顔候補領域を設定することも可能である。
【００７４】
顔候補領域抽出後（ステップＡ３；ＹＥＳ）、ｉ番目の顔候補領域について（ｉ＝１〜Ｎ）、顔であるか否かの判定が行われる（ステップＡ４）。顔判定処理の詳細については後述する（図５参照）。本発明における目及び口の面積率に基づいた顔判定方法は、面積率を所定の閾値と比較する、あるいは、所定のテーブルや判定式に従う等、当業界における公知技術を用いることができるが、特にニューラルネットワークを用いて顔判定を行うことが好ましい。
【００７５】
顔候補領域が顔であると判定された場合には（ステップＡ５；ＹＥＳ）、顔であると判定された顔候補領域に補正処理が行われる（ステップＡ６）。補正処理の内容は限定されないが、肌に相当する肌色領域の平滑化処理、顔輪郭や目等に相当するエッジ強調処理等、顔の見栄えを高めるための画像処理条件を決定し、この画像処理条件に基づいて画像処理を施すことが好ましい。顔候補領域が顔でないと判定された場合には（ステップＡ５；ＮＯ）、ステップＡ７へ移行する。
【００７６】
そして、Ｎ個の顔候補領域全てに対して処理が行われたか否かが判断され（ステップＡ７）、未処理の顔候補領域が存在する場合には（ステップＡ７；ＮＯ）、ステップＡ４〜Ａ６の処理が繰り返される。Ｎ個の顔候補領域全てに対して処理が行われると（ステップＡ７；ＹＥＳ）、処理は終了する。
【００７７】
図４のフローチャートでは、１つの顔候補領域に対して顔判定処理を行い、顔であると判定された場合に、補正処理を施すことをＮ回繰り返すこととしたが、Ｎ個の顔候補領域に対してＮ個分の顔判定処理を先に行い、判定結果を所定のメモリに記憶させ、顔と判定された顔候補領域に対してまとめて補正処理を行うこととしてもよい。
【００７８】
次に、図５を参照して、顔判定処理（ステップＡ４）を説明する。
まず、ｉ番目（ｉ＝１〜Ｎ）の顔候補領域の画像が取得され（ステップＢ１）、顔候補領域の大きさに基づいて、顔候補領域から目画素及び口画素を抽出するための抽出条件が決定される（ステップＢ２）。ここで、目画素及び口画素とは、顔候補領域内において、目や口に相当すると推定される画素をいう。
【００７９】
また、抽出条件とは、抽出方法と、その抽出方法における数値（係数）等の抽出条件の両方を含むこととする。顔候補領域の構成画素数が多ければ、白目や黒目の構成がはっきり分離できるが、構成画素数が少なければ、白目と黒目、周囲の肌色が混じってブロック状になってしまう等、顔候補領域の大きさ（構成画素数）によって、目や口の特性が異なる。顔候補領域の大きさに応じて、抽出条件を変更することによって、顔候補領域がどのような大きさであっても、精度よく目や口を抽出することができる。
【００８０】
顔候補領域の大きさを予め定められた閾値を基準として大・中・小と分類することとし、顔候補領域の大きさが大きい場合には、目における白目と黒目がはっきりしているので、後述するように、ハフ変換によるエッジ情報と色情報によって黒目を抽出する。黒目を抽出する際にも明度の低い（黒い）範囲で抽出することができる。ここで、色情報とは、画像を表す画像信号を輝度信号と色情報信号に変換したときに得られる色情報信号を意味する。
【００８１】
顔候補領域の大きさが中くらいの場合には、輝度によるエッジ情報から得られた目候補画素と、色情報から得られた目候補画素の両方に含まれる画素を目画素とする。
【００８２】
顔候補領域の大きさが小さい場合には、目の輪郭としてエッジが検出できないので、色情報のみで目と判断する。この場合、目の周囲の肌色に影響されるため、目と判断する明度の範囲を広げることが好ましい。
【００８３】
そして、決定された抽出条件に基づいて、顔候補領域から目画素及び口画素が抽出される（ステップＢ３）。目画素及び口画素抽出処理の詳細については後述する（図８参照）。目画素及び口画素の抽出は、色情報とエッジ情報を併用して行うことが好ましい。
【００８４】
次に、目画素及び口画素に基づいて、顔候補領域に対する目及び口の面積率が算出される（ステップＢ４）。目及び口の面積率とは、目画素及び口画素が顔候補領域を構成する画素数に対してどの程度の比率を占めるかを示したパラメータである。例えば、一番簡易なものでは、
面積率＝抽出した特徴部位（目又は口）の画素数／顔候補領域を構成する画素数
として求められる。顔の判定方法に対する適性や判定精度を向上させるために、例えば、所定の係数で規格化したり、対数変換する等、所定の変換式を用いて変換処理を施してもよい。
【００８５】
そして、ニューラルネットワークを用いて顔候補領域が人物の顔であるか否かが判定される（ステップＢ５）。具体的には、目と口の面積率がニューラルネットワークに入力され、出力として、顔らしさを表すパラメータが得られる。
【００８６】
このニューラルネットワークは、図６に示すように、入力層、中間層、及び出力層を有する階層型のニューラルネットワーク（以下、単にニューラルネットワークという。）である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のＤＳＰ（Digital Signal Processor）と専用のエミュレートプログラムを用いても実現することができるし、通常のＣＰＵとエミュレートプログラムを用いても構わない。
【００８７】
ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは図７に示すようにシナプスと呼ばれる入力を多数受け取り、各々の入力値ｘiに対して結合強度と呼ばれる所定の重みｗiを掛けてその総和を求め、それを所定の出力関数ｆで評価した結果を出力ｙとして与える機能素子として機能する。
【数１】
2005202562.tif 000003
ここで、ｆ（ｘ）は一般に非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。
【数２】
2005202562.tif 000004
【００８８】
ここで、各ニューロンの入力の重みｗiはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図６では中間層は１層のみ記してあるが、これは１以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は１層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロン数の個数の点から有利であることが知られている。
【００８９】
ニューラルネットワークは以下のような特徴を有している。
（１）比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。
（２）各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
（３）適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
（４）系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。
【００９０】
ここで、教師データとは、入力パターンと、その入力パターンに対する望ましい出力パターンの対であり、通常複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。ニューラルネットワークの主な応用としては（ａ）非線形の関数近似、（ｂ）クラスタリング（識別、認識、分類）が挙げられる。
【００９１】
一般に非線形関数近似は実現が容易であり、汎化能力も高い系を得やすい。一方、クラスタリングへの応用は教師データへの依存性が高く、かつ複雑な入力に関しては、複数の教師データ相互の間に矛盾関係が存在する可能性が高い。このため、クラスタリングへ応用した場合には、入力が非常に簡単な場合を除けば、結果的に汎化能力が低いのみならず、特定の教師データに対する適合性という意味でも不満足な系しか得られないことも少なくない。
【００９２】
次に、ニューラルネットワークに対する教師データを用いた学習方法について説明する。ｐ番目の入力パターンに対する、第Ｌ層のi番目のニューロンの状態を次のように表現する。
【数３】
2005202562.tif 000005
【数４】
2005202562.tif 000006
ここで、関数ｆ（ｘ）は式（２）に示した非線形のシグモイド関数、ＹiLはニューロンの出力、ＵiLはニューロンの内部状態、Ｙi＜Ｌ−１＞はL−１層のニューロンの出力＝Ｌ層のニューロンの入力、ｗij＜Ｌ＞は結合強度である。
【００９３】
このように定義した場合に、広く用いられている誤差逆伝搬学習法（バックプロパゲーション学習法、以下ＢＰ法と略す。）では、誤差評価関数として平均自乗誤差を用いて、以下のようにエラーＥを定義する。
【数５】
2005202562.tif 000007
ただしｋは出力層の番号であり、Ｔi（ｐ）はｐ番目の入力パターンに対する望ましい出力パターンである。
【００９４】
この場合、ＢＰ法に基づく各結合強度の修正量Δｗは次式で定められる。
【数６】
2005202562.tif 000008
ここで、∂は偏微分記号（ラウンド）、ηは学習率を表す係数である。Δｗij＜Ｌ＞を各々のｗij＜Ｌ＞に加算することによって学習が進む。なお、この形式のＢＰ法では学習が進んだ結果、教師データとの誤差の絶対値が小さくなってくると、Δｗの絶対値も小さくなり、学習が進まなくなるという現象が指摘されており、その問題点を回避するために、種々の改良が提案されている。
【００９５】
例えば、Δｗの定義を次のように変更するという提案がある。
【数７】
2005202562.tif 000009
式（７）の第二項は慣性項（モーメンタム項）と呼ばれ、現在の修正量だけでなく、過去の修正量も考慮することで収束時の振動を抑え、学習を高速化する効果がある。安定化定数αは1．0以下の正の実数で、過去の修正量の考慮の度合いを規定する係数である。
【００９６】
あるいは、学習率ηを学習回数ｎに応じて、次式を満たすように動的に変化させるという提案もある。
【数８】
2005202562.tif 000010
【００９７】
さらには、エラーの評価を平均自乗誤差ではなく、シグモイド関数の導関数を打ち消すような形式にするという提案もある。いずれにせよ、ＢＰ法を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることができるようになる。
【００９８】
ここで用いるニューラルネットワークは、少なくとも目と口の各々の面積率を入力する入力層と、１つ以上の中間層と、少なくとも顔らしさを表すパラメータを出力する出力層と、を有する階層型のニューラルネットワークで構成されることが好ましい。
【００９９】
次に、図８を参照して、特徴部位の抽出処理（ステップＢ３）について説明する。ここでは顔候補領域が予め定められた大きさ以上の大きさであって、目画素として黒目を抽出する例について説明する。
まず、取得された顔候補領域の画像を表す画像信号が輝度信号と色情報信号とに変換される（ステップＣ１）。
【０１００】
画像信号を輝度信号と色情報信号に変換する操作とは、例えば、元画像のＢ・Ｇ・Ｒの３色強度信号をＹＩＱ基底・ＨＳＶ基底・ＹＵＶ基底等に変換するか、あるいはｓＲＧＢやＮＴＳＣ等の規格に基づきＣＩＥ１９３１表色系のＸＹＺ基底・ＣＩＥ１９７６の勧告するＬ*ａ*ｂ*基底・Ｌ*ｕ*ｖ*基底等に変換する操作を意味する。輝度信号と色情報信号の分離は色彩学的に完全に厳密な変換でなくても充分な効果を発揮するので、例えば、特開昭６３−２６７８３号公報に記載されているように、ＢＧＲの平均値を輝度信号とし、これに直交する２軸を色情報信号とするような変換も含まれる。
【０１０１】
次に、輝度信号を用いてエッジが抽出され、エッジ情報が生成される（ステップＣ２）。エッジ情報とは、画像中に存在する構造物の輪郭（エッジ）を示す情報であって、エッジの位置及び強度を示す。sobelフィルタ等のフィルタ処理や、画像を所定の周波数帯域成分に分解してエッジを抽出する方法等、種々のエッジ抽出方法が知られているが、抽出方法については限定しない。
【０１０２】
次に、エッジ強度が予め定められた閾値以上の画素（ｘ，ｙ）について、輝度信号に二項ウェーブレット変換が適用され、偏角θが求められる（ステップＣ３）。エッジ強度が閾値以上の画素として、人物の顔の目における黒目と白目の境界を想定している。ここで求める偏角θとは、図９に示すように、黒目を半径ｒの円と仮定した場合にエッジ（ｘ，ｙ）から求められる黒目の中心（Ｘ，Ｙ）におけるｘ軸とエッジ（ｘ，ｙ）方向とのなす角である。
【０１０３】
ウェーブレット変換は、画像の局所部位毎に周波数帯域の分割を行い、周波数帯域別に抑制・強調を行う効率的な方法として知られている（“Wavelet and Filter Banks”by G. Strang & T. Nguyen, Wellesley-Cambridge Press（邦訳「ウェーブレット解析とフィルタバンク」, G.ストラング・T.グエン共著,培風館）参照）。
【０１０４】
以下、二項ウェーブレット変換について概要を説明する。二項ウェーブレット（Dyadic Wavelet）変換については、“Singularity detection and processing with wavelets” by S.Mallat and W.L.Hwang, IEEE Trans. Inform. Theory 38 617 (1992)や“Characterization of signals from multiscale edges” by S.Mallat and S.Zhong, IEEE Trans. Pattern Anal. Machine Intel. 14 710 (1992) や“A wavelet tour of signal processing 2ed” by S.Mallat, Academic Pressに詳細な説明がある。
【０１０５】
二項ウェーブレット変換のウェーブレット関数ψi,j（ｘ）は下記式（９）のように定義される。
【数９】
2005202562.tif 000011
ただし、ｉは自然数である。
【０１０６】
二項ウェーブレット変換のウェーブレット関数は、レベルｉにかかわらず位置の最小移動単位が一定であるため、下記の特徴を有する。
【０１０７】
第一の特徴として、下記式（１０）に示す１レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗiと低周波数帯域成分Ｓiの各々の信号量は、変換前の信号Ｓi-1と同一である。
【数１０】
2005202562.tif 000012
【０１０８】
第二の特徴として、スケーリング関数φi,j（ｘ）とウェーブレット関数ψi,j（ｘ）の間に、下記式（１１）の関係が成立する。
【数１１】
2005202562.tif 000013
したがって、二項ウェーブレット変換で生成される高周波数帯域成分Ｗiは、低周波数帯域成分Ｓiの一階微分（勾配）を表す。
【０１０９】
第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γiを高周波数帯域成分に乗じたＷi・γi（以下、これを補正済高周波数帯域成分という。）について、入力信号の信号変化の特異性（singularity）に応じて、該変換後の補正済高周波数帯域成分Ｗi・γiの信号強度のレベル間の関係が一定の法則に従う。
【０１１０】
図１０に、入力信号Ｓ0の波形と、二項ウェーブレット変換により得られる各レベルの補正済高周波数帯域成分の波形を示す。図１０において、（ａ）は入力信号Ｓ0を示し、（ｂ）はレベル１の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ1・γ1を示し、（ｃ）はレベル２の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ2・γ2を示し、（ｄ）はレベル３の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ3・γ3を示し、（ｅ）はレベル４の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ4・γ4を示す。
【０１１１】
各レベルにおける信号強度の変化を見ると、（ａ）において、“１”や “４”に示すなだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗi・γiは、（ｂ）→（ｅ）に示すようにレベル数ｉが増大するほど信号強度が増大する。入力信号Ｓ0において、“２”に示すステップ状の信号変化に対応する補正済高周波数帯域成分Ｗi・γiは、レベル数ｉに関わらず信号強度が一定となる。入力信号Ｓ0において、“３”に示すδ関数状の信号変化に対応する補正済高周波数帯域成分Ｗi・γiは、（ｂ）→（ｅ）に示すように、レベル数ｉが増大するほど信号強度が減少する。
【０１１２】
第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換は、図１１に示すような方法で行われる。図１１に示すように、１レベルのウェーブレット変換において、入力信号Ｓn-1をｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより、低周波数帯域成分Ｓnが得られる。また、入力信号Ｓn-1をｘ方向のハイパスフィルタＨＰＦｘで処理することにより、高周波数帯域成分Ｗｘnが得られ、入力信号Ｓn-1をｙ方向のハイパスフィルタＨＰＦｙで処理することにより、高周波数帯域成分Ｗｙnが得られる。
【０１１３】
このように、１レベルの二項ウェーブレット変換により、入力信号Ｓn-1は、２つの高周波数帯域成分Ｗｘn，Ｗｙnと１つの低周波数帯域成分Ｓnに分解される。２つの高周波数帯域成分Ｗｘn，Ｗｙnは低周波数帯域成分Ｓnの２次元における変化ベクトルＶnのｘ成分とｙ成分に相当する。変化ベクトルＶnの大きさＭnと偏角θnは下記式（１２）及び（１３）で与えられる。
【数１２】
2005202562.tif 000014
【数１３】
2005202562.tif 000015
【０１１４】
本実施の形態においては、図１２に示す係数のフィルタを用い、１レベルの二項ウェーブレット変換を行う。図１２において、ｘ＝０のフィルタ係数は、現在処理している画素に対するフィルタ係数で、ｘ＝−１のフィルタ係数は、現在処理している画素の１つ前の画素に対するフィルタ係数で、ｘ＝１のフィルタ係数は、現在処理している画素の１つ後の画素に対するフィルタ係数である（以下同様）。
【０１１５】
二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２n-1−１個のゼロを挿入したものが用いられる（前述の参考文献を参照。）。また、二項ウェーブレット変換のレベルｉに応じて定められる補正係数γiは、図１３に示す値を用いる。
【０１１６】
次に、図８に示すように、エッジ強度が閾値以上の画素（ｘ，ｙ）について、ハフ変換を用いて、下記式（１４）に従ってエッジに対応する円の中心位置（Ｘ，Ｙ）が算出され、黒目の中心位置候補として投票される（ステップＣ４）。
【数１４】
2005202562.tif 000016
ここで、θとして、エッジ強度が閾値以上の画素（ｘ，ｙ）に対して算出された偏角θnが用いられる。
【０１１７】
ハフ変換（Hough変換）とは、画像から方程式の形で記述可能な、線分で構成される図形を抽出する方法であり、直線だけでなく、円や楕円にも適用されている。また、図形上の線分に欠損がある場合やノイズが多く含まれている場合でも有効であり、米国特許第３０６９６５４号明細書、特開平７−９１９１４号公報、特開２００２−１８３７３９号公報、特開平６−２０３１５６号公報、特許第２８５６５３９号公報、特許第２６４６３６３号公報等、種々の工業分野で応用されている。
【０１１８】
定数ｒは顔候補領域の構成画素数をテーブルに照らし合わせて別途決定される。顔候補領域の構成画素数、つまり、顔の大きさ・解像度に応じて、黒目のおおよその大きさの範囲ｒを設定することにより、精度よく目を検出することができる。
【０１１９】
次に、各エッジに対応する円の中心位置候補のうち、最も多く投票された位置（Ｘ１，Ｙ１）と２番目に多く投票された位置（Ｘ２，Ｙ２）が求められる。ここで、（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）は、人物の顔の左右の黒目の中心位置を示している。（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）を中心として、半径ｒの範囲に含まれる画素を、エッジ情報により得られた目候補画素（黒目候補画素）とする（ステップＣ５）。
【０１２０】
ここでは、顔候補領域に目が２つあることを前提としているが、２番目に多く投票された位置（Ｘ２，Ｙ２）がはっきりしない場合には、顔が横向きであったり、片方の目が隠れていたり等、片目であると判断する。
【０１２１】
次に、顔候補領域内から彩度、色相、明度の各値が所定の範囲に含まれる画素が抽出される（ステップＣ６）。これを色情報により得られた目候補画素（黒目候補画素）とする。
【０１２２】
そして、エッジ情報により得られた目候補画素（黒目候補画素）と、色情報により得られた目候補画素（黒目候補画素）の双方に属する画素が目画素（黒目画素）として抽出される（ステップＣ７）。
以上で、特徴部位抽出処理が終了する。
【０１２３】
このように、目の抽出処理において顔候補領域が所定値以上の大きさである場合、つまり黒目が略円形に構成されている場合には、ハフ変換を用いることにより、高精度に目を抽出することができる。顔候補領域の大きさから黒目の大きさの範囲を推定することにより、処理負荷を大幅に増加させることなく、目の抽出の精度を向上させることができる。
【０１２４】
次に、図１４を参照して、ニューラルネットワークによる顔判定処理（図５のステップＢ５）について詳細に説明する。ここで用いるニューラルネットワークは、入力層、中間層、出力層からなる３層構造で、入力するパラメータの数、出力するパラメータの数から入力層、出力層の要素数を決め、さらに入力層、出力層の要素数から最適な中間層の要素数を決定する。ここでは、中間層を１層とし、入力層、中間層、出力層の要素数を各々５、７、１とする。ただし、ニューラルネットワークの構成は、中間層の数が２層以上でもよく、各層の要素数も合わせて最も認識率が高くなるように決定すればよい。
【０１２５】
まず、ニューラルネットワークの入力層に各入力パラメータが入力される（ステップＤ１）。入力パラメータは、図５のステップＢ４で算出された目及び口の面積率、顔候補領域の平均彩度値（別途取得）、顔候補領域の平均色相値（別途取得）、顔候補領域の重心を通る最短対角線と最長対角線の比（別途取得）とする。
【０１２６】
ニューラルネットワークに入力されるパラメータは、本発明の特徴である目及び口の面積率に加え、処理能力、処理時間の許す範囲で顔候補領域の色味を特徴付けるパラメータと、顔候補領域のおよその形状を表すパラメータを含むことが好ましい。顔候補領域の色味を特徴付けるパラメータとしては、例えば、顔候補領域の彩度・色相・明度の各平均値や、Ｌ*ａ*ｂ*・Ｌ*ｕ*ｖ*の各平均値等が挙げられるが、これらに限定されるものではなく、当業界で知られる色値の表現方法を使用することが可能である。また、顔候補領域のおよその形状を表すパラメータとしては、例えば、顔候補領域に内接する面積が最大となる楕円の長軸と短軸の比や、円形度等、種々のパラメータを用いることができる。
【０１２７】
ニューラルネットワークにおける教師データは、通常ユーザが撮影するシーンの出現頻度に従ってサンプリングされた画像を用いて作成する。サンプリングされた画像から顔判定処理の処理フローと同様に各々顔候補領域を抽出し、ニューラルネットワークに入力するパラメータを算出し、これと、各顔候補領域に対応する教師データ（顔であれば１、顔でなければ０）を用いてＢＰ法によって学習させることで、判定の際にネットワーク上で使用する各係数（重み係数ｗi）を決定する。
【０１２８】
そして、ニューラルネットワークによる演算が行われ（ステップＤ２）、出力層から出力された出力値（顔らしさ）が所定の閾値以上である場合には（ステップＤ３；ＹＥＳ）、その顔候補領域は顔であると判定される（ステップＤ４）。出力値が所定の閾値未満である場合には（ステップＤ３；ＮＯ）、その顔候補領域は顔ではないと判定される（ステップＤ５）。
以上で、ニューラルネットワークによる顔判定処理が終了する。
【０１２９】
従来のように、色情報だけで目や口を抽出しようとした場合、多様なシーンにおいて抽出できるように抽出条件を広くすると、目や口だけでなく、顔輪郭部のシャドウ部や、色味が近い髪の毛、画像の解像度が高い場合には肌部の色ムラ等、目や口以外の構造物も抽出してしまう。逆に、抽出条件を狭くすると、多様なシーンに対応できず、十分ではない。
【０１３０】
また、エッジ情報のみで目や口を抽出しようとすると、集合写真や低解像度の画像等では、目や口にエッジが出難いため、抽出精度が低くなる。
【０１３１】
画像処理装置１では、色情報においてはどのようなシーンでも目や口が抽出対象に含まれるような広い抽出条件を設定し、誤抽出を排除するためにエッジ情報を併用することにより、目や口がブロック状になっているような、本来の構造を保持していない低解像度の顔候補領域、又は構成画素数が少ない小さな顔候補領域においても、高解像度の顔候補領域、又は十分な画素数で構成されている顔候補領域においても、高精度に目や口を抽出することができる。このように、顔候補領域の大きさや解像度、顔の向きや表情、露光状態によらず、精度よく、共通のパラメータを用いて顔判定処理を行うことができる。
【０１３２】
また、顔候補領域が所定値以上の大きさである場合には、エッジ欠損に対する耐性が強いハフ変換を用いることにより、顔候補領域から略円形である目を精度よく抽出することができる。また、二項ウェーブレット変換を用いることにより、エッジ情報を精度よく抽出することができ、エッジのグラディエントの方向を精度よく得られるので、これをハフ変換に適用することにより、さらに高精度に目等の特徴部位を抽出することができる。
【０１３３】
また、目及び口の面積率を入力信号とし、顔らしさを表すパラメータを出力信号としたニューラルネットワークを用いて、顔候補領域が顔であるか否かを判定することにより、処理負荷が低く、簡単な顔判定を行うことができる。ニューラルネットワークに教師データを与えて学習させることで、顔らしさを判定することができるため、種々の撮影条件で種々の特性を有する顔画像の多様性や、顔候補領域の抽出のあいまいさや誤差を吸収しつつ、プリントやモニタに出力された画像を鑑賞する人間の判断における非線形性を近似した顔判定を最適に行うことができる。
【０１３４】
また、ニューラルネットワークを用いることにより、画像処理装置１における判定の対象となるシーンの傾向が変化したり、地域差等、環境の違いによって認識率が低下したり等、微調整が必要な場合には、新たに教師データを加えたり、差し替えたりして学習し直すことで、システムを変更することなく高認識率を維持することが可能である。
【０１３５】
また、顔判定結果に基づいて画像処理条件を決定し、画像処理条件に基づいて顔であると判定された顔候補領域に対して画像処理を行うので、特に顔の見栄えをよくするための補正処理を行うことができる。
【０１３６】
なお、上記実施の形態における記述は、本発明に係る好適な画像処理装置の例であり、これに限定されるものではない。画像処理装置を構成する各部の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【０１３７】
【図１】本発明の実施の形態における画像処理装置１の概観構成を示す斜視図である。
【図２】画像処理装置１の内部構成を示すブロック図である。
【図３】画像処理装置１の画像処理部７０の機能的構成を示すブロック図である。
【図４】画像調整処理部７０４において実行される画像処理全体の概要を示すフローチャートである。
【図５】顔判定処理を示すフローチャートである。
【図６】階層型ニューラルネットワークの模式的構造を示す説明図である。
【図７】ニューロンの模式的構造を示す説明図である。
【図８】特徴部位抽出処理を示すフローチャートである。
【図９】黒目におけるエッジ及び中心位置を説明するための図である。
【図１０】入力信号Ｓ0の波形と、二項ウェーブレット変換により得られる各レベルの補正済高周波成分の波形を示す図である。
【図１１】２次元信号における１レベルの二項ウェーブレット変換を示す図である。
【図１２】二項ウェーブレット変換におけるフィルタ係数を示す図である。
【図１３】二項ウェーブレット変換における補正係数γiを示す図である。
【図１４】ニューラルネットワークによる顔判定処理を示すフローチャートである。
【符号の説明】
【０１３８】
１  画像処理装置
４  露光処理部
５  プリント作成部
７  制御部
８  ＣＲＴ
９  フィルムスキャナ部
１０  反射原稿入力装置
１１  操作部
１４  画像読込部
１５  画像書込部
３０  画像転送手段
３１  画像搬送部
３２  通信手段（入力）
３３  通信手段（出力）
３４  外部プリンタ
７０  画像処理部
７０１  フィルムスキャンデータ処理部
７０２  反射原稿スキャンデータ処理部
７０３  画像データ書式解読処理部
７０４  画像調整処理部
７０５  ＣＲＴ固有処理部
７０６  プリンタ固有処理部（１）
７０７  プリンタ固有処理部（２）
７０８  画像データ書式作成処理部
７１  データ蓄積手段
【図１】
2005202562.tif 000017
【図２】
2005202562.tif 000018
【図３】
2005202562.tif 000019
【図４】
2005202562.tif 000020
【図５】
2005202562.tif 000021
【図６】
2005202562.tif 000022
【図７】
2005202562.tif 000023
【図８】
2005202562.tif 000024
【図９】
2005202562.tif 000025
【図１０】
2005202562.tif 000026
【図１１】
2005202562.tif 000027
【図１２】
2005202562.tif 000028
【図１３】
2005202562.tif 000029
【図１４】
2005202562.tif 000030