(57)【要約】  【課題】色情報を用いずに顔抽出行うことにより、顔抽出性能および濃度補正性能を向上させることのできる画像処理方法および装置を提供する。  【解決手段】カラー画像の濃度勾配に関する特徴量を用いてカラー画像に撮影された人物の顔領域を抽出する顔抽出処理工程と、抽出された顔領域の濃度を所定の濃度範囲とするようにカラー画像の濃度を補正する濃度補正工程と、を有することにより上記課題を解決する。【選択図】図２
2006259974.tif 000002
【特許請求の範囲】
【請求項１】
入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理方法であって、
前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理工程と、
抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度を補正する濃度補正工程と、を有することを特徴とする画像処理方法。
【請求項２】
前記顔抽出処理工程の後であって、前記濃度補正工程の前に、抽出された前記顔領域の色を所定の色範囲とするように前記カラー画像のカラーバランスを補正するカラーバランス補正工程をさらに有する請求項１に記載の画像処理方法。
【請求項３】
前記カラー画像の画像データは、カラーネガフィルムに撮影された画像を光電的に読み取ることにより得られたものであり、
前記カラーバランス補正工程の前に、１件の前記ネガフィルムから取得された複数の前記カラー画像におけるグレーバランスを補正するグレーバランス補正工程を有する請求項２に記載の画像処理方法。
【請求項４】
前記グレーバランス補正工程および前記カラーバランス補正工程の後に、前記ネガフィルムの階調特性に基づいて前記カラー画像のアンダー領域およびオーバー領域の階調を補正するアンダー／オーバー補正工程と、
前記アンダー／オーバー補正工程および前記濃度補正工程の後に、前記カラー画像のコントラストを補正するコントラスト補正工程と、をさらに有する請求項３に記載の画像処理方法。
【請求項５】
前記カラー画像について、前記ネガフィルムにおける前記カラー画像の前後それぞれ１駒以上のカラー画像との類似度を評価し、その類似度評価値に基づいて、前記グレーバランス補正、前記濃度補正および前記コントラスト補正の少なくとも１つを調整する類似駒処理工程をさらに有する請求項４に記載の画像処理方法。
【請求項６】
入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理装置であって、
前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理部、および、抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度補正量を算出する濃度補正部を有する階調補正処理部と、
前記階調補正処理部によって算出された前記濃度補正量を用いて、前記カラー画像の画像データを変換するための前記写像を演算する変換写像作成部と、を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の階調条件や露光条件などを自動設定するための画像処理方法および装置に関し、詳しくは、読み取り画像、特に粗く読み取られたプレスキャン画像から、設定された条件で処理された画像を得るために画像を変換する変換関数やルックアップテーブル（ＬＵＴ）や変換マトリックスなどの写像を自動的に演算する画像処理方法および装置に関する。
【背景技術】
【０００２】
従来より、写真焼付装置、複写装置、プルーフプリンタや印刷制版装置などの画像形成装置においては、ネガフィルムやリバーサルフィルムなどの透過原稿や反射原稿などの原稿画像を直接出力媒体、例えば感光材料に投影して、いわゆる面露光を行って焼き付け、現像処理して、写真画像、複写画像、プルーフ（プレプルーフ）や刷版として再生する際に、露光焼付前に予め、原稿画像をＣＣＤなどのイメージセンサによって粗く読み取り、読み取った画像、いわゆるプレスキャン画像から原稿画像を露光焼付する場合の出力媒体に合わせた階調条件や露光条件を決定することが行われていた。
しかしながら、このように面露光を行う従来の画像形成装置においては、得られた露光条件に対して調整できるパラメータは、限られているし、原稿画像全面に対して一律に調整する必要があるため、調整にも限界があるし、原稿画像全面に適正な調整を行うのは極めて困難である。
【０００３】
これに対し、近年では、上述の画像形成装置においても、原稿画像をＣＣＤなどの固体撮像素子を持つスキャナ等を用いて光電的に読み取り、デジタル画像信号化して種々の画像処理を行って、感光材料に記録するのに最適な画像データとし、この画像データに応じて変調された光ビーム、例えばレーザビームなどによって、感光材料を走査露光して、感光材料に原稿画像を潜像として記録し、現像処理などを行って再生画像を得ることが可能となっている。このような画像信号のデジタル処理が可能な画像形成装置においては、読取画像の階調条件や露光条件を原稿画像の全面、または一部の領域について、あるいは各画素について、各画素毎に調整することができるので、原稿画像全面に適正かつ微妙な調整を行うことができる。
【０００４】
このようなデジタル処理を行う画像形成装置においても、スキャナ等の画像読取装置によって読み取られた原稿画像を、入力（読み取り対象）画像の階調条件や露光条件等のばらつきにもかかわらず、出力媒体上に最適に再現するための階調条件や露光条件などの画像処理条件を、例えば変換関数、ＬＵＴや変換マトリックスなどの写像として、読み取り画像、特にプレスキャン画像から自動的に設定し、設定された写像を用いて露光用に微細に読み取られた画像データ、すなわちファインスキャン画像データを変換して画像処理された画像データとする画像処理が行われている。
【０００５】
このようなプレスキャン画像データに基づいてファインスキャン画像データを変換する変換関数やＬＵＴや変換マトリックスなどの写像を自動的に演算する処理は、プレスキャン画像データから濃度ヒストグラムを作成し、ハイライトやシャドーの濃度を自動設定するヒストグラム処理や、プレスキャン画像データを用いて原稿画像の領域分割や領域検索などを行い、分割された領域や原稿画像全面の代表値や平均値、例えばＬＡＴＤ（大面積透過濃度）等の画像特徴量を抽出したり、特定の画像特徴量を持つ領域を検索して抽出する領域処理などによって行われる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
図２５に、デジタル処理を行う画像形成装置における画像処理フローの一例を示す。図２５には、カラーネガフィルムを読み取って得られたプレスキャン画像データに基づく画像処理の工程として、画像解析工程、階調補正工程および類似駒処理工程が示されている。以下に各処理工程の概略を説明する。
【０００７】
まず、画像解析工程では、入力画像データ（プレスキャン画像データ）に対し画像解析を行う。具体的には、プレスキャン画像データに間引き処理を施して低解像度のデータとした後、１件のネガから取得した複数の画像の画像データから低彩度画素を抽出してＲ，Ｇ，Ｂの３次元テーブルを作成する。このテーブルは、グレーバランス補正で使用される。
【０００８】
次に、階調補正工程では、入力画像データに対し、件グレーバランス補正（グレーバランス補正）、駒グレーバランス補正（カラーバランス補正）、アンダー／オーバー補正、顔抽出処理、濃度補正およびコントラスト補正を行うことにより、画像の階調補正を行う。
件グレーバランス補正（グレーバランス補正）工程では、先の画像解析によって作成されたテーブルから、そのテーブルの作成に用いられた複数の画像の画像データの、Ｒ，Ｇ，Ｂ各色の濃度レンジ範囲の領域のデータを用いてグレー軸を最適近似して、グレーバランス補正量を算出する。このグレーバランス補正量は、１件のネガに撮影された複数の画像の画像データに対し、フィルム濃度の影響を差し引いてグレーの画像がグレーで表されるように補正するためのものであり、このグレーバランス補正量に基づいて、ＥＮＤ（Equivalent Neutral Density）−ＬＵＴ（等価中性濃度テーブル）が算出される。なお、このとき、１件のネガフィルムに撮影された画像の駒数が少ないときは、ＥＮＤ−ＬＵＴが極端に外れた不適正なテーブルになるのを抑制するために、グレー軸の傾き補正を制限し、オフセット補正のみとする。
【０００９】
駒グレーバランス補正（カラーバランス補正）工程では、１駒の画像の解析結果と上記グレー軸を評価して、その駒の画像に対する色温度補正量やフェリア補正量を算出する。これにより、それぞれの駒の画像について、高色温度（日陰）シーンおよび異種光源シーンが補正される。
アンダー／オーバー補正工程では、画像のアンダー領域およびオーバー領域の階調をネガフィルムの階調特性を考慮して補正するための補正テーブルを算出する。
顔抽出処理工程では、カラーバランス補正が行われた画像データの肌色情報に基づいて、被写体である人物の顔領域を抽出する。
濃度補正工程では、顔抽出により抽出した顔領域の濃度が所定の濃度範囲となるように、濃度補正量を算出する。
そして、コントラスト補正工程では、ハイライトおよびシャドーの濃度値を決定し、グレー軸の傾き補正量を算出する。
以上により算出された各補正量に基づいて、グレーバランスＬＵＴが調整される。
【００１０】
次に、類似駒処理工程では、処理対象駒とその前後２駒（計５駒）の類似度（類似度評価値）によってカラーバランス補正量の重み付け平均を求め、カラーバランス調整量、濃度調整量およびコントラスト調整量をそれぞれ算出し、各調整量に基づいて階調補正ＬＵＴを調整する。
【００１１】
ところで、一般に、写真画像等の画像濃度が適正かどうかの判断は、画像全体の濃度よりは、むしろ主要被写体の濃度によりなされるため、主要被写体が人物である場合には、その顔領域を検出して、顔の濃度が適正になるように画像全体の濃度を補正することが重要である。
しかし、上記のように、肌色情報を用いて顔抽出処理を行う場合、顔抽出処理に先立って行われるカラーバランス補正（駒グレーバランス補正）が適正に行われていないと、正確な肌色情報が得られないため、顔領域の誤検出や未検出（検出漏れ）を招き、その結果、適正な濃度補正を行うことができず、補正性能を低下させてしまうという問題があった。
【００１２】
また、上記のように、カラーバランス補正として、高色温度（日陰）シーンおよび異種光源シーンという限られたシーンに対する補正のみを行う方法では、その他の種類のシーンに対しては適切な補正を行うことはできない。
さらに、上記の高色温度シーンおよび異種光源シーンの補正は、ある画像特徴量の値に閾値を設け、それを基準に高色温度シーンおよび異種光源シーンを判別し、その画像特徴量に基づき高色温度シーン補正および異種光源シーン補正の補正量を決定することにより行われるが、シーンが極端な色の偏りを持っている場合（シーンの大部分に芝生が撮影されたＧ味が支配的な画像などの場合）には、その画像特徴量が、色の偏りによるものであるにもかかわらず、光源によるものと誤認してしまうこともあり、それにより、カラーバランス補正をすべきでない画像に対して補正を行ってカラーフェリアを生じてしまい、その結果、再生画像における主要被写体の顔の色や濃度が不適正になってしまうことがあった。
【００１３】
本発明の目的は、上記従来技術の問題点を解消し、色情報を用いずに顔抽出行うことにより、顔抽出性能および濃度補正性能を向上させることのできる画像処理方法および装置を提供することにある。
また、本発明の目的は、色情報を用いない顔抽出処理によって高精度で抽出した顔情報を、カラーバランス補正処理に利用することにより、顔領域の色が最適になるようにカラーバランス補正を行うことができる画像処理方法および装置を提供することにある。
【００１４】
また、本発明のさらなる目的は、上記に加えて、カラーバランス補正方法として、比較的少ない演算量で、高速処理が可能でありながら、シーンに依存するカラーバランスの補正（以下、ホワイトバランス補正と呼ぶ）を高精度で自動的に行うことができ、カラーフェリアの発生を抑制でき、ホワイトバランス補正性能の更なる向上およびロバスト性の向上を実現できるホワイトバランス補正方法を採用すること、あるいは、濃度補正方法として、比較的少ない演算量で、高速処理が可能でありながら、濃度補正を高精度で自動的に行うことができる濃度補正方法を採用することにより、画像処理による補正性能をより一層向上させることのできる画像処理方法および装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明は、入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理方法であって、
前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理工程と、
抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度を補正する濃度補正工程と、を有することを特徴とする画像処理方法を提供するものである。
【００１６】
ここで、前記顔抽出処理工程の後であって、前記濃度補正工程の前に、抽出された前記顔領域の色を所定の色範囲とするように前記カラー画像のカラーバランスを補正するカラーバランス補正工程をさらに有するのが好ましい。
【００１７】
また、前記カラー画像の画像データは、カラーネガフィルムに撮影された画像を光電的に読み取ることにより得られたものであり、
前記カラーバランス補正工程の前に、１件の前記ネガフィルムから取得された複数の前記カラー画像におけるグレーバランスを補正するグレーバランス補正工程を有するのが好ましい。
【００１８】
また、前記グレーバランス補正工程および前記カラーバランス補正工程の後に、前記ネガフィルムの階調特性に基づいて前記カラー画像のアンダー領域およびオーバー領域の階調を補正するアンダー／オーバー補正工程と、
前記アンダー／オーバー補正工程および前記濃度補正工程の後に、前記カラー画像のコントラストを補正するコントラスト補正工程と、をさらに有するのが好ましい。
【００１９】
また、前記カラー画像について、前記ネガフィルムにおける前記カラー画像の前後それぞれ１駒以上のカラー画像との類似度を評価し、その類似度評価値に基づいて、前記グレーバランス補正、前記濃度補正および前記コントラスト補正の少なくとも１つを調整する類似駒処理工程をさらに有するのが好ましい。
【００２０】
また、前記顔抽出処理工程は、所定対象物上の、各々の位置および／または互いの位置関係によって前記所定対象物の形状を示すことができる複数のランドマークの位置を、画像に含まれる前記対象物から検出するのに際し、予め取得された、前記所定対象物の平均形状を示す前記複数のランドマークの各々の位置を、前記画像に含まれる前記対象物における前記複数の前記ランドマークの夫々の仮位置とし、
１つの前記仮位置を含む所定の範囲内の各画素に対して、該仮位置が対応するランドマークに対して定義された、該ランドマークを識別するための特徴量を算出する共に、該特徴量に基づいて前記各画素の夫々が、該ランドマークを示す画素であるか否かを識別することによって前記各画素に該ランドマークを示す画素が含まれるか否かを判定し、該判定が肯定された場合、該ランドマークを示す画素として識別された前記画素の位置に前記仮位置が近づくように前記仮位置を移動させる処理を、各前記仮位置毎に行い、
各前記仮位置が移動された後の夫々の位置を、該仮位置が対応する前記ランドマークの位置として取得する画像処理方法において、
前記画素が該当するランドマークを示す画像であるか否かの識別を、複数の前記対象物のサンプル画像の夫々における、該ランドマークであることが分かっている位置の前記特徴量と、該ランドマークではないことが分かっている位置の前記特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記特徴量に対応する識別条件に基づいて行うこと、によって顔領域を識別するものであるのが好ましい。
【００２１】
また、前記カラーバランス補正工程は、入力されたカラー画像の画像データを用いて、前記カラー画像について少なくとも２つの特徴量を算出し、
前記算出した特徴量に基づいて、前記カラー画像を、ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタの１つに分類し、
前記カラー画像の少なくとも２色の色成分について、前記分類されたクラスタに予め用意された前記特徴量の非標準化係数および前記算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出し、
前記算出した予測値をホワイトバランス補正値として、前記カラー画像の前記少なくとも２色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正することを特徴とするホワイトバランス補正方法によって行うのが好ましい。
【００２２】
また、前記濃度補正工程は、入力されたカラー画像の画像データを用いて、前記カラー画像について少なくとも２つの特徴量を算出し、
前記算出した特徴量に基づいて、前記カラー画像を、濃度補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタの１つに分類し、
前記カラー画像の濃度成分について、前記分類されたクラスタに予め用意された前記特徴量の非標準化係数および前記算出された特徴量を用いて重回帰分析を行うことにより、濃度補正値の予測値を算出し、
前記算出した予測値を濃度補正値として、前記カラー画像の前記濃度成分を補正することにより、前記カラー画像の濃度を補正することを特徴とする濃度補正方法によって行うのが好ましい。
【００２３】
また、上記課題を解決するために、本発明は、入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理装置であって、
前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理部、および、抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度補正量を算出する濃度補正部を有する階調補正処理部と、
前記階調補正処理部によって算出された前記濃度補正量を用いて、前記カラー画像の画像データを変換するための前記写像を演算する変換写像作成部と、を有することを特徴とする画像処理装置を提供する。
【００２４】
ここで、本発明の画像処理装置は、上記いずれかの画像処理方法を実行するものであるのが好ましい。
【発明の効果】
【００２５】
本発明は、色情報を用いずに、濃度勾配の情報によって顔抽出行い、グレーバランス補正やカラーバランス補正に先立って、これらの補正処理から独立して顔抽出処理を行う構成としたことにより、顔抽出性能を向上させることができるとともに、そのように抽出された顔情報を用いて濃度補正を行う構成としたことにより、濃度補正性能を向上させることができる。
また、上記のように抽出された顔情報を、カラーバランス補正処理に利用することにより、顔領域の色が最適になるようにカラーバランス補正を行うことができる。
【００２６】
さらに、上記に加えて、カラーバランス補正方法として、比較的少ない演算量で、高速処理が可能でありながら、シーンに依存するカラーバランスの補正（ホワイトバランス補正と呼ぶ）を高精度で自動的に行うことができ、カラーフェリアの発生を抑制でき、ホワイトバランス補正性能の更なる向上およびロバスト性の向上を実現できるホワイトバランス補正方法を採用すること、あるいは、濃度補正方法として、比較的少ない演算量で、高速処理が可能でありながら、濃度補正を高精度で自動的に行うことができる濃度補正方法を採用することにより、画像処理による補正性能をより一層向上させることができる。
【発明を実施するための最良の形態】
【００２７】
本発明に係る画像処理方法およびその方法を実施する画像処理装置を、添付の図面に示す好適実施例に基づいて以下に詳細に説明する。
【００２８】
図１は、本発明の画像処理方法を実行する本発明の画像処理装置の一実施形態の概略構成を示すブロック図である。また、図２は、図１の画像処理装置１において実行される本発明の画像処理方法の一実施形態を示すフロー図である。
図１に示す画像処理装置１は、ネガフィルムに撮影されたカラー画像（原稿画像）を光電的に読み取って得られた画像データ（画像信号）に対してデジタル画像処理を施し、写真プリントやポストカードやその他の再生画像を作成する際の、画像処理条件の自動設定処理を行うものであり、デジタルフォトプリンタ等の画像処理装置内に設けられる。
【００２９】
画像処理装置１は、ネガフィルムに撮影された画像をＣＣＤなどのイメージセンサによって粗く読み取り（プレスキャン）、得られた画像データ（プレスキャン画像データ）を用いて画像処理条件の自動設定演算を行って、露光用に微細に読み取られた画像データ（ファインスキャン画像データ）を変換するための写像を算出するもので、画像解析処理部２と、階調補正処理部３と、類似駒補正処理部４と、変換写像作成部５と、変換写像６とを有している。
【００３０】
画像解析処理部２は、図２の処理フローにおける画像解析処理を実行する。画像解析処理部２は、プレスキャン画像データに間引き処理を施して低解像度のデータとした後、１件のネガフィルムから取得した複数の画像の画像データから低彩度画素を抽出してＲ，Ｇ，Ｂの３次元テーブルＴを作成する。図３（ａ）は、このテーブルＴを模式的に示す図である。テーブルＴは、階調補正処理部３に送られてグレーバランス補正で使用される。
また、画像解析処理部２は、１駒の画像についての画像解析を行って、画像特徴量等を算出し、その結果を階調補正処理部３へ送る。
【００３１】
ここで、画像処理装置１を搭載するデジタルフォトプリンタにおいて、図２に示す統合画像処理系でのネガフィルムからの画像データの補正時に用いられるプレスキャン画像データは、ＲＧＢ濃度値である。また、画像解析処理部２におけるプレスキャン画像データの間引き処理後のサイズは、デジタルフォトプリンタの種類等によって異なり、特に制限されない。
【００３２】
階調補正処理部３は、図２の処理フローにおける階調補正処理を実行する。図２に示すように、階調補正処理工程では、入力され、画像解析処理部２において間引き処理されたプレスキャン画像データに対し、顔抽出処理、グレーバランス補正（件グレーバランス補正）、カラーバランス補正（駒グレーバランス補正）、アンダー／オーバー補正、濃度補正およびコントラスト補正の各処理を順次行うことにより、画像の階調補正量を算出する。
以下に、階調補正処理部３における各処理について順を追って説明する。
【００３３】
まず、顔抽出処理工程では、プレスキャン画像のグレー画像（濃淡画像）すなわちプレスキャン画像データから得られるグレー情報（濃淡情報）を利用して顔検出処理を行う。すなわち、グレー画像における濃度勾配（輝度勾配）に関する情報（濃度変化の方向および大きさの情報）から濃度勾配に関する特徴量を得て、その特徴量を用いて、該画像中の顔領域を検出する。
【００３４】
本実施形態では、好ましい態様として、プレスキャン画像データからその画像の濃度勾配に関する特徴量を取得し、その特徴量を用いて画像に撮影された人物の顔領域を抽出する方法により、顔抽出処理を行う。この方法によれば、肌色などの色情報を用いることなく顔領域を抽出できるので、画像の色や濃度が適正に補正されていない状態においても、十分高い精度で顔抽出を行うことができる。すなわち、この顔抽出処理方法によれば、濃度補正やカラーバランス補正等の階調補正から独立に、顔抽出処理を行うことができるので、顔抽出処理工程を階調補正の前段に行うことができ、顔抽出の結果を濃度補正やカラーバランス補正等の階調補正処理に利用することができる。
この顔抽出処理方法とそれを実行する顔抽出処理装置については後に詳述する。
【００３５】
また、本実施形態の顔抽出処理方法は、顔抽出処理の精度およびロバスト性が高い点で好ましいが、本発明の画像処理における顔抽出処理方法はこれには限定されず、この方法以外にも、色情報を用いずに顔領域を抽出できるものであれば、各種の方法を利用することができる。例えば、輝度情報を利用した顔画像テンプレートマッチングによる方法等を利用することも可能である。
【００３６】
次に、グレーバランス補正（件グレーバランス補正）工程では、画像解析処理部２での画像解析によって作成されたテーブルＴ（図３（ａ）参照）から、濃度レンジ範囲の領域Ｄを用いてグレー軸Ｘを最適近似して、グレーバランス補正量を算出する。図３（ｂ）は、濃度レンジ範囲の領域Ｄおよびグレー軸Ｘを模式的に示す図である。このグレーバランス補正量は、１件のネガフィルムに撮影された複数の画像の画像データに対し、フィルム濃度の影響を差し引いてグレーの画像がグレーで表されるように補正するためのものであり、このグレーバランス補正量に基づいて、ＥＮＤ（Equivalent Neutral Density）−ＬＵＴ（等価中性濃度テーブル）が算出される。この補正により、フィルムのメーカやタイプの違いによる画像濃度の違いも補正される。
なお、このとき、１件のネガフィルムに撮影された画像の駒数が少ないときは、ＥＮＤ−ＬＵＴが極端に外れた不適正なテーブルになるのを抑制するために、グレー軸Ｘの傾き補正を制限し、オフセット補正のみとする。
【００３７】
また、グレーバランス補正には、１件のネガフィルムの全画像の画像データを用いるほか、補正対象の１駒の画像に対して、補正性能が得られる所定の複数の駒（例えば、前後５駒、計１１駒分）の画像データからグレーバランス補正量を算出するようにしてもよい。この場合、１件のネガフィルムの全画像（例えば、２４駒や３６駒など）の画像データを用いるよりも高速に画像処理を行うことができる。
また、グレーバランス補正量の算出には、顔検出処理で検出された顔領域の濃度を利用してもよい。
【００３８】
カラーバランス補正（駒グレーバランス補正）工程では、１駒の画像の解析結果と上記グレー軸を評価して、その駒の画像に対する色温度補正量やフェリア補正量を算出する。ここで、人物が撮影された画像の場合には、先の顔抽出処理工程において顔領域が抽出されているので、この顔領域の色を肌色として適正な所定の色範囲とするように、カラーバランス補正処理を行うことができ、それにより、高いカラーバランス補正性能を得ることができる。
【００３９】
また、本発明の画像処理に好適に利用されるカラーバランス補正方法は、全駒の入力画像のそれぞれについて、その画像の色相に関する特徴量に基づいてクラスタ分類し、分類されたクラスタに対応する非標準化係数を用いた重回帰分析を行うことにより、その画像にとって最適なカラーバランス補正値を自動的に算出するものである。この方法によれば、それぞれの駒の画像について、高色温度（日陰）シーンおよび異種光源シーンを含め、各種のシーンのカラーバランス（ホワイトバランス）を高精度で補正することができ、また、誤補正等によるカラーフェリアの発生を抑制することができる。
さらに、このようなカラーバランス（ホワイトバランス）補正方法において、顔抽出結果を利用することにより、蛍光灯とタングステン光の両方で照明されたシーン（ミックス光源シーン）について、顔領域を照明している光源の情報を優先して補正を行うことができ、適正な肌色の画像を得ることができる。
このホワイトバランス補正処理方法とそれを実行するホワイトバランス補正処理装置については後に詳述する。
【００４０】
アンダー／オーバー補正工程では、画像のアンダー領域およびオーバー領域の階調をネガフィルムの階調特性を考慮して補正するための補正テーブルを算出する。
【００４１】
濃度補正工程では、１駒ごとの画像解析結果に基づいて画像全体の濃度補正量を算出する。顔抽出処理により顔領域が抽出されている場合には、抽出された顔領域の濃度が所定の濃度範囲となるように、濃度補正量を算出する。ここで、先の顔抽出処理工程において顔領域が抽出されているので、この顔領域の濃度を肌色として適正な所定の濃度範囲とするように、濃度補正処理を行うことができ、それにより、高い濃度補正性能を得ることができる。
【００４２】
また、本発明に好適に利用される濃度補正方法は、全駒の入力画像のそれぞれについて、その画像のシーン（逆光、人物アップ、フラッシュ使用など）に関する特徴量、例えば、色相、濃度勾配、顔領域サイズ（画素数）に関する特徴量に基づいてクラスタ分類し、分類されたクラスタに対応する非標準化係数を用いた重回帰分析を行うことにより、その画像にとって最適な濃度補正量を自動的に算出するものである。この方法によれば、それぞれの駒の画像について、逆光シーン、人物アップシーン、フラッシュ使用シーンを含め、各種のシーンの濃度を高精度で補正することができる。
この濃度補正方法は、後述するホワイトバランス補正処理方法と同様の手法を用いるものである。この濃度補正方法については、後に詳述する。
【００４３】
コントラスト補正工程では、ハイライトおよびシャドーの濃度値を決定し、グレー軸の傾き補正量を算出する。
以上により算出された各補正量は、変換写像作成部５に送られる。
【００４４】
類似駒補正処理部４は、図２の処理フローにおける類似駒補正処理を実行する。図２に示すように、類似駒補正処理工程では、プレスキャン画像データに対し、グレーバランスの類似駒補正、濃度補正の類似駒補正およびコントラスト補正の類似駒補正を行う。
【００４５】
カラーバランス補正（駒グレーバランス補正）の類似駒補正工程では、画像解析処理部２で算出した、処理対象駒およびその前後２駒（計５駒）のカラーバランス補正量を、処理対象駒およびその前後２駒の類似度評価値で重み付け平均して、カラーバランス調整量を算出する。
濃度補正の類似駒補正工程では、画像解析処理部２で算出した、処理対象駒およびその前後２駒の濃度補正量を、処理対象駒およびその前後２駒の類似度評価値で重み付け平均して、濃度調整量を算出する。
コントラスト補正の類似駒補正工程では、画像解析処理部２で算出した、処理対象駒およびその前後２駒のコントラスト補正量を、処理対象駒およびその前後２駒の類似度評価値で重み付け平均して、コントラスト調整量を算出する。
以上により算出された各調整量は、変換写像作成部５に送られる。
【００４６】
変換写像作成部５は、階調補正処理部３から送られた各補正量および類似駒補正処理部４から送られた各調整量に基づいて、原稿画像のファインスキャン画像を画像処理するための変換写像、例えば変換関数、またはこの変換関数をテーブル化したルックアップテーブル（ＬＵＴ）、もしくは変換関数をマトリックス演算化した変換マトリックスを自動的に作成し、変換写像６として設定する。
変換写像６として設定される写像は、全ての補正量および調整量を統合した１つの写像であってもよいし、１または複数の補正量または調整量に基づいて作成された複数の写像の組み合わせであってもよい。
【００４７】
次に、階調補正処理部３において顔抽出処理を実行する顔抽出処理装置１１について説明する。
【００４８】
まず、従来知られている、画像データにより表される画像を用いて、該画像に含まれる例えば人物の顔や、身体の部位などの所定対象物の統計モデルを構築する技術について説明する。
以下は、Ｔ．Ｆ．Ｃｏｏｔｓ，Ａ．Ｈｉｌｌ，Ｃ．Ｊ．Ｔａｙｌｏｒ，Ｊ．Ｈａｓｌａｍ，“Ｔｈｅ  Ｕｓｅ  ｏｆ  Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｌｏｃａｔｉｎｇ  Ｓｔｒｕｃｔｕｒｅｓ  ｉｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅｓ”，Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ，ｐｐ．２７６−２８６，１９９４、および、特表２００４−５２７８６３号公報に記載の技術である。
【００４９】
上記文献には、顔を構成する頬、目、口などのような、所定対象物の各構成部品の位置、形状、大きさを表すことができる統計モデルＡＳＭ（Ａｃｔｉｖｅ  ｓｈａｐｅ  ｍｏｄｅｌ）についての記載がなされている。ＡＳＭによる手法は、まず、図２１に示すように、所定対象物（図示の例では、顔となる）の各構成部品の位置、形状、大きさを示す複数のランドマークの位置を、複数の所定対象物のサンプル画像の夫々に対して指定することによって、夫々のサンプル画像のフレームモデルを得る。フレームモデルは、ランドマークとなる点を所定のルールに従って接続してなるものであり、例えば、所定対象物が顔である場合、顔の輪郭線上の点、眉のライン上の点、目の輪郭線上の点、瞳の位置にある点、上下唇のライン上の点などがランドマークとして指定され、これらのランドマークのうち、顔の輪郭線上の点同士、唇のライン上の点同士などが夫々接続されてなるフレームが、顔のフレームモデルとなる。複数のサンプル画像から得られたフレームモデルが、平均処理が施されて顔の平均フレームモデルが得られる。この平均フレームモデル上における各ランドマークの位置が、夫々のサンプル画像における相対応するランドマークの位置の平均位置となる。例えば、顔に対して１３０個のランドマークを用い、これらのランドマークのうち、１１０番のランドマークは、顔における顎先端の位置を示す場合、平均フレームモデル上における１１０番のランドマークの位置は、各サンプル画像に対して指定された、顎先端の位置を示す１１０番のランドマークの位置を平均して得た平均位置である。ＡＳＭによる手法は、このようにして得た平均フレームモデルを、処理対象の画像に含まれる所定対象物に当てはめ、当てはめられた平均フレームモデル上における各ランドマークの位置を、処理対象の画像に含まれる所定対象物の各ランドマークの位置の初期値とすると共に、平均フレームモデルを処理対象の画像に含まれる所定対象物に合うように逐次変形（すなわち、平均フレームモデル上の各ランドマークの位置を移動）させることによって、処理対象の画像に含まれる所定対象物における各ランドマークの位置を得る。ここで、平均フレームモデルの変形について説明する。
【００５０】
前述したように、所定対象物を表すフレームモデルは、該フレームモデル上の各ランドマークの位置により表されるため、２次元の場合、１つのフレームモデルＳは、下記の式（１）のように２ｎ（ｎ：ランドマークの個数）個の成分からなるベクトルによって表すことができる。
【００５１】
Ｓ＝（Ｘ１，Ｘ２，・・・，Ｘｎ，Ｘｎ＋１，Ｘｎ＋２，・・・，Ｘ２ｎ）  （１）    但し，Ｓ：フレームモデル
ｎ：ランドマークの個数
Ｘｉ（１≦ｉ≦ｎ）：ｉ番目のランドマークの位置のＸ方向座標値
Ｘｎ＋ｉ（１≦ｉ≦ｎ）：ｉ番目のランドマークの位置のＹ方向座標値
また、平均フレームモデルＳａｖは、下記の式（２）のように表すことができる。
【数１】
2006259974.tif 000003
【００５２】
各サンプル画像のフレームモデルと、これらのサンプル画像から得た平均フレームモデルＳａｖを用いて、下記の式（３）に示す行列を求めることができる。
【数２】
2006259974.tif 000004
【００５３】
式（３）に示す行列から、Ｋ（１≦Ｋ≦２ｎ）個の固有ベクトルＰｊ（Ｐｊ１，Ｐｊ２，・・・，Ｐｊ（２ｎ））（１≦ｊ≦Ｋ）および各固有ベクトルＰｊに夫々対応するＫ個の固有値λj（１≦ｊ≦Ｋ）が求められ、平均フレームモデルＳａｖの変形は、下記の式（４）に従って、固有ベクトルＰｊを用いて行われる。
【数３】
2006259974.tif 000005
【００５４】
式（４）におけるΔＳは、各ランドマークの移動量を表すものであり、すなわち、平均フレームモデルＳａｖの変形は、各ランドマークの位置を移動させることによって行われる。また、式（４）から分かるように、各ランドマークの移動量ΔＳは、変形パラメータｂｊと固有ベクトルＰｊから求められるものであり、固有ベクトルＰｊは既に求められているので、平均フレームモデルＳａｖを変形させるために、変形パラメータｂｊを求める必要がある。ここで、変形パラメータｂｊの求め方について説明する。
【００５５】
変形パラメータｂｊを求めるために、まず、夫々のランドマークを特定するための特徴量を、各サンプル画像の各ランドマークに対して求める。ここで、特徴量の例としてランドマークの輝度プロファイルを、ランドマークの例として上唇の凹点を示すランドマークを用いて説明する。上唇の凹点（すなわち上唇の中心点）を示すランドマーク（図２２（ａ）に示す点Ａ０）に対して、このランドマークの両側のランドマーク（図２２（ａ）中の点Ａ１、Ａ２）を結び線と垂直し、かつランドマークＡ０を通過する直線Ｌにおける、ランドマークＡ０を中心とする小範囲（例えば１１画素）内の輝度プロファイルを、ランドマークＡ０の特徴量として求める。図２２（ｂ）は、図２２（ａ）に示すランドマークＡ０の特徴量となる輝度プロファイルの例を示している。
【００５６】
そして、各サンプル画像の上唇凹点を示すランドマークの輝度プロファイルから、上唇凹点を示すランドマークを特定するための統括特徴量を求める。ここで、各サンプル画像における相対応するランドマーク（例えば各サンプル画像における上唇の凹点を示すランドマーク）の特徴量間は差があるものの、これらの特徴量はガウシアン分布を呈すると仮定して総括特徴量を求める。ガウシアン分布の仮定に基づいた統括特徴量の求め方は、例えば平均処理により方法を挙げることができる。すなわち、複数のサンプル画像毎に、各ランドマークの上記輝度プロファイルを求めると共に、相対応するランドマークの輝度プロファイルを平均して、該ランドマークの統括特徴量とする。すなわち、上唇の凹点を示すランドマークの統括特徴量は、複数のサンプル画像の夫々における上唇の凹点を示すランドマークの輝度プロファイルを平均して得たものとなる。
【００５７】
ＡＳＭは、処理対象の画像に含まれる所定対象物に合うように平均フレームモデルＳａｖを変形させる際に、画像中の、平均フレームモデルＳａｖ上のランドマークに対応する位置を含む所定の範囲において、該ランドマークの統括特徴量と最も相似する特徴量を有する点を検出する。例えば上唇の凹点の場合、画像中の、平均フレームモデルＳａｖにおける上唇の凹点を示すランドマークに対応する位置（第１の位置という）を含む、前述の小範囲より大きい範囲（画像中の、平均フレームモデルＳａｖにおける上唇の凹点を示すランドマークの両側のランドマークに夫々対応する位置を結び線と垂直し、かつ第１の位置を通過する直線における、第１の位置を中心とする１１画素より多い例えば２１画素）内において、各画素を夫々中心とする１１画素毎にその中心画素の輝度プロファイルを求め、これらの輝度プロファイルの中から、サンプル画像から求められた、上唇の凹点を示すランドマークの輝度プロファイルと最も相似する統括特徴量（すなわち平均輝度プロファイル）を検出する。そして、検出されたこの輝度プロファイルを有する位置（すなわち、この輝度プロファイルが求められた１１個の画素の中心の画素の位置）と、第１の位置との差に基づいて、平均フレームモデルＳａｖ上における上唇の凹点を示すランドマークの位置を移動させるべき移動量を求めて、この移動量から変形パラメータｂｊを算出する。具体的には、例えば、前述した差より小さい、例えばこの差の１／２の量を移動させるべき量として求め、この移動させるべき量から変形パラメータｂｊを算出する。
【００５８】
なお、平均フレームモデルＳａｖを変形させた後に得たフレームモデルにより顔を表すことができなくなることを防ぐために、変形パラメータｂｊを下記の式（５）に示すように、固有値λjを用いて限定することによってランドマークの位置の移動量を限定する。
【数４】
2006259974.tif 000006
【００５９】
ＡＳＭは、このようにして、平均フレームモデルＳａｖ上における各ランドマークの位置を移動させて平均フレームモデルＳａｖを収束するまで変形させ、収束時における各ランドマークの位置により示される、処理対象の画像に含まれる所定対象物のフレームモデルを得る。
【００６０】
続いて、本発明の好ましい態様として用いられる顔抽出処理について説明する。
【００６１】
図４は、階調補正処理部３において顔抽出処理を実行する顔抽出処理装置１１の構成を示すブロック図である。なお、顔抽出処理装置１１は、入力された画像から顔を検出して、顔のフレームモデルを得るものであり、補助記憶装置に読み込まれた処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００６２】
また、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。
【００６３】
図４に示すように、顔抽出処理装置１１は、処理対象となる画像Ｓ０を入力する画像入力部１０と、画像Ｓ０から顔を検出して、顔部分の画像（以下顔画像という）Ｓ１を得る顔検出部２０と、顔画像Ｓ１を用いて両目の位置を検出して顔画像Ｓ２（その詳細については後述する）を得る目検出部３０と、目検出部３０により得られた顔画像Ｓ２に対してフレームモデルＳｈを構築するフレームモデル構築部５０と、顔検出部２０に用いられる参照データＥ１および目検出部３０に用いられる参照データＥ２を記憶した第１のデータベース４０と、フレームモデル構築部５０に用いられる平均フレームモデルＳａｖおよび参照データＥ３を記憶した第２のデータベース８０とを備えてなる。
【００６４】
画像入力部１０は、顔抽出処理装置１１に処理対象の画像Ｓ０を入力するものであり、例えば、ネットワークを介して送信されてきた画像Ｓ０を受信する受信部や、ＣＤ−ＲＯＭなどの記録媒体から画像Ｓ０を読み出す読取部や、紙や、プリント用紙などの印刷媒体から印刷媒体に印刷（プリントを含む）された画像を光電変換によって読み取って画像Ｓ０を得るスキャナなどとすることができる。
【００６５】
図５は、図４に示す顔抽出処理装置１１における顔検出部２０の構成を示すブロック図である。顔検出部２０は、画像Ｓ０に顔が含まれているか否かを検出すると共に、顔が含まれている場合、顔のおおよその位置および大きさを検出し、この位置および大きさにより示される領域の画像を画像Ｓ０から抽出して顔画像Ｓ１を得るものであり、図５に示すように、画像Ｓ０から特徴量Ｃ０を算出する第１の特徴量算出部２２と、特徴量Ｃ０および第１のデータベース４０に記憶された参照データＥ１とを用いて顔検出を実行する顔検出実行部２４とを備えてなる。ここで、第１のデータベース４０に記憶された参照データＥ１、顔検出部２０の各構成の詳細について説明する。
【００６６】
顔検出部２０の第１の特徴量算出部２２は、顔の識別に用いる特徴量Ｃ０を画像Ｓ０から算出する。具体的には、勾配ベクトル（すなわち画像Ｓ０上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、第１の特徴量算出部２２は、画像Ｓ０に対して図８（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して画像Ｓ０における水平方向のエッジを検出する。また、第１の特徴量算出部２２は、画像Ｓ０に対して図８（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して画像Ｓ０における垂直方向のエッジを検出する。そして、画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図９に示すように、各画素における勾配ベクトルＫを算出する。
【００６７】
なお、このようにして算出された勾配ベクトルＫは、図１０（ａ）に示すような人物の顔の場合、図１０（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。
【００６８】
そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図９におけるｘ方向）を基準とした０から３５９度の値となる。
【００６９】
ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図１１（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図１１（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図１１（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図１１（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。
【００７０】
第１のデータベース４０に記憶された参照データＥ１は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群の夫々について、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。
【００７１】
参照データＥ１中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。
【００７２】
なお、この顔抽出処理装置１１においては、参照データＥ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１２に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図１２においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。
また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。
【００７３】
また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。
【００７４】
ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、参照データＥ１を参照して顔であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。画像Ｓ０に含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かを識別する際には、後述するように画像Ｓ０を拡大縮小して、サンプル画像のサイズに適合するサイズの顔の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、画像Ｓ０のサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。
【００７５】
また、画像Ｓ０に含まれる可能性がある顔は、図１４（ａ）に示すように平面上の回転角度が０度のみではなく、図１４（ｂ）、（ｃ）に示すように回転している場合もある。
しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１４（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。
【００７６】
このため、顔抽出処理装置１１においては、顔であることが分かっているサンプル画像として、図１２に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、参照データＥ１の学習に許容度を持たせるようにしたものである。これにより、後述する顔検出実行部２４において識別を行う際には、画像Ｓ０を拡大率として１１／９単位で段階的に拡大縮小すればよいため、画像Ｓ０のサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１４（ｂ）、（ｃ）に示すように回転している顔も識別することができる。
【００７７】
以下、図１５のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。
【００７８】
図１６を参照しながらある識別器の作成について説明する。図１６の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）4通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、顔抽出処理装置１１においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。
【００７９】
組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９4通りとなるため、特徴量Ｃ０のデータ数を低減できる。
【００８０】
同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１６の一番右側に示す、識別器として用いられるヒストグラムである。
この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。
【００８１】
続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。
【００８２】
次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。
【００８３】
ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。
【００８４】
次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。
【００８５】
続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。
【００８６】
以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより参照データＥ１の学習を終了する。
【００８７】
なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１６の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
【００８８】
また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
【００８９】
顔検出実行部２４は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて参照データＥ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔を検出する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。この顔抽出処理装置１１では、すべての識別ポイントを加算して、その加算値の正負および大小によって顔であるか否かを識別する。例えば、識別ポイントの総和が正の値である場合、顔であると判断し、負の値である場合には顔ではないと判断する。
【００９０】
ここで、画像Ｓ０のサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている可能性がある。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、顔検出実行部２４は、図１７に示すように、画像Ｓ０を縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１７においては縮小する状態を示す）、各段階において拡大縮小された画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否か（すなわち、マスク内の画像に対して得られた識別ポイントの加算値が正か負か）の識別を行う。そして、この識別を拡大縮小および回転の全段階の画像Ｓ０について行い、識別ポイントの加算値が正の値が得られた段階におけるサイズおよび回転角度の画像Ｓ０から、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔領域として検出すると共に、この領域の画像を顔画像Ｓ１として画像Ｓ０から抽出する。なお、全ての段階において識別ポイントの加算値が負である場合には、画像Ｓ０に顔が無いと判定し、処理を終了する。
【００９１】
なお、参照データＥ１の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、画像Ｓ０を拡大縮小する時の拡大率は１１／９とすればよい。また、参照データＥ１の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、画像Ｓ０は３０度単位で３６０度回転させればよい。
【００９２】
なお、第１の特徴量算出部２２は、画像Ｓ０の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出している。
【００９３】
顔検出部２０は、このようにして画像Ｓ０からおおよその顔の位置および大きさを検出して、顔画像Ｓ１を得る。なお、顔検出部２０は、識別ポイントの加算値が正であれば顔が含まれると判定されるので、顔検出部２０においては、複数の顔画像Ｓ１が得られる可能性がある。
【００９４】
図６は、目検出部３０の構成を示すブロック図である。目検出部３０は、顔検出部２０により得られた顔画像Ｓ１から両目の位置を検出し、複数の顔画像Ｓ１から真の顔画像Ｓ２を得るものであり、図示のように、顔画像Ｓ１から特徴量Ｃ０を算出する第２の特徴量算出部３２と、特徴量Ｃ０および第１のデータベース４０に記憶された参照データＥ２に基づいて目の位置の検出を実行する目検出実行部３４とを備えてなる。
【００９５】
顔抽出処理装置１１において、目検出実行部３４により識別される目の位置とは、顔における目尻から目頭の間の中心位置（図７中×で示す）であり、図７（ａ）に示すように真正面を向いた目の場合においては瞳の中心位置と同様であるが、図７（ｂ）に示すように右を向いた目の場合は瞳の中心位置ではなく、瞳の中心から外れた位置または白目部分に位置する。
【００９６】
第２の特徴量算出部３２は、画像Ｓ０ではなく、顔画像Ｓ１から特徴量Ｃ０を算出する点を除いて、図５に示す顔検出部２０における第１の特徴量算出部２２と同じであるため、ここで、その詳細な説明を省略する。
【００９７】
第１のデータベース４０に記憶された第２の参照データＥ２は、第１の参照データＥ１と同じように、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。
【００９８】
ここで、第２の参照データＥ２の学習には、図１２に示すように両目の中心間距離が９．７，１０，１０．３画素であり、各距離において平面上±３度の範囲にて１度単位で段階的に顔を回転させたサンプル画像を用いている。そのため、第１の参照データＥ１と比較して学習の許容度は小さく、精確に目の位置を検出することができる。なお、第２の参照データＥ２を得るための学習は、用いられるサンプル画像群が異なる点を除いて、第１の参照データＥ１を得るための学習と同じであるので、ここでその詳細な説明を省略する。
【００９９】
目検出実行部３４は、顔検出部２０により得られた顔画像Ｓ１上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第２の参照データＥ２が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。
【０１００】
ここで、目検出実行部３４は、顔検出部２０により得られた顔画像Ｓ１のサイズを段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ、各段階において拡大縮小された顔画像上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔上において１画素ずつ移動させながら、マスク内の画像における目の位置の検出を行う。
【０１０１】
なお、第２参照データＥ２の生成時に学習したサンプル画像として両目の中心位置の画素数が９．０７，１０，１０．３画素のものを使用しているため、顔画像Ｓ１の拡大縮小時の拡大率は１０．３／９．７とすればよい。また、第２の参照データＥ２の生成時に学習したサンプル画像として、顔が平面上で±３度の範囲において回転させたものを使用しているため、顔画像は６度単位で３６０度回転させればよい。
【０１０２】
なお、第２の特徴量算出部３２は、顔画像Ｓ１の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【０１０３】
そして、この顔抽出処理装置１１では、顔検出部２０により得られた全ての顔画像Ｓ１毎に、顔画像Ｓ１の変形の全段階においてすべての識別ポイントを加算し、最も大きい加算値が得られた顔画像Ｓ１の変形の段階における３０×３０画素のマスクＭ内の画像において、左上隅を原点とする座標を設定し、サンプル画像における目の位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の当該顔画像Ｓ１におけるこの位置に対応する位置を目の位置として検出する。
【０１０４】
目検出部３０は、このようにして、顔検出部２０により得られた顔画像Ｓ１から両目の位置を夫々検出し、両目の位置と共に、両目の位置が検出された際の顔画像Ｓ１を真の顔画像Ｓ２としてフレームモデル構築部５０に出力する。
【０１０５】
図１８は、図４に示す顔抽出処理装置１１におけるフレームモデル構築部５０の構成を示すブロック図である。フレームモデル構築部５０は、第２のデータベース８０に記憶された平均フレームモデルＳａｖと参照データＥ３とを用いて、目検出部３０により得られた顔画像Ｓ２における顔のフレームモデルＳｈを得るものであり、図１８に示すように、平均フレームモデルＳａｖを顔画像Ｓ０に嵌め込むモデル嵌込部５２と、各ランドマークを識別するためのプロファイルを算出するプロファイル算出部５４と、プロファイル算出部５４により算出された輝度プロファイル、および参照データＥ３に基づいて平均フレームモデルＳａｖを変形させてフレームモデルＳｈを得る変形部６０とを有してなる。ここで、第２のデータベース８０に記憶された平均フレームモデルＳａｖと参照データＥ３、フレームモデル構築部５０の各構成の詳細について説明する。
【０１０６】
第２のデータベース８０に記憶された平均フレームモデルＳａｖは、複数の、顔であることが分かっているサンプル画像から得られたものである。顔抽出処理装置１１において、９０×９０画素サイズを有し、１つの顔の画像について両目の中心間の距離が３０画素となるように正規化されたサンプル画像を用いるとする。これらのサンプル画像に対して、まずオペレータにより図２１に示すような、顔の形状、鼻、口、目などの形状および位置関係を示すことができるランドマークの位置を指定する。例えば左目の目尻、左目の中心、左目の目頭、両目間の中心点、顎先端などを夫々１番目、２番目、３番目、４番目、１１０番目のランドマークとするように、顔毎に１３０個のランドマークを指定する。そして、各サンプル画像における両目間の中心点を合わせた上で、相対応するランドマーク（すなわち同じ番号を有するランドマーク）の位置を平均して各ランドマークの平均位置を得る。このように得られた各ランドマークの平均位置によって、前述した式（２）の平均フレームモデルＳａｖが構成される。
【０１０７】
また、第２のデータベース８０には、上記各サンプル画像および平均フレームモデルＳａｖから求められたＫ個（ランドマークの個数の２倍以下、ここでは２６０個以下例えば１６個）の固有ベクトルＰｊ（Ｐｊ１，Ｐｊ２，・・・，Ｐｊ（２０６））（１≦ｊ≦Ｋ）および各固有ベクトルＰｊに夫々対応するＫ個の固有値λj（１≦ｊ≦Ｋ）も記憶されている。固有ベクトルＰｊおよび各固有ベクトルＰｊに夫々対応する固有値λjの求め方は、従来技術に用いられた手法と同じであるので、ここで説明を省略する。
【０１０８】
第２のデータベース８０に記憶された参照データＥ３は、顔上の各ランドマークに対して定義された輝度プロファイルおよび輝度プロファイルに対する識別条件を規定したものであり、複数のサンプル画像の顔における、該当するランドマークが示す位置であることが分かっている部位と、複数のサンプル画像の顔における、該当するランドマークが示す位置ではないことが分かっている部位の学習により、あらかじめ決められたものである。
ここで、上唇の凹点を示すランドマークに対して定義された輝度ファイルに対する識別条件の取得を例にして説明する。
【０１０９】
顔抽出処理装置１１において、参照データＥ３を生成する際に、平均フレームモデルＳａｖを得る際に使用されたサンプル画像と同じものを用いる。これらのサンプル画像は９０×９０画素サイズを有し、１つの顔の画像について両目の中心間の距離が３０画素となるように正規化されたものを用いる。上唇の凹点を示すランドマークに対して定義された輝度プロファイルは、図２２に示すように、このランドマークの両側のランドマークＡ１、Ａ２を結び線と垂直し、かつランドマークＡ０を通過する直線Ｌにおける、ランドマークＡ０を中心とする１１個の画素の輝度プロファイルであり、上唇の凹点を示すランドマークに対して定義された輝度プロファイルに対する識別条件を得るために、まず、各サンプル画像の顔に対して指定された上唇の凹点を示すランドマークの位置におけるプロファイルを夫々算出する。そして、各サンプル画像の顔における、上唇の凹点以外の任意の位置（例えば目尻）を示すランドマークに対して、上唇の凹点を示すランドマークに対して定義された輝度プロファイルも算出する。
【０１１０】
そして、後の処理時間を短縮するために、これらのプロファイルを多値化例えば５値化する。顔抽出処理装置１１において、分散値に基づいて輝度プロファイルを５値化する。この５値化は、具体的には、輝度プロファイルを形成する各輝度値（上唇の凹点のランドマークの輝度プロファイルの場合、この輝度プロファイルを取得する際に用いられた１１個の画素の輝度値）の分散値σを求めると共に、各輝度値の平均値Ｙａｖを中心にし、分散値単位に５値化を行うものである。例えば、（Ｙａｖ―（３／４）σ）以下の輝度値を０に、（Ｙａｖ−（３／４）σ）と（Ｙａｖ−（１／４）σ）間の輝度値を１に、（Ｙａｖ−（１／４）σ）と（Ｙａｖ＋（１／４）σ）間の輝度値を２に、（Ｙａｖ＋（１／４）σ）と（Ｙａｖ＋（３／４）σ）間の輝度値を３に、（Ｙａｖ＋（３／４）σ）以上の輝度値を４にするように５値化する。
【０１１１】
上唇の凹点を示すランドマークのプロファイルを識別するための識別条件は、上記のような５値化された、各サンプル画像における上唇の凹点を示すランドマークのプロファイル（以下第１のプロファイル群という）と、上唇の凹点以外を示すランドマークに対して求められたプロファイル（以下第２のプロファイル群という）とに対して学習することによって得られる。
【０１１２】
上記２種類のプロファイル画像群の学習手法は、顔検出部２０に用いられた参照データＥ１や、目検出部３０に用いられた参照データＥ２の学習手法と同じであるが、ここでその概略について説明する。
【０１１３】
まず、識別器の作成について説明する。１つの輝度プロファイルを構成する要素としては、該輝度プロファイルを構成する各輝度値の組合せにより示される輝度プロファイルの形状とすることができ、輝度値が０、１、２、３、４の５通りあり、１つのプロファイルに含まれる画素が１１個をそのままを用いたのでは、輝度値の組合せが５１１通りとなり、学習および検出のために多大な時間およびメモリを要することとなる。このため、顔抽出処理装置１１においては、１つの輝度プロファイルを構成する複数の画素のうちの一部の画素のみを用いることとする。例えば、１１個の画素の輝度値から構成されたプロファイルの場合、その２番目、６番目、１０番目の画素の３つの画素を用いる。この３つの画素の輝度値の組合せは５３通りとなるため、演算時間の短縮およびメモリの節約を図ることができる。識別器の作成に当たり、まず、第１のプロファイル群における全てのプロファイルについて、上記輝度値の組合せ（（当該プロファイルを構成する画素の一部ここでは２番目、６番目、１０番目の３個の画素の輝度値の組合せ。以下同じ）が求められ、そしてヒストグラムが作成される。同様に、第２のプロファイル群に含まれる各プロファイルについても、同じヒストグラムが作成される。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、ランドマークの輝度プロファイルの識別器として用いられるヒストグラムである。顔を検出する際に作られた識別器と同じように、この識別器によれば、該識別器のヒストグラムが示す各縦軸の値（識別ポイント）が正であれば、該識別ポイントに対応する輝度値分布を有するプロファイルの位置が上唇の凹点である可能性が高く、識別ポイントの絶対値が大きいほどその可能性が高まると言える。
逆に識別ポイントが負であれば、該識別ポイントに対応する輝度値分布を有するプロファイルの位置が上唇の凹点ではない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性が高まる。
【０１１４】
上唇の凹点を示すランドマークの輝度プロファイルに対して、このようなヒストグラム形式の複数の識別器が作成される。
【０１１５】
続いて、作成した複数の識別器のうち、上唇の凹点を示すランドマークであるか否かの識別に最も有効な識別器が選択される。ここで、ランドマークの輝度プロファイルを識別するための最も有効な識別器の選択手法は、識別対象がランドマークの輝度プロファイルである点を除いて、顔検出部２０に用いられた参照データＥ１中の識別器を作成する際に行われた選択の手法と同じであるため、ここで詳細な説明を省略する。
【０１１６】
第１のプロファイル群と第２のプロファイル群に対する学習の結果、上唇の凹点を示すランドマークの輝度プロファイルであるか否かの識別に用いる識別器の種類と識別条件が確定される。
【０１１７】
ここで、サンプル画像のランドマークの輝度プロファイルの学習方法は、アダブースティングの手法に基づいたマシンラーニング手法を用いたが、上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いてもよい。
【０１１８】
フレームモデル構築部５０の説明に戻る。図１８に示すフレームモデル構築部５０は、画像Ｓ０から得られた顔画像Ｓ２が示す顔のフレームモデルを構築するために、まず、モデル嵌込部５２により、第２のデータベース８０に記憶された平均フレームモデルＳａｖを顔画像Ｓ２における顔に嵌め込む。平均フレームモデルＳａｖを嵌め込む際に、平均フレームモデルＳａｖにより示される顔と、顔画像Ｓ２における顔の向き、位置、大きさをできるだけ一致させることが望ましく、ここでは、平均フレームモデルＳａｖにおける、両目の中心点を夫々表すランドマークの位置と、顔画像Ｓ２における、目検出部３０により検出された両目の夫々の位置とが一致するように、顔画像Ｓ２を回転および拡大縮小して、平均フレームモデルＳａｖの嵌め込みを行う。なお、ここで、平均フレームモデルＳａｖを嵌め込む際に回転および拡大縮小された顔画像Ｓ２は、以下顔画像Ｓ２ａという。
【０１１９】
プロファイル算出部５４は、各ランドマークに対して定義された輝度プロファイルを、平均フレームモデルＳａｖ上における各ランドマークが対応する顔画像Ｓ２ａ上の位置にある画素を含む所定の範囲内における各画素の位置に対して輝度プロファイルを求めて、プロファイル群を得るものである。例えば、上唇の凹点を示すランドマークは１３０個のランドマーク中の８０番目のランドマークである場合、この８０番目のランドマークに対して定義された図２２に示すような輝度プロファイル（ここでは１１個の画素の輝度値の組合せであり、参照データＥ３に含まれている）を、平均フレームモデルＳａｖ上の８０番目のランドマークが対応する位置の画素（画素Ａとする）を中心とする所定の範囲内の各画素に対して求める。なお、「所定の範囲」は、参照データＥ３に含まれた輝度プロファイルを構成する輝度値に対応する画素の範囲より広い範囲を意味する。例えば、図２２に示すように、８０番目のランドマークの輝度プロファイルは、８０番目のランドマークの両側のランドマークを結んだ直線と垂直し、かつ８０番目のランドマークを通る直線Ｌ上における、８０番目のランドマークを中心とする１１画素の輝度プロファイルであるため、この「所定の範囲」は、この直線Ｌ上における、１１画素より広い範囲例えば２１画素の範囲とすることができる。この範囲内の各画素の位置において、該画素を中心とする連続する１１個の画素毎に輝度プロファイルが求められる。すなわち、平均フレームモデルＳａｖ上の１つ、例えば上唇の凹点のランドマークに対して、顔画像Ｓ２ａから２１個のプロファイルが求められ、プロファイル群として変形部６０に出力される。このようなプロファイル群は、各ランドマーク（ここでは１３０個のランドマーク）に対して取得される。なお、ここで、全てのプロファイルが５値化される。
【０１２０】
図１９は、変形部６０の構成を示すブロック図であり、図示のように、識別部６１と、全体位置調整部６２と、ランドマーク位置調整部６３と、判断部６８とを備えてなる。
【０１２１】
識別部６１は、まず、プロファイル算出部５４により顔画像Ｓ２ａから算出された各ランドマークのプロファイル群毎に、該プロファイル群に含まれる各々のプロファイルが、当該ランドマークのプロファイルであるか否かを識別する。具体的には、１つのプロファイル群、例えば平均フレームモデルＳａｖ上の上唇の凹点を示すランドマーク（８０番目のランドマーク）に対して求められたプロファイル群に含まれる２１個のプロファイルの夫々に対して、参照データＥ３に含まれる、８０番目のランドマークの輝度プロファイルの識別器および識別条件を用いて識別を行って識別ポイントを求め、１つのプロファイルに対して各識別器による識別ポイントの総和が正である場合、該プロファイルが８０番目のランドマークのプロファイルである、すなわち該プロファイルの対応する画素（１１個の画素の中心画素、すなわち６番目の画素）が８０番目のランドマークを示す画素である可能性が高いとし、逆に１つのプロファイルに対して各識別器による識別ポイントの総和が負である場合、該プロファイルが８０番目のランドマークのプロファイルではない、すなわち該プロファイルの対応する画素が８０番目のランドマークではないとして識別する。そして、識別部６１は、２１個のプロファイルのうち、識別ポイントの総和が正であり、かつ絶対値が最も大きいプロファイルの対応する中心画素を８０番目のランドマークとして識別する。一方、２１個のプロファイルのうち、識別ポイントの総和が正であるプロファイルが１つもない場合、２１個のプロファイルの対応する２１個の画素すべてが、８０番目のランドマークではないと識別する。
【０１２２】
識別部６１は、このような識別を各ランドマーク群に対して行い、ランドマーク群毎の識別結果を全体位置調整部６２に出力する。
【０１２３】
前述したように、目検出部３０は、サンプル画像と同じサイズ（３０画素×３０画素）のマスクを用いて両目の位置を検出するようにしているのに対し、フレームモデル構築部５０では、ランドマークの位置を精確に検出するために、９０画素×９０画素のサンプル画像から得た平均フレームモデルＳａｖを用いるので、目検出部３０により検出された両目の位置と平均フレームモデルＳａｖにおける両目の中心を示すランドマークの位置とを合わせるだけでは、ズレが残る可能性がある。
【０１２４】
全体位置調整部６２は、識別部６１による識別結果に基づいて、平均フレームモデルＳａｖの全体の位置を調整するものであり、具体的には平均フレームモデルＳａｖ全体を必要に応じて、直線的な移動、回転および拡大縮小をし、顔の位置、大きさ、向きと平均フレームモデルＳａｖにより表される顔の位置、大きさ、向きとをより一致させるようにし、前述したズレをさらに小さくするものである。具体的には、全体位置調整部６２は、まず、識別部６１により得られたランドマーク群毎の識別結果に基づいて、平均フレームモデルＳａｖ上の各ランドマークを夫々移動すべき移動量（移動量の大きさおよび方向）の最大値を算出する。この移動量例えば８０番目のランドマークの移動量の最大値は、平均フレームモデルＳａｖ上の８０番目のランドマークの位置が、識別部６１により顔画像Ｓ２ａから識別された８０番目のランドマークの画素の位置になるように算出される。
【０１２５】
次いで、全体位置調整部６２は、各ランドマークの移動量の最大値より小さい値、この顔抽出処理装置１１においては、移動量の最大値の１／３の値を移動量として算出する。この移動量は各ランドマークに対して得られ、以下総合移動量としてベクトルＶ（Ｖ１，Ｖ２，・・・，Ｖ２ｎ）（ｎ：ランドマークの個数。ここでは１３０）で表すこととする。
【０１２６】
全体位置調整部６２は、このように算出された平均フレームモデルＳａｖ上の各ランドマークの移動量に基づいて、平均フレームモデルＳａｖに対して直線的な移動、回転および拡大縮小を行う必要性があるか否かを判定し、必要がある場合には該当する処理を行うと共に、調整された平均フレームモデルＳａｖが嵌め込まれた顔画像Ｓ２ａをランドマーク位置調整部６３に出力する。なお、必要がないと判定した場合、平均フレームモデルＳａｖの全体的な調整をせずに顔画像Ｓ２ａをそのままランドマーク位置調整部６３に出力する。例えば、平均フレームモデルＳａｖ上の各ランドマークの移動量に含まれる移動の方向が同じ方向に向かう傾向を示す場合、この方向に平均フレームＳａｖの全体の位置を直線的に移動させる必要があるように判定することができ、平均フレームモデルＳａｖ上の各ランドマークの移動量に含まれる移動の方向が夫々異なるが、回転に向かう傾向を示す場合、この回転方向に平均フレームモデルＳａｖを回転させる必要があるように判定することができる。また、例えば平均フレームモデルＳａｖ上の、顔の輪郭上の位置を示す各ランドマークの移動量に含まれる移動方向が、全部顔の外側に向かう場合には、平均フレームモデルＳａｖを縮小する必要があると判定することができる。
【０１２７】
全体位置調整部６２は、このようにして平均フレームＳａｖの位置を全体的に調整し、調整された平均フレームモデルＳａｖが嵌め込まれた顔画像Ｓ２ａをランドマーク位置調整部６３に出力する。ここで、全体調整部６２の調整により各ランドマークが実際に移動された量（全体移動量という）をベクトルＶａ（Ｖ１ａ，Ｖ２ａ，・・・，Ｖ２ｎａ）とする。
【０１２８】
ランドマーク位置調整部６３は、全体的な位置調整が行われた平均フレームモデルＳａｖの各ランドマークの位置を移動することによって平均フレームモデルＳａｖを変形させるものであり、図１９に示すように、変形パラメータ算出部６４と、変形パラメータ調整部６５と、位置調整実行部６６とを備えてなる。変形パラメータ算出部６４は、まず、下記の式（６）により各ランドマークの移動量（個別移動量という）Ｖｂ（Ｖ１ｂ，Ｖ２ｂ，・・・，Ｖ２ｎｂ）を算出する。
【０１２９】
Ｖｂ＝Ｖ−Ｖａ                                    （６）
但し，Ｖ：総合移動量
Ｖａ：全体移動量
Ｖｂ：個別移動量
そして、変形パラメータ算出部６４は、前述した式（４）を用いて、第２のデータベース８０に記憶された固有ベクトルＰjと、式（６）により求められた個別移動量Ｖｂ（式（４）中ΔＳに対応する）とを用いて、移動量Ｖｂが対応する変形パラメータｂｊを算出する。
【０１３０】
そこで、平均フレームモデルＳａｖ上のランドマークの移動量が大き過ぎると、ランドマークが移動された後の平均フレームモデルＳａｖは顔を表すものではなくなるため、変形パラメータ調整部６５は、前述した式（５）に基づいて、変形パラメータ算出部６４により求められた変形パラメータｂｊを調整する。具体的には、式（５）を満たすｂｊの場合には、該ｂｊをそのままにすると共に、式（５）を満たさないｂｊの場合には、該ｂｊの値が式（５）に示される範囲内に納まるように（ここでは正負がそのまま、絶対値がこの範囲内の最大値となるように）当該変形パラメータｂｊを修正する。
【０１３１】
位置調整実行部６６は、このようにして調整された変形パラメータを用いて、式（４）に従って平均フレームモデルＳａｖ上の各ランドマークの位置を移動させることによって平均フレームモデルＳａｖを変形させてフレームモデル（ここでＳｈ（１）とする）を得る。
【０１３２】
判断部６８は、収束か否かの判断を行うものであり、例えば変形前のフレームモデル（ここでは平均フレームモデルＳａｖ）と変形後のフレームモデル（ここではＳｈ（１））上の相対応するランドマークの位置間の差（例えば２つのフレームモデル上の８０番目のランドマークの位置間の差）の絶対値の総和を求め、この総和が所定の閾値以下である場合には収束したと判断し、変形後のフレームモデル（ここではＳｈ（１））を目的のフレームモデルＳｈとして出力する一方、この総和が所定の閾値より大きい場合には収束していないと判定し、変形後のフレームモデル（ここではＳｈ（１））をプロファイル算出部５４に出力する。後者の場合、プロファイル算出部５４による処理、識別部６１による処理と、全体位置調整部６２による処理と、ランドマーク位置調整部６３による処理は、前回の変形後のフレームモデル（Ｓｈ（１））と顔画像Ｓ２ａを対象としてもう一度行われて新しいフレームモデルＳｈ（２）が得られる。
【０１３３】
このように、プロファイル算出部５４による処理から、識別部６１による処理を経て、ランドマーク位置調整部６３の位置調整実行部６６による処理までの一連の処理は、収束するまで繰り返される。そして、収束した際のフレームモデルは、目的のフレームモデルＳｈとして得られ、顔抽出処理装置１１の処理が終了する。
【０１３４】
図２０は、図４に示す顔抽出処理装置１１において行われる処理を示すフローチャートである。図示のように、図４に示す顔抽出処理装置１１において、画像Ｓ０が入力されると、まず、顔検出部２０および目検出部３０により画像Ｓ０に含まれる顔の検出を行い、画像Ｓ０に含まれる顔における両目の位置、および顔部分の画像Ｓ２を得る（Ｓ１０、Ｓ１５、Ｓ２０）。フレームモデル構築部５０のモデル嵌込部５２は、第２のデータベース８０に記憶された、複数の顔のサンプル画像から得られた平均フレームモデルＳａｖを、顔画像Ｓ２に嵌め込む（Ｓ２５）。なお、嵌め込むのに際し、顔画像Ｓ２における両目の位置と、平均フレームモデルＳａｖにおける、両目の位置を示すランドマークの位置とが夫々一致するように、顔画像Ｓ２が回転、拡大縮小され、顔画像Ｓ２ａとなっている。プロファイル算出部５４は、平均フレームモデルＳａｖ上の各ランドマークについて、該ランドマークに対して定義された輝度プロファイルを、平均フレームモデルＳａｖ上の当該ランドマークが対応する位置を含む所定の範囲内の各画素に対して求め、平均フレームモデルＳａｖ上の１つのランドマークに対して、複数の輝度プロファイルからなるプロファイル群が得られる（Ｓ３０）。
【０１３５】
変形部６０の識別部６１は、各プロファイル群対して、該プロファイル群（例えば平均フレームモデルＳａｖ上の８０番目のランドマークに対して求められたプロファイル群）内の各プロファイルのうちの、該プロファイル群の対応するランドマーク（例えば８０番目のランドマーク）に対して定義された輝度プロファイルであるプロファイルを識別し、このプロファイルが対応する画素の位置が、該プロファイル群の対応するランドマーク（例えば８０番目のランドマーク）の位置であると識別する。一方、１つのプロファイル群内のいずれのプロファイルも、該プロファイル群の対応するランドマークに対して定義された輝度プロファイルではないと識別した場合には、このプロファイル群に含まれる全てのプロファイルの夫々対応する画素の位置が、該プロファイル群の対応するランドマークの位置ではないと識別する（Ｓ４０）。
【０１３６】
ここで、識別部６１の識別結果が全体位置調整部６２に出力され、全体位置調整部６２は、ステップＳ４０における識別部６１の識別結果に基づいて、平均フレームモデルＳａｖ上の各ランドマークの総合移動量Ｖを求め、これらの移動量に基づいて、平均フレームモデルＳａｖ全体を必要に応じた直線的な移動、回転および拡大縮小をする。（Ｓ４５）。なお、ステップＳ４５における全体的な位置調整によって平均フレームモデルＳａｖ上の各ランドマークの移動量は全体移動量Ｖａである。
【０１３７】
ランドマーク位置調整部６３の変形パラメータ算出部６４は、総合移動量Ｖと全体移動量Ｖ１との差分に基づいて各ランドマークの個々の移動量からなる個別移動量Ｖｂを求めると共に、この個別移動量Ｖｂに対応する変形パラメータを算出する（Ｓ５０）。変形パラメータ調整部６５は、式（５）に基づいて、変形パラメータ算出部６４により算出された変形パラメータを調整して調整実行部６６に出力する（Ｓ５５）。位置調整実行部６６は、ステップＳ５５において変形パラメータ調整部６５により調整された変形パラメータを用いて個々のランドマークの位置を調整し、フレームモデルＳｈ（１）を得る（Ｓ６０）。
【０１３８】
そして、フレームモデルＳｈ（１）と顔画像Ｓ２ａとを用いて、ステップＳ３０からステップＳ６０までの処理が行われ、フレームモデルＳｈ（１）上のランドマークを移動して得たフレームモデルＳｈ（２）が得られる。このように、ステップＳ３０からステップＳ６０までの処理が判断部６８により収束したと判断されるまで繰り返され（Ｓ６５：Ｎｏ、Ｓ３０〜Ｓ６０）、収束する際のフレームモデルが目的のフレームモデルＳｈとして得られる（Ｓ６５：Ｙｅｓ、Ｓ７０）。
【０１３９】
このように、顔抽出処理装置１１は、顔画像から所定のランドマークを示す点を検出する際に、マシンラーニング手法により、該ランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルとに対して学習を行って得た識別器および各識別器に対する識別条件を用いて該ランドマークを検出するようにしているので、複数のサンプル画像における該ランドマークであることが分かっている点における輝度プロファイルの平均値と近似する輝度プロファイルを有する点を当該ランドマークとして検出する従来技術より、精度が良い上に、ロバスト性も高い。
【０１４０】
また、輝度プロファイルを多値化ここでは５値化して得たものを特徴量として用いることによって、演算量を減らし、メモリの節約および計算時間の短縮を図ることができる上に、画像Ｓ０を撮像した際の照明条件のバラつきなどにも拘わらず精度の良い検出を実現することができる。
【０１４１】
また、従来では、画像から所定のランドマークを示す点を検出する際に、顔画像における、平均フレームモデルＳａｖ上の該ランドマークが対応する位置を含む所定の範囲内の複数の画素のうち、複数のサンプル画像における該ランドマークであることが分かっている点における輝度プロファイルの平均値と最も近似する輝度プロファイルを有する点を該ランドマークの位置として検出しているため、例えば手などの障害物により顔の一部が覆われている場合においても、平均フレームモデルＳａｖ上の、覆われた部位に位置するランドマークが移動され、最終的に得られたフレームモデルＳｈの精度が低く、最悪の場合は、顔画像に含まれる顔を示すことがまったくできないフレームモデルを構築してしまう可能性もある。それに対して、顔抽出処理装置１１において、顔画像における、平均フレームモデルＳａｖ上の該ランドマークが対応する位置を含む所定の範囲内の複数の画素のうち、該ランドマークを示す点があるか否かの判定を行い、この判定が否定された場合には、平均フレームモデルＳａｖ上における当該ランドマークの位置を移動しないようにしている。そのため、手などの障害物により顔の一部が覆われた場合に、平均フレームモデルＳａｖ上の、覆われた部位に位置するランドマークの位置が移動されず、精度の良いフレームモデルＳｈを得ることができる。
【０１４２】
なお、例えば、上述した顔抽出処理装置１１において、ランドマークを特定するための特徴量として輝度プロファイルを用いたが、輝度プロファイルに限られることがなく、輝度プロファイルの微分値など、ランドマークを特定することができるいかなる特徴量を用いてもよい。
【０１４３】
また、上述した顔抽出処理装置１１において、識別器としてヒストグラムを用いたが、マシンラーニング手法に用いられるいかなる識別器を用いてもよい。
【０１４４】
次に、階調補正処理部３において駒グレーバランス（ホワイトバランス）補正処理を実行するホワイトバランス補正処理装置１１０について説明する。
【０１４５】
図２３は、階調補正処理部３においてホワイトバランス補正処理（駒グレーバランス補正処理）を実行するホワイトバランス補正処理装置１１０の概略構成を示すブロック図である。また、図２４は、図２３のホワイトバランス補正処理装置１１０において実行されるホワイトバランス補正処理方法の一実施形態を示すフロー図である。
図２３に示すホワイトバランス補正処理装置１１０は、入力されたカラー画像の画像データ（画像信号）に対してデジタル画像処理を施し、シーンに依存するカラーバランスの補正（以下、ホワイトバランス補正と呼ぶ）を行うものである。
このオートホワイトバランス補正処理工程は、すべての入力画像データに対して、高温度シーン補正、異種光源シーン補正およびミックス光源シーン補正を含めたホワイトバランス補正を行う。
【０１４６】
図２３に示すように、ホワイトバランス補正処理装置１１０は、記憶手段１１２と、特徴量算出手段１１４と、クラスタ分類手段１１６と、補正値算出手段１１８とを有している。
ホワイトバランス補正処理装置１１０は、入力画像データ（プレスキャン画像データ等）から得られる様々な特徴量を利用し、重回帰分析を行うことで、ホワイトバランス補正値を算出する。より具体的には、ホワイトバランス補正処理装置１１０は、ホワイトバランス補正値が既知である多数の学習用画像から学習データを取得して、ホワイトバランス補正処理に用いる固定値（固定パラメータ）として予め記憶手段１１２に記憶しておき、入力された補正対象画像の画像データに対して、特徴量算出手段１１４でその画像の特徴量を算出し、クラスタ分類手段１１６によって、その特徴量と記憶手段１１２に記憶されている固定値（学習データ）とを用いて入力画像をクラスタ分類し、次いで、補正値算出手段１１８によって、入力画像の特徴量と分類されたクラスタに用意された固定値（学習データ）とを用いて重回帰分析を行って、ホワイトバランス補正値（その予測値）を算出する。
【０１４７】
まず、記憶手段１１２に記憶されるホワイトバランス補正処理に用いる固定値（学習データ）について説明する。
記憶手段１１２は、多数の学習用画像から取得された学習データを、ホワイトバランス補正処理に用いる固定値として記憶する。
学習用画像としては、異種光源シーンや高色温度シーンなど、各種の光源で撮影された画像、および、草木や芝生の緑が画像の大部分を占めるシーンや赤いドレスを着た女性を被写体としたシーンなど、特定の色が支配的なシーンを撮影した画像を含む、様々な画像が多数用意される。
学習用画像は、画像特徴量、撮影条件に関する情報、シーンの解析などに基づいて、類似する画像ごとに複数のクラスに分類され、分類されるクラスに対応するクラスタが設定される。例えば、タングステン光の下で撮影された画像のクラスタ、日陰で撮影された画像のクラスタ、晴天の昼光で撮影されたシーンの大半が芝生である画像のクラスタ、人物の顔が蛍光灯に照明され背景がタングステン光に照明されたシーンのクラスタ、などに分類される。
【０１４８】
これらの各学習用画像について、ホワイトバランス補正前の画像の、有効な特徴量として選択された２以上の特徴量と、ホワイトバランスが最適化されたときのホワイトバランス補正値とを求め、各学習用画像の特徴量およびホワイトバランス補正値を用いて固定値（学習データ）を算出しておく。
特徴量としては、例えば、Ｇ成分を基準としたＲ成分／Ｇ成分の平均濃度色差、Ｒ，Ｇ，Ｂ各色成分の標準偏差、Ｒ，Ｇ，Ｂ各色成分の最大値および最小値など、色相に関する特徴量が用いられる。
本実施形態において、固定値（学習データ）としては、図２４に示すように、全学習用画像の各特徴量から得られた各特徴量についての平均／標準偏差、因子負荷量（固有ベクトル）、学習用画像が分類された各クラスタの初期クラスタ中心、および、クラスタごとに用意された各特徴量の非標準化係数が記憶されている。
【０１４９】
各特徴量についての平均および標準偏差は、クラスタ分類手段１１６における特徴量標準化処理（図２４のステップ１３２）に用いられる。記憶手段１１２が記憶する各特徴量の平均および標準偏差の数は、それぞれ、特徴量の数（ｎ）である。
また、各特徴量の因子負荷量（固有ベクトル）は、クラスタ分類手段１１６における主成分特徴量算出処理（ステップ１３４）に用いられる。記憶手段１１２が記憶する因子負荷量の数は、特徴量の数（ｎ）×各特徴量についての主成分の数（ｓ）である。
【０１５０】
初期クラスタ中心は、クラスタ分類手段１１６におけるクラスタ分類処理（ステップ１３６）に用いられる。上述のように、クラスタは、学習用画像の特徴量に基づいて分類される学習用画像のクラス（クラスタ）に対応して設定されており、設定された各クラスタについて、そのクラスタに分類された複数の学習用画像の特徴量に基づいて、初期クラスタ中心が求められている。学習用画像の分類は、有効な特徴量として選択された２以上の特徴量に基づいて行えばよい。記憶手段１１２が記憶する初期クラスタ中心の数は、クラスタ数（ｃ）×各クラスタにおける主成分の数（ｓ）である。
【０１５１】
非標準化係数は、補正値算出手段１１８におけるクラスタ別重回帰値算出（ステップ１３８）に用いられる。非標準化係数は、各クラスタについて、そのクラスタに分類された各学習用画像の特徴量およびホワイトバランス補正値に基づいて、各特徴量について算出されている。記憶手段１１２は、クラスタ別（クラス別）に、各特徴量の非標準化係数を記憶している。
なお、図２４には、クラスタ(1)〜(4)が図示されているが、クラスタの数は、学習用画像データに応じて設定されればよく、通常はもっと多くのクラスタが設定される。また、図２４においては、固定値として、各クラスタ(1)〜(4)にはそれぞれａ、ｂ、ｃ、ｄ個の特徴量についての非標準化係数が用意されている。通常、クラスタによって、重回帰値算出に用いる特徴量やその個数は異なっている。
【０１５２】
このホワイトバランス補正方法においては、ＲＧＢの３色の色成分のうち、Ｇ成分を固定し、Ｒ成分およびＢ成分を補正する。したがって、非標準化係数は、Ｒ成分およびＧ成分それぞれに対して用意されている。なお、ＲＧＢの各色成分のうち、Ｒ成分またはＢ成分を固定して、他の２色の色成分について非標準化係数を用意してもよいし、ＲＧＢの各色成分について非標準化係数を用意し、ＲＧＢの各色成分を補正するようにしてもよい。
【０１５３】
記憶手段１１２に記憶される固定値（学習データ）は、十分なホワイトバランス補正性能およびロバスト性を確保できるように設定された所定個数またはそれ以上の学習用画像の、各学習用画像について算出された所定個数またはそれ以上の特徴量に基づいて用意される。
後述するように、ホワイトバランス補正処理装置１１０による、入力画像（補正対象画像）データに対するホワイトバランス補正処理おいて、特徴量算出手段１１４は、学習用画像から求められ記憶手段１１２に記憶された特徴量の項目と同じ複数（少なくとも２つ）の特徴量を、入力画像に対して算出する。このホワイトバランス補正方法において、学習用画像および入力画像について、２つ以上の特徴量を算出するのは、１つの特徴量によって補正の有無を決定する方法において生じる補正のばらつき、すなわち、特徴量が閾値近傍に値を持つ類似シーンにおいて、補正されたりされなかったりというばらつき等を抑制し、ロバスト性能を向上させるためである。本実施形態においては、ＲおよびＢの色成分データについてそれぞれ約１００個、合計約２００個の特徴量を算出する。
また、クラスタは、多いほど、様々な画像を細かく分類することができ、類似度の高い画像についての非標準化係数を用意することができるが、多すぎると、クラスタ分類処理に要する時間が長くなるため、要求される補正性能と処理効率の程度に応じて設定されるのが好ましい。
【０１５４】
次に、ホワイトバランス補正処理装置１１０によるホワイトバランス補正処理について説明する。
ホワイトバランス補正処理装置１１０は、プレスキャン画像データに基づいてホワイトバランス補正値を算出し、算出した補正値によってファインスキャン画像データのホワイトバランス補正値とする。
ホワイトバランス補正処理装置１１０の上流側には、フィルム濃度に応じて全体の濃度をオフセットする補正テーブルの算出する、グレーバランス補正工程（件グレーバランス補正工程）を行う装置が配置されており、グレーバランス補正量（例えば、フィルムＥＮＤ−ＬＵＴ）算出処理後のプレスキャンデータが、ホワイトバランス補正処理装置１１０の特徴量算出手段１１４に供給される。
また、ホワイトバランス補正処理装置１１０の上流側には、上述の顔抽出処理装置１１
が配置されており、顔情報が抽出されている場合には、その顔情報が特徴量算出手段１１４に供給される。
【０１５５】
特徴量算出手段１１４は、入力されたプレスキャン画像データ（以下、単に、入力画像データという）について、予め定められたｎ個の特徴量（ｎは２以上の正数）を算出する（図２４のステップ１３０）。特徴量算出手段１１４が算出する特徴量の項目は、学習用画像から求められ記憶手段１１２に記憶されている固定値（学習データ）を求めるのに用いた特徴量と同じ項目のうち、少なくともクラスタ分類手段１１６および補正値算出手段１１８での処理に使用する項目である。また、どの入力画像データについても同じ特徴量を算出するようにしてもよい。上述したように、特徴量は、例えば、その画像の平均濃度の色差や、標準偏差や、ＲＧＢの最大値または最小値などである。また、顔情報が得られている場合には、顔領域の色に関する特徴量を算出するのが好ましい。
【０１５６】
クラスタ分類手段１１６は、特徴量算出手段１１４で算出した特徴量に基づいて、入力画像データを、学習用画像データの分類に基づいて設定された複数のクラスタの１つに分類する。クラスタ分類手段１１６による処理は、特徴量標準化処理（ステップ１３２）、主成分特徴量算出処理（ステップ１３４）およびクラスタ分類処理（ステップ１３６）から構成される。
【０１５７】
特徴量標準化処理（ステップ１３２）では、記憶手段１１２から各特徴量の平均および各特徴量の標準偏差を読み出し、これらを用いて、特徴量算出処理（ステップ１３０）で算出した入力画像データの各特徴量の標準化を行い、Ｚ得点（標準化係数）を算出する。ここで、Ｚ得点は、各特徴量をｘとすると、
Ｚ＝（ｘ−ｘの平均）／ｘの標準偏差
で表される。
【０１５８】
主成分特徴量算出処理（ステップ１３４）では、記憶手段１１２から各特徴量の因子負荷量（固有ベクトル）を読み出し、特徴量標準化処理（ステップ１３２）で算出したＺ得点と、読み出した因子負荷量（固有ベクトル）を用いて主成分分析を行って、各主成分ごとに主成分得点を算出する。因子負荷量をａn、Ｚ得点（標準化された特徴量、標準化係数）をｘnとすると、ｉ番目主成分得点（主成分特徴量）ｚｉは、
ｚｉ＝ａ1・ｘ1＋ａ2・ｘ2＋ａ3・ｘ3＋・・・＋ａn・ｘn
で表される。この処理により、その画像における有効な特徴量を算出する。
【０１５９】
クラスタ分類処理（ステップ１３６）では、記憶手段１１２から各クラスタの初期クラスタ中心を読み出し、読み出した初期クラスタ中心と主成分特徴量算出処理（ステップ１３４）で算出した主成分得点とを用いてクラスタ分類を行う。すなわち、主成分得点について、各クラスタに対してクラスタ距離（ユークリッド距離）を算出し、クラスタ距離が最も小さいクラスタに入力画像データを割当てる。
ここで、主成分得点は、色相に関する特徴量から算出されたその画像の特徴を表すので、主成分得点を用いて画像を分類することにより、画像をある色相（ＲＧＢ、ＣＭＹなど）に、大まかに分類することができる。このように、色相に基づいてクラスタ分類し、後述するように、クラスタ別に補正量を算出することによって、ホワイトバランスの補正性能を向上させることができ、誤補正を軽減することができる。
【０１６０】
すなわち、例えば、草木や芝生の緑が画像の大部分を占めるシーンや、赤いドレスを着た女性を被写体としたシーンなど、特定の色が支配的なシーンについてオートホワイトバランス補正処理を行った場合、従来は、支配色の影響でグレーの設定（グレーバランス）が適正でない補正をしてしまったり、異種光源シーンであると誤認してカラーバランス補正をしてしまうことにより、全体のカラーバランスが崩れた状態に補正してしまう、いわゆるカラーフェリアを生じることがあった。
それに対し、このホワイトバランス補正処理は、まず、色相に関する特徴量に基づいて入力画像をクラスタ分類し、そのクラスタに分類される画像にとって適切な固定値（または補正値の算出式）によって、ホワイトバランス補正値を算出するので、カラーフェリアを抑制することができる。
【０１６１】
また、顔情報に基づく特徴量を用いてクラスタ分類して補正量を算出することにより、主要被写体の顔の色を適正にするようにホワイトバランス補正を行うことができる。
さらに、例えば、蛍光灯とタングステン光の両方によって照明されたシーンなど、２種以上の光源が用いられたシーン（ミックス光源シーン）についてオートホワイトバランス補正処理を行った場合、従来は、光源の影響の大きいものなど、いずれか１つの光源に合わせて補正することはできたが、主要被写体を照明している方の光源を選択的に補正する処理を、自動的に行うことはできず、顔の色を常に適正な肌色にすることは困難であった。また、画像を光源種によって分割して、領域ごとに光源種に応じた補正を行うことも考えられるが、不自然な画像になるなど、高画質な画像とするのは困難であった。
それに対し、本発明の画像処理においてこのホワイトバランス補正処理を行い、先にグレー画像の濃度勾配に基づいて抽出された顔情報を特徴量として利用することにより、顔領域の光源に重きをおいたミックス光源シーンに対するホワイトバランス補正を行うことができるので、観賞する人の満足度の高い高画質な画像を安定して出力することができる。
【０１６２】
補正値算出手段１１８は、入力画像データのＲ成分およびＢ成分について、クラスタ分類手段１１６によるクラスタ分類処理（ステップ１３６）で分類されたクラスタに対応する非標準化係数、および、入力画像データの特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出する。補正値算出手段１１８による処理は、クラスタ別重回帰値算出（ステップ１３８）およびオートホワイトバランス（ＡＷＢ）補正値算出処理（ステップ１４０）から構成される。
【０１６３】
クラスタ別重回帰値算出（ステップ１３８）では、クラスタ分類処理（ステップ１３６）で分類されたクラスタに対応して用意されている、各特徴量の非標準化係数を、記憶手段１１２から読み出し、この非標準化係数と、特徴量算出手段１１４による特徴量算出処理（ステップ１３０）によって算出された特徴量とを用いて、重回帰分析を行う。与えられた各特徴量の非標準化係数ｂｉ、入力画像データの特徴量をｕｉとすると、ホワイトバランス補正値の予測値Ｙは、
Ｙ＝ｂ1・ｕ1＋ｂ2・ｕ2＋ｂ3・ｕ3＋・・・＋ｂ0
で表される。すなわち、この重回帰式を、固定値（学習データ）として得られた各特徴量の非標準化係数ｂｉによって予め作成しておき、入力画像の特徴量をｕｉを上記式に代入することによって、入力画像に対するホワイトバランス補正値の予測値Ｙを自動的に算出できる。
【０１６４】
上述したように、記憶手段１１２には、Ｒ成分およびＢ成分についての非標準化係数が記憶されており、予測値Ｙは、Ｒ成分およびＢ成分について、それぞれ算出される。
このように、ホワイトバランス補正処理装置１１０においては、Ｒ成分およびＢ成分について、それぞれについて用意された非標準化係数を用いて、それぞれ独立にホワイトバランス補正値の予測値ＹＲ，ＹＢを求めている。しかし、予測値ＹＲ，ＹＢの算出に用いられるＲ成分およびＢ成分についての非標準化係数は、それぞれ、同じクラスタに分類された学習用画像の、同じ特徴量を利用して算出されているので、ホワイトバランス補正の相関は十分高いと言え、予測値ＹＲ，ＹＢによって、入力画像のＲ成分およびＢ成分をそれぞれ補正することにより、ホワイトバランス補正を適切に行うことができる。
【０１６５】
上述したように、各特徴量の非標準化係数ｂｉは、クラスタ別に求められており（すなわち、クラスタ別に重回帰式が求められており）、クラスタ別重回帰値算出（ステップ１３８）において使用される入力画像の特徴量は、クラスタごとに異なっている。すなわち、図２４に示すように、入力画像が分類される各クラスタ(1)〜(4)において、クラスタ別重回帰値算出に使用されるａ、ｂ、ｃ、ｄ個の特徴量は、固定値として用意された、各クラスタ(1)〜(4)のそれぞれに対する、ａ、ｂ、ｃ、ｄ個の特徴量についての非標準化係数と対応する。
補正値算出手段１１８は、特徴量算出手段１１４によって算出された特徴量のうち、入力画像が分類されたクラスタでの重回帰値算出に用いる特徴量を取り出して、重回帰値算出を実施する。
【０１６６】
ホワイトバランス補正値算出処理（ステップ１４０）では、クラスタ別重回帰値算出（ステップ１３８）で算出した予測値Ｙを、ホワイトバランス補正値として決定する。このとき、必要に応じてホワイトバランス補正値の重み付けをしてもよい。
【０１６７】
ホワイトバランス補正手段２０は、決定されたホワイトバランス補正値によって、入力画像データのＲ成分およびＢ成分を補正するＬＵＴ（Gray Balance LUT）を作成する（ステップ１４２）。このＬＵＴは、γ＝１．０の変換テーブルであり、Ｒ成分およびＢ成分それぞれのホワイトバランス補正値によって、各色成分のテーブル全体を基準テーブルからオフセット（シフト）させることによって補正ＬＵＴが作成される。
【０１６８】
なお、ホワイトバランス補正手段２０は、ＬＵＴによってホワイトバランス補正を行うものには限定されず、入力データを出力データに変換する関係式を有し、この関係式をホワイトバランス補正値によって修正して、修正した関係式によってホワイトバランス補正を行うものであってもよい。
【０１６９】
以下、ホワイトバランス補正処理装置１１０の作用を説明する。
入力画像のホワイトバランス補正を行うために、まず、入力画像のプレスキャンデータが特徴量算出手段１１４に入力される。
特徴量算出手段１１４は、プレスキャン画像データから入力画像の特徴量を算出する。算出した特徴量は、クラスタ分類手段１１６へ供給する。
クラスタ分類手段１１６は、供給された特徴量の標準化を行い、標準化された特徴量を用いて主成分特徴量（主成分得点Ｚ）を算出し、この主成分特徴量を用いてクラスタ分類を行う。
次に、補正値算出手段１１８は、クラスタ分類手段１１６で分類されたクラスタに対応する重回帰の計算式によって、ホワイトバランス補正値の予測値を算出し、算出した予測値をホワイトバランス補正値として決定して、変換写像作成部５（図１参照）へ送る。
【０１７０】
以上に説明したように、このホワイトバランス補正方法およびホワイトバランス補正処理装置１１０は、全入力画像のそれぞれについて、その色相に基づいてクラスタ分類し、クラスタ別の補正値算出方法によって、入力画像のホワイトバランスを補正値を算出するので、ある特徴量によって補正の実行の有無を決定し、限られたシーンに対してのみオートホワイトバランス補正を行う場合に生じていた、カラーフェリアや誤補正を軽減することができ、ホワイトバランス補正性能を向上させることができる。
【０１７１】
なお、上記では、入力画像のクラスタ分類を行う際に、入力画像の特徴量の標準化を行い、標準化した特徴量（Ｚ得点）について主成分分析を行って、これにより算出された主成分得点によってクラスタ分類を行っているが、入力画像のクラスタ分類は、特徴量の標準化や主成分分析を行うことなく、入力画像の複数の特徴量と、固定値（学習データ）として用意された複数の特徴量とを比較すること等によって行ってもよい。この場合は、標準化のための特徴量の平均および標準偏差、ならびに主成分分析のための特徴量の因子負荷量の固定値（学習データ）は不要である。
また、特徴量の標準化を行わずに主成分分析を行って、入力画像のクラスタ分類を行ってもよい。この場合は、標準化のための特徴量の平均および標準偏差の固定値（学習データ）は不要である。
しかしながら、上記実施形態のように、特徴量の標準化や、主成分分析を行うことにより、上述したように、特徴量のデータのばらつきを押さえることができ、ホワイトバランス補正値の算出処理をより一層安定して行うことができ、その結果、オートホワイトバランス補正処理を高い処理効率でより安定して行うことができる。
【０１７２】
また、上記では、補正量の算出に、重回帰分析を用いているが、この手法の欠点を補い、さらにロバスト性を上げるために、別の統計的な手法を重回帰分析に代えて、あるいは重回帰分析と組み合わせて用いるのも好ましい。
【０１７３】
また、ホワイトバランス補正処理装置１１０を、ネガフィルムの種類（メーカー、感度）やネガフィルムのタイプに応じた固定値（学習データ）を作成するのも好ましい。この場合には、画像データとともに、フィルム種の情報がホワイトバランス補正装置に入力されるようにし、フィルム種の情報に応じて固定値（学習データ）や使用する特徴量の選択および変更（チューニング）を行うことにより、フィルム種に応じた適切なホワイトバランス補正を行うことができ、オートホワイトバランス補正の補正性能および処理効率をさらに向上させることができる。
【０１７４】
また、同一のネガフィルムに撮影された画像は、ネガフィルムの特性によって同一の傾向を有していることから、ネガから取得された画像に対して、前後のコマのホワイトバランス補正値を加味して補正値を設定するようにするのも好ましい。従来、１本のネガフィルム（１件）の複数コマの画像データを使って、大まかなグレーバランスを取ることが行われているが、コマ数が少ない場合には、適正な補正ができないこともある。そのため、同一のネガフィルムから取得されたコマ数に応じてホワイトバランス補正値を制御し、コマ数が少ないほど補正を抑制するようにして、極端な補正や誤補正を低減させるようにするのも好ましい。
【０１７５】
また、上述したように、人物を撮影した画像において、顔部分と背景部分に異なる光源（タングステンと蛍光灯、など）が当たっている場合（ミックス光源シーン）、従来のオートホワイトバランス補正処理では、背景部分を照明している光源種に基づいたホワイトバランス補正を行ってしまうことがあり、それにより、人物の顔色が不適切に補正されてしまうことがあった。これに対し、本発明の画像処理を行う画像処理装置１において、ホワイトバランス補正値の算出に先立って、顔抽出を行って顔情報を取得するようにし、顔領域の情報を１つの特徴量としてクラスタに分類を行うことにより、人物の顔部分を照明する光源種に基づくホワイトバランス補正を自動的に行うことができる。したがって、人物の顔色が適正に再現された再生画像を得ることができ、高い補正性能を得ることができる。
【０１７６】
なお、上記では、十分多くの学習用画像を解析し、この学習用画像から取得して記憶手段１１２に記憶した固定値（学習データ）を固定値として、入力画像に対するオートホワイトバランス補正に使用したが、入力画像に対するオートホワイトバランス補正を行うとともに、このオートホワイトバランス補正処理の過程で算出された画像特徴量およびホワイトバランス補正値を用いて、記憶手段１１２に記憶された固定値（学習データ）を更新するようにしてもよい。
【０１７７】
次に、階調補正処理部３において実行される濃度補正処理について説明する。
上述したように、本発明の好ましい形態では、濃度補正を、上記のホワイトバランス補正処理方法と同様の手法を用いた方法によって行う。すなわち、全画像について、複数の特徴量に基づいて類似シーンのクラスタに分類するクラスタ分類処理を行い、各クラスタごとに用意された非標準化係数を用いて重回帰分析を行うことにより、濃度補正値を予測値を算出して濃度補正値とする。
以下では、上述のホワイトバランス補正処理と異なる点を主に説明する。
【０１７８】
この濃度補正処理においては、学習用画像として、逆光で撮影されたシーン、人物アップシーン、フラッシュ使用下で撮影されたシーンなどを含む、様々な画像が多数用意され、画像特徴量に基づいて、類似する画像ごとに複数のクラスに分類され、分類されるクラスに対応するクラスタが設定される。
これらの各学習用画像について、濃度補正前の画像の特徴量と、濃度が最適化されたときの濃度補正値とを求め、各学習用画像の特徴量および濃度補正値を用いて固定値（学習データ）を算出しておく。
特徴量としては、例えば、色相、濃度勾配、顔領域の画素数に関する特徴量が用いられる。
【０１７９】
固定値（学習データ）としては、例えば、上述のホワイトバランス補正処理の場合と同様に、全学習用画像の各特徴量から得られた各特徴量についての平均／標準偏差、因子負荷量（固有ベクトル）、学習用画像が分類された各クラスタの初期クラスタ中心、および、クラスタごとに用意された各特徴量の非標準化係数が、予め算出されて記憶手段に記憶される。
【０１８０】
濃度補正処理では、まず、入力画像データについて、予め定められたｎ個の特徴量（ｎは２以上の正数）を算出する。顔情報が得られている場合には、顔領域の濃度に関する特徴量も算出する。この濃度補正方法において、学習用画像および入力画像について、２つ以上の特徴量を算出するのは、１つの特徴量によって補正の有無を決定する方法において生じる補正のばらつき、すなわち、特徴量が閾値近傍に値を持つ類似シーンにおいて、補正されたりされなかったりというばらつき等を抑制し、ロバスト性能を向上させるためである。
【０１８１】
次いで、算出した特徴量に基づいて、入力画像データを、学習用画像データの分類に基づいて設定された複数のクラスタの１つに分類する。ここで、入力画像データの各特徴量の標準化処理を行い、主成分特徴量（主成分得点Ｚ）を算出し、この主成分特徴量と、各クラスタの初期クラスタ中心とからクラスタ分類を行う手法は、上述のホワイトバランス補正処理における手法と基本的に同様である。
これにより、逆光や人物アップやフラッシュ撮影などのシーン別にクラスタ分類されるので、画像中の顔領域に対して各シーンに応じた適切な濃度とするような濃度補正を行うことができる。
【０１８２】
次に、濃度補正値の算出は、クラスタ分類処理によって分類されたクラスタに対応する非標準化係数、および、入力画像データの特徴量を用いて重回帰分析を行うことにより行われる。この手法も、上述のホワイトバランス補正処理における手法と基本的に同様である。
【０１８３】
以下、画像処理装置１の作用を説明する。
原稿画像を読み取って得られたプレスキャン画像データが画像処理装置１に入力されると、画像解析処理部２において、画像データの間引き処理および解析処理が行われ、低彩度画素によるテーブルＴ（図３（ａ）参照）が作成される。また、この解析処理によって、画像処理条件の自動設定演算に必要な各種の画像特徴量が算出される。間引き処理後のプレスキャン画像データ、テーブルＴおよび各種の画像特徴量は、階調補正処理部３へ送られる。
【０１８４】
階調補正処理部３は、画像解析処理部２から送られた間引き処理後のプレスキャン画像データ、テーブルＴおよび画像特徴量を用いて、図２に示す階調補正処理の各補正処理を行う。
すなわち、まず、顔抽出処理装置１１によって、濃度勾配に関する特徴量を用いてプレスキャン画像中の顔領域を抽出する。顔抽出処理装置１１は、肌色などの色情報を用いずに、濃度勾配の情報から顔領域を抽出することができるので、カラーバランスや濃度が適正に補正される前の画像データから、顔領域を高精度で抽出することができる。
【０１８５】
続いてネガフィルム１件分の画像に対してグレーバランス補正量を算出する（件グレーバランス補正処理）。
次に、各駒の画像それぞれについて、顔抽出処理装置１１によって抽出した顔領域の色成分データを利用して、顔領域の色が適正な肌色の範囲となるように、ホワイトバランス補正処理装置１１０によってホワイトバランス補正量を算出する（駒グレーバランス補正処理）。ここで、顔抽出処理装置１１によって高い精度で抽出された顔領域の情報を用いることができるので、ホワイトバランス補正処理性能の向上を実現することができ、顔領域を適正な肌色とする自動処理を安定して行うことができる。
また、ホワイトバランス補正処理装置１１０は、全画像について、複数の特徴量に基づいて類似シーンのクラスタに分類するクラスタ分類処理を行い、各クラスタごとに用意された非標準化係数を用いて重回帰分析を行うことにより、ホワイトバランス補正値を予測して算出するので、従来のように、タングステン光または蛍光灯の異種光源シーンおよび日陰シーンといった限られたシーンのみを、画像特徴量の閾値によって判別し、判別されたシーンの画像データのみを補正する方法に比べて、格段に高い精度でホワイトバランス補正値を算出することができ、シーンの誤判断による誤補正を抑制し、カラーフェリアの発生を抑制し、ロバスト性を向上させることができる。
【０１８６】
ホワイトバランス補正処理（駒グレーバランス補正処理）が終わると、各画像に対し、ネガフィルムの階調特性に基づいて、アンダー領域およびオーバー域を補正する補正テーブルを作成する。
続いて、各駒の画像それぞれについて、顔抽出処理装置１１によって抽出した顔領域の色成分データを利用して、顔領域の濃度が適正な肌色の範囲となるように、濃度補正量を算出する（濃度補正処理）。顔抽出処理装置１１によって高い精度で抽出された顔領域の情報を用いることができるので、濃度補正処理性能の向上を実現することができ、顔領域を適正な肌色濃度とする自動処理を安定して行うことができる。
さらに、本発明の好ましい形態として採用される濃度補正処理は、全画像について、複数の特徴量に基づいて類似シーンのクラスタに分類するクラスタ分類処理を行い、各クラスタごとに用意された非標準化係数を用いて重回帰分析を行うことにより、濃度補正値を予測して算出するので、従来のように、顔領域の濃度を常に所定の範囲にするように補正する方法に比べて、格段に高い精度で濃度補正値を算出することができ、シーンごとに適切な顔濃度を得ることができ、ロバスト性を向上させることができる。
【０１８７】
そして、各駒の画像それぞれについて、コントラスト補正量を算出した後、プレスキャン画像データ、画像特徴量および算出された各補正量のデータを類似駒補正処理部４へ送る。また、画像解析処理部２において算出された各種の補正量のデータは、各処理の後適宜、または階調補正処理部３の全ての処理が終わった後、変換写像作成部５に送られる。
【０１８８】
類似駒補正処理部４は、階調補正処理部３から送られたプレスキャン画像データ、画像特徴量および各種の補正量を用いて、グレーバランス、濃度およびコントラストについて、補正対象の画像とその前後２駒の画像の類似度評価を行って、類似度評価値で重み付け平均してそれらの調整量を算出する。算出された各種の調整量は、変換写像作成部５に送られる。
【０１８９】
階調補正処理部３および類似駒補正処理部４から各種の補正量および調整量が送られると、変換写像作成部５は、それらの補正量および調整量を用いて、原稿画像のファインスキャン画像を画像処理するための変換写像を自動的に作成し、変換写像６として設定する。以上により画像処理条件の自動設定演算が終了する。
【０１９０】
ファインスキャン画像データが画像処理装置１に入力されると、上記のようにして設定された変換写像６によって自動変換処理が行われ、ファインスキャン画像の画像処理が行われて、処理済みのファインスキャン画像データが出力される。
【０１９１】
本発明の画像処理方法および画像処理装置は、基本的に以上のように構成される。
【０１９２】
なお、上記では、階調補正処理部３における階調補正処理として、顔抽出処理を最初に行う構成としたが、本発明はこれには限定されず、顔抽出処理は、少なくとも濃度補正に先立って行うようにすればよく、好ましくは、カラーバランス補正（駒グレーバランス補正）に先立って行うようにすればよい。
【０１９３】
また、本発明の画像処理方法および画像処理装置は、特に、カラーバランス補正などを行うネガフィルムから得た画像データの画像処理について高い効果を有するが、濃度勾配の特徴量から顔抽出処理を行って、抽出された顔領域の顔情報を用いて、濃度や色の補正など各種の補正を行う構成は、リバーサルフィルムから得た画像データの画像処理や、デジタルカメラによって取得された画像データの画像処理にも利用することができ、顔領域の色や濃度を常に適正にするように画像データを補正できる点で、高い効果を奏するものである。
【０１９４】
以上、本発明に係る画像処理方法および画像処理装置について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【図面の簡単な説明】
【０１９５】
【図１】本発明の画像処理方法を実行する本発明の画像処理装置の一実施形態の概略構成を示すブロック図である。
【図２】図１の画像処理装置１において実行される本発明の画像処理方法の一実施形態を示すフロー図である。
【図３】（ａ）は、画像処理装置１における画像解析処理で作成されるテーブルＴを模式的に示す図であり、（ｂ）は、顔抽出処理工程における濃度レンジ範囲の領域Ｄおよびグレー軸Ｘを模式的に示す図である。
【図４】顔抽出処理装置１１の構成を示すブロック図である。
【図５】顔検出部２０の構成を示すブロック図である。
【図６】目検出部３０の構成を示すブロック図である。
【図７】目の中心位置を説明するための図である。
【図８】（ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図である。
【図９】勾配ベクトルの算出を説明するための図である。
【図１０】（ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図である。
【図１１】（ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図である。
【図１２】第１の参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図である。
【図１３】第２の参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図である。
【図１４】顔の回転を説明するための図である。
【図１５】顔の検出および目検出に用いられる参照データの学習手法を示すフローチャートである。
【図１６】識別器の導出方法を示す図である。
【図１７】識別対象画像の段階的な変形を説明するための図である。
【図１８】図４に示す画像処理装置におけるフレームモデル構築部５０の構成を示すブロック図である。
【図１９】図１８に示すフレームモデル構築部５０における変形部６０の構成を示すブロック図である。
【図２０】図４に示す画像処理装置において行われる処理を示すフローチャートである。
【図２１】１つの顔に対して指定されるランドマークの例を示す図である。
【図２２】ランドマークに対して定義される輝度プロファイルを説明するための図である。
【図２３】ホワイトバランス補正処理装置１１０の概略構成を示すブロック図である。
【図２４】ホワイトバランス補正処理装置１１０において実行されるホワイトバランス補正処理方法の一実施形態を示すフロー図である。
【図２５】従来の画像処理の一例を示すフロー図である。
【符号の説明】
【０１９６】
１  画像処理装置
２  画像解析処理部
３  階調補正処理部
４  類似駒補正処理部
５  変換写像作成部
６  変換写像
１１  顔抽出処理装置
１１０  ホワイトバランス補正装置
【図１】
2006259974.tif 000007
【図２】
2006259974.tif 000008
【図３】
2006259974.tif 000009
【図４】
2006259974.tif 000010
【図５】
2006259974.tif 000011
【図６】
2006259974.tif 000012
【図７】
2006259974.tif 000013
【図８】
2006259974.tif 000014
【図９】
2006259974.tif 000015
【図１０】
2006259974.tif 000016
【図１１】
2006259974.tif 000017
【図１２】
2006259974.tif 000018
【図１３】
2006259974.tif 000019
【図１４】
2006259974.tif 000020
【図１５】
2006259974.tif 000021
【図１６】
2006259974.tif 000022
【図１７】
2006259974.tif 000023
【図１８】
2006259974.tif 000024
【図１９】
2006259974.tif 000025
【図２０】
2006259974.tif 000026
【図２１】
2006259974.tif 000027
【図２２】
2006259974.tif 000028
【図２３】
2006259974.tif 000029
【図２４】
2006259974.tif 000030
【図２５】
2006259974.tif 000031