(57)【要約】【課題】撮影画像データから赤目を高精度に判定可能にする。【解決手段】画像処理装置１は、撮影画像データから、撮影時の配光条件を判別し（ステップＳ２）、その判別された配光条件がストロボ撮影状態である場合、撮影画像データに赤目が存在するか否かを判定する（ステップＳ３）。そして、撮影画像データに赤目が存在すると判定された場合（ステップＳ４；ＹＥＳ）、赤目がある画素領域について色調不良を補正する赤目補正処理を行う（ステップＳ５）。【選択図】図４
2006039657.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像データから、撮影時の配光条件を判別する配光条件判別工程と、
前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データに赤目が存在するか否かを判定する赤目判定工程と、
前記赤目判定工程において、前記撮影画像データに赤目が存在すると判定された場合、前記撮影画像データに対して赤目補正処理を施す赤目補正工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
撮影画像データから、撮影時の配光条件を判別する配光条件判別工程と、
前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データから人物の顔候補領域を抽出する顔候補抽出工程と、
前記抽出された顔候補領域から赤目に相当する領域を抽出する赤目抽出工程と、
前記抽出された赤目相当領域に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定工程と、
前記顔判定工程において、前記顔候補領域が顔であると判定された場合、当該顔候補領域に含まれる赤目の補正処理を行う赤目補正工程と、
を含むことを特徴とする画像処理方法。
【請求項３】
前記顔判定工程では、前記顔候補領域から抽出された赤目相当領域に基づいて、当該顔候補領域に対する目の面積率が算出され、その算出された目の面積率を用いて、当該顔候補領域に対する顔判定処理が行われることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記顔判定工程では、階層型ニューラルネットワークを用いて顔判定処理が行われることを特徴とする請求項２又は３に記載の画像処理方法。
【請求項５】
前記配光条件判別工程では、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出する処理と、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する処理の一方又は双方が行われ、当該算出された第１の占有率及び／又は第２の占有率に基づいて配光条件が判別されることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
【請求項６】
撮影画像データから、撮影時の配光条件を判別する配光条件判別手段と、
前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データに赤目が存在するか否かを判定する赤目判定手段と、
前記赤目判定手段により、前記撮影画像データに赤目が存在すると判定された場合、前記撮影画像データに対して赤目補正処理を施す赤目補正手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
撮影画像データから、撮影時の配光条件を判別する配光条件判別手段と、
前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データから人物の顔候補領域を抽出する顔候補抽出手段と、
前記抽出された顔候補領域から赤目に相当する領域を抽出する赤目抽出手段と、
前記抽出された赤目相当領域に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定手段と、
前記顔判定手段により、前記顔候補領域が顔であると判定された場合、当該顔候補領域に含まれる赤目の補正処理を行う赤目補正手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
前記顔判定手段は、前記顔候補領域から抽出された赤目相当領域に基づいて、当該顔候補領域に対する目の面積率を算出し、その算出された目の面積率を用いて、当該顔候補領域に対する顔判定処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記顔判定手段は、階層型ニューラルネットワークを用いて顔判定処理を行うことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記配光条件判別手段は、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出する処理と、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する処理の一方又は双方を行い、当該算出された第１の占有率及び／又は第２の占有率に基づいて配光条件を判別することを特徴とする請求項６〜９の何れか一項に記載の画像処理装置。
【請求項１１】
画像処理を実行するコンピュータに、
撮影画像データから、撮影時の配光条件を判別する配光条件判別機能と、
前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データに赤目が存在するか否かを判定する赤目判定機能と、
前記赤目判定機能により、前記撮影画像データに赤目が存在すると判定された場合、前記撮影画像データに対して赤目補正処理を施す赤目補正機能と、
を実現させるための画像処理プログラム。
【請求項１２】
画像処理を実行するコンピュータに、
撮影画像データから、撮影時の配光条件を判別する配光条件判別機能と、
前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データから人物の顔候補領域を抽出する顔候補抽出機能と、
前記抽出された顔候補領域から赤目に相当する領域を抽出する赤目抽出機能と、
前記抽出された赤目相当領域に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定機能と、
前記顔判定機能により、前記顔候補領域が顔であると判定された場合、当該顔候補領域に含まれる赤目の補正処理を行う赤目補正機能と、
を実現させるための画像処理プログラム。
【請求項１３】
前記顔判定機能を実現させる際に、前記顔候補領域から抽出された赤目相当領域に基づいて、当該顔候補領域に対する目の面積率を算出し、その算出された目の面積率を用いて、当該顔候補領域に対する顔判定処理を行うことを特徴とする請求項１２に記載の画像処理プログラム。
【請求項１４】
前記顔判定機能を実現させる際に、階層型ニューラルネットワークを用いて顔判定処理を行うことを特徴とする請求項１２又は１３に記載の画像処理プログラム。
【請求項１５】
前記配光条件判別機能を実現させる際に、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出する処理と、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する処理の一方又は双方を行い、当該算出された第１の占有率及び／又は第２の占有率に基づいて配光条件を判別することを特徴とする請求項１１〜１４の何れか一項に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像データに対して画像処理を施す画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ（玩具用、携帯電話やラップトップパソコン等の機器に組み込まれたもの、一般ユーザ用の汎用用途、高機能なプロ用途のカメラを含む。以下、ＤＳＣと略称する。）が広く普及し、ＤＳＣで撮影された画像が、カラー写真フィルムと同様に、ハードコピー画像として出力されたり、ＣＲＴ（Cathode Ray Tube）等の出力媒体に表示されたりして鑑賞されている。
【０００３】
また、カラー写真フィルム上に形成された画像をＣＣＤ（Charge Coupled Device）センサ等で光電的に読みとって画像信号に変換する技術が広く用いられている。このような画像信号は、ネガポジ反転、輝度調整、カラーバランス調整、粒状除去、鮮鋭性強調に代表される種々の画像処理が施された後に、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−ＲＷ（CD-ReWritable）、フロッピー（登録商標）ディスク、メモリーカード等の記録媒体に記録されたり、インターネット経由で配布され、銀塩印画紙、インクジェットプリンタ、サーマルプリンタ等でハードコピーとして出力されたり、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の出力媒体に表示されたりして鑑賞される。
【０００４】
ところで、どのような出力形態であっても、鑑賞者の着目度が高く、その評価基準が厳しいのは、人物が被写体として撮影されたシーンであり、特に顔部が注目される。また、夜間など、周囲が暗いときに人物をストロボ撮影すると、人物の目（瞳孔）が赤色や金色になることがあり（これを、「赤目」と呼ぶ。）、問題視されている。この赤目を生じさせないために、ストロボ撮影の前に、ストロボの予備発光をさせる機能を有する撮像装置（カメラ）が開発され普及しているが、それでも、赤目は依然として多く発生しており、補正処理が必要とされているのが実情である。このような背景を受けて、赤目を補正するために、撮影画像データから、補正対象となる赤目領域を抽出するための技術が開示されている。
【０００５】
例えば、特許文献１には、撮影情報を用いて赤目修正の有無を自動的に判定し、所定領域の目の色変換処理を行う技術が開示されている。この特許文献１では、撮影情報の一つとして、ストロボ撮影の有無を挙げ、この有無に応じて赤目抽出補正処理を適用するか否かを自動的に決定することができ、処理効率を向上させることができる。また、特許文献１では、撮影情報を自動的に取得する手段として、新写真システム（ＡＰＳ：Advanced Photo System）を挙げている。
【０００６】
また、特許文献２及び特許文献３には、撮影画像データから肌色領域を抽出し、その抽出された領域内から赤目に相当する一対の画素群を検出し、肌色領域と赤目相当画素群の相対的な位置関係や形状的特徴から、赤目相当画素群が顔領域内の赤目の一対（両目）であるか否かを判定し、赤目と判定されれば補正処理を施す技術が開示されている。
【特許文献１】特開２００３−３１９１９２号公報
【特許文献２】特開２０００−１２５３２０号公報
【特許文献３】特開２００４−８６８９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された技術では、ＡＰＳに磁気記録されている撮影情報の精度が低いことから、赤目修正の有無の判定精度が十分ではないという問題があった。また、Ｅｘｉｆ（Exchangeable Image File Format）等の、撮影画像データに付与されている撮影情報を利用しても、判定精度は十分ではない。例えば、ストロボ撮影の有無をタグ情報として記録する場合、撮像装置（デジタルカメラ）が画像データ生成時に記録するものであり、ストロボ機構が機能したか否かによって、ストロボ撮影の有無を判断して記録することが多い。しかしながら、実際に撮影された画像に、必ずしもストロボ発光が寄与しているものではないため（例えば、被写体が撮像装置から離れている場合など）、判定精度は不十分である。
【０００８】
また、特許文献２及び特許文献３に記載された技術においては、赤目が特定の状況（ストロボ撮影）で発現する現象であるにも関わらず、これを考慮しておらず、多数の画像を処理する際の作業効率が不十分であるという問題があった。また、特許文献２及び特許文献３の記載された技術は、撮影画像データから抽出した肌色領域内から、赤目を一対で抽出したときにのみ適用され、前髪や別の人物の顔、顔の前にかざした手などで一方の目が隠れている場合には適用されないという問題があった。
【０００９】
本発明の課題は、撮影画像データから赤目を高精度に判定可能にすることである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１に記載の発明は、撮影画像データから、撮影時の配光条件を判別する配光条件判別工程と、前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データに赤目が存在するか否かを判定する赤目判定工程と、前記赤目判定工程において、前記撮影画像データに赤目が存在すると判定された場合、前記撮影画像データに対して赤目補正処理を施す赤目補正工程と、を含むことを特徴としている。
【００１１】
請求項２に記載の発明は、撮影画像データから、撮影時の配光条件を判別する配光条件判別工程と、前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データから、人物の顔候補領域を抽出する顔候補抽出工程と、前記抽出された顔候補領域から赤目に相当する領域を抽出する赤目抽出工程と、前記抽出された赤目相当領域に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定工程と、前記顔判定工程において、前記顔候補領域が顔であると判定された場合、当該顔候補領域に含まれる赤目の補正処理を行う赤目補正工程と、を含むことを特徴としている。
【００１２】
請求項３に記載の発明は、請求項２に記載の画像処理方法において、前記顔判定工程では、前記顔候補領域から抽出された赤目相当領域に基づいて、当該顔候補領域に対する目の面積率が算出され、その算出された目の面積率を用いて、当該顔候補領域に対する顔判定処理が行われることを特徴としている。
【００１３】
請求項４に記載の発明は、請求項２又は３に記載の画像処理方法において、前記顔判定工程では、階層型ニューラルネットワークを用いて顔判定処理が行われることを特徴としている。
【００１４】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理方法において、前記配光条件判別工程では、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出する処理と、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する処理の一方又は双方が行われ、当該算出された第１の占有率及び／又は第２の占有率に基づいて配光条件が判別されることを特徴としている。
【００１５】
請求項６に記載の発明は、撮影画像データから、撮影時の配光条件を判別する配光条件判別手段と、前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データに赤目が存在するか否かを判定する赤目判定手段と、前記赤目判定手段により、前記撮影画像データに赤目が存在すると判定された場合、前記撮影画像データに対して赤目補正処理を施す赤目補正手段と、を備えることを特徴としている。
【００１６】
請求項７に記載の発明は、撮影画像データから、撮影時の配光条件を判別する配光条件判別手段と、前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データから人物の顔候補領域を抽出する顔候補抽出手段と、前記抽出された顔候補領域から赤目に相当する領域を抽出する赤目抽出手段と、前記抽出された赤目相当領域に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定手段と、前記顔判定手段により、前記顔候補領域が顔であると判定された場合、当該顔候補領域に含まれる赤目の補正処理を行う赤目補正手段と、を備えることを特徴としている。
【００１７】
請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記顔判定手段は、前記顔候補領域から抽出された赤目相当領域に基づいて、当該顔候補領域に対する目の面積率を算出し、その算出された目の面積率を用いて、当該顔候補領域に対する顔判定処理を行うことを特徴としている。
【００１８】
請求項９に記載の発明は、請求項７又は８に記載の画像処理装置において、前記顔判定手段は、階層型ニューラルネットワークを用いて顔判定処理を行うことを特徴としている。
【００１９】
請求項１０に記載の発明は、請求項６〜９の何れか一項に記載の画像処理装置において、前記配光条件判別手段は、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出する処理と、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する処理の一方又は双方を行い、当該算出された第１の占有率及び／又は第２の占有率に基づいて配光条件を判別することを特徴としている。
【００２０】
請求項１１に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから、撮影時の配光条件を判別する配光条件判別機能と、前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データに赤目が存在するか否かを判定する赤目判定機能と、前記赤目判定機能により、前記撮影画像データに赤目が存在すると判定された場合、前記撮影画像データに対して赤目補正処理を施す赤目補正機能と、を実現させるための画像処理プログラムである。
【００２１】
請求項１２に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから、撮影時の配光条件を判別する配光条件判別機能と、前記判別された配光条件がストロボ撮影状態である場合、前記撮影画像データから人物の顔候補領域を抽出する顔候補抽出機能と、前記抽出された顔候補領域から赤目に相当する領域を抽出する赤目抽出機能と、前記抽出された赤目相当領域に基づいて、前記顔候補領域が顔であるか否かを判定する顔判定機能と、前記顔判定機能により、前記顔候補領域が顔であると判定された場合、当該顔候補領域に含まれる赤目の補正処理を行う赤目補正機能と、を実現させるための画像処理プログラムである。
【００２２】
請求項１３に記載の発明は、請求項１２に記載の画像処理プログラムにおいて、前記顔判定機能を実現させる際に、前記顔候補領域から抽出された赤目相当領域に基づいて、当該顔候補領域に対する目の面積率を算出し、その算出された目の面積率を用いて、当該顔候補領域に対する顔判定処理を行うことを特徴としている。
【００２３】
請求項１４に記載の発明は、請求項１２又は１３に記載の画像処理プログラムにおいて、前記顔判定機能を実現させる際に、階層型ニューラルネットワークを用いて顔判定処理を行うことを特徴としている。
【００２４】
請求項１５に記載の発明は、請求項１１〜１４の何れか一項に記載の画像処理プログラムにおいて、前記配光条件判別機能を実現させる際に、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出する処理と、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する処理の一方又は双方を行い、当該算出された第１の占有率及び／又は第２の占有率に基づいて配光条件を判別することを特徴としている。
【発明の効果】
【００２５】
請求項１、６、１１に記載の発明よれば、撮影画像データから撮影時の配光条件を判別して、赤目判定処理を行うようにしたため、従来のように、画像データファイルのタグ等に記録された撮影情報を利用せずに、実情に即して高精度にストロボ撮影状態を判別し、赤目判定処理の必要の有無を高精度に取得することができ、赤目補正処理を効率的に行うことができる。
【００２６】
請求項２、７、１２に記載の発明によれば、撮影画像データから撮影時の配光条件を判別して、赤目判定処理を行うようにしたため、従来のように、画像データファイルのタグ等に記録された撮影情報を利用せずに、実情に即して高精度にストロボ撮影状態を判別し、赤目抽出処理、赤目補正処理の必要の有無を高精度に取得することができ、赤目が出現するストロボ撮影状態である場合に、赤目抽出処理及び赤目補正処理を効率的に行うことができる。
【００２７】
特に、配光条件がストロボ撮影状態である場合に、顔候補領域から赤目相当領域を抽出し、その抽出された赤目相当領域に基づいて顔判定処理を行うようにしたことにより、オペレータが介在することなく、高精度且つ効率的に赤目を自動抽出するとともに、顔の判定精度を向上させることができる。
【００２８】
請求項３、８、１３に記載の発明によれば、顔候補領域に対する目の面積率を算出し、この目面積率を用いて顔判定処理を行うことにより、赤目抽出処理で抽出された赤目が両目であっても片目であっても、低い処理負荷で確実に顔を判定することができる。
【００２９】
請求項４、９、１４に記載の発明によれば、顔判定処理に階層型ニューラルネットワークを用いることにより、処理負荷が低く簡易な手段で顔判定を実現することができる。
【００３０】
請求項５、１０、１５に記載の発明によれば、撮影画像データにおける明度と色相の分布状態から配光条件を判別することにより、カラー画像における配光条件の判別精度を向上させることができる。更に、撮影画像データにおける明度の分布位置（構図的な特徴）から配光条件を判別することにより、カラー画像だけでなくモノクロ画像の配光条件も高精度に判別することが可能になる。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、図１〜３を参照して、本発明の実施形態１及び２に共通の構成として、本発明が適用された画像処理装置１の外観構成及び内部構成について説明する。
【００３２】
[実施形態１]
〈画像処理装置１の外観構成〉
図１は、本発明の実施形態１及び２における画像処理装置１の外観構成を示す斜視図である。図１に示すように、画像処理装置１には、筐体２の一側面に感光材料を装填するためのマガジン装填部３が設けられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するプリント作成部５が設けられている。作成されたプリントは、筐体２の他側面に設けられたトレー６に排出される。
【００３３】
また、筐体２の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。さらに、筐体２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部１５が備えられている。また、筐体２の内部には、これらの各部を集中制御する制御部７が備えられている。
【００３４】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフロッピー（登録商標）ディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、デジタルカメラで撮像された複数の画像データが記録されたメモリを有する。フロッピー（登録商標）ディスク１３ｂには、例えば、デジタルカメラで撮像された複数の画像データが記録されている。その他、画像データを有する記録媒体としては、マルチメディアカード、メモリースティック、ＭＤ（Mini Disc）データ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等が挙げられる。
【００３５】
画像書込部１５には、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、各々、フロッピー（登録商標）ディスク１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。光ディスク１６ｃとしては、ＣＤ−Ｒ（Compact Disc-Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）等がある。
【００３６】
なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。
【００３７】
なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【００３８】
〈画像処理装置１の内部構成〉
図２に、画像処理装置１内部の主要部構成を示す。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント作成部５、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、操作部１１、画像読込部１４、画像書込部１５、通信手段（入力）３２、通信手段（出力）３３、データ蓄積手段７１から構成される。
【００３９】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。
【００４０】
制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段（入力）３２を介して入力された画像データに対して、画像処理を施して出力用画像データを生成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。
【００４１】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【００４２】
フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。
【００４３】
反射原稿入力装置１０は、図示しないフラットベッドスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。
【００４４】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像データ等を表示する。
【００４５】
画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂ等を有し、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピー（登録商標）ディスク用アダプタ１４ｂに差し込まれたフロッピー（登録商標）ディスク１３ｂに記録された画像データを読み出して制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【００４６】
画像書込部１５は、画像搬送部３１として、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピー（登録商標）ディスク用アダプタ１５ａに差し込まれたフロッピー（登録商標）ディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、生成された画像データを書き込む。
【００４７】
通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。
【００４８】
通信手段（出力）３３は、画像処理を施した後の撮影画像を表す画像データと注文情報を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【００４９】
データ蓄積手段７１は、画像データとそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【００５０】
〈画像処理部７０の構成〉
図３に、画像処理部７０内部の主要部構成を示す。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。
【００５１】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的あるいは磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。
【００５２】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。
【００５３】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、必要に応じて圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。
【００５４】
画像調整処理部７０４は、操作部１１又は制御部７の指令に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から受け取った画像に対して各種画像処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段７１へ処理済みの画像データを出力する。実施形態１の画像調整処理部７０４で実行される画像処理については、後に図４〜図１５を参照して詳細に説明する。
【００５５】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ８に出力する。
【００５６】
プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【００５７】
画像処理装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行う。
【００５８】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、必要に応じてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【００５９】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施形態１及び２における画像処理装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。
【００６０】
次に、本実施形態１における動作について説明する。
まず、図４のフローチャートを参照して、実施形態１の画像調整処理部７０４において実行される画像処理全体の流れを説明する。
【００６１】
まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、画像処理対象の撮影画像データが取得され（ステップＳ１）、その取得された撮影画像データから撮影時の配光条件（光源状態）を判別する配光条件判別処理が行われる（ステップＳ２）。撮影時の配光条件としては、順光、逆光、ストロボがある。ステップＳ２の配光条件判別処理については、後に図５を参照して詳細に説明する。
【００６２】
ステップＳ２において判別された配光条件がストロボ撮影状態である場合、ステップＳ１で取得された撮影画像データに赤目が存在するか否かを判定する赤目判定処理が行われる（ステップＳ３）。ここで、「赤目」とは、カラー写真撮影時のフラッシュ発光による被写体画像内の瞳の色調不良を示す表現であり、瞳部分が赤色や金色になることをいう。ステップＳ２において判別された配光条件がストロボ撮影状態以外（順光、逆光）である場合は、本画像処理が終了する。
【００６３】
ステップＳ３の赤目判定処理の結果、撮影画像データに赤目が存在しないと判定された場合（ステップＳ４；ＮＯ）、本画像処理が終了する。一方、赤目判定処理の結果、撮影画像データに赤目が存在すると判定された場合（ステップＳ４；ＹＥＳ）、赤目がある画素領域について色調不良を補正する赤目補正処理が施され（ステップＳ５）、本画像処理が終了する。
【００６４】
ステップＳ５の赤目補正処理では、当業界で知られる手法を適宜用いることができる。例えば、赤目相当領域の画素値を所定の値に変換してもよい。また、赤目相当領域の全ての画素を同一の画素値に補正すると非常に不自然に見えるため、特開平９−２６１５８０号公報に開示されているように、例えば、ＲＧＢ信号値の中から最小値を抽出し、ＲＧＢ全ての信号値がこの最小値になるような無彩色に補正することで、赤以外の明度情報を活かすように補正してもよい。また、特開２００１−１８６３２５号公報に開示されているように、赤目相当領域や周辺領域などの明度・彩度・色相の統計値から目標値を算出して、赤目相当領域の画素値を変換するようにしてもよい。
【００６５】
なお、ステップＳ２の配光条件判別処理において、ストロボ度等のように、配光条件の度合いを示す指標が算出された場合、その算出された指標に応じて、赤目判定処理、赤目補正処理の処理条件を調整し、その処理条件に従って、赤目判定処理及び赤目補正処理を行うのが好ましい。
【００６６】
次に、図５のフローチャートを参照して、図４のステップＳ２に示した配光条件判別処理について説明する。
【００６７】
まず、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理が行われる（ステップＳ６）。占有率算出処理については、後に図６及び図１２を参照して詳細に説明する。
【００６８】
次いで、ステップＳ６において算出された占有率と、撮影条件に応じて予め設定された係数に基づいて、配光条件を特定する（光源状態を定量的に表す）指標（指標１〜５）が算出される（ステップＳ７）。ステップＳ７における指標算出処理は、後に詳細に説明する。
【００６９】
次いで、ステップＳ７において算出された指標に基づいて撮影画像データの配光条件が判別され（ステップＳ８）、本配光条件判別処理が終了する。配光条件の判別方法は、後に詳細に説明する。
【００７０】
次に、図６のフローチャートを参照して、図５のステップＳ６に示した占有率算出処理について詳細に説明する。
【００７１】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ１０）。図７は、ＲＧＢからＨＳＶ表色系に変換することにより色相値、彩度値、明度値を得る変換プログラム（ＨＳＶ変換プログラム）の一例を、プログラムコード（ｃ言語）により示したものである。図７に示すＨＳＶ変換プログラムでは、入力画像データであるデジタル画像データの値を、InR、InG、InBと定義し、算出された色相値をOutHとし、スケールを0〜360と定義し、彩度値をOutS、明度値をOutVとし、単位を0〜255と定義している。
【００７２】
次いで、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ１１）。以下、撮影画像データの領域分割について詳細に説明する。
【００７３】
明度（V）は、明度値が0〜25(v1)、26-50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の７つの領域に分割される。色相(H)は、色相値が0〜39、330〜359の肌色色相領域（H1及びH2）、色相値が40〜160の緑色色相領域（H3）、色相値が161〜250の青色色相領域（H4）、赤色色相領域（H5）の４つの領域に分割される。なお、赤色色相領域（H5）は、配光条件の判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域（H1）と、それ以外の領域（H2）に分割される。以下、肌色色相領域（H＝0〜39、330〜359）のうち、下記の式（１）を満たす色相'(H)を肌色領域（H1）とし、式（１）を満たさない領域を（H2）とする。
10 ＜ 彩度(S) ＜175、
色相'(H) = 色相(H) + 60      (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)／輝度(Y) ＜ 3.0 ×(彩度(S)／255)＋0.7 （１）
従って、撮影画像データの分割領域の数は４×７＝２８個となる。なお、式（１）において明度(V)を用いることも可能である。
【００７４】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第１の占有率が算出され（ステップＳ１２）、本占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第１の占有率をRijとすると、各分割領域における第１の占有率は表１のように表される。
【表１】
2006039657.tif 000003
【００７５】
次に、指標１及び指標２の算出方法について説明する。
表２に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標１を算出するために必要な第１の係数を分割領域別に示す。表２に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表２】
2006039657.tif 000004
【００７６】
図８に、明度（v）−色相（H）平面を示す。表２によると、図８において高明度の肌色色相領域に分布する領域(r1)から算出される第１の占有率には、正(+)の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第１の占有率には、負(-)の係数が用いられる。図１０は、肌色領域（H1）における第１の係数と、その他の領域（緑色色相領域（H3））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表２及び図１０によると、高明度（V＝170〜224）の領域では、肌色領域（H1）における第１の係数の符号は正(+)であり、その他の領域（例えば、緑色色相領域（H3））における第１の係数の符号は負(-)であり、両者の符号が異なっていることがわかる。
【００７７】
明度領域vi、色相領域Hjにおける第１の係数をCijとすると、指標１を算出するためのHk領域の和は、式（２）のように定義される。
【数１】
2006039657.tif 000005
従って、H1〜H4領域の和は、下記の式(2-1)〜式(2-4)のように表される。
H1領域の和＝R11×(-44.0)＋R21×(-16.0)＋（中略）...＋R71×(-11.3) (2-1)
H2領域の和＝R12×0.0＋R22×8.6＋（中略）... ＋R72×(-11.1) (2-2)
H3領域の和＝R13×0.0＋R23×(-6.3)＋（中略）...＋R73×(-10.0) (2-3)
H4領域の和＝R14×0.0＋R24×(-1.8)＋（中略）...＋R74×(-14.6) (2-4)
【００７８】
指標１は、式（2-1）〜（2-4）で示されたH1〜H4領域の和を用いて、式（３）のように定義される。
指標１＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋4.424 （３）
【００７９】
表３に、判別分析により得られた、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標２を算出するために必要な第２の係数を分割領域別に示す。表３に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。
【表３】
2006039657.tif 000006
【００８０】
図９に、明度（v）−色相（H）平面を示す。表３によると、図９において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負(-)の係数が用いられ、肌色色相領域の低明度（シャドー）領域(r3)から算出される占有率には正(+)の係数が用いられる。図１１は、肌色領域（H1）における第２の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図１１によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第２の係数の符号は負(-)であり、明度値が26〜84(v2,v3)の低明度（シャドー）領域の第２の係数の符号は正(+)であり、両領域での係数の符号が異なっていることがわかる。
【００８１】
明度領域vi、色相領域Hjにおける第２の係数をDijとすると、指標２を算出するためのHk領域の和は、式（４）のように定義される。
【数２】
2006039657.tif 000007
従って、H1〜H4領域の和は、下記の式(4-1)〜式(4-4)のように表される。
H1領域の和＝R11×(-27.0)＋R21×4.5＋（中略）...＋R71×(-24.0) (4-1)
H2領域の和＝R12×0.0＋R22×4.7＋（中略）... ＋R72×(-8.5)    (4-2)
H3領域の和＝R13×0.0＋R23×0.0＋（中略）...＋R73×0.0 (4-3)
H4領域の和＝R14×0.0＋R24×(-5.1)＋（中略）...＋R74×7.2 (4-4)
【００８２】
指標２は、式（4-1）〜（4-4）で示されたH1〜H4領域の和を用いて、式（５）のように定義される。
指標２＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋1.554 （５）
指標１及び指標２は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光条件の判別に有効である。
【００８３】
次に、図１２のフローチャートを参照して、指標３を算出するための占有率算出処理（図５のステップＳ６）について詳細に説明する。
【００８４】
まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ２０）。次いで、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ２１）。以下、撮影画像データの領域分割について詳細に説明する。
【００８５】
図１３（ａ）〜（ｄ）に、撮影画像データの画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。図１３（ａ）に示す領域ｎ１が外枠であり、図１３（ｂ）に示す領域ｎ２が、外枠の内側の領域であり、図１３（ｃ）に示す領域ｎ３が、領域ｎ２の更に内側の領域であり、図１３（ｄ）に示す領域ｎ４が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の７つの領域に分割するものとする。従って、撮影画像データを、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は４×７＝２８個となる。
【００８６】
２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第２の占有率が算出され（ステップＳ２２）、本占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第２の占有率をQijとすると、各分割領域における第２の占有率は表４のように表される。
【表４】
2006039657.tif 000008
【００８７】
次に、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を分割領域別に示す。表５に示された各分割領域の係数は、表４に示した各分割領域の第２の占有率Qijに乗算する重み係数であり、判別分析により得られる。
【表５】
2006039657.tif 000009
図１４は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。
【００８８】
明度領域vi、画面領域njにおける第３の係数をEijとすると、指標３を算出するためのnk領域（画面領域nk）の和は、式（６）のように定義される。
【数３】
2006039657.tif 000010
従って、n1〜n4領域の和は、下記の式(6-1)〜式(6-4)のように表される。
n1領域の和＝Q11×40.1＋Q21×37.0＋（中略）...＋Q71×22.0    (6-1)
n2領域の和＝Q12×(-14.8)＋Q22×(-10.5)＋（中略）...＋Q72×0.0 (6-2)
n3領域の和＝Q13×24.6＋Q23×12.1＋（中略）...＋Q73×10.1    (6-3)
n4領域の和＝Q14×1.5＋Q24×(-32.9)＋（中略）...＋Q74×(-52.2) (6-4)
【００８９】
指標３は、式（6-1）〜（6-4）で示されたN1〜H4領域の和を用いて、式（７）のように定義される。
指標３＝n1領域の和＋n2領域の和＋n3領域の和＋n4領域の和−12.6201 （７）
指標３は、撮影画像データの明度の分布位置による構図的な特徴（撮影画像データの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光条件を判別するのにも有効である。
【００９０】
指標４は、指標１及び指標３を用いて式（８）のように定義され、指標５は、指標１〜３を用いて式（９）のように定義される。
指標４＝0.565×指標１＋0.565×指標３＋0.457 （８）
指標５＝(-0.121)×指標１＋0.91×指標２＋0.113×指標３−0.072 （９）
ここで、式（８）及び式（９）において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
【００９１】
〈配光条件の判別方法〉
次に、配光条件の判別方法について説明する。
図１５は、順光、逆光、ストロボの各配光条件で６０枚ずつ撮影し、合計１８０枚のデジタル画像データについて、指標４、５を算出し、各配光条件での指標４、５の値をプロットしたものである。図１５によれば、指標４の値が０．５より大きい場合、ストロボシーンが多く、指標４の値が０．５以下で、指標５の値が−０．５より大きい場合、逆光シーンが多いことがわかる。表６に、指標４、５の値による配光条件の判別内容を示す。
【表６】
2006039657.tif 000011
このように指標４、５の値により配光条件を定量的に判別することができる。
【００９２】
以上のように、本実施形態１の画像処理装置１によれば、撮影画像データから撮影時の配光条件を判別して、赤目判定処理を行うようにしたため、従来のように、画像データファイルのタグ等に記録された撮影情報を利用せずに、実情に即して高精度にストロボ撮影状態を判別し、赤目判定処理の必要の有無を高精度に取得することができ、赤目補正処理を効率的に行うことができる。
【００９３】
また、撮影画像データにおける明度と色相の分布状態から配光条件を判別することにより、カラー画像における配光条件の判別精度を向上させることができる。更に、撮影画像データにおける明度の分布位置（構図的な特徴）から配光条件を判別することにより、カラー画像だけでなくモノクロ画像の配光条件も高精度に判別することが可能になる。
【００９４】
[実施形態２]
次に、図１６〜図２１を参照して、本発明の実施形態２について説明する。
実施形態２の画像処理装置の外観構成及び内部構成は、実施形態１において図１〜３に示した構成と同一ゆえ、以下では、実施形態１と同一の符号を用い、構成説明を省略する。
【００９５】
次に、本実施形態２における動作について説明する。
まず、図１６のフローチャートを参照して、実施形態２の画像調整処理部７０４において実行される画像処理全体の流れについて説明する。
【００９６】
まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、画像処理対象の撮影画像データが取得され（ステップＳ３０）、その取得された撮影画像データから撮影時の配光条件（光源状態）を判別する配光条件判別処理が行われる（ステップＳ３１）。ステップＳ３１の配光条件判別処理は、実施形態１において図５に示した処理と同一である。
【００９７】
ステップＳ３１で判別された配光条件がストロボ撮影状態である場合、撮影画像データから人物の顔候補領域が抽出される（ステップＳ３２）。ステップＳ３２で顔候補領域が抽出されなかった場合、本画像処理が終了する。以下では、Ｎ個（Ｎは自然数）の顔候補領域が抽出されたものとし、顔候補領域を特定するカウンタ値をｉ（ｉ＝1,2,…,N）とする。ｉのデフォルト値は１に設定されている。
【００９８】
ステップＳ３２における顔候補領域の抽出方法は特に制限されないが、例えば、明度や彩度、色相等の色値を利用して、所定の範囲の特定色（例えば、肌色）が連続する領域を顔候補領域とする方法がある。また、撮影画像データからエッジを抽出し、ハフ変換やテンプレートマッチング等の手法を利用して、楕円等の特定の形状パターンを抽出する方法を用いることができる。
【００９９】
更に、特開平４−３４６３３２号公報に開示されているように、元画像（撮影画像データ）を多数画素に分割し、各画素のＲＧＢ値から、色相と彩度のヒストグラムを作成し、その形状からヒストグラムを分割し、分割した各部位に相当する各画素で構成される領域に画像を分割し、分割された複数の領域から人物の顔に相当する領域を推定する方法を用いることができる。
【０１００】
また、特開平６−３０９４３３号公報、特開平６−６７３２０号公報、特開平５−１５８１６４号公報、特開平５−１６５１２０号公報に開示されているように、色相値、彩度値、輝度値等のヒストグラムに基づいて肌色領域を決定し、この肌色領域を顔候補領域とする方法を用いることができる。更に、特開平８−２２１５６７号公報、特開２０００−２０６９４号公報、特開２０００−３２２７２号公報、特開２０００−２０１３５８号公報、特開２０００−２０７５６９号公報に開示されているようなラインプロセス法を用いて顔候補領域を抽出することができる。
【０１０１】
更に、カラーデジタル画像からエッジと低周波画像を生成し、所定のパラメータ（例えば、彩度、色相、明度の各値）が所定の初期条件（各所定範囲の値）と合致する初期画素を抽出し、低周波画像に対して抽出された初期画素から単純領域拡張を行い、画像エッジに到達した場合に単純領域拡張を強制的に終了させて、顔候補領域を抽出するようにしてもよい。
【０１０２】
撮影画像データから顔候補領域を抽出する際、配光条件として判別されたストロボ撮影状態を示す指標の値に応じて顔候補領域抽出の抽出条件を決定し、決定された抽出条件に従って顔候補領域を抽出するのが好ましい。例えば、顔候補領域の抽出方法として、撮影画像データから肌色に相当する初期点を探索し、単純領域拡張法を用いて肌色領域を顔候補領域として抽出する手法を用いることができる。単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより画像領域の抽出を行う画像処理方法である。即ち、単純領域拡張法は、指定された特定条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素（４連結、８連結の何れでも可）のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画像領域に属するものとし、更に、当該同一画素に属するとした画素に対し隣接する画素についても同様の判定を行っていき、初期画素から出発して同一領域を除々に拡張させることによって画像領域の抽出を行う画像処理方法である。本実施形態では、更に、画像中のエッジ成分を抽出し、画像エッジに達した場合に単純領域拡張を終了することで、顔候補領域を確定する処理を用いることが好ましい。
【０１０３】
顔候補領域として肌色領域を抽出する場合、被写体が同一人物であっても、撮影時の配光条件に応じて、肌色領域の色味は著しく異なる。順光で撮影された画像の肌色を基準とすると、例えば、ストロボ撮影では、肌色の色味が（特に、近接であればあるほど）白くとび気味になり、逆光下での撮影であれば、肌色の色味が暗くなる。このような状況を踏まえ、初期画素の探索条件を、ストロボ撮影状態を示す指標値に応じて切り替える又は（段階的若しくは連続的に）調整することが好ましい。このような初期画素の探索条件が適用された単純領域拡張法を、顔候補領域の抽出条件として決定することができる。
【０１０４】
ステップＳ３１で判別された配光条件がストロボ撮影状態である場合、ｉ番目の顔候補領域から赤目に相当する領域が抽出される（ステップＳ３３）。なお、配光条件がストロボ撮影状態以外（順光、逆光）である場合は、赤目抽出処理が行われずに本画像処理が終了する。ステップＳ３３の赤目抽出処理については、後に図１７を参照して詳細に説明する。
【０１０５】
次いで、ステップＳ３３で抽出された赤目相当領域に基づいて、ｉ番目の顔候補領域が人物の顔であるか否かを判定する顔判定処理が行われる（ステップＳ３４）。顔判定処理の具体的な手法としては、当業界で知られる手法を採用することができる。その中でも、ニューラルネットワークを用いた手法を採用する形態が好ましい。例えば、顔候補領域の画像を二値化した画像についてテンプレートマッチングを用いて判定する手法や、顔候補領域から目相当領域の情報を含む特徴量を算出し、その算出された特徴量を元にニューラルネットワークを用いて判定する手法がある。また、顔候補領域から目や口等の顔を特徴付ける部位を抽出し、顔候補領域及び特徴部位の位置関係より、その顔候補領域が人物の顔であるか否かを判定する手法等も採用することができる。ニューラルネットワークを用いた顔判定処理については、後に図２０及び図２１を参照して詳細に説明する。
【０１０６】
ステップＳ３４の顔判定処理により、ｉ番目の顔候補領域が顔であると判定された場合（ステップＳ３５；ＹＥＳ）、当該顔候補領域に含まれる赤目の補正処理が行われる（ステップＳ３６）。ステップＳ３６の赤目補正処理で適用される手法は、実施形態１において図４のステップＳ５で示した手法と同等ゆえ、ここでの説明は省略する。
【０１０７】
ステップＳ３５において、ｉ番目の顔候補領域が顔でないと判定された場合（ステップＳ３５；ＮＯ）、又はステップＳ３６の赤目補正処理が終了すると、次の顔候補領域があるか否か、即ち、現在のカウンタ値がＮ未満であるか否かが判定される（ステップＳ３７）。
【０１０８】
ステップＳ３７において、次の顔候補領域があると判定された場合（ステップＳ３７；ＹＥＳ）、カウンタ値ｉがインクリメントされ（ｉ←ｉ＋１）、新たなｉ番目の顔候補領域についてステップＳ３３〜Ｓ３６の処理が繰り返される。ステップＳ３７において、次の顔候補領域がないと判定された場合（ステップＳ３７；ＮＯ）、本画像処理が終了する。
【０１０９】
〈赤目抽出処理〉
図１６のステップＳ３３で示した赤目抽出処理に関しては、当業界で知られる様々な手法を用いることができるが、好ましくは、以下に示すように、色値情報とエッジ情報を併用する手法を用いるのが好ましい。以下、図１７のフローチャートを参照して、色値情報とエッジ情報を用いた赤目抽出処理について説明する。
【０１１０】
まず、顔候補領域の画素信号が輝度信号と色情報信号に変換される（ステップＳ４０）。次いで、ステップＳ４０で得られた輝度信号を用いてエッジが抽出される（ステップＳ４１）。エッジが抽出されると、エッジ画素の色情報から、赤目に相当する画素が抽出され（ステップＳ４２）、本赤目抽出処理が終了する。
【０１１１】
ステップＳ４１のエッジ抽出には、当業界で知られる手法を採用することができるが、赤目が、被写体がある程度ストロボ発光部に近い距離で、且つ正面を向いている状況下で発現することと、唇と赤目の色値が近い場合もあることを考慮し、エッジ抽出にはハフ変換を使用することが好ましい。ハフ変換は、エッジ欠損に対する耐性が強く、特定の図形を構成するエッジを抽出する手法である。このハフ変換は、画像処理対象の画像が自然画像でありエッジ欠損が頻出すること、被写体が正面を向いていることから瞳が略円形を成していること、赤目を発現している瞳が所定値以上の大きさであることから、赤目の抽出処理に有効である。更に、顔候補領域に対し、二項ウェーブレット変換を適用し、エッジのグラディエントの方向を算出し、これをハフ変換に適用することにより、一層高精度に赤目を抽出することが可能になる。
【０１１２】
〈ニューラルネットワーク〉
次に、図１６の顔判定処理（ステップＳ３４）において使用されるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図１８に示すように、入力層、中間層、及び出力層を有する階層型のニューラルネットワーク（以下、単にニューラルネットワークという。）である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のＤＳＰ（Digital Signal Processor）と専用のエミュレートプログラムを用いても実現することができるし、通常のＣＰＵとエミュレートプログラムを用いても構わない。
【０１１３】
ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは、図１９に示すように、シナプスと呼ばれる入力を多数受け取り、各々の入力値ｘiに対して結合強度と呼ばれる所定の重みｗiを掛けてその総和を求め、それを所定の出力関数ｆで評価した結果を出力ｙとして与える機能素子として機能する。出力関数ｆは、式（１０）のように表される。
【数４】
2006039657.tif 000012
ここで、ｆ（ｘ）は一般に式（１１）に示すような非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。
【数５】
2006039657.tif 000013
【０１１４】
ここで、各ニューロンの入力の重みｗiはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図１８では中間層は１層のみ記してあるが、これは１以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は１層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロンの個数の点から有利であることが知られている。
【０１１５】
ニューラルネットワークは以下のような特徴を有している。
（１）比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。（２）各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
（３）適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
（４）系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。
【０１１６】
ここで、教師データとは、入力パターンと、その入力パターンに対する望ましい出力パターンの対であり、通常複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。ニューラルネットワークの主な応用としては（ａ）非線形の関数近似、（ｂ）クラスタリング（識別、認識、分類）が挙げられる。
【０１１７】
一般に非線形関数近似は実現が容易であり、汎化能力も高い系を得やすい。一方、クラスタリングへの応用は教師データへの依存性が高く、かつ複雑な入力に関しては、複数の教師データ相互の間に矛盾関係が存在する可能性が高い。このため、クラスタリングへ応用した場合には、入力が非常に簡単な場合を除けば、結果的に汎化能力が低いのみならず、特定の教師データに対する適合性という意味でも不満足な系しか得られないことも少なくない。
【０１１８】
次に、ニューラルネットワークに対する教師データを用いた学習方法について説明する。ｐ番目の入力パターンに対する、第Ｌ層のi番目のニューロンの状態を式（１２）及び式（１３）のように表現する。
【数６】
2006039657.tif 000014
【数７】
2006039657.tif 000015
ここで、式（１２）の関数ｆ（ｘ）は、式（１１）に示した非線形のシグモイド関数、ＹiLはニューロンの出力、ＵiLはニューロンの内部状態、Ｙi＜Ｌ−１＞はL−１層のニューロンの出力＝Ｌ層のニューロンの入力、ｗij＜Ｌ＞は結合強度である。
【０１１９】
このように定義した場合に、広く用いられている誤差逆伝搬学習法（バックプロパゲーション学習法、以下ＢＰ法と略す。）では、誤差評価関数として平均自乗誤差を用いて、以下のようにエラーＥを定義する。
【数８】
2006039657.tif 000016
ただしｋは出力層の番号であり、Ｔi（ｐ）はｐ番目の入力パターンに対する望ましい出力パターンである。
【０１２０】
この場合、ＢＰ法に基づく各結合強度の修正量Δｗは次式で定められる。
【数９】
2006039657.tif 000017
ここで、∂は偏微分記号（ラウンド）、ηは学習率を表す係数である。Δｗij＜Ｌ＞を各々のｗij＜Ｌ＞に加算することによって学習が進む。なお、この形式のＢＰ法では学習が進んだ結果、教師データとの誤差の絶対値が小さくなってくると、Δｗの絶対値も小さくなり、学習が進まなくなるという現象が指摘されており、その問題点を回避するために、種々の改良が提案されている。
【０１２１】
例えば、Δｗの定義を次のように変更するという提案がある。
【数１０】
2006039657.tif 000018
式（１６）の第二項は慣性項（モーメンタム項）と呼ばれ、現在の修正量だけでなく、過去の修正量も考慮することで収束時の振動を抑え、学習を高速化する効果がある。安定化定数αは1．0以下の正の実数で、過去の修正量の考慮の度合いを規定する係数である。
【０１２２】
あるいは、学習率ηを学習回数ｎに応じて、次式を満たすように動的に変化させるという提案もある。
【数１１】
2006039657.tif 000019
【０１２３】
更には、エラーの評価を平均自乗誤差ではなく、シグモイド関数の導関数を打ち消すような形式にするという提案もある。いずれにせよ、ＢＰ法を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることができるようになる。
【０１２４】
次に、図２０のフローチャート及び図２１を参照して、図１６のステップＳ３４で示した顔判定処理の一例として、階層型ニューラルネットワークを用いた顔判定処理について説明する。
【０１２５】
まず、顔候補領域から赤目に相当する領域が抽出され（ステップＳ５０及びステップＳ３３）、その抽出された赤目相当領域に基づいて、当該顔候補領域に対する目の面積率が算出される（ステップＳ５１）。また、顔候補領域から口に相当する領域が抽出され（ステップＳ５２）、その抽出された口相当領域に基づいて、当該顔候補領域に対する口の面積率が算出される（ステップＳ５３）。
【０１２６】
更に、顔候補領域の形状に関する特徴量（円形度、フェレ径比、領域の縁の凹凸度等）が算出されるとともに（ステップＳ５４）、顔候補領域の色に関する特徴量（顔候補領域内のＲＧＢ値や色相・彩度・明度等の色値の統計値、勾配等）が算出される（ステップＳ５５）。
【０１２７】
図２１に、本顔判定処理で使用される階層型ニューラルネットワークの構造を示す。この階層型ニューラルネットワークは、ステップＳ５１、Ｓ５３〜Ｓ５５で算出された目面積率、口面積率、形状特徴量、色特徴量を入力信号とし、顔らしさを示す値を出力信号としたものであり、この階層型ニューラルネットワークの出力信号の値から、所定の閾値に照らすことなどにより、該当する顔候補領域が顔であるか否かが判定される（ステップＳ５６）。
【０１２８】
以上のように、実施形態２の画像処理装置１によれば、撮影画像データから撮影時の配光条件を判別して、赤目判定処理を行うようにしたため、従来のように、画像データファイルのタグ等に記録された撮影情報を利用せずに、実情に即して高精度にストロボ撮影状態を判別し、赤目抽出処理、赤目補正処理の必要の有無を高精度に取得することができ、赤目が出現するストロボ撮影状態である場合のみ、赤目抽出処理及び赤目補正処理を効率的に行うことができる。
【０１２９】
特に、配光条件がストロボ撮影状態である場合に、顔候補領域から赤目相当領域を抽出し、その抽出された赤目相当領域に基づいて顔判定処理を行うようにしたことにより、オペレータが介在することなく、高精度且つ効率的に赤目を自動抽出するとともに、顔の判定精度を向上させることができる。
【０１３０】
また、顔候補領域に対する目の面積率を算出し、この目面積率を用いて顔判定処理を行うことにより、赤目抽出処理で抽出された赤目が両目であっても片目であっても、低い処理負荷で確実に顔を判定することができる。特に、目面積率だけでなく、顔候補領域に対する口の面積率、顔候補領域の形状特徴量、色特徴量も用いて顔判定処理を行うことにより、顔の判定精度を向上させることができる。また、顔判定処理に階層型ニューラルネットワークを用いることにより、処理負荷が低く簡易な手段で顔判定を実現することができる。
【０１３１】
更に、撮影画像データにおける明度と色相の分布状態から配光条件を判別することにより、カラー画像における配光条件の判別精度を向上させることができる。更に、撮影画像データにおける明度の分布位置（構図的な特徴）から配光条件を判別することにより、カラー画像だけでなくモノクロ画像の配光条件も高精度に判別することが可能になる。
【０１３２】
なお、上記各実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【０１３３】
【図１】本発明の実施形態１及び２における画像処理装置の外観構成を示す斜視図。
【図２】実施形態１及び２の画像処理装置の主要部構成を示すブロック図。
【図３】図２の画像処理部の主要部構成を示すブロック図。
【図４】実施形態１の画像調整処理部において実行される画像処理全体の流れを示すフローチャート。
【図５】配光条件判別処理を示すフローチャート。
【図６】明度・色相の領域毎に第１の占有率を算出する占有率算出処理を示すフローチャート。
【図７】ＲＧＢからＨＳＶ表色系に変換するプログラムの一例を示す図。
【図８】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ１及び領域ｒ２を示す図。
【図９】明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ３及び領域ｒ４を示す図。
【図１０】指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図。
【図１１】指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図。
【図１２】撮影画像データの構図に基づいて第２の占有率を算出する占有率算出処理を示すフローチャート。
【図１３】撮影画像データの画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図。
【図１４】指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図。
【図１５】配光条件（順光、ストロボ、逆光）別に算出された指標４及び指標５のプロット図。
【図１６】実施形態２の画像調整処理部において実行される画像処理全体の流れを示すフローチャート。
【図１７】赤目抽出処理を示すフローチャート。
【図１８】階層型ニューラルネットワークの構造を模式的に示す図。
【図１９】階層型ニューラルネットワークを構成するニューロンの構造を示す図。
【図２０】顔判定処理を示すフローチャート。
【図２１】顔判定処理で用いられる階層型ニューラルネットワークの構造を示す図。
【符号の説明】
【０１３４】
１  画像処理装置
４  露光処理部
５  プリント作成部
７  制御部
８  ＣＲＴ
９  フィルムスキャナ部
１０  反射原稿入力装置
１１  操作部
１４  画像読込部
１５  画像書込部
３０  画像転送手段
３１  画像搬送部
３２  通信手段（入力）
３３  通信手段（出力）
３４  外部プリンタ
７０  画像処理部
７０１  フィルムスキャンデータ処理部
７０２  反射原稿スキャンデータ処理部
７０３  画像データ書式解読処理部
７０４  画像調整処理部
７０５  ＣＲＴ固有処理部
７０６  プリンタ固有処理部（１）
７０７  プリンタ固有処理部（２）
７０８  画像データ書式作成処理部
７１  データ蓄積手段
【図１】
2006039657.tif 000020
【図２】
2006039657.tif 000021
【図３】
2006039657.tif 000022
【図４】
2006039657.tif 000023
【図５】
2006039657.tif 000024
【図６】
2006039657.tif 000025
【図７】
2006039657.tif 000026
【図８】
2006039657.tif 000027
【図９】
2006039657.tif 000028
【図１０】
2006039657.tif 000029
【図１１】
2006039657.tif 000030
【図１２】
2006039657.tif 000031
【図１３】
2006039657.tif 000032
【図１４】
2006039657.tif 000033
【図１５】
2006039657.tif 000034
【図１６】
2006039657.tif 000035
【図１７】
2006039657.tif 000036
【図１８】
2006039657.tif 000037
【図１９】
2006039657.tif 000038
【図２０】
2006039657.tif 000039
【図２１】
2006039657.tif 000040