(57)【要約】【課題】デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる画像処理装置を提供する。【解決手段】デジタルカメラ２によって、第１及び第２の画像データが撮影され、撮影条件に関するそれぞれの付属情報とともに記録媒体５に記録される。画像処理装置１では、画像取得部１１により第１の画像データが取得され、付属情報取得部１２により第１及び第２の付属情報が取得される。そして、設定変更検出部１３で撮影条件の変更の有無が検出される。さらに、判定部１４で第１の付帯情報に誤りがないかどうかが判定される。その結果、撮影条件の変更が検出されず、かつ、第１の付帯情報に誤りがあると判定された場合、画像補正部１５では、第１の画像データが補正され、ＣＲＴ表示或いはプリンタ印刷される。【選択図】  図１
2004153683.tif 000002
【特許請求の範囲】
【請求項１】
同一の撮影装置によって撮影された第１の画像データと該第１の画像データよりも過去に撮影された第２の画像データとを取得する画像データ取得手段と、
前記第１の画像データに関する第１の付帯情報と前記第２の画像データに関する第２の付属情報とを取得する付帯情報取得手段と、
前記第１の付帯情報と前記第２の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第１の画像データを解析して前記第１の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第１の付帯情報に誤りがあると判定した場合、前記第１の画像データを補正する補正手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等により撮影した画像の階調・色再現特性を補正して、ディスプレイ表示又はプリンタ印刷を行う画像処理装置に関する。
【０００２】
【従来の技術】
従来、デジタルカメラ等で撮影した画像をＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の内部に取り込み、そのままＣＲＴ等のディスプレイに表示したり、インクジェットプリンタ等のプリンタで印刷したりする場合に、撮影された画像を最適な明るさや色再現で出力できない場合があった。
【０００３】
例えば、デジタルカメラの色再現においては、撮影したシーンの光源によって画像に色かぶりが生じるという問題点がある。例えば、屋内の白熱電球の光源下で被写体を撮影した場合に屋外の太陽光の下で撮影した状況を想定した処理を行うと被写体を照明する光源の色温度の違いにより画像全体が赤かぶりする。このような問題に対応し、各光源に適したホワイトバランスの調整を行うために太陽光、曇天、蛍光灯、白熱灯、等の撮影状況（ホワイトバランスのモード）を指定する手段を設け、各状況に最適な色処理を行うデジタルカメラもある。
【０００４】
しかしながら、ユーザが撮影時にホワイトバランスのモードの設定を誤って撮影を行った場合には、所望の色再現の画像が得られないといった問題点がある。このような問題点に対して、撮影された画像全体の色の分布から、色かぶり補正を自動的に行うような画像処理システムも提案されている（例えば、特許文献１参照）。
【０００５】
また、他の例として、デジタル写真の階調再現において、被写体に応じて最適な階調再現特性が異なり、特に、人物を被写体としたポートレートと風景画像では好ましさの傾向が異なることが知られている。これに対応し、人物、風景等の撮影モードに従って、画像に表示、または印刷時に各被写体に最適な階調再現処理を行う画像処理システムも提案されている（例えば、特許文献２参照）。
【０００６】
さらに、撮影された画像から人物を検出し、人物が検出された場合に人物写真に適した階調再現処理を自動的に行うような画像処理システムも提案されている（例えば、特許文献２参照）。
【０００７】
【特許文献１】
特開２０００−０１３６１６号公報
【０００８】
【特許文献２】
特開平１１−２３９６２９号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上記特許文献１で提案されているような画像処理システムを用いた場合であっても、カメラのモードの設定の結果、得られた画像の色分布の偏りがユーザの意図するものであった場合、補正処理の結果がユーザの意図に反するものとなってしまうといった問題点があった。
【００１０】
また、上記参考文献２で提案されているような画像処理システムを用いた場合であっても、ユーザが撮影時に撮影モードの設定を誤って撮影を行った場合には、所望の階調再現特性が得られないといった問題点がある。このような問題点に対して、上記特許文献３に記載の画像処理システムが提案されているが、もともと風景シーンを撮影したが誤って人物を検出してしまった場合の副作用等、補正処理の結果が検出の信頼性に依存するといった問題点があった。
【００１１】
本発明は、このような事情を考慮してなされたものであり、デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、同一の撮影装置によって撮影された第１の画像データと該第１の画像データよりも過去に撮影された第２の画像データとを取得する画像データ取得手段と、前記第１の画像データに関する第１の付帯情報と前記第２の画像データに関する第２の付属情報とを取得する付帯情報取得手段と、前記第１の付帯情報と前記第２の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、前記第１の画像データを解析して前記第１の付帯情報に誤りがないかどうかを判定する判定手段と、前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第１の付帯情報に誤りがあると判定した場合、前記第１の画像データを補正する補正手段とを備えることを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１４】
＜第１の実施形態＞
本実施形態では、被写体をデジタルカメラで撮影、記録した画像データをＰＣ等の画像処理装置におけるアプリケーションプログラムで処理し、処理後の画像データをＣＲＴ表示又はプリンタ印刷する画像処理システムを想定する。図７は、本発明の第１の実施形態に係る画像処理システムの構成を示すブロック図である。図７に示すように、本実施形態に係る画像処理システムは、ＰＣ等の画像処理装置１に、デジタルカメラ２、ＣＲＴ３及びプリンタ４が接続されており、これらは着脱可能である。また、デジタルカメラ２で撮影された画像データは、デジタルカメラ２自身及び画像処理装置１等に直接接続可能な記録媒体５に記録される。尚、使用するデジタルカメラ２は、自動のほかに、太陽光、白熱灯のホワイトバランスモードを設定する手段を具備しているものとする。
【００１５】
まず、本実施形態では、白熱電球の光源下の被写体を、ホワイトバランスモードを誤って太陽光に設定して撮影した場合の処理を例として説明する。図１は、本発明の第１の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【００１６】
まず、被写体をデジタルカメラ２で撮影し、記録媒体５に画像データと、撮影情報として付帯情報とを記録する。このとき、上述した前提から、デジタルカメラ２は、被写体を白熱電球の光源の下で太陽光のホワイトバランスのモードで撮影しているため、実際の光源よりも想定した光源の色温度が高い。そのため、デジタルカメラ２では、画像データ中の青色成分を抑制する処理が行われており、結果的に撮影した画像データに赤かぶりが生じている。また、記録される撮影情報には、カメラ機種名、撮影日時、撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ＯＮ／ＯＦＦ、撮影モード等である。尚、本実施形態の想定では、ホワイトバランスモードは太陽光である。
【００１７】
記録媒体５に記録された画像データのファイルがアプリケーションプログラムによって指定されると、画像データが画像取得部１１により取得され、また、画像データに関する撮影条件等の付帯情報が付帯情報取得部１２により取得され、ＰＣ等の画像処理装置１のメモリ内に記憶される（ステップＳ１０１）。このとき記録媒体５に記録されている画像データは、通常、ＪＰＥＧ形式等で圧縮されているので、当該圧縮方式に対応したアルゴリズムによって伸長され、ＲＧＢ３チャンネルの二次元画素配列からなる画像データに展開される。
【００１８】
次に、画像データと共に記録媒体５に記録されている撮影情報（付帯情報）を解析し、ホワイトバランスモードの情報を取得する。本実施形態では、ホワイトバランスモードの設定が太陽光であることが検出される。そして、取得したホワイトバランスモードの設定が自動か否かを判定する（ステップＳ１０２）。その結果、ホワイトバランスモードの設定が自動の場合には、光源特有のホワイトバランス処理がデジタルカメラによって行われず、誤設定が生じないので補正処理を行わないでステップＳ１０６に移る。
【００１９】
一方、ホワイトバランスモードの設定が自動でない場合は、さらに、記録媒体５に処理する画像の一つ前に撮影された画像（前画像）のホワイトバランスモードの情報を取得する。そのため、例えば、記録媒体５に記録されている全ての画像データの撮影情報を解析し、撮影日時の情報の比較により前画像を選ぶ。但し、処理する画像が最初に撮影された画像である場合には、前画像のホワイトバランスモードは取得できないので、代わりに最初の画像データであることを記憶しておく。
【００２０】
次に、取得した２つのホワイトバランスモードの情報から設定変更検出部１３はモードの変更が行われたかどうかの判定を行う（ステップＳ１０３）。その結果、ホワイトバランスモードの変更が行われた場合（Ｙｅｓ）、ユーザは意図してホワイトバランスモードを設定したと想定されるので、デジタルカメラ２で行ったホワイトバランスモードを優先させ、補正処理は行わないでステップＳ１０６に移る。
【００２１】
一方、ホワイトバランスモードの変更が行われなかった場合（Ｎｏ）、ユーザは誤って前画像で設定したホワイトバランスモードを変更せず撮影を行った可能性があるので、補正処理を行うべくステップＳ１０４に移る。但し、処理する画像データが最初の画像データの場合には意図して設定を行ったと想定されるので、変更が行われたものとして補正処理は行わないでステップＳ１０６に移る。
【００２２】
次に、画像データを解析し、色かぶりの検出を行う。まず、画像データの輝度値のヒストグラムを作成する。画像データの輝度値Ｙは、例えば、
Ｙ＝０．２９９×ｐＲ＋０．５８７×ｐＧ＋０．１１４×ｐＢ          （１）
（但し、ｐＲ、ｐＧ、ｐＢは画像データのＲＧＢ各成分の画素値）
により計算する。また、ＲＧＢ各成分の平均値で近似しても良い。
【００２３】
図２は、輝度値Ｙを０から２５５の８ビットデータとして縦軸に頻度をとったときのヒストグラムの一例を示す図である。本実施形態では、図２に示すように、ヒストグラムから画像のハイライトとシャドウに相当する画素値範囲がそれぞれ設定される。すなわち、図２において、輝度値の高い方から足し合わせて画像の総画素数に対して所定の比率の頻度になる輝度値（図２のＹｈ）を算出し、Ｙｈから２５５までの範囲を画像のハイライト範囲とする。同様に、輝度値の低い方から足し合わせて画像の総画素数に対して所定の比率の頻度になる輝度値（図２のＹｌ）を算出し、０からＹｌまでの範囲を画像のシャドウ範囲とする。
【００２４】
次に、画像データのうち、輝度値がハイライト範囲及びシャドウ範囲に属する画素のＲＧＢ各成分の平均値をそれぞれ求める。そして、計算したハイライト範囲およびシャドウ範囲のＲＧＢ各成分の平均値に基づいて、判定部１４は色かぶりの検出を行う。例えば、本実施形態の場合はホワイトバランスモードの誤設定によって赤かぶりが生じると想定されるので、以下では赤かぶりの検出する場合について説明する。
【００２５】
赤かぶりの検出においては、例えば、
Ｅｌ＝２×Ｒｌａ−（Ｇｌａ＋Ｂｌａ）、Ｅｈ＝２×Ｒｈａ−（Ｇｈａ＋Ｂｈａ）      （２）
（但し、Ｒｌａ、Ｇｌａ、Ｂｌａはシャドウ範囲、Ｒｈａ、Ｇｈａ、Ｂｈａはハイライト範囲のＲＧＢ各成分の平均値）
を計算し、Ｅｌ及びＥｈが所定の閾値以上の場合には赤かぶりであると判断する。
【００２６】
ここで、色かぶりを検出する処理は画像のホワイトバランスモードに応じて切り替えて行う方がよい。例えば、本実施形態で説明したような太陽光の設定では、赤かぶりの可能性があるので赤かぶり検出を行い、逆に、白熱灯の設定では青かぶりの可能性があるので青かぶり検出を行う。以上の処理で判定部１４では、色かぶりが検出されたか否かが判断される（ステップＳ１０４）。その結果、色かぶりが検出された場合、すなわち付帯情報に誤りがあると判定された場合（Ｙｅｓ）、ステップＳ１０５に移って色かぶり補正を行う。一方、色かぶりが検出されなかった場合（Ｎｏ）、補正処理を行わないでステップＳ１０６に移る。
【００２７】
次に、ステップＳ１０５では、画像のハイライト範囲及びシャドウ範囲のＲＧＢ各成分の平均値に基づいて、画像補正部１５により、それぞれの範囲の彩度を下げるように色かぶりの補正処理が行われる。本実施形態では、画像データのＲ及びＢ成分の画素値をルックアップテーブル処理により変換することで色かぶり補正を行う。
【００２８】
まず、ハイライト範囲及びシャドウ範囲のＲＧＢ各成分の平均値をもとにして画素値を変換するルックアップテーブルを作成する。図３は、本発明の第１の実施形態で作成されるルックアップテーブルの一例を示す図である。図３における点線は、（０，０）、（２５５，２５５）を通る直線で、Ｇ成分の変換を示しているが、Ｇ成分の画素値変換は行わない。また、図３の実線は、（０，０）、（２５５，２５５）、（Ｒｌａ，Ｇｌａ）、（Ｒｈａ，Ｇｈａ）を通る曲線（例えば、３次曲線やスプライン曲線）で、Ｒ成分の変換を示しており、図３ではＲ成分を抑制するような曲線を示しており、赤かぶり補正を行うことに対応する。
【００２９】
また、図３の破線は、（０，０）、（２５５，２５５）、（Ｂｌａ，Ｇｌａ）、（Ｂｈａ，Ｇｈａ）を通る曲線（例えば、３次曲線やスプライン曲線）であって、Ｂ成分の変換を示しており、図３ではハイライト範囲及びシャドウ範囲でＢ成分を微妙にＧ成分の画素値合せこむような処理を行うことに対応する。
【００３０】
そして、作成したルックアップテーブルにより画像データ（ここでは、Ｒ、Ｂ成分のみ）の画素値の変換により色かぶり補正を行う（ステップＳ１０５）。
【００３１】
最後に、画像補正後の画像データをＣＲＴ３等のディスプレイに表示し、明るさや色等を確認した後、プリンタ４で印刷する（ステップＳ１０６）。
【００３２】
上述したように、本発明に係る画像処理システムでは、デジタルカメラ２（撮影手段）によって、第１の画像データとそれよりも過去の第２の画像データとが撮影され、当該２つの画像データは記録媒体５に記録される。また、第１の画像データの撮影時の撮影条件に関する第１の付帯情報と第２の画像データの撮影時の撮影条件に関する第２の付属情報も記録媒体５に記録される。画像処理装置１では、画像取得部１１（画像データ取得手段）により第１の画像データが取得され、付属情報取得部１２（付属情報取得手段）により第１及び第２の付属情報が取得される。そして、設定変更検出部１３（検出手段）で、第１の付帯情報と第２の付帯情報とを比較して、デジタルカメラ２における撮影条件の変更の有無が検出される。さらに、判定部１４（判定手段）で、第１の画像データを解析して第１の付帯情報に誤りがないかどうかが判定される。その結果、設定変更検出部１３で撮影条件の変更が検出されず、かつ、判定部１４で第１の付帯情報に誤りがあると判定された場合、画像補正部１５では、第１の画像データが補正される。その後、補正された第１の画像データが出力手段で出力される。すなわち、ＣＲＴ表示或いはプリンタ印刷されることを特徴とする。
【００３３】
また、第１の実施形態に係る画像処理システムでは、第１の付帯情報が、デジタルカメラ２のホワイトバランスモードであって、画像処理装置１の画像補正部１５が、第１の画像データの色かぶりを補正することを特徴とする。
【００３４】
以上、第１の本実施形態においては、色かぶり補正を行う前に、前画像とのホワイトバランスモードの変更の判定を行っているので、デジタルカメラのホワイトバランスモードを前画像の設定のまま誤って設定して撮影した場合においても自動的に画像データを補正して最適な色再現の画像を出力できる。また、画像解析の結果をもとに行う画像補正とユーザの意図とが矛盾する場合にも、ホワイトバランスモードの変更が行われた場合には色かぶり補正を行わないので、誤った補正処理による副作用を事前に排除することができる。
【００３５】
さらに、本実施形態においては、自動／太陽光／白熱灯のホワイトバランスモードを具備するデジタルカメラについて色かぶり補正を行うことを対象として説明したが、本発明は、さらにその他の蛍光灯／曇天等のモードを持つデジタルカメラにも同様にして適用することが可能である。
【００３６】
＜第２の実施形態＞
第２の実施形態では第１の実施形態と同様に、デジタルカメラ２で撮影し、記録媒体５に記録した画像データをＰＣ等の画像処理装置１におけるアプリケーションプログラムで処理し、ＣＲＴ３で画像データを表示、プリンタ４で印刷する画像処理システムを想定する。デジタルカメラ２は、人物、風景の撮影モードを設定する手段を持っており、本実施形態では、風景シーンの撮影時に撮影モードを誤って人物モードのまま撮影した場合の処理を例として説明する。図４は、本発明の第２の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【００３７】
まず、被写体をデジタルカメラで撮影し、記録媒体５に画像データとともに撮影情報を付帯情報として記録する。このとき記録された画像データは、風景シーンに対して、人物シーンに最適な処理を適用して得られたものである。前述したように人物と風景シーンでは好まれる階調再現特性が異なるといわれている。図５は、第２の実施形態における各モードに最適な階調再現性の例を示す図である。本実施形態では、図５に示すように、デジタルカメラ２の内部処理においては、撮影する被写体の輝度に対する階調再現特性が人物モードの場合にはＰ、風景モードの場合にはＬの特性になるように処理が行われるものとする。また、記録される撮影情報は、カメラ機種名、撮影日時、撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ＯＮ／ＯＦＦ、撮影モード等であり、本実施形態の想定では、撮影モードは人物である。
【００３８】
アプリケーションプログラムにおいて記録媒体５に記録された画像データのファイルを指定すると、撮影条件のデータとともに画像データが取得され、ＰＣ等の画像処理装置１のアプリケーションプログラムのメモリ内に記憶される（ステップＳ２０１）。このとき記録媒体５に記録されている画像データは、通常、ＪＰＥＧ形式等で圧縮されているので、圧縮方式に対応したアルゴリズムによって伸長され、ＲＧＢ３チャンネルの二次元画素配列からなる画像データに展開される。
【００３９】
次に、記録媒体５に画像データとともに記録されている撮影情報を解析し、撮影モードの情報を取得する（ステップＳ２０２）。本実施形態では、ここで撮影モードの設定が人物であることが検出される。さらに、記録媒体５に記録されている処理対象画像の一つ前に撮影された画像（前画像）の撮影モードの情報を取得する。そのためには、例えば、記録媒体５に記録されている全ての画像データの撮影情報を解析し、撮影日時の情報の比較により前画像を選ぶ。本実施形態では、ここでも撮影モードの設定が人物であることが検出される。但し、処理する画像が最初に撮影された画像である場合には、前画像の撮影モードは取得できないので代わりに最初の画像データであることを記憶しておく。
【００４０】
次に、取得した２つの撮影モードの情報からモードの変更が行われたかどうかの判定を行う（ステップＳ２０３）。その結果、撮影モードの変更が行われた場合（Ｙｅｓ）、ユーザは意図して撮影モードを設定したと想定されるのでカメラで行った撮影モードを優先させ、補正処理は行わないでステップＳ２０７に移る。一方、撮影モードの変更が行われなかった場合（Ｎｏ）、ユーザが誤って前画像で設定した撮影モードを変更せず撮影を行った可能性があるので、補正処理を行うべくステップＳ２０４に移る。但し、処理する画像データが最初の画像データの場合には意図して設定を行ったと想定されるので、変更が行われたものとして、補正処理は行わないでステップＳ２０７に移るものとする。
【００４１】
ステップＳ２０４では、画像データから顔の検出を行う。図６は、本発明の第２の実施形態における顔検出の処理内容を説明するための図である。まず、画像データを所定の画像サイズにローパスフィルタ処理を行うと同時に縮小する。例えば、デジタルカメラ２で取得した１２８０×９６０画素程度の画像を６４０×４８０画素の画像に２×２の平均値処理により縮小する。そして、縮小された画像データの画素値で局所的にＲＧＢ各成分が小さい領域を目の画像領域の候補として抽出する。さらに、抽出された候補を２つずつ組にして領域の大きさの均等性、輝度の差、水平に対する角度等から組にした２つの領域が目かどうかを判定する。
【００４２】
その結果、図６（ａ）に示されるように、目と判定された組について、その２つの位置からあらかじめ設定された所定の位置関係のパラメータに基づき矩形領域を設定する。また、図６（ｂ）に示されるように、矩形領域の境界付近のエッジおよび領域内の色情報から矩形領域の確定を行う。さらに、図６（ｃ）に示されるように、エッジについては境界付近の所定幅の領域に所定強度を超えるエッジ成分が所定比率以上占有するかで判定する。また、色情報については矩形領域内の画素値の平均値を計算し、あらかじめ設定した肌色領域内に平均値が入っているかで判定する。そしてエッジ、色情報の条件が両立して満たされている場合、顔領域と判定する。
【００４３】
次に、処理する画像の撮影モードの情報と顔領域の検出結果から撮影モードの判定を行う（ステップＳ２０５）。その結果、撮影モードが人物で、画像から顔領域が検出された場合（Ｎｏ）、撮影モードの有効性が検証されたのでステップＳ２０７に処理を移す。同様に、撮影モードが風景で、画像から顔領域が検出されなかった場合（Ｙｅｓ）、撮影モードの有効性が検証されたのでステップＳ２０７に処理を移す。
【００４４】
尚、撮影モードが人物で、画像から顔領域が検出されなかった場合は、撮影モードと画像解析の結果に矛盾が生じており、ユーザが撮影モードの変更を行わずに撮影を行ったと想定されるのでステップＳ２０６の処理で風景モードの階調再現特性に画像を補正するようにする。
【００４５】
また、撮影モードが風景で、画像から顔領域が検出された場合は、撮影モードと画像解析の結果に矛盾が生じており、ユーザが撮影モードの変更を行わずに撮影を行ったと想定されるのでステップＳ２０６の処理で人物モードの階調再現特性に画像を補正するようにする。本実施形態の想定では、人物モードの撮影で画像中から顔が検出されないので人物モードの階調再現特性に画像を補正する場合が適用される。
【００４６】
ステップＳ２０６では、図５に示したようなあらかじめ設定された人物、風景それぞれの最適な階調再現特性の情報をもとに画像の階調再現特性の補正処理を行う。本実施形態では、図５に示したような同一の被写体の輝度Ｙｉに対する各モードでの最適出力輝度値Ｙｐ、Ｙｌの対応をもとに、あらかじめ人物モードでの最適な階調再現特性（図５のＰ）を風景モードでの最適な階調再現特性（図５のＬ）に変換するルックアップテーブル、風景モードでの最適な階調再現特性（図５のＬ）を人物モードでの最適な階調再現特性（図５のＰ）に変換するルックアップテーブルが用意されているものとする。
【００４７】
そして、本実施形態での想定のように風景シーンを誤って人物モードで撮影したと判定した場合には、画像データのＲＧＢ成分の画素値から、例えば、
Ｙ＝０．２９９×ｐＲ＋０．５８７×ｐＧ＋０．１１４×ｐＢ              （３）
Ｃｂ＝−０．１６８７×ｐＲ−０．３３１２×ｐＧ＋０．５×ｐＢ
Ｃｒ＝０．５×ｐＲ−０．４１８７×ｐＧ−０．０８１３×ｐＢ
（但し、ｐＲ、ｐＧ、ｐＢは画像データのＲＧＢ各成分の画素値）
に従って輝度値Ｙを計算する。
【００４８】
さらに、人物モードでの最適な階調再現特性を風景モードでの最適な階調再現特性に変換するルックアップテーブルを用いてＹ値を変換した後、Ｃｂ，Ｃｒの値は（式３）の値をそのまま用いて、
ｐＲ＝Ｙ＋１．４０２×Ｃｒ                              （４）
ｐＧ＝Ｙ−０．３４４１×Ｃｂ−０．７１４１×Ｃｒ
ｐＢ＝Ｙ＋１．７７２×Ｃｂ
に従って画像データのＲＧＢ各成分の画素値を求める。以上の処理により風景シーンに最適な階調再現特性を有する画像に変換できる。
【００４９】
最後に、画像補正後の画像データをＣＲＴ３に表示、色や明るさ等を確認した後、プリンタ４に印刷する（ステップＳ２０７）。
【００５０】
すなわち、第２の実施形態に係る画像処理システムでは、第１の付帯情報が、デジタルカメラ２の撮影モードであって、画像処理装置１の画像補正部１５が、第１の画像データの階調再現特性を補正することを特徴とする。
【００５１】
以上、第２の実施形態においては、色かぶり補正を行う前に、前画像との撮影モードの変更の判定を行っているので、カメラの撮影モードを前画像の設定のまま誤って設定して撮影した場合においても自動的に画像データを補正して最適な階調再現の画像を出力できる。また、画像データを補正するために行う画像解析の結果と撮影モードの設定に矛盾が生じた場合にも、撮影モードの変更が行われた場合には階調補正を行わないので、誤った補正処理による副作用を事前に排除することができる。
【００５２】
第２の実施形態においては、人物／風景の撮影モードをもつデジタルカメラについて階調補正を行うことを対象として説明したが、さらにその他の夜景／マクロなどのモードを持つデジタルカメラにも本発明は適用できる。
【００５３】
＜その他の実施形態＞
また、上述した実施形態においては、デジタルカメラで撮影、記録した画像データをＰＣのアプリケーションプログラムで処理する場合について説明したが、例えば、記録媒体の画像データを読み込み可能なプリンタにおいて、図１または図４に示したような一連の画像処理をプリンタ内で自動的に行い、出力画像を印刷するようにしてもよいし、デジタルカメラ内で自動的に行い、出力画像を記録媒体に記録するようにしてもよい。
【００５４】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００５５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５７】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００５８】
本発明の実施態様の例を以下に列挙する。
【００５９】
【実施態様１】同一の撮影装置によって撮影された第１の画像データと該第１の画像データよりも過去に撮影された第２の画像データとを取得する画像データ取得手段と、
前記第１の画像データに関する第１の付帯情報と前記第２の画像データに関する第２の付属情報とを取得する付帯情報取得手段と、
前記第１の付帯情報と前記第２の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第１の画像データを解析して前記第１の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第１の付帯情報に誤りがあると判定した場合、前記第１の画像データを補正する補正手段と
を備えることを特徴とする画像処理装置。
【００６０】
【実施態様２】前記第１の付帯情報が、前記撮影装置のホワイトバランスモードであって、
前記画像補正手段が、前記第１の画像データの色かぶりを補正する
ことを特徴とする実施態様１記載の画像処理装置。
【００６１】
【実施態様３】前記第１の付帯情報が、前記撮影装置の撮影モードであって、
前記画像補正手段が、前記第１の画像データの階調再現特性を補正する
ことを特徴とする実施態様１記載の画像処理装置。
【００６２】
【実施態様４】前記撮影装置により撮影された前記第１及び第２の画像データと前記第１及び第２の付属情報とを記憶する該撮影装置に対して着脱可能な記憶手段をさらに備え、
前記画像データ取得手段が、前記記憶手段から前記第１の画像データを取得し、
前記付属情報取得手段が、前記記憶手段から前記第１及び第２の付属情報を取得する
ことを特徴とする実施態様１から３までのいずれか１項に記載の画像処理装置。
【００６３】
【実施態様５】第１の画像データと第２の画像データとを撮影する撮影手段と、
前記第１の画像データに関する第１の付帯情報と前記第２の画像データに関する第２の付属情報とを取得する付帯情報取得手段と、
前記第１及び第２の画像データと前記第１及び第２の付属情報とを記憶する記憶手段と、
前記第１の付帯情報と前記第２の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第１の画像データを解析して前記第１の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第１の付帯情報に誤りがあると判定した場合、前記第１の画像データを補正する補正手段と、
補正された前記第１の画像データを出力する出力手段と
を備えることを特徴とする画像処理システム。
【００６４】
【実施態様６】前記第１の付帯情報が、前記撮影手段のホワイトバランスモードであって、
前記画像補正手段が、前記第１の画像データの色かぶりを補正する
ことを特徴とする実施態様５記載の画像処理システム。
【００６５】
【実施態様７】前記第１の付帯情報が、前記撮影手段の撮影モードであって、
前記画像補正手段が、前記第１の画像データの階調再現特性を補正する
ことを特徴とする実施態様５記載の画像処理システム。
【００６６】
【実施態様８】同一の撮影装置によって撮影された第１の画像データと該第１の画像データよりも過去に撮影された第２の画像データとを取得する画像データ取得工程と、
前記第１の画像データに関する第１の付帯情報と前記第２の画像データに関する第２の付属情報とを取得する付帯情報取得工程と、
前記第１の付帯情報と前記第２の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出工程と、
前記第１の画像データを解析して前記第１の付帯情報に誤りがないかどうかを判定する判定工程と、
前記検出工程で撮影条件の変更が検出されず、かつ、前記判定工程で前記第１の付帯情報に誤りがあると判定された場合、前記第１の画像データを補正する補正工程と
を有することを特徴とする画像処理方法。
【００６７】
【実施態様９】コンピュータに、
同一の撮影装置によって撮影された第１の画像データと該第１の画像データよりも過去に撮影された第２の画像データとを取得する画像データ取得手順と、前記第１の画像データに関する第１の付帯情報と前記第２の画像データに関する第２の付属情報とを取得する付帯情報取得手順と、
前記第１の付帯情報と前記第２の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手順と、
前記第１の画像データを解析して前記第１の付帯情報に誤りがないかどうかを判定する判定手順と、
前記検出手順で撮影条件の変更が検出されず、かつ、前記判定手順で前記第１の付帯情報に誤りがあると判定された場合、前記第１の画像データを補正する補正手順と
を実行させるためのプログラム。
【００６８】
【実施態様１０】実施態様９記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる。
【００７０】
また、撮影時のカメラの設定と画像を解析した結果が矛盾するが、その矛盾がユーザの意図を反映したものであった場合や、画像データを補正するために行う画像解析の結果が誤った場合に生じる補正処理による副作用を事前に排除することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【図２】輝度値Ｙを０から２５５の８ビットデータとして縦軸に頻度をとったときのヒストグラムの一例を示す図である。
【図３】本発明の第１の実施形態で作成されるルックアップテーブルの一例を示す図である。
【図４】本発明の第２の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【図５】第２の実施形態における各モードに最適な階調再現性の例を示す図である。
【図６】本発明の第２の実施形態における顔検出の処理内容を説明するための図である。
【図７】本発明の第１の実施形態に係る画像処理システムの構成を示すブロック図である。
【符号の説明】
１  画像処理装置
２  デジタルカメラ
３  ＣＲＴ
４  プリンタ
５  記録媒体
１１  画像取得部
１２  付帯情報取得部
１３  設定変更検出部
１４  判定部
１５  画像補正部
【図１】
2004153683.tif 000003
【図２】
2004153683.tif 000004
【図３】
2004153683.tif 000005
【図４】
2004153683.tif 000006
【図５】
2004153683.tif 000007
【図６】
2004153683.tif 000008
【図７】
2004153683.tif 000009