(57)【特許請求の範囲】
【請求項１】
画像取得時の条件情報を含む画像情報に対して画像処理を施す画像処理装置であって、
上記条件情報を解析する解析手段と、
上記解析手段の解析結果に基づいて、カラーバランスの度合いを示す値に応じて画像の色補正量を求め、明るさの度合いを示す値に応じて画像の明るさ補正量を求め、画像処理条件を決定する処理決定手段と、
上記処理決定手段で決定された画像処理条件による処理を上記画像情報に施す処理手段と、
上記画像が画像取得者の手動設定によって取得された場合、上記処理手段による処理を行うか否かを通知する手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記処理手段による処理後の画像情報を出力する出力手段とを備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記出力手段は、印刷出力機能を含むことを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記画像のカラーバランスの補正量を求める処理決定手段は、原画像のハイライトポイントおよびシャドーポイントの明るさを検出し、
前記明るさを有する複数の画素から、前記ハイライトポイントおよびシャドーポイントの色みを求め、
前記ハイライトポイント、前記シャドーポイントおよび前記色みに基づき、前記原画像に対して色補正を行うことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記色補正は、前記原画像の色立体軸を明るさを示す軸に合わせるとともに、前記原画像の明るさを示す色成分に対してコントラスト調整を行うことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記色補正は、前記原画像の色みを示す色成分に対して補正処理を行い、原画像の彩度を調整することを特徴とする請求項４記載の画像処理方法。
【請求項７】
さらに、原画像の明るさを示す色成分に基づきヒストグラムを作成し、
前記ヒストグラムに基づき前記ハイライトポイントおよびシャドーポイントを検出することを特徴とする請求項４記載の画像処理方法。
【請求項８】
上記画像情報は、ディジタルスチルカメラにより得られた画像情報を含むことを特徴とする請求項１記載の画像処理装置。
【請求項９】
上記画像情報は、撮影画像情報を含み、
上記条件情報は、上記撮影画像情報取得時における露出、ストロボ、ホワイトバランス、撮影モード、デジタルズーム及びオートブラケットの少なくとも何れかの情報を含むことを特徴とする請求項１記載の画像処理装置。
【請求項１０】
上記通知する手段は、上記画像がマニュアルモードで撮影された画像である場合、上記処理手段による処理を行うか否かを通知することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
上記処理手段による処理は自動画像補整処理であり、上記通知する手段は、上記自動画像補整処理を行なうか否かを通知することを特徴とする請求項１記載の画像処理装置。
【請求項１２】
上記解析手段は、上記画像情報を解析する機能を有することを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記通知は、前記画像をひとつあるいは複数表示する際に行われることを特徴とする請求項１項記載の画像処理装置。
【請求項１４】
上記条件情報が付加された画像情報をアプリケーションソフトで開く時、または、上記画像情報にプリントを設定する時に、上記通知する手段は、上記処理手段による処理を行なうか否かを通知することを特徴とする請求項１または請求項１０記載の画像処理装置。
【請求項１５】
画像取得時の条件情報を含む画像情報に対して画像処理を施すための画像処理方法であって、
上記条件情報を解析する解析ステップと、
上記解析ステップによる解析結果に基づいて、カラーバランスの度合いを示す値に応じて画像の色補正量を求め、明るさの度合いを示す値に応じて画像の明るさ補正量を求め画像補正条件を決定するステップ、
上記決定された画像補正条件による処理を上記画像情報に施す処理ステップと、
上記画像が画像取得者の手動設定によって取得された場合、上記処理ステップで処理時に処理を行うか否かを通知するステップとを含むことを特徴とする画像処理方法。
【請求項１６】
上記通知するステップは、上記画像がマニュアルモードで撮影された画像である場合、上記処理ステップによる処理を行うか否かを通知することを特徴とする請求項１５記載の画像処理方法。
【請求項１７】
上記処理ステップによる処理は自動画像補整処理であり、上記通知するステップは、上記自動画像補整処理を行なうか否かを通知することを特徴とする請求項１５記載の画像処理方法。
【請求項１８】
上記画像情報をディジタルスチルカメラの撮影により取得する画像取得ステップを含むことを特徴とする請求項１５項に記載の画像処理方法。
【請求項１９】
上記画像情報は、撮影画像情報を含み、上記条件情報は、撮影時における露出、ストロボ、ホワイトバランス、及び撮影モードの少なくとも何れかの情報を含むことを特徴とする請求項１５に記載の画像処理方法。
【請求項２０】
画像取得時の条件情報を含む画像情報に対して画像処理を施すためのコンピュータプログラムが記憶された記憶媒体であって、
上記条件情報を解析する解析するコードと、
上記解析ステップによる解析結果に基づいて、カラーバランスの度合いを示す値に応じて画像の色補正量を求め、明るさの度合いを示す値に応じて画像の明るさ補正量を求め画像補正条件を決定するためのコード、
上記決定された画像補正条件による処理を上記画像情報に施すためのコードと、
上記画像が画像取得者の手動設定によって取得された場合、上記処理ステップで処理時に処理を行うか否かを通知するためのコードが記憶されたコンピュータ読み取り可能な記憶媒体。
【請求項２１】
画像取得時の条件情報を含む画像情報に対して画像処理を施すためのコンピュータプログラムであって、
上記条件情報を解析する解析するコードと、
上記解析ステップによる解析結果に基づいて、カラーバランスの度合いを示す値に応じて画像の色補正量を求め、明るさの度合いを示す値に応じて画像の明るさ補正量を求め画像補正条件を決定するためのコード、
上記決定された画像補正条件による処理を上記画像情報に施すためのコードと、
上記画像が画像取得者の手動設定によって取得された場合上記処理ステップで処理時に処理を行うか否かを通知するためのコードからなるコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、ディジタルスチルカメラ等により撮影して取得したディジタル画像データをプリンタで印刷出力するための画像補正処理を実行する装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読出可能な記憶媒体、及び当該プログラムに関するものである。
【０００２】
【従来の技術】
近年では、例えば、ディジタルスチルカメラの普及により、写真画像のディジタル化が手軽になり、特に、パーソナルコンピュータ（以下、単に「パソコン」と言う）上において、写真調の画像をディジタル画像データとして扱う機会が増えてきた。さらに、パソコン上で各種のアプリケーションソフトウェアを使用することで、写真調の画像であるディジタル画像データに対して加工や編集処理を容易に行えるようになっている。
【０００３】
一方、フルカラーハードコピー技術に関しても急速に発展しており、特に、インクジェット方式による印刷技術では、インクドットによる粒状感を低減させる技術の向上により、その印刷出力結果の画質が銀塩写真での画質と同等のものとなりつつあり、また、比較的簡易な印刷技術であることにより、広く普及している。
【０００４】
上述のような技術背景から、ディジタルスチルカメラで撮影して取得したディジタル画像データを手軽に印刷出力できることが求められている。また、印刷出力時の画像補正処理に関して、複雑な機能を使用した手動での画像補正処理ではなく、パソコン上でアプリケーションソフトウェアを使用することで、常に良好な画像補正後の画像が得られる自動画像補正処理の必要性が高まっている。
【０００５】
そこで、良好な印刷出力結果を得るために、印刷出力を行う際に画像補正処理等の画像処理を施して出力する方法としては、例えば、撮影画像のシーンを解析し、その解析結果に基づいて自動的に画像補正を行う方法等、様々な方法が提案されている。
【０００６】
また、例えば、撮影画像を印刷出力した際に、明るすぎたり（薄すぎたり）、或いは暗すぎたり（濃すぎたり）することを防ぐための画像補正である所謂「濃度補正」に関する方法が提案されている。また、撮影画像における色かぶりや露出不良（明るさやコントラスト不良）、或いは彩度不良等の好ましくない画像及び色かぶり等によりカラーバランスが崩れている画像を補正する所謂「画像補正」の方法も提案されている。
【０００７】
「濃度補正」及び「画像補正」の何れの画像処理方法においても、自動画像補正のための構成として、処理対象となる画像（原画像）における輝度信号の輝度値毎に、対象輝度値の画素数を累積したヒストグラムを用いることで原画像を解析し、当該解析結果に基づいて、原画像の補正を行う構成が用いられている。
【０００８】
また、ディジタルスチルカメラ側の機能としては、撮影して取得した画像をディジタル画像データとして、メモリカード等の記憶媒体に記録するだけでなく、撮影時の撮影条件を表す付加情報をも、当該記録媒体にディジタル画像データと共に記録することが可能となっている。
【０００９】
ディジタルスチルカメラにより撮影して得られた処理対象となる画像（対象画像）の画像解析を行うことで対象画像のシーンの解析を行い、当該解析結果に基づき対象画像の自動画像補正を行う場合、基本的には、全ての対象画像に対して、理論的に最適と考えられる画像（標準的な画像）が印刷出力されるような自動画像補正を行うことになる。
【００１０】
ところで、上述したような色補正、明るさ補正は画像のヒストグラムを用いて、統計的に画像処理をしているものが多く、画像データのみの解析だけでは必ずしも全ての画像において最適に補正され難い。色補正にはホワイトバランス情報が、明るさ補正には露出情報を用いた方がより細密な判定を行うことができる。
【００１１】
【特許文献１】
特開２０００−１３６２４公報
【００１２】
【発明が解決しようとする課題】
また、上述の自動画像補正は、ユーザが、パソコン上でアプリケーションソフトウェアを使用して、パソコンのモニタに表示された対象画像を確認しながら手動で画像補正する手動画像補正とは異なり、標準的な画像への自動画像補正が、対象画像を取得した時（撮影時）のユーザの意図と反する補正が行われてしまう場合がある。
【００１３】
例えば、ユーザが意図的に手動設定を行い、画像を明るく或いは暗くするような露出条件で撮影して取得した画像に対しても、明るい画像であれば少し暗めに画像補正され、また、暗い画像であれば少し明るめに画像補正されることで、適正な明るさの画像として出力されてしまう。すなわち、対象画像が、どのような画像であっても、同一な明るさの画像に画像補正されて出力されてしまう。
【００１４】
また、ユーザが、ディジタルスチルカメラのホワイトバランスを意図的に変えることで特殊な効果を狙った画像に対しても、同様に最適なカラーバランスとなるような画像補正が行われてしまう。
【００１５】
そこで、本発明は、上記の欠点を除去するために成されたもので、常に良好な処理後画像を提供できる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読出可能な記憶媒体、及び当該プログラムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
斯かる目的下において、画像取得時の条件情報を含む画像情報に対して画像処理を施す画像処理装置であって、
上記条件情報を解析する解析手段と、
上記解析手段の解析結果に基づいて、カラーバランスの度合いを示す値に応じて画像の色補正量を求め、明るさの度合いを示す値に応じて画像の明るさ補正量を求め、画像処理条件を決定する処理決定手段と、
上記処理決定手段で決定された画像処理条件による処理を上記画像情報に施す処理手段と、
上記画像が画像取得者の手動設定によって取得された場合、上記処理手段での処理時に処理を行うか否かを通知する手段とを備えることを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１８】
＜第１の実施例＞
本発明は、例えば、図１に示すような画像印刷システム１００に適用される。
【００１９】
本実施の形態の画像印刷システム１００は、特に、ディジタルスチルカメラ１０１で撮影して得られた処理対象の画像データに付加された撮影条件を示す情報（付加情報）の解析結果に基づいて、当該画像データの画像補正を自動的に実施することで、高精度な自動画像補正を実現し、撮影時のユーザの意図を、より反映した高品質の写真画像印刷結果を提供できるように構成されている。
【００２０】
以下、本実施の形態の画像印刷システム１００の構成及び動作について具体的に説明する。
【００２１】
＜画像印刷システム１００の構成＞
画像印刷システム１００は、上記図１に示すように、ディジタルスチルカメラ１０１、画像処理装置１０８、及びプリンタ１１５を含む構成としている。
【００２２】
ディジタルスチルカメラ１０１は、撮影動作により撮影画像データ１０７を取得すると共に、当該撮影動作における撮影条件データ１０６（付加情報）及び撮影画像データ１０７を含む画像データ１０５を画像処理装置１０８に対して出力するものであり、撮影条件設定部１０２、撮影条件記録部１０３、及び撮影画像記録部１０４を備えている。
【００２３】
撮影条件設定部１０２は、撮影動作に必要な各種の撮影条件の設定を行なう。
【００２４】
撮影条件記録部１０３は、撮影条件設定部１０２で設定された撮影条件のデータ１０６を、画像データ１０５（画像処理装置１０８への出力用のデータ）中に記録する。
【００２５】
撮影画像記録部１０４は、撮影条件設定部１０２で設定された撮影条件に従った撮影動作により取得された撮影画像データ１０７を、画像データ１０５中に記録する。
【００２６】
尚、画像データ１０５の画像処理装置１０８への供給方法としては、例えば、通信回線を介したデータ転送による方法、或いは任意の記録媒体又は記憶媒体に記録することによる方法等を適用可能である。
【００２７】
画像処理装置１０８は、例えば、パーソナルコンピュータからなり、所定のアプリケーションソフトウェアの起動により、ディジタルスチルカメラ１０１からの画像データ１０５の撮影画像データ１０７に対して画像補正処理を施してプリンタ１１５で印刷出力する。
【００２８】
このため、画像処理装置１０８は、リーダ部１０９、撮影条件解析部１１１及び撮影画像解析部１１２を含むデータ解析部１１０、画像補正処理部１１３、及び印刷データ変換部１１４を備えており、これらの構成部１０９〜１１４の各機能は、上記の所定のアプリケーションソフトウェアの起動により実現される。
【００２９】
リーダ部１０９は、ディジタルスチルカメラ１０１からの画像データ１０５を読み取る。
【００３０】
データ解析部１１０は、撮影条件解析部１１１により、リーダ部１０９で得られた画像データ１０５に含まれる撮影条件データ１０６を解析すると共に、撮影画像解析部１１２により、リーダ部１０９で得られた画像データ１０５に含まれる撮影画像データ１０７を解析し、当該解析結果に基づいて、画像補正アルゴリズムを選択する。
【００３１】
画像補正処理部１１３は、データ解析部１１０で選択された画像補正アルゴリズムにより、撮影画像データ１０７に対して画像補正処理を施す。
【００３２】
画像補正アルゴリズムの選択（決定）について、具体的には例えば、撮影画像解析部１１２が、撮影画像データ１０７の信号値から輝度値や輝度分布を解析する場合、当該解析結果により、撮影画像データ１０７の特性を認識し、この結果に該当する最適な補正条件を決定し、当該決定条件に基づいた画像補正アルゴリズムを選択する。
【００３３】
すなわち、最終的な画像補正アルゴリズムの選択は撮影条件解析部１１１による撮影条件データ１０６の解析結果により決定したアルゴリズムと撮影画像解析部１１２によって撮影画像データ１０７の特性認識により決定したアルゴリズムとにより決められる。
【００３４】
また、画像補正処理としては、明るさ補正処理、コントラスト補正処理、色（カラーバランス）補正処理、彩度補正処理、平滑化処理、輪郭強調処理、及びノイズ低減処理等が挙げられる。
【００３５】
印刷データ変換部１１４は、画像補正処理部１１３での補正後の撮影画像データ１０７を、プリンタ１１５で印刷可能な適切な形式のデータ（例えば、ＣＭＹＫデータ）に変換し、当該変換後データを、所定のインタフェースを介してプリンタ１１５へ転送する。
【００３６】
したがって、プリンタ１１５は、画像処理装置１０８の印刷データ変換部１１４から転送されてきたデータを印刷出力する。
【００３７】
プリンタ１１５としては、例えば、シリアルスキャン形式のインクジェット方式、電子写真方式、昇華型のプリンタ等を適用可能である。
【００３８】
尚、本実施の形態では、画像処理部１０８が備える構成部１０９〜１１４を、パーソナルコンピュータ上で動作するアプリケーションソフトウェアの起動により実現するものとしているが、これに限られることはなく、例えば、ハードウェアにより実現するようにしてもよい。さらに具体的には、プリンタ１１５のドライバの形態で実現するようにしてもよい。
【００３９】
また、例えば、画像処理部１０８としてパーソナルコンピュータを用いた場合、画像データ１０５を、画像処理部１０８のハードディスク等の記憶媒体に保持し、或いは画像処理部１０８に接続された別のパーソナルコンピュータ（サーバ等を含む）の記憶媒体に保持し、これを画像処理部１０８内で処理するようにしてもよい。
【００４０】
また、ディジタルスチルカメラ１０１から画像処理部１０８（画像処理部１０８としてパーソナルコンピュータを用いた場合には、その内部の記憶媒体等）への画像データ１０５の受け渡しについては、上述したように任意の通信回線や記録媒体又は記憶媒体を利用する方法等が適用可能であるが、さらに具体的には例えば、カードリーダやケーブル接続、或いは赤外線通信、或いは無線通信を適用可能である。この場合、例えば、ディジタルスチルカメラ１０１と画像処理部１０８をケーブル接続、或いは赤外線通信、或いは無線通信で接続し、画像処理部１０８が、ディジタルスチルカメラ１０１が保持するメモリカードや内蔵メモリ等から、直接画像データ１０５を読み込むようにしてもよい。
【００４１】
また、画像印刷システム１００のシステム形態としては、例えば、プリンタ１１５内部に対して、画像処理装置１０８の機能を設けるように構成してもよい。この場合、画像処理装置１０８としてパーソナルコンピュータ等を用いる必要はない。また、この場合には、例えば、プリンタ１１５において、画像データ１０５を、プリンタ１１５に設けられたカードリーダ等のデータ読取手段（リーダ部１０９の機能に相当）により、メモリカード等の記録媒体又は記憶媒体を介して読み取るようにしてもよい。或いは、ディジタルスチルカメラ１０１とプリンタ１１５を有線ケーブル、或いは赤外線通信、或いは無線通信により接続し、プリンタ１１５が、ディジタルスチルカメラ１０１が保持するメモリカードや内蔵メモリ等から画像データ１０５を読み出すようにしてもよい。
【００４２】
図２にＲＧＢ画像信号より画像補正に最適なＬａｂ信号に変換するフローチャートを示す。２０２で画像補正処理を行った後、Ｌ’ａ’ｂ’信号を再びＲ’Ｇ’Ｂ’に戻すことで単純かつ効果的な補正ができる。またＬａｂ信号を用いず、簡易的なＹＣｂＣｒ信号を用いてもよい。なお本実施例では、ＹＣｂＣｒ信号を用いることにする。
【００４３】
次に画像補正処理部１１３の処理内容について述べる。まず撮影条件データ１０６にある、ホワイトバランスに関する情報を読みとり、それが自動撮影（オートモード）ならばカラーバランス補正（色補正）を行う。
【００４４】
一方、撮影条件データ１０６にある露出に関する情報を読みとり、それが自動撮影（オートモード）ならば明るさ補正（印刷濃度補正）を行う。
【００４５】
また、撮影条件データ１０６にあるデジタルズームに関する情報を読みとり、それが実行されている（ＯＮ）ならば画像にスムージング補正を行う。
【００４６】
次に以下に、カラーバランス補正、明るさ補正の実施例について説明する。
【００４７】
《カラーバランス補正》
［第１の処理方法］
はじめに、カラーバランス補正についてその処理内容を図３〜図１０を用いて説明する。
【００４８】
本実施形態の画像補正処理部１１３は、図３に示したように、ヒストグラム作成処理（図３−Ｓ１）とヒストグラムに応じた画像補正処理（図３−Ｓ２）を行う。ステップ図３−Ｓ１では、図４に示すような処理によりヒストグラムを作成する。そして、作成されたヒストグラムに基づき画像のハイライトポイントおよびシャドーポイントを決定する。
【００４９】
（輝度ヒストグラムの作成）
図４は本実施形態での輝度ヒストグラムを作成するフローチャートである。
【００５０】
図４において、図４−Ｓ１で原画像の輝度ヒストグラム作成のルーチンに入ると、図４−Ｓ２で原画像の画素から輝度ヒストグラムの作成に用いる画素の選択比率を決定する。本実施形態では、処理対象の画像データが３５万画素の場合に全画素を対象（選択比率１（あるいは１００％））に輝度ヒストグラムを作成することとする。３５万画素以上の画素数の画像データが入力された場合には、その総画素数の３５万画素に対する比率に応じて画素選択（サンプリング）を行う。例えば、３５０万画素の画像データが入力された場合には、選択比率は３５０万／３５万＝１０であり、１０画素に１画素の割合（選択比率１０（あるいは１０％））で輝度ヒストグラムを作成する。本実施形態では選択比率ｎは次式により求める。
ｎ＝ｉｎｔ（対象画像データの総画素数／基準画素数３５万）（但し、ｎ＜１の時はｎ＝１、ｎは正数）
続いて図４−Ｓ３でライン番号を管理するカウンタをリセットあるいは所定の初期値にセットし、図４−Ｓ４でそのカウンタをインクリメントして注目ラインのライン番号とする。
【００５１】
本実施形態では画素の間引き（サンプリング）はライン単位で行うので、選択比率ｎの場合には、ライン番号をｎで割ったときの余りが０の場合に、そのラインに属する画素を処理対象として選択する（図４−Ｓ５−ＹＥＳ）。例えば選択比率１０の場合であれば、ライン番号を１０で割ったときの余りが０の場合に、そのラインに属する画素を処理対象として選択する注目ラインが間引かれるライン、すなわち処理対象とならないラインの場合には図４−Ｓ４に戻る。処理対象ラインの場合には図４−Ｓ６に進み、注目ラインに属する画素に順次注目し、その注目画素に対して輝度変換，色度変換を処理を行う。本実施形態における輝度変換、色度変換は以下の式により行う。なお、輝度、色度変換は以下の式に限らず様々な式を用いることが可能である。
Ｙ  （輝度）＝ｉｎｔ（０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）（Ｙは正数）
Ｃ１（色度）＝Ｒ−Ｙ
Ｃ２（色度）＝Ｂ−Ｙ
また本実施形態では白位置（ハイライトポイント）、黒位置（シャドーポイント）の検出精度を向上させるために次式により注目画素の彩度Ｓを計算し、予め定めた彩度値（Ｓｃｏｎｓｔ）より大きいか否かを判断して（図４−Ｓ７）、大きい場合には、その画素の情報は輝度ヒストグラムに反映させない。
【００５２】
彩度Ｓ＝ｓｑｒｔ（Ｃ１＾２＋Ｃ２＾２）
ここでｓｑｒｔ（ｘ）はｘの平方根を与える関数であり、ｘ＾ｙはｘのｙ乗を表す。
【００５３】
即ち、（Ｓ＞Ｓｃｏｎｓｔ）の場合には図４−Ｓ６に戻り、注目画素のデータは以後の処理に反映させない。これは、後述する通り、白位置の彩度は高輝度の画素群の平均彩度により与えられ、その彩度の値は色かぶりにより生じた誤差となるため、本来高彩度であると考えられる画素はハイライトポイントの算出から除外したほうが良いためである。この処理の効果を具体例を上げて説明する。例えばイエローの画素（Ｒ＝Ｇ＝２５５、Ｂ＝０）は、上式からその輝度Ｙは２２６となり、彩度Ｓは２２７となる。すなわち、この画素は極めて高輝度であるとともに、十分に彩度の高い色を有することが分かる。このような画素は、無彩色の画素がイエローに色かぶりした結果そのようになったと判断するよりも、本来イエローの画素であると判断した方が多くの場合間違えが少ない。このような高輝度・高彩度の画素を輝度ヒストグラムに含めると、検出される白位置に誤差が生じてしまう。よって、本実施形態では所定の彩度（Ｓｃｏｎｓｔ）を定め、所定の彩度を越える彩度の画素は輝度ヒストグラムに含めない。こうすることで、高彩度の画素により検出される白位置に誤差が生じることを防ぎ、白位置の精度を向上させることができる。
【００５４】
このように、図４−Ｓ７における判断の後、条件（Ｓ≦Ｓｃｏｎｓｔ）を満たした画素について輝度ヒストグラムを作成していく（図４−Ｓ８）。ここで本実施形態で扱う画素データＲＧＢは各８ビット（２５６階調）データであるので、輝度Ｙも２５６の深さに変換される。よって輝度ヒストグラムは、０から２５５までの２５６段階の各輝度値の画素が夫々何度数あるかを計数することで得られる。
【００５５】
また色度Ｃ１，Ｃ２の計算値は、後の色かぶり補正時に、各輝度値を有する画素の平均色度を算出するためのデータとして用いるので、本実施形態では次のようにデータを保持する。すなわち、インデクスの範囲が０から２５５の構造体配列変数の形式で、度数，Ｃ１累積値，Ｃ２累積値の３メンバーを設定し、各画素ごとの演算結果をその画素の輝度値をインデクスとする各メンバーに反映していく。
【００５６】
注目画素について処理を終えたなら、注目ラインの全画素の処理が終了したかどうかを判断し（図４−Ｓ９）、注目ラインに未処理画素が残っている場合には図４−Ｓ６に戻り、図４−Ｓ６以降の処理を繰り返す。注目ライン内の全画素の処理が終了したら、図４−Ｓ１０で未処理のラインが残っているかを判断し、全ライン終了であれば図４−Ｓ１１で終了し、未処理のラインが残っていれば図４−Ｓ４に戻り、注目ラインを次のラインに移して上記処理を繰り返す。
【００５７】
以上の様に原画像データの画素を選択しながら輝度ヒストグラムを作成することにより、必要最小限の画素数で、且つ後の白位置、黒位置検出時の精度の向上も考慮した輝度ヒストグラムを作成することができる。
（白位置（ハイライトポイント），黒位置（シャドーポイント）の決定）
輝度ヒストグラムが完成したら、そのヒストグラムから白位置（ホワイトポイント）、黒位置（シャドーポイント）を決定する。本実施形態では、輝度ヒストグラムにおける輝度値０及び輝度値２５５の両端から中心方向に累積輝度度数値が１７５０になる点をそれぞれ黒位置および白位置と定める。
【００５８】
すなわち、輝度値Ｙの画素の度数をＰＹとすると、Ｐ０＋Ｐ１＋・・・と累積度数を求めていき、累積度数が１７５０を越えた時の輝度値を黒位置の輝度値ＹＳＤとする。次いで輝度ＹＳＤの画素の平均色度を求める。前記の通り、輝度ヒストグラム作成時に各輝度値の色度の累積値が計算されている（輝度Ｎの画素の累積色度をＣ１Ｎｔｏｔａｌ，Ｃ２Ｎｔｏｔａｌとする）ので、黒位置である輝度値ＹＳＤの画素の平均色度Ｃ１ＳＤ，Ｃ２ＳＤを求める。
Ｃ１ＳＤ＝Ｃ１ＹＳＤｔｏｔａｌ／ＰＹＳＤ
Ｃ２ＳＤ＝Ｃ２ＹＳＤｔｏｔａｌ／ＰＹＳＤ
同様に白位置の決定を行う。Ｐ２５５＋Ｐ２５４＋・・・と累積度数を求めていき、該累積度数が１７５０を越えた時の輝度値を黒位置の輝度値ＹＨＬとする。次いで輝度ＹＨＬの画素の平均色度Ｃ１ＨＬ，Ｃ２ＨＬを求める。
Ｃ１ＨＬ＝Ｃ１ＹＨＬｔｏｔａｌ／ＰＹＨＬ
Ｃ２ＨＬ＝Ｃ２ＹＨＬｔｏｔａｌ／ＰＹＨＬ
以上の演算を行うことにより、［Ｃ１，Ｃ２，Ｙ］色空間において、白位置（Ｃ１ＨＬ，Ｃ２ＨＬ，ＹＨＬ）と黒位置（Ｃ１ＳＤ，Ｃ２ＳＤ，ＹＳＤ）を求めることができる。
【００５９】
尚、本実施形態では輝度値０と輝度値２５５の輝度位置から累積度数を求めたが、輝度値１と輝度値２５４から求めるなど、所定のオフセットを与えても良い。
【００６０】
以上のようにして、図３のステップＳ１において、白位置（ハイライトポイント）／黒位置（シャドーポイント）を決定する。
【００６１】
次に、図３のＳ２において、図３−Ｓ１で決定された白位置および黒位置に基づいた画像補正処理を行う。本実施形態では画像補正処理として、原画像の色かぶりを補正する色かぶり補正、原画像の露出を最適化すべく輝度のコントラストを補正する露出補正、および出力画像の色のみえを良くするための彩度補正を行う。
【００６２】
図９は、画像補正処理部１１３により図３のステップＳ２で行われる補正処理の流れを示している。すなわち、まず色かぶり補正のための回転行列を求め、次にその回転行列を用いて色バランス（色かぶり）を補正し、最後に画像の露出の状態に応じて、輝度信号のガンマ変換を行う。これら各処理を、順を追って説明する。
【００６３】
（色かぶり補正）
上記の通り原画像の（Ｃ１，Ｃ２，Ｙ）色空間における白位置、黒位置が求められたら、引き続いて色かぶりの補正を行う。
【００６４】
もし原画像に色かぶりが無く理想的な画像であるとすれば、無彩色はＲ＝Ｇ＝Ｂであり、白位置、黒位置の色度の演算値は「Ｃ１ＨＬ＝Ｃ２ＨＬ＝Ｃ１ＳＤ＝Ｃ２ＳＤ＝０」となる。しかし色かぶりがある場合には、かぶっている色相方向に、かぶっている程度に比例して、（Ｃ１ＨＬ，Ｃ２ＨＬ，ＹＨＬ）と（Ｃ１ＳＤ，Ｃ２ＳＤ，ＹＳＤ）を結ぶ直線（色立体軸）に傾きが生じる。（図５（ｂ））色かぶり補正は現画像の色立体軸とＹ軸（輝度軸）が一致する様に変換することで達成できる。変換は色立体を回転、平行移動させることでも達成できるし、座標系を変換することでも達成できる。
【００６５】
本実施形態ではまず原画像の色立体において、色立体軸の最低輝度点（下端点）を回転中心として、色立体軸をＹ軸と平行となる様に回転させる。次いで前記最低輝度点の位置が（Ｃ１，Ｃ２，Ｙ）空間の原点となるように座標系を変換する。以上の処理により、最低輝度点が原点で、色立体軸がＹ軸と一致する変換結果が得られる。なお、図５（ａ）は色かぶりのない理想的な画像データの色分布を示す色立体である。上述の変換により、変換後の色立体は、理想的な色立体（図５（ａ））に近づけられる。
【００６６】
なお、色立体軸をＹ軸と平行に回転させる回転変換にあたっては、シャドーポイント及びハイライトポイントの座標値から、回転変換の回転軸及び回転角は簡単に決めることができる。３次元空間上で、立体を所望の回転軸周りに所望の角度で回転させる回転行列を求める手法は公知の技術であるので、この詳細な説明は省略する。
【００６７】
以上の様に、原画像の各画素を、色度と輝度とを軸とする３次元色空間の画素データ（Ｃ１，Ｃ２，Ｙ）に変換し、その画像データを、黒位置と白位置とを結ぶ色立体軸（グレーライン）がＹ軸と一致し、かつ最低輝度が座標原点となるような画素データ（Ｃ１’，Ｃ２’，Ｙ’）に回転、平行移動変換することにより、色かぶりの補正を行うことが可能となる。
【００６８】
（コントラスト及び彩度の調整）
次にコントラスト及び彩度の調整による画像のさらなる高品質を実現するために、画像の露出オーバー／アンダーを簡易的に判定し、それに応じて輝度信号にガンマ補正をかける方法を説明する。
【００６９】
なおこの処理は主にカラーバランス補正の一部であり、上述したような撮影条件データ１０６に含まれる露出データは考慮しておらず、後述する露出データの値を加味した明るさ補正とは異なる。
【００７０】
コントラストの調整は、黒位置（シャドーポイント）の輝度を“０”あるいはそれに近い値（例えば“１０”）に調整し、白位置（ハイライトポイント）の輝度を“２５５”あるいはそれに近い値（例えば“２４５”）に調整することで行う。
【００７１】
次に、画像の露出のオーバー・アンダーを簡易的に判定し、画像データに対してそれに応じたガンマ補正を施す際の一実施例を示す。
【００７２】
まず、補正する色立体軸と輝度（Ｙ）軸とが最小距離となる点、つまり図５（ｂ）におけるＴ，Ｔ’を求める。これは幾何学的な関係から簡単に求めることができる。
【００７３】
そして、点Ｔ’の色かぶり補正後の輝度成分ＹＴ’が点Ｔの輝度成分ＹＴとなるようにコントラストを調整する。つまり図６に示すように（ＹＴ’，ＹＴ）を屈折点とし、色かぶり補正後の輝度Ｙ’がＹＴ’より小さい場合は、輝度を直線ａとして与えられる関数によりＹ”に補正し、ＹＴ’より大きい場合は、直線ｂとして与えられる関数によってＹ”に補正する。
【００７４】
もちろん、このＴ，Ｔ’を使わずに、図６の直線Ｉ２で与えられるような補正をおこなってもよい。色立体軸が輝度軸と並行になる場合は、点Ｔ，Ｔ’は１対１ではないし、また、Ｔ，Ｔ’が輝度の範囲［０，２５５］の外にある場合には、点（ＹＴ’，ＹＴ）を屈折点とすることはできない。このような特殊なケースでは直線Ｉ２に従って補正すればよい。
【００７５】
この２直線の最近接点Ｔ，Ｔ’を用いた補正の効果は、とくに露出のオーバーあるいはアンダーの画像に作用する。露出がオーバーになるのは空などの明るいところに画像全体が引っ張られるためである。この際デジタルカメラを代表する入力機器では、高輝度色抑圧が行われ、高輝度部の彩度がおとされる。すなわち、高輝度色抑圧の行われた画像の色立体軸を、図７（ａ）に示すように彩度と輝度とを軸とする２次元平面で考えると、高輝度の部分でもっとも無彩色に近い画素があらわれる。逆に、露出アンダーの画像に対しては低輝度色抑圧がかかるため、図７（ｂ）のように、低輝度の部分で彩度が低くなる。
【００７６】
実際の画像で色立体の輝度軸を輝度−彩度平面で考えると露出オーバーの画像に関しては例えば、図７（ｃ）のようになる。逆にアンダーの画像に関しては例えば、図７（ｄ）のようになる。そもそも本来あるべき（理想的な状態の）色立体から、なんらかの撮影状況や入力時（Ａ／Ｄ変換時）の影響で実際の色立体がずれるのだと考えれば、Ｔ，Ｔ’の位置がもっともズレの小さい場所と考えられる。従って、本発明の一実施の形態はこれを戻してやることで簡易的に適切なグレー、つまり全体の明るさ補正を行うものである。
【００７７】
もちろんこのＴを単に画像の露出オーバー・アンダーを簡易的に判定する手段として用い、あらかじめアンダー用のＬＵＴ（ルックアップテーブル）、オーバー用のＬＵＴを用意し、点ＴあるいはＴ’の輝度成分に応じて輝度信号のガンマ調整を行ってもよい。例えば、図６の点（ＹＴ’，ＹＴ）を変曲点とするような曲線によってコントラストの調整を行ってもよい。従って、このＴ，Ｔ’の値によって簡易的に画像が露出オーバーなのか、アンダーなのか判定できる。すなわち、色立体軸においてもっとも彩度の低い点である点Ｔ’の輝度成分が高輝度よりにあれば、その画像の輝度−彩度の関係は図７（ａ）のような傾向を示すし、逆に点Ｔ’の輝度成分が低輝度よりにあれば、その画像の輝度−彩度の関係は図７（ｂ）のような傾向を示す。したがって、高輝度色抑制及び低輝度色抑制された画像において、点Ｔ’の輝度成分が高輝度よりにあれば、その画像は露出オーバー傾向にあり、点Ｔ’の輝度成分が低輝度よりにあれば、その画像は露出アンダー傾向にあると考えられる。
【００７８】
一方、彩度調整は、色差Ｃ１，Ｃ２に彩度補正係数を乗ずることで簡単に行うことができる。例えば、彩度を２０％あげる場合は、補正後の彩度は補正前の１２０％となることから、彩度補正係数を１．２として計算する。すなわち、
Ｃ１”＝１．２×Ｃ１’
Ｃ２”＝１．２×Ｃ２’
として彩度補正を行うことができる。これは、
（彩度）＝ｓｑｒｔ（Ｃ１＾２＋Ｃ２＾２）
で定義されることによる。
【００７９】
（ＲＧＢ空間への逆変換）
以上で本実施形態における各種補正が終了する。この時点で原画像の各画素は（Ｒ，Ｇ，Ｂ）の色信号データから（Ｃ１”，Ｃ２”，Ｙ”）の色空間データに変換された状態にあるので、再度（Ｒ’，Ｇ’，Ｂ’）の色信号データに逆変換する。逆変換は以下の式により行う。
Ｒ’＝Ｙ”＋Ｃ１”
Ｇ’＝Ｙ”−（０．３／０．５９）＊Ｃ１”−（０．１１／０．５９）＊Ｃ２”
Ｂ’＝Ｙ”＋Ｃ２”
このようにして、原画像に対して、色かぶり，コントラスト、彩度が補正されたＲＧＢデータを得ることができる。
【００８０】
以上のように、本実施形態によれば、少ない処理負荷で確実に色かぶり補正が可能となる。
【００８１】
また、本実施形態によれば、サンプリング条件を原画像の画像データサイズに応じて設定しているので、入力画像にかかわらずヒストグラム総度数と、白位置及び黒位置を決定するための累積度数との関係をほぼ一定にすることができる。したがって、良好な色かぶり補正を実現することができる。
【００８２】
さらに、補正対象画像の色立体軸と輝度軸との距離が最短となる点における輝度を維持するように画像全体を非線形にガンマ補正することで、もっとも原画像の値に近いと考えられる輝度を維持しつつ、コントラストを補正することができる。
【００８３】
さらに、画像が露出オーバーであるか露出アンダーであるかという露出状態を簡単に得ることができる。さらに、その露出状態に応じて異なるテーブルを選択し、ガンマ補正を施すこともできる。ただし、この露出を調べる手段は、画像データをヒストグラム解析して簡易的に行うもので、撮影条件データ１０６を元に露出の状態を調べる方法とは異なる。
【００８４】
なお、サンプリングをライン単位でなくカラム単位で行っても構わない。
【００８５】
［第２の処理方法］
次に、上述した第１の処理方法に対して、補正度合いを考慮した第２の処理方法について説明する。
【００８６】
第１実施形態で説明したように、画像の色立体軸を求める際に、この軸の傾きがあまりにも大きい場合、これを無理に補正すると画像に不具合が生じる場合がある。これには例えば色フィルタなどをもちいて故意に色かぶりを起こしているような場合や、夕焼けのシーンを撮影した場合などが考えられる。
【００８７】
このような場合、求めたハイライトポイントとシャドーポイントが間違っていたと判断して補正を行わないか、または、回転角を適当に調整して補正度合いを弱めることで不具合をなくすことができる。このようなハイライトポイントとシャドーポイントが間違っていたという判定は、色立体軸の方向によって可能である。色立体軸の傾きから、どの色がかぶっているのか容易に判定できるので、特殊効果を得るために例えば色フィルタを用いて撮影された画像については色かぶりを補正しないというような判定もできる。
【００８８】
このような場合、原画像の色立体軸の方向ベクトルと、輝度軸とのなす角度に着目し、色かぶり補正を行うことで逆に不都合が生じると判定して処理を行わないか、または、処理の度合をゆるめる。例えば、色立体軸が赤の色相方向に向いており、その角度が所定の角度、例えば４０度以上の場合には、その画像は夕焼け画像のような本来色かぶりした画像であると判断する。処理の度合をゆるめる場合には、色立体軸を所定角度、例えば２０度だけ起こしたり、あるいは所定角度まで、例えばＹ軸に対する傾きが２０度になるまで起こすことで色かぶりを補正する。この変換のための回転行列は、回転軸と回転角度とから容易に求めることができる。
【００８９】
なお上記補正の度合いはユーザーがマニュアルで指定してもいいし、あらかじめ角度の大きさ、該色立体軸の方向に応じて設定しておいてもよい。例えば４０度の場合、該画像の色立体を２０度だけ回転して起こすとしたが、その補正の度合いをユーザに指定させてもよい。以後の処理は第１の処理方法と同様である。
【００９０】
また、原画像の色立体軸の方向によって、どの色がかぶっているのか容易に判定できるので、特殊効果を得るために例えば色フィルタを用いて撮影された画像については、フィルタの色方向に関しては補正しないというような判定もできる。すなわちこのような場合には、色かぶりを補正しない色を指定させ、Ｃ１−Ｃ２平面上において、補正を行わない色の方向に沿って回転変換の回転軸を設定し、その回転軸と色立体軸ｌとを含む平面が、Ｙ軸と平行になるまで色立体を回転変換する。こうすることで、特定の色成分についてだけ色かぶりを補正できる。
【００９１】
図１０は、色立体軸が所定角度以上傾いている場合には、別途指定された角度まで色立体を回転させるように、画像を補正するための処理手順である。まず、ステップＳ１０１でハイライト／シャドーポイントを決定し、ステップＳ１０２で色立体軸の傾きが所定角度以上であるか判定する。もし所定角度に達していなければ、ステップＳ１０４，Ｓ１０５で、第１の処理方法と同様に、色立体軸が輝度軸と一致するように変換して色かぶりを補正する。
【００９２】
一方、色立体軸が所定角度以上傾いていれば、色立体軸を、輝度軸に向かって２０度だけ回転させるような回転行列をステップＳ１０３で求め、ステップＳ１０５で、その回転行列を用いて色立体を回転させて色かぶりを補正する。この場合、ステップＳ１０３で用いた２０度という角度は、操作者がアプリケーションのユーザインターフェイス（ＵＩ）情で指定してもよいし，アプリケーションがデフォルト値として有していてもよい。
【００９３】
なお、しきい値を２段階設け、第１のしきい値（例えば４０度）より色立体軸の傾きが大きい場合には、色立体軸を完全なグレーラインにしない程度に色立体軸を起こす（例えば２０度）ように回転変換し、第１のしきい値と第２のしきい値（例えば２０度）との間の場合には、回転変換を行わず、第２のしきい値よりも傾きが小さい場合には、色立体軸を輝度軸と一致させるように回転変換を行うこともできる。このしきい値設定も操作者がユーザインターフェイス（ＵＩ）上で初期設定してもよいし、アプリケーションがデフォルト値として有していてもよい。このようにすることで、意図的に色かぶりが生じさせられた画像については、不都合な補正を行うことがない。
【００９４】
このように、画像データの画素により構成される色立体の軸の傾き、すなわち軸の方向と傾きの角度という２つの量から、補正するか否かのしきい値をすくなくとも２つ以上設定し画像を補正すべきか、すべきでない、補正度合いを調節すべきかの判定を行うことができ、非常に簡潔に特殊なケースの弊害だけをはじくことができる。
【００９５】
また、色立体軸の方向によって、どの色がかぶっているのか容易に判定できるので、かぶっている色方向に応じて色かぶりを補正しないようにすることもできる。
【００９６】
［第３の処理方法］
前記第１〜第２の処理方法では、画像のハイライトポイント・シャドーポイントに基づいた色バランス補正について説明したが、この他の基準点に基づく補正の実施例について以下説明する。
【００９７】
まず、ハイライトポイントおよびシャドーポイントにおける平均色差量△Ｅを求める。
△Ｅ＝ｓｑｒｔ（（Ｃ１ＨＬ−Ｃ１ＳＤ）＾２＋（Ｃ２ＨＬ−Ｃ２ＳＤ）＾２）
色立体軸が輝度軸と平行であればΔＥ＝０となるはずであるが、傾いていれば、０より大きな値となる。つまり、Ｅ（彩度）−Ｙ（輝度）平面で考えると図８のようになる。
【００９８】
次にハイライトとシャドーの間のサンプル輝度を数点用意する。そして、画像中で例えばこのサンプル輝度のうち所定の輝度Ｙｎの画素から、△Ｅｎより小さい彩度の画素を用いて、平均色差量を求める。ΔＥｎとしては、予め設定した一定彩度を用いてもよいし、また、色立体軸の傾き方向に限定した平均色差量を求めてもよい。
【００９９】
これらの数点の輝度について平均色差で最小二乗法的に直線を求め、これを原画像の色立体軸として第１の処理方法に基づく処理を行う。
【０１００】
あるいは、求められた色差及び輝度を要素とする点をＢシュプラインなどで近似曲線を求め、この曲線を輝度軸にする、すなわち色差を“０”とするように非線形の色バランス補正を行ってもよい。
【０１０１】
以上本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなく、クレームに示した範囲で種々の変形が可能である。
【０１０２】
このようにすることで、輝度軸となるべき線を、ハイライト及びシャドーだけではなく、画像全体から一様にサンプリングした画素から得ることができる。得られた線を輝度軸に一致するように画像データを変換することで、画像全体の特性を反映した色かぶり補正を行うことができる。
【０１０３】
ところで、ホワイトバランスがオートの場合、基準値からのズレ量によってカラーバランスの補正量を可変にしてもよい。例えば、ホワイトバランスがオートであるという情報の他に、ホワイトバランスが基準値からの青方向に大幅にずれているという情報を得た場合、カラーバランス補正は色差信号において青とは反対の黄色に傾きやすく閾値を設定してもよい。こうすることで、より精度の高い補正処理を施すことができる。
【０１０４】
《濃度補正》
次に、本実施形態の画像補正処理部１１３における濃度補正について説明する。これは画像条件データ１０６から露出に関する情報、またはストロボ発光ＯＮ／ＯＦＦ情報を読み取り、最適な明るさ補正（印刷濃度補正）を行うものである。
【０１０５】
（階調曲線判定）
図１１のステップＳ２では、図３Ｓ１で求めたヒストグラムに基づき補正条件設定処理（階調曲線判定処理）を行う。すなわち、予め用意されている複数の輝度補正用の階調曲線から、画像の解析結果に基づき階調曲線を選択する。
【０１０６】
本実施形態の階調曲線判定は、３つのパラメータ（ハイライトポイント、シャドーポイントおよび、ある輝度領域の画素数）に基づき画像の明るさを判定し、これに基づいて階調曲線を選択する。
【０１０７】
図１２は、階調曲線判定処理の詳細を示すフローチャートである。これを参照して本実施形態の階調曲線判定処理を説明する。
【０１０８】
▲１▼ハイライトポイント判定部
図１２ステップＳ２１のハイライトポイント判定処理では、上記ヒストグラムから処理対象である画像におけるハイライトポイントを算出する。
【０１０９】
本実施形態では、輝度信号Ｙのヒストグラムにおいて輝度範囲の最高輝度値（輝度値２５５）から、順に低輝度側に向かいながら各輝度値の度数を累積し、ここで求めた累積度数が、例えば、処理対象である画像データの全画素数の１．０％と一致した輝度値、または最初に全画素数の１．０％を越えた輝度値を求め、この点をハイライトポイント（以下、「ＨＬＰ」という）とする。
【０１１０】
次に、ＨＬＰを予め定られた複数の閾値Ｔｈ＿Ｈ１、Ｔｈ＿Ｈ２、・・・（Ｔｈ＿Ｈ１＜Ｔｈ＿Ｈ２＜・・・）と比較し、ヒストグラムの高輝度領域における分布を解析する。
【０１１１】
例えば、本実施形態では、図１３に示されるように、下から順番に２００、２３０の値が設定されている２つの閾値を用いた場合を説明する。
【０１１２】
そして、ＨＬＰ＜Ｔｈ＿Ｈ１のときは、画像を高輝度領域が少なくかつ暗い画像と判定し、Ｔｈ＿Ｈ１≦ＨＬＰ＜Ｔｈ＿Ｈ２のときは、画像を高輝度領域の分布もあるが全体的に暗い画像と判定し、Ｔｈ＿Ｈ２≦ＨＬＰのときは、画像を高輝度領域に分布の多い明るい画像と判定する。
【０１１３】
例えば、図１４に示す明るめの画像のヒストグラムでは、ＨＬＰが閾値Ｔｈ＿Ｈ２を越えて（ＨＬＰ＞Ｔｈ＿Ｈ２）おり、高輝度領域に多く分布がある画像と判定する。図１４のヒストグラムは全体的に高輝度側に分布が偏っており、結果的にＨＬＰも高輝度側に位置している。こういった分布を示す画像は一般的に明るい画像が多い。
【０１１４】
図１５に示すヒストグラムでは、ＨＬＰが閾値Ｔｈ＿Ｈ２よりも低くＴｈ＿Ｈ１より高く（Ｔｈ＿Ｈ１＜ＨＬＰ≦Ｔｈ＿Ｈ２）、高輝度領域にある程度分布があるが、明るくはない画像と見なすことができる。図１５のヒストグラムは、輝度は大まかに中間的な分布を示し、ＨＬＰも図１４より比較的低輝度側に位置することから、このように判断することができる。
【０１１５】
図１６に示すヒストグラムでは、ＨＬＰが閾値Ｔｈ＿Ｈ１よりも低く、高輝度領域に分布がない画像となる。この場合、ヒストグラムは低輝度側に偏り、全体的に暗い画像であることが分かる。また、ＨＬＰが低いということはすなわち、階調レベルが狭いことも意味する。こういった画像に対してはγ補正で明るくするか輝度値を高輝度側に引き延ばして明るくするといった補正が必要となる。
【０１１６】
なお、ＨＬＰの算出は、必ずしも上述した方法によって求める必要はなく、従来知られている方式を適宜用いてもよい。
【０１１７】
また、他の画像補正処理、例えば前述したいわゆる色かぶり補正、コントラスト補正、彩度補正と組み合わせて本実施形態の自動階調補正処理を行う場合には、この画像処理で予め用いたＨＬＰを使用することもできる。なお、この場合、ハイライトポイントを用いる代わりに、上記色かぶり補正等で同様に用いられるシャドーポイントを用いて画像の明るさ（暗さを）判別することができ、これに基づいて以下の処理を行うことができることは、以下の説明からも自明なことである。
【０１１８】
▲２▼ヒストグラムのバランス判定
図１２ステップＳ２２において、図１１のステップＳ１で求めたヒストグラムを用いてヒストグラムのバランス判定を行う。
【０１１９】
ヒストグラムのバランス判定処理では、ステップＳ２２で処理対象画像の全画素数に対する所定の領域の累積度数の割合であるＳｌｏｗを求める。つまり例えば２５６階調の画像に対して、輝度値０から１２８まで（ヒストグラムの半分）の累積画素数の全画素数に占める割合を求め、その画像のヒストグラムの全体的なバランスを解析する。
【０１２０】
まず、ある輝度領域（０〜１２８）の累積度数Ｓを求める。この累積度数Ｓは、ヒストグラムにおいて輝度範囲の最低輝度値（輝度値０）から高輝度側に向かって所定の輝度値までの累積度数として求められる。本実施形態では、最大輝度値（輝度値２５５）の１／２となる輝度値（輝度値１２８）までの累積度数を低輝度領域の累積度数Ｓとして求めたが、もちろん他の値を用いてもよい。
【０１２１】
次に、累積度数Ｓが、全画素数に占める割合Ｓｌｏｗを以下の式を用いて算出する。
【０１２２】
Ｓｌｏｗ＝（ある輝度領域の累積度数Ｓ）／（全画素数）（％）
なお、前述のヒストグラム集計の際に、画素を間引いて、間引きヒストグラムを作成した場合には、上記Ｓｌｏｗの定義式での分母をヒストグラム作成の対象となった画素数にする。
【０１２３】
次に、上記で求めたＳｌｏｗを用いて再び閾値判定を行う。これは、ヒストグラムの下半分の全体に占める割合を算出することで、その画像の全体的な輝度のバランスを調べるものである。上述のハイライトポイント判定において、ヒストグラムの高輝度領域の分布状態に応じて画像を数種類に分類したが、図１３に示すように、それぞれの場合に対応させて閾値を設け、ヒストグラムのバランス度合いを判定する。
【０１２４】
例えば、図１４に示す明るめの画像の場合、輝度値１２８までの全画素数に対する割合がＳｌｏｗとなる。この例では、Ｓｌｏｗは全画素数の２０％である。従って、上記ＨＬＰ判定で明るい画像と判断されるとともに、Ｓｌｏｗは、１６〜５０の範囲と判定される。
【０１２５】
一方、図１６に示す暗めの画像の例では、輝度値１２８までの領域Ｓｌｏｗは、全画素数の６０％となり、したがって、上記ＨＬＰ判定で暗い画像と判断されるとともに、Ｓｌｏｗは５０〜８０の範囲と判定される。
【０１２６】
ある輝度領域における累積度数の割合を用いず、ヒストグラムの中間値や平均値のみを用いてヒストグラムのバランスを判定する方法では、ヒストグラムの実際の分布状態が適切に反映されていない画像の明るさについての判定を行うこととなる。例えば、中間値や平均値自体は比較的高めの輝度値を示しつつも、実際には、中間値や平均値周辺の輝度値に度数分布のピークがあって低輝度領域の度数分布自体は少ない画像の場合、明るめの画像であると誤った判定をして濃度を高くする輝度補正が選択され、結果として画像上の比較的大きな部分を占める暗い部分が潰れてしまうことがある。
【０１２７】
これに対し、本実施形態のように、ヒストグラムの下半分となる輝度値０〜１２８の領域における累積度数を求め、この累積度数の全画素数に占める割合Ｓｌｏｗを用いることにより、より実際のヒストグラムのバランスが反映された画像の明るさの分布の判定を行うことができ、上述のような、暗めの画像についても適切な階調補正を行うことができる。
【０１２８】
なお、上記実施形態では、Ｓｌｏｗの範囲について輝度値０〜１２８の範囲を均等に区分したが、より詳しく低輝度領域の情報を求める場合は、低輝度領域をいくつかに分割してそれぞれに対して場合分けを行ってもよいし、また、Ｓｌｏｗが０〜６４までは２倍、６５〜１２８までは１倍して足し合わせるといった重み付けをしてもよい。
【０１２９】
このような場合わけによりヒストグラムのバランスを一層正確に判定できる。
【０１３０】
▲３▼シャドーポイント判定
ステップＳ２３のシャドーポイント判定処理では、まず、上記ヒストグラムから処理対象である画像におけるシャドーポイントを算出する。
【０１３１】
本実施形態では、ヒストグラムにおいて輝度範囲の最低輝度値（輝度値０）から、順に高輝度側に向かいながら各輝度値の度数を累積し、ここで求めた累積度数が、例えば、処理対象である画像データの全画素数の１．０％と一致した輝度値、または最初に全画素数の１．０％を越えた輝度値を求め、この点をシャドーポイント（以下、「ＳＤＰ」ともいう）とする。
【０１３２】
次に、ＳＤＰを輝度値について予め定めた複数の閾値Ｔｈ＿Ｓ１、Ｔｈ＿Ｓ２、・・・（Ｔｈ＿Ｓ１＜Ｔｈ＿Ｓ２＜・・・）と比較し、ヒストグラムの低輝度領域における分布を解析する。
【０１３３】
なお、本実施形態で用いるシャドーポイント判定はハイライトポイント判定やヒストグラムのバランス判定を行った後に行っているので、図１３に示されるように、シャドーポイントの閾値はハイライトポイントやヒストグラムのバランス判定の結果に応じて異なる値を設定する。
【０１３４】
そして、ＳＤＰ≧Ｔｈ＿Ｓ２のときは、画像は低輝度領域が少なくかつ明るい画像と判定し、Ｔｈ＿Ｓ１≦ＳＤＰ＜Ｔｈ＿Ｓ２のときは、画像は低輝度領域の分布もあるが全体的に明るい画像と判定し、ＳＤＰ＜Ｔｈ＿Ｓ１のときは、画像は低輝度領域に分布の多い暗い画像と判定する。
【０１３５】
例えば、図１４に示す明るめの画像のヒストグラムでは、ＳＤＰが閾値Ｔｈ＿Ｓ２を越えて（ＳＤＰ＞Ｔｈ＿Ｓ２）おり、従って、低輝度領域に分布がない画像と判定される。この場合、前述したようにヒストグラムは全体的に高輝度側に分布が偏っており、結果的にＳＤＰも比較的高輝度側に位置している。また、ＳＤＰが高いということはすなわち、階調レベルが狭いことも意味する。こういった画像に対してはγ補正で暗くするか輝度値を低輝度側に引き延ばして暗くするといった補正が必要となる。
【０１３６】
一方、図１５に示すヒストグラムでは、ＳＤＰが閾値Ｔｈ＿Ｓ２よりも低くＴｈ＿Ｓ１より高く（Ｔｈ＿Ｓ１＜ＳＤＰ≦Ｔｈ＿Ｓ２）、低輝度領域にある程度分布はあるが暗くはない画像と判定される。この場合、輝度は中間的な分布となり、ＳＤＰも比較的低輝度側に位置することから、このような判定が行われる。
【０１３７】
次に図１６に示すヒストグラムでは、ＳＤＰが閾値Ｔｈ＿Ｓ１よりも低く、低輝度領域に多く分布がある画像となる。この場合、ヒストグラムは低輝度側に偏り、全体的に暗い画像であることが分かる。
【０１３８】
▲４▼補正階調曲線決定
以上のヒストグラムにおける高輝度領域の分布の詳細（ハイライトポイント）、ヒストグラムのバランス度Ｓｌｏｗ、低輝度領域の分布の詳細（シャドーポイント）の３つのパラメータにより、処理対象画像は、図１３に示されるように、その種類に応じて複数に分類されることになる。そして、次のステップＳ２４では、図１３に示すテーブルを用いて補正階調曲線を決定する。
【０１３９】
本実施形態の階調曲線は、図１３に示す補正テーブルから明らかなように、３つのパラメータに応じてその画像種を総合的に判断し、例えばハイライトポイントが比較的低ければ、高輝度領域をカットしてヒストグラムを高輝度側へ引き延ばすような処理を盛り込んだ階調曲線を選択する。また、ヒストグラムのバランスを整えたい画像に対してはγ補正を行う階調曲線を選択する。ヒストグラムのバランス度Ｓｌｏｗが低輝度領域に偏っていれば、γ値を変換するなどして画像全体を明るくする処理を盛り込んだ階調曲線を選択する。さらにシャドーポイントが比較的高ければ、低輝度領域をカットしてヒストグラムを低輝度側へ引き延ばすような処理を盛り込んだ階調曲線を選択する。上記複数に分類された画像に関する階調曲線の決定は、図１３に示す判定表を用いる。
【０１４０】
例えば上記ＨＬＰが２４５と高く、Ｓｌｏｗが２０％で、ＳＤＰが６０と比較的高い画像の場合、低輝度領域２０以下をカットする階調曲線を選択する。
【０１４１】
図１４に示す明るめの画像の場合、ＨＬＰは閾値Ｔｈ＿Ｈ２より大きく且つＳｌｏｗは２０％であり、ＳＤＰは閾値Ｔｈ＿Ｓ２より大きいので、図１３に示すテーブルより、この画像は明るい画像と判定され、γ値は１．１に設定される。このγ値決定により、比較的高い輝度領域まで暗くする（印刷濃度を高くする）補正がなされ、全体的に最適な濃度の印刷画像となる。また、低輝度領域の画素に割合が少ないことから、画像の潰れる部分が少なくて済む。
【０１４２】
次に、図１５に示すヒストグラムのバランスが中間的な画像では、ＨＬＰがＴｈ＿Ｈ１より大きくＴｈ＿Ｈ２より小さい。且つＳｌｏｗが４０％であり、ＳＤＰがＴｈ＿Ｓ１より大きくＴｈ＿Ｓ２より小さいため、図１３に示すテーブルによって、補正階調曲線をＳ字のものにすることでコントラストを強調することができる。こうして、印刷される画像全体にメリハリがつき、見栄えのする印刷画像となる。
【０１４３】
一方、図１６に示す暗い画像では、ＨＬＰがＴｈ＿Ｈ１より小さく且つＳｌｏｗが６０％であり、ＳＤＰはＴｈ＿Ｓ１より小さいため、図１３に示すテーブルによって、高輝度領域において２００以上をカットする直線を選択する。これにより、印刷される画像全体が明るくなり、特に画像のヒストグラムが高輝度側に拡張され、コントラストのある濃度のバランスがとれた印刷画像となる。
【０１４４】
なお、上記の説明では、▲１▼ハイライトポイント判定において、画像の高輝度領域の明るさの判定を３段階で行ったが、より最適な階調曲線を求めるために、さらに分岐数を増やし、４段階以上に場合分けしてより詳細な判定を行ってもよい。また、▲２▼ヒストグラムのバランス判定や▲３▼シャドーポイント判定においてもより詳細な判定を行うため、分岐数の数を増やしてもよい。
【０１４５】
（ＬＵＴ作成）
以上説明した階調曲線判定処理（図１１のステップＳ２）を終了すると、図１１に示すステップＳ３でＬＵＴ作成を行う。階調曲線判定処理で得られた階調曲線を作成するパラメータに基づいて輝度補正のためのルックアップテーブル（ＬＵＴ）を作成する。
【０１４６】
本実施形態のＬＵＴは、上述のようにして得られた階調曲線を指数関数と５次関数して記録しておく。つまり単純にγ補正だけする場合は指数関数（図１７）を用い、高輝度または低輝度領域をカットする直線およびより複雑な曲線で補正する場合は５次曲線（図１８）を用いる。
【０１４７】
すなわち、ＬＵＴ  Ｌ［Ｙ］は、γ補正のみを行う指数関数の場合、入力輝度信号をＹ、出力輝度信号をＹ‘とすると、
Ｙ’＝２５５×［（Ｙ／２５５）１／γ］
なる式によって表される変換を行い、判定結果によりγ値が与えられる。
【０１４８】
一方、５次曲線の場合、
Ｙ’＝Ａ＋Ｂ×Ｙ＋Ｃ×Ｙ＾２＋Ｄ×Ｙ＾３＋Ｅ×Ｙ＾４＋Ｆ×Ｙ＾５
なる式によって表される変換を行い、係数となるＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを与えることにより５次曲線が完成する。また、それらは動的に作成されるものである。すなわち、対象画像の処理ごとに作成される。このように補正テーブルを動的に作成することにより、必要となるメモリ量を削減することができる。
【０１４９】
なお、上記ＬＵＴは、動的に作成する代わりに上記階調曲線毎に、予めメモリ上に静的に用意してもよいことは勿論である。
【０１５０】
（補正）
次に、図１１に示すステップＳ４において、輝度信号Ｙの補正を行う。すなわち、作成したＬＵＴ  Ｌ［Ｙ］によって、入力画像の輝度値ＹをＹ’＝Ｌ［Ｙ］として変換し、輝度補正を行う。
【０１５１】
さらに、輝度補正された輝度信号Ｙ’および入力画像の色差信号Ｃｒ、ＣｂをＲ、Ｇ、Ｂの各信号に戻し、補正された画像信号Ｒ’Ｇ’Ｂ’を作成する。
【０１５２】
本実施形態よれば、ヒストグラムにおいて、画像データの明るさに関する成分値の範囲においてその最大値または最小値からの累積度数が所定の値を示す成分値が求められるので、画像の全体的な明るさを知ることができ、また、最小値または最大値から所定の成分値までの累積度数のヒストグラムの全画素数に占める割合が求められるので、画像の明るさの分布を知ることができる。そして、これらの成分値および割合に基づいて明るさの分布が判別され、その判別に基づいて補正の階調曲線が定められるので、画像の全体的な明るさ毎にその明るさの分布と補正階調曲線との対応を異ならせることができる。
【０１５３】
つまり、ハイライトポイント、ヒストグラムのバランス度、シャドーポイントの３つのパラメータを用いて最終的に複数の補正階調曲線の中から、その画像に最適な補正階調曲線を一つ選択することができる。
【０１５４】
これにより、例えば、全体的に暗い画像では、より明るくする（印刷画像においてより濃度を低くする）補正に対応する明るさの分布で、暗い範囲を示す分布を小さなものとでき、これにより、印刷画像における明るさのバランスをより好ましいものにできる。一方、全体的に明るい画像ではより暗くすることで、印刷画像においてより濃度を高くでき、これにより、印刷デバイスが本来的に比較的低い濃度しか実現できないという濃度出力特性を補って全体的に高い濃度の印刷を行うことができる。また、元々ダイナミックレンジが狭い画像では、その幅を広げることにより、コントラストがついた、メリハリがあり見栄えのする画像の印刷を行うことができる。
【０１５５】
なお、本実施形態では図１２の順で判定を行ったが、順番が変わってもよい。
【０１５６】
また、ＨＬＰ、ＳＤＰの算出は、必ずしも上述した方法によって求める必要はなく、従来知られている方式を適宜用いてもよい。
【０１５７】
ところで前述したように、高輝度領域における明るさの分布を調べるためにハイライトポイントを用い、低輝度領域における明るさの分布を調べるためにシャドーポイントを用いた。しかし例えばハイライトポイントの変わりになる別のパラメータで高輝度領域の明るさの分布の詳細が分かればそれを用いてもよい。つまりヒストグラムの最大値からある輝度値（例えば輝度値２２０）までの累積度数の全画素数に占める割合を求め、その値から高輝度領域の明るさの分布判定を行ってもよい。その場合、ハイライトポイントと同様、該パラメータに対して複数の閾値を設け、場合分け判定を行う。もちろん低輝度領域においてもシャドーポイントの代わりに、ヒストグラムの最小値からある輝度値（例えば輝度値３０）までの累積度数の全画素数に占める割合を求め、同様の判定を行えばよい。
【０１５８】
また、上述の実施形態では、輝度値Ｙに関する補正について説明したが、Ｒ、Ｇ、Ｂの各信号に対して直接同様の補正を行っても良い。この際、上述のＬＵＴを用い、そのＬＵＴにおいてＹの代わりにＲ、Ｇ、Ｂ、Ｙ′の代わりにＲ′、Ｇ′、Ｂ′を用いて補正を行うことができる。Ｒ、Ｇ、Ｂ信号に対する補正は、ＲＧＢ―ＹＣｒＣｂ変換が不要であるため、処理速度の向上を図ることができる。
【０１５９】
なお、露出設定がオートの場合、自動的に上述の処理を加えるが、例えば露出がオートであってさらに基準値からの変更量がわかれば、それに応じて上述の処理内容を設定変更してもよい。
【０１６０】
つまりは、図１３に示したＨＬＰ、Ｓ１２８、ＳＤＰの閾値の設定は、撮影条件データ１０６の露出の値を用い、例えば露出が基準値より小さい場合、図１３の閾値を変更して全体的に明るい補正がなされやすいようにすると、暗く撮影された画像を適度な明るさに補正することができる。また一方で、露出の値が大きい場合、露出オーバーになる可能性があるので、全体的に明るさを下げるように図１３の閾値をそれに合わせて設定変更すればよい。
【０１６１】
＜デジタルズームＯＮ／ＯＦＦ情報＞
ところで、近年のデジタルスチルカメラは光学的に被写体をズームイン／アウトするほかに、デジタル処理を加えることにより、画像の拡大処理を行うことができる。デジタルズームは画像サイズを単純に有理数倍するものが多く、輪郭部分が見た目にガタガタになりやすくなる（ジャギー）。また拡大方法にはニアレストネイバー法、バイリニア法、バイキュービック法といった手法が一般に用いられている。
【０１６２】
撮影条件データ１０６にデジタルズームの倍率や拡大処理法などが書き込まれた場合、それらを元に画像に対して輪郭を滑らかに処理するスムージング処理を行ってもよい。例えば特開平１１−３３１５６５で発案されたように低解像度の画像に拡大処理を行い、高解像度に仕上げる方法が知られている。一方、そのようなスムージング処理の係数（処理度合い）はデジタルズームの倍率や拡大処理方法によって可変に行うのが望ましい。つまりデジタルズームの倍率が低いほど、スムージングの度合いを弱めたり、拡大処理の雑なニアレストネイバー法では逆にスムージングの度合いを強めてもいい。この一連の処理を図１９に示す。
【０１６３】
＜ストロボ発光ＯＮ／ＯＦＦ情報＞
また、撮影条件データ１０６よりストロボが発光したという情報を得た場合、上記と同様に濃度補正処理の内容を変更してもよい。例えば図１３に示したテーブルの他に、ストロボ発光用のテーブルをもう一つ設け、ストロボがＯＦＦの場合は従来の図１３のテーブルを用いるが、ストロボがＯＮの場合には新しい別のテーブルを用いることで、より精度の高い画像補正が可能になる。
【０１６４】
ストロボ撮影の場合は、主に夜景撮影や暗室撮影などといったように、画像全体が暗く撮影されがちである。この場合、明るく補正されやすいようにテーブルの閾値を変更する必要がある。また、ストロボに反射された被写体は青白く写る傾向がある。この場合、被写体を色味的に黄色く明るさを押さえる補正を加えるとよい。一方で、被写体の背景はストロボの光が届かず、暗く階調がつぶれた画像になりがちである。つまり、階調の低い部分は輝度を上げて階調を出す処理が必要になる。
【０１６５】
こうした処理を加えることで、撮影時にストロボ発光された画像に関して最適な処理を行うことができる。
【０１６６】
＜撮影シーン情報＞
被写体によって撮影モード（風景モード、人物モード、マクロ撮影モードなどが挙げられる）を切り替えたときに、撮影条件データ１０６に撮影シーン情報が付加される場合を考える。その場合、その情報を元により最適な記憶色再現補正を行うことができる。例えば風景モードの場合、空や草木が主な被写体になりうる。そこで図３Ｓ２の画像補正処理部で、青や緑の彩度を上げ、コントラストを高める処理を行ってもよい。また、シャープネスフィルタを施すことによって、風景画像をより見栄えのする画像に仕上げることができる。彩度を上げる場合、各色相毎に彩度拡張係数を求め、元の彩度値にこの係数を掛け合わせることで、彩度補正を行うと少ないメモリ量で効果を上げることができる。
【０１６７】
一方で、人物モード撮影の場合、図３Ｓ２の画像補正処理部で肌色領域の彩度、輝度をより好ましい色に補正する処理を追加してもよい。また、ぼかしフィルタを用いて画像全体をぼかすのも、人物画像をよりきれいに見せるための方法の一つでもあり、撮影条件データを用いることで自動処理が可能となる。
【０１６８】
上述した実施の形態では、ホワイトバランス、露出、ストロボ、撮影シーン及びデジタルズームなどの撮影条件データを読みとった場合の補正方法を説明してきた。しかしながら、複数の画像補正処理を行うと同様の処理が重複してしまったり、先の補正で強調した部分を次の補正では弱めてしまったりする場合がある。
【０１６９】
例えば上述したカラーバランス補正と濃度補正では、両方にハイライトポイントとシャドーポイントを用いたコントラスト強調処理が含まれている。このような場合、１度で十分なコントラスト処理を２度かけてしまうことになり、ユーザの意図に反する画像に仕上がってしまう。
【０１７０】
また、デジタルズーム情報より画像にスムージングをかけても、撮影シーン情報が風景モードの場合、その後にシャープネスフィルタをかけてしまうと、先のスムージング処理の効果を打ち消してしまう。
【０１７１】
こういった複数の処理を一つの画像にかけることによる弊害を防ぐため、処理に規制をかける必要がある。本実施例では、各画像補正処理の順番に優先順位をつける。
【０１７２】
まずはじめに図２０に示すように、カラーバランス情報、露出情報、ストロボ情報、撮影シーン情報、デジタルズーム情報のそれぞれに対し、どの判定がなされたかをメモリ部に格納する。
【０１７３】
次に図２０Ｓ１で、デジタルズーム情報によりスムージング処理を行う。低解像度の画像を高解像度にするこの処理は、画像全体の色味や明るさに影響を及ぼさないと考えられるので、最初に行うのが望ましい。
【０１７４】
次に図２０Ｓ２で、露出情報より判定された明るさ補正の度合いから、コントラストが強調される判定がなされた場合、最初に補正処理を行うカラーバランス補正のうちのコントラスト補正は行わない（ＯＮへ）。一方、明るさ補正で単なるガンマ補正のみ行うと判定された場合（コントラスト強調は行われない場合）、コントラスト補正を含むカラーバランス補正を行う。こうすることで、コントラスト補正が明るさ補正とカラーバランス補正の両方で２重にかかるのを防ぐことができる。
【０１７５】
次に図２０Ｓ３で明るさ補正を行うが、ストロボ情報がＯＮかＯＦＦかを参照し、ＯＮならば明るさ補正のテーブルはストロボ用のテーブルを参照し、ＯＦＦなら図１３に示す従来のテーブルを参照する。こうすることで、露出、ストロボ情報から得られた最適な明るさ補正を画像に施すことができる。
【０１７６】
最後に図２０Ｓ４で、撮影シーン情報を元に記憶色再現補正を行う。ここではカラーバランス補正において彩度調整を行った場合、彩度拡張係数をそれに合わせて小さく設定してもよい。また、デジタルズーム補正でスムージングの度合いが大きい場合、人物モードでぼかしをかける度合いも小さく設定するべきである。
【０１７７】
こうして複数の画像補正処理を行う場合、それぞれの処理を行う順番に優先順位をつけ、また諸条件において処理に重み付けをし、ある補正処理を行うと別の処理は行わないといった制約事項を設けることで、最終的に無理、無駄のない画像補正ができる。
【０１７８】
（マニュアルモード通知機能）
撮影情報データがマニュアル撮影を示す画像に対する画像補正処理部１１３の処理内容について述べる。まず撮影条件データ１０６にある、ホワイトバランス、露出、ストロボ発光ＯＮ／ＯＦＦに関する情報を読みとり、それらが自動撮影（オートモード）ならばそれぞれの画像補正を行う。しかしながらユーザの手動設定撮影（マニュアル撮影）の場合、上述したように自動的に画像補正処理をかけてしまうと、ユーザの意図に反した画像に仕上がってしまう。そこで各情報がマニュアル撮影の場合、自動補正処理をかけるべきか、補正をかけないべきかユーザに知らせる必要がある。
【０１７９】
近年のデジタルスチルカメラには、ホワイトバランスはオートまたはマニュアルモード（晴天、曇天、タングステンランプ、蛍光灯など）といったように複数用意されている。ユーザはオート以外の設定を選ぶときには、上記の中から撮影状況にあったモードを選ぶ必要がある。つまりユーザの意図が撮影画像に反映されるわけで、これをモニタやプリンタに画像出力の際、画像補正処理を自動に行ったのでは撮影者の意図にそぐわない場合もある。そこで撮影設定がマニュアルの場合、画像補正処理を自動に行うのではなく、処理を行うべきかユーザに確認をとる必要がある。
【０１８０】
露出に関しても同様で、オート以外にマニュアルの場合、ユーザが自身で露出の度合いを設定できる。この状況でもホワイトバランスと同様で、ユーザの意図に反しないために画像補正を行う際には確認が必要である。
【０１８１】
そこでホワイトバランス、露出が撮影条件データ１０６内でマニュアル設定されている情報を得た場合、パソコンのモニタ上に自動画像補正を行ってもよいかどうか表示させ、行ってもよい場合は従来通りの処理を施す。また、行ってはいけないとユーザが指定したときにはその画像補正処理に関しては行わない。ユーザに通知する方法はパソコンのモニタ上に表示するに限らず、例えばプリンタ本体に警告ランプを点灯させる方法でも良い。
【０１８２】
ところで上記に関連して、以下のようなケースも考える必要がある。
【０１８３】
ユーザが意図的にマニュアルモードで撮影しても、ホワイトバランスや露出の設定ミスが起こる場合がある。例えば日中の屋外での撮影で、露出を暗めに設定したが適正露出値ではなく、露出オーバーの画像になってしまった場合や、ストロボをマニュアルで強制ＯＦＦに設定したが、撮影された画像が光量不足で暗くなってしまった場合などが考えられる。
【０１８４】
また一方で、ユーザがオートモードと間違ってマニュアルモードで撮影してしまったために、失敗画像になってしまうこともある。例えば、ホワイトバランスが以前に曇天下で撮影したときの設定になったままで、間違って蛍光灯下の室内でそのまま撮影を行った場合などである。
【０１８５】
先に述べたように、ユーザがマニュアルモードで撮影した場合、自動画像補整処理を行うとユーザの意図に反した画像に補整されてしまう可能性があった。しかしこのように、マニュアルモードで撮影された画像が失敗画像になってしまった場合、通常では自動画像補整処理はかからないことになる。つまりこのような状況でもまた、自動画像補整処理を行うか否かをユーザに確認を取る必要がある。
【０１８６】
つまりマニュアルモードで撮影された画像が、ユーザの意図を反映した画像の場合、自動画像補正処理は行わないよう選択し、ユーザの意図とは反する画像の場合、自動画像補正処理を行う選択をすればよい。そのためにはマニュアルモードで撮影された画像をモニタやプリンタで出力する際、ユーザに自動画像補整処理を行うか否かを確認を取らなければならない。
【０１８７】
さらに最近では、ディジタルスチルカメラで撮影された画像データを、写真ラボでオペレータ（撮影者以外の人）が画像補整処理を加えてプリントするサービスがある。この場合、オペレータが手動で画像補整処理を行った場合、撮影者の意図が反映されなくなる。つまりオペレータにどの画像がマニュアルモードで撮影されたかを警告する必要がある。
【０１８８】
以上、これらの場合において、マニュアルモードで撮影された画像をモニタやプリンタで出力する際には、その画像がマニュアルモードで撮影された画像であることを通知し、ユーザに自動画像補整処理を行うか否かを確認する必要がある。また、撮影者以外の人が画像補整処理を行う場合、マニュアルモードで撮影された画像であることを警告する必要がある。
【０１８９】
上述したフローチャートを図１９に示す。Ｓ１はカラーバランス補正を、Ｓ２は明るさ補正を表す。
【０１９０】
《オートブラケット機能ＯＮ／ＯＦＦ》
ここでオートブラケット機能について説明する。カメラによってはオートブラケット機能が付いているものもある。これはシャッターを切ることで、露出基準値で撮影したほかに自動的に露出をプラス側とマイナス側へシフトさせてそれぞれ撮影するものである。つまり一度のシャッターで３段階の露出を変えた撮影ができる。もちろんこの機能がＯＮの場合、ユーザは意図的に明るさを変えて撮影したのであり、ユーザに自動画像補正処理の必要か否かを確認しなければならない。これを図１９のＳ２に示す。
【０１９１】
ここから、具体的な表示方法、ユーザインターフェイス（ＵＩ）の例を図を用いて説明する。
【０１９２】
まずはじめに、マニュアルモードで撮影された画像をアプリケーションソフトで開くときに、図２２−Ｓ１で示すようにＵＩ画面上で自動画像補整処理をＯＮにするかＯＦＦにするかをユーザに選択させる。すなわちユーザがＯＮを選択すれば自動画像補整処理を行い、ＯＦＦを選択すれば処理は行わないようにする。また、ＵＩ画面の表示はアプリケーションソフトで画像を開くときに限らず、プリントを設定するときに表示してもよい。
【０１９３】
次に、上記選択でＯＮが設定された場合、図２２−Ｓ２に示すようにモニタ上でプレビュー表示を行う。例えば、補正していない元画像と自動画像補整処理後の画像を並べて、ユーザが処理の確認を取れるように表示する。こうすることにより、処理後の画像がユーザの意図に反する場合は、自動画像補整処理を改めてＯＦＦに設定できるようになる。
【０１９４】
また、例えばホワイトバランス、露出の両方をマニュアルモードで撮影した画像をプレビューする場合、複数のプレビュー表示をしてもよい。つまり、ホワイトバランスのみ自動画像補整処理を行い、露出は元の明るさのままにする、またはホワイトバランスは元の色のままで露出のみ自動画像補整処理を行うなど、複数種類の画像をプレビュー表示し、ＵＩ画面を見ながらユーザの意図に合った画像を一つ選択できるようにする。こうすることで、ホワイトバランス、露出の片方を撮影ミスした画像でもより詳細な設定にて補正することができる。
【０１９５】
ところで、複数のディジタルカメラ画像をアプリケーションソフトで開くときに、サムネイル表示をする方法がある。この場合、マニュアルモードで撮影された画像がどれかが即座に判別できるよう、図２３−Ｓ２のように目印を記す。こうすることで、ユーザは複数の画像を一度に表示する際やプリントする際などに、どの画像がオートモードで撮影されて自動画像補整処理され、どの画像がマニュアルモードで撮影されて処理が行われないかが、一目で識別できるようになる。また、写真ラボのオペレータなど、撮影者以外の人が複数の画像を順番に画像補整処理を行う際にも、どの画像がマニュアルモードで撮影され、どの画像を補整すべきかがすぐに識別できるようになる。
【０１９６】
ところで、オートモード、マニュアルモードでの撮影に関係なく全ての画像に自動画像補整処理を行いたい場合などもある。その場合は、「マニュアルモード強制ＯＦＦ」ができる機能を設けるとよい。例えば、図２３−Ｓ１に示すようなチェックボックスをアプリケーションソフトに設け、ＯＮ／ＯＦＦのチェックができるようにする。つまりチェックを行った場合（マニュアルモード強制ＯＦＦ）、マニュアルモードで撮影されたという情報が無視され、全ての画像に対して自動画像補整処理を行えるようにする。
【０１９７】
上記具体例に説明したように、ディジタルカメラ画像をアプリケーションソフトで処理する際に、それがマニュアルモードで撮影された画像である場合、自動画像補整処理するか否かをユーザに確認させ、画像をプレビュー表示させることで、補正前と補整後の画像を比べることができる。
【０１９８】
また、サムネイル表示において、マニュアルモードで撮影された画像に目印を付けることで、どの画像がマニュアルモードで撮影されたかを即座に判定できるようになる。
【０１９９】
さらにマニュアルモード強制ＯＦＦ機能を加えれば、マニュアルモードで撮影されたか否かに関係なく全画像を一括に自動画像補整処理が行えるようになる。
【０２００】
カラーバランス補正、明るさ補正のそれぞれを独立とし、撮影条件データ１０６からユーザ通知を行う。つまり露出はオートだがホワイトバランスはマニュアル設定の場合、明るさ補正は自動で行うがカラーバランス補正はパソコンを介してユーザに補正が必要か否か、指定を促す通知を行う。こうしてそれぞれの補正においてユーザが撮影時の設定を無理に損なわせないよう、ユーザの意図を反映させつつ自動画像補正処理を行うことで、より精度の高い修正が可能となる。
【０２０１】
＜その他の実施例＞
尚、上述の実施例では、撮影条件情報を画面表示するようにしたが、これに限られることはなく、例えば、所定ランプの点灯／消灯等により、撮影条件情報が正しく認識利用されていることを示すようにしてもよい。
【０２０２】
また、本発明は、上述した第１及び第２の処理方法に限定されるものではなく、本発明の要旨を逸脱しない範囲で種種変形実施可能なものとなる。
【０２０３】
また、画像の入力手段（取得手段）として、ディジタルスチルカメラを一例として用いるように構成したが、これに限られたものではなく、例えば、ディジタルビデオカメラや、イメージスキャナ、或いはフィルムスキャナ等の入力機器を適用可能である。
【０２０４】
また、第１及び第２の処理方法のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、第１、第２の処理方法を達成されることは言うまでもない。
【０２０５】
この場合、記憶媒体から読み出されたプログラムコード自体が第１及び第２の処理方法の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
【０２０６】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０２０７】
また、コンピュータが読みだしたプログラムコードを実行することにより、第１及び第２の発明の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１及び第２の発明の機能が実現される場合も含まれることは言うまでもない。
【０２０８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１及び第２の処理方法の機能が実現される場合も含まれることは言うまでもない。
【０２０９】
図２１は、上記コンピュータの機能６００を示したものである。
【０２１０】
コンピュータ機能６００は、上記図２１に示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、キーボード（ＫＢ）６０９のキーボードコントローラ（ＫＢＣ）６０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）６１０のＣＲＴコントローラ（ＣＲＴＣ）６０６と、ハードディスク（ＨＤ）６１１及びフレキシブルディスク（ＦＤ）６１２のディスクコントローラ（ＤＫＣ）６０７と、ネットワーク６２０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）６０８とが、システムバス６０４を介して互いに通信可能に接続された構成としている。
【０２１１】
ＣＰＵ６０１は、ＲＯＭ６０２或いはＨＤ６１１に記憶されたソフトウェア、或いはＦＤ６１２より供給されるソフトウェアを実行することで、システムバス６０４に接続された各構成部を総括的に制御する。
【０２１２】
すなわち、ＣＰＵ６０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ６０２、或いはＨＤ６１１、或いはＦＤ６１２から読み出して実行することで、本実施の形態での動作を実現するための制御を行う。
【０２１３】
ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ或いはワークエリア等として機能する。
【０２１４】
ＫＢＣ６０５は、ＫＢ６０９や図示していないポインティングデバイス等からの指示入力を制御する。
【０２１５】
ＣＲＴＣ６０６は、ＣＲＴ６１０の表示を制御する。
【０２１６】
ＤＫＣ６０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記憶するＨＤ６１１及びＦＤ６１２とのアクセスを制御する。
【０２１７】
ＮＩＣ６０８は、ネットワーク６２０上の装置或いはシステムと双方向にデータをやりとりする。
【０２１８】
【発明の効果】
以上説明したように本発明では、処理対象の画像情報（ディジタルスチルカメラにより撮影して得られた画像情報等）に対して付加された条件情報（撮影条件情報等）を解析した結果に基づいて、当該画像情報に対して画像処理（画像補正処理等）を施すように構成した。これにより、画像取得時の状況に応じた画像処理を行うことができ、ユーザが意図する良好な処理後画像を提供することができる。また、条件情報がマニュアル設定の場合、自動的に画像補正を行うのではなく、ユーザに補正処理が必要か否かを通知し、必要と指定された場合に限ってその補正を行う。こうすることでユーザが撮影時に設定した状況を損なうことなく、ユーザの意図を反映することができる。
【０２１９】
尚、具体的には例えば、ディジタルスチルカメラにおいては、条件情報としてホワイトバランス情報を元にカラーバランス補正を行い、露出情報、オートブラケット情報を元に明るさ補正を行う。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した画像印刷システムの構成を示すブロック図である。
【図２】ＲＧＢ画像信号をＹＣＣ信号に変換し、画像処理を行い、再びＲＧＢ信号に変換する図である。
【図３】画像補正処理部の処理手順のフローチャートである。
【図４】輝度ヒストグラム作成手順のフローチャートである。
【図５】実施例における色バランス補正の原理を説明するための色立体図で（ａ）は理想的な色立体図、（ｂ）は該画像の色バランス補正前の色立体図である。
【図６】非線形ガンマ変換関数を示すグラフである。
【図７】輝度−彩度平面でみた露出オーバー・アンダーの特徴を示す図で、（ａ）は露出オーバーの概念図、（ｂ）は露出アンダーの概念図、（ｃ）は露出オーバーの一例、（ｄ）は露出アンダーの一例である。
【図８】第３の実施の形態における色立体軸を決める様子を示す図である。
【図９】画像補正の制御手順のフローチャートである。
【図１０】第２の実施形態における色かぶり補正の制御手順のフローチャートである。
【図１１】上記自動階調補正処理の手順を示すフローチャートである。
【図１２】図１１に示す上記自動階調補正処理における階調曲線判定の処理手順を示すフローチャートである。
【図１３】上記階調曲線判定処理で用いるテーブルの内容を示し、画像の種類に応じた階調曲線の定め方を説明する図である。
【図１４】上記自動階調補正処理の処理対象である画像が明るい画像である場合のヒストグラムを示す図である。
【図１５】上記自動階調補正処理の処理対象である画像の明るさが中間的な画像である場合のヒストグラムを示す図である。
【図１６】上記自動階調補正処理の処理対象である画像が暗い画像である場合のヒストグラムを示す図である。
【図１７】γ値に応じた輝度補正テーブルの変換特性曲線（指数関数）を示す図である。
【図１８】単なるγ補正以外の、輝度補正テーブルの変換特性曲線（５次曲線）を示す図である。
【図１９】デジタルズーム情報を元にスムージング処理を行うフローチャートである。
【図２０】撮影条件データより、複数の画像補正処理を行う制約を示したフローチャートである。
【図２１】コンピュータの機能を示した図である。
【図２２】自動補正確認ユーザインターフェイスと画像のプレビュー表示を示す図である。
【図２３】チェックボックスと画像のサムネイル表示を示す図である。
【図１】
0004006347.tif 000002
【図２】
0004006347.tif 000003
【図３】
0004006347.tif 000004
【図４】
0004006347.tif 000005
【図５】
0004006347.tif 000006
【図６】
0004006347.tif 000007
【図７】
0004006347.tif 000008
【図８】
0004006347.tif 000009
【図９】
0004006347.tif 000010
【図１０】
0004006347.tif 000011
【図１１】
0004006347.tif 000012
【図１２】
0004006347.tif 000013
【図１３】
0004006347.tif 000014
【図１４】
0004006347.tif 000015
【図１５】
0004006347.tif 000016
【図１６】
0004006347.tif 000017
【図１７】
0004006347.tif 000018
【図１８】
0004006347.tif 000019
【図１９】
0004006347.tif 000020
【図２０】
0004006347.tif 000021
【図２１】
0004006347.tif 000022
【図２２】
0004006347.tif 000023
【図２３】
0004006347.tif 000024