(57)【要約】  【課題】  画像の明るさ補正を行った後であっても、主要部領域の濃度を変化させることなく良好に階調を補正することができる画像処理方法を提供する。  【解決手段】  入力画像データに基づいて主要部領域を抽出する。次いで、入力画像データに対して所定の濃度補正量で濃度補正処理を実行する。抽出された主要部領域の、濃度補正処理後の濃度を算出し、その濃度を濃度基準値に設定する。濃度基準値に対応する画像データは階調変換しないで、それ以外の画像データを階調変換させる。【選択図】  図２
2006277044.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して濃度を補正する濃度補正処理と、階調を補正する階調補正処理とを含む画像処理方法であって、
前記濃度補正処理の際に前記画像データから主要部領域を特定して、前記主要部領域の濃度補正処理後の濃度基準値を算出し、
前記濃度基準値を変更しないように前記階調補正処理を行う画像処理方法。
【請求項２】
前記階調補正処理は、前記画像データを解析して必要な階調補正量を自動で算出する請求項１に記載の画像処理方法。
【請求項３】
前記階調補正処理における階調補正量を手動により設定する請求項１に記載の画像処理方法。
【請求項４】
前記階調補正処理は、前記濃度基準値を境界にシャドー側とハイライト側で階調補正量を制御する請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
前記主要部領域は被写体の顔領域であり、前記顔領域の平均濃度を前記濃度基準値に設定する請求項１〜４のいずれか一項に記載の画像処理方法。
【請求項６】
前記濃度基準値の上限値及び下限値を予め設定しておく請求項１〜５のいずれか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データの画像処理方法に関し、更に詳細には、濃度補正処理された画像データに階調補正処理を施す画像処理方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラ（ＤＳＣ）の撮影により得られるデジタル画像データや、写真フィルムなどをスキャナで読み取ることにより得られるデジタル画像データを、適正な画質の画像でプリントしたり、モニタに表示したりするために、それらデジタル画像データに種々の画像処理を施すことが行われている。例えば、照明の暗い環境下でのシーンや逆光シーンを撮影した画像である場合には、画像全体が暗くなるので、その画像のデジタル画像データに、撮影時の条件や被写体の明るさ等に応じて、画像の明るさ調整処理（濃度補正処理）を施す。また、例えば、コントラストの低い画像の場合には硬調化する階調補正処理を施し、逆にコントラストの高い画像の場合には軟調化する階調補正処理を施す。このように、画像に応じてデジタル画像データを画像処理することで適正な画質の画像を得ることができる。
【０００３】
このように画像に応じて階調を制御する方法として、種々の方法が知られている。例えば、特許文献１には、画像データに付与された撮影情報と、画像データにより表わされる画像の主要部情報とに基づいて画像データの撮影シーンを推定し、撮影シーンに応じて階調処理条件を設定し、その設定された階調処理条件にしたがって画像データに対して画像処理を施す方法が開示されている。
これにより、撮影情報のみを用いて階調処理条件を設定する場合よりも精度よく撮影シーンに適した階調処理条件を設定することができ、その結果、撮影シーンに拘わらず高画質の画像を再生可能な処理済画像データを得ることができるとしている。
【０００４】
また、特許文献２には、反射濃度が０．７の撮影した画像データに、出力媒体上で反射濃度が０．６〜０．８となる撮像装置の種別毎の規格化処理を施してシーン参照画像データを作成する工程と、該シーン参照画像データを用いて、所定の画像処理の条件を最適化する工程と、該最適化された所定の画像処理の条件を撮像装置の種別ごとに蓄積する工程と、前記最適化された画像処理条件を施して得られた画像データに、画像データの平均値が出力媒体上で反射濃度が０．６〜０．８となり、脚部（シャドー部）と肩部（ハイライト部）のγが、腹部のγより小さくなるように設定された階調補正を施して出力する工程とを含む画像形成方法が開示されている。これにより、撮像装置毎の機種間差を解消する画像処理を行う際に、被写体により階調調整のエラーが生じる問題を解決し、シャドーからハイライトまでを高精度に一致させるだけでなく、色再現性、鮮鋭性等の機種間差を解消して高画質な写真プリントを提供することができるとしている。
【０００５】
【特許文献１】特開２００３−２４４６２０号公報
【特許文献２】特開２００４−８８３４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、画像データに対して明るさ補正（濃度補正処理）をした後、階調補正処理を行ったときに、明るさ補正の結果が適切でなくなる場合がある。例えば、主要部（主要被写体）の顔領域の濃度を濃度補正処理により適正濃度に変更したとしても、その後、濃度補正後の画像データに階調補正処理すると、得られた画像が明るすぎてしまったり、暗すぎてしまったりするという場合があった。
【０００７】
本発明は、上記不都合を解消するためになされたものであり、本発明の目的は、画像の明るさ補正を行った後であっても、主要部領域の濃度を変化させることなく良好に階調を補正することができる画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、画像データに対して濃度を補正する濃度補正処理と、階調を補正する階調補正処理とを含む画像処理方法であって、前記濃度補正処理の際に前記画像データから主要部領域を特定して、前記主要部領域の濃度補正処理後の濃度基準値を算出し、前記濃度基準値を変更しないように前記階調補正処理を行う画像処理方法を提供する。
【０００９】
前記階調補正処理は、前記画像データを解析して必要な階調補正量を自動で算出することが好ましい。又は、前記階調補正処理における階調補正量を手動により設定することが好ましい。
【００１０】
前記階調補正処理は、前記濃度基準値を境界にシャドー側とハイライト側で階調補正量を制御することが好ましい。また、前記主要部領域は被写体の顔領域であり、前記顔領域の平均濃度を前記濃度基準値に設定することが好ましい。また、前記濃度基準値の上限値及び下限値を予め設定しておくことが好ましい。
【発明の効果】
【００１１】
本発明の画像処理方法によれば、濃度補正処理によって画像の明るさを補正した後であっても、主要部領域の濃度を変化させることなく良好に階調を補正することができるので、コントラストと主要部領域の濃度が適正に補正された画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の画像処理方法について、添付の図面に示される好適な実施形態を基に詳細に説明する。
【００１３】
図１に、本発明の画像処理方法を実施する画像処理装置を備える画像出力システム１０を示した。画像出力システム１０は、画像入力装置１２、画像処理装置１４及び画像出力装置１６を有する。このような画像出力システム１０の一例としては、デジタルフォトプリントシステムを挙げることができる。
【００１４】
図１において、画像入力装置１２は、画像をデジタルデータとして取得する装置であれば任意の装置を用いて構成することができ、例えば、デジタルスチルカメラ、デジタルビデオカメラ、スキャナ、又は、画像データが記録された記録媒体から画像データを読み取る読取装置などを用いて構成される。例えば、画像出力システム１０をデジタルプリントシステムとして構成する場合は、画像入力装置１２は、写真フィルムに記録された画像を光電的に読み取るスキャナとして構成することができる。このようなスキャナは、光源から射出された読取光をフィルムに入射させて、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取ることができる。読み取られた画像データは、必要に応じて各種の画像処理が施された後に、フィルムの画像データとして画像処理装置に送られる。ここで、このようなスキャナにおいては、スキャナに装着されたキャリアによってフィルムをコマ送りすることにより、フィルムに撮影された各コマの画像を１コマずつ順次読み取られる。
【００１５】
また、図１において、画像出力装置１６は、画像処理装置１４により画像処理された画像データを可視像として目に見える形で出力するための装置である。このような画像出力装置１６としては、例えば、プリンタやディスプレイなどを例示することができる。
例えば、画像出力システム１０をデジタルプリントシステムとして構成する場合は、画像出力装置１６は、画像処理装置１４から出力される画像データに応じて感光材料を走査露光して現像処理を施してプリントとするプリンタ（画像記録装置）として構成されることができる。
【００１６】
画像出力装置１６は、プリンタやディスプレイへの出力に対応した形式に画像データを変換し、その変換された画像データを記録媒体に出力するための装置であってもよい。
【００１７】
画像処理装置１４は、画像出力装置１６に対応した適正な画像が出力されるように、画像入力装置１２から出力される画像データに種々の画像処理を行うための装置である。
画像処理装置１４には、デジタルカメラ等により撮影された画像の画像データや、スキャナにより読み取られた画像の画像データのほかに、画像に関するデータも入力されてもよい。例えば、露出時間、シャッタースピード、絞り値、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、ホワイトバランス、ズーム倍率、撮影シーンのタイプ、ストロボ光源の反射光量、撮影彩度等の撮影条件設定に関する情報、被写体の種類に関する情報などのデータが入力されてもよい。画像処理装置１４は、これらの情報を利用して各種の画像処理を実行することができる。
【００１８】
図１では、画像処理装置１４は、濃度を補正するための濃度補正処理部２２と、この濃度補正処理部２２により濃度補正された画像データに階調補正処理を行う階調補正処理部２４とを備えている。図１では、画像処理装置１４を構成する処理部として、濃度補正処理部２２と階調補正処理部２４だけを示しているが、画像処理装置１４は、これらの処理部以外にも、各種の画像処理を実行させる処理部を備えることができる。例えば、画像入力装置１２から出力された画像データに、ＤＣオフセット補正、暗時補正、シェーディング補正等の所定の補正を施すデータ補正部、ＬＵＴ（ルックアップテーブル）等によってＬｏｇ変換してデジタルの画像（濃度）データとするＬｏｇ変換部、出力に対応するサイズ（画素数）に画像データを拡縮処理（電子変倍処理）する拡縮部、シャープネス処理等の所定の画像補正を行う画像補正部のように、種々の処理を実行させる処理部を備えることができる。画像処理装置１４は、必要に応じてこれらの画像処理を実行することができる。
【００１９】
図１において、濃度補正処理部２２は、所定の濃度補正ＬＵＴ（ルックアップテーブル）を用いて入力画像データを変換することによって画像全体を適正な明るさに調整することができる。階調補正処理部２４は、濃度補正処理部２２によって濃度補正されたデータを、階調補正ＬＵＴを用いて階調補正することによって、コントラストを適正に制御することができる。以下、濃度補正処理部２２及び階調補正処理部２４の処理について図２及び図３を参照して詳しく説明する。
【００２０】
図２は、濃度補正処理部２２及び階調補正処理部２４の処理の流れを示すフローチャートである。図３は、階調補正処理部２４において用いられる階調補正ＬＵＴの作成方法を説明するための図である。
【００２１】
まず、画像データが入力された後（ステップＳ１）、濃度補正処理部２２は、画像データを用いて、画像中の主要部（主要被写体）の領域（以下、主要部領域という）を抽出するための主要部抽出処理を実行する（ステップＳ２）。主要部領域を抽出する方法としては、既に知られた抽出方法（特定被写体抽出方法）を利用することができる。抽出される主要部領域としては、例えば、人物、人物の顔、建築物などを挙げることができる。
【００２２】
次いで、濃度補正処理部２２において、入力画像データに対して画像の明るさを調整する濃度補正処理が行なわれる（ステップＳ３）。濃度補正処理では、例えば、図１において画像入力装置１２で取得された画像データが画像出力装置１４において可視像として出力された際に、出力された画像の全体や、その画像に含まれる被写体の明るさに応じて濃度補正量（濃度補正ＬＵＴ）が設定され、設定された濃度補正量に基づいて入力画像データが変換される。濃度補正量は、処理される画像ごとに設定され、画像ごとに設定された濃度補正量で濃度補正処理が施される。濃度補正量の設定方法は、特に限定されるものではなく、例えば、画像データを解析して自動で濃度補正量を算出してもよい。画像データを解析して濃度補正量を算出する方法としては、例えば、次のようにして行うことができる。主要部領域として抽出された領域が、適正な濃度に仕上がるように濃度補正量を算出する。その際、ストロボシーンや逆光シーン等の撮影条件によって主要部領域の適正濃度は異なるので、画像データから様々な画像特徴量を算出する。そして、これら画像特徴量を元にシーンを推定して、シーンに応じた濃度に仕上がるように濃度補正量を算出する。
また、ディスプレイなどの画像表示装置に濃度補正をする前の画像を表示し、濃度補正量を種々の値に手動で調整し、適正な明るさの画像が得られたときの濃度補正量を入力して設定してもよい。
【００２３】
つぎに、濃度補正処理部２２は、主要部抽出処理により抽出された主要部領域の濃度を算出して、その濃度を濃度基準値として設定する（ステップＳ４）。例えば、主要部領域が顔領域である場合は、顔領域の平均濃度を算出し、算出された平均濃度を濃度基準値として設定することができる。この濃度基準値は、濃度補正処理後の画像データとともに階調補正処理部２４に出力される。
【００２４】
本発明においては、濃度基準値に上限値又は下限値などの制限範囲を予め設定しておいても良い。このように濃度基準値に制限範囲を設定した場合は、算出された主要部領域の濃度が、予め設定しておいた上限値又は下限値を越えたときに、上限値又は下限値を濃度基準値として設定することができる。このような制限範囲は、例えば、主要部領域が顔である場合は、適正濃度は一般に０．４〜０．５であることが知られている。したがって、この場合は、この適正濃度の範囲を含むように上限値及び下限値を設定すれば良く、例えば、上限値を０．６、下限値を０．３に設定すれば良い。こうすることにより、階調補正処理をしても主要部領域の濃度の変化を小さく抑えることができる。
【００２５】
次いで、階調補正処理部２４は、濃度補正処理後の画像データに対し、設定した濃度基準値が変更されないように階調補正処理を行う（ステップＳ５）。階調補正処理では、設定した濃度基準値が階調補正処理によって変更されないように階調補正ＬＵＴを作成する。このような階調補正ＬＵＴの作成方法については後述する。また、階調補正処理では、画像データが解析され、その画像の階調補正処理に必要な階調補正量が自動で求められる。例えば、全体的にコントラストの低い画像であれば、全体の階調を硬調化するような階調補正量を算出し、逆にコントラストの高い画像であれば全体に階調を軟調化するような階調補正量を算出する。また、画像によっては、シャドー側の階調のみを硬調化又は軟調化したほうがよい場合がある。同様に、ハイライト側の階調のみを硬調化又は軟調化したほうがよい場合がある。これらの判断を画像解析によって行い、階調補正量を自動的に求める。
【００２６】
主要被写体の適正濃度は撮影シーンによって異なっており、例えば、逆光シーンにおける主要被写体は暗めになり、ストロボシーンにおける主要被写体は明るめになる傾向がある。また、女性は明るめになり、黒人は濃いめになる傾向にある。本発明では、画像データを解析することによって主要被写体の適正な濃度補正量を求めるとともに、更に、適正に調整された被写体の濃度が階調補正処理によって変更されないように画像の階調を制御することができる。こうして得られた階調補正処理後の画像データは、例えば、他の画像処理部や画像出力装置に出力される（ステップＳ６）。
以上から、本発明の画像処理方法によれば、これら主要被写体の濃度を適正に維持したまま、所望の階調補正を行うことができる。
【００２７】
上記例では、濃度補正処理がされていない画像データに基づいて主要部領域を抽出する例を示したが、主要部領域を、濃度補正処理後の画像データに基づいて抽出してもよい。この場合は、濃度補正処理部２２において主要部領域を抽出する必要はなく、画像データの流れにおいて濃度補正処理よりも上流において主要部領域を抽出させればよい。
【００２８】
ここで、濃度基準値が階調補正処理によって変更されないような階調補正ＬＵＴの作成方法の一例を、図３を用いて説明する。なお、以下の説明においては、濃度補正処理として濃度を高める処理の場合を例に説明する。
【００２９】
図３の第１象限には、入力画像データにより表される画像の濃度が高くなるように濃度補正する濃度補正直線Ｍ１が示される。縦軸は、濃度補正処理前の画像データであり、横軸は、濃度補正処理後の画像データである。濃度補正直線Ｍ１は、入力画像データにより表される画像の濃度を全く変更しないで出力する破線で示された直線Ｍ０を平行移動することによって得られる。このような濃度補正直線Ｍ１に従う濃度補正には、例えば、ＬＵＴ（濃度補正ＬＵＴ）が利用される。この濃度補正直線Ｍ１の濃度補正量は、入力画像データに基づいて自動的に作成されてもよいし、外部から入力させることによって作成されても良い。
【００３０】
濃度補正直線Ｍ１を用いて濃度補正された濃度補正後の画像データから、特定被写体抽出処理などにより抽出された主要部領域の濃度（例えば、平均濃度）を求める。そして、その濃度を濃度基準値として設定する。図３では、濃度補正後の画像データにおける濃度基準値をＰ１で示した。この濃度基準値Ｐ１は、画像処理される画像データごとに特定される。
【００３１】
この濃度基準値Ｐ１を用いて以下のように階調補正ＬＵＴを作成する。
図３の第２象限には、入力画像データにより表される画像の階調を補正する階調補正直線Ｎ１が示される。縦軸は、階調補正処理前の画像データ（濃度補正後の画像データ）であり、横軸は、階調補正処理後の画像データである。階調補正直線Ｎ１は、この濃度基準値Ｐ１が階調変換によって異なる濃度値に変換されないように作成される。例えば、図３の第２象限において、画像の階調を全く変更しないで出力するような階調補正直線Ｎ０上に、入力画像データ（濃度補正前の画像データ）の濃度基準値Ｐ１に対応する点Ｐ２を特定する。そして、この点Ｐ２を中心（ピボット点）として階調補正直線Ｎ０の傾き（階調補正量）を変える。こうして得られる直線を階調変換直線Ｎ１として特定する。そして、このような階調変換直線Ｎ１に従って入力画像データが階調変換されるようなＬＵＴが階調補正ＬＵＴである。このような階調補正ＬＵＴを用いることにより、濃度基準値における画像データは階調補正処理後も変換されず、濃度基準値における画像データ以外の画像データのみが変換される。階調補正量（傾き）は、濃度補正前又は濃度補正後の画像データを解析することによって自動で算出される。
【００３２】
ここでは、階調変換直線Ｎ１を勾配が一定の直線で示したが、これに限定されず、濃度基準値が固定されまた変換されず、濃度基準値以外の画像データが段階的に変換されるような直線又は曲線であってもよい。例えば、濃度基準値Ｐ１を閾値として、閾値よりもハイライト側とシャドー側で別々に階調補正量を制御するような階調変換直線又は階調変換曲線を利用してもよい。
また、ここでは、主要部領域の濃度基準値が変換されないように階調補正を制御したが、濃度基準値を含む所定の濃度基準範囲が変換されないように階調補正を制御することもできる。
【００３３】
また、本実施の形態では、階調補正量を画像データに基づいて自動で求めるようにしたが、手動により階調補正量を設定することもできる。階調補正処理においては、例えば、画像によってはシャドーのディテール（細部）をより出したいためにシャドー階調を軟調化したり、ハイライトの飛びを抑えるために、ハイライト階調を軟調化したりすることが行われる。このような階調補正処理では、濃度補正後の画像データを可視像としてディスプレイ等の表示装置に表示し、表示された画像に基づいて画像全体の階調補正量を手動により設定することができる。本発明において、手動により階調補正量を設定する場合は、上述した方法により得られた主要部領域の濃度基準値が変更されないように、手動によって設定することのできる階調補正量の範囲を制限しておくことができる。このように階調補正量の範囲を制限する場合においても、濃度基準値を閾値として、シャドー側とハイライト側で別々に階調補正量を設定できるようにすることができる。
【００３４】
従来、階調補正処理において手動により階調補正量を設定する場合は、設定した階調補正量で階調補正処理を実行したときに、濃度補正処理によって適正濃度で表された主要部が適切でなくなってしまう現象が発生し、主要部の濃度を適正に維持させたまま階調補正量を設定することが極めて困難であったが、本発明においては、階調補正処理の際に、主要部領域の濃度基準値が変更されないように、手動により設定できる階調補正量の範囲を制限しておくことで、主要部の濃度に影響を与えることなく簡単に階調補正を実行することができる。
【００３５】
手動により階調補正量を設定する方法としては、例えば、主要部領域の濃度基準値又は濃度基準範囲を閾値とし、その閾値よりもシャドー側の画像データとハイライト側の画像データに対して、γ補正に用いられるようなγをそれぞれ設定しておき、主要部領域の濃度基準値又は濃度基準範囲は変更せずに固定したまま、それぞれのγを増減させることによってシャドー側とハイライト側の階調補正量を個別に設定させる方法を用いることができる。また、主要部領域の濃度基準値が変更されないような複数の階調変換直線又は階調変換曲線を画像データごとに作成し、それらの階調変換直線又は階調変換曲線いずれかを手動により設定させ、設定された階調変換直線又は階調変換曲線に基づいて階調補正を実行させるようにしても良い。また、そのような階調変換直線の傾きや階調変換曲線の曲線形状を手動により変更させるようにすることもできる。このように、主要部領域の濃度を変えることなく、手動により階調補正量を設定させることにより、主要部の適正濃度は保持しつつ、より高精度に階調を調整することができ、より高画質な画像を得ることができる。
【００３６】
以上、本発明の画像処理方法について詳細に説明したが、本発明は上記実施の形態に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【図面の簡単な説明】
【００３７】
【図１】本発明の画像処理方法を実施する画像処理装置を含む画像出力システムのブロック図である。
【図２】本発明の画像処理方法の処理の流れを示す流れ図である。
【図３】本発明の画像処理方法の階調補正処理に用いられる階調補正ＬＵＴの作成方法の一例を説明するための図である。
【符号の説明】
【００３８】
１０  画像出力システム
１２  画像入力装置
１４  画像処理装置
１６  画像出力装置
２２  濃度補正処理部
２４  階調補正処理部
【図１】
2006277044.tif 000003
【図２】
2006277044.tif 000004
【図３】
2006277044.tif 000005