(57)【要約】【課題】  画像の照明光分布の推定により局所的な明るさの補正を行う画像処理において、明るさが適切に補正されない個所を改善する。【解決手段】  入力画像データから輝度成分を抽出する輝度抽出手段と、前記輝度成分から低周波成分を抽出する低周波成分抽出手段と、前記輝度成分と前記低周波成分に基づき第一の画像を生成する第一画像生成手段を有する画像処理において、前記低周波成分及び前記入力画像データの彩度成分に基づきブレンド率を算出し、前記ブレンド率に基づき前記第一の画像の輝度補正量を調整することにより解決する。【選択図】  図２
2010200099.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データから輝度成分を抽出する輝度抽出手段と、前記輝度成分から低周波成分を抽出する低周波成分抽出手段と、前記輝度成分と前記低周波成分に基づき第一の画像を生成する第一画像生成手段を有する画像処理装置において、
前記低周波成分及び前記入力画像データの彩度成分に基づきブレンド率を算出するブレンド率算出手段と、前記ブレンド率に基づき前記第一の画像の輝度補正量を調整し第二の画像を生成する第二画像生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記ブレンド率算出手段において、前記入力画像データから前記彩度成分を抽出する彩度抽出手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二画像生成手段において、前記ブレンド率に基づき前記輝度成分と前記第一の画像を合成することで輝度補正量の調整を行う画像合成手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項４】
前記ブレンド率算出手段において、前記彩度成分の値が大きいほど前記第一の画像の輝度補正量を小さくする輝度補正量調整手段を有することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の明るさを調整する画像処理技術に関し、特に推定された画像の照明光分布を利用して、画像の輝度を調整する技術に関する。
【背景技術】
【０００２】
写真画像のディジタル化にともない、パソコンやプリンタなどを利用して画像を補正することが可能となった。これにより、一度撮影された画像（写真画像）に対し、アプリケーションを使用し、色味やコントラストなどを調整することが多くなってきている。一方で、プリンタなどによる出力の際に自動で全体の明るさを補正する技術も多い。一般に、従来の写真補正は主に画像の特徴に応じ全体を補正するものであった。そのため、例えば逆光画像のような局所的に暗い部分のみの明るさを補正することは難しかった。そこで画像の照明光分布を推定し、その分布に応じた輝度の補正をかけることで局所的な明るさの補正を行う方法がある。照明光分布の推定に基づく局所的な明るさ補正法では、照明光の分布は滑らかに変化するものと仮定し、画像の輝度成分から低周波成分を抽出することで照明光分布を推定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１５８４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像の特徴によっては照明光分布の推定が不十分となる個所が存在し、照明光分布を元に補正を行う明るさ補正においては、照明光分布の推定が不十分となる部分が適切に補正されないという問題がある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置は、
入力画像データから輝度成分を抽出する輝度抽出手段と、前記輝度成分から低周波成分を抽出する低周波成分抽出手段と、前記輝度成分と前記低周波成分に基づき第一の画像を生成する第一画像生成手段を有する画像処理装置において、前記低周波成分及び前記入力画像データの彩度成分に基づきブレンド率を算出するブレンド率算出手段と、前記ブレンド率に基づき前記第一の画像の輝度補正量を調整し、第二の画像を生成する第二画像生成手段を有する画像処理装置である。
【発明の効果】
【０００６】
明るさが適切に補正されている部分の補正量を維持しつつ、上記課題に該当する補正量の適切でない部分に対し、補正量が適切となるように調整することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る画像処理装置の概略ブロック図
【図２】本発明の実施形態に係る画像処理システムの概略ブロック図
【図３】画像入力部101及び画像出力部103のハードウェア構成の模式図
【図４】第1の実施形態に係る画像処理システムの画像補正手段に関する概略ブロック図
【図５】第1の実施形態に係る画像の輝度補正処理に関する処理フロー図
【図６】照明光輝度値に基づくブレンド率（第一のブレンド率）例
【図７】彩度値に基づくブレンド率（第二のブレンド率）例
【図８】第２の実施形態に係る画像処理システムの画像補正手段に関する概略ブロック図
【図９】第２の実施形態に係る画像の輝度補正処理に関する処理フロー図
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【実施例１】
【０００９】
図１は本実施形態に係る画像処理装置の概略を例示したブロック図である。図1に示すとおり、画像処理装置100は画像入力部101、画像処理部102、画像出力部103、記憶部104、CPU105、操作部106からなる。
【００１０】
画像入力部101は画像データを入力する装置であり、例えばスキャナなどから構成される。画像処理部102は画像入力部101で入力された画像に処理を行う装置である。画像処理部102では、例えば色空間変換や画像の輝度補正などを行う。画像出力部103は画像を出力する装置である。例えば、印刷用紙等の記録媒体に画像を形成して出力する。記憶部104はランダムアクセスメモリ（ＲＡＭ）や読み出し専用メモリ（ＲＯＭ）等のさまざまな記憶媒体から構成される。例えば、ＲＡＭはデータや各種情報を格納する領域として用いられたり、作業領域として用いられる。一方、ＲＯＭは、各種制御プログラムを格納する領域として用いられる。CPU105はＲＯＭに格納されたプログラムに従って各種処理を判断、制御するものとして用いられる。
【００１１】
図３は、図１における画像処理装置の画像入力部101、画像処理部102及び画像出力部103のハードウェア構成を模式的に示す図で、画像処理装置の断面図である。図１を参照し説明した画像処理装置のより詳細な構成について、図３を参照し説明する。この画像処理装置は、コピー、プリンタ、ファクシミリのそれぞれの機能を有している。図３において、本実施形態の画像処理装置は、スキャナ301とドキュメントフィーダ（ＤＦ）302と、カラー４色ドラムを備えるプリント記録用のプリンタ310と、給紙デッキ314とフィニッシャ315等とを有する。
【００１２】
まず、スキャナ301を中心に行われる読み取り動作について説明する。原稿台307に原稿をセットして読み込みを行う場合には、ユーザは原稿台307に原稿をセットしてＤＦ302を閉じる。すると、開閉センサ350が原稿台307が閉じられたことを検知した後、スキャナ301の筐体内にある光反射式の原稿サイズ検知センサ331〜335が、セットされた原稿サイズを検知する。このサイズ検知を起点にして光源310が原稿を照射し、ＣＣＤ（charge-coupleddevice）343が反射板311、レンズ312を介して原稿からの反射光を受光して画像を読み取る。そして画像処理装置のコントローラが、ＣＣＤ343によって読み取った画像データをデジタル信号に変換し、所望の画像処理を行ってレーザー記録信号に変換する。変換された記録信号は、コントローラ内のメモリに格納される。
【００１３】
ＤＦ302に原稿をセットして読み込みを行う場合には、ユーザはＤＦ302の原稿セット部303のトレイに原稿をフェースアップで載置する。すると、原稿有無センサ304が、原稿がセットされたことを検知し、これを受けて原稿給紙ローラ305と搬送ベルト306が回転して原稿を搬送し、原稿台307上の所定の位置に原稿がセットされる。これ以降は原稿台307での読み込みと同様に画像が読み込まれ、得られた記録信号がコントローラ内のメモリに格納される。
【００１４】
読み込みが完了すると、再び搬送ベルト306が回転して、図３の画像処理装置の断面図において右側に原稿を送り、排紙側の搬送ローラ308を経由して原稿排紙トレイ309へ原稿が排紙される。原稿が複数存在する場合は、原稿台307から原稿が画像処理装置の断面図において右側に排紙搬送されるのと同時に、給紙ローラ305を経由して画像処理装置の断面図において左側から次原稿が給送され、次原稿の読み込みが連続的に行なわれる。以上がスキャナ301の動作である。
【００１５】
続いてプリンタ310を中心に行われる印刷動作について説明する。コントローラ内のメモリに一旦記憶された記録信号（印刷画像データ）は、プリンタ310へと転送され、そのレーザー記録部でYellow、Magenta、Cyan、Blackの４色の記録レーザー光に変換される。そして、記録レーザー光は各色の感光体316に照射され、各感光体に静電潜像を形成する。そして、プリンタ310は、トナーカートリッジ317から供給されるトナーにより各感光体にトナー現像を行い、各感光体に可視化されたトナー画像は中間転写ベルト321に一次転写される。中間転写ベルト321は図３において時計回転方向に回転し、用紙カセット318、或いは給紙デッキ314から給紙搬送路319を通って給送された記録紙が二次転写位置320に来たところで、中間転写ベルト321から記録紙へとトナー画像が転写される。
【００１６】
画像が転写された記録紙は、定着器322で、加圧と熱によりトナーが定着され、排紙搬送路を搬送される。そして記録紙は、フェイスダウンのセンタートレイ323か、スイッチバックしてフィニッシャへの排紙口324、或いはフェースアップのサイドトレイ325へと排紙される。但しサイドトレイ325は、フィニッシャ315が未装着の場合にのみ排紙可能な排紙口である。フラッパ326及び327は、これらの排紙口を切り替えるために搬送路を切り替えるためのものである。両面プリントの場合には、記録紙が定着器322を通過後に、フラッパ327が搬送路を切り替え、その後スイッチバックして下方に記録紙が送られ、両面印刷用紙搬送路330を経て再び二次転写位置320に給送され、両面プリントが行われる。
【００１７】
続いてフィニッシャ315で行われる動作について説明する。フィニッシャ315は、ユーザに指定された機能に応じ、印刷済み用紙に対して後処理を加える。具体的には、ステープル（１個所、２箇所綴じ）やパンチ（２穴、３穴）、製本中綴じ等の機能を有する。図３の画像処理装置は２つの排紙トレイ328を有し、フィニッシャ315への排紙口324を通過してきた記録紙は、ユーザの設定によって、例えばコピー・プリンタ・FAXの機能毎に排紙トレイ328が振り分けられる。プリントエンジン310は、カラー４ドラムのプリンタではあるが、カラー１ドラムのエンジンでも良いし、白黒記録のプリンタエンジンでも良い。図３の画像処理装置は、プリンタとして利用される場合、ドライバにより白黒プリント／カラープリント、用紙サイズ、２ＵＰ・４ＵＰ印刷・Ｎ-ＵＰ印刷、両面、ステープル、パンチ、製本中綴じ、合紙、表紙、裏表紙などの各種設定が可能である。
【００１８】
図２は本実施形態に係る画像処理システムの概略を例示したブロック図である。図２に示すとおり、画像処理システム200は画像入力手段201、色空間変換手段202、画像補正手段203、逆色空間変換手段204、画像出力手段205からなる。
【００１９】
画像入力手段201は、画像処理装置100の画像入力部101に相当する画像入力手段である。色空間変換手段202は、入力された画像データから入力画像輝度成分と入力画像彩度成分を抽出するために色空間の変換を行う手段である。例えば、入力画像データがRGB色空間により構成されYCｂCr色空間へ変換を行う場合、以下の数式で表わされる。
【００２０】
［数式１］
Y=0.29891＊R + 0.58661＊G + 0.11448＊B
Cb=‐0.16874＊R‐0.33126＊G +0.50000＊B
Cr=0.50000＊R‐0.41869＊G‐0.08131＊B
Yは入力画像輝度成分を表し、Cb,Crは入力画像色差成分を表す。Cb,Crの入力画像色差成分からの入力画像彩度成分抽出は以下の数式で表わされる。
【００２１】
［数式２］
S=√Cb２＋Cr２
Sは入力画像彩度成分を表す。RGB色空間からYCｂCr色空間への変換により入力画像データから入力画像輝度成分と入力画像彩度成分を抽出することができる。色空間変換はRGB色空間からYCｂCr色空間への変換に限られたものではなく、XYZ色空間、L*a*b*色空間、HLS色空間などに変換してもよい。
【００２２】
本実施形態に係る画像処理システムにおける画像補正手段203の概略ブロック図を図４に例示する。画像補正手段203は、空間フィルタ処理手段401、輝度補正手段402、第一ブレンド手段403、第二ブレンド手段404からなる。空間フィルタ処理手段401は、入力画像データから抽出された入力画像輝度成分から輝度低周波成分を抽出する手段である。例えばガウシアンフィルタなどの公知の空間フィルタを用いることで実現できる。輝度補正手段402は、輝度低周波成分に基づき入力画像輝度成分の輝度を補正する手段である。輝度の補正は、例えばまず入力画像輝度成分の各画素を輝度低周波成分の対応画素で除算し、全画素について除算することで画像を生成する。続いて生成した画像の平均輝度値が入力画像輝度成分の平均輝度値と等しくなるよう、除算後の生成輝度画像の各画素の輝度を調整することで実現でき、以下のように表せる。
【００２３】
［数式３］
Y′＝Yavr／Ravr ＊ Y／L
Y′は輝度補正後の輝度成分（第一補正輝度成分）、Yavrは入力画像輝度成分の平均輝度値、Ravrは入力画像輝度成分と輝度低周波成分の除算結果の輝度平均値、Lは輝度低周波成分を表している。ただし、Lの値が0である場合は数式３を用いずにY′を0とする。第一ブレンド手段403は、第一補正輝度成分と入力画像輝度成分をブレンドする手段である。ブレンドとは、２つの画像の対応する各画素を比率の合計が１となるようにある割合で足し合わせる処理であり、ブレンド率は足し合わせる割合である。画素ごとに各画像成分をブレンドする割合は輝度低周波成分に基づき算出される。第二ブレンド手段404は、第一ブレンド手段により抽出される輝度成分（第二補正輝度成分）と入力画像輝度成分をブレンドする手段である。画素ごとに各画像成分をブレンドする割合は入力画像彩度成分に基づき算出される。入力画像彩度成分は、入力画像がYCｂCr色空間に変換されている場合、前記数式２に基づき全画素について計算することにより生成できる。
【００２４】
逆色空間変換手段204は、色空間変換手段202により変換された色空間を元の色空間に戻す手段である。例えば、色空間変換手段202によりRGB色空間からYCｂCr色空間に変換されている場合、YCｂCr色空間をRGB色空間に戻す変換は以下の数式で表わされる。
【００２５】
［数式４］
R=Y＋1.40200＊Cr
G=Y‐0.34414＊Cb‐0.71414＊Cr
B=Y＋1.77200＊Cb
画像出力手段205は、画像処理装置100の画像出力部103に相当する画像出力手段である。
【００２６】
図５は本実施形態に係る画像の輝度補正処理に関する処理フローを例示した図である。図５を元に本実施形態の処理フローを説明する。まず輝度・彩度成分抽出501を行う。輝度・彩度成分抽出501は先に述べたとおり、色空間変換により実現する。ここでは色空間をRGB色空間からYCｂCr色空間に変換した場合を例として説明する。数式１に従いRGB色空間で定義された入力画像をYCｂCr色空間に変換することで、入力画像輝度成分を表すYを抽出する。この入力画像輝度成分Yに対して処理を行う。また、数式２に従いCb,Cr成分から入力画像彩度成分Sを抽出する。
【００２７】
入力画像輝度成分Y抽出後、輝度低周波成分抽出502を行う。先に述べたとおり、輝度低周波成分の抽出は空間フィルタを用いることにより実現する。ここでは空間フィルタとしてガウシアンフィルタを用いた場合を例に説明する。ガウシアンフィルタは以下の数式で表わされる。
【００２８】
［数式５］
Ga=Aexp[‐(x2＋y2)／σ2]
ただし
［数式６］
∬Gadxdy＝1
ｘ、ｙは画素位置を表す。Aは定数であり、数式６を実現するように設定される一意の値である。またσは標準偏差であり、ガウシアンフィルタの広がり（大きさ）を調整する任意の値である。ガウシアンフィルタの広がりを調整することで輝度低周波成分の抽出度合いが変化する。広がりが大きいほど輝度低周波成分の抽出度合いが強くなり、小さいほど弱くなる。σの値（ガウシアンフィルタの広がり）は画像の特徴や補正目的などに応じて適宜設定される。ガウシアンフィルタを入力画像輝度成分に適用することにより、入力画像輝度成分の低周波成分が抽出される。
【００２９】
抽出された輝度低周波成分と入力画像輝度成分を用いて第一の輝度補正処理503を行う。第一の輝度補正処理503は輝度低周波成分に基づき入力画像輝度成分を補正することにより実現する。入力画像輝度成分の補正は先に述べたとおり、入力画像輝度成分を輝度低周波成分で除算し、除算結果の平均値が入力画像輝度成分の平均値となるように除算結果に対して一意の値を乗算することにより行う。第一の輝度補正処理により補正された輝度成分を第一補正輝度成分とする。
【００３０】
第一の輝度補正処理503後、第一のブレンド率算出504を行う。第一のブレンド率は輝度低周波成分から算出される。図６は輝度低周波成分の輝度値に基づく第一のブレンド率を示した一例である。図６のように、輝度低周波成分の輝度値が大きいほどブレンド率が大きくなる。図６はあくまで一例であり、輝度低周波成分の輝度値が大きいほどブレンド率が大きくなる形であれば対応関係はどのような形でもよい。
【００３１】
算出された第一のブレンド率を元に、第一補正輝度成分と入力画像輝度成分をブレンドする第二の輝度補正処理505を行う。図６のように算出された第一のブレンド率に基づいてブレンドを行う（第一ブレンドとする）。第一ブレンドでは輝度低周波成分の輝度値が大きい画素ほど第一補正輝度成分の輝度補正量を小さくする調整が可能である。第一ブレンドは以下の数式で表わされる。
【００３２】
［数式７］
Y1=α＊Y＋(１‐α)＊Y′
Y1は第一ブレンド後の輝度成分（第二補正輝度成分とする）、Y′は第一補正輝度成分、αは第一のブレンド率を表わしている。数式７を元に第一ブレンドを行うことで、第二補正輝度成分が抽出される。
【００３３】
第二補正輝度成分抽出後、続いて第二のブレンド率算出506を行う。第二のブレンド率は輝度・彩度成分抽出501において抽出された入力画像彩度成分から算出される。図７は入力画像彩度成分の各画素値に対する第二のブレンド率を示した一例である。図７のように、入力画像彩度成分の各画素の値が大きいほどブレンド率が大きくなる。第一のブレンド率同様、図７はあくまで一例であり、入力画像彩度成分の各画素値が大きいほどブレンド率が大きくなる形であれば対応関係はどのような形でもよい。
【００３４】
算出された第二のブレンド率を元に、第二補正輝度成分と入力画像輝度成分をブレンドする第三の輝度補正処理507を行う。図７のように算出されたブレンド率に基づいてブレンドを行う（第二ブレンドとする）。第二ブレンドでは入力画像彩度成分の各画素値が大きい画素ほど第二補正輝度成分の輝度補正量を小さくするような調整が可能である。第二のブレンドは以下の数式で表わされる。
【００３５】
［数式８］
Y2=β＊Y＋(１−β)＊Y1
Y2は第二ブレンド後の輝度成分（第三補正輝度成分とする）、βは第二のブレンド率を表している。数式８を元に第二ブレンドを行うことで、第三補正輝度成分が抽出される。
【００３６】
これらの処理を全画素を処理するまで繰り返すことで本実施形態に係る画像処理の効果を得ることができる。その効果は照明光分布を推定し画像の輝度補正を行う本画像処理において、照明光分布の推定が適切でない個所が存在するという本課題に対し、該当箇所の輝度補正量を調整するものである。
【実施例２】
【００３７】
第２の実施形態では、輝度低周波成分に基づくブレンド率の算出と入力画像彩度成分に基づくブレンド率の算出を一つの処理で行い、ブレンドによる輝度補正量の調整を一度で行う方法を説明する。これにより処理量を減らすことができる。
【００３８】
なお、本実施形態において先に述べた第１の実施形態と同様の構成には同一の番号を付与し、説明を省略する。
【００３９】
図８は本実施形態に係る画像処理システムにおける画像補正手段の概略を例示したブロック図である。なお、図８の画像補正手段は図２の画像補正手段203に相当する。画像補正手段203は、空間フィルタ処理手段401、輝度補正手段402、ブレンド手段801からなる。空間フィルタ処理401及び輝度補正手段402は第１の実施形態と同様の処理のため説明は省略する。ブレンド手段801は、第一補正輝度成分と入力画像輝度成分をブレンドする手段である。画素ごとに各画像成分をブレンドする割合は輝度低周波成分及び入力画像彩度成分に基づき算出される。
【００４０】
図９は本実施形態に係る画像の輝度補正処理に関する処理フローを例示した図である。図９を元に本実施形態の処理フローを説明する。輝度・彩度成分抽出501、輝度低周波成分抽出502及び第一の輝度補正処理503は第１の実施形態と同様の処理のため説明は省略する。ブレンド率算出901では、輝度低周波成分及び入力画像彩度成分に基づきブレンド率を算出する。第１の実施形態と同様、輝度低周波成分の輝度値が大きいほどまた入力画像彩度成分の彩度値が大きいほどブレンド率が大きくなるように設定する。例えば、図６、図７のように輝度低周波成分および入力画像彩度成分とブレンド率の関係が線形の場合以下の数式で表せる。
【００４１】
［数式９］
α＝Kα＊L
β＝Kβ＊S
αは輝度低周波成分に基づくブレンド率（第一のブレンド率）、βが入力画像彩度成分に基づくブレンド率（第二のブレンド率）、Kα及びKβは定数である。数式９のようにブレンド率が単純な関数で表せる場合、以下のようにブレンド率を設定することができる。
【００４２】
［数式１０］
γ＝α＊β
数式９のように、第一ブレンド率α及び第二ブレンド率βが単純な関数で表わせない場合、輝度低周波成分Lおよび入力画像彩度成分Sの各値全通りに対応するLUTを作成することによりブレンド率を設定することができる。
【００４３】
ブレンド率算出901後、第二の輝度補正処理902を行う。第二の輝度補正処理は以下の数式で表わされる。
【００４４】
［数式１１］
Y″＝γ＊Y＋(１‐γ)Y′
Y″は第二の輝度補正処理後の輝度成分（第二補正輝度成分）を表している。
【００４５】
これらの処理を全画素を処理するまで繰り返すことにより、ブレンド率の算出及びブレンド処理を一度に行い、本実施形態に係る画像処理方法の効果を得ることができる。その効果は照明光分布を推定し画像の輝度補正を行う本画像処理方法において、照明光分布の推定が適切でない個所が存在するという本課題に対し、該当箇所の輝度補正量を調整するものである。
【図１】
2010200099.tif 000003
【図２】
2010200099.tif 000004
【図３】
2010200099.tif 000005
【図４】
2010200099.tif 000006
【図５】
2010200099.tif 000007
【図６】
2010200099.tif 000008
【図７】
2010200099.tif 000009
【図８】
2010200099.tif 000010
【図９】
2010200099.tif 000011