(57)【要約】【課題】本発明は、局所的な明暗の大小関係をなるべく自然に保ちながら、階調情報の豊かな画像を得るための技術を提供する。【解決手段】本発明は、入力画像の階調修正を行う画像処理装置であって、微分処理部、および波及演算部を備える。この微分処理部は、入力画像を空間微分して、微分画像を得る。一方、波及演算部は、微分画像に含まれる微分値を局所的に波及させる反復演算を実施することによって、局所的に明暗の大小関係が再現され、かつ画像全体の明暗レベルを再現する前段階の処理画像を得る。【選択図】        図２
2005004582.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の階調修正を行う画像処理装置であって、
入力画像を空間微分して、微分画像を得る微分処理部と、
前記微分画像に含まれる微分値を局所的に波及させる反復演算を実施することによって、局所的に明暗の大小関係が再現され、かつ画像全体の明暗レベルを再現する前の段階の処理画像を得る波及演算部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記波及演算部で生成された前記処理画像の信号レンジをレベル調整して、画像信号の信号レンジに再配置するレベル調整部を備えた
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記処理画像と前記入力画像とを所定比率で加算して加算画像を生成する加算調整部を備えた
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記加算画像と前記入力画像とを画素値比較に基づいて選択して合成し、合成画像を生成する合成調整部を備えた
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
ＨＳＶ変換部およびコンポーネント処理部を備え、
前記ＨＳＶ変換部は、カラーの前記入力画像をＨＳＶ変換し、
前記微分処理部および前記波及演算部は、前記ＨＳＶ変換後のＶ信号について前記階調修正を実施し、
前記コンポーネント処理部は、前記階調修正後のＶ信号と、前記入力画像のＨＳ信号とに基づいて、カラーの出力画像を生成する
ことを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
前記波及演算部は、前記反復演算中の前記処理画像の信号レンジに基づいて終点判定を行い、前記反復演算をストップする
ことを特徴とする画像処理装置。
【請求項７】
コンピュータを、請求項１ないし請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
【請求項８】
被写体を撮像して入力画像を生成する撮像部と、
請求項１ないし請求項６のいずれか１項に記載の画像処理装置とを備え、
前記画像処理装置が、前記撮像部で生成された前記入力画像に前記階調修正を実施する
ことを特徴とする電子カメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像の階調を修正する画像処理装置、画像処理プログラム、および電子カメラに関する。
【０００２】
【従来の技術】
従来、画面内に極端な明暗箇所を有する画像は、その階調修正が非常に困難であった。
すなわち、画面内の明るい箇所に合わせて階調を修正すると、暗い箇所が黒く潰れてしまう。その結果、黒い箇所ばかりが目立つ、階調の乏しい画像になってしまう。
【０００３】
逆に、画面内の暗い箇所に合わせて階調を修正すると、明るい箇所の色や階調が白く飛んでしまう。その結果、明るい箇所の色や階調が不足して、階調の乏しい画像になってしまう。
従来、このような明暗差を和らげるために、軟調カーブの階調変換を施す処理がよく知られている。しかしながら、極端な明暗差を劇的に和らげることは難しく、逆に中間階調域において明暗差が縮小するなどの弊害が生じやすい。
【０００４】
また従来、階調に偏りがある画像を修正するために、画像の階調ヒストグラムの分布を均等化する処理が知られている。この処理では、階調ヒストグラムの集中域において明暗差を拡大することができる。しかしながら、階調ヒストグラムの過疎域では逆に明暗差が縮小されるため、画面内の所々に階調潰れが目立つおそれがある。
なお、従来技術としては、下記の特許文献１も知られている。この特許文献１では、画像の低域空間周波数成分を基準にして画像を領域区分し、これらの領域ごとに階調補正を個別に実行する。
【０００５】
【特許文献１】
特開２０００−１４９０１４号公報（段落０００１，段落００１７）
【０００６】
【発明が解決しようとする課題】
上述のように、画面内に極端な明暗が混在する画像の場合、その階調修正は非常に困難であった。
【０００７】
また、上述した特許文献１の従来技術においても、明るさがなだらかに変化する箇所において領域が区分されると、その領域境界において画素値の大小関係が逆転し、不自然な画像になってしまう。
そこで、本発明では、局所的な明暗の大小関係をよく保ちながら、階調情報の豊かな画像を得るための画像処理技術を提供することを目的とする。
【０００８】
【課題を解決するための手段】
以下、本発明について説明する。
《請求項１》
請求項１に記載の発明は、入力画像の階調修正を行う画像処理装置であって、微分処理部、および波及演算部を備える。
この微分処理部は、入力画像を空間微分して、微分画像を得る。
一方、波及演算部は、微分画像に含まれる微分値を局所的に波及させる反復演算を実施することによって、
（１）局所的に明暗の大小関係が再現され、
（２）画像全体の明暗レベルを再現しない、
といった状態の処理画像を生成する。
【０００９】
《請求項２》
請求項２に記載の発明は、請求項１に記載の画像処理装置において、レベル調整部を備える。このレベル調整部は、波及演算部で生成された処理画像の信号レンジを、画像信号の信号レンジに再配置するようにレベル調整する。
【００１０】
《請求項３》
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、加算調整部を備える。
この加算調整部は、処理画像と入力画像とを所定比率で加算して加算画像を生成する。
なお、加算調整部は、この所定比率を調整することによって、階調修正の強弱を調整することが好ましい。
【００１１】
《請求項４》
請求項４に記載の発明は、請求項３に記載の画像処理装置において、合成調整部を備える。
この合成調整部は、加算画像と入力画像とを画素値比較に基づいて選択して合成することにより、合成画像を生成する。
【００１２】
《請求項５》
請求項５に記載の発明は、請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、ＨＳＶ変換部、およびコンポーネント処理部を備える。
このＨＳＶ変換部は、カラーの入力画像をＨＳＶ変換する。
また、微分処理および波及演算部は、この入力画像のＶ信号について階調修正を実施する。
一方、コンポーネント処理部は、階調修正後のＶ信号と、入力画像のＨＳ信号とに基づいて、カラーの出力画像を生成する。
（なお、ここでのＨＳＶ成分は、狭義のＨＳＶ成分に限定されず、ＨＳＬ成分およびＨＳＩ成分などを含む広義の意味である。）
【００１３】
《請求項６》
請求項６に記載の発明は、請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、波及演算部は、反復演算中の処理画像の信号レンジに基づいて終点判定を行い、反復演算をストップする。
【００１４】
《請求項７》
請求項７に記載の画像処理プログラムは、コンピュータを、請求項１ないし請求項６のいずれか１項に記載の画像処理装置として機能させるためのプログラムコードを含む。
【００１５】
《請求項８》
請求項８に記載の電子カメラは、被写体を撮像して入力画像を生成する撮像部と、請求項１ないし請求項６のいずれか１項に記載の画像処理装置とを備える。この画像処理装置は、撮像部で生成された入力画像に対して、上述した本発明の階調修正を実施することができる。
【００１６】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【００１７】
［本実施形態の構成説明］
図１は、本実施形態の電子カメラ１１（画像処理装置１３を含む）の構成を示す図である。
図１において、電子カメラ１１は、被写体を撮像して入力画像を生成する撮像部１２と、画像処理装置１３とを備える。
この画像処理装置１３は、下記のような構成要素を備える。
【００１８】
（１）ＨＳＶ変換部１４
（２）微分処理部１５
（３）波及演算部１６
（４）レベル調整部１７
（５）加算調整部１８
（６）合成調整部１９
（７）コンポーネント処理部２０
なお、画像処理装置１３によって処理された出力画像は、モニタ表示部２１によって、電子カメラ１１のモニタ画面に表示される。
また、画像処理装置１３によって処理された出力画像は、記録部２２によって記録媒体に保存記録される。
【００１９】
［本実施形態の動作説明］
図２は、本実施形態の動作を説明する図である。
図３〜図１０は、画像処理の効果を示すための中間調画像の写真である。なお、本図の元となる画像ファイルを格納したＣＤ−ＲＯＭを物件として特許庁に別途提出している。このＣＤ−ＲＯＭ内の『ＩＮＤＥＸ．ＨＴＭＬ』に、各図面の画像ファイルをリンク付けているので、このＩＮＤＥＸ．ＨＴＭＬをブラウザソフトで開くことによって、図３〜図１０に対応する画像ファイルをモニタ上で簡単に観ることができる。
以下、これらの図を参照しながら、本実施形態の動作を順番に説明する。
【００２０】
ステップＳ１：
撮像部１２は、被写体を撮像してカラーの入力画像を生成する。図３は、この入力画像の一例を示す中間調画像の写真である。この入力画像は、人物の左肩部分に強い光が射していて、シャツのストライプ模様がかなり見えづらくなっている。一方、人物の顔と右胸にかけて暗い影が発生し、顔の表情もかなり見えづらい。
ＨＳＶ変換部１４は、この入力画像を、Ｈ信号（色相成分），Ｓ信号（彩度成分），およびＶ信号（明度成分）に変換する。図４は、この入力画像のＶ信号を示す中間調画像の写真である。このＶ信号も、上述した入力画像の特徴をそのまま残している。
【００２１】
ステップＳ２：
微分処理部１５は、入力画像のＶ信号を取り込み、下式の空間微分を実行し、微分画像Ｐを得る。
【数１】
2005004582.tif 000003
なお、本実施形態では、下記のラプラシアンフィルタＡによる局所積和演算を、Ｖ信号に施す。
【数２】
2005004582.tif 000004
図５は、このように求めた微分画像Ｐを示す中間調画像の写真である。この微分画像Ｐは、画像の絶対的な明暗レベルが無くなり、局所的な明暗差のみを保存する画像となっている。
【００２２】
ステップＳ３：
ここでは、微分画像Ｐに基づいて、局所的な明暗差を保存した処理画像Ｕｎを生成する。まず、波及演算部１６は、処理画像Ｕｎの初期値Ｕｏ（ｘ，ｙ）を全て定数Ｃに初期化した後、下記の漸化式の反復演算を実行する。なお、この定数Ｃは、Ｖ信号の平均値に設定しておくことが好ましい。
【数３】
2005004582.tif 000005
ちなみに、（１）式の数値解法として、（３）式の収束計算を行うこと自体は、数学としては既に周知である。ただし、後述するように、収束不十分な段階の処理画像Ｕｎを、階調伸張の元画像に使用するという技術は非公知である。
この（３）式では、右辺の微分値Ｐ（ｘ，ｙ）の項により、処理画像Ｕｎの局所的な明暗差が、微分前のＶ信号と等しく保たれる。さらに、漸化式の反復により、この局所的な明暗差が周囲へ徐々に波及する。
なお、この反復演算では、桁落ちや誤差累積などの影響を受けないよう、浮動小数点演算などを用いてなるべく高精度に実行することが好ましい。
【００２３】
ステップＳ４：
ここでは、画像として認知できる程度まで微分値Ｐの波及サイズが広がり、かつ画像全体の明暗レベルを完全に再現する前の段階（収束の不十分な段階）で、反復演算をストップする。
このような終点検出としては、反復回数の閾値判定によって行う方法が簡易である。すなわち、（３）式の漸化式では、微分値Ｐの波及サイズを、反復回数によって正確にコントロールできる。そこで、反復回数が閾値（例えば１０回程度）に達すると、反復演算をストップすることにより、微分値Ｐの波及サイズを適切にコントロールできる。
【００２４】
なお、微分値Ｐの適正な波及サイズは、入力画像の縦横画素数によっても変化する。そのため、この縦横画素数の増減に応じて、反復回数の閾値を増減調整することが更に好ましい。
もちろん、この反復回数の閾値を、階調修正の調整パラメータの一つとして使用することも可能である。
【００２５】
なお、処理画像Ｕｎの信号レンジ（最大値−最小値など）を閾値判定して、反復演算の終点判定を行うことも好ましい。この場合、信号レベルの閾値を小さくするほど、後述のレベル調整（ステップＳ５）における局所的な明暗差の伸張効果が高くなる。すなわち、反復演算中の処理画像Ｕｎの信号レンジに基づいて終点判定を行うことにより、局所的な階調変化の強調度合いを正確にコントロールすることができる。
【００２６】
さらに、処理画像Ｕｎのヒストグラムを求めて、入力画像のヒストグラムと、分布形状比較を行い、その比較結果に応じて反復演算の終点判断を行ってもよい。
また、処理画像Ｕｎ（この場合は、後述するレベル調整を施した方が好ましい）と入力画像との画素差分を二乗加算するなどして両画像の近似度をモニタし、この両画像の近似度に基づいて反復演算の終点判断を行ってもよい。
このようにして、反復演算の終点が検出されるまでの間、波及演算部１６は、ステップＳ３に動作を戻して、反復演算を継続する。
一方、この反復演算の終点を検出すると、波及演算部１６は、反復演算をストップして、ステップＳ５に動作を移行する。
【００２７】
ステップＳ５：
反復演算を終えた処理画像Ｕｎの信号レンジは、画像全体の明暗レベルが完全再現されていないために、もともとの画像信号の信号レンジよりも狭い。そこで、レベル調整部１７は、処理画像Ｕｎの信号レンジを、画像信号の信号レンジに再配置するように、レベル調整を行う。このレベル調整を経て、処理画像Ｕを得る。
例えば、下式に従って、処理画像Ｕｎのレベル調整を行い、レベル調整後の処理画像Ｕを得る。
【数４】
2005004582.tif 000006
（ただし、ｍａｘは処理画像Ｕｎの最大レベル、ｍｉｎは処理画像Ｕｎの最小レベル、Ｒは画像信号の信号レンジの幅）
図６は、このレベル調整後の処理画像Ｕを示す中間調画像の写真である。この処理画像Ｕは、局所的な明暗の大小関係が入力画像とほぼ同じ状態に保たれる。さらに、レベル調整によって局所的な明暗差が伸張されているため、局所的な階調が豊かな画像となる。
【００２８】
さらに、図７は、この処理画像Ｕと入力画像のＨＳ信号とを合わせてカラー化した中間調画像の写真である。このカラー画像は、全体としてカラーバランスの自然な画像となる。
通常、人間の視覚は、絶対的な明暗レベルよりも、局所的な明暗差やその大小関係に敏感である。すなわち、人間が、視野内の明領域を注視すれば、明領域における局所的な明暗差が顕著に見えてくる。また、暗領域を注視すれば、暗領域における局所的な明暗差が顕著に見えてくる。
【００２９】
したがって、上述した処理画像Ｕは、明暗領域どちらにおいても局所的な明暗差を強調しているという点で、人間の視覚特性を経た状態に近く、人間が脳内の視覚野で認知しているような印象の画像となる。
さらに、この処理画像Ｕは、局所的な明暗の大小関係がよく保たれているため、視覚的に違和感の少ない画像となっている。
【００３０】
ステップＳ６：
加算調整部１８は、ユーザーによる階調修正の強弱設定に基づいて、所定比率Ｃ１：Ｃ２を設定する。
【００３１】
ステップＳ７：
加算調整部１８は、下式に基づいて、処理画像Ｕと、入力画像のＶ信号とを所定比率で画素単位に加算する。この加算処理によって加算画像Ｓが得られる。
【数５】
2005004582.tif 000007
ここで、処理画像Ｕの加算係数Ｃ１を大きくすれば、階調修正を強めることができる。一方、入力画像の加算係数Ｃ２を大きくすれば、階調修正を弱めにかけることができる。
図８は、所定比率１：１で求めた加算画像Ｓである。この加算画像Ｓは、入力画像の絶対的な明暗レベルが適度に加味される。そのため、加算画像Ｓは、明暗領域の階調を豊かに再現しつつ、明暗レベルに違和感を感じない自然な印象の画像となる。
【００３２】
ステップＳ８：
合成調整部１９は、予めユーザー選択されている階調修正の動作モードを判定する。
ここで、コントラスト柔和モードが選択されている場合、合成調整部１９は、ステップＳ９に動作を移行する。
デジタル日中シンクロモードが選択されている場合、合成調整部１９は、ステップＳ１０に動作を移行する。
一方、ハイライト階調復元モードが選択されている場合、合成調整部１９は、ステップＳ１１に動作を移行する。
【００３３】
ステップＳ９：
コントラスト柔和モードがモード選択されている場合、合成調整部１９は、加算画像Ｓをそのまま合成画像Ｓとして出力する。このような動作の後、ステップＳ１２に移行する。
【００３４】
ステップＳ１０：
デジタル日中シンクロモードが選択されている場合、合成調整部１９は、下式に基づいて画像合成を実行する。
【数６】
2005004582.tif 000008
ここでは、入力画像のＶ信号と、加算画像Ｓとを画素値比較し、明るい方の画素値を選択して合成し、合成画像Ｄを生成する。
図９は、このデジタル日中シンクロモードで合成された合成画像Ｄの写真である。このような合成処理では、日中シンクロ撮影を行ったような擬似的な画像（つまり、暗領域を明るくして、階調の黒潰れを防いだ画像）を生成できる。このような動作の後、ステップＳ１２に移行する。
【００３５】
ステップＳ１１：
ハイライト階調復元モードが選択されている場合、合成調整部１９は、下式に基づいて画像合成を実行する。
【数７】
2005004582.tif 000009
ここでは、入力画像のＶ信号と、加算画像Ｓとを画素値比較し、暗い方の画素値を選択して合成し、合成画像Ｈを生成する。
図１０は、ハイライト階調復元モードで合成された合成画像Ｈの写真である。このような合成処理では、明領域の階調潰れを防いだ画像を生成できる。
このような動作の後、ステップＳ１２に移行する。
【００３６】
ステップＳ１２：
コンポーネント処理部２０は、階調修正を終えた『合成画像のＶ信号』と、入力画像のＨＳ信号とに基づいて、カラーの出力画像を生成する。
【００３７】
［本実施形態の効果など］
以上説明したように、本実施形態では、微分画像Ｐに含まれる微分値を局所的に波及させる反復演算を実施することによって、処理画像Ｕｎを求める。この処理画像Ｕｎは、局所的な明暗の大小関係をよく保つが、画像全体の明暗レベル（絶対値）を充分に再現しない画像である。
【００３８】
通常、人間の視覚は、絶対的な明るさよりも、近傍の明暗の大小関係に敏感である。したがって、本実施形態では、この視覚感覚に近い階調特性の画像を得ることができる。
【００３９】
また、このように反復演算によって処理画像Ｕｎは、局所的な明暗関係はよく再現されているが、全体的な明暗レベルは階調圧縮されている。そこで、この処理画像Ｕｎの信号レンジを、画像信号の信号レンジまでレベル伸張することによって、局所的な明暗差を拡大伸張することができる。その結果、局所的な明暗の大小関係をよく保ちつつ、局所的に階調が豊かな処理画像Ｕを得ることができる。
【００４０】
さらに、本実施形態では、処理画像Ｕと入力画像とを所定比率で加算して加算画像Ｓを生成する。その結果、本来の明暗レベル（絶対値）を加味した、階調豊かな加算画像Ｓを得ることができる。なお、この所定比率を変更することによって、階調修正の強弱具合を柔軟に調整することもできる。
また、本実施形態は、加算画像Ｓと入力画像とを、画素値比較に基づいて合成することにより、デジタル日中シンクロモードおよびハイライト階調復元モードといった多様な合成画像を生成できる。
【００４１】
さらに、本実施形態では、階調修正後のＶ信号と、入力画像のＨＳ信号とに基づいて、カラーの出力画像を生成する。本実施形態の階調修正では、局所的な明暗の大小関係はよく保たれているが、明暗レベルの絶対値は変化する。そのため、ＹＣｂＣｒその他の表色系で処理すると、輝度Ｙが大きく変化した分だけ色再現性が劣化するなどの問題を生じやすい。しかしながら、本実施形態のようにＨＳＶ表色系での処理は、明度信号Ｖが大きく変化しても、色相や彩度の変化が小さく、色再現性を高く保つことができる。
【００４２】
また、本実施形態では、反復演算中の処理画像Ｕｎの信号レンジを閾値判定して、反復演算をストップする。この場合、信号レンジの閾値設定によって、後段のレベル調整における階調強調の効果を正確にコントロールすることができる。
なお、本実施形態では、階調ヒストグラムに基づいて反復演算の終点判定を行うこともできる。この場合、ヒストグラム分布の形状から処理画像Ｕｎの状態を正確に把握して、正確な終点判定を行うことができる。
【００４３】
さらに、本実施形態では、電子カメラ１１に画像処理装置１３を搭載している。そのため、画像処理装置１３で階調修正した出力画像をモニタ表示したり、記録保存することができる。特に、この階調修正した出力画像をモニタ表示した場合には、モニタ画面上における画像の黒潰れや白飛びを改善できるため、モニタ表示の見やすい電子カメラを実現できる。
【００４４】
なお、本実施形態は、電子カメラ１１として実現するケースについて説明したが、本発明はこれに限定されるものではない。フィルムスキャナーなどのスキャナー装置で本発明を実現してもよい。また、画像処理機能付きのＤＰＥ装置などで本発明を実現してもよい。
また、図２に示す動作をコンピュータで実行するための画像処理プログラムを作成してもよい。
【００４５】
なお、本実施形態では、二次微分（ラプラシアン）により空間微分値を求めている。しかしながら、本発明はこれに限定されるものではない。例えば、一次微分により空間微分値を求めてもよい。
さらに、本実施形態では、（３）式の反復演算により処理画像Ｕｎを求めている。しかしながら、本発明はこれに限定されるものではない。一般的には、空間微分値を局所的に波及させる反復演算を実施することにより処理画像Ｕｎを求めればよい。例えば、（３）式の右辺に登場する処理画像Ｕｎの各値を、処理画像Ｕｎ−１の各値に置き換えてもよい。また例えば、『空間微分値の求め方』や『空間微分値を波及させる距離』などを変更した場合には、（３）式とは異なる漸化式を得ることも可能である。
【００４６】
【発明の効果】
以上説明したように、本発明は、空間微分値を局所的に波及させる反復演算を実施することによって、局所的な明暗の大小関係をよく保つが、画像全体の明暗レベル（絶対値）を保たない処理画像を生成する。このような処理画像は、人間が明暗領域をそれぞれ注視した場合に知覚する画像に近く、豊かな階調を含む画像となる。
【図面の簡単な説明】
【図１】本実施形態の電子カメラ１１（画像処理装置１３を含む）の構成を示す図である。
【図２】本実施形態の動作を説明する図である。
【図３】入力画像の一例を示す中間調画像の写真である。
【図４】入力画像のＶ信号を示す中間調画像の写真である。
【図５】微分画像Ｐを示す中間調画像の写真である。
【図６】レベル調整後の処理画像Ｕを示す中間調画像の写真である。
【図７】処理画像Ｕと入力画像のＨＳ信号とを合わせてカラー化した中間調画像の写真である。
【図８】加算画像Ｓを示す中間調画像の写真である。
【図９】デジタル日中シンクロモードで合成された中間調画像（合成画像Ｄ）の写真である。
【図１０】ハイライト階調復元モードで合成された中間調画像（合成画像Ｈ）の写真である。
【符号の説明】
１１  電子カメラ
１２  撮像部
１３  画像処理装置
１４  ＨＳＶ変換部
１５  微分処理部
１６  波及演算部
１７  レベル調整部
１８  加算調整部
１９  合成調整部
２０  コンポーネント処理部
２１  モニタ表示部
２２  記録部
【図１】
2005004582.tif 000010
【図２】
2005004582.tif 000011
【図３】
2005004582.tif 000012
【図４】
2005004582.tif 000013
【図５】
2005004582.tif 000014
【図６】
2005004582.tif 000015
【図７】
2005004582.tif 000016
【図８】
2005004582.tif 000017
【図９】
2005004582.tif 000018
【図１０】
2005004582.tif 000019