(57)【特許請求の範囲】
【請求項１】
入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅する画像処理手段を具える画像処理装置において、
上記画像処理手段は、
上記入力画像データの各々に対して非線形変換を施し非線形画像データを生成する非線形変換手段と、
上記非線形画像データに対して、非線形フィルタを施し非線形平滑化画像データを生成する非線形フィルタリング手段と、
上記非線形平滑化画像データに対して上記非線形変換手段の逆変換を施して平滑化画像データを生成する非線形逆変換手段と、
上記平滑化画像データを上記入力画像データから減算し、当該減算結果を増幅した後、上記平滑化画像データを加算し出力画像データを生成する画像強調手段と
を具え、
上記非線形フィルタリング手段は、直列に接続された大きさの異なる複数の非線形フィルタからなり、当該非線形フィルタは直列に配置されたレジスタと並列に配置されたセレクタ及び増幅器とによって構成され、フィルタ処理用の画素が１次元で２Ｎ＋１タップの場合、上記非線形平滑化画像データの画素値をｙｎ、タップ係数をａｋ、フィルタ処理の中心画素の画素値をＸｎ、所定の閾値をεとしたとき、次式
0004662190.tif 000008
により中心画素とその近傍画素の差分値に基づいて平滑化の度合いを適応的に変化させ上記非線形平滑化画像データを生成する
画像処理装置。
【請求項２】
上記非線形変換手段は、上記差分値の大きさが上記画像データを撮像した際の照明光の強さに依存しないように上記入力画像データの値を変換する
請求項１に記載の画像処理装置。
【請求項３】
入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅する画像処理を施す画像処理方法において、
上記入力画像データの各々に対して非線形変換を施し非線形画像データを生成する非線形変換ステップと、
上記非線形画像データに対して、非線形フィルタを施し非線形平滑化画像データを生成する非線形フィルタリングステップと、
上記非線形平滑化画像データに対して上記非線形変換ステップの逆変換を施して平滑化画像データを生成する非線形逆変換ステップと、
上記平滑化画像データを上記入力画像データから減算し、当該減算結果を増幅した後、上記平滑化画像データを加算し出力画像データを生成する画像強調ステップと
を具え、
上記非線形フィルタリングステップにおいて、直列に配置されたレジスタと並列に配置されたセレクタ及び増幅器とによって構成され、直列に接続された大きさの異なる複数の非線形フィルタを上記非線形画像データに施し、フィルタ処理用の画素が１次元で２Ｎ＋１タップの場合、上記非線形平滑化画像データの画素値をｙｎ、タップ係数をａｋ、フィルタ処理の中心画素の画素値をＸｎ、所定の閾値をεとしたとき、次式
0004662190.tif 000009
により中心画素とその近傍画素の差分値に基づいて平滑化の度合いを適応的に変化させ上記非線形平滑化画像データを生成する
画像処理方法。
【請求項４】
上記非線形変換ステップは、上記差分値の大きさが上記画像データを撮像した際の照明光の強さに依存しないように上記入力画像データの値を変換する
請求項３に記載の画像処理方法。
【請求項５】
コンピュータに対して、
上記入力画像データの各々に対して非線形変換を施し非線形画像データを生成する非線形変換ステップと、
上記非線形画像データに対して、非線形フィルタを施し非線形平滑化画像データを生成する非線形フィルタリングステップと、
上記非線形平滑化画像データに対して上記非線形変換ステップの逆変換を施して平滑化画像データを生成する非線形逆変換ステップと、
上記平滑化画像データを上記入力画像データから減算し、当該減算結果を増幅した後、上記平滑化画像データを加算し出力画像データを生成する画像強調ステップと
を具え、
上記非線形フィルタリングステップにおいて、直列に配置されたレジスタと並列に配置されたセレクタ及び増幅器とによって構成され、直列に接続された大きさの異なる複数の非線形フィルタを上記非線形画像データに施し、フィルタ処理用の画素が１次元で２Ｎ＋１タップの場合、上記非線形平滑化画像データの画素値をｙｎ、タップ係数をａｋ、フィルタ処理の中心画素の画素値をＸｎ、所定の閾値をεとしたとき、次式
0004662190.tif 000010
により中心画素とその近傍画素の差分値に基づいて平滑化の度合いを適応的に変化させ上記非線形平滑化画像データを生成する非線形平滑化画像データ生成ステップを
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関し、例えばビデオカメラに適用して好適なものである。
【背景技術】
【０００２】
従来、ビデオカメラにおいては、固体撮像素子（ＣＣＤ：Charge Coupled Device）によって撮像された画像のコントラスト（明暗の差）及び鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と呼ぶ）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されており、また高域成分強調方法としては、画像からエッジを抽出し、当該抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところでコントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化することを避け得ない問題があった。
【０００５】
本発明は以上の点を考慮してなされたもので、従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る画像処理装置、画像処理方法及び画像処理プログラムを提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため本発明においては、入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅する画像処理手段を具える画像処理装置において、画像処理手段は、入力画像データの各々に対して非線形変換を施し非線形画像データを生成する非線形変換手段と、非線形画像データに対して、非線形フィルタを施し非線形平滑化画像データを生成する非線形フィルタリング手段と、非線形平滑化画像データに対して非線形変換手段の逆変換を施して平滑化画像データを生成する非線形逆変換手段と、平滑化画像データを入力画像データから減算し、当該減算結果を増幅した後、平滑化画像データを加算し出力画像データを生成する画像強調手段とを具え、非線形フィルタリング手段は、直列に接続された大きさの異なる複数の非線形フィルタからなり、当該非線形フィルタは直列に配置されたレジスタと並列に配置されたセレクタ及び増幅器とによって構成され、フィルタ処理用の画素が１次元で２Ｎ＋１タップの場合、非線形平滑化画像データの画素値をｙｎ、タップ係数をａｋ、フィルタ処理の中心画素の画素値をＸｎ、所定の閾値をεとしたとき、次式
0004662190.tif 000002
により中心画素とその近傍画素の差分値に基づいて平滑化の度合いを適応的に変化させ上記非線形平滑化画像データを生成するようにしたことにより、直列に配置されたレジスタと並列に配置されたセレクタとによって入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ周辺部の不要な高周波成分を除去できるので、良好な平滑化効果が得られ画像のダイナミックレンジを維持しながら画像全体のコントラストを向上させることができ、かつエッジ付近においても画像の鮮鋭度を向上させることができる。
【発明の効果】
【０００７】
上述のように本発明によれば、直列に配置されたレジスタと並列に配置されたセレクタとによって入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ周辺部の不要な高周波成分を除去できるので、良好な平滑化効果が得られ画像のダイナミックレンジを維持しながら画像全体のコントラスト向上させることができるとともにエッジ付近においても画像の鮮鋭度を向上させることができ、かくして画像全体のコントラスト及び鮮鋭度を向上させることができ得る画像処理装置を実現できる。
【図面の簡単な説明】
【０００８】
【図１】本発明によるビデオカメラの第１の実施の形態を示すブロック図である。
【図２】非線形平滑化器の構成を示すブロック図である。
【図３】εフィルタの動作の説明に供する略線図である。
【図４】εフィルタの構成を示すブロック図である。
【図５】レジスタ列の構成を示すブロック図である。
【図６】セレクタの構成を示すブロック図である。
【図７】第２の実施の形態のビデオカメラの構成を示すブロック図である。
【図８】雑音除去フィルタの入出力特性の説明に供する略線図である。
【図９】ルックアップテーブルの説明に供する略線図である。
【図１０】第３の実施の形態のビデオカメラの構成を示すブロック図である。
【図１１】他の実施の形態のビデオカメラの構成を示すブロック図である。
【図１２】他の実施の形態のビデオカメラの構成を示すブロック図である。
【図１３】レジスタ２２を用いたεフィルタの例を示す図である。
【図１４】レジスタ２２の数と周波数応答の関係を示す図である。
【図１５】図１４の周波数応答に対応するフィルタの係数を示す図である。
【発明を実施するための形態】
【０００９】
以下図面について、本発明の一実施の形態を詳述する。
【００１０】
（１）第１の実施の形態
図１において、１は全体として第１の実施の形態のビデオカメラの構成を示し、固体撮像素子（ＣＣＤ：Charge Coupled Device）２によって撮像された入力画像データＳ１を画像処理回路３の遅延回路４及び非線形平滑化器５に入力する。ここで入力画像データＳ１は、２次元ディジタル画像であり、画像上の位置（ｉ、ｊ）に対応する画素値をｘ（ｉ、ｊ）と表す。
【００１１】
非線形平滑化器５は、この入力画像データＳ１の中から画素値の変化が急峻なエッジ成分を抽出し、当該エッジ成分に対しては平滑化することなくそのまま出力するのに対して、エッジ成分以外の小振幅成分に対しては平滑化することにより、入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化する。
【００１２】
具体的には非線形平滑化器５は、図２に示すように、入力画像データＳ１を線形ローパスフィルタ１０に入力する。線形ローパスフィルタ１０は、入力画像データＳ１のうち極めて高い周波数成分の信号レベルを減衰させ、その結果得た画像データＳ２をルックアップテーブル１１に送出する。このように線形ローパスフィルタ１０は、入力画像データＳ１のうち極めて高い周波数成分の信号レベルを減衰させることにより、後段のεフィルタ１２によって平滑化処理を行う際、振幅の大きい高周波成分が十分平滑化されずに点状のノイズとして画像上に残存することを防止している。因みに、この線形ローパスフィルタ１０は、１次元の線形ローパスフィルタを画像の水平方向及び垂直方向にそれぞれ適用することによって構成されるか、又は２次元の線形ローパスフィルタによって構成される。
【００１３】
ルックアップテーブル１１は、画像データＳ２に対して例えば対数変換のような階調変換を施し、その結果得た画像データＳ３をεフィルタ１２Ａに送出する。ところで、後段のεフィルタ１２は画像データの振幅に応じて適応的な平滑化処理を行なうが、一般に画像データの振幅の大きさは、撮像対象を照射している照明光の強さに比例して大きくなる。そこでルックアップテーブル１１は、予め画像データＳ２に対して対数変換を施すことにより、後段のεフィルタ１２において平滑化処理を行う際、照明条件によらず同一の平滑効果を得ることを可能にする。これと共にルックアップテーブル１１は、例えば画像の暗い領域や明るい領域で平滑効果を高くすることにより、後段の画像強調処理による強調度合いを増加させるなど、画素値に応じて平滑効果を制御することも可能にする。
【００１４】
非線形平滑化フィルタであるεフィルタ１２Ａは、画素値の急峻な変化を損なうことなく当該画素値を平滑化する際に有効なディジタルフィルタであり、ルックアップテーブル１１から供給される画像データＳ３のエッジを保存したまま当該画像データＳ３を平滑化し、その結果得た平滑化画像データＳ４Ａをεフィルタ１２Ｂに送出する。このεフィルタ１２Ａにおける平滑化処理は、フィルタ処理用の画素が１次元で２Ｎ＋１タップの場合、次式
【００１５】
【数１】
0004662190.tif 000003
【００１６】
によって表される。
【００１７】
すなわちεフィルタ１２Ａは、フィルタ処理の中心画素ｐnの画素値ｘnと画素ｐn-kの画素値ｘn-kとの差の絶対値｜ｘn−ｘn-k｜を所定の閾値εと比較する。その結果、εフィルタ１２Ａは、絶対値｜ｘn−ｘn-k｜が所定の閾値εよりも小さいと判断した場合には、ｗn-kに画素値ｘn-kを代入し、ａkを各タップ係数とした通常の線形ローパスフィルタと同様の処理を実行することにより、中心画素ｐnを中心として画像を一様に平滑化する。
【００１８】
これに対してεフィルタ１２Ａは、絶対値｜ｘn−ｘn-k｜が所定の閾値εよりも大きいと判断した場合には、ｗn-kに画素値ｘnを代入し、画素ｐn-kの画素値ｘn-kを中心画素ｐnの画素値ｘnに置き換えた後に当該中心画素ｐnを中心としてローパスフィルタ処理を行うことにより、画素値ｘn-kを無視して画素値ｘn近傍の画素値のみで平滑化を行う。
【００１９】
εフィルタ１２Ａは、例えば図３に示すように、急峻なエッジの前後で画素値の差の絶対値が所定の閾値εを超える場合、中心画素ｐnを中心としてローパスフィルタ処理を行う際には画素ｐmの画素値ｘmを中心画素ｐnの画素値ｘn に置き換えてローパスフィルタ処理を施すことにより、画素値ｘnの近傍で平滑化するのに対して、画素ｐmを中心としてローパスフィルタ処理を行う際には画素値ｘm近傍で平滑化する。
【００２０】
このときεフィルタ１２Ａは、フィルタ処理を行う範囲内に画素値ｘの近い画素ｐが存在しないエッジ部分の画素ｐでは、当該エッジ部分の画素ｐの画素値ｘをほぼそのまま出力することにより、エッジの急峻な変化をそのまま保存する。因みに、εフィルタ１２Ａは、線形ローパスフィルタ１０と同様に、１次元のεフィルタを画像の水平方向及び垂直方向にそれぞれ適用することによって構成される場合と、２次元のεフィルタによって構成される場合とがある。
【００２１】
ところでεフィルタ１２Ａの後段には、当該εフィルタ１２Ａと同様の構成でなるεフィルタ１２Ｂ〜１２Ｎが順次接続され、平滑化画像データＳ４Ａに対して順次平滑化処理を施すことにより平滑化効果を向上させるようになされている。このようにして、エッジ以外の成分が十分に平滑化された平滑化画像データＳ４Ｎが得られ、後段のルックアップテーブル１３に供給される。
【００２２】
ここで図４は、フィルタ処理用の画素が１次元で７タップの場合のεフィルタ１２Ａの構成を示し、レジスタ列２０Ａ〜２０Ｆとセレクタ２１Ａ〜２１Ｆと増幅器２３Ａ〜２３Ｇと加算器２４とから構成されている。レジスタ列２０Ａは、図５に示すように、それぞれ１画素分の画素値を保持するレジスタ２２Ａ〜２２Ｅを直列に接続することによって構成され、レジスタ列２０Ｂ〜２０Ｆについてもレジスタ列２０Ａと同様に構成されている。
【００２３】
セレクタ２１Ａは、図６に示すように、例えば図３に示す中心画素ｐnの画素値ｘnを加算器３０及びセレクタ３１に入力すると共に、画素ｐmの画素値ｘmを加算器３０及びセレクタ３１に入力する。加算器３０は、画素値ｘnと画素値ｘmの差をとり、その結果を絶対値変換器３２に送出する。絶対値変換器３２は、画素値ｘnと画素値ｘmの差の絶対値｜ｘn−ｘm｜を求め、これを大小比較器３３に送出する。
【００２４】
大小比較器３３は、この絶対値｜ｘn−ｘm｜と所定の閾値εとを比較し、その比較結果をセレクタ３１に送出する。セレクタ３１は、絶対値｜ｘn−ｘm｜が所定の閾値εよりも小さい場合には、画素値ｘmを選択して後段の増幅器２３Ａに送出するのに対して、絶対値｜ｘn−ｘm｜が所定の閾値εよりも大きい場合には、画素値ｘnを選択して後段の増幅器２３Ａに送出する。
【００２５】
セレクタ２１Ｂ〜２１Ｆは、それぞれセレクタ２１Ａと同様に構成され、選択した画素ｐの画素値ｘをそれぞれ対応する後段の増幅器２３Ｂ及び２３Ｃ並びに２３Ｅ〜２３Ｇに送出する。増幅器２３Ｄは、レジスタ列２０Ｃから中心画素ｐnの画素値ｘnが供給されるようになされている。
【００２６】
増幅器２３Ａ〜２３Ｇは、入力される画素値ｘに対してぞれぞれタップ係数ａkを乗算するためのものであり、その演算結果をそれぞれ加算器２４に送出して当該加算器２４において加算した後、これを平滑化画像データＳ４Ａとしてεフィルタ１２Ｂに送出する。
【００２７】
なお、この平滑化処理ではエッジ以外の部分では可能な限り変化の少ない画像を生成することが望ましいが、そのためにはεフィルタ１２Ａにおいて、非常に大きなフィルタを用いる必要がある。しかし、用いるフィルタを大きくした場合、全画素にタップ係数ａkを乗算すると後段のセレクタ２１Ａ〜２１Ｆや増幅器２３Ａ〜２３Ｇの数も増加させなければならず、回路規模が増大する。そこで、本実施の形態では、各レジスタ列２０をそれぞれ数画素分のレジスタ２２によって構成し、これ以降の演算処理に対しては各レジスタ列２０の先頭の１画素のみに施すようにすることにより、後段の回路規模を増加させることなく、空間的に広い範囲をカバーするεフィルタを実現している。例えば、７タップのεフィルタに対し、レジスタ２２の数を２とした場合、同等な回路規模で図１３に示すような１３画素×１３画素の大きさのフィルタを構成することが可能となる。但し、このように数画素おきにのみ有意な係数を持つフィルタは大きな平滑化効果が期待できる反面、一般的にサイドローブが大きくなる傾向があり、不要な高周波数成分が平滑化画像データに残存しやくなる。レジスタ２２の数を変化させて構成したフィルタの周波数応答の比較を図１４に示す。横軸はナイキスト周波数を0.5として正規化した周波数であり、縦軸はフィルタの周波数応答を表している。Filter A、Filter B、及びFilter Cはそれぞれレジスタ２２の数が１、２、及び３の場合に対応しており、それぞれの実際のフィルタ係数は図１５に示すとおりである。図１４からもレジスタ２２の数が多いほどサイドローブが増加していることがわかる。そこで本実施の形態ではこの問題を回避するために、レジスタ列２０Ａ〜２０Ｆ内のレジスタ２２の数を除いて同様の構成を持つ複数のεフィルタ１２Ａ〜１２Ｎを直列に接続することで、平滑化効果とサイドローブの抑制を両立させている。すなわち、レジスタ２２の数が多いεフィルタによって大きな平滑化効果を得るとともに、レジスタ２２の数が少ないεフィルタにより、他のフィルタのサイドローブを通過した不要な高周波数成分を除去する。ここで、εフィルタはエッジ周辺部において高周波数成分を通過させる性質があるため、レジスタ２２の数が少ないεフィルタを先に用いた場合、そのメインローブを通過した周波数成分が、エッジ周辺部では後段のεフィルタによって十分減衰されない可能性がある。従って、良好な平滑化効果を得るためには、レジスタ２２の数の多いものから順に適用していくことが望ましい。
【００２８】
ルックアップテーブル１３は、εフィルタ１２Ｎから供給される平滑化画像データＳ４Ｎに対して、ルックアップテーブル１１が施した対数変換の逆変換を施し、その結果得た平滑化画像データＳ１０を線形ローパスフィルタ３５に送出する。線形ローパスフィルタ３５は、エッジを保存したまま平滑化された平滑化画像データＳ１０のエッジを僅かに鈍らせることにより平滑化画像データＳ１１を生成し、これを加算器４０及び４１（図１）に送出する。これにより、後段の画像強調処理においてエッジ近傍での画像の滑らかさを保持することができる。
【００２９】
図１に戻って、遅延回路４は、ＣＣＤ２によって撮像された入力画像データＳ１を所定量遅延させ、これを遅延画像データＳ１５として加算器４０に送出する。加算器４０は、加算器４１及び乗算器４２と共に画像強調手段を構成し、遅延画像データＳ１５の各画素値ｘ（ｉ、ｊ）から平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を減算し、その結果得た差分画像データＳ１６を乗算器４２に送出する。
【００３０】
乗算器４２は、差分画像データＳ１６の各画素値（ｘ（ｉ、ｊ）−ｓ（ｉ、ｊ））にそれぞれゲイン係数ｇ（ｉ、ｊ）を乗算して増幅し、その結果得た差分画像データＳ１７を加算器４１に送出する。ここでゲイン係数ｇ（ｉ、ｊ）は、全画面に対して一様な値、又は各画素（ｉ、ｊ）毎に設定された値を用いる。
【００３１】
加算器４１は、乗算器４２から供給される差分画像データＳ１７の各画素値ｇ（ｉ、ｊ）×（ｘ（ｉ、ｊ）−ｓ（ｉ、ｊ））に対して、加算器４０によって減算されたオフセット分である平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を加算し、その結果得た出力画像データＳ１８をカメラ信号処理回路４５に送出する。カメラ信号処理回路４５は、出力画像データＳ１８に対して所定のデータ処理を施し、その結果得た出力画像データＳ１９をＶＴＲ（Video Tape Recorder）４６に送出して記録する。
【００３２】
画像処理回路３から出力される出力画像データＳ１８の各画素値ｙ（ｉ、ｊ）は、次式
【００３３】
【数２】
0004662190.tif 000004
【００３４】
によって表される。この（２）式において、ゲイン係数ｇ（ｉ、ｊ）を全画面に一様なゲイン係数Ｇに置き換えると共に、平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を入力画像データＳ１のダイナミックレンジの中央値又は全画素値の平均値Ｃに置き換えると、この（２）式は、従来のトーンカーブ調整によるコントラスト強調方法を示す次式
【００３５】
【数３】
0004662190.tif 000005
【００３６】
のように表される。
【００３７】
また、上述の（２）式において、ゲイン係数ｇ（ｉ、ｊ）を全画面に一様なゲイン係数Ｇに置き換えると共に、平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を入力画像データＳ１の各画素値ｘ（ｉ、ｊ）に線形ローパスフィルタ処理を施した画像データの各画素値ｆ（ｉ、ｊ）に置き換えると、この（２）式は、従来のアンシャープマスクによる高域成分強調方法を示す次式
【００３８】
【数４】
0004662190.tif 000006
【００３９】
のように表される。
【００４０】
このように、従来のコントラスト強調方法は、画像の各画素毎に独立して画像強調処理を行う方法であると共に、従来の高域成分強調方法は、中心画素の周辺に存在する周辺画素との相対的なレベル差を基に画像強調処理を行う方法であるのに対して、本実施の形態による方法は、非線形平滑化フィルタを用いて従来のコントラスト強調方法及び高域成分強調方法を統合し、一段と高品位な画像強調処理を可能にしている。
【００４１】
以上の構成において、画像処理回路３は、非線形平滑化器５によって入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成する。そして画像処理回路３は、この平滑化画像データＳ１１をオフセット分として元画像である遅延画像データＳ１５から減算し、その減算結果にゲイン係数を乗算した後、オフセット分である平滑化画像データＳ１１を加算する。
【００４２】
従って、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら画像全体のコントラストを向上させることができると共に、エッジ付近でも画像の鮮鋭度を向上させることができる。これによりビデオカメラ１は、霞んだ遠景の撮影や霧の中での撮影でも、ダイナミックレンジ及びコントラストが確保された鮮明な画像を撮影することができ、また高品位な画像強調処理を行うことができる。
【００４３】
以上の構成によれば、入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成した後、当該平滑化画像データＳ１１をオフセット分として入力画像データＳ１から減算し、その減算結果にゲイン係数を乗算した上で平滑化画像データＳ１１を加算することにより、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００４４】
（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図７は、第２の実施の形態のビデオカメラ５０を示し、画像処理回路５１の構成を除いて、第１の実施の形態のビデオカメラ１と同様に構成されている。
【００４５】
この実施の形態の場合、非線形平滑化器５は、平滑化画像データＳ１１を加算器４０及び遅延回路５２に送出する。加算器４０は、遅延画像データＳ１５から平滑化画像データＳ１１を減算し、その結果得た差分画像データＳ１６を雑音除去フィルタ５３に送出する。
【００４６】
雑音除去フィルタ５３は、差分画像データＳ１６の雑音成分を低減し、その結果得られる差分画像データＳ３０を乗算器４２に送出する。雑音除去フィルタ５３は、例えば図８に示すような入出力特性を有し、図中矢印で示した範囲の小振幅成分を出力しないことで雑音成分を低減させるコアリングと呼ばれる階調変換を施す。この結果、後段の乗算器４２において雑音成分が増幅されて画像処理回路５１から出力される画像データのＳ／Ｎ比（信号対雑音比）が劣化することを防止している。
【００４７】
乗算器４２は、差分画像データＳ３０の各画素値にそれぞれゲイン係数を乗算して増幅し、その結果得た差分画像データＳ３１を加算器４１に送出する。遅延回路５２は、平滑化画像データＳ１１を所定量遅延し、これを遅延平滑化画像データＳ３２として加算器４１に送出する。
【００４８】
加算器４１は、乗算器４２から供給される差分画像データＳ３１の各画素値に対して、オフセット分である平滑化画像データＳ３２の各画素値を加算し、その結果得た出力画像データＳ３３をルックアップテーブル５４に送出する。ルックアップテーブル５４は、出力画像データＳ３３に対して例えば図９に示すような黒近傍及び白近傍を圧縮する階調変換を施し、その結果得た出力画像データＳ３４をカメラ信号処理回路４５に送出する。これにより加算器４１の加算処理によって画素値が黒又は白側でダイナミクレンジを超える場合であっても、黒近傍又は白近傍で階調がつぶれるクリッピングひずみが発生することを防止する。
【００４９】
以上の構成において、画像処理回路５１は、非線形平滑化器５によって入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成する。そして画像処理回路５１は、この平滑化画像データＳ１１をオフセット分として元画像である遅延画像データＳ１５から減算し、その減算結果にゲイン係数を乗算した後、オフセット分である平滑化画像データＳ１１を加算する。
【００５０】
従って、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら画像全体のコントラストを向上させることができると共に、エッジ付近でも画像の鮮鋭度を向上させることができる。
【００５１】
以上の構成によれば、入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成した後、当該平滑化画像データＳ１１をオフセット分として入力画像データＳ１から減算し、その減算結果にゲイン係数を乗算した上で平滑化画像データＳ１１を加算することにより、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００５２】
また雑音除去フィルタ５３において差分画像データＳ１６の雑音成分を低減することにより、後段の乗算器４２において雑音成分が増幅され出力画像データＳ３４のＳ／Ｎ比が劣化することを防止し得る。さらにルックアップテーブル５４において出力画像データＳ３３に対して黒近傍及び白近傍を圧縮する階調変換を施すことにより、画素値がダイナミクレンジを超える場合であってもクリッピングひずみの発生を防止し得る。
【００５３】
（３）第３の実施の形態
図１０において、６０は全体として第３の実施の形態のビデオカメラ６０を示し、ＣＣＤ６１によってカラー画像を撮像し、当該撮像されたカラー画像を入力画像データＳ４０として色分離回路６２に入力する。色分離回路６２は、この入力画像データＳ４０をＲ（赤色）Ｇ（緑色）Ｂ（青色）の３原色の画像データにそれぞれ分離し、このうち緑色の画像データを緑色画像データＳ４０Ｇとして画像処理部６３の画像処理回路３Ａに入力し、赤色の画像データを赤色画像データＳ４０Ｒとして画像処理部６３の画像処理回路３Ｂに入力し、青色の画像データを青色画像データＳ４０Ｂとして画像処理部６３の画像処理回路３Ｃに入力する。
【００５４】
画像処理回路３Ａ〜３Ｃは、それぞれ図１に示す画像処理回路３と同様の構成でなり、入力される画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂに対してエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調する処理をそれぞれ施すようになされている。
【００５５】
すなわち、画像処理回路３Ａは、緑色画像データＳ４０Ｇのエッジ成分を保存したまま当該緑色画像データＳ４０Ｇを平滑化して平滑化緑色画像データを生成した後、当該平滑化緑色画像データをオフセット分として緑色画像データＳ４０Ｇから減算し、その減算結果にゲイン係数を乗算した上で平滑化緑色画像データを加算することにより、緑色出力画像データＳ４１Ｇを生成しカメラ信号処理回路６４に送出する。
【００５６】
画像処理回路３Ｂ及び３Ｃは、画像処理回路３Ａと同様に、赤色画像データＳ４０Ｒ及び青色画像データＳ４０Ｂに対してそれぞれ上述の処理を施すことにより、赤色出力画像データＳ４１Ｒ及び青色出力画像データＳ４１Ｂを生成しカメラ信号処理回路６４にそれぞれ送出する。
【００５７】
カメラ信号処理回路６４は、緑色出力画像データＳ４１Ｇ、赤色出力画像データＳ４１Ｒ及び青色出力画像データＳ４１Ｂそれぞれに対して所定のデータ処理を施し、その結果得た出力画像データＳ４２をＶＴＲ６５に送出して記録する。
【００５８】
以上の構成において、画像処理回路３Ａ〜３Ｃは、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのエッジ成分を保存したまま当該画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂをそれぞれ平滑化して平滑化画像データを生成する。そして画像処理回路３Ａ〜３Ｃは、この平滑化画像データをオフセット分として元画像である画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂからそれぞれ減算し、その減算結果にゲイン係数を乗算した後、オフセット分である平滑化画像データをそれぞれ加算する。
【００５９】
従って、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルをそれぞれ強調することができ、かくして画像のダイナミックレンジを維持しながら画像全体のコントラストを向上させることができると共に、エッジ付近でも画像の鮮鋭度を向上させることができる。
【００６０】
以上の構成によれば、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのエッジ成分を保存したまま当該画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂをそれぞれ平滑化して平滑化画像データを生成した後、当該平滑化画像データをオフセット分として画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂからそれぞれ減算し、その減算結果にゲイン係数を乗算した上で平滑化画像データをそれぞれ加算することにより、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００６１】
また、ＣＣＤ６１によって撮像されたカラー画像をＲＧＢの３原色に分離し、当該分離された画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂに対してそれぞれエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルをそれぞれ強調する画像処理を施すことにより、カラー画像が入力される場合であっても、画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００６２】
（４）他の実施の形態なお上述の第２の実施の形態においては、コアリングと呼ばれる手法を用いた雑音除去フィルタ５３によって差分画像データＳ１６から雑音成分を低減する場合について述べたが、本発明はこれに限らず、図４に示すεフィルタ１２Ａによって雑音除去フィルタを構成し、差分画像データＳ１６の小振幅成分のみ平滑化して雑音成分を低減するようにしても良い。
【００６３】
また上述の第２の実施の形態においては、雑音除去フィルタ５３を加算器４０の後段に配置した場合について述べたが、本発明はこれに限らず、要は、雑音除去フィルタ５３を乗算器４２の前段に位置すれば良く、遅延回路４の前段又は後段に配置しても良い。
【００６４】
また上述の第３の実施の形態においては、色分離回路６２によって入力画像データＳ４０をＲＧＢの３原色信号に分離した場合について述べたが、本発明はこれに限らず、輝度信号Ｙ、赤色信号Ｒから輝度信号Ｙを減算した色差信号Ｒ−Ｙ及び青色信号Ｂから輝度信号Ｙを減算した色差信号Ｂ−Ｙに分離するようにしても良い。
【００６５】
また上述の第３の実施の形態においては、画像処理回路３Ａ〜３Ｃ中のεフィルタを１次元又は２次元のεフィルタによって構成する場合について述べたが、本発明はこれに限らず、３次元のεフィルタによって構成するようにしても良い。
【００６６】
この場合、図１０との対応部分に同一符号を付して示す図１１に示すように、ビデオカメラ７０の画像処理部７１は、色分離回路６０から供給される緑色画像データＳ４０Ｇを画像処理回路７２Ａ〜７２Ｃに入力し、赤色画像データＳ４０Ｒを画像処理回路７２Ａ〜７２Ｃに入力し、青色画像データＳ４０Ｂを画像処理回路７２Ａ〜７２Ｃに入力する。
【００６７】
画像処理回路７２Ａ〜７２Ｃは、例えば緑色画像データＳ４０Ｇの画素値をｇn、赤色画像データＳ４０Ｒの画素値をｒn及び青色画像データＳ４０Ｂの画素値をｂnとした場合、上述の（１）式における画素値ｘnと画素値ｘn-kの差の絶対値｜ｘn−ｘn-k｜に代わりに、次式
【００６８】
【数５】
0004662190.tif 000007
【００６９】
をそれぞれ用いることにより、一段と効果的な平滑化を行うようになされている。
【００７０】
また上述の第３の実施の形態においては、入力画像データＳ４０をＲＧＢの３原色に分離し、当該分離された画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂそれぞれに対して画像強調処理を施す場合について述べたが、本発明はこれに限らず、入力画像データＳ４０の輝度データのみに画像強調処理を施して全体の演算量を削減するようにしても良い。
【００７１】
図１０との対応部分に同一符号を付して示す図１２に示すように、ビデオカメラ８０の画像処理部８１は、色分離回路６２から供給される緑色画像データＳ４０Ｇ、赤色画像データＳ４０Ｒ及び青色画像データＳ４０Ｂを画像処理部８１のマトリクス回路８２に入力する。マトリクス回路８２は、緑色画像データＳ４０Ｇ、赤色画像データＳ４０Ｒ及び青色画像データＳ４０Ｂを、輝度データＳ５０Ａ、赤色画像データＳ４０Ｒから当該輝度データＳ５０Ａを減算した色差データＳ５０Ｂ及び青色画像データＳ４０Ｂから当該輝度データＳ５０Ａを減算した色差データＳ５０Ｃに変換し、このうち輝度データＳ５０Ａを画像処理回路３Ａ並びに除算器８３Ａ及び８３Ｂに送出し、色差データＳ５０Ｂを除算器８３Ａに送出し、色差データＳ５０Ｃを除算器８３Ｂに送出する。
【００７２】
画像処理回路３Ａは、図１に示す画像処理回路３と同様に構成され、輝度データＳ５０Ａに対して画像強調処理を施し、その結果得た出力輝度データＳ５１Ａを乗算器８４Ａ及び８４Ｂ並びにカメラ信号処理回路６４に送出する。除算器８３Ａ及び８３Ｂは、それぞれ色差データＳ５０Ｂ及びＳ５０Ｃを輝度データＳ５０Ａで除算することにより、色差データＳ５０Ｂ及びＳ５０Ｃを輝度データＳ５０Ａでそれぞれ正規化した正規化データＳ５２Ａ及びＳ５２Ｂを生成し、これらを遅延回路８５Ａ及び８５Ｂにそれぞれ送出する。
【００７３】
遅延回路８５Ａ及び８５Ｂは、正規化データＳ５２Ａ及びＳ５２Ｂをそれぞれ所定量遅延させ、これらを遅延正規化データＳ５３Ａ及びＳ５３Ｂとして乗算器８４Ａ及び８４Ｂに送出する。乗算器８４Ａ及び８４Ｂは、遅延正規化データＳ５３Ａ及びＳ５３Ｂに対して輝度データＳ５１Ａをそれぞれ乗算することにより、色差データＳ５４Ａ及びＳ５４Ｂを生成し、これらをカメラ信号処理回路６４に送出する。
【００７４】
さらに上述の実施の形態においては、本発明をビデオカメラ１、５０及び６０に適用した場合について述べたが、本発明はこれに限らず、例えば電子スチルカメラ、プリンタ、ディスプレイ、コンピュータのような他の種々の画像処理装置に本発明を広く適用し得る。この場合、コンピュータでは、画像コントラストを修正する際、ダイナミックレンジを維持しながら高品位なコントラスト修正画像を得ることができ、また異なる照明条件下で得られた画像同士を合成する際、それぞれのコントラスト成分の違いのみを補正でき、自然な合成画像を生成することができる。
【符号の説明】
【００７５】
６０……ビデオカメラ、２、６１……ＣＣＤ、３、５１、７２……画像処理回路、５……非線形平滑化器、１２……εフィルタ、２０……レジスタ列、２１……セレクタ、２２……レジスタ、２３……増幅器、４０、４１……加算器、４２、８４……乗算器。
【図１】
0004662190.tif 000011
【図２】
0004662190.tif 000012
【図３】
0004662190.tif 000013
【図４】
0004662190.tif 000014
【図５】
0004662190.tif 000015
【図６】
0004662190.tif 000016
【図７】
0004662190.tif 000017
【図８】
0004662190.tif 000018
【図９】
0004662190.tif 000019
【図１０】
0004662190.tif 000020
【図１１】
0004662190.tif 000021
【図１２】
0004662190.tif 000022
【図１３】
0004662190.tif 000023
【図１４】
0004662190.tif 000024
【図１５】
0004662190.tif 000025