(57)【要約】【課題】強調ゲインを画像に応じて動的に変更することにより、飽和レベルに達しない範囲で表示ダイナミックレンジを有効に活用したエッジ強調画像を得る。【解決手段】画像信号処理装置は、局所平均値を算出する局所平均値算出部１１と、入力値と局所平均値との差分である局所成分値を算出する局所成分値算出部２１と、表示ダイナミックレンジと局所平均値との差分を局所成分値で割った値である局所ゲインを算出する局所ゲイン算出保存部２２と、複数の局所ゲインの中の最小値を強調ゲインとする強調ゲイン算出部２３と、入力値と局所平均値との差分に強調ゲインを乗じて得た値に局所平均値を加えることにより、エッジ強調画像を得るエッジ強調処理部１とを備える。【選択図】図１
2007249436.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像の画素毎に、その局所平均値を算出する局所平均値算出部と、
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出する局所成分値算出部と、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出する局所ゲイン算出保存部と、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとする強調ゲイン算出部と、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得るエッジ強調処理部とを備える
ことを特徴とする画像信号処理装置。
【請求項２】
当該画像信号処理装置が、更に、
処理対象の画像からエッジ領域を抽出するエッジ領域判定部を備え、
前記エッジ領域判定部により抽出されたエッジ領域に属する画素について、前記局所成分値算出部が前記局所成分値を算出し、前記局所ゲイン算出保存部が前記局所ゲインを算出する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
当該画像信号処理装置が、更に、
処理対象の画像についての輝度分布を算出する輝度分布算出部と、
前記輝度分布算出部により算出された輝度分布に基づいて、前記処理対象の画像からノイズ領域を抽出するノイズ領域判定部とを備え、
前記強調ゲイン算出部が、前記ノイズ領域判定部により抽出されたノイズ領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
当該画像信号処理装置が、更に、
処理対象の画像に輝点ノイズが含まれる場合、当該輝点ノイズが存在する領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する局所ゲイン判定部を備える
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
処理対象の画像の画素毎に、その局所平均値を算出し、
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出し、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出し、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとし、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得る
ことを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置及び画像信号処理方法に関し、特に、適切に強調ゲインを設定することにより、表示ダイナミックレンジを有効に活用したエッジ強調画像を得ることができる画像信号処理装置及び画像信号処理方法に関する。
【背景技術】
【０００２】
画像のエッジすなわち輪郭を鮮明化する処理として、画像の高周波成分を強調する処理（以下、エッジ強調処理という）が行われている。エッジ強調処理は、一般に、注目画素及びその周辺の複数の画素の平均レベルと注目画素のレベルとの差分を求め、その差分に予め定められた強調ゲイン（強調のための係数）を乗じた値を前記平均レベルに加えることによって、画像の高周波成分を強調する。これにより、図１０に示すように、入力信号のエッジを強調して、見る者が美しく感じられる又は見やすい画像を得る。
【０００３】
例えば、エッジ強調部が複数のゲイン値を保有しない場合であってもエッジ強調度合いを切り替えることを目的として、撮影モード選択操作又は被写体倍率や輝度分布情報を元にして処理対象画像のシーンを判定し、階調変換及びエッジ強調の処理順序を決定することが、知られている。（特許文献１参照）。
【０００４】
また、例えば、濃度判定処理を行うことなく濃度に応じてエッジ強調度合いを調整する為に、撮影モード選択操作等を元にして処理対象画像のシーンを判定し、γ値が変化する濃度範囲に対応して複数用意したエッジ強調用階調特性を選択し、エッジ強調用階調変換処理後エッジ強調処理を行うことが、知られている。（特許文献２参照）。
【特許文献１】特開２００２−２４７４１０号公報
【特許文献２】特開２００２−２８１３４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述の特許文献１及び２によれば、処理対象のシーン（画像）を特定した後に、当該シーンの種類に対応する強調処理を適用する。しかし、強調ゲインは、画像全体に対して及び画像の時間的変化に対して、固定値である。
【０００６】
このため、図１０（Ａ）に点線で示すように、画面中の一部又は全ての画素において、処理後出力信号が表示ダイナミックレンジより大きくなることがある。即ち、信号の値が飽和することがある。これにより、エッジ強調処理後の画像が、当該処理により得られるはずの白と黒の大きなコントラストの差の無い画像となり、明瞭でない画像となる。また、逆に、図１０（Ｂ）に点線で示すように、画面中の全ての画素において、処理後出力信号が表示ダイナミックレンジの一部しか使用していないことがある。即ち、未使用のレベルが残ることがある。これにより、エッジ強調処理後の画像が、表示ダイナミックレンジの全体を使用した画像と比べて、白と黒のコントラストの差の小さい画像となる。従って、強調ゲインが最適化されていない結果、見る者にとって、美しくない又は見映えの悪い画像となる。なお、図１０（Ａ）及び図１０（Ｂ）は図３（Ａ）に対応する図である。
【０００７】
また、前述の特許文献１及び２によれば、処理対象のシーンを複数のパターン（ポートレート、風景、夜景、スローシンクロ、マクロ、文字等）に場合分けし、そのパターン毎に強調ゲインの設定値を変更する。しかし、この場合であっても、場合分けされたシーンについての強調ゲインは固定値である。このため、前述のように、エッジ強調処理をした後の画像（エッジ強調処理後画像）における信号が、表示ダイナミックレンジより大きくなるか、又は、表示ダイナミックレンジの一部しか使用しない場合が発生する。
【０００８】
なお、強調ゲインの設定方法として、入力画像について、利用者がマニュアルでいくつかの値の中から強調ゲイン（の値）を選択するという技術も知られている。しかし、この場合、入力シーンが変化する都度に、利用者が手動で強調ゲインを設定し直さなければならず、煩わしい。
【０００９】
本発明は、強調ゲインを画像に応じて動的に変更することにより、飽和レベルに達しない範囲で表示ダイナミックレンジを有効に活用したエッジ強調画像を得ることができる画像信号処理装置を提供することを目的とする。
【００１０】
また、本発明は、強調ゲインを画像に応じて動的に変更することにより、飽和レベルに達しない範囲で表示ダイナミックレンジを有効に活用したエッジ強調画像を得ることができる画像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像信号処理装置は、処理対象の画像の画素毎に、その局所平均値を算出する局所平均値算出部と、前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出する局所成分値算出部と、前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出する局所ゲイン算出保存部と、前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとする強調ゲイン算出部と、前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得るエッジ強調処理部とを備える。
【００１２】
また、好ましくは、本発明の画像信号処理装置が、更に、処理対象の画像からエッジ領域を抽出するエッジ領域判定部を備え、前記エッジ領域判定部により抽出されたエッジ領域に属する画素について、前記局所成分値算出部が前記局所成分値を算出し、前記局所ゲイン算出保存部が前記局所ゲインを算出する。
【００１３】
また、好ましくは、本発明の画像信号処理装置が、更に、処理対象の画像についての輝度分布を算出する輝度分布算出部と、前記輝度分布算出部により算出された輝度分布に基づいて、前記処理対象の画像からノイズ領域を抽出するノイズ領域判定部とを備え、前記強調ゲイン算出部が、前記ノイズ領域判定部により抽出されたノイズ領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する。
【００１４】
また、好ましくは、本発明の画像信号処理装置が、更に、処理対象の画像に輝点ノイズが含まれる場合、当該輝点ノイズが存在する領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する局所ゲイン判定部を備える。
【００１５】
本発明の画像信号処理方法は、処理対象の画像の画素毎に、その局所平均値を算出し、前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出し、前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出し、前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとし、前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得る。
【発明の効果】
【００１６】
本発明の画像信号処理装置及び画像信号処理方法によれば、入力値と局所平均値の差である局所成分値を用いることにより、強調ゲインを設定すると共に、画像に応じて強調ゲインを動的に変更し最適化する。これにより、画面中の一部又は全ての画素において、その信号が表示ダイナミックレンジより大きくなることを防止することができる。また、画面中の全ての画素において、その信号が表示ダイナミックレンジの一部しか使用しなくなることを防止することができる。従って、飽和レベルに達しない範囲で、表示ダイナミックレンジを有効に活用したエッジ強調後画像を得ることができる。即ち、表示ダイナミックレンジの全体を使用して白と黒のコントラストを最適化して、見る者にとって美しい又は見映えの良い画像を得ることができる。一方、強調ゲインの設定のために、処理対象のシーンを特定したり分類したりする必要が無く、また、シーンの分類毎に強調ゲインの設定値を変更する必要もない。従って、利用者が強調ゲインを設定する必要が無いため、利用者の操作負荷を低減することができる。
【００１７】
また、本発明の画像信号処理装置によれば、抽出されたエッジ領域に属する画素について、局所成分値を算出し、局所ゲインを算出する。これにより、処理対象の画素の数を減らすことができ、処理を高速化することができる。
【００１８】
また、本発明の画像信号処理装置によれば、輝度分布に基づいて抽出されたノイズ領域に属する画素についての局所ゲインを、強調ゲインの候補から除外する。これにより、著しく輝度分布から外れている領域についての局所ゲインを無視して、強調ゲインを設定することができる。この結果、いずれの画素についてもそのエッジ強調後の出力信号が飽和しないようにして、表示ダイナミックレンジを有効に活用したエッジ強調後画像を得ることができる。
【００１９】
また、本発明の画像信号処理装置によれば、輝点ノイズが存在する領域に属する画素についての局所ゲインを、強調ゲインの候補から除外する。これにより、輝点ノイズに起因する局所ゲインのために、強調ゲインが著しく小さな値とされることを防止することができる。この結果、表示ダイナミックレンジの一部しか使用しなくなることを防止することができる。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明の一実施態様による画像信号処理装置の構成を示す図である。図２及び図３は、本発明の強調ゲイン設定処理によるエッジ強調処理を説明する図である。
【００２１】
画像信号処理装置は、エッジ強調処理部１と強調ゲイン処理部２とからなる。エッジ強調処理部１は、局所平均値算出部１１、第１加算器１２、乗算器１３、第２加算器１４を備える。エッジ強調処理部１には入力信号が入力される。エッジ強調処理部１からは入力信号についてエッジ強調処理した出力信号が出力される。強調ゲイン処理部２は、局所成分値算出部２１、局所ゲイン算出保存部２２、強調ゲイン算出部２３を備える。エッジ強調処理部１は入力信号を強調ゲイン処理部２の局所成分値算出部２１に入力する。強調ゲイン処理部２の強調ゲイン算出部２３は強調ゲインＨをエッジ強調処理部１の乗算器１３に入力する。
【００２２】
画像信号処理装置が例えばカメラ等の撮像装置に設けられている場合には、入力信号は、周知のように、例えばＣＣＤ、ＡＤ変換器及び信号補正回路等（いずれも図示せず）を経て、エッジ強調処理部１に入力される。また、出力信号は、周知のように、例えば画像メモリに格納された後、ＤＡ変換器、信号処理回路を経て、表示装置（いずれも図示せず）に出力される。入力信号（以下、入力値とも言う）は、図２の入力画像（処理対象の画像）３の画素の信号値である。出力信号（以下、出力値とも言う）は、図２の出力画像（強調ゲイン処理後の画像）４の画素の信号値である。
【００２３】
局所平均値算出部１１が、画素P(i,j)毎にその局所平均値mean(i,j) を算出する。この例では、処理対象の画像の画素の全てが、例えば周知の走査の順に、処理対象の画素（注目画素）P(i,j)とされる。局所平均値算出部１１の出力である局所平均値mean(i,j) は、第１加算器１２、第２加算器１４、局所成分値算出部２１に入力される。
【００２４】
この例は、処理対象の画像を構成する全ての画素を、処理対象の画素（注目画素）P(i,j)とする。即ち、全ての画素の入力値（入力信号）image ＿in(i,j) について、その局所平均値mean(i,j) が算出される。これにより、処理対象の画像（シーン）に応じて最適な強調ゲインＨを設定する（変更する）ことができる。この結果、例えば当該画面のエッジ強調後の信号を表示ダイナミックレンジに等しくしたエッジ強調後画像を得ることができる。
【００２５】
強調ゲイン処理部２において、局所成分値算出部２１が、注目画素P(i,j)について（画素毎に）、その入力値image ＿in(i,j) と、局所平均値mean(i,j) との差分である局所成分値Δimage(i,j)を算出する。局所成分値算出部２１の出力である局所成分値Δimage(i,j)は、局所ゲイン算出保存部２２に入力される。また、局所成分値算出部２１は、図示しないが、局所平均値算出部１１から入力された局所平均値mean(i,j) を局所ゲイン算出保存部２２に入力する。
【００２６】
局所ゲイン算出保存部２２が、注目画素P(i,j)について（画素毎に）、表示ダイナミックレンジと局所平均値mean(i,j) との差分を求め、更に、この差分を局所成分値Δimage(i,j)で割った値である局所ゲインΔlocal ＿gain(i,j) を算出し、これを保存する。局所ゲイン算出保存部２２は、処理対象である１画面の画素の全てについての局所ゲインΔlocal ＿gain(i,j) の算出が終了した場合、保存していた１画面分の局所ゲインΔlocal ＿gain(i,j) を強調ゲイン算出部２３に入力する。
【００２７】
強調ゲイン算出部２３が、注目画素P(i,j)についての局所ゲインΔlocal ＿gain(i,j) の中の最小値を、当該１画面（入力画像３）についての強調ゲインＨとする。即ち、処理対象である１画面分の局所ゲインΔlocal ＿gain(i,j) の中から、その最小値を求めて、これを当該処理対象である１画面についての強調ゲインＨとする。従って、この強調ゲインＨが、当該処理対象である１画面の画素の全てに適用される。
【００２８】
エッジ強調処理部１は、処理対象の画像の画素毎に、入力値image ＿in(i,j) と局所平均値mean(i,j) との差分に強調ゲインＨを乗じて得た値に局所平均値mean(i,j) を加えることにより、処理対象の画像のエッジ強調画像を得る。即ち、エッジ強調処理部１において、処理対象の画素について、第１加算器１２が当該入力値image ＿in(i,j) と当該局所平均値mean(i,j) との差分を求め、乗算器１３が当該差分に強調ゲイン算出部２３で算出された強調ゲインＨを乗じ、第２加算器１４が乗算器１３により得た乗算結果に当該局所平均値mean(i,j) を加える。これにより、第２加算器１４の出力として、出力信号image ＿out が得られる。以上の処理が処理対象の１画面の全ての画素について繰り返されることにより、飽和レベルに達しない範囲で、表示ダイナミックレンジを十分に活用したエッジ強調画像が得られる。
【００２９】
以下、本発明による強調ゲインＨの算出処理及びこれを用いたエッジ強調処理の詳細を、図２及び図３を参照しつつ、算出式を用いて具体的に説明する。
【００３０】
局所平均値算出部１１は、図２（Ａ）に示すように、注目画素P(i,j)の入力値image ＿in(i,j) について、その局所平均値mean(i,j) を算出する。局所平均値mean(i,j) は、注目画素P(i,j)について、フィルタ（空間フィルタ）Ｆのサイズ分の画素の平均値を求めることにより算出される。従って、注目画素P(i,j)の局所平均値mean(i,j) の演算には、フィルタＦのサイズ分の入力信号（画像データ）が必要である。局所平均値算出部１１は、フィルタＦのサイズ分の入力信号の入力の完了したタイミングで、当該局所平均値mean(i,j) を算出する。
【００３１】
フィルタＦは、図２（Ｂ）に示すように、注目画素P(i,j)を中心として、縦及び横に例えば３個（ｍ＝３）の領域からなる。ｍは、通常、奇数とされるが、図２（Ｃ）に示すように、４個（ｍ＝４）即ち偶数であっても良い。このような空間フィルタによるエッジ強調処理により、入力画像２の横方向及び縦方向のエッジの双方についてのエッジ強調が可能となる。
【００３２】
一方、入力画像３における画面のサイズは、例えば、画面の横方向の画素の数が（Ｍ＋１）個、画面の縦方向の画素の数が（Ｎ＋１）個である。このような入力画像３を、周知のように所定の方向に走査することにより、各々の画素の入力値image ＿inが、所定の順に入力される。局所平均値算出部１１は、局所平均値mean(i,j) の演算に必要な分の入力値image ＿inを、行単位で必要な期間中保持する。
【００３３】
フィルタＦのサイズに着目して、図２（Ｂ）に示すように、ｍが奇数である場合、注目画素P(i,j)がフィルタＦの中心に存在する。従って、局所平均値mean(i,j) は、次式により算出される。
【００３４】
【数１】
2007249436.tif 000003
【００３５】
一方、フィルタＦのサイズに着目して、図２（Ｃ）に示すように、ｍが偶数の場合、以下のようにして、局所平均値mean(i,j) が算出される。この場合、フィルタＦにおける注目画素P(i,j)の位置は、いずれかの方向に偏る。図２（Ｃ）は、注目画素P(i,j)の位置が左上に偏っている場合を示す。そこで、局所平均値mean(i,j) は、フィルタＦにおける注目画素P(i,j)の位置の偏りに応じて、次式のいずれかにより算出される。
【００３６】
【数２】
2007249436.tif 000004
【００３７】
【数３】
2007249436.tif 000005
【００３８】
【数４】
2007249436.tif 000006
【００３９】
【数５】
2007249436.tif 000007
【００４０】
局所平均値mean(i,j) を概念的に表すと、図３（Ａ）に太い点線で示すようになる。即ち、局所平均値mean(i,j) は、入力信号image ＿inのエッジ領域において、入力信号image ＿inの変化を周囲の所定の画素に分配した（平均化した）ものである。なお、図３（Ａ）は、入力画像３を所定の方向に走査した場合の１行（又は１列）における入力値（入力信号）image ＿inの変化を表す。図３（Ａ）において、横軸は画素の位置であり、縦軸は画素の輝度レベルである。図３（Ａ）は、入力信号image ＿inが小さい値（エッジの前）から大きな値（エッジの後）に変化するエッジについて示す。入力信号image ＿inが小さい値の領域をエッジの前と呼び、入力信号image ＿inが大きな値の領域をエッジの後と呼ぶこととする。図３（Ａ）の逆のエッジについても、局所平均値mean(i,j) 等は、同様にして求めることができる。
【００４１】
次に、局所成分値算出部２１は、注目画素P(i,j)の入力値image ＿in(i,j) と局所平均値mean(i,j) との差分である局所成分値Δimage(i,j)を算出する。更に、局所成分値算出部２１は、表示ダイナミックレンジと局所平均値mean(i,j) との差分Δdr(i,j) を算出する。この時、処理対象の画像におけるエッジ（の立ち上がり）の前後において、局所成分値Δimage(i,j)の符号及び差分Δdr(i,j) の符号は、共に正となるようにされる。なお、差分Δdr(i,j) の算出処理は、局所ゲイン算出保存部２２が行うようにしても良い。
【００４２】
注目画素P(i,j)の入力値image ＿in(i,j) が局所平均値mean(i,j) より大きな場合、局所成分値Δimage(i,j)は、次式
Δimage(i,j) = image＿in(i,j) − mean(i,j)
により算出される。更に、最大表示レベルdr＿max と局所平均値mean(i,j) との差分Δdr(i,j) が、次式
Δdr(i,j) = dr＿max − mean(i,j)
により算出される。ここで、最大表示レベルdr＿max は、表示ダイナミックレンジが８ビット階調で表される場合、２５６（階調）となる。
【００４３】
一方、注目画素P(i,j)の入力値image ＿in(i,j) が局所平均値mean(i,j) より小さな場合、局所成分値Δimage(i,j)は、次式
Δimage(i,j) = mean(i,j)− image＿in(i,j) 
により算出される。更に、表示ダイナミックレンジの最小表示レベルdr＿min と局所平均値mean(i,j) との差分Δdr(i,j) が、次式
Δdr(i,j) = mean(i,j) − dr ＿min 
により算出される。最小表示レベルdr＿min は、表示ダイナミックレンジが８ビット階調で表される場合、０（階調）となる。
【００４４】
局所成分値Δimage(i,j)を図３（Ａ）に概念的に示す。入力値image ＿in(i,j) が局所平均値mean(i,j) より小さな場合（即ち、エッジの前において）、局所平均値mean(i,j) から入力値image ＿in(i,j) を差し引いて、局所成分値Δimage(i,j)の絶対値を算出する。入力値image ＿in(i,j) が局所平均値mean(i,j) より大きな場合（即ち、エッジの後において）、この逆の演算により局所成分値Δimage(i,j)の絶対値が算出される。
【００４５】
一方、エッジの前において、図３（Ｂ）から判るように、入力信号image ＿inは表示ダイナミックレンジの最小表示レベルdr＿min の方向に強調される。従って、図３（Ａ）に示すように、局所平均値mean(i,j) から最小表示レベルdr＿min を差し引くことにより、表示ダイナミックレンジと局所平均値mean(i,j) との差分Δdr(i,j) の絶対値が算出される。エッジの後において、この逆に、入力信号image ＿inは表示ダイナミックレンジの最大表示レベルdr＿max の方向に強調される。従って、最大表示レベルdr＿max から局所平均値mean(i,j) を差し引くことにより、表示ダイナミックレンジと局所平均値mean(i,j) との差分Δdr(i,j) の絶対値が算出される。
【００４６】
次に、局所ゲイン算出保存部２２が、局所ゲインΔlocal ＿gain(i,j) を、次式
Δlocal ＿gain(i,j) = Δdr(i,j) / Δimage(i,j)
により算出する。この時、局所ゲイン算出保存部２２は、処理対象の画像におけるエッジの前後において、その符号が正となるように局所ゲインΔlocal ＿gain(i,j) を算出する。即ち、局所成分値Δimage(i,j)と前記差分Δdr(i,j) が、共に正の符号となるようにして、当該局所ゲインΔlocal ＿gain(i,j) を算出する。これらの符号は、実際には、前述のように、局所成分値算出部２１により共に正の符号とされる。
【００４７】
次に、強調ゲイン算出部２３が、各画素について算出された局所ゲインΔlocal ＿gain(i,j) の中の最小値を選択して、これを強調ゲインＨとする。
【００４８】
次に、以上の処理に基づいて、エッジ強調処理部１が、注目画素P(i,j)のエッジ強調処理の後の出力値image ＿out(i,j)を、次式
【００４９】
【数６】
2007249436.tif 000008
【００５０】
により算出する。即ち、この処理を処理対象である１画面（シーン）について繰り返す。これにより、図３（Ｂ）太い点線で示すように、（エッジ強調処理の）処理後出力信号は、表示ダイナミックレンジ内に収まり、かつ、その最大値dr＿max から最小値dr＿min までの全範囲を使用する。即ち、エッジを最大限に強調することができ、かつ、表示ダイナミックレンジの未使用レベルを無くすことができる。これにより、エッジ強調処理後の画面（図２（Ｂ）に示す出力画像４）として、見る者に美しく又は見映えの良い画像を得ることができる。
【００５１】
図４は、本発明の画像信号処理装置の構成の他の一例を示す構成図である。
【００５２】
図１の画像信号処理装置は、処理対象の画像（シーン）の全ての画素について算出された局所ゲインΔlocal ＿gain(i,j) の中の最小値を、当該処理対象の画像についての強調ゲインＨとする。しかし、処理対象の画像のサイズが大きい場合、処理量が多いために処理時間が極めて長くなってしまい、リアルタイムでの処理ができない可能性がある。この例は、このような処理時間の増大を避けるため、処理対象である１画面分における１又は複数のエッジ（即ち、エッジ領域）を抽出し、エッジ領域に属する画素について局所ゲインΔlocal ＿gain(i,j) を算出し、その中の最小値を当該１画面についての強調ゲインＨとして決定する。
【００５３】
この例の画像信号処理装置は、図１に示す構成に加えて、更に、エッジ領域判定部２４と、第２局所平均値算出部２５とを備える。第２局所平均値算出部２５は局所平均値算出部１１と同一の構成を有する。エッジ領域判定部２４は、処理対象の画像からエッジ領域を抽出する。このエッジ領域の抽出は、例えば周知のエッジ抽出処理による。第２局所平均値算出部２５は、処理対象の画像の画素の中のエッジ領域に属する画素について、その局所平均値mean(i,j) を算出する。
【００５４】
局所成分値算出部２１が、第２局所平均値算出部２５が算出した局所平均値mean(i,j) を、局所成分値Δimage(i,j)の算出に用いる。これにより、エッジ領域判定部２４により抽出されたエッジ領域に属する画素を処理対象の画素として、これらの画素について局所成分値Δimage(i,j)を算出し、局所ゲインΔlocal ＿gain(i,j) を算出し、これに基づいて強調ゲインを算出する。従って、局所成分値Δimage(i,j)を算出するための処理量、局所ゲインΔlocal ＿gain(i,j) を算出するための処理量、強調ゲインを算出するための処理量を大きく減らして、処理速度を向上することができる。
【００５５】
図５は、本発明の画像信号処理装置の構成の更に他の一例を示す構成図である。この例は、図４の例と同様に、処理時間の増大を避けるため、エッジ領域を抽出し、エッジ領域に属する画素について局所ゲインΔlocal ＿gain(i,j) を算出し、その中の最小値を当該処理対象の画像についての強調ゲインＨとして決定する。
【００５６】
この例の画像信号処理装置は、図１に示す構成に加えて、更に、エッジ領域判定部２４と、局所平均値保存部２６とを備える。エッジ領域判定部２４は、処理対象の画像からエッジ領域を抽出する。局所平均値保存部２６は、局所平均値算出部１１により算出された局所平均値mean(i,j) を、局所成分値算出部２１での演算のために保存する。
【００５７】
局所成分値算出部２１が、局所平均値保存部２６の保存する局所平均値mean(i,j) からエッジ領域に属する画素についての局所平均値mean(i,j) を抽出し、当該抽出した局所平均値mean(i,j) を局所成分値Δimage(i,j)の算出に用いる。これにより、エッジ領域判定部２４により抽出されたエッジ領域に属する画素を処理対象の画素として、これらの画素について局所成分値Δimage(i,j)を算出し、局所ゲインΔlocal ＿gain(i,j) を算出し、これに基づいて強調ゲインを算出する。従って、局所成分値Δimage(i,j)を算出するための処理量、局所ゲインΔlocal ＿gain(i,j) を算出するための処理量、強調ゲインを算出するための処理量を大きく減らして、処理速度を向上することができる。
【００５８】
図６は本発明の画像信号処理装置の構成の更に他の一例を示す構成図であり、図７は図６の画像信号処理装置におけるエッジ強調処理の説明図である。
【００５９】
処理対象の画像が、図７に示すように、輝点ノイズＮを含む場合がある。輝点ノイズＮは、極めて輝度の高いノイズであって、表示ダイナミックレンジの最大表示レベルdr＿max を大きく超える輝度を持つ。前述のように、局所ゲインΔlocal ＿gain(i,j) の中の最小値を当該強調ゲインＨとした場合、輝点ノイズＮについて算出された局所ゲインΔlocal ＿gain(i,j) が、当該処理対象の画像（画面）の強調ゲインＨとして設定される。この場合、強調ゲインＨは著しく小さい値に抑えられてしまう。この例は、このような輝点ノイズＮの影響を避けるため、処理対象である１画面分の画素の輝度の分布を求め、著しく分布から外れている画素を無視して、強調ゲインＨを決定する。
【００６０】
この例の画像信号処理装置は、図１に示す構成に加えて、更に、輝度分布算出部２７と、ノイズ領域判定部２８とを備える。輝度分布算出部２７は、処理対象の画像についての輝度分布を算出する。ノイズ領域判定部２８は、輝度分布算出部２７により算出された輝度分布に基づいて、処理対象の画像からノイズ領域を抽出する。
【００６１】
例えば、輝度分布算出部２７は、処理対象の画像における全ての画素の輝度を調べ、そのヒストグラムを作成する。ノイズ領域判定部２８は、この輝度についてのヒストグラムに基づいて、異常な分布を示す１又は複数の画素をノイズ領域とする。前述のように、輝点ノイズＮの輝度は異常な値であるので、ヒストグラムにおける輝点ノイズＮの分布位置も異常なものとなる。即ち、輝点ノイズＮの分布位置は、他の画素の分布位置とは離れ、孤立点となる。これを利用して、輝点ノイズＮの存在する領域、即ち、ノイズ領域を抽出することができる。
【００６２】
強調ゲイン算出部２３は、ノイズ領域判定部２８により抽出されたノイズ領域に属する画素についての局所ゲインΔlocal ＿gain(i,j) を、強調ゲインＨの候補から除外する。即ち、ノイズ領域に属する画素についての局所ゲインΔlocal ＿gain(i,j) が最小値であっても、これを強調ゲインＨとしない。これにより、処理対象の画像のいずれの画素についても、強調ゲイン処理後の出力信号も飽和レベルに達しない範囲で、表示ダイナミックレンジを十分に活用したエッジ強調後画像を得ることができる。
【００６３】
図９は、本発明の画像信号処理装置の構成の更に他の一例を示す構成図である。
【００６４】
図７を参照して前述したように、処理対象の画像が輝点ノイズＮを含む場合、輝点ノイズＮについて算出された局所ゲインΔlocal ＿gain(i,j) が必ず局所ゲインの最小値となるので、強調ゲインＨは著しく小さい値に抑えられてしまう。この例は、このような輝点ノイズＮの影響を避けるため、処理対象である１画面分の画素の局所ゲインΔlocal ＿gain(i,j) の分布を求め、著しく分布から外れている局所ゲインΔlocal ＿gain(i,j) を無視して、強調ゲインＨを決定する。
【００６５】
この例の画像信号処理装置は、図１に示す構成に加えて、更に、局所ゲイン判定部２９を備える。局所ゲイン判定部２９は、処理対象の画像に輝点ノイズＮが含まれる場合、当該輝点ノイズＮが存在する領域に属する画素についての局所ゲインΔlocal ＿gain(i,j) を、強調ゲインＨの候補から除外する。即ち、ノイズ領域に属する画素についての局所ゲインΔlocal ＿gain(i,j) が最小値であっても、これを強調ゲインＨとしない。このために、局所ゲイン判定部２９は、強調ゲイン算出部２３に設けられる。
【００６６】
例えば、局所ゲイン判定部２９は、処理対象の画像における全ての画素の局所ゲインΔlocal ＿gain(i,j) を調べ、そのヒストグラムを作成し、この局所ゲインΔlocal ＿gain(i,j) についてのヒストグラムに基づいて、異常な分布を示す１又は複数の画素をノイズ領域とする。前述のように、輝点ノイズＮの輝度は異常な値であるので、ヒストグラムにおける局所ゲインΔlocal ＿gain(i,j) の分布位置も異常なものとなる。即ち、輝点ノイズＮの分布位置は、他の画素の分布位置とは離れ、孤立点となる。これを利用して、輝点ノイズＮの存在する領域の局所ゲインΔlocal ＿gain(i,j) を抽出することができる。
【００６７】
強調ゲイン算出部２３は、局所ゲイン判定部２９により抽出された局所ゲインΔlocal ＿gain(i,j) を、強調ゲインＨの候補から除外する。即ち、当該抽出された局所ゲインΔlocal ＿gain(i,j) が最小値であっても、これを強調ゲインＨとしない。これにより、処理対象の画像のいずれの画素についても、強調ゲイン処理後の出力信号も飽和レベルに達しない範囲で、表示ダイナミックレンジを十分に活用したエッジ強調後画像を得ることができる。
【００６８】
以上、本発明をその実施の形態に従って説明したが、本発明は、その主旨の範囲内において種々の変形が可能である。
【００６９】
例えば、以上においては、入力画像３はカメラやビデオのような撮像装置５から画像として説明したが、処理対象の画像は、周知のマルチウィンドウシステムにおける１個のウィンドウの画像からなっていても良い。即ち、図８に示すように、表示装置６上に複数のウィンドウが表示されるマルチウィンドウシステムの場合、入力画像３は、例えば１個のウィンドウ６１（の画像データ）からなる。即ち、１画面が複数のウィンドウ６１、６２、・・・からなる場合、複数のウィンドウ６１、６２、・・・について、各々、それを構成する全ての画素についての局所ゲインを算出する。この場合、例えばその一部が隠れているウィンドウ６２については、表示装置６に表示されている領域についてのみ局所ゲインを算出し、強調ゲインを最適化する。なお、表示装置６に表示されていない領域も含めてウィンドウ６２の全体について局所ゲインを算出し、強調ゲインを最適化するようにしても良い。これにより、複数のウィンドウ６１、６２、・・・毎に、強調ゲインを最適化したエッジ強調画像を得ることができる。この結果、複数のウィンドウ６１、６２、・・・について、各々、飽和レベルに達しない範囲で、表示ダイナミックレンジを有効に活用した最適なエッジ強調後画像を得ることができる。
【００７０】
また、本発明の画像信号処理装置は、種々の画像処理装置に設けることができる。例えば、本発明の画像信号処理装置は、カメラ、ビデオ等の撮像装置に設けられても良く、コピー機、ファクシミリ、スキャナ、プリンタ等の画像処理装置に設けられても良く、コンピュータ等に設けられても良い。フィルタ（空間フィルタ）を用いてエッジ強調処理を行う装置であれば、どのような画像処理装置にも設けることができる。
【００７１】
以上から、本発明の実施形態の特徴を以下のように把握することができる。
【００７２】
（付記１）処理対象の画像の画素毎に、その局所平均値を算出する局所平均値算出部と、
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出する局所成分値算出部と、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出する局所ゲイン算出保存部と、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとする強調ゲイン算出部と、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得るエッジ強調処理部とを備える
ことを特徴とする画像信号処理装置。
【００７３】
（付記２）当該画像信号処理装置が、更に、
処理対象の画像からエッジ領域を抽出するエッジ領域判定部を備え、
前記エッジ領域判定部により抽出されたエッジ領域に属する画素について、前記局所成分値算出部が前記局所成分値を算出し、前記局所ゲイン算出保存部が前記局所ゲインを算出する
ことを特徴とする付記１に記載の画像信号処理装置。
【００７４】
（付記３）当該画像信号処理装置が、更に、
前記エッジ領域に属する画素について、その局所平均値を算出する第２局所平均値算出部を備え、
前記局所成分値算出部が、前記第２局所平均値算出部が算出した局所平均値を、前記局所成分値の算出に用いる
ことを特徴とする付記２に記載の画像信号処理装置。
【００７５】
（付記４）当該画像信号処理装置が、更に、
前記局所平均値を保存する局所平均値保存部と、
前記局所成分値算出部が、前記局所平均値保存部の保存する局所平均値から前記エッジ領域に属する画素についての局所平均値を抽出し、当該抽出した局所平均値を前記局所成分値の算出に用いる
ことを特徴とする付記２に記載の画像信号処理装置。
【００７６】
（付記５）当該画像信号処理装置が、更に、
処理対象の画像についての輝度分布を算出する輝度分布算出部と、
前記輝度分布算出部により算出された輝度分布に基づいて、前記処理対象の画像からノイズ領域を抽出するノイズ領域判定部とを備え、
前記強調ゲイン算出部が、前記ノイズ領域判定部により抽出されたノイズ領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する
ことを特徴とする付記１に記載の画像信号処理装置。
【００７７】
（付記６）当該画像信号処理装置が、更に、
処理対象の画像に輝点ノイズが含まれる場合、当該輝点ノイズが存在する領域に属する画素についての前記局所ゲインを、前記強調ゲインの候補から除外する局所ゲイン判定部を備える
ことを特徴とする付記１に記載の画像信号処理装置。
【００７８】
（付記７）前記局所成分値算出部が、処理対象の画像におけるエッジの前後において、その符号が正となるように前記局所成分値を算出する
ことを特徴とする付記１に記載の画像信号処理装置。
【００７９】
（付記８）前記局所ゲイン算出保存部が、処理対象の画像におけるエッジの前後において、その符号が正となるように前記局所ゲインを算出する
ことを特徴とする付記７に記載の画像信号処理装置。
【００８０】
（付記９）前記処理対象の画像が、マルチウィンドウシステムにおける１個のウィンドウの画像からなる
ことを特徴とする付記１に記載の画像信号処理装置。
【００８１】
（付記１０）処理対象の画像の画素毎に、その局所平均値を算出し、
前記画素毎に、その入力値と前記局所平均値との差分である局所成分値を算出し、
前記画素毎に、表示ダイナミックレンジと前記局所平均値との差分を前記局所成分値で割った値である局所ゲインを算出し、
前記画素毎の前記局所ゲインの中の最小値を前記処理対象の画像についての強調ゲインとし、
前記処理対象の画像の画素毎に、前記入力値と前記局所平均値との差分に前記強調ゲインを乗じて得た値に前記局所平均値を加えることにより、前記処理対象の画像のエッジ強調画像を得る
ことを特徴とする画像信号処理方法。
【産業上の利用可能性】
【００８２】
以上、説明したように、本発明によれば、画像信号処理装置及び画像信号処理方法において、画像に応じて強調ゲインを動的に変更し最適化することができる。これにより、飽和レベルに達しない範囲で、表示ダイナミックレンジを有効に活用したエッジ強調後画像を得ることができ、また、強調ゲインの設定のための利用者の操作負荷を無くすことができる。従って、種々の画像処理装置において、見る者の負担無しで画像に応じたエッジ強調処理を行うことができ、これにより、見る者にとって美しい又は見映えの良い画像を得ることができる。
【図面の簡単な説明】
【００８３】
【図１】本発明の画像信号処理装置の構成の一例を示す構成図である。
【図２】図１の画像信号処理装置におけるエッジ強調処理の説明図である。
【図３】図１の画像信号処理装置におけるエッジ強調処理の説明図である。
【図４】本発明の画像信号処理装置の構成の他の一例を示す構成図である。
【図５】本発明の画像信号処理装置の構成の更に他の一例を示す構成図である。
【図６】本発明の画像信号処理装置の構成の更に他の一例を示す構成図である。
【図７】図６の画像信号処理装置におけるエッジ強調処理の説明図である。
【図８】本発明の画像信号処理装置の説明図である。
【図９】本発明の画像信号処理装置の構成の更に他の一例を示す構成図である。
【図１０】従来のエッジ強調処理の問題点の説明図である。
【符号の説明】
【００８４】
１  エッジ強調処理部
２  強調ゲイン処理部
１１  局所平均値算出部
１２  第１加算器
１３  乗算器
１４  第２加算器
２１  局所成分値算出部
２２  局所ゲイン算出保存部
２３  強調ゲイン算出部
【図１】
2007249436.tif 000009
【図２】
2007249436.tif 000010
【図３】
2007249436.tif 000011
【図４】
2007249436.tif 000012
【図５】
2007249436.tif 000013
【図６】
2007249436.tif 000014
【図７】
2007249436.tif 000015
【図８】
2007249436.tif 000016
【図９】
2007249436.tif 000017
【図１０】
2007249436.tif 000018