(57)【特許請求の範囲】
【請求項１】
入力された画像データについて、対象画素におけるエッジの有無を判定するエッジ検出手段と、
エッジ検出手段によりエッジがあると判定された画素について、エッジの位置に対応した重み行列を選択する重み選択手段と、
対象画素とその周辺の画素のデータを、重み選択手段により選択された重み行列を用いて演算し、得られた演算値を所定のしきい値と比較して、対象画素についてのエッジ強調の範囲を決定する強調範囲決定手段と、
強調範囲決定手段により決定された強調範囲内の画素のデータについてデータ強調処理を行うデータ強調手段と
からなる画像処理装置。
【請求項２】
前記の強調範囲決定手段は、重み行列において重み付けをエッジの内側におくことを特徴とする請求項１に記載された画像処理装置。
【請求項３】
前記のエッジ抽出手段は、エッジの抽出においてエッジを画素の間に求め、前記の強調範囲決定手段は、対象画素の周囲の４方向でのエッジの有無によって重み行列を選択することを特徴とする請求項１に記載された画像処理装置。
【請求項４】
前記のデータ強調手段は、対象画素の周囲の画素の色相及び彩度の値も考慮してデータを強調することを特徴とする請求項１に記載さた画像処理装置。
【請求項５】
前記のデータ強調手段は、対象画素の周囲の画素の対象画素との距離も考慮してデータを強調することを特徴とする請求項４に記載された画像処理装置。
【請求項６】
入力された画像データについて、対象画素におけるエッジの有無を判定し、
エッジがあると判定された画素について、エッジの位置に対応した重み行列を選択し、
対象画素とその周辺の画素のデータを、選択された重み行列を用いて演算し、得られた演算値を所定のしきい値と比較して、対象画素についてのエッジ強調の範囲を決定し、
決定された強調範囲内の画素のデータについてデータ強調処理を行う
画像処理方法。
【請求項７】
前記の強調範囲決定のステップにおいて、重み行列において重み付けをエッジの内側におくことを特徴とする請求項６に記載された画像処理方法。
【請求項８】
入力された画像データについて、対象画素におけるエッジの有無を判定するステップと、
エッジがあると判定された画素について、エッジの位置に対応した重み行列を選択するステップと、
対象画素とその周辺の画素のデータを、選択された重み行列を用いて演算し、得られた演算値を所定のしきい値と比較して、対象画素についてのエッジ強調の範囲を決定するステップと、
決定された強調範囲内の画素のデータについてデータ強調処理を行うステップと
をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像の補正に関する。
【０００２】
【従来の技術】
ディジタルカメラなどから入力されたディジタル画像に対して、各種の画像補正がなされる。画像補正には、コントラスト強調、エッジ強調などの種々の処理がある。エッジ強調について種々の手法が用いられている。たとえば、特開平５−１０８８２３号公報に記載された画像処理では、画素の間にエッジを求めている。また、特開平１０−１４３６７３号公報に記載された画像処理では、エッジを判定するしきい値を自動的に算出する。
【０００３】
【発明が解決しようとする課題】
一般にディジタル画像に対してエッジ強調によりシャープネスを強調する場合、被写体によって、その特徴に応じてエッジの太さ(エッジ強調の範囲)を調整する必要がある。たとえば建築物や人工的な物体が写っている場合は、建築物の輪郭である線は、太くすると縁どったような画像になってしまい、不自然となる。したがって、建築物などでは、線を太くしないようにエッジ強調範囲を狭くして線をより強調することが望ましい。逆に、人物像などにおいては、エッジを細くして強調すると、目などが不自然な感じに強調されてしまい逆効果となることが多い。そのため、人物像などに対しては、エッジの幅を広く取り、なだらかにエッジを強調することが望まれる。すなわち、人物が写っている場合には強調範囲をやや広めて、緩やかにエッジを強調せねばならない。自動的にエッジを強調する手法は今まで数多く提案されているが、強調範囲はマニュアルで決められていた。
【０００４】
本発明の目的は、適切なエッジ強調を自動的に行える画像処理装置を提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置において、エッジ検出手段は、入力された画像データについて、対象画素におけるエッジの有無を判定する。重み選択手段は、エッジがあると判定された画素について、エッジの位置に対応した重み行列を選択する。強調範囲決定手段は、対象画素とその周辺の画素のデータを、重み選択手段により選択された重み行列を用いて演算し、得られた演算値を所定のしきい値と比較して、対象画素についてのエッジ強調の範囲を決定する。こうして、エッジの種類に応じた重み行列を選択的に用いて自動的に強調半径を決定する。データ強調手段は、強調範囲決定手段により決定された強調範囲内の画素のデータについてデータ強調処理を行う。
好ましくは、前記の強調範囲決定手段は、重み行列において重み付けをエッジの内側におく。
また、好ましくは、前記のエッジ抽出手段は、エッジの抽出においてエッジを画素の間に求め、前記の強調範囲決定手段は、対象画素の周囲の４方向でのエッジの有無によって重み行列を選択する。
また、好ましくは、前記のデータ強調手段は、対象画素の周囲の画素の色相及び彩度の値も考慮してデータを強調する。より好ましくは、前記のデータ強調手段は、対象画素の周囲の画素の対象画素との距離も考慮してデータを強調する。
【０００６】
本発明に係る画像処理方法は、入力された画像データについて、対象画素におけるエッジの有無を判定し、エッジがあると判定された画素について、エッジの位置に対応した重み行列を選択し、対象画素とその周辺の画素のデータを、選択された重み行列の重みを用いて演算し、得られた演算値を所定のしきい値と比較して、対象画素についてのエッジ強調の範囲を決定し、決定された強調範囲内の画素のデータについてデータ強調処理を行う。
好ましくは、前記の強調範囲決定のステップにおいて、重み行列において重み付けをエッジの内側におく。
本発明に係るコンピュータ読み取り可能な媒体は、入力された画像データについて、対象画素におけるエッジの有無を判定するステップと、エッジがあると判定された画素について、エッジの位置に対応した重み行列を選択するステップと、対象画素とその周辺の画素のデータを、選択された重み行列の重みを用いて演算し、得られた演算値を所定のしきい値と比較して、対象画素についてのエッジ強調の範囲を決定するステップと、決定された強調範囲内の画素のデータについてデータ強調処理を行うステップとをコンピュータに実行させるためのプログラムを記憶する。
【０００７】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
本発明の実施形態の情報処理装置（以下、システムという）は、中央演算処理装置（以下、ＣＰＵという）を備えシステム全体を制御する制御装置１（コンピュータ）を中心として構成される。図１において、矢印はデータの流れを示す。ディスプレイ２は、画像または文字などを表示すると共に、操作のための各種画面の表示等を行う。キーボード３とマウス４は、各種入力、指示操作等を行う。フロッピーディスク５とハードディスク６は、画像データなどを記憶及び保管するデータ保管媒体であり、システムは、フロッピーディスク５とハードディスク６にそれぞれアクセスするフロッピーディスクドライブとハードディスクドライブを備える。プリンタ７は、画像データなどを用紙に印刷する。スキャナ８は、原稿から画像データを読み取る。ＣＤ−ＲＯＭ９は、多量の各種データを記憶する記憶媒体であり、システムは、ＣＤ−ＲＯＭ９にアクセスするＣＤ−ＲＯＭドライブを備える。また、音声出力のためのスピーカー１０と音声入力用のマイクロフォン１１が接続される。後述の画像処理プログラムは、ＣＤ−ＲＯＭなどの外部記憶媒体から読み込まれる。
【０００８】
図２は、制御装置１を中心としたブロック図である。制御装置１は、ＣＰＵ２０１を中心として構成され、ＣＰＵ２０１に接続されるデータバス２２０を介して、種々の処理プログラムなどを記憶するＲＯＭ２０３、各種データおよびプログラムを記憶するＲＡＭ２０４、画像または文字等の表示をディスプレイ２に行う表示制御回路２０５、キーボードからの入力を転送制御するキーボード制御回路２０６、マウス４からの入力を転送制御するマウス制御回路２０７、フロッピーディスクドライブを制御するフロッピーディスクドライブ制御回路２０８、ハードディスクドライブを制御するハードディスク制御回路２０９、プリンタ７への出力を制御するプリンタ制御回路２１０、スキャナ８を制御するスキャナ制御回路２１１、ＣＤ−ＲＯＭドライブを制御するＣＤ−ＲＯＭドライブ制御回路２１２、スピーカー１０を制御するスピーカー制御装置２１３、および、マイクロフォン１１を制御するマイクロフォン制御回路２１４がそれぞれ接続される。また、クロック回路２０２は、本システムを動作させるために必要な各種クロック信号を供給する。さらに、データバスを介して各種拡張ボードを接続するための拡張スロット２１５が接続される。
【０００９】
制御装置１は、ディジタル画像について各種の画像処理を行う。以下では、画像のエッジ強調処理について説明する。図３は、制御部１のエッジ強調処理のフローを示す。まず、ＲＧＢ画像データを入力する（ステップＳ１０）。次に、ＲＧＢデータをＨＳＬ色空間に変換する（ステップＳ１１）。次に、処理対象とする注目画素の位置を２次元座標で（ｉ，ｊ）と表わし、その注目画素のデータをＬ(ｉ，ｊ)とする（ステップＳ１２）。次に、エッジフィルターを用いて対象画素の周囲の画素に対してエッジを検出する（ステップＳ１３）。本実施形態では画素間にエッジを求める。これにより、強調する際にエッジをはさむ両画素の間の差分を大きくとることによって線のみが強調されずに自然にエッジが強調される。また、画素間にエッジを求めることにより対象画素の周囲にあるエッジが４種類に限定でき、その後の重み行列の選択などが簡単になる。
【００１０】
エッジは重み行列ｗ１を用いて画素データと演算し、演算値θ１を所定の閾値と比較することにより抽出される。エッジが対象画素の上側にある場合は、次の重み行列ｗ１を用い、行列演算値θ１を求める。
【数１】
0003736219.tif 000002
【数２】
0003736219.tif 000003
また、エッジが対象画素の下側にある場合は、同じ重み行列ｗ１(式（１))を用い、行列演算値θ１を求める。
【数３】
0003736219.tif 000004
また、エッジが対象画素の右側にある場合は、次の重み行列ｗ１を用い、行列演算値θ１を求める。
【数４】
0003736219.tif 000005
【数５】
0003736219.tif 000006
また、エッジが対象画素の右側にある場合は、同じ重み行列ｗ１(式(４))を用い、行列演算値θ１を求める。
【数６】
0003736219.tif 000007
【００１１】
注目画素にエッジが検出されると（ステップＳ１４でＹＥＳ）、次に、強調半径Ｒを決定する。まず、強調半径Ｒを求めるための重み行列ｗ２を選択し（ステップＳ１５）、重み行列ｗ２を用いて画素データから強調半径Ｒを求める（ステップＳ１６)。エッジの強調半径Ｒとは、エッジを強調する範囲を表わすパラメータであり、エッジとみなした画素の周辺の何画素まで強調するかを決めるものである。たとえば、図４に示す例では、強調半径は１（画素）であり、斜線部（すなわち対象画素の周囲の８画素）がエッジ強調を行う強調画素を示す。
【００１２】
具体的には、半径算出関数Ｆ(ｘ)を用いて、データＬ(ｉ，ｊ)と重み行列ｗ２とから次の式(７)から強調半径Ｒを自動的に算出する。
【数７】
0003736219.tif 000008
半径算出関数Ｆ(ｘ)はたとえば次のような関数である。
ｂ１≦ｘ＜ｂ２のとき、Ｆ(ｘ)＝１
ｂ２≦ｘ＜ｂ３のとき、Ｆ(ｘ)＝２              （８）
・・・
ここに、ｂ１、ｂ２、...は定数である。
【００１３】
エッジ強調の範囲（強調半径）は、エッジの線種(太さ)とエッジ周辺の明度の勾配（グラデーション）から決められるるべきである。エッジの強調半径は、エッジの幅と密接な関係がある。エッジ強調半径が小さいとエッジの幅は細く、エッジ強調半径が大きいとエッジの幅は太い。そこで、対象物によってエッジの太さを調整する必要がある。重み行列ｗ２において重み付けは対象画素に関してエッジの位置の反対側（エッジの内側）においている。そのような重み行列ｗ２を用いてエッジ強調半径を求めるので、求められたエッジ強調半径は、対象画素の周辺にさらにエッジがあるかどうか、したがって、エッジの幅に関連する。対象物が建築物である場合、対象エッジの付近に明度変化の急勾配の点(エッジ)が存在し、また、人物画像とくに顔写真の場合は、エッジ付近の明度の変化はなだらかである。そのような特徴はエッジ強調半径に反映される。
【００１４】
エッジの種類による重み行列ｗ２の例は以下のとおりである。ここで、ａ11〜ａ55は重みを表わす。注目画素とエッジの位置により５＊５の重み行列ｗ２の重み付けを変化させる。図５に示すように、エッジが注目画素の左側に検出されたときの重み行列ｗ２は次の通りである。
【数８】
0003736219.tif 000009
図６に示すように、エッジ（太線部で表す）が注目画素の左側と下側に検出されたときの重み行列ｗ２は次の通りである。
【数９】
0003736219.tif 000010
図７に示すように、エッジが注目画素の左側、下側及び右側に検出されたときの重み行列ｗ２は次の通りである。
【数１０】
0003736219.tif 000011
図８に示すように、エッジが注目画素の左右に検出されたときの重み行列ｗ２は次の通りである。
【数１１】
0003736219.tif 000012
【００１５】
次に、強調半径Ｒ内の画素(強調画素という)について強調パラメータを用いて強調処理をする。また、エッジ付近の色情報や彩度情報もからめて強調パラメータを求めるので、対象物の特性を反映させることができる。まず、１つの強調画素の画像データの値Ｉ(ｉ,ｊ)を求め（ステップＳ１７）、強調パラメータを算出し（ステップＳ１８）、画像データについて強調処理をする（ステップＳ１９）。この強調処理を、強調半径Ｒ内の全強調画素について処理が終わるまで（ステップＳ２０でＹＥＳ）、繰り返す。
さらに、上述の処理(ステップＳ１０からＳ２０）を、全画素について処理が終わるまで（ステップＳ２１でＹＥＳ）、繰り返す。
【００１６】
強調パラメータは、色情報と強調半径とから次のように算出される。
第１強調係数Ｐ１が、周囲の色情報や彩度情報（たとえば対象画素と周囲の８画素の画像データについて）から決定される。ここでは、表１のように、４種の色(無彩色、肌色、温色，その他)を判別し、それぞれに第１強調係数Ｐ１が決定される。
【００１７】
【表１】
表１    第１強調係数Ｐ１
0003736219.tif 000013
【００１８】
また、第２強調係数Ｐ２が、強調中心画素からの距離によって決定される。ここでは、表２のように、距離が０，１，２（画素）に対して第２強調係数が算出される。
【表２】
表２    第２強調係数Ｐ２
0003736219.tif 000014
【００１９】
補正後の強調係数Ｉ'(ｉ，ｊ)は、補正前の強調係数Ｉｏ(ｉ，ｊ)から上述の２つの強調係数Ｐ１、Ｐ２と重み行列ｗ３を用いて次のように算出される。
Ｉ'(ｉ，ｊ)＝Ｉｏ(ｉ，ｊ)＋Ｗ＊Ｐ１＊Ｐ２        （１３）
ここに
【数１２】
0003736219.tif 000015
ｗ３(i,j)はたとえば以下のように定義される重み行列である。
【数１３】
0003736219.tif 000016
【００２０】
【発明の効果】
エッジの種類に応じて重み行列を選択的にかけて、自動的に強調半径を決定する。
エッジ強調処理において、画像内容（色及び彩度）を解析して自動的に強調半径を算出する。
対象物によってはエッジの太さを調整できる。
【図面の簡単な説明】
【図１】  システムの全体構成の図
【図２】  制御装置を中心としたブロック図
【図３】  エッジ強調のフローチャート
【図４】  強調画素の１例を示す図
【図５】  対象画素とエッジの位置を示す図
【図６】  対象画素とエッジの位置を示す図
【図７】  対象画素とエッジの位置を示す図
【図８】  対象画素とエッジの位置を示す図
【符号の説明】
１  制御装置、    ２  ディスプレイ、    ２０１  ＣＰＵ。
【図１】
0003736219.tif 000017
【図２】
0003736219.tif 000018
【図３】
0003736219.tif 000019
【図４】
0003736219.tif 000020
【図５】
0003736219.tif 000021
【図６】
0003736219.tif 000022
【図７】
0003736219.tif 000023
【図８】
0003736219.tif 000024