(57)【要約】【課題】画像サイズを縮小させることや、解像感を低下させることなく、画像信号を増幅する画像処理装置および画像処理方法を提供すること。【解決手段】エッジ方向検出演算部２は、抽出ベイヤーデータＢＡＹからエッジ最小方向を検出する。割り当て演算部４は、抽出ベイヤーデータＢＡＹのエッジの最小方向に、他の方向に比して高い配分の重み付けをした係数を、空間フィルタカーネルに割り当てる。すなわちエッジ最小方向に応じて、空間フィルタカーネルの係数を変化させる。画素加算演算部５は、抽出ベイヤーデータＢＡＹの増感処理を行う。よって、エッジ最小方向に、ローパスフィルタ処理を選択的に行うことが可能となる。これにより、ローパスフィルタ処理を行う際に、解像感を失うことを防止でき、画像の輪郭の鮮鋭さを維持することが可能となる。【選択図】図１
2007312304.tif 000002
【特許請求の範囲】
【請求項１】
画像データを増感率Ｋ倍に増感する画像データ処理装置において、
係数の総和が前記増感率Ｋと等しくなる係数マトリクスを備える空間フィルタにより、増感処理を行う空間フィルタ処理部と、
前記係数マトリクスに対応する画像領域における、注目画素を中心とする少なくとも相異なる２方向における各画素の信号強度の変化割合を検出するエッジ検出回路と、
前記変化割合の小さい方向に他の方向に比して高い配分の重み付けをした前記係数を、前記係数マトリクスに割り当てる割り当て回路と
を備えることを特徴とする画像処理装置。
【請求項２】
前記割り当て回路は、前記変化割合の最小方向に対して、他の方向に比して高い配分の重み付けをした前記係数の割り当てを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記最小方向が複数存在する場合には、前記重み付けをすることなく前記係数の割り当てを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変化割合の最大値と最小値との差分が予め定められる所定値以下の場合には、前記重み付けをすることなく前記係数の割り当てを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記変化割合の最小値と、前記変化割合の２番目に小さい値との差分が、予め定められる所定値以下の場合には、前記重み付けをすることなく前記係数の割り当てを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記割り当て回路は、前記注目画素を中心とする相異なる方向ごとに、特に重み付けられた係数を予め配置している前記係数マトリクスを複数備える係数マトリクステーブル部を備え、
前記最小方向に対応する前記係数マトリクスを前記係数マトリクステーブル部から選択することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記エッジ検出回路は、前記画像領域において前記注目画素を中心として対称に位置する画素の信号強度と、該注目画素の信号強度との差分を演算することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
入力される前記画像データのうち、前記画像領域における前記各画素の前記信号強度を前記増感率Ｋで除した上で、前記空間フィルタ処理部へ出力する第１補正演算部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記空間フィルタ処理部の出力データにおける前記各画素の前記信号強度を、前記増感率Ｋで除した上で、次段回路へ出力する第２補正演算部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
画像データを増感率Ｋ倍に増感する画像データ処理方法において、
係数の総和が前記増感率Ｋと等しくなる係数マトリクスを備える空間フィルタにより、増感処理を行うステップと、
前記係数マトリクスに対応する画像領域における、注目画素を中心とする少なくとも相異なる２方向における各画素の信号強度の変化割合を検出するステップと、
前記変化割合の小さい方向に他の方向に比して高い配分の重み付けをした前記係数を、前記係数マトリクスに割り当てるステップと
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの画像処理に関するものであり、特に、画像データの信号を増幅する処理に関するものである。
【背景技術】
【０００２】
例えばデジタルスチルカメラでは、暗い所で手ぶれが発生しないように撮影をするためには、シャッター速度を早くする必要があるため、撮像された画像データの信号強度が低くなる。ここで、一般のデジタルゲインでゲインを上げることにより、画像データの信号強度を高くすると、ノイズが増幅されるため好ましくない。よって、ノイズ増幅を抑えながら、画像データの信号を増幅する増感技術が必要とされる。ここで増感技術としては、従来、ｍ倍に増感を行なう場合には、注目画素ごとに、その注目画素の値と近傍のｍ画素の値とを加算する方法が用いられていた。
【０００３】
尚、上記の関連技術として特許文献１および２が開示されている。
【特許文献１】特開平７−２４９１２８号公報
【特許文献２】特開平５−１２４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の背景技術においては、ｍ個の画素信号から１個の画素信号を取得することになる。するとｍ倍の増幅効果を得るためには、画像サイズが１／ｍに縮小してしまうため問題である。またローパスフィルタ効果により、解像感が低下してしまうため問題である。
【０００５】
本発明は前記背景技術の課題の少なくとも１つを解消するためになされたものであり、画像サイズを縮小させることなく、かつ、解像感の低下を防止して画像の輪郭の鮮鋭さを失うことなく、画像信号を増幅する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明に係る画像処理装置は、画像データを増感率Ｋ倍に増感する画像データ処理装置において、係数の総和が増感率Ｋと等しくなる係数マトリクスを備える空間フィルタにより、増感処理を行う空間フィルタ処理部と、係数マトリクスに対応する画像領域における、注目画素を中心とする少なくとも相異なる２方向における各画素の信号強度の変化割合を検出するエッジ検出回路と、変化割合の小さい方向に他の方向に比して高い配分の重み付けをした係数を、係数マトリクスに割り当てる割り当て回路とを備えることを特徴とする。
【０００７】
また本発明に係る画像処理方法は、画像データを増感率Ｋ倍に増感する画像データ処理方法において、係数の総和が増感率Ｋと等しくなる係数マトリクスを備える空間フィルタにより、増感処理を行うステップと、係数マトリクスに対応する画像領域における、注目画素を中心とする少なくとも相異なる２方向における各画素の信号強度の変化割合を検出するステップと、変化割合の小さい方向に他の方向に比して高い配分の重み付けをした係数を、係数マトリクスに割り当てるステップとを備えることを特徴とする。
【０００８】
本発明に係る画像データ処理装置および画像データ処理方法は、画像データを増感率Ｋ倍に増感する。画像データの増感は、係数の総和が増感率Ｋと等しくなる空間フィルタにより、注目画素ごとに、当該注目画素の値と近傍画素の値を使った積和演算により行われる。これにより、係数マトリクスに対応する画像領域において、注目画素の値と近傍画素の値を使った演算により、注目画素の信号強度が増幅される。
【０００９】
空間フィルタ処理部または増感処理を行うステップは、係数の総和が増感率Ｋと等しくなる係数マトリクスを備える空間フィルタにより、増感処理を行う。空間フィルタは、Ｎ×Ｎ（Ｎは自然数）の係数マトリクスを備える。そして空間フィルタは、係数マトリクスに対応する画像領域の、Ｎ×Ｎの画像データに対して空間フィルタ処理を施す。空間フィルタの例としては、ローパスフィルタ、ハイパスフィルタなどが挙げられる。空間フィルタ処理は、実際には、Ｎ×Ｎのマトリクスに対する線形和（積和、重み付け加算）で表現され、注目画素を含む近傍内の画素の値での積和演算により行われる。
【００１０】
エッジ検出回路または変化割合を検出するステップは、係数マトリクスに対応する画像領域における、注目画素を中心とする少なくとも相異なる２方向における各画素の信号強度の変化割合を検出する。エッジとは、ある画像領域において、信号強度の変化が激しく、境界や段差が存在する部分である。ここで３×３の係数マトリクスに対応する画像領域を例として、エッジ検出の方向を説明する。この場合、画像領域の中心画素を注目画素として、エッジ検出の方向は、縦方向、横方向、右斜め上方向、左斜め上方向、の４方向となる。これらの４方向のうちから、少なくとも相異なる２方向における信号強度の変化割合が検出される。
【００１１】
割り当て回路または割り当てるステップは、変化割合の小さい方向に他の方向に比して高い配分の重み付けをした係数を、係数マトリクスに割り当てる。変化割合の小さい方向とは、信号強度の境界や段差が小さい方向である。ここで例えば、縦方向における画素の信号強度の変化割合が小さいと検出された場合においては、縦方向の係数は、他の方向の係数に比して大きな値とされる。なお、割り当て動作は、予め注目画素を中心とする相異なる方向ごとに重み付けられた係数を予め配置している係数マトリクスを複数備えるテーブルを用意し、変化割合の小さい方向に対応する係数マトリクスを選択することで行われても良い。また、変化割合に応じて、重み係数を演算することで行われても良い。
【００１２】
そして、割り当て回路によって得られた係数マトリクスを用いて、当該係数マトリクスに対応する画像領域に対し、空間フィルタによる増感処理が行われる。以後、この係数マトリクスによるＮ×Ｎ領域が、原画上を走査して処理を行うことで、１フレーム分の処理結果画像が得られる。
【００１３】
以上により本発明に係る画像データ処理装置および画像データ処理方法では、変化割合の小さい方向に他の方向に比して高い配分の重み付けをした係数を、係数マトリクスに割り当てることにより、変化割合の小さい方向に応じて、空間フィルタの係数を変化させることができる。そして当該空間フィルタを用いた空間フィルタ処理により、増感処理を行うことができる。よって、エッジの存在しない方向に、ローパスフィルタ処理を選択的に行うことが可能となる。
【００１４】
これにより、ローパスフィルタ処理を行う際に、解像感を失うことを防止でき、画像の輪郭の鮮鋭さを維持することが可能となる。またローパスフィルタを施しながら増感処理を行うことができるため、増感時のノイズ増幅を抑えることが可能となる。
【発明の効果】
【００１５】
本発明によれば、画像サイズを縮小させることなく、かつ、解像感の低下を防止して画像の輪郭の鮮鋭さを失うことなく、画像信号を増幅する画像処理装置および画像処理方法を提供することが可能となる。そしてデジタルスチルカメラ等においては、シャッター速度を高速化する事による手ブレ減少効果、およびローパスフィルタによるノイズ低減効果が得られるため、高感度撮影が可能になる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の画像処理装置、画像処理方法、およびそのプログラムについて具体化した実施形態を図１乃至図９に基づき図面を参照しつつ詳細に説明する。本発明の第１実施形態を図１ないし図７を用いて説明する。図１に第１実施形態に係る画像処理装置１を示す。画像処理装置１は、エッジ方向検出演算部２、割り当て演算部４、画素加算演算部５、データ抽出部６を備える。
【００１７】
データ抽出部６には、不図示のイメージセンサなどから、５×５のマトリクス状のベイヤーデータＩＢＡＹが入力される。そしてデータ抽出部６からは、３×３のマトリクス状の抽出ベイヤーデータＢＡＹが出力される。
【００１８】
エッジ方向検出演算部２は、エッジ演算部２１、エッジ方向検出部２２を備える。エッジ演算部２１には、抽出ベイヤーデータＢＡＹが入力され、エッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４が出力される。またエッジ方向検出部２２には、エッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４およびしきい値ＴＨが入力される。そしてエッジ方向検出部２２からは、フラグ信号として、エッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４およびエッジ不検出信号ｎｏ＿ｅｄｇｅの何れか１つが出力される。
【００１９】
割り当て演算部４は、空間フィルタカーネル選択部４１および空間フィルタカーネル出力部４２を備える。ここで空間フィルタカーネルとは、空間フィルタに使用される重み付け加算のための係数マトリクスである。空間フィルタカーネル出力部４２は、空間フィルタカーネル設定部６１ないし６５を備える。また空間フィルタカーネル設定部６１ないし６５の各々には画素加算係数ＰＡＣが入力される。
【００２０】
空間フィルタカーネル設定部６１は、セレクタ７０、およびカーネルレジスタ７１ないし７３を備える。カーネルレジスタ７１ないし７３には、予め外部から、画素加算係数ＰＡＣの値に応じた空間フィルタカーネルが入力され、保持される。そしてカーネルレジスタ７１ないし７３は、保持している空間フィルタカーネルを、空間フィルタカーネルＫ１ないしＫ３として出力する。セレクタ７０には、画素加算係数ＰＡＣ、および空間フィルタカーネルＫ１ないしＫ３が入力される。そしてセレクタ７０からは空間フィルタカーネルＳＫ１が出力される。なお、空間フィルタカーネル設定部６２ないし６５も、空間フィルタカーネル設定部６１と同様の構成を有するため、ここでは説明を省略する。
【００２１】
また空間フィルタカーネル設定部６１ないし６５から出力される空間フィルタカーネルＳＫ１ないしＳＫ５は、空間フィルタカーネル選択部４１に入力される。空間フィルタカーネル選択部４１からは、選択空間フィルタカーネルＳＳＫが出力され、画素加算演算部５に入力される。画素加算演算部５には、抽出ベイヤーデータＢＡＹおよび選択空間フィルタカーネルＳＳＫが入力され、出力ベイヤーデータＯＢＡＹが出力される。
【００２２】
画像処理装置１の動作を説明する。画像処理装置１は、エッジの方向に応じた係数が割り当てられた空間フィルタカーネルを用いて、空間フィルタ処理を行う装置である。ここでエッジとは、抽出ベイヤーデータＢＡＹにおいて、信号強度の変化が激しく、境界や段差が存在する部分である。なお本実施形態では、このようにエッジの方向に応じて演算を行う方法を、適用的画素加算と呼ぶ。また画像処理装置１は、画素加算係数ＰＡＣに応じた増感処理を行う。画素加算係数ＰＡＣは増感率を設定する値であり、画素加算係数ＰＡＣが２、３、４のときのそれぞれに応じて、抽出ベイヤーデータＢＡＹは２倍、３倍、４倍に増感される。以下、例として、画素加算係数ＰＡＣ＝２の場合を説明する。
【００２３】
データ抽出部６では、データ抽出が行われる。図２に示すように、データ抽出部６には、５×５マトリクスからなるベイヤー形式のベイヤーデータＩＢＡＹが入力される。データ抽出部６は、５×５マトリクスのベイヤーデータＩＢＡＹの中心に存在する注目画素（Ｒ画素）を中心に、縦方向、横方向、右斜め上方向、左斜め上方向、の４方向の周辺同色画素を抽出することで、３×３のマトリクス状の抽出ベイヤーデータＢＡＹを抽出する。抽出された抽出ベイヤーデータＢＡＹは、エッジ方向検出演算部２および画素加算演算部５に入力される。
【００２４】
次に、エッジ方向検出演算部２の動作を図３のフローチャートを用いて説明する。エッジ方向検出演算部２は、抽出ベイヤーデータＢＡＹからエッジ最小方向を検出する回路である。抽出ベイヤーデータＢＡＹは、エッジ方向検出演算部２のエッジ演算部２１に入力される。そしてエッジ演算部２１において、エッジ検出が行われる（ステップＳ２１）。エッジ検出は、図４に示すように、抽出ベイヤーデータＢＡＹの中心に位置する注目画素ｏｏを中心として、対称に位置する画素の信号強度と、該注目画素の信号強度との差分を演算することで行われる。すなわち、縦方向（１）、横方向（２）、右斜め上方向（３）、左斜め上方向（４）の４方向の周辺同色画素間の差分をそれぞれ演算することで、エッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４が得られる。ここでエッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４は下式で求められる。
エッジ検出値ｅｄｇｅ１＝|ｏｏ−ｏｎ|＋|ｏｏ−ｏｑ|  ・・・式（１）
エッジ検出値ｅｄｇｅ２＝|ｏｏ−ｎｏ|＋|ｏｏ−ｑｏ|  ・・・式（２）
エッジ検出値ｅｄｇｅ３＝|ｏｏ−ｑｎ|＋|ｏｏ−ｎｑ|  ・・・式（３）
エッジ検出値ｅｄｇｅ４＝|ｏｏ−ｎｎ|＋|ｏｏ−ｑｑ|  ・・・式（４）
そしてエッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４は、エッジ方向検出部２２へ入力される。
【００２５】
次にエッジ方向検出部２２において、エッジの最小方向の検出が行われる（ステップＳ２２ないしＳ２７）。エッジの最小方向とは、抽出ベイヤーデータＢＡＹにおいて、信号強度の変化割合が最小となる方向である。ステップＳ２２において、エッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４の内の最小値が、最小エッジ検出値ｅｄｇｅ＿ｍｉｎとして選択される。またエッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４の内の最大値が、最大エッジ検出値ｅｄｇｅ＿ｍａｘとして選択される。なおこれらの値は単数に限られず、例えば最小値が同値で２つあれば、最小エッジ検出値ｅｄｇｅ＿ｍｉｎは２つ存在することになる。
【００２６】
ステップＳ２３において、最大エッジ検出値ｅｄｇｅ＿ｍａｘと、最小エッジ検出値ｅｄｇｅ＿ｍｉｎとの差分値Ｄｅｄｇｅが算出される。ステップＳ２４において、差分値Ｄｅｄｇｅがしきい値ＴＨより小さいか否かの判断が行われる。差分値Ｄｅｄｇｅがしきい値ＴＨよりも小さい場合（Ｓ２４：ＹＥＳ）には、エッジの最小方向が検出されなかったと判断され、ステップＳ２６へ進み、エッジ方向検出部２２からはエッジ不検出信号ｎｏ＿ｅｄｇｅが出力される。一方、差分値Ｄｅｄｇｅがしきい値ＴＨ以上の値である場合（Ｓ２４：ＮＯ）には、エッジの最小方向が検出されたと判断され、ステップＳ２５へ進む。
【００２７】
なおしきい値ＴＨは、画像の種類やユーザーの画質の好みなどに応じて、任意の値に設定することが可能とされている。ここで、しきい値ＴＨの値を高く設定するほどエッジが検出しにくくなり、低く設定するほどエッジが検出しやすくなる特性があるため、しきい値ＴＨを低く設定することにより、解像感をより高めることが可能となる。
【００２８】
ステップＳ２５において、最小エッジ検出値ｅｄｇｅ＿ｍｉｎが同値で２つ以上存在するか否かが判断される。２つ以上存在すれば（Ｓ２５：ＹＥＳ）、正しくエッジ方向を検出できなかったと判断され、ステップＳ２６へ進み、エッジ方向検出部２２からはエッジ不検出信号ｎｏ＿ｅｄｇｅが出力される。一方、２つ以上存在しなければ（Ｓ２５：ＮＯ）、正しくエッジ方向を検出できたと判断され、ステップＳ２７へ進み、エッジ方向検出部２２からは、最小エッジ検出値ｅｄｇｅ＿ｍｉｎに対応するエッジ検出値を出力する。例えば最小エッジ検出値ｅｄｇｅ＿ｍｉｎがエッジ検出値ｅｄｇｅ１である場合には、エッジ方向検出部２２からはエッジ検出値ｅｄｇｅ１が出力される。
【００２９】
次に、割り当て演算部４の動作を説明する。割り当て演算部４は、空間フィルタカーネルのマトリクスに係数を割り当てる回路である。そして割り当て演算部４は、抽出ベイヤーデータＢＡＹのエッジの最小方向に重み付けをして、係数を割り当てることを特徴としている。
【００３０】
割り当て演算部４は、空間フィルタカーネル選択部４１および空間フィルタカーネル出力部４２を備える。空間フィルタカーネル出力部４２は、エッジ方向検出部２２の出力に応じた空間フィルタカーネルＳＫ１ないしＳＫ５を出力する回路である。空間フィルタカーネル選択部４１は、エッジ方向検出部２２の出力に応じて、空間フィルタカーネル出力部４２から入力される空間フィルタカーネルＳＫ１ないしＳＫ５のうちの何れか１つを選択し、選択したカーネルを選択空間フィルタカーネルＳＳＫとして画素加算演算部５へ出力する回路である。
【００３１】
空間フィルタカーネル出力部４２は、空間フィルタカーネル設定部６１ないし６５を備える。空間フィルタカーネル設定部６１ないし６４は、それぞれ、エッジ最小方向が縦方向、横方向、右斜め上方向、左斜め上方向である場合に用いられる空間フィルタカーネルを空間フィルタカーネル選択部４１へ出力する回路である。また空間フィルタカーネル設定部６５は、エッジ最小方向が非検出である場合に用いられる空間フィルタカーネルを、空間フィルタカーネル選択部４１へ出力する回路である。
【００３２】
例として、空間フィルタカーネル設定部６１の動作を説明する。空間フィルタカーネル設定部６１は、カーネルレジスタ７１ないし７３を備える。カーネルレジスタ７１ないし７３には、図５に示すように、それぞれ空間フィルタカーネル７１ａないし７３ａが保持される。空間フィルタカーネル７１ａないし７３ａは、エッジ最小方向が縦方向である場合に用いられる、３×３空間フィルタカーネルである。そして図５に示すように、縦方向の係数が、他の方向の係数に比して大きな値とされる。空間フィルタカーネル７１ａは、係数の総和が２であり、２倍増感に用いられる空間フィルタカーネルである。よって、画素加算係数ＰＡＣ＝２に対応した空間フィルタカーネルである。同様にして、空間フィルタカーネル７１ｂの係数の総和は３であり、画素加算係数ＰＡＣ＝３に対応している。また、空間フィルタカーネル７３ａの係数の総和は４であり、画素加算係数ＰＡＣ＝４に対応している。
【００３３】
なお空間フィルタカーネル７１ａないし７３ａは、画像の種類やユーザーの画質の好みなどに応じて、レジスタ等により、任意に設定可能とされる。そして、エッジの最小方向により大きな重み付けをするように、係数を空間フィルタカーネルに割り当てることにより、ローパスフィルタ処理後の画像の解像感をより高めることが可能となる。
【００３４】
セレクタ７０は、画素加算係数ＰＡＣに応じて空間フィルタカーネル７１ａないし７３ａから何れか１つを選択する回路である。画素加算係数ＰＡＣの設定値が２のときは２倍加算の空間フィルタカーネル７１ａが選択され、画素加算係数ＰＡＣの設定値が３のときは３倍加算の空間フィルタカーネル７１ｂが選択され、画素加算係数ＰＡＣの設定値が４のときは４倍加算の空間フィルタカーネル７３ａが選択される。本実施形態では、画素加算係数ＰＡＣ＝２の場合を説明しているため、セレクタ７０によって、空間フィルタカーネルＳＫ１として空間フィルタカーネル７１ａが選択される。
【００３５】
また例として、空間フィルタカーネル設定部６３の動作を説明する。空間フィルタカーネル設定部６３は、エッジ最小方向が右斜め上方向である場合に用いられる空間フィルタカーネルを出力する回路である。空間フィルタカーネル設定部６３のカーネルレジスタには、図６に示すように、空間フィルタカーネル８１ａないし８３ａが保持される。空間フィルタカーネル８１ａ、８２ａ、８３ａは、それぞれ、画素加算係数ＰＡＣが２、３、４のときに対応した空間フィルタカーネルである。なお、空間フィルタカーネル設定部６３のその他の構成は、空間フィルタカーネル設定部６１と同様であるため、ここでは説明を省略する。
【００３６】
また例として、空間フィルタカーネル設定部６５の動作を説明する。空間フィルタカーネル設定部６５は、エッジ最小方向が非検出である場合に用いられる空間フィルタカーネルを、空間フィルタカーネル選択部４１へ出力する回路である。空間フィルタカーネル設定部６５のカーネルレジスタには、全方向に均等な重み付け加算によるローパスフィルタ処理を行うための空間フィルタカーネルが保持される。一例として、下式（５）で表される空間フィルタカーネルが挙げられる。
出力ベイヤーデータＯＢＡＹ＝（ｏｏ*ｋ０＋（ｏｎ＋ｏｑ）*ｋ１＋（ｎｏ＋ｑｏ）*ｋ２＋（ｎｎ＋ｑｎ＋ｎｑ＋ｑｑ）*ｋ３）／６４  ・・・式（５）
なお、”ｏｏ””ｏｎ”などの表記は、図４の抽出ベイヤーデータＢＡＹに対応している。
【００３７】
そして係数ｋ０ないしｋ３の設定値は、画素加算係数ＰＡＣ＝２、３、４のそれぞれの場合に対応して、係数の総和が２、３、４となるように３種類用意される。また係数ｋ０ないしｋ３は、画像の種類などに応じて、レジスタ等により、任意に設定可能とされる。これにより、係数ｋ０ないしｋ３によってローパスフィルタの応答特性を制御することができ、  例えば、係数ｋ０に重みを置くと高周波よりの特性が得られ、係数ｋ１ないしｋ３に重みを置くと、低周波よりの特性を得ることができる。
【００３８】
空間フィルタカーネル選択部４１の動作を、図７のフローチャートを用いて説明する。まずエッジ方向検出部２２から入力されるフラグ信号が、エッジ不検出信号ｎｏ＿ｅｄｇｅであるか否かが判断される（ステップＳ４１）。エッジ不検出信号ｎｏ＿ｅｄｇｅである場合（Ｓ４１：ＹＥＳ）にはステップＳ４５へ進み、選択空間フィルタカーネルＳＳＫとして空間フィルタカーネルＳＫ５が選択される。一方、フラグ信号がエッジ不検出信号ｎｏ＿ｅｄｇｅではない場合（Ｓ４１：ＮＯ）には、ステップＳ４２へ進む。
【００３９】
ステップＳ４２において、エッジ方向検出部２２から入力されるフラグ信号が、エッジ検出値ｅｄｇｅ１であるか否かが判断される。エッジ検出値ｅｄｇｅ１である場合（Ｓ４２：ＹＥＳ）にはステップＳ４６へ進み、選択空間フィルタカーネルＳＳＫとして空間フィルタカーネルＳＫ１が選択される。一方、フラグ信号がエッジ検出値ｅｄｇｅ１ではない場合（Ｓ４２：ＮＯ）には、ステップＳ４３へ進む。
【００４０】
同様にしてステップＳ４３では、フラグ信号がエッジ検出値ｅｄｇｅ２である場合（Ｓ４３：ＹＥＳ）にはステップＳ４７へ進み選択空間フィルタカーネルＳＳＫとして空間フィルタカーネルＳＫ２が選択され、フラグ信号がエッジ検出値ｅｄｇｅ２でない場合（Ｓ４３：ＮＯ）にはステップＳ４４へ進む。
【００４１】
ステップＳ４４では、フラグ信号がエッジ検出値ｅｄｇｅ３である場合（Ｓ４４：ＹＥＳ）にはステップＳ４８へ進み選択空間フィルタカーネルＳＳＫとして空間フィルタカーネルＳＫ３が選択され、フラグ信号がエッジ検出値ｅｄｇｅ２でない場合（Ｓ４４：ＮＯ）にはステップＳ４９へ進み選択空間フィルタカーネルＳＳＫとして空間フィルタカーネルＳＫ４が選択される。
【００４２】
本実施形態では、エッジ方向検出部２２から入力されるフラグ信号が、エッジ検出値ｅｄｇｅ１である場合を説明しているため、選択空間フィルタカーネルＳＳＫとして空間フィルタカーネルＳＫ１が選択される。
【００４３】
そして画素加算演算部５において、抽出ベイヤーデータＢＡＹの増感処理が行われる。増感処理は、空間フィルタ処理によって行われる。具体的には、抽出ベイヤーデータＢＡＹと選択空間フィルタカーネルＳＳＫとの積和演算により行われる。その結果、抽出ベイヤーデータＢＡＹのマトリクスの中心に位置する注目画素の信号強度が、画素加算係数ＰＡＣに応じた空間フィルタ処理により増感され、出力ベイヤーデータＯＢＡＹとして出力される。すなわち、画素加算係数ＰＡＣが２、３、４のときのそれぞれに応じて、選択空間フィルタカーネルＳＳＫの係数の総和値が２、３、４となり、画素加算演算部５における増感率も２倍、３倍、４倍とされる。
【００４４】
本実施形態では、画素加算係数ＰＡＣ＝２、エッジ検出値ｅｄｇｅ１が最小値であるので、選択空間フィルタカーネルＳＳＫとして空間フィルタカーネル７１ａ（図５）が選択されている。よって画素加算演算部５において、下式（６）で表される空間フィルタ処理が行われる。
出力ベイヤーデータＯＢＡＹ＝１．０×ｏｏ＋０．５×ｏｎ＋０．５×ｏｑ  ・・・式（６）
【００４５】
以後、原画上を画素ごとに走査することで、１フレーム分のベイヤーデータＩＢＡＹの増感処理が完了することにより、処理結果画像が得られる。
【００４６】
以上詳細に説明したとおり、第１実施形態に係る画像処理装置１によれば、各画素の信号強度の変化割合が最小となる方向（エッジ最小方向）に他の方向に比して高い配分の重み付けをした係数を、空間フィルタカーネルに割り当てることにより、エッジ最小方向に応じて、空間フィルタカーネルの係数を変化させることができる。そして当該空間フィルタカーネルを用いた空間フィルタ処理により、増感処理を行うことができる。よって、エッジ最小方向に、ローパスフィルタ処理を選択的に行うことが可能となる。これにより、ローパスフィルタ処理を行う際に、解像感を失うことを防止でき、画像の輪郭の鮮鋭さを維持することが可能となる。またローパスフィルタを施しながら増感処理を行うことができるため、増感時のノイズ増幅を抑えることが可能となる。また増感処理に伴い、画像サイズが縮小する事態が発生することを防止できる。
【００４７】
またエッジ最小方向が検出できない場合には、全方向に均等な重み付けを行った係数を、空間フィルタカーネルに割り当てることができる。これによっても、ローパスフィルタを施しながら増感処理を行うことが可能となるため、増感時のノイズ増幅を抑えることが可能となる。
【００４８】
また割り当て演算部４では、それぞれ、エッジ最小方向が異なる場合に対応した空間フィルタカーネル設定部６１ないし６４、及びエッジ最小方向が非検出である場合に対応した空間フィルタカーネル設定部６５を用意し、エッジ方向検出演算部２によって報知されるエッジ最小方向に対応する空間フィルタカーネルを選択する形態としている。すなわち、空間フィルタカーネルへの係数の割り当てを、演算によりその都度行う必要がない。これにより、演算時間を不要とすることが出来るため、画像データの高速な増感処理を可能とすることができる。
【００４９】
本発明の第２実施形態を図８および図９を用いて説明する。図８に第２実施形態に係る画像処理装置１ａを示す。画像処理装置１ａは、画像処理装置１に加えて、補正演算部３を新たに備える。補正演算部３には増感補正設定信号ＳＣＳ、画素加算係数ＰＡＣおよび抽出ベイヤーデータＢＡＹが入力される。そして補正演算部３からは補正後ベイヤーデータＢＡＹ’が出力される。なお、その他の構成は図１に示す画像処理装置１と同様であるため、ここでは詳細な説明は省略する。
【００５０】
画像処理装置１ａの動作を説明する。画像処理装置１ａは、増感処理を行わず、本発明に係るローパスフィルタ処理（エッジの方向に応じて処理を選択的に行う処理）のみを行う装置である。なお画素加算係数ＰＡＣが、２、３、４のうちの何れか１つの値とされる場合を説明する。
【００５１】
補正演算部３の動作を図９のフローチャートを用いて説明する。補正演算部３は、画素加算演算部５で行われる増感処理の増感率が１となるように、抽出ベイヤーデータＢＡＹに対して補正を行う回路である。まず外部から入力される増感補正設定信号ＳＣＳにより、増感補正が設定されているか否かが判断される（ステップＳ９１）。増感補正が設定されていない場合（Ｓ９１：ＮＯ）は、抽出ベイヤーデータＢＡＹを画素加算係数ＰＡＣで設定された増感率で増感する処理を行う場合である。この場合、補正演算部３で補正を行う必要がない。よってステップＳ９４へ進み、補正後ベイヤーデータＢＡＹ’として抽出ベイヤーデータＢＡＹが選択される。一方、増感補正が設定されている場合（Ｓ９１：ＹＥＳ）は、増感率１となるように補正を行う場合である。よってステップＳ９２へ進む。
【００５２】
ステップＳ９２において、画素加算係数ＰＡＣの値が２であるか否かが判断される。画素加算係数ＰＡＣ＝２である場合（Ｓ９２：ＹＥＳ）にはステップＳ９５へ進み、補正後ベイヤーデータＢＡＹ’として、抽出ベイヤーデータＢＡＹの各画素の信号強度を２で除したデータが用いられる。一方、画素加算係数ＰＡＣ＝２ではない場合（Ｓ９２：ＮＯ）には、ステップＳ９３へ進む。
【００５３】
ステップＳ９３では、画素加算係数ＰＡＣ＝３である場合（Ｓ９３：ＹＥＳ）にはステップＳ９６へ進み、補正後ベイヤーデータＢＡＹ’として、抽出ベイヤーデータＢＡＹの各画素の信号強度を３で除したデータが用いられる。一方、画素加算係数ＰＡＣ＝３ではない場合（Ｓ９３：ＮＯ）には、ステップＳ９７へ進み、補正後ベイヤーデータＢＡＹ’として、抽出ベイヤーデータＢＡＹの各画素の信号強度を４で除したデータが用いられる。
【００５４】
そして画素加算演算部５において、補正後ベイヤーデータＢＡＹ’の増感処理が行われる。画素加算演算部５では、画素加算係数ＰＡＣの値が２、３、４のときのそれぞれに応じて、２倍、３倍、４倍の増感率で増感処理が行われる。そして、増感補正が設定されている場合には、画素加算係数ＰＡＣが２、３、４のときのそれぞれに応じて、抽出ベイヤーデータＢＡＹの信号強度も１／２倍、１／３倍、１／４倍とされている。すると画素加算演算部５では、画素加算係数ＰＡＣに応じた係数が相殺されるため、結果として増感率が１となる増感処理が行われることになる。これにより、画像処理装置１ａにおいて、解像感を失わないローパスフィルタ処理のみを行うことが可能となる。
【００５５】
以上詳細に説明したとおり、第２実施形態に係る画像処理装置１ａによれば、増感処理を行わずに、本発明に係るローパスフィルタ処理のみを行うことができる。すなわち、エッジ最小方向に、ローパスフィルタ処理を選択的に行うことが可能となる。これにより、画像データに対し、解像感を失うことを防止しながら、ローパスフィルタ処理を行うことが可能となる。よって例えば、充分な露光で撮像され、適正な信号強度を有する画像データに対し、画像の輪郭の鮮鋭さを維持しながらノイズを低減する処理を行うことが可能である。
【００５６】
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。第２実施形態において、エッジ方向検出演算部２でのエッジ検出は、データ抽出部６から出力される補正前の抽出ベイヤーデータＢＡＹについて行うとしたが、この形態に限られない。補正演算部３から出力される補正後ベイヤーデータＢＡＹ’について行ってもよいことは言うまでもない。
【００５７】
また第２実施形態において、補正演算部３は画素加算演算部５の前段に配置され、抽出ベイヤーデータＢＡＹの信号強度を画素加算係数ＰＡＣに応じた値で除した上で、画素加算演算部５へ出力するとしたが、この形態に限られない。補正演算部３を画素加算演算部５の後段に配置し、画素加算演算部５から出力される出力ベイヤーデータＯＢＡＹを画素加算係数ＰＡＣに応じた値で除した上で次段回路へ出力する形態としてもよいことは言うまでもない。この場合においても、画素加算係数ＰＡＣに応じた係数が相殺されるため、結果として増感率が１となる増感処理を行うことが可能となる。
【００５８】
またエッジ方向検出部２２において、最大エッジ検出値ｅｄｇｅ＿ｍａｘと最小エッジ検出値ｅｄｇｅ＿ｍｉｎとの差分値Ｄｅｄｇｅが、しきい値ＴＨより小さいか否かにより、エッジ最小方向の検出の有無が判断されるとしたが、この形態に限られない。例えば、エッジ検出値ｅｄｇｅ１ないしｅｄｇｅ４の内の最小値と２番目に小さな値との差分値が、しきい値ＴＨより小さいか否かにより、エッジ最小方向の検出の有無を判断する形態でもよい。
【００５９】
また割り当て演算部４では、それぞれ、エッジ最小方向が異なる場合に対応した空間フィルタカーネル設定部６１ないし６４、及びエッジ最小方向が非検出である場合に対応した空間フィルタカーネル設定部６５を用意し、エッジ方向検出演算部２によって報知されるエッジ最小方向に対応する空間フィルタカーネルを選択するとしたが、この形態に限られない。空間フィルタカーネルへの係数の割り当てを、演算によりその都度行う形態としてもよい。これにより、より緻密に空間フィルタカーネルへの係数の割り当てを行うことが可能となるため、さらに高精度な空間フィルタ処理を行うことができる。
【００６０】
また第１実施形態では、画素加算係数ＰＡＣの値を２、３、４としたが、この形態に限られない。画素加算係数ＰＡＣ＝１に設定しても良いことは言うまでもない。この場合、係数の総和が１となる空間フィルタカーネルを用意すればよい。これにより、画像処理装置１（図１）においても、増感処理を行わずに、本発明に係るローパスフィルタ処理のみを行うことが可能となる。
【００６１】
また本実施形態では、エッジの最小方向により大きな重み付けをするように、係数を空間フィルタカーネルに割り当てるとしたが、この形態に限られない。例えば、エッジの最小方向と２番目に小さい方向に対して、より大きな重み付けを行う形態としてもよい。または、エッジ検出方向の４方向のそれぞれに対して、エッジ検出値の値に応じて重み付けをする形態としてもよいことは言うまでもない。これにより、より緻密に空間フィルタカーネルへの係数の割り当てを行うことが可能となる。
【００６２】
また本実施形態では、ベイヤー配列の画像データの処理について言及したが、この形態に限られず、他の配列方法による画像データについても同様に効果が得られることは言うまでもない。
【００６３】
なお、画素加算係数ＰＡＣは増感率Ｋの一例、画素加算演算部５は空間フィルタ処理部の一例、エッジ方向検出演算部２はエッジ検出回路の一例、割り当て演算部４は割り当て回路の一例、空間フィルタカーネル出力部４２は係数マトリクステーブル部の一例、補正演算部３は第１補正演算部のそれぞれ一例である。
【図面の簡単な説明】
【００６４】
【図１】第１実施形態に係る画像処理装置１を示す図である。
【図２】ベイヤーデータＩＢＡＹおよび抽出ベイヤーデータＢＡＹを示す図である。
【図３】エッジ方向検出演算部２の動作を示すフローチャートである。
【図４】エッジ検出を示す図である。
【図５】空間フィルタカーネル７１ａないし７３ａを示す図である。
【図６】空間フィルタカーネル８１ａないし８３ａを示す図である。
【図７】空間フィルタカーネル選択部４１の動作を示すフローチャートである。
【図８】第２実施形態に係る画像処理装置１ａを示す図である。
【図９】補正演算部３の動作を示すフローチャートである。
【符号の説明】
【００６５】
１  画像処理装置
２  エッジ方向検出演算部
３  補正演算部
４  割り当て演算部
５  画素加算演算部
２１  エッジ演算部
２２  方向検出部
４１  空間フィルタカーネル選択部
４２  空間フィルタカーネル出力部
６１ないし６５  空間フィルタカーネル設定部
ＢＡＹ  抽出ベイヤーデータ
ＢＡＹ’  補正後ベイヤーデータ
ＩＢＡＹ  ベイヤーデータ
ＯＢＡＹ  出力ベイヤーデータ
ＰＡＣ  画素加算係数
ＳＣＳ  増感補正設定信号
ＳＫ１ないしＳＫ５  空間フィルタカーネル
ＳＳＫ  選択空間フィルタカーネル
ＴＨ  しきい値
ｅｄｇｅ１ないしｅｄｇｅ４  エッジ検出値
ｎｏ＿ｅｄｇｅ  エッジ不検出信号
【図１】
2007312304.tif 000003
【図２】
2007312304.tif 000004
【図３】
2007312304.tif 000005
【図４】
2007312304.tif 000006
【図５】
2007312304.tif 000007
【図６】
2007312304.tif 000008
【図７】
2007312304.tif 000009
【図８】
2007312304.tif 000010
【図９】
2007312304.tif 000011