(57)【要約】【課題】モアレの少ない高精細な高域画像を生成する。【解決手段】RGBベイヤ画像信号から画像のエッジの方向を判定するエッジ方向判定部４１と、RGBベイヤ画像信号のRGB成分からYエッジ信号を生成するYエッジ信号生成部４２と、RGBベイヤ画像信号のG成分からGエッジ信号を生成するGエッジ信号生成部４３と、エッジ方向判定部４１の判定結果からYエッジ信号とGエッジ信号の混合率を算出するYG混合率算出部４４と、混合率に基づきYエッジ信号とGエッジ信号を混合しRGBカラー画像信号の高域画像信号を生成するYG混合部４５と、を備える。【選択図】図３
2009171196.tif 000002
【特許請求の範囲】
【請求項１】
欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理装置において、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定手段と、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成手段と、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成手段と、
前記エッジ方向判定手段の判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出手段と、
前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記エッジ方向判定手段は、斜め方向のエッジの指向性の強さを示す斜め方向エッジ判別指標を算出し、
前記エッジ混合率算出手段は、前記斜め方向エッジ判別指標が示すエッジの指向性が強いほど前記第１のエッジ信号の割合が大きくなるように前記混合率を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エッジ方向判定手段は、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標を算出し、
前記エッジ混合率算出手段は、前記水平垂直方向エッジ判別指標が示すエッジの指向性が強いほど前記第２のエッジ信号の割合が大きくなるように前記混合率を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記エッジ方向判定手段は、斜め方向のエッジの指向性の強さを示す斜め方向エッジ判別指標を算出するとともに、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標を算出し、
前記エッジ混合率算出手段は、前記斜め方向エッジ判別指標が示すエッジの指向性が強いほど前記第１のエッジ信号の割合が大きくなるように第１の混合率を算出し、前記水平垂直方向エッジ判別指標が示すエッジの指向性が強いほど前記第２のエッジ信号の割合が大きくなるように第２の混合率を算出し、前記第１の混合率と前記第２の混合率を合成して前記混合率を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記エッジ方向判定手段は、画像に含まれるノイズ量が多いほど前記斜め方向エッジ判別指標を小さく算出することを特徴とする請求項２または４に記載の画像処理装置。
【請求項６】
前記エッジ方向判定手段は、画像に含まれるノイズ量が多いほど前記水平垂直方向エッジ判別指標を小さく算出することを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
前記第１のエッジ信号生成手段は、前記エッジ方向判定手段の判定結果に基づき、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から前記第１のエッジ信号を生成する、
ことを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
【請求項８】
前記第２のエッジ信号生成手段は、前記エッジ方向判定手段の判定結果に基づき、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定色成分から前記第２のエッジ信号を生成する、
ことを特徴とする請求項１から７のいずれか１つに記載の画像処理装置。
【請求項９】
欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理方法において、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成ステップと、
前記エッジ方向判定ステップの判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出ステップと、
前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理プログラムにおいて、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成ステップと、
前記エッジ方向判定ステップの判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出ステップと、
前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合ステップと、
を含むことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、デジタルカメラ、動画カメラなど、デジタル変換された画像を表示、入出力する装置や処理に適応可能な画像処理に関する。特に、単板式カラー撮像素子で撮像された画像から画素ごとにすべての色情報を持つカラー画像を生成する補間処理及びカラー画像の輪郭（エッジ）を補正する輪郭補正処理に関する。
【背景技術】
【０００２】
高域画像を生成する際に、高周波成分の折りかえり（いわゆるモアレ）が高域画像に混入し画像を劣化させる問題がある。
【０００３】
この問題を解決するために、特許文献１に記載の画像処理装置では、ベイヤ画像のG成分から第１高域輝度画像、全色成分から第２高域輝度画像を生成し、ベイヤ画像を色補間した後に生成した低域画像から算出した彩度を用いて両高域輝度画像を混合することで、モアレの混入を抑えた高域画像を生成する技術を提案している。
【０００４】
具体的には、彩度が高い場合は第２高域輝度画像にモアレが混入している可能性が高いので第１高域輝度画像を多い割合で混合し、彩度が低い場合はモアレの混入している可能性が低い第２高域輝度画像を多い割合で混合するようにしている。
【特許文献１】特許第3699873号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来の処理では、高彩度の領域の境界線が低彩度であった場合に、モアレが混入した第２高域輝度画像が多い割合で混合されてしまうため、結果として高域画像にモアレが混入してしまうという問題があった。
【０００６】
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、モアレの少ない高精細な高域画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理装置において、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定手段と、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成手段と、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成手段と、前記エッジ方向判定手段の判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出手段と、前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合手段と、を備える。
【発明の効果】
【０００８】
欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から得られる第１のエッジ信号に含まれるモアレ、同じく欠落する色成分を有する画素を含んで構成されたカラー画像信号の特定の色成分から得られる第２のエッジ信号に含まれるモアレは、それぞれエッジの方向の影響を受ける。本発明では、このことに着目し、エッジの方向に基づき第１のエッジ信号と第２のエッジ信号の混合率を算出し、この混合率に基づき両信号を合成するようにしたことにより、モアレの少ない高精細な高域画像信号を生成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１０】
第１の実施形態
図１はベイヤ画像信号から低域画像信号及び高域画像信号を生成し、それぞれ所定の画像処理を行った後に合成してカラー画像信号を生成する画像処理装置のブロック図である。なお、以降の説明では図２（Ａ）に示すRGBベイヤ配列のフィルタを固体撮像素子の前に配置した場合を例にとって説明するが、同図（Ｂ）のように異なる色や配列のフィルタを用いることも可能である。
【００１１】
図示しないレンズ、固体撮像素子を介して撮像され、電気信号に変換されたベイヤ画像信号は、CDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われ、図示しないA/D変換部でデジタル信号に変換される。ベイヤ画像信号は欠落する色成分を有する画素を含んで構成されたカラー画像信号である。そして、ベイヤ画像信号は、OB処理部１でオプティカルブラック処理され、WB処理部２でホワイトバランス処理される。
【００１２】
その後ベイヤ画像信号は低域画像信号生成部３及び高域画像信号生成部４に入力される。低域画像信号生成部３では、低域成分の抽出並びに欠落する色成分の補間が行われ、欠落する色成分が補間されたカラー画像信号の低域成分（低域画像信号）が出力される。また、高域画像信号生成部４では、高域成分の抽出並びに欠落する色成分の補間が行われ、欠落する色成分が補間されたカラー画像信号の高域成分（高域画像信号）が出力される。低域画像信号に対しては、γ補正・色処理部５でγ補正処理や色補正処理等の処理が行われ、また、高域画像信号に対しては、コアリング・エッジ強調部６でコアリングやエッジ強調処理等の処理が行われる。
【００１３】
そして、各種処理がされた低域画像信号と高域画像信号は合成部７で合成され、合成部７からはカラー画像信号が出力される。カラー画像信号は、その他画像処理をした後、図示しない表示部に伝送されるとともに、図示しない圧縮回路を介して図示しない記録メディアに伝送される。
【００１４】
上記の処理は、各処理部１〜７に接続するコントローラ８の制御に従って、各処理部１〜７が動作することにより行われる。
【００１５】
図３は図１の高域画像信号生成部４の詳細を示したものである。これを参照しながら高域画像信号生成部４の処理について説明する。
【００１６】
高域画像信号生成部４に入力されるベイヤ画像信号は、エッジ方向判定部４１、Yエッジ信号生成部４２及びGエッジ信号生成部４３に入力される。
【００１７】
エッジ方向判定部４１では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dh, Dv, Dz, Dn、斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dt、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標Dhvを算出する。算出された斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvはYG混合率算出部４４に入力される。
【００１８】
YG混合率算出部４４では、斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvからYG混合率D"mixを算出する。YG混合率D"mixはYG混合部４５に入力される。
【００１９】
Yエッジ信号生成部４２では、ベイヤ画像信号のRGB成分からYエッジ信号Eyを生成しYG混合部４５へ入力する。
【００２０】
Gエッジ信号生成部４３では、ベイヤ画像信号のG成分からGエッジ信号Egを生成しYG混合部４５へ入力する。
【００２１】
YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき混合し、高域画像信号Eygを出力する。
【００２２】
次に各処理部の処理について詳細に説明する。
【００２３】
エッジ方向判定部４１では、水平、垂直、斜め45度、斜め135度のエッジ方向指標Dh, Dv, Dz, Dnをベイヤ画像信号から算出する。ここでは、簡略化のため、ベイヤ画像が図４に示す４画素×４画素(p11〜p44)であるとして説明する。
【００２４】
まず、輝度値(Y1〜Y9)をベイヤ画像信号の２×２画素から次式(1)により算出する。
【００２５】
Y1 = p11 + p21 + p12 + p22
Y2 = p21 + p31 + p22 + p32
Y3 = p31 + p41 + p32 + p42
Y4 = p12 + p22 + p13 + p23
Y5 = p22 + p32 + p23 + p33
Y6 = p32 + p42 + p33 + p43
Y7 = p13 + p23 + p14 + p24
Y8 = p23 + p33 + p24 + p34
Y9 = p33 + p43 + p34 + p44
・・・(1)
次に、エッジ方向指標Dh, Dv, Dz, Dnを次式(2)により算出する。
【００２６】
Dh = |Y4 − Y5| + |Y6 − Y5|
Dv = |Y2 − Y5| + |Y8 − Y5|
Dz = |Y3 − Y5| + |Y7 − Y5|
Dn = |Y1 − Y5| + |Y9 − Y5|
・・・(2)
エッジ方向指標の値が小さい方向がエッジの方向であることを示している。
【００２７】
なお、エッジ方向指標Dh, Dv, Dz, Dnは、この例ではベイヤRGB全色に基づき算出しているが、ベイヤGのみから算出しても良い。また、算出方法もこの例の方法に限らず、色差に基づき算出する等、他の算出方法を用いても良い。また、水平、垂直のエッジ方向指標Dh, Dvを色差に基づき算出し、斜め45度、斜め135度のエッジ方向指標Dz, DnをベイヤRGB全色に基づき算出する等、異なる算出方法を組み合わせても構わない。
【００２８】
さらに、エッジ方向判定部４１では、斜め方向のエッジ方向指標Dz, Dnを用いて斜め方向エッジ判別指標Dtを次式(3)により算出する。
【００２９】
Dt = (Dz − Dn) / (Dz + Dn)
・・・(3)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。
【００３０】
また、エッジ方向指標Dh, Dvを用いて水平垂直方向エッジ判別指標Dhvを次式(4)により算出する。
【００３１】
Dhv = (Dh − Dv) / (Dh + Dv)
・・・(4)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。
【００３２】
YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egとの第１の混合率Dmixを次式(5)により算出する。関数Func1()は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。
【００３３】
Dmix = Func1(Dt)
0≦Dmix≦1
・・・(5)
関数Func1()は図５に示すものに限らず、第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。
【００３４】
また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egの第２の混合率D'mixを次式(6)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。
【００３５】
D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(6)
関数Func2()は図６に示すものに限らず、第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。
【００３６】
そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(7)により算出する。
【００３７】
D"mix = (Dmix + D'mix) / 2
・・・(7)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。
【００３８】
Yエッジ信号生成部４２では、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。輝度Y画素をY１からY9をすると、Yエッジ信号生成部４２はY1からY9を次式(8)により算出する。
【００３９】
Y1 = (p11 + p21 + p12 + p22) / 4
Y2 = (p21 + p31 + p22 + p32) / 4
Y3 = (p31 + p41 + p32 + p42) / 4
Y4 = (p12 + p22 + p13 + p23) / 4
Y5 = (p22 + p32 + p23 + p33) / 4
Y6 = (p32 + p42 + p33 + p43) / 4
Y7 = (p13 + p23 + p14 + p24) / 4
Y8 = (p23 + p33 + p24 + p34) / 4
Y9 = (p33 + p43 + p34 + p44) / 4
・・・(8)
そして輝度Y画像信号に対して任意に設計したＨＰＦを処理することでYエッジ信号Eyを生成する。
【００４０】
同様に、Gエッジ信号生成部４３では、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。輝度G画素をG１からG９をすると、Gエッジ信号生成部４３は、p11がG画素であれば、G1からG9を次式(9)により算出する。
【００４１】
G1 = (p11 + p22) / 2
G2 = (p31 + p22) / 2
G3 = (p31 + p42) / 2
G4 = (p22 + p13) / 2
G5 = (p22 + p33) / 2
G6 = (p42 + p33) / 2
G7 = (p13 + p24) / 2
G8 = (p33 + p24) / 2
G9 = (p33 + p44) / 2
・・・(9)
そして輝度G画像信号に対して任意に設計したＨＰＦを処理することでGエッジ信号Egを生成する。
【００４２】
なお、この例ではベイヤ画像信号から輝度Y画像信号、輝度G画像信号を生成し、ＨＰＦ処理をすることでYエッジ信号Ey、Gエッジ信号Egを生成しているが、同様の効果が得られるＨＰＦを直接ベイヤ画像信号に対して処理することで、Yエッジ信号Ey、Gエッジ信号Egを生成しても良い。また、HPF処理は特定の周波数帯域を抽出するBPF処理であっても良い。
【００４３】
YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(10)により混合し、高域画像信号Eygを算出する。
【００４４】
Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(10)
続いて上記画像処理を行うことによる作用効果について説明する。
【００４５】
上記画像処理では、エッジの方向に基づきYエッジ信号EyとGエッジ信号EgのYG混合率D"mix(第1の混合率Dmix、第２の混合率Dmix')を算出し、このYG混合率D"mixに基づきYエッジ信号EyとGエッジ信号Egを合成するようにした。
【００４６】
具体的には、斜め方向のYエッジの指向性が強く、斜め方向エッジ判別指標Dtが示すエッジの指向性が強いときは、Yエッジ信号Eyに含まれるモアレが少ないので、Yエッジ信号Eyの割合が大きくなるようにYG混合率D"mix(第１の混合率Dmix)を算出するようにした。また、水平及び垂直のいずれかにYエッジ信号Eyの指向性が強く、水平垂直方向エッジ判別指標Dhvが示すエッジの指向性が強いときは、Gエッジ信号Egに含まれるモアレが少ないので、Gエッジ信号Egの割合が大きくなるようにYG混合率D"mix(第２の混合率Dmix')を算出するようにした。
【００４７】
RGBベイヤ画像信号のRGB成分から得られるYエッジ信号に含まれるモアレ、RGBベイヤ画像信号のG成分から得られるGエッジ信号に含まれるモアレは、それぞれエッジの方向の影響を受けるので、上記画像処理によれば、モアレの少ない高精細な高域成分を生成することができる。
【００４８】
また、上記画像処理はハードウェアによる処理を前提としているが、このような構成に限定される必要はなく、ソフトウェアにて処理する構成も可能である。
【００４９】
図８は、上記画像処理をソフトウェアにより実現する場合の画像処理プログラムのフローチャートを示す。以下、各ステップの処理内容について説明する。
【００５０】
ステップＳ１では、ベイヤ画像信号を入力する。
【００５１】
ステップＳ２では、ベイヤ画像信号から水平・垂直・右上がり・右下がりのエッジ方向指標Dh, Dv, Dz, Dnを算出する。
【００５２】
ステップＳ３では、右上がり・右下がりのエッジ方向指標Dz, Dnから斜め方向エッジ判別指標Dtを算出する。
【００５３】
ステップＳ４では、水平・垂直のエッジ方向指標Dh, Dvから水平垂直方向エッジ判別指標Dhvを算出する。
【００５４】
ステップＳ５では、ベイヤ画像信号のRGB成分からYエッジ信号Eyを生成する。
【００５５】
ステップＳ６では、ベイヤ画像信号のG成分からGエッジ信号Egを生成する。
【００５６】
ステップＳ７では、斜め方向エッジ判別指標Dtから第１の混合率Dmixを算出する。
【００５７】
ステップＳ８では、水平垂直方向エッジ判別指標Dhvから第２の混合率D'mixを算出する。
【００５８】
ステップＳ９では、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを算出する。
【００５９】
ステップＳ１０では、YG混合率D"mixに基づきYエッジ信号EyとGエッジEg信号を混合して高域画像信号Eygを生成する。
【００６０】
ステップＳ１１では、高域画像信号Eygを出力する。
【００６１】
このようにソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【００６２】
第２の実施形態
第２の実施形態は、エッジ方向判定部４１において、画像のノイズ量Ntを考慮して斜め方向エッジ判別指標Dtを算出し、画像のノイズ量Nhvを考慮して水平垂直方向エッジ判別指標Dhvを算出する点が第１の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明する。
【００６３】
図９は第２の実施形態における高域画像信号生成部４のブロック図である。
【００６４】
エッジ方向判定部４１では、エッジ方向指標Dz, Dn、画像のノイズ量Ntに基づき斜め方向エッジ判別指標Dtを次式(11)により算出する。画像のノイズ量Ntは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される。
【００６５】
Dt = (Dz − Dn) / (Dz + Dn + Nt)
・・・(11)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。
【００６６】
また、エッジ方向判定部４１では、エッジ方向指標Dh, Dv、画像のノイズ量Nhvに基づき、水平垂直方向エッジ判別指標Dhvを次式(12)により算出する。画像のノイズ量Nhvは画像のノイズ量Ntと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【００６７】
Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(12)
第２の判定指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。
【００６８】
その他の処理については第１の実施形態と同様である。
【００６９】
この第２の実施形態によれば、第１の実施形態の作用効果に加え、画像に含まれるノイズによって斜め方向エッジ判別指標Dt、水平垂直方向エッジ判別指標Dhvの精度が落ちるのを防止することができ、画像のノイズ量が多い場合でも高精細な画像を得ることができるという作用効果がある。
【００７０】
なお、この第２の実施形態も第１の実施形態同様にソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【００７１】
第３の実施形態
第３の実施形態は、第２の実施形態と以下の点：
・Yエッジ信号生成部４２において、エッジ方向判定部４１からのエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づいてYエッジ信号を生成する点
・Gエッジ信号生成部４３において、エッジ方向判定部４１からのエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づいてGエッジ信号を生成する点
において相違する。以下、第２の実施形態との相違点を中心に説明する。
【００７２】
図１０は第３の実施形態における高域画像信号生成部４のブロック図である。
【００７３】
これについて説明すると、ベイヤ画像信号はエッジ方向判定部４１、Yエッジ信号生成部４２、Gエッジ信号生成部４３に入力される。
【００７４】
エッジ方向判定部４１では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dh, Dv, Dz, Dn、斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dt、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標Dhvを算出する。水平垂直方向エッジ判別指標Dhv及び斜め方向エッジ判別指標DtはYG混合率算出部４４に入力される。またエッジ方向指標Dh, Dv, Dz, DnはYエッジ信号生成部４２及びGエッジ信号生成部４３に入力される。
【００７５】
YG混合率算出部４４では、斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvからYG混合率D"mixを算出する。YG混合率D"mixはYG混合部４５に入力される。
【００７６】
Yエッジ信号生成部４２はベイヤ画像信号のRGB成分からYエッジ抽出部４２１においてYエッジ信号Eyh, Eyv, Eyz, Eynを生成する。そして、Yエッジ混合部４２２においてエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づきYエッジ信号Eyh, Eyv, Eyz, Eynを混合してYエッジ信号Eyを生成し、YG混合部４５へ入力する。画像のノイズ量Ndは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される値である。
【００７７】
Gエッジ信号生成部４３はベイヤ画像信号のG成分からGエッジ抽出部４３１においてGエッジ信号Egh, Egv, Egz, Egnを生成する。そして、Gエッジ混合部４３２においてエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づきGエッジ信号Egh, Egv, Egz, Egnを合成してGエッジ信号Egを生成し、YG混合部４５へ入力する。
【００７８】
YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき混合し、高域画像信号Eygを出力する。
【００７９】
次に各処理部の処理について詳細に説明する。
【００８０】
エッジ方向判定部４１では、水平、垂直、斜め45度、斜め135度のエッジ方向指標Dh, Dv, Dz, Dnをベイヤ画像信号から算出する。ここでは、簡略化のため、ベイヤ画像信号が図４に示す４画素×４画素(p11〜p44)であるとして説明する。
【００８１】
まず、輝度値(Y1〜Y9)をベイヤ画像信号の２×２画素から次式(13)により算出する。
【００８２】
Y1 = p11 + p21 + p12 + p22
Y2 = p21 + p31 + p22 + p32
Y3 = p31 + p41 + p32 + p42
Y4 = p12 + p22 + p13 + p23
Y5 = p22 + p32 + p23 + p33
Y6 = p32 + p42 + p33 + p43
Y7 = p13 + p23 + p14 + p24
Y8 = p23 + p33 + p24 + p34
Y9 = p33 + p43 + p34 + p44
・・・(13)
次に、エッジ方向指標Dh, Dv, Dz, Dnを次式(14)により算出する。
【００８３】
Dh = |Y4 − Y5| + |Y6 − Y5|
Dv = |Y2 − Y5| + |Y8 − Y5|
Dz = |Y3 − Y5| + |Y7 − Y5|
Dn = |Y1 − Y5| + |Y9 − Y5|
・・・(14)
エッジ方向指標の値が小さい方向がエッジの方向であることを示している。
【００８４】
なお、エッジ方向指標は、この例ではベイヤRGB全色に基づき算出しているがベイヤGのみから算出しても良い。また、算出方法もこの例の方法に限らず、色差に基づき算出する等、他の算出方法を用いても良い。また、水平、垂直のエッジ方向指標を色差に基づき算出し、斜め45度、斜め135度のエッジ方向指標をベイヤRGB全色に基づき算出する等、異なる算出方法を組み合わせても構わない。
【００８５】
さらに、エッジ方向判定部４１では、斜め方向のエッジ方向指標Dz, Dn、画像のノイズ量Ntを用いて斜め方向エッジ判別指標Dtを次式(15)により算出する。画像のノイズ量Ntは画像のノイズ量Ndと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【００８６】
Dt = (Dz − Dn) / (Dz + Dn + Nt)
・・・(15)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。
【００８７】
また、エッジ方向指標Dh, Dv、画像のノイズ量Nhvを用いて水平垂直方向エッジ判別指標Dhv次式(16)により算出する。画像のノイズ量Nhvは画像のノイズ量Ndと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【００８８】
Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(16)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。
【００８９】
YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egの第１の混合率Dmixを次式(17)により算出する。関数Func1(1)は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。
【００９０】
Dmix = Func1(Dt)
0≦Dmix≦1
・・・(17)
関数Func1()は図５に示すものに限らず第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。
【００９１】
また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egの第２の混合率D'mixを次式(18)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。
【００９２】
D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(18)
関数Func2()は図６に示すものに限らず第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。
【００９３】
そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(19)により算出する。
【００９４】
D"mix = (Dmix + D'mix) / 2
・・・(19)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。
【００９５】
Yエッジ信号生成部４２では、まず、Yエッジ抽出部４２１において、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。そして輝度Y画像信号に対して任意に設計した水平、垂直、斜め45度、斜め135度のエッジを抽出する４つのＨＰＦを処理することで、水平Yエッジ信号Eyh、垂直Yエッジ信号Eyv、斜め45度Yエッジ信号Eyz、斜め135度Yエッジ信号Eynを生成する。
【００９６】
そして、Yエッジ混合部４２２において、エッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndを用いて次式(20)によりYエッジ信号Eyh, Eyv, Eyz, Eynを混合し、Yエッジ信号Eyを生成する。
【００９７】
Ey = [(Dh + Nd) / (Dd + 4Nd)]×Eyh + [(Dv + Nd) / (Dd + 4Nd)]×Eyv
+[(Dz + Nd) / (Dd + 4Nd)]×Eyz + [(Dn + Nd) / (Dd + 4Nd)]×Eyn
Dd = Dh + Dv + Dz + Dn
・・・(20)
式(20)によれば、画像のノイズ量Ndが多くエッジの方向判別が困難な場合は、Eyh、Eyv、Eyz、Eynを同等の比率で混合することになる。
【００９８】
同様に、Gエッジ信号生成部４３では、まず、Gエッジ抽出部４３１において、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。そして輝度G画像信号に対して任意に設計した水平、垂直、斜め45度、斜め135度のエッジを抽出する４つのＨＰＦを処理することで水平Gエッジ信号Egh、垂直Gエッジ信号Egv、斜め45度Gエッジ信号Egz、斜め135度Gエッジ信号Egnを生成する。
【００９９】
そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndを用いて次式(21)によりGエッジ信号Egh, Egv, Egz, Egnを混合し、Gエッジ信号Egを生成する。
【０１００】
Eg = [(Dh + Nd) / (Dd + 4Nd)]×Egh + [(Dv + Nd) / (Dd + 4Nd)]×Egv
+[(Dz + Nd) / (Dd + 4Nd)]×Egz + [(Dn + Nd) / (Dd + 4Nd)]×Egn
Dd = Dh + Dv + Dz + Dn
・・・(21)
式(21)によれば、画像のノイズ量Ndが多くエッジの方向判別が困難な場合は、Gエッジ信号Egh、Egv、Egz、Egnを同等の比率で混合することになる。
なお、この例ではベイヤ画像信号から輝度Y画像、輝度G画像を生成し、任意の方向のエッジを抽出するＨＰＦ処理をすることで任意の方向のYエッジ信号Ey、Gエッジ信号Egを生成しているが、同様の効果が得られるＨＰＦを直接ベイヤ画像信号に対して処理することで、任意の方向のYエッジ信号Ey、Gエッジ信号Egを生成するようにしても良い。また、HPF処理は特定の周波数帯域を抽出するBPF処理であっても良い。
【０１０１】
YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(22)により混合し、高域画像信号Eygを算出する。
【０１０２】
Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(22)
この第３の実施形態によれば、第１、第２の実施形態の作用効果に加え、Gエッジ信号及びYエッジ信号がエッジの方向に基づいて生成されるため、より滑らかなエッジを生成することができる。
【０１０３】
なお、この第３の実施形態においても、他の実施形態と同様にソフトウェアにて処理する構成も可能である。
【０１０４】
図１１に第３の実施形態を実現する画像処理プログラムのフローチャートを示す。
【０１０５】
ステップＳ２１では、ベイヤ画像信号を入力する。
【０１０６】
ステップＳ２２では、ベイヤ画像信号から水平・垂直・右上がり・右下がりのエッジ方向指標Dh, Dv, Dz, Dnを算出する。
【０１０７】
ステップＳ２３では、右上がり・右下がりのエッジ方向指標Dz, Dn及びノイズ量Ntから斜め方向エッジ判別指標Dtを算出する。
【０１０８】
ステップＳ２４では、水平・垂直のエッジ方向指標Dh, Dv及びノイズ量Nhvから水平垂直方向エッジ判別指標Dhvを算出する。
【０１０９】
ステップＳ２５では、ベイヤ画像信号のRGB成分から各方向のYエッジ信号Eyh, Eyv, Eyz, Eynを生成する。
【０１１０】
ステップＳ２６では、エッジ方向指標Dh, Dv, Dz, Dn及びノイズ量Ndに基づき各方向のYエッジ信号Eyh, Eyv, Eyz, Eynを合成してYエッジ信号Eyを生成する。
【０１１１】
ステップＳ２７では、ベイヤ画像信号のG成分から各方向のGエッジ信号Egh, Egv, Egz, Egnを生成する
ステップＳ２８では、エッジ方向指標Dh, Dv, Dz, Dn及びノイズ量Ndに基づき各方向のGエッジ信号Egh, Egv, Egz, Egnを合成してGエッジ信号Egを生成する。
【０１１２】
ステップＳ２９では、斜め方向エッジ判別指標Dtから第１の混合率Dmixを算出する。
【０１１３】
ステップＳ３０では、水平垂直方向エッジ判別指標Dhvから第２の混合率D'mixを算出する。
【０１１４】
ステップＳ３１では、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを算出する。
【０１１５】
ステップＳ３２では、YG混合率D"mixに基づきYエッジ信号EyとGエッジ信号Egを混合して高域画像信号Eygを生成する。
【０１１６】
ステップＳ３３では、高域画像信号Eygを出力する。
【０１１７】
このようにソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１１８】
第４の実施形態
第４の実施形態は、第３の実施形態と以下の点：
・エッジ方向判定部がGエッジ信号生成に最適な第１エッジ方向判定部４１１とYエッジ信号生成に最適な第２エッジ方向判定部４１２で構成される点
において相違する。以下、第３の実施形態との相違点の中心に説明する。
【０１１９】
図１２は第４の実施形態における高域画像信号生成部４のブロック図である。
【０１２０】
これについて説明すると、ベイヤ画像信号は第１エッジ方向判定部４１１、第２エッジ方向判定部４１２、Yエッジ信号生成部４２、Gエッジ信号生成部４３に入力される。
【０１２１】
第１エッジ方向判定部４１１では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dh, Dv、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標Dhvを算出する。エッジ方向指標Dh, DvはGエッジ信号生成部４３に入力され、水平垂直方向エッジ判別指標DhvはYG混合率算出部４４に入力される。
【０１２２】
第２エッジ方向判定部４１２では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dz, Dn、斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dtを算出する。エッジ方向指標Dz, DnはYエッジ信号生成部４２に入力され、斜め方向エッジ判別指標DtはYG混合率算出部４４に入力される。
【０１２３】
YG混合率算出部４４では、斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvからYG混合率D"mixを算出する。YG混合率D"mixはYG混合部４５に入力される。
【０１２４】
Yエッジ信号生成部４２では、Yエッジ抽出部４２１においてベイヤ画像信号のRGB成分からYエッジ信号Eyz, Eynを生成する。そして、Yエッジ混合部４２２においてエッジ方向指標Dz, Dnに基づきYエッジ信号Eyz, Eynを合成してYエッジ信号Eyを生成し、YG混合部４５へ入力する。
【０１２５】
Gエッジ信号生成部４３では、Gエッジ抽出部４３１においてベイヤ画像信号のG成分からGエッジ信号Egh, Egvを生成する。そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dvに基づきGエッジ信号Egh, Egvを合成してGエッジ信号Egを生成しYG混合部４５へ入力する。
【０１２６】
YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき混合し、高域画像信号Eygを出力する。
【０１２７】
次に各処理部の処理について詳細に説明する。
【０１２８】
第１エッジ方向判定部４１１では、エッジ方向指標Dh, Dvを、水平垂直をより高精度に判別できる算出方法（例えば、色差を用いた方法）により算出する。また、エッジ方向指標Dh, Dv、画像のノイズ量Nhvから水平垂直方向エッジ判別指標Dhvを次式(23)により算出する。画像のノイズ量Nhvは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される値である。
【０１２９】
Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(23)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。
【０１３０】
第２エッジ方向判定部４１２では、エッジ方向指標Dz, Dnを、斜め45度135度をより高精度に判別する算出方法（例えば、輝度Yを用いた方法）により算出する。また、斜め方向のエッジ方向指標Dz, Dn、画像のノイズ量Ntを用いて斜め方向エッジ判別指標Dtを次式(24)により算出する。画像のノイズ量Ntは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【０１３１】
Dt = (Dz − Dn) / (Dz + Dn + Nt) 
・・・(24)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。
【０１３２】
YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egの第１の混合率Dmixを次式(25)により算出する。関数Func1()は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。
【０１３３】
Dmix = Func1(Dt)
0≦Dmix≦1
・・・(25)
関数Func1()は図５に示すものに限らず第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。
【０１３４】
また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egの第２の混合率D'mixを次式(26)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。
【０１３５】
D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(26)
関数Func2()は図６に示すものに限らず第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。
【０１３６】
そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(27)により算出する。
【０１３７】
D"mix = (Dmix + D'mix) / 2
・・・(27)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。
【０１３８】
Yエッジ信号生成部４２では、まず、Yエッジ抽出部４２１において、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。そして輝度Y画像信号に対して任意に設計した斜め45度、斜め135度のエッジを抽出する２つのＨＰＦを処理することで斜め45度Yエッジ信号Eyz、斜め135度Yエッジ信号Eynを生成する。
【０１３９】
そして、Yエッジ混合部４２２において、エッジ方向指標Dz, Dn、ノイズ量N'dを用いて次式(28)によりYエッジ信号Eyz, Eynを混合し、Yエッジ信号Eyを生成する。画像のノイズ量N'dは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【０１４０】
Ey = [(Dz + N'd) / (Dd + 2N'd)]×Eyz + [(Dn + N'd) / (Dd + 2N'd)]×Eyn
Dd = Dz + Dn
・・・(28)
式(28)によれば、画像のノイズ量N'dが多くエッジの方向判別が困難な場合は、Eyz、Eynを同等の比率で混合することになる。
【０１４１】
同様に、Gエッジ信号生成部４３では、まず、Gエッジ抽出部４３１において、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。そして輝度G画像信号に対して任意に設計した水平、垂直のエッジを抽出する２つのＨＰＦを処理することで水平Gエッジ信号Egh、垂直Gエッジ信号Egvを生成する。
【０１４２】
そして、Gエッジ混合部４３２では、エッジ方向指標Dh, Dv、ノイズ量Ndを用いて次式(29)によりGエッジ信号Egh, Egvを混合し、Gエッジ信号Egを生成する。画像のノイズ量Ndは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【０１４３】
Eg = [(Dh + Nd) / (Dd + 2Nd)]×Egh + [(Dv + Nd) / (Dd + 2Nd)]×Egv
Dd = Dh + Dv
・・・(29)
式(29)によれば、画像のノイズ量Ndが多くエッジの方向判別が困難な場合は、Gエッジ信号Egh、Egvを同等の比率で混合することになる。
【０１４４】
YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(30)により混合し、高域画像信号Eygを算出する。
【０１４５】
Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(30)
この第４の実施形態によれば、第３の実施形態と同様に、Yエッジ信号及びGエッジ信号がエッジの方向に基づいて生成されるため、より滑らかなエッジを生成することができる。
【０１４６】
なお、この第４の実施形態も他の実施形態同様にソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１４７】
第５の実施形態
第５の実施形態は、第４の実施形態と以下の点：
・斜め方向エッジ判別指標Dtが、エッジ方向判定部４１で算出されるエッジ方向指標Dz, Dnではなく後述するYエッジ抽出部４２１で生成されたYエッジ信号Eyz, Eynに基づき算出される点
において相違する。以下、第４の実施形態との相違点を中心に説明する。
【０１４８】
図１３は第５の実施形態における高域画像信号生成部４のブロック図である。
【０１４９】
これについて説明すると、ベイヤ画像信号は第１エッジ方向判定部４１１、第２エッジ方向判定部４１２、Yエッジ信号生成部４２、Gエッジ信号生成部４３に入力される。
【０１５０】
第１エッジ方向判定部４１１では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dh, Dv、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標Dhvを算出する。エッジ方向指標Dh, DvはGエッジ信号生成部４３に入力され、水平垂直方向エッジ判別指標DhvはYG混合率算出部４４に入力される。
【０１５１】
第２エッジ方向判定部４１２では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dz, Dnを算出する。エッジ方向指標Dz, DnはYエッジ信号生成部４２に入力される。
【０１５２】
Yエッジ信号生成部４２では、Yエッジ抽出部４２１において、ベイヤ画像信号のRGB成分からYエッジ信号Eyz, Eynを生成する。そして、Yエッジ混合部４２２において、エッジ方向指標Dz, Dnに基づきYエッジ信号Eyz, Eynを合成してYエッジ信号Eyを生成し、YG混合部４５へ入力する。さらに、Yエッジ抽出部４２１において、Yエッジ信号Eyz, Eynに基づき斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dtを算出し、YG混合率算出部４４へ入力する。
【０１５３】
Gエッジ信号生成部４３では、Gエッジ抽出部４３１において、ベイヤ画像信号のG成分からGエッジ信号Egh, Egvを生成する。そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dvに基づきGエッジ信号Egh, Egvを合成してGエッジ信号Egを生成し、YG混合部４５へ入力する。
【０１５４】
YG混合率算出部４４では、斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvからYG混合率D"mixを算出する。YG混合率D"mixはYG混合部４５へ入力する。
【０１５５】
YG混合部４５では、Yエッジ信号Ey及びGエッジ信号EgをYG混合率D"mixに基づき混合し、高域画像信号Eygを出力する。
【０１５６】
次に各処理部の処理について詳細に説明する。
【０１５７】
第１エッジ方向判定部４１１では、エッジ方向指標Dh, Dvを、水平垂直をより高精度に判別できる算出方法（例えば、色差を用いた方法）により算出する。
【０１５８】
また、エッジ方向指標Dh, Dv、画像のノイズ量Nhvから水平垂直方向エッジ判別指標Dhvを次式(31)により算出する。画像のノイズ量Nhvは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される値である。
【０１５９】
Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(31)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。
【０１６０】
第２エッジ方向判定部４１２では、エッジ方向指標Dz, Dnを、斜め45度135度をより高精度に判別する算出方法（例えば、輝度Yを用いた方法）により算出する。
【０１６１】
Yエッジ信号生成部４２では、Yエッジ抽出部４２１において、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。そして輝度Y画像信号に対して任意に設計した斜め45度、斜め135度のエッジを抽出する２つのＨＰＦを処理することで斜め45度Yエッジ信号Eyz、斜め135度Yエッジ信号Eynを生成する。
【０１６２】
そして、Yエッジ混合部４２２では、エッジ方向指標Dz, Dn、画像のノイズ量N'dを用いて次式(32)によりYエッジ信号Eyz, Eynを混合し、Yエッジ信号Eyを生成する。画像のノイズ量N'dは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【０１６３】
Ey =[(Dz + N'd) / (Dd + 2N'd)]×Eyz + [(Dn + N'd) / (Dd + 2N'd)]×Eyn
Dd = Dz + Dn
・・・(32)
式(32)によれば、画像のノイズ量N'dが多くエッジの方向判別が困難な場合は、Yエッジ信号Eyz、Eynを同等の比率で混合することになる。
【０１６４】
さらに、Yエッジ抽出部４２１において、Yエッジ信号Eyz, Eyn、画像のノイズ量Ntを用いて次式(33)により斜め方向エッジ判別指標Dtを算出する。画像のノイズ量Ntは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【０１６５】
Dt = (Eyz − Eyn) / (Eyz + Eyn + Nt)
・・・(33)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。
【０１６６】
同様に、Gエッジ信号生成部４３では、Gエッジ抽出部４３１において、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。そして輝度G画像信号に対して任意に設計した水平、垂直のエッジを抽出する２つのＨＰＦを処理することで水平Gエッジ信号Egh、垂直Gエッジ信号Egvを生成する。
【０１６７】
そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dv、画像のノイズ量Ndを用いて次式(34)によりこれらを混合し、Gエッジ信号Egを生成する。画像のノイズ量Ndは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。
【０１６８】
Eg = [(Dh + Nd) / (Dd + 2Nd)]×Egh + [(Dv + Nd) / (Dd + 2Nd)]×Egv
Dd = Dh + Dv
・・・(34)
式(34)によれば、画像のノイズ量Ndを用いてノイズが多くてエッジの方向判別が困難な場合はGエッジ信号Egh、Egvを同等の比率で混合するようにする。
【０１６９】
YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egの第１の混合率Dmixを次式(35)により算出する。関数Func1()は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。
【０１７０】
Dmix = Func1(Dt)
0≦Dmix≦1
・・・(35)
関数Func1()は図５に示すものに限らず第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。
【０１７１】
また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egとの第２の混合率D'mixを次式(36)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。
【０１７２】
D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(36)
関数Func2()は図６に示すものに限らず第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。
【０１７３】
そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(37)により算出する。
【０１７４】
D"mix = (Dmix + D'mix) / 2
・・・(37)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。
【０１７５】
YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(38)により混合し、高域画像信号Eygを算出する。
【０１７６】
Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(38)
この第５の実施形態によれば、第４の実施形態と同様に、Yエッジ信号及びGエッジ信号がエッジの方向に基づいて生成されるため、より滑らかなエッジを生成することができる。
【０１７７】
なお、この第５の実施形態も他の実施形態同様にソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１７８】
以上、本発明の実施形態について説明したが、上記実施形態に係る画像処理装置は放送用据え置き型カメラ、ENGカメラ、民生用ハンディカメラ、デジタルカメラ等、様々な製品に搭載可能である。また、上記画像処理プログラムは、動画を扱う画像信号補正プログラム（CGプログラム）、画像編集装置などにも利用可能である。
【０１７９】
また、上記第１から第５の実施形態では、斜め方向エッジ判別指標Dt、水平垂直方向エッジ判別指標Dhvの両方を用いてYエッジ信号EyとGエッジ信号EgのYG混合率D"mixを算出しているが、これを簡略化して、斜め方向エッジ判別指標Dt、水平垂直方向エッジ判別指標Dhvのいずれか一方をYエッジ信号EyとGエッジ信号EgのYG混合率D"mixとして用いても構わない。
【図面の簡単な説明】
【０１８０】
【図１】ベイヤ画像信号からカラー画像信号を生成する画像処理装置のブロック図である。
【図２】RGBベイヤ配列及びその他の配列の例を示す図である。
【図３】高域画像信号生成部のブロック図である。
【図４】エッジ方向指標算出のためのベイヤ画像信号の一例である。
【図５】第１の混合率Dmixと斜め方向エッジ判別指標Dtの関係を表した図である。
【図６】第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvの関係を表した図である。
【図７】ベイヤ画像信号から輝度Y画像信号、輝度G画像信号を生成する様子を示した図である。
【図８】第１の実施形態をソフトウェア処理により実現する場合の画像処理プログラムのフローチャートである。
【図９】第２の実施形態における高域画像信号生成部のブロック図である。
【図１０】第３の実施形態における高域画像信号生成部のブロック図である。
【図１１】第３の実施形態をソフトウェア処理により実現する場合の画像処理プログラムのフローチャートである。
【図１２】第４の実施形態における高域画像信号生成部のブロック図である。
【図１３】第５の実施形態における高域画像信号生成部のブロック図である。
【符号の説明】
【０１８１】
４  高域画像信号生成部
４１  エッジ方向判定部
４２  Yエッジ信号生成部
４３  Gエッジ信号生成部
４４  YG混合率算出部
４５  YG混合部
【図１】
2009171196.tif 000003
【図２】
2009171196.tif 000004
【図３】
2009171196.tif 000005
【図４】
2009171196.tif 000006
【図５】
2009171196.tif 000007
【図６】
2009171196.tif 000008
【図７】
2009171196.tif 000009
【図８】
2009171196.tif 000010
【図９】
2009171196.tif 000011
【図１０】
2009171196.tif 000012
【図１１】
2009171196.tif 000013
【図１２】
2009171196.tif 000014
【図１３】
2009171196.tif 000015