(57)【要約】【課題】レンズの色収差が大きい場合に、被写体には色の変化が無いにも関わらす、色収差により色の変化が発生してしまい、ローパスフィルタ処理が為されるために解像度が劣化してしまうという課題があった。【解決手段】画像信号処理装置は、原色ベイヤ−配列のフィルタを備える撮像素子１０と、輝度信号を生成する適応フィルタ１２と、グリーン信号に対して水平方向のアパーチャ補正を施す水平ハイパスフィルタ１５と、グリーン信号に対して垂直方向のアパーチャ補正を施す垂直ハイパスフィルタ１６と、グリーン信号、レッド信号およびブルー信号に対して斜め方向のアパーチャ補正を施す斜めハイパスフィルタ１７と、備える。【選択図】図１
2005130241.tif 000002
【特許請求の範囲】
【請求項１】
原色ベイヤ−配列のフィルタを備え、前記フィルタを透過した被写体の光学的信号であるグリーン信号、レッド信号およびブルー信号をそれぞれ光電変換して出力信号を生成する撮像素子と、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号から輝度信号を生成する輝度信号生成手段と、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、水平方向のハイパスフィルタ処理又は水平方向のバンドパスフィルタ処理を含む処理を施して水平補正信号を生成する水平アパーチャ補正手段と、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、垂直方向のハイパスフィルタ処理又は垂直方向のバンドパスフィルタ処理を含む処理を施して垂直補正信号を生成する垂直アパーチャ補正手段と、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドバスフィルタ処理を含む処理を施して斜め補正信号を生成する斜めアパーチャ補正手段と、
前記輝度信号に、前記水平補正信号と、前記垂直補正信号と、前記斜め補正信号とを加算する加算手段と、
を備える画像信号処理装置。
【請求項２】
原色ベイヤ−配列のフィルタを備える撮像素子が、前記フィルタを透過した被写体の光学的信号であるグリーン信号、レッド信号およびブルー信号をそれぞれ光電変換して出力信号を生成する第１のステップと、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号から輝度信号を生成する第２のステップと、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、水平方向のハイパスフィルタ処理又は水平方向のバンドパスフィルタ処理を含む処理を施して水平補正信号を生成する第３のステップと、
前記被写体のグリーン信号に対応する前記撮像素子の出力信号に対して、垂直方向のハイパスフィルタ処理又は垂直方向のバンドパスフィルタ処理を含む処理を施して垂直補正信号を生成する第４のステップと、
前記被写体のグリーン信号、レッド信号およびブルー信号に対応する前記撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドバスフィルタ処理を含む処理を施して斜め補正信号を生成する第５のステップと、
前記輝度信号に、前記水平補正信号と、前記垂直補正信号と、前記斜め補正信号とを加算する第６のステップと、
を備える画像信号処理方法。
【請求項３】
フィルタを備え、被写体の光学的信号を光電変換して出力信号を生成する撮像素子と、
前記撮像素子の出力信号から輝度信号を生成する輝度信号生成手段と、
前記撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドバスフィルタ処理を含むアパーチャ補正を施して斜め補正信号を生成する斜めアパーチャ補正手段と、
前記輝度信号に、前記斜め補正信号を加算する加算手段と、
を備える画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルスチルカメラやムービー等に用いられる画像信号処理装置及び画像信号処理方法に関する。さらに具体的には、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、ブルーの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子で得られる信号から高精細な輝度信号を生成する画像信号処理装置及び画像信号処理方法に関する。
【背景技術】
【０００２】
ディジタルスチルカメラやムービーなどにおいては、ＣＣＤ（Ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）等の撮像素子が用いられている。
【０００３】
撮像素子の表面には、カラー化のために画素毎に所定の繰り返しパターンを持つ色フィルタが装着されている。この色フィルタとしては様々なものが知られているが、広く使用されているものの１つに、図２に示すような水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、ブルーの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列がある。以下このフィルタ配列を原色ベイヤー配列と呼ぶ。
【０００４】
原色ベイヤ−配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としては、例えば縦２×横２のレッド、グリーン、ブルー信号を加算する方法があるが、この方法では色が変化しているエッジ部で偽信号が発生するという課題があった。
【０００５】
別の方法としては、輝度の低周波成分は縦４×横４程度の比較的広い範囲でのＲＧＢ各信号の加重平均化処理即ちローパスフィルタ処理により得る一方で、Ｇ信号の存在しない画素位置におけるＧ信号を、周囲のＧ信号の相関を見て補間することで得て、前記補間されたＧ信号の高域成分をＲＧＢ信号のローパスフィルタ処理により求めた低周波成分に加算することで、高解像な輝度信号を得る方法が知られている（例えば、特許文献１、２参照。）。
【０００６】
この方法では、ＲＧＢ全て使用した場合に発生する色エッジにおける偽信号はローパスフィルタ処理により抑圧されるため、色エッジにおける偽信号の無い輝度信号が得られる一方で、高域成分がＧ信号のみにより生成されることになるため、特に斜め方向のサンプリング間隔が、撮像素子の斜め方向の画素ピッチの２倍になってしまい、斜め方向の解像度が劣化するという課題があった。
【０００７】
これらの課題の解決する方法として、未公開自社出願の特願２００２−２９４４９０号によれば、色エッジで適応的にローパスフィルタ処理を行う方法がある。図９は、色エッジで適応的にローパスフィルタ処理を行う輝度信号生成装置のブロック図である。以下、本装置について簡単に説明する。
【０００８】
撮像素子１０は、図２に示すような原色ベイヤー配列色フィルタを表面に備えたＣＣＤであり、被写体からの入射光を光電変換して各色信号として出力する。撮像素子１０の出力はＡ／Ｄ変換手段１１でデジタル信号に変換され、適応フィルタ処理部１２へ入力される。適応フィルタ処理部１２は輝度変化検出処理部３１と色変化検出処理部３２と適応ＬＰＦ処理部３０で構成されており、Ａ／Ｄ変換手段１１の出力はそれぞれに入力される。図１０は輝度変化検出処理部において為されるフィルタ処理のタップ係数を示した図であり、図中の四角がＣＣＤの１画素に対応しており、図示した縦４×横４画素の中心位置が処理中の画素位置である。（ａ）は、処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ係数であり、（ｂ）は処理中の画素位置の右上、左下にＧ信号が存在する場合のフィルタ係数である。（ａ），（ｂ）のフィルタ処理により、処理中の画素位置における輝度の高周波成分の、Ｒ，Ｂ信号に起因する成分を検出している。
【０００９】
図１１は色変化検出部３２において為されるフィルタ処理のタップ係数を示した図であり、図示した縦４×横８画素の中心位置が処理中の画素位置である。（ａ）、（ｃ）は処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ係数であり、（ｂ）、（ｄ）は、は処理中の画素位置の右上、左下にＧ信号が存在する場合のフィルタ係数である。（ａ）、（ｃ）又は（ｂ）、（ｄ）のフィルタ処理結果のうち、絶対値の大きい信号の絶対値がが色変化検出手段から出力される。
【００１０】
図１２は適応ＬＰＦ処理部３０において為されるフィルタ処理の係数を示したものである。適応ＬＰＦ処理部３０では、輝度変化検出処理部３１の出力ｉｎと色変化検出処理部３２の出力ｔｈに従って、フィルタ処理の係数が変化する。
【００１１】
即ち、２×ｔｈ＜｜ｉｎ｜である場合は、図１２（ａ）のフィルタ処理が為され、｜ｉｎ｜＜＝ｔｈの場合には、図１２（ｄ）又は（ｅ）のフィルタ処理が為される。（ｄ）は処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ処理係数であり、（ｅ）は処理中の画素の右上、左下にＧ信号が存在する場合のフィルタ係数である。色の変化が無い部分では、２×ｔｈ＜｜ｉｎ｜となり、Ｒ、Ｂ信号に対してローパスフィルタ処理の為されない高解像な信号が出力され、色の変化が有る部分では、｜ｉｎ｜＜＝ｔｈとなり、Ｒ，Ｂ信号に対してローパスフィルタ処理が為され、色エッジでの偽輝度信号が抑圧された信号が出力される。
【００１２】
以上の動作により、図９の方法では、色の変化が無い部分では縦２×横２のレッド、グリーン、ブルー信号の加算により輝度信号を生成し、色の変化のある部分では、偽信号の原因となっているＲ，Ｂ信号について、縦４×横４の範囲での適応ローパスフィルタ処理を行うことにより偽信号の発生を抑えている。
【００１３】
この方法は、色の変化の無い部分では、ＲＧＢ信号全て使用するため、斜め方向にも高解像な画像を得ることが出来る。
【特許文献１】特開２０００−１６５８９２号公報
【特許文献２】特開２０００−１６５８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかし、図９の方法では、特に、レンズの色収差が大きい場合に、被写体には色の変化が無いにも関わらす、色収差により色の変化が発生してしまい、ローパスフィルタ処理が為されるために解像度が劣化してしまうという課題があった。
【課題を解決するための手段】
【００１５】
これらの課題を解決するために、本発明の画像信号処理装置は、撮像素子と、輝度信号生成手段と、水平アパーチャ補正手段と、垂直アパーチャ補正手段と、斜めアパーチャ補正手段と、加算手段と、を備える。
【００１６】
ここで、撮像素子は、原色ベイヤ−配列のフィルタを備え、フィルタを透過した被写体の光学的信号であるグリーン信号、レッド信号およびブルー信号をそれぞれ光電変換して出力信号を生成する。輝度信号生成手段は、被写体のグリーン信号、レッド信号およびブルー信号に対応する撮像素子の出力信号から輝度信号を生成する。水平アパーチャ補正手段は、被写体のグリーン信号に対応する撮像素子の出力信号に対して、水平方向のハイパスフィルタ処理又は水平方向のバンドパスフィルタ処理を含む処理を施して水平補正信号を生成する。垂直アパーチャ補正手段は、被写体のグリーン信号に対応する撮像素子の出力信号に対して、垂直方向のハイパスフィルタ処理又は垂直方向のバンドパスフィルタ処理を含む処理を施して垂直補正信号を生成する。斜めアパーチャ補正手段は、被写体のグリーン信号、レッド信号およびブルー信号に対応する撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドバスフィルタ処理を含む処理を施して斜め補正信号を生成する。加算手段は、輝度信号に、水平補正信号と、垂直補正信号と、斜め補正信号とを加算する。
【００１７】
また、本発明の画像信号処理装置は、フィルタを備え、被写体の光学的信号を光電変換して出力信号を生成する撮像素子と、撮像素子の出力信号から輝度信号を生成する輝度信号生成手段と、撮像素子の出力信号に対して、斜め方向のハイパスフィルタ処理又は斜め方向のバンドバスフィルタ処理を含む処理を施して斜め補正信号を生成する斜めアパーチャ補正手段と、輝度信号に、斜め補正信号を加算する加算手段と、を備える。
【発明の効果】
【００１８】
本発明の画像信号処理装置及び画像信号処理方法は、色収差の影響が少なくなるように、補正の方向に応じて輝度の高周波成分の生成方法を変えるため、色収差による解像度劣化を最小に抑えつつ、偽信号の発生の少ない高解像な画像を得ることが出来る。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について、図を用いて説明する。
【００２０】
図１は本発明の画像信号処理装置の実施例を示し、図１において、１０は撮像素子、１１はＡ／Ｄ変換手段である。撮像素子１０は表面に図２に示す配列の原色ベイヤー配列色フィルタを備えており、フィルタの色に応じたレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の色信号を水平１ラインづつ出力する。
【００２１】
また、１２は適応フィルタ手段であり、輝度信号生成手段を構成する。また、１３はＧ信号抽出手段、１４はローパスフィルタ手段である。また、１５は水平方向ハイパスフィルタ手段、１８はゲイン調整手段であり、水平方向アパーチャ補正手段を構成する。また、１６は垂直方向ハイパスフィルタ手段、１９はゲイン調整手段であり、垂直方向アパーチャ補正手段を構成する。また、１７は斜め方向ハイパスフィルタ手段、２０はゲイン調整手段であり、斜め方向アパーチャ補正手段を構成する。
また、図１において２１，２２は加算手段、２３は輝度信号出力端子である。
【００２２】
以上のように構成された画像信号処理装置について、以下、その動作を述べる。
【００２３】
撮像素子１０の出力信号はＡ／Ｄ変換器２にてデジタル化され、適応フィルタ手段１２及びＧ信号抽出手段１２に入力される。
【００２４】
適応フィルタ手段１２は、図９で示した従来例と同様の構成になっており、ＲＧＢ全ての信号を用いた輝度信号が生成され、出力される。
【００２５】
Ｇ信号抽出手段１３では、入力されたＲＧＢ信号のうち、Ｇ信号以外を０で置き換えて、ローパスフィルタ手段１４へ出力する。
【００２６】
ローパスフィルタ手段１４は入力された画素信号のうち、縦２×横２画素の範囲の信号の加算平均値を演算し、出力する。
【００２７】
図３は、ローパスフィルタ手段１４の出力において、ＣＣＤ出力信号に対して為されているフィルタ処理の係数を示した図である。処理中の画素位置の右上、左下の画素がＧ信号の場合は（ａ）、処理中の画素位置の左上、右下の画素がＧ信号の場合は（ｂ）のフィルタ処理が為される。
【００２８】
ローパスフィルタ手段１４の出力は、水平ハイパスフィルタ手段１５、垂直ハイパスフィルタ手段１６へ入力される。従って、水平ハイパスフィルタ手段１５および垂直ハイパスフィルタ手段１６は、Ｇ信号に対してのみ処理をする。このように被写体の光学信号のうち単色（グリーン）についてのみ処理するため、撮像素子１０上での色収差の影響をなくすことができる。
【００２９】
一方、斜め方向については、適応フィルタ１２からの出力信号（ＲＧＢ全ての信号）を用いて高周波成分を生成する。斜め方向についてＧ信号のみを用いて高周波成分を生成すると、水平・垂直方向と同様に色収差による解像度の劣化は抑制できる。しかし、フィルタにはＧ信号の画素が全く存在しない斜めの列とＧ信号ばかりの列が交互に出現することとなるため、高周波成分の解像度は逆に劣化してしまうことになる。そこで、斜め方向については、ＲＧＢ全ての信号を用いて高周波成分を生成することとした。
【００３０】
図４は、水平ハイパスフィルタ手段１５において、入力信号に対して為されるフィルタ処理のタップ係数を示した図である。また、図５は垂直方向ハイパスフィルタ手段１６において、入力信号に対して為されるフィルタ処理のタップ係数を示した図である。それぞれのフィルタ処理により、水平方向、垂直方向の高周波成分が抜き出されて出力される。
【００３１】
図６は斜め方向ハイパスフィルタ手段１７において、入力信号に対して為されるフィルタ処理のタップ係数を示した図である。図６のフィルタ処理により、斜め方向の高周波成分が抜き出されて出力される。
【００３２】
水平方向ハイパスフィルタ手段１５、垂直方向ハイパスフィルタ手段１６、斜め方向ハイパスフィルタ手段１７の出力信号は、それぞれゲイン調整手段１８、１９、２０において、個別にゲイン調整された後、適応フィルタ手段１２の出力信号に加算され、輝度信号出力端子２３へ出力される。
【００３３】
図７は、水平方向ハイパスフィルタ手段１５、垂直方向ハイパスフィルタ手段１６、斜め方向ハイパスフィルタ手段１７で抜き出される周波数領域を２次元周波数平面上に示した模式図である。破線で示した横軸は水平方向周波数、縦軸は垂直方向周波数、横軸と縦軸の交点が直流成分を示している。領域１は水平ハイパスフィルタ手段１５、領域２は垂直ハイパスフィルタ手段１６、領域３は斜め方向ハイパスフィルタ手段１７により抜き出される周波数成分である。
【００３４】
それぞれ別々の方向の周波数成分を抜き出す構成になっており、全てを加算することで、全ての方向についてバランスの取れた高周波成分を得ることが可能である。
【００３５】
以上の構成により、水平方向、垂直方向の高周波成分は、Ｇ信号のみを用いて生成出来るので、水平、垂直方向については色収差による解像度劣化の少ない信号を得ることが出来る。一方、斜め方向については、ＲＧＢ全ての信号を用いて生成出来るので、斜め方向に解像度の高い信号を得ることが出来る。
【００３６】
また、垂直方向、水平方向、斜め方向それぞれ独立してゲイン調整が可能であるため、周波数特性の調整の自由度が高く、より自由な画作りが可能となる。
【００３７】
なお、本実施例においては、ＲＧＢ全て使用して輝度信号を生成する手段として、図９に示した適応フィルタ手段を用いたが、例えば処理中の画素位置の周辺の縦４ｘ横４画素程度に、図８に示すような係数の加重平均演算即ちローパスフィルタ処理を行って生成してもよい。その場合、色エッジ部で多少のノイズが発生するが、処理が容易なため、ローコスト又は高速な処理が可能になる。
【００３８】
また、本実施例においては、Ｇ信号のみを使用して生成するアパーチャ補正信号生成手段の入力信号を、図３に示す様な、処理中の画素位置周辺の縦２×横２画素内のＧ信号の加算平均により生成したが、Ｇ信号の相関を見てＧ信号が無い位置の内挿演算を行って生成しても良い。その場合は、特に水平・垂直方向に解像度の高い信号が得られる。
【産業上の利用可能性】
【００３９】
本発明の画像信号処理装置及び画像信号処理方法は、色収差による解像度劣化を最小に抑えつつ、偽信号の発生の少ない高解像な画像を得ることが出来るので、高解像度のデジタルカメラ等に適用できる。
【図面の簡単な説明】
【００４０】
【図１】本発明にの実施の形態における画像信号処理装置の構成を示すブロック図
【図２】本発明にの実施の形態における撮像素子１０が備える色フィルタ配列を示す図
【図３】本発明にの実施の形態におけるローパスフィルタ手段１４において為されているフィルタ処理のタップ係数を示す図
【図４】本発明にの実施の形態における水平方向ハイパスフィルタ手段１５において為されるフィルタ処理のタップ係数を示す図
【図５】本発明にの実施の形態における垂直方向ハイパスフィルタ手段１６において為されるフィルタ処理のタップ係数を示す図
【図６】本発明にの実施の形態における斜め方向ハイパスフィルタ手段１７において為されるフィルタ処理のタップ係数を示す図
【図７】本発明にの実施の形態における水平方向ハイパスフィルタ手段１５、垂直方向ハイパスフィルタ手段１６、斜め方向ハイパスフィルタ手段１７で抜き出される周波数領域を２次元周波数平面上に大凡示した図
【図８】本発明にの実施の形態における輝度信号生成手段のフィルタ処理のタップ係数の別の例を示した図
【図９】従来の画像信号処理装置の構成を示すブロック図
【図１０】従来の画像信号処理装置の輝度変化検出手段３１におけるフィルタ処理のタップ係数を示す図
【図１１】従来の画像信号処理装置の色変化検出手段３２におけるフィルタ処理のタップ係数を示す図
【図１２】従来の画像信号処理装置のにおけるフィルタ処理のタップ係数を示す図
【符号の説明】
【００４１】
１０    撮像素子
１１    Ａ／Ｄ変換手段
１２    適応フィルタ手段
１３    Ｇ信号抽出手段
１４    ローパスフィルタ手段
１５    水平方向ハイパスフィルタ手段
１６    垂直方向ハイパスフィルタ手段
１７    斜め方向ハイパスフィルタ手段
１８，１９，２０    ゲイン調整手段
２１、２２    加算手段
２３    輝度信号出力端子
【図１】
2005130241.tif 000003
【図２】
2005130241.tif 000004
【図３】
2005130241.tif 000005
【図４】
2005130241.tif 000006
【図５】
2005130241.tif 000007
【図６】
2005130241.tif 000008
【図７】
2005130241.tif 000009
【図８】
2005130241.tif 000010
【図９】
2005130241.tif 000011
【図１０】
2005130241.tif 000012
【図１１】
2005130241.tif 000013
【図１２】
2005130241.tif 000014