(57)【特許請求の範囲】
【請求項１】
緑色（以下、Ｇと記す）フィルタを画素単位で市松状に配置して構成される固体撮像素子の撮像出力の輪郭強調方法において、前記Ｇフィルタに対応しない画素の欠落したＧ信号を、前記Ｇフィルタに対応したＧ信号を用いて信号補間を行い、前記Ｇフィルタに対応しない画素の欠落したＧ信号を生成し、連続したＧ信号を用いて、遅延器、加算器、乗算器から構成される高域通過フィルタで輪郭信号を抽出し、前記抽出した輪郭信号に応じた係数を前記Ｒ信号、Ｇ信号、及びＢ信号に乗算することにより、輪郭強調を行うことを特徴とする固体撮像素子の撮像出力の輪郭強調方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、Ｇフィルタを画素単位で市松状に配置した固体撮像素子（以下、イメージセンサと記す）から信号補間を施し、赤色（Ｒ）信号、緑色（Ｇ）信号、及び青色（Ｂ）信号の連続した出力信号を得るとき、輪郭を強調する輪郭強調方法に関するものである。
【０００２】
【従来の技術】
従来、特定の色フィルタを市松状に配置したイメージセンサの撮像出力に輪郭強調を行うには、前記色フィルタに対応しない画素の欠落した色信号を隣接する前記色フィルタに対応した色信号より補間を行い生成された、連続したＲ信号、Ｇ信号、及びＢ信号を一定の比率で混合し、連続した輝度信号を生成する。その後、高域通過フィルタを通過させ、輪郭信号を抽出し、前記輪郭信号を前記輝度信号に加えて輪郭強調を行う。
【０００３】
以下、従来の輪郭強調方法について、図面を用いて説明する。
図５は、従来の輪郭強調方法の概念図であり、５０１はイメージセンサからの撮像信号入力端子、５０２は色フィルタに対応しない画素の欠落した色信号を隣接する画素の色信号より補間するための信号補間、５０３は補間されＲ信号、Ｇ信号、及びＢ信号の連続した信号を一定の比率で混合し、連続した輝度信号と色差信号を生成する輝度、色差信号発生器、５０４は輝度信号から輪郭信号を抽出するための高域通過フィルタ（以下、ＨＰＦとする）、５０５は５０４のＨＰＦによる群遅延の時間合わせ用遅延器、５０６は５０８に出力される輝度信号と５０９に出力される色差信号との時間合わせ用遅延器、５０７はＨＰＦ５０４から出力される輪郭信号と遅延器５０５から出力される時間合わせが施された輝度信号を足し合わせる加算器、５０８は輪郭信号が足し合わされた輝度信号出力端子、５０９は輝度信号と時間合わせが施された色差信号出力端子である。
【０００４】
以上のように構成された輪郭方法の概念図をもとに、以下その動作について説明する。
【０００５】
まず、イメージセンサから出力される撮像出力を５０１撮像信号入力端子より入力する。その後、連続したＲ信号、Ｇ信号、及びＢ信号を得るため、イメージセンサの色フィルタに対応しない画素の欠落した色信号を、隣接する画素の色信号をもとに５０２信号補間で信号補間を行い、生成し欠落した色信号を補う。５０２信号補間より出力された連続したＲ信号、Ｇ信号、及びＢ信号は、５０３輝度、色差信号発生器に入力され、それぞれの信号が一定の比率で混合され、テレビ信号の輝度信号と色差信号に変換される。５０３輝度、色差信号発生器では、輝度信号をＹ、色差信号を（Ｒ−Ｙ）、及び（Ｂ−Ｙ）としたとき、以下の、（１）、（２）、（３）式で示される比率で混合される。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ・・・（１）
（Ｒ−Ｙ）＝Ｒ−Ｙ・・・（２）
（Ｂ−Ｙ）＝Ｂ−Ｙ・・・（３）
５０３輝度、色差信号発生器で生成された輝度信号は、５０４ＨＰＦと５０５遅延器に入力される。輝度信号の信号レベルの差が大きいところほど、輝度信号の周波数成分が高域に分布することを利用して、５０４ＨＰＦで輝度信号の高域成分のみを抽出し、輪郭信号とする。また、５０４ＨＰＦでの群遅延による輝度信号と輪郭信号の時間差を合わせるため、５０５遅延器で輝度信号の時間合わせを行う。５０７加算器では、時間合わせが施された輝度信号と５０４ＨＰＦから出力された輪郭信号を加算し、輪郭強調が行われた輝度信号を生成する。また、輪郭強調が施された輝度信号は、５０８輝度信号出力端子より出力される。一方、５０３輝度、色差信号発生器から出力される色差信号には、輪郭強調が施されずに輝度信号の輪郭強調に施される時間合わせを５０６遅延器で行い、５０９色差信号出力より出力される。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の輪郭強調方法では、輪郭信号を抽出するため、Ｒ信号、Ｇ信号、及びＢ信号から輝度信号を生成しなければならない。そのため、後段にＲ信号、Ｇ信号、及びＢ信号を必要とするシステムにおいては、再度、輝度信号と色差信号より逆変換回路を経由して、Ｒ信号、Ｇ信号、及びＢ信号へ変換しなければならなかった。また、Ｒ信号、Ｇ信号、及びＢ信号から輝度、色差変換器と、輝度、色差信号からＲ信号、Ｇ信号、及びＢ信号変換器と２度の変換回路を通過するため、演算誤差による画質の劣化が生じてしまう。また、輝度信号に輪郭信号を直接加えてしまうため、Ｒ信号、Ｇ信号、及びＢ信号のバランスが崩れ、偽色の発生を起こしてしまう。
【０００７】
本発明は、上記従来の問題点を解決するもので、Ｒ信号、Ｇ信号、及びＢ信号に直接、輪郭強調を行うことができ、輝度信号、色差信号とＲ信号、Ｇ信号、及びＢ信号の変換−逆変換器を省略でき、さらに変換−逆変換器における演算誤差を抑えることができ、さらに、Ｒ信号、Ｇ信号、及びＢ信号に輪郭信号を乗算することで偽色の発生を抑えることができる輪郭強調方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
この目的を達成するために、本発明の輪郭強調方法では、輪郭信号を抽出するために補間が施されたＧ信号を用いてＲ信号、Ｇ信号、及びＢ信号の輪郭信号とし、さらにＲ信号、Ｇ信号、及びＢ信号にＧ信号から抽出された輪郭信号のレベルに応じた係数を乗算することで輪郭強調を行う方法である。
【０００９】
【発明の実施の形態】
以下、本発明の一実施例について図面を参照しながら説明する。
【００１０】
図１は、本発明の一実施例における輪郭強調方法の概念図である。図１において、１０１はイメージセンサからの撮像信号入力端子、１０２は色フィルタに対応しない画素の欠落した色信号を隣接する画素の色信号より補間するための信号補間、１０３はＧ信号から輪郭信号を抽出するためのＨＰＦ、１０４、１０５、１０６は１０３のＨＰＦによる群遅延をＧ信号、Ｒ信号、及びＢ信号にそれぞれ、時間合わせするための遅延器、１０７、１０８、１０９は輪郭信号と時間合わせが施されたＲ信号、Ｇ信号、及びＢ信号に対して、輪郭信号を乗算する乗算器である。
【００１１】
図２は、撮像信号を説明するためのＧフィルタを市松状に配置したイメージセンサの色フィルタ配置図である。図２において、２０１はＧフィルタ、２０２はＢフィルタ、２０３はＲフィルタである。Ｇフィルタは、市松状に毎ライン配置され、Ｒ、及びＢフィルタは１ライン毎にＧフィルタと交互に配置されている。
【００１２】
図３は、欠落したＧ信号の補間方法を説明するためのＧ補間の説明図である。図３において、３０１は欠落したＧ信号の真上に隣接するＧフィルタが配置された画素Ｇ０、３０２は欠落したＧ信号の左に隣接するＧフィルタが配置された画素Ｇ１、３０３は欠落したＧ信号の右に隣接するＧフィルタが配置された画素Ｇ２、３０４は欠落したＧ信号の真下に隣接するＧフィルタが配置された画素Ｇ３、３０５はＧ信号が欠落したＧフィルタが配置されていない画素Ｇｘである。
【００１３】
図４は、Ｇ信号より輪郭信号を抽出するためのＨＰＦの構成（ａ）、及び、Ｇ信号より輪郭信号を抽出する際のタイミングチャート（ｂ）を示す図である。図４（ａ）において、４０１は補間が行われ連続信号として生成されたＧ信号入力端子、４０２、４０３、及び４０４はＨＰＦの次数を構成するため、一定の時間、信号を遅延させるための遅延器、４０５は遅延していないＧ信号と遅延器を２段通過したＧ信号を加算するための加算器、４０６は遅延器を１段通過したＧ信号を２倍にするための係数器、４０７は４０５加算器からの出力信号を４０６係数器からの信号を減算するための減算器、４０８はＧ信号の高域成分を抽出した輪郭信号出力端子である。また、図４（ｂ）においては、図４（ａ）の構成図における各入出力のタイミングチャートであり、４０９は４０１Ｇ信号入力端子に入力されるＧ信号波形、４１０は４０２遅延器の出力信号波形、４１１は４０４遅延器の出力信号波形、４１２は４０５加算器の出力信号波形、４１３は４０６係数器の出力信号波形、４１４はＨＰＦを通過し４０８輪郭信号出力端子より出力される輪郭信号波形である。
【００１４】
以上の図面を参照し、本発明の一実施例の動作について説明する。
まず、１０１撮像信号入力端子に入力されるイメージセンサ信号を説明する。イメージセンサは、イメージセンサの画素にＲ、Ｇ、及びＢフィルタが図２に示す色フィルタ配列で配置されているとする。イメージセンサは、各画素に配置された色フィルタの光情報を電気信号に変換し、イメージセンサ信号として出力する。イメージセンサ信号は、水平方向に順次読み出され、ＲＧＲＧＲＧ・ＧＢＧＢＧＢ・ＲＧＲＧＲＧ・ＧＢＧＢＧＢと各色フィルタに対応した色信号の点順次信号として読み出され、１０１撮像信号入力端子へ入力される。そこで、Ｇ信号に注目すると、Ｒ、及びＢフィルタが配置された画素のイメージセンサ信号には、Ｇ信号に対応した色信号が存在しないため、１０２信号補間で隣接するＧ信号を用いて補間信号を生成する。また、Ｒ信号、及びＢ信号についても同様に補間を行う。
【００１５】
Ｇ信号の補間方法について図３を用いて説明する。
いま、点順次信号として１０１撮像信号入力端子に入力されたイメージセンサ信号で３０５Ｇｘに対応する画素のＧ信号が欠落しているとする。３０５Ｇｘに隣接するＧフィルタが配置された画素は、真上の３０１Ｇ０、左の３０２Ｇ１、右の３０３Ｇ２、真下の３０４Ｇ３の４つのＧ信号が存在する。３０５ＧｘのＧ信号を得るために、３０１Ｇ０のＧ信号のレベル、３０４Ｇ３のＧ信号レベル、または３０１Ｇ０と３０４Ｇ３の加算平均したレベルのいずれかを選択し、その値に近いレベルの左右に隣接した３０２Ｇ１または、３０３Ｇ２のＧ信号をスライドし、３０５Ｇｘの画素に対応したＧ信号とする。前記の補間方法でイメージセンサのＧフィルタに対応しない画素のＧ信号を生成し、連続したＧ信号を得る。Ｒ信号、及びＢ信号は、隣接する４つの画素に対応した色信号より、加算平均を行い連続したＲ信号、及びＢ信号を生成する。以上のようにイメージセンサ信号を１０１撮像信号入力端子よりイメージセンサ信号を入力し、１０２信号補間でＲ信号、Ｇ信号、及びＢ信号の信号補間を行い、連続したＲ信号、Ｇ信号、及びＢ信号を得る。
【００１６】
１０２信号補間より出力されるＧ信号は、輪郭信号を抽出するため１０３ＨＰＦへ入力する。１０３ＨＰＦにおける輪郭信号の抽出方法を図４を用いて説明する。連続信号として生成されたＧ信号を４０１Ｇ信号入力端子から入力し、４０２、４０３、及び４０４遅延器、４０５加算器、４０６係数器、４０７減算器で構成される２次ＨＰＦを通過し、輪郭信号が抽出され、４０８輪郭信号出力端子より輪郭信号が出力される。図４（ａ）に示される２次ＨＰＦの伝達関数をＨ（ｚ）とすると図４（ａ）に示すＨＰＦの伝達関数は、（４）式となる。
Ｈ（ｚ）＝−（１−１／ｚ）２）・・・（４）
図４（ａ）に示される２次ＨＰＦの動作を図４（ｂ）のタイミングチャートを用いて説明する。４０１Ｇ信号入力端子に入力されるＧ信号に４０９に示すようなレベルの変化ある場合、４０９に示すＧ信号の入力波形と４１０に示す１段の遅延器を通過した波形と４１１に示す２段の遅延器を通過した波形で演算を行う。４０９に示すＧ信号の入力波形と４１１に示す２段の遅延器を通過した波形を４０５加算器で加算した波形を４１２に示す。また、４１０に示す１段の遅延器を通過した波形を４０６係数器で２倍にした波形を４１３に示す。そこで４１３に示す波形から４１２に示す波形を４０７の減算器で減算する。その結果、４１０に示す１段の遅延器を通過した波形のレベル変化に対応した、４１４輪郭信号を生成することができる。
【００１７】
そこで、１０３ＨＰＦで抽出した輪郭信号を１０７、１０８、及び１０９の乗算器を用いて、１０４、１０５、及び１０６で輪郭信号と時間合わせが行われたＲ信号、Ｇ信号、及びＢ信号に輪郭信号を乗算する。このとき、輪郭信号が無い場合は、乗算器の出力は遅延器からのＲ信号、Ｇ信号、及びＢ信号がスルーするように設定し、輪郭信号が正の符号の値の場合、Ｒ信号、Ｇ信号、及びＢ信号は同じ比率で増幅され、輪郭信号が負の符号の値の場合、Ｒ信号、Ｇ信号、及びＢ信号は同じ比率で減衰される。このようにして、輪郭強調したＲ信号、Ｇ信号、及びＢ信号を１１０、１１１、及び１１２の出力端子から得ることができる。
【００１８】
以上のように本実施例によれば、Ｇ信号を用いて輪郭信号を抽出し、輪郭強調することで、Ｒ信号、Ｇ信号、及びＢ信号が必要なシステムにおいても、輝度信号への変換−逆変換器を必要とせずに輪郭強調することができる。また、輪郭信号をＲ信号、Ｇ信号、及びＢ信号へ乗算することで輪郭付近に発生する偽色を抑えることができる。
【００１９】
【発明の効果】
本発明は、Ｇ信号から輪郭信号を抽出し、Ｒ信号、Ｇ信号、及びＢ信号に乗算することで輝度信号への変換−逆変換器を設けることなく輪郭強調することができ、さらに、輪郭信号のレベルに応じた比率でＲ信号、Ｇ信号、及びＢ信号に輪郭信号を乗算することで、輪郭付近の偽色を抑えることができる優れた輪郭強調方法を実現するものである。
【図面の簡単な説明】
【図１】本発明の輪郭強調方法の概念図
【図２】本発明の一実施例のイメージセンサの色フィルタ配置図
【図３】本発明の一実施例のＧ信号の補間方法の説明図
【図４】本発明の一実施例の輪郭信号を抽出するためのＨＰＦの構成、及びタイミングを示す図
【図５】従来例の輪郭強調方法の概念図
【符号の説明】
１０１、５０１  撮像信号入力端子
１０２、５０２  信号補間
１０３、５０４  ＨＰＦ
１０４、１０５、１０６、４０２、４０３、４０４、５０５、５０６  遅延器
１０７、１０８、１０９  乗算器
１１０  Ｇ信号出力端子
１１１  Ｒ信号出力端子
１１２  Ｂ信号出力端子
２０１  Ｇフィルタ
２０２  Ｂフィルタ
２０３  Ｒフィルタ
３０１  欠落したＧ信号の真上に隣接するＧフィルタ
３０２  欠落したＧ信号の左に隣接するＧフィルタ
３０３  欠落したＧ信号の右に隣接するＧフィルタ
３０４  欠落したＧ信号の真下に隣接するＧフィルタ
３０５  欠落したＧ信号のＧフィルタ
４０１  Ｇ信号入力端子
４０５、５０７  加算器
４０６  係数器
４０７  減算器
４０８  輪郭信号出力端子
４０９  ４０１Ｇ信号入力端子のＧ信号入力波形
４１０  ４０２遅延器の出力波形
４１１  ４０４遅延器の出力波形
４１２  ４０５加算器の出力波形
４１３  ４０６係数器の出力波形
４１４  ４０７減算器の出力波形
５０３  輝度、色差信号発生器
５０８  輝度信号出力端子
５０９  色差信号出力端子
【図１】
0003612891.tif 000002
【図２】
0003612891.tif 000003
【図３】
0003612891.tif 000004
【図４】
0003612891.tif 000005
【図５】
0003612891.tif 000006