(57)【特許請求の範囲】
【請求項１】
ベイヤーデータからのデモザイク処理によって生成されたＲＧＢカラー映像データをＹＣｂＣｒカラー空間データに変換してＹ、Ｃｂ及びＣｒデータとして出力する第１変換部と、
該第１変換部から出力されるＣｂ及びＣｒデータの色相ノイズを除去する色相ノイズ除去部であって、前記第１変換部から出力される前記Ｃｂ及びＣｒデータから中間位置に位置するデータを用いて、濾過過程で用いられるしきい値を決定する、色相ノイズ除去部と、
該色相ノイズ除去部から出力されるＣｂ及びＣｒデータと前記第１変換部から出力されるＹデータとをＲＧＢカラー空間データに変換する第２変換部と
を備え、前記しきい値が、周辺画素に付加されたノイズの確率的特性がガウス分布に従う場合、画素間の偏差を算出して得られた標準偏差をσ、中間に位置する画素のデータ値をＰ５とすると、それぞれ最小しきい値が、Ｐ５−３×σ、最大しきい値が、Ｐ５＋３×σで決定される、イメージセンサの画質改善装置。
【請求項２】
前記第１変換部が、行列とベクトルとの積を用いて、前記ＲＧＢカラー映像データを前記ＹＣｂＣｒカラー空間データに変換し、出力することを特徴とする請求項１に記載のイメージセンサの画質改善装置。
【請求項３】
前記第１変換部によって得られる前記Ｃｂ及びＣｒデータが、色相情報を含むことを特徴とする請求項１に記載のイメージセンサの画質改善装置。
【請求項４】
前記１次元の濾過器が、
前記第１変換部から出力される前記Ｃｂ及びＣｒデータを、入力される順に記録するレジスタ部と、
該レジスタ部に記録される前記Ｃｂ及びＣｒデータのうち、中間位置に位置するデータを用いて、濾過過程で用いられるしきい値を決定するしきい値発生部と、
該しきい値発生部から出力される前記しきい値を用いて、前記レジスタ部から出力されるデータを選別するデータ選別部と、
該データ選別部から選別されるデータの色相ノイズを除去し、出力する線形フィルタ部と
を備えることを特徴とする請求項１に記載のイメージセンサの画質改善装置。
【請求項５】
前記レジスタ部が、前記第１変換部から出力される前記Ｃｂ及びＣｒデータを順次受信し、パイプライン形態で記録及び出力することを特徴とする請求項４に記載のイメージセンサの画質改善装置。
【請求項６】
前記しきい値発生部が、イネーブル信号によって動作し、前記レジスタ部に記録された前記Ｃｂ及びＣｒデータのうち、中間に位置するデータの入力値を用いて、濾過過程で用いられるしきい値を決定することを特徴とする請求項５に記載のイメージセンサの画質改善装置。
【請求項７】
前記しきい値発生部が、次の式２
【数２】
0004654118.tif 000007
を用いて前記しきい値を算出し、
前記式２において、Ｃｂ(ｎ)が、前記レジスタ部に記録された全ての画素のデータ値を表し、ｍｉｎ｛｝が、｛｝内のデータ値の最小値を算出する処理を表し、ｍａｘ｛｝が、｛｝内のデータ値の最大値を算出する処理を表し、前記しきい値が、３σと前記最小値及び最大値の平均値の１/２の値とのうち、最小値として決定されるＴｈを用いて、前記式２によって決定されることを特徴とする請求項１に記載のイメージセンサの画質改善装置。
【請求項８】
前記データ選別部が、前記レジスタ部から順次入力されるデータを、前記しきい値発生部によって決定された前記しきい値を用いて選別することを特徴とする請求項４に記載のイメージセンサの画質改善装置。
【請求項９】
前記線形フィルタ部が、
前記データ選別部によって選別されたデータに対し、選択信号によって平滑化処理において使用される加重値を選択するマルチプレクサと、
該マルチプレクサにより選択された加重値と前記データ選別部によって選別されたデータとを掛け算する掛け算器と、
該掛け算器から出力されるデータを順次加算して第１加算データを生成する第１累算器と、
前記マルチプレクサによって選択される加重値を順次加算して第２加算データを生成する第２累算器と、
前記第１加算データを前記第２加算データで除し、前記第１加算データを正規化して出力する分配器と
を備えることを特徴とする請求項４に記載のイメージセンサの画質改善装置。
【請求項１０】
前記マルチプレクサが、前記選択信号に応じてガウス加重値またはユニット加重値を選択して出力することを特徴とする請求項９に記載のイメージセンサの画質改善装置。
【請求項１１】
前記ユニット加重値が、算術的平均のための加重値であることを特徴とする請求項１０に記載のイメージセンサの画質改善装置。
【請求項１２】
前記選択信号が、ユーザにより設定されることを特徴とする請求項９に記載のイメージセンサの画質改善装置。
【請求項１３】
前記掛け算器が、前記マルチプレクサにより選択される加重値と、前記データ選別部から選別されて、順次入力されるデータとを１つずつ掛け算して出力することを特徴とする請求項９に記載のイメージセンサの画質改善装置。
【請求項１４】
前記線形フィルタ部が、次の式３
【数３】
0004654118.tif 000008
を用いて前記データ選別部から順次出力されるデータに対する平滑化処理を行い、
前記式３において、λが、ガウス加重値を付与する場合には「１」と決定され、単純算術平均を用いる場合には「０」と決定され、Ｐ(ｎ)が、前のステップで得られた入力データを表し、Ｎが、しきい値の範囲内に存在する入力データの総数として求められ、Ｋ(ｎ)が、選別されて入力されたデータＮ個のうち、ｎ番目の画素値が元の画素の入力データの集合における位置を示すことを特徴とする請求項９に記載のイメージセンサの画質改善装置。
【請求項１５】
ベイヤーデータからデモザイク処理により得られたＲＧＢカラー映像データをＹＣｂＣｒカラー空間データに変換する第１ステップと、
前記ＹＣｂＣｒカラー空間データに変換されたデータのうち、Ｃｂ及びＣｒデータの色相ノイズを除去する第２ステップであって、前記Ｃｂ及びＣｒデータの中間位置に位置するデータを用いて、濾過過程で用いられるしきい値を決定する、ステップと、
前記色相ノイズが除去されたＣｂ及びＣｒデータと前記ＹＣｂＣｒカラー空間データに変換されたＹデータとをＲＧＢカラー空間データに変換する第３ステップと
を含み、前記しきい値が、周辺画素に付加されたノイズの確率的特性がガウス分布に従う場合、画素間の偏差を算出して得られた標準偏差をσとし、中間に位置する画素のデータ値をＰ５とし、それぞれ最小しきい値が、Ｐ５−３×σ、最大しきい値が、Ｐ５＋３×σとして決定される、イメージセンサの画質改善方法。
【請求項１６】
前記ＲＧＢカラー映像データを前記ＹＣｂＣｒカラー空間データに変換する前記第１ステップが、行列とベクトルとの積を用いることを特徴とする請求項１５に記載のイメージセンサの画質改善方法。
【請求項１７】
前記ＹＣｂＣｒカラー空間データに変換されたＣｂ及びＣｒデータが、色相情報を含むことを特徴とする請求項１５に記載のイメージセンサの画質改善方法。
【請求項１８】
前記Ｃｂ及びＣｒデータの色相ノイズを除去する前記第２ステップが、前記決定されたしきい値を用いて、平滑化処理を行うステップであることを特徴とする請求項１６に記載のイメージセンサの画質改善方法。
【請求項１９】
前記Ｃｂ及びＣｒデータの色相ノイズを除去する前記第２ステップが、１次元または２次元の濾過器を用いて実施するステップであることを特徴とする請求項１５に記載のイメージセンサの画質改善方法。
【請求項２０】
前記Ｃｂ及びＣｒデータの色相ノイズを除去する前記第２ステップが、
前記Ｃｂ及びＣｒデータを順次レジスタに記録する第４ステップと、
前記レジスタに記録されたデータのうち、中間位置に位置するデータを用いて、濾過過程で用いられるしきい値を決定する第５ステップと、
前記しきい値を用いて、前記レジスタに記録されたデータを選別する第６ステップと、
前記選別されたデータの色相ノイズを除去する第７ステップと
を含むことを特徴とする請求項１５に記載のイメージセンサの画質改善方法。
【請求項２１】
前記Ｃｂ及びＣｒデータが、前記レジスタにパイプライン形態で記録及び出力されることを特徴とする請求項２０に記載のイメージセンサの画質改善方法。
【請求項２２】
前記しきい値を決定する前記第５ステップが、前記レジスタに記録されたデータから中間に位置するデータの入力値を用い、濾過過程で用いられる前記しきい値を決定することを特徴とする請求項２０に記載のイメージセンサの画質改善方法。
【請求項２３】
前記しきい値を決定する前記第５ステップが、次の式６
【数６】
0004654118.tif 000009
を用いて、前記しきい値を算出し、
前記式６において、Ｃｂ(ｎ)が、前記レジスタ部に記録された全ての画素のデータ値を表し、ｍｉｎ｛｝が、｛｝内のデータ値の最小値を算出する処理を表し、ｍａｘ｛｝が、｛｝内のデータ値の最大値を算出する処理を表し、前記しきい値が、３σと前記最小値及び最大値の平均値の１/２の値のうち、最小値として決定されるＴｈを用いて、前記式６によって決定されることを特徴とする請求項１５に記載のイメージセンサの画質改善方法。
【請求項２４】
前記レジスタに記録されたデータを選別する前記第６ステップが、前記レジスタから順次入力されるデータを前記しきい値を用いて選別するステップであることを特徴とする請求項２０に記載のイメージセンサの画質改善方法。
【請求項２５】
前記選別されたデータの色相ノイズを除去する前記第７ステップが、
前記選別されたデータに対して選択信号に応じて、平滑化処理で使用される加重値を選択する第８ステップと、
前記選択された加重値と前記選別されたデータとを掛け算する第９ステップと、
前記掛け算されて得られたデータを順次加算して第１加算データを生成する第１０ステップと、
前記選択された加重値を順次加算して第２加算データを生成する第１１ステップと、
前記第１加算データを前記第２加算データで除して、前記第１加算データを正規化する第１２ステップと
を含むことを特徴とする請求項２０に記載のイメージセンサの画質改善方法。
【請求項２６】
前記選択された加重値が、ガウス加重値またはユニット加重値であることを特徴とする請求項２５に記載のイメージセンサの画質改善方法。
【請求項２７】
前記ユニット加重値が、算術的平均のための加重値であることを特徴とする請求項２６に記載のイメージセンサの画質改善方法。
【請求項２８】
前記選択信号が、ユーザにより設定されることを特徴とする請求項２５に記載のイメージセンサの画質改善方法。
【請求項２９】
前記選択された加重値と前記選別されたデータとを掛け算する第９ステップが、前記選択された加重値と前記選別されたデータとを順次１つずつ掛け算するステップであることを特徴とする請求項２５に記載のイメージセンサの画質改善方法。
【請求項３０】
前記選別されたデータの色相ノイズを除去する前記第７ステップが、次の式７
【数７】
0004654118.tif 000010
を用いて、前記選別されたデータに対する平滑化処理を行い、
前記式７において、λが、ガウス加重値を付与する場合には「１」と決定され、単純算術平均を用いる場合には「０」と決定され、Ｐ(ｎ)が、前のステップで得られた入力データを表し、Ｎが、しきい値の範囲内に存在する入力データの総数として求められ、Ｋ(ｎ)が、選別されて入力されたデータＮ個のうち、ｎ番目の画素値が元の画素の入力データの集合における位置を示すことを特徴とする請求項２５に記載のイメージセンサの画質改善方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、半導体技術に関し、特に、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ及びＣＣＤ(Charge Coupled Device)などのイメージセンサの色相ノイズを除去し、画質を改善するための装置及びその方法に関する。
【背景技術】
【０００２】
最近、デジタルカメラは、インターネットを用いた映像通信の普及と共にその需要が爆発的に増加する傾向にある。さらに、カメラが装着されたＰＤＡ(Personal Digital Assistant)、ＩＭＴ−２０００(International Mobile Telecommunications-2000)端末器、ＣＤＭＡ(Code Division Multiple Access)端末器などの移動通信端末器の普及が進展するにつれて、小型カメラモジュールの需要が増大している。
【０００３】
カメラモジュールは、基本的にイメージセンサを備えている。一般に、イメージセンサとは、光学映像(optical image)を電気信号に変換する素子のことをいう。このようなイメージセンサとしては、電荷結合素子(Charge Coupled Device、以下「ＣＣＤ」という)とＣＭＯＳイメージセンサが広く用いられている。
【０００４】
ＣＣＤは、駆動方式が複雑で、消費電力が多く、製造時にマスク工程数が多く工程が複雑であり、信号プロセシング回路(signal processing circuit)をチップ内に集積できず、ワンチップ化が難しい等の様々な短所がある。これに対し、ＣＭＯＳイメージセンサは、単一チップ上に、制御、駆動及び信号処理回路のモノリシック集積が可能であるため、近年さらに注目を浴びている。その上、ＣＭＯＳイメージセンサは、低電圧動作、低消費電力、周辺機器との互換性及び標準ＣＭＯＳ製造工程が利用可能であることなどによって、既存のＣＣＤに比べて費用面で有利である。
【０００５】
しかし、ＣＭＯＳイメージセンサにおいて、受光素子、例えばフォトダイオードにより生成されたアナログ信号は、寄生キャパシタンス、抵抗、暗電流漏れまたは半導体素子の特性の不一致などにより引き起こされる様々な寄生効果(Parasitic effect)を有する。このような寄生効果は、半導体素子では、必然的に発生するものであって、イメージ信号のＳＮ比（信号対ノイズ比）の低下を引き起こす。したがって、ノイズは、ＣＭＯＳイメージセンサの性能を制限する重要な要因である。
【０００６】
ＣＭＯＳイメージセンサでノイズが発生する原因は、イメージデータのサンプリングと関連するｋＴ／Ｃノイズ、イメージ信号を増幅するために用いられる回路と関連する１／ｆノイズ及びセンサの信号処理回路の不一致と関連する固定パターンノイズ(Fixed Pattern Noise、以下「ＦＰＮ」という)等がある。ＦＰＮは、イメージ内に縦線またはストリップ(strip)として現れ、人の目で容易に認識されるため、視覚的に非常に好ましくない。
【０００７】
このようなイメージセンサでは、映像を処理するためにＩＳＰ(Image Sensor Processor)を設けている。ＩＳＰは、イメージセンサのイメージ品質を改善するために様々な方式で設計されている。様々な方式のうち、１つがデモザイク(de-mosaic)技術である。
【０００８】
図１は、ベイヤーパターン(bayer pattern)を示す図である。
【０００９】
図１に示されているように、各画素は、単一の色相情報（Ｒ、Ｇ、またはＢデータ）のみを有しているため、ベイヤーパターンを採用している全てのイメージセンサでは、各画素が有する単一の色相以外の残りの２つの色相情報を得るために、即ち、周囲の相違した色相情報を用いて各画素の未知の色相に関する予測値を生成するために、デモザイク処理が要求される。
【００１０】
デモザイク処理は、基本的にデータ補間処理に属する。デモザイク処理のうち、最も簡単な方法には、隣接する画素の色相情報を変更せずに、そのまま使用する０次補間処理がある。また、周辺の相違した色相情報を全て用いる線形補間処理、そして周辺の画素に対して加重値を割り当てることによって、適応的に値を算出する適応的補間処理がある。しかし、このようなデモザイク処理は、ベイヤーパターンが有している根本的な限界によって、虚偽の色を生じる色相ノイズを引き起こす。
【００１１】
図２Ａは、原本のカラー映像を示す図であり、図２Ｂは、図２Ａの原本のカラー映像に対してデモザイク処理を行った結果を示す図であり、デモザイク処理のうち、線形補間処理を用いて得たカラー映像である。図２Ａに示す原本カラー映像と比較すると、図２Ｂでは、映像内の被写体の境界部分で原本のカラー映像には存在しなかった色相ノイズが発生していることを確認することができる。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであって、その目的は、ベイヤーパターンに基づく単一チャネル画素構造からＲ(Ｒｅｄ)、Ｇ(Ｇｒｅｅn)、Ｂ(Ｂｌｕｅ)の３チャネルデータを生成するためのデモザイク処理に伴う色相ノイズを適応的に除去できるイメージセンサの画質改善装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために本発明は、ベイヤーデータからデモザイク処理によって生成されたＲＧＢカラー映像データをＹＣｂＣｒカラー空間データに変換してＹ、Ｃｂ及びＣｒデータを出力する第１変換部と、該第１変換部から出力されるＣｂ及びＣｒデータの色相ノイズを除去する色相ノイズ除去部と、該色相ノイズ除去部から出力されるＣｂ及びＣｒデータと前記第１変換部から出力されるＹデータとをＲＧＢカラー空間データに変換する第２変換部と、を備えるイメージセンサの画質改善装置を提供する。
【００１４】
また、上述した目的を達成するために本発明は、ベイヤーデータからデモザイク処理によって生成されたＲＧＢカラー映像データをＹＣｂＣｒカラー空間データに変換するステップと、前記ＹＣｂＣｒカラー空間データに変換されたデータのうち、Ｃｂ及びＣｒデータの色相ノイズを除去するステップと、前記色相ノイズが除去されたＣｂ及びＣｒデータと前記ＹＣｂＣｒカラー空間データに変換されたＹデータとをＲＧＢカラー空間データに変換するステップと、を含むイメージセンサの画質改善方法を提供する。
【発明の効果】
【００１５】
本発明によれば、ベイヤーパターンに対して、デモザイク処理を行う時に発生する色相ノイズを適応的に平滑化することによって、さらに画質が改善された映像を提供することができる。
【００１６】
また、本発明によれば、分離されたチャネルを平滑化することによって映像信号のＳＮ比（信号対ノイズ比）を向上させるので、全てのベイヤーパターンを採用しているイメージセンサにおいて画質の良好な映像を実現することができる。
【００１７】
また、本発明によれば、その使用目的と応用によって、ビデオ追跡技術においては、認識及び追跡の精度を向上させることができる。
【００１８】
また、本発明によれば、モバイルイメージセンサにおいては、画質が改善された映像を提供することができ、ユーザのさらに高い要求に応ずることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明のもっとも好ましい実施の形態を添付する図面を参照して説明する。
【００２０】
図３は、本発明の実施の形態に係るイメージセンサの画質改善装置の構成を示すブロック図である。
【００２１】
図３に示されているように、本発明の実施の形態に係るイメージセンサの画質改善装置は、図１に示されているようなベイヤーデータに対してデモザイク処理を行うデモザイク部１０と、デモザイク部１０から出力されるＲＧＢカラー映像データをＹＣｂＣｒカラー空間データに変換するＹＣｂＣｒカラー空間変換部２０と、ＹＣｂＣｒカラー空間変換部２０から出力されるＣｂ、Ｃｒデータによって独立に平滑化処理を行い、色相ノイズを除去する適応的カラーノイズフィルタリング部３０と、適応的カラーノイズフィルタリング部３０から出力されるＣｂ、ＣｒデータとＹＣｂＣｒカラー空間変換部２０から出力されるＹデータとをＲＧＢカラー空間データに変換するＲＧＢカラー空間変換部４０とを備える。
【００２２】
ＹＣｂＣｒカラー空間変換部２０は、行列とベクトルとの積を用いて、ベイヤーデータからデモザイク処理により得られたＲＧＢカラー映像データをＹＣｂＣｒカラー空間データに変換して出力する。行列とベクトルとの積を用いた変換方法の一例を下記の式１に示す。
【００２３】
【数１】
0004654118.tif 000002
式１により得られたＣｂ、Ｃｒデータは、大部分の色相情報を含んでいるため、デモザイク処理によって生じる色相ノイズを除去するのに適している。
【００２４】
色相ノイズ除去部である適応的カラーノイズフィルタリング部３０は、ＹＣｂＣｒカラー空間変換部２０によって変換されたＣｂ、Ｃｒデータに対して、独立に平滑化を行う適応的平滑化処理を用いる。ここで、適応的平滑化処理とは、平滑化する過程で、領域に応じて異なるように平滑化処理を行うことを意味する。例えば、Ｃｂ、Ｃｒデータが記録されるカーネル(kernel：処理対象の複数画素の領域)内にエッジ(または、境界領域)が存在する場合、単純にカーネル内全ての要素（画素値）を平均し、その平均値を抽出する処理では、境界部分が鈍るという問題が発生する。したがって、本発明では、入力されるデータの中間位置の入力値を用いて濾過（フィルタ処理）過程で用いられるしきい値を決定し、この決定されたしきい値を用いて平滑化を行う。このような方法を適応的平滑化処理という。
【００２５】
一例として図６を用いて、適応的平滑化処理に関して説明する。ここで、カーネルサイズは９であり、データはこのカーネル内で順次入力されることとする。
【００２６】
図６に示されているように、入力される入力データにおいて中央位置の画素値は、Ｐ５であり、この中央画素Ｐ５を中心に周辺画素の平滑化処理(適応的平滑化処理)を行う。仮に、中央画素を設定せずに平滑化処理(非適応的平滑化処理)を行う場合、「Ｂ１」で示されたように色相ノイズをある程度除去することができるが、「Ａ１」で示されたように境界領域で薄暗く滲む現象が発生して、素子特性に悪影響を及ぼすことになる。
【００２７】
このように、非適応的平滑化処理を適用する際に境界部分で発生する色が滲む現象を防止するために、適応的平滑化処理では、中央画素Ｐ５の値を基準にある程度の範囲(しきい値により決定される範囲)内に入る周辺画素のみを平滑化処理に用い、「Ａ２」で示されたように、明るさのレベルが緩やかに変化して色が滲む現象の発生を抑えて、「Ｂ２」で示されたようにノイズを除去する。周辺画素を選択する範囲は、図６に示した「Ｔｈｒｅｓｈｏｌｄ１」と「Ｔｈｒｅｓｈｏｌｄ２」とにより決定される。したがって、入力される画素値のうち、中央の画素値に対して、その値と類似したレベルにある値のみを平滑化処理で使用することによって、境界領域に対して適応的に平滑化処理が行われるようになる。
【００２８】
上述したように、適応的カラーノイズフィルタリング部３０は、Ｃｂ、Ｃｒデータに対して、独立に適応的平滑化処理を行うために１次元の濾過器(フィルタ)を用いる。１次元の濾過器は、ハードウェアを実現する上でメモリを使用せずに実現できる利点がある。なお、適応的カラーノイズフィルタリング部３０は、１次元の濾過器に限定されず、空間的に余裕がある場合、２次元の濾過器を用いることもできる。
【００２９】
以下では、説明の便宜のために、１次元の濾過器の構成を図４を用いて説明する。
【００３０】
図４に示されているように、１次元の濾過器は、ＹＣｂＣｒカラー空間変換部２０から出力されるＣｂ、Ｃｒデータを順次記録するレジスタ部３１と、レジスタ部３１に記録されたデータのうち、中間位置に位置するデータを用いて、濾過過程で用いられるしきい値を決定する適応的しきい値発生部３２と、適応的しきい値発生部３２から出力されるしきい値Ｔｈｒｅｓｈｏｌｄ１、Ｔｈｒｅｓｈｏｌｄ２を用いて、レジスタ部３１から出力されるデータを選別するデータ選別部３３と、データ選別部３３によって選別されたデータを選択信号によって、平滑化を行う線形フィルタ部３４とを備える。
【００３１】
レジスタ部３１は、ＣｂデータまたはＣｒデータを順次受信し、パイプライン形態で記録する。すなわち、イメージセンサから得られる各画素値がパイプライン形態でリアルタイムに伝達されるため、中央画素と、それを基準として隣接するＮ個の画素とを用いて平滑化処理を行う間、それぞれのレジスタにＮ＋１個のデータを記録しなければならない。例えば、図４に示されているように、中央画素を基準に隣接する８個の画素を用いて、平滑化を行う間、それぞれのレジスタに９個のデータを記録する。この他、レジスタ部３１は、より多い数の周辺画素を参照して平滑化を行う場合、１１個、１３個等とその範囲を拡張したり、逆に、参照される周辺画素数を少なくするには、７個、５個等とその範囲を縮小することができる。
【００３２】
適応的しきい値発生部３２は、イネーブル信号Ｅｎａｂｌｅによって動作してレジスタに記録されたＮ＋１(ここで、Ｎは周辺画素の個数であり、例えば９)個のデータから中央に位置するデータの入力値を用いて、濾過過程で用いられるしきい値を決定する。ここで、しきい値は、周辺画素に付加されたノイズの確率的特性がガウス分布するという仮定の下で、画素間の偏差を算出して得られた標準偏差σを用いて、それぞれ最小しきい値は「Ｐ５−３×σ」、最大しきい値は「Ｐ５＋３×σ」で決定される。ここで、Ｐ５は中央の画素のデータ値を表す。このような数式は、ガウス分布でノイズが存在する確率の９９％が平均値を中心に±３σ内に存在するという特性を考慮して決定している。そして、９個の記録された画素値に対して、位相学的構造を参照し、このような画素値の分布が階段関数となる場合を考慮して、下記の式２で最終的にしきい値Ｔｈｒｅｓｈｏｌｄ１、Ｔｈｒｅｓｈｏｌｄ２を算出する。
【００３３】
【数２】
0004654118.tif 000003
データ選別部３３は、レジスタ部３１から順次入力されるデータを適応的しきい値発生部３２によって決定されたしきい値Ｔｈｒｅｓｈｏｌｄ１、Ｔｈｒｅｓｈｏｌｄ２を用いて選別する。式２において、Ｐ１〜Ｐ９の符号は、レジスタ部３１に記録された各画素値を表し、ｍｉｎ｛｝は、集合内の最小値（｛｝で挟まれた要素の中の最小値）を算出すること、ｍａｘ｛｝は、集合内の最大値（｛｝で挟まれた要素の中の最大値）を算出することを表す。最終的にしきい値Ｔｈｒｅｓｈｏｌｄ１、Ｔｈｒｅｓｈｏｌｄ２は、カーネル内の異なる明るさレベルを侵犯しないために、３σと、最小値及び最大値の平均値の１／２の値とのうちの、最小値（小さい方の値）Ｔｈを用いて決定される。即ち、しきい値Ｔｈｒｅｓｈｏｌｄ１、Ｔｈｒｅｓｈｏｌｄ２はそれぞれ、式２によって求められるＴｈ１、Ｔｈ２である。
【００３４】
図４に示されているように、データ選別部３３は、しきい値Ｔｈｒｅｓｈｏｌｄ１、Ｔｈｒｅｓｈｏｌｄ２を基準に、レジスタ部３１から順次入力されるデータを判別し、平滑化時に用いられる２次入力値を選別する。例えば、レジスタ部３１から入力されるデータが、Ｔｈ１（Ｔｈｒｅｓｈｏｌｄ１）よりも大きく、Ｔｈ２（Ｔｈｒｅｓｈｏｌｄ２）よりも小さな値ならば、入力されたデータは２次入力値として選別される。このように、選別されたデータは、中央画素を基準にガウス分布する加重値を付与することもでき、単純に算術的平均によって平滑化することもできる。その他のデータは、２次入力値として選択されない。例えば、図６では選別されたデータは、Ｐ５〜Ｐ９になり、選別されないデータは、Ｐ１〜Ｐ４となる。
【００３５】
線形フィルタ部３４は、データ選別部３３によって選別されたデータを用いて平滑化処理を行う。このような線形フィルタ部３４の一例を図５に示している。
【００３６】
図５に示されているように、線形フィルタ部３４は、選択信号Ｓｅｌｅｃｔｉｏｎ（λ）により、平滑化のための加重値(weight)を選択するための選択部、例えばマルチプレクサ３４１、マルチプレクサ３４１により選択された加重値とデータ選別部３３からの選別されたデータ（２次入力値）とを掛け算する掛け算器３４２、掛け算器３４２から出力されたデータを順次加算する第１累算器３４３、マルチプレクサ３４１により選択された加重値を順次加算する第２累算器３４４、及び、第１累算器３４３から出力されたデータＳ１を正規化するために、第２累算器３４４から出力されるデータＳ２でデータＳ１を除する分配器３４５を備える。
【００３７】
マルチプレクサ３４１は、選択信号Selectionによって、ガウス加重値Ｇａｕｓｓｉａｎ  Ｗｅｉｇｈｔまたはユニット加重値Ｕｎｉｔ  Ｗｅｉｇｈｔ「１」の何れかを選択して出力する。ここで、ユニット加重値は、算術的平均のための加重値である。例えば、選択信号Selection（λ)が、「０」の場合、ユニット加重値Ｕｎｉｔ  Ｗｅｉｇｈｔ、すなわち、単純平均を選択し、「１」の場合、ガウス加重値Ｇａｕｓｓｉａｎ  Ｗｅｉｇｈｔを選択して出力する。ここで、選択信号Selection（λ）は、ユーザによって設定される。
【００３８】
掛け算器３４２は、マルチプレクサ３４１により選択された加重値と、データ選別部３３から選別されて順次入力されるデータとを１つずつ掛け算して出力する。例えば、マルチプレクサ３４１によりユニット加重値Ｕｎｉｔ  Ｗｅｉｇｈｔが選択された場合、データ選別部３３から順次入力される各データに「１」を掛けて、ガウス加重値Ｇａｕｓｓｉａｎ  Ｗｅｉｇｈｔが選択された場合、各データにガウス加重値を掛ける。
【００３９】
第１累算器３４３は、掛け算器３４２によって掛け算されて算出された値を順次加算する。
【００４０】
第２累算器３４４は、マルチプレクサ３４１から出力された加重値を順次加算する。
【００４１】
分配器３４５は、第１累算器３４３から出力されたデータＳ１を正規化するために、第２累算器３４４から出力されたデータＳ２でデータＳ１を除して、平滑化されたデータ、例えばＣｂまたはＣｒを出力する。
【００４２】
下記の式３は、最終的なユーザの指定（選択信号Ｓｅｌｅｃｔｉｏｎ（λ））と平滑化の関係式を表している。
【００４３】
【数３】
0004654118.tif 000004
式３においてλは、ユーザの指定によってガウス分布の加重値を付与する場合には「１」、そうではなく、単純に算術平均を用いる場合には「０」と決定される。また、Ｐ(ｎ)は、前のステップで得られた入力データを示し、この時、Ｎは、しきい値の範囲内（Ｔｈｒｅｓｈｏｌｄ１〜Ｔｈｒｅｓｈｏｌｄ２）に存在する入力データの総数として求められる。そして、式３において、右辺の１番目の項に示した「Ｃ」は、下記の式４に示され、これは、入力されたデータの総エネルギーを保存するための定数である。また、Ｋ(ｎ)は、選別されて入力されたデータＮ個のうち、ｎ番目（１≦ｎ≦Ｎ）の画素値が元の９個の画素から構成される入力データの集合の中で占める位置を表す。例えば、あるデータに関してｎ＝２であり、対応する画素値の位置が元の集合の３番目であれば、Ｋ(２)＝３である。
【００４４】
【数４】
0004654118.tif 000005
以上の平滑化処理を全ての入力画素に対して行うことによって、ノイズが除去されたＣｂデータまたはＣｒデータ(平滑化されたＣｂデータまたはＣｒデータ)を得ることができる。
【００４５】
ＲＧＢカラー空間変換部４０は、適応的カラーノイズフィルタリング部３０から出力されるＣｂ、Ｃｒデータ(平滑化されたＣｂデータまたはＣｒデータ)とＹＣｂＣｒカラー空間変換部２０から出力されるＹデータとをＲＧＢカラー空間データに変換して出力する。すなわち、ＹＣｂＣｒデータをＲＧＢカラーデータに変換する。行列とベクトルとの積を用いた変換のうち、一例を下記の式５に示す。
【００４６】
【数５】
0004654118.tif 000006
図７Ａ〜７Ｄは、本発明の実施の形態に係るイメージセンサの画質改善装置の効果を示す図である。
【００４７】
図７Ａは原本の映像を示す図であり、図７Ｂは、図７Ａに対してベイヤーパターンに変換した映像を示す図であり、図７Ｃは、図７Ｂに対してデモザイク処理を行った結果を示す図であり、図７Ｄは、図７Ｃに対して本発明の実施の形態に係る画質改善方法を適用し、色相ノイズを除去した結果を示す図である。
【００４８】
尚、本発明は、上記の実施の形態に限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で、上記した実施の形態を様々に変更することが可能であり、それらも本発明の技術的範囲に属する。
【図面の簡単な説明】
【００４９】
【図１】一般的なベイヤーパターンを示す図である。
【図２Ａ】原本のカラー映像を示す図である。
【図２Ｂ】図２Ａに示した原本のカラー映像にデモザイク処理を行った結果の映像を示す図である。
【図３】本発明の実施の形態に係るイメージセンサの画質改善装置の構成を示すブロック図である。
【図４】図３に示した適応的カラーノイズフィルタリング部の内部構成を示すブロック図である。
【図５】図４に示した線形フィルタ部の内部構成を示すブロック図である。
【図６】図３に示したＹＣｂＣｒカラー空間変換部の動作特性を説明するための図である。
【図７Ａ】原本のカラー映像を示す図である。
【図７Ｂ】図７Ａに示した原本のカラー映像のベイヤーパターン映像を示す図である。
【図７Ｃ】図７Ｂに示したベイヤーパターン映像にデモザク処理を行った結果の映像を示す図である。
【図７Ｄ】図７Ｃに示した映像に本発明の実施の形態に係る画質改善方法を適用して色相ノイズを除去した後の映像を示す図である。
【符号の説明】
【００５０】
１０      デモザイク部
２０      ＹＣｂＣｒカラー空間変換部
３０      適応的カラーノイズフィルタリング部
４０      ＲＧＢカラー空間変換部
３１      レジスタ部
３２      適応的しきい値発生部
３３      データ選別部
３４      線形フィルタ部
３４１    マルチプレクサ
３４２    掛け算器
３４３    第１累算器１
３４４    第２累算器２
３４５    分配器
【図３】
0004654118.tif 000011
【図４】
0004654118.tif 000012
【図５】
0004654118.tif 000013
【図６】
0004654118.tif 000014
【図１】
0004654118.tif 000015
【図２Ａ】
0004654118.tif 000016
【図２Ｂ】
0004654118.tif 000017
【図７Ａ】
0004654118.tif 000018
【図７Ｂ】
0004654118.tif 000019
【図７Ｃ】
0004654118.tif 000020
【図７Ｄ】
0004654118.tif 000021