(57)【特許請求の範囲】
【請求項１】
交互に色付けされたベイヤ配列のフィルタ要素を具備するカラーフィルタを有するセンサにより得られるセンサ信号から出力色信号を生成し輪郭信号を決定する方法であって、
少なくとも１行期間にわたって前記センサ信号を遅延させ、
各色に対して、各色信号のそれぞれにおいて異なる色づけフィルタ要素の位置に対応する位置にゼロ値を挿入して、挿入されたゼロ値を有し相互に少なくとも１行遅延された複数の色信号を供給するステップを含み、前記センサ信号および前記遅延されたセンサ信号から、挿入されたゼロを有する別個の色信号を取り出し、
挿入されたゼロを有する相互に少なくとも１行遅延された複数の前記色信号をフィルタリングして前記出力色信号のそれぞれを得、
挿入されたゼロを有する相互に少なくとも１行遅延された複数の前記色信号をフィルタリングして前記輪郭信号を得る方法。
【請求項２】
交互に色づけされたベイヤ配列のフィルタ要素を具備するカラーフィルタを有するセンサ（S）により得られるセンサ信号から出力色信号を生成し、輪郭信号を決定する装置であって、当該装置が、
少なくとも１行の期間にわたって前記センサ信号を遅延させるための手段、
各色に対して、各色信号のそれぞれにおいて異なる色づけフィルタ要素の位置に対応する位置にゼロ値を挿入して、挿入されたゼロ値を有し相互に少なくとも１行遅延された複数の色信号を供給することを含み、前記センサ信号および前記遅延されたセンサ信号から、挿入されたゼロを有する別個の分離色信号を取り出すための手段、
前記出力色信号のそれぞれを得るために挿入されたゼロを有する相互に少なくとも１行遅延された複数の前記色信号をフィルタリングする手段、及び前記輪郭信号（cont）を得るために挿入されたゼロを有する相互に少なくとも１行遅延された複数の前記色信号をフィルタリングする手段を有する装置。
【請求項３】
センサ信号（RGBin）を生成するために交互に色づけされたフィルタ要素を具備するカラーフィルタを有するセンサ（S）、及び出力色信号（Ro,Go,Bo）を生成し輪郭信号（cont）を決定するための請求項２に記載の装置を有するカメラ。
【発明の詳細な説明】
技術分野
本発明は、色及び輪郭信号を生成するための方法及び装置と、この装置を有するカメラとに関する。
発明の開示
本発明の目的は、とりわけ、色及び輪郭信号の経済的な生成を提供することである。この目的のため、本発明の第１及び第２の特徴は、請求項１及び２でそれぞれ規定されているように、交互に色づけされたフィルタ要素を具備するカラーフィルタを有するセンサにより得られるセンサ信号から出力色信号を生成し、輪郭信号を決定するための装置及び方法を提供する。本発明の第３の特徴は、センサ信号を生成するための交互に色づけされたフィルタ要素を具備するカラーフィルタを有するセンサと請求項２に記載の装置とを有するカメラを提供する。
本発明の第１の特徴によると、交互にカラーフィルタ要素を具備するカラーフィルタを有するセンサにより得られるセンサ信号から出力色信号を生成し、輪郭信号を決定する方法は、以下のステップを有する。センサ信号が少なくとも１行（ライン）期間にわたって遅延される。各色に対して、ゼロの値が異なるカラーフィルタ要素の位置に対応する位置に挿入される。挿入されたゼロ値を持つ相互に少なくとも１行（ライン）遅延した複数の色信号が出力色信号を得るためにフィルタリングされる。挿入されたゼロを持つ相互に少なくとも１行（ライン）遅延された複数の色信号が輪郭信号を得るためにフィルタリングされる。
本発明は、色信号生成のために用いられる行（ライン）メモリが輪郭信号を生成するためにも用いられるので、非常に経済的な解決を提供する利点を生じる。
本発明のこれら及び他の特徴が、これ以降説明される実施例を参照して説明され明らかになるだろう。
【図面の簡単な説明】
第１図はＲＧＢベイヤフィルタの例を示し、第２図は第１図のＲＧＢベイヤフィルタ内のＧＲＢ色のピッチ及びＲＧＢピクセルのサンプル構造を示し、第３図はＲＧＢフィルタアレイの理論的に見積もられたナイキストドメインを示し、第４図はフィルタ係数がどのように５ｘ３の輪郭信号に対して、ゼロを含めて、グリーンピクセルに関係しているかの例を示し、第５図はＲＧＢベイヤセンサに対するパラレルの２Ｄラプラシアン輪郭及びＲＧＢ信号処理を実行するためのプロセッサ及びセンサを有するカメラの実施例を示し、第６図は第５図のパラレルなＲＧＢ及び輪郭処理の詳細を示す。
発明を実施するための最良の形態
レッド-グリーン-ブルー（ＲＧＢ）又はイエロー-グリーン-シアン（ＹＧＣ）ベイヤカラーアレイ及びナイキストドメインの外観がごく簡単に与えられる。第１図はＲＧＢベイヤフィルタの例を示す。Ｈは列（column）を示し、Ｖは行（row）を示す。第２図は、第１図のＲＧＢベイヤフィルタ内のＧＲＢカラーのピッチ及びＲＧＢピクセルのサンプル構造を示す。ピッチｐは同じ色を持つ２つの隣接するピクセルの間の距離である。その逆の値はセンサのＲＧＢ出力の信号の場合に、ピクセル（又はシステム）クロック周波数、すなわちｆｓ＝１／ｐを表す。各ＲＧＢカラーのサンプル周波数は、各ＲＧＢカラーのピクセル間の最短の距離に逆比例し、レッド及びブルーカラーに対して、水平及び垂直サンプル周波数が１／２Ｐ＝ｆｓ／２であり、グリーンに対して斜めのサンプル周波数が１／ｐ√２＝ｆｓ／√２である。
第３図は、理論的に見積もられるナイキストドメインのＲＧＢフィルタアレイを示す。Ｒ／Ｂはレッド／ブルードメインを示し、一方Ｇはグリーンドメインを示す。Ｈは水平解像度を示し、Ｖは垂直解像度を示す。全図は３ＣＣＤカメラのドメインに対応する。実際、グリーン信号は理論的なナイキスト定理により提示される解像度より低い解像度を提供する。ｆｓ／２の近傍では、多くの信号歪みがある。水平方向及び垂直方向でのｆｓ／２近傍の歪みはこれら周波数近傍で輪郭信号生成フィルタにより増幅されることが許容されることはない、さもなければこの歪みはさらに増大するからである。ｆｓ／２近傍の歪みは、方向性の区別が可能ではない。
ゼロが挿入された緑画素とゼロが存在しない緑画素とを同時に用いる処理により、ｆｓ／２近傍の輪郭フィルタゲインが係数の数の関数として最小化される。通常の目的でのフィルタデザインに対して、７ｘ５（水平７、垂直５）の係数のアレイが、中心ピクセルに対して同一の遅延をいつも用いて適用される。実際の状況では、係数の数は、最大フィルタのタイプにより必要とされる大きさにもちろん制限できる。パラレル処理のためのフィルタ係数のいくつかの例が示される。信号振幅を一定にするために、フィルタリングの結果がsigmaX値で除算される。係数[34]は中心のピクセルを表す。
ＲＧＢ信号の再構成のためのフィルタ係数は以下の通りである。
グリーンに対して、
wG[23]=0;wG[24]=1;wG[25]=0;
wG[33]=1;wG[34]=4;wG[35]=1;
wG[43]=0;wG[44]=1;wG[45]=0;
sigmawG=4
レッドとブルーに対して、
wRB[23]=1;wRB[24]=2;wRB[25]=1;
wRB[33]=2;wRB[34]=4;wRB[35]=2;
wRB[43]=1;wRB[44]=2;wRB[45]=1;
sigmawRB=4
いくつかの可能な輪郭信号生成フィルタ係数が述べられるけれども、これらの係数の多くのバリエーションももちろん可能である。
５ｘ３（ＨｘＶ）フィルタに対して、
wc[22]=-2;wc[23]=-1;wc[24]=2;wc[25]=-1;wc[26]=-2;
wc[32]=-2;wc[33]=2;wc[34]=8;wc[35]=2;wc[36]=-2;
wc[42]=-2;wc[43]=-1;wc[44]=2;wc[45]=-1;wc[46]=-2;
sigmawCR=8
fs/2近傍でより少ないゲインを持つ択一的な５ｘ３（ＨｘＶ）フィルタに対して、
wc[22]=-1;wc[23]=0;wc[24]=1;wc[25]=0;wc[26]=-1;
wc[32]=-2;wc[33]=1;wc[34]=4;wc[35]=1;wc[36]=-2;
wc[42]=-1;wc[43]=0;wc[44]=1;wc[45]=0;wc[46]=-1;
sigmawCR=4
７ｘ３（ＨｘＶ）フィルタに対して、
wc[21]=0;wc[22]=-1;wc[23]=-1;wc[24]=2;wc[25]=-1;wc[26]=-1;wc[27]=0;
wc[31]=-2;wc[32]=-2;wc[33]=2;wc[34]=8;wc[35]=2;wc[36]=-2;wc[37]=-2;
wc[41]=0;wc[42]=-1;wc[43]=-1;wc[44]=2;wc[45]=-1;wc[46]=-1;wc[47]=0;
sigmawCR=8
このような７ｘ３（ＨｘＶ）フィルタに対しても、fs/2近傍でより少ないゲインを持つバージョンが可能である。
wc[21]=-1;wc[22]=-1;wc[23]=0;wc[24]=2;wc[25]=0;wc[26]=-1;wc[27]=-1;
wc[31]=-2;wc[32]=-2;wc[33]=2;wc[34]=8;wc[35]=2;wc[36]=-2;wc[37]=-2;
wc[41]=-1;wc[42]=-1;wc[43]=0;wc[44]=2;wc[45]=0;wc[46]=-1;wc[47]=−1;
sigmawCR=8
fs/2近傍で多くのゲインを避けるための簡易なやり方は、中心ピクセルを囲む負の係数をゼロにすることである。すなわち、wc[23]=0,wc[25]=0及びwc[43]=0,wc[45]=0である。しかしながら、このことは、sigmawCR値が、現在あるように、グリーンの中心ピクセルに対してと同様にミッシンググリーンに対して適切となるやり方でなされなければならない。
５ｘ５フィルタに対して、
wc[12]=0;wc[13]=-1;wc[14]=-1;wc[15]=-1;wc[16]=0;
wc[22]=-1;wc[23]=-1;wc[24]=2;wc[25]=-1;wc[26]=-1;
wc[32]=-1;wc[33]=2;wc[34]=8;wc[35]=2;wc[36]=-1;
wc[42]=-1;wc[43]=-1;wc[44]=2;wc[45]=-1;wc[46]=-1;
wc[52]=0;wc[53]=-1;wc[54]=-1;wc[55]=-1;wc[56]=0;
sigmawCR=8
他の５ｘ５フィルタに対して、
wc[12]=0;wc[13]=-1;wc[14]=-2;wc[15]=-1;wc[16]=0;
wc[22]=-1;wc[23]=0;wc[24]=2;wc[25]=0;wc[26]=-1;
wc[32]=-2;wc[33]=2;wc[34]=8;wc[35]=2;wc[36]=-2;
wc[42]=-1;wc[43]=0;wc[44]=2;wc[45]=0;wc[46]=-1;
wc[52]=0;wc[53]=-1;wc[54]=-2;wc[55]=-1;wc[56]=0;
sigmawCR=8
７ｘ５フィルタに対して、
wc[11]=-2;wc[12]=-3;wc[13]=-2;wc[14]=-3;wc[15]=-2;wc[16]=-3;wc[17]=-2;wc[21]=0;wc[22]=-2;wc[23]=0;wc[24]=6;wc[25]=0;wc[26]=-2;wc[27]=0;
wc[31]=0;wc[32]=-3;wc[33]=6;wc[34]=24;wc[35]=6;wc[36]=-3;wc[37]=0;
wc[41]=0;wc[42]=-2;wc[43]=0;wc[44]=6;wc[45]=0;wc[46]=-2;wc[47]=0;
wc[51]=-2;wc[52]=-3;wc[53]=-2;wc[54]=-3;wc[55]=-2;wc[56]=-3;wc[57]=-2;
sigmawCR=24
これらのタイプのフィルタを用いるパラレルの処理方法が、センサがＲ，Ｇ又はＢ信号を示さないその位置でＲ，Ｇ及びＢ信号がフィルタリングされてゼロとなることを必要とすることは重要である。第６図の実施例でのゼロスイッチボックスを参照されたい。
レッド（又はブルー）信号に対して、ゼロが下記のように挿入される。
RORORO
OOOOOO
RORORO等。
一方グリーン及び輪郭信号に対して、ゼロが下記のように挿入される。
OGOGOG
GOGOGO等。
第４図は、フィルタ係数がどのように５ｘ３の輪郭信号に対して、ゼロを含めて、グリーンピクセルに関係するかの例を示す。左及び右上部の画像は、ゼロを持つグリーンを示し、一方左右の下の画像はフィルタ係数を示す。
第５図は、ＲＧＢベイヤセンサＳに対するパラレルな２Ｄラプラシアン輪郭及びＲＧＢ信号処理を実施するためのプロセッサ及びセンサを有するカメラの実施例を示す。第１図のＲＧＢベイヤカラーフィルタを持つセンサＳからのＲＧＢ入力信号ＲＧＢｉｎが、直接及び第１、第２水平行遅延（１Ｈ）を介して、ＲＧＢ及びパラレルの輪郭プロセッサＲＧＢｐｒｏｃの入力部へ与えられ、このプロセッサは輪郭信号ｃｏｎｔと同様にＲＧＢ出力信号Ｒｏ,Ｇｏ,及びＢｏを供給する。
この処理方法のために、たった２つの水平行遅延（１Ｈ）が必要なだけである。ＲＧＢ再構成の後で２Ｄのラプラシアン輪郭信号生成フィルタがおかれていたならば、合計４つの行遅延が必要となっただろう。ｆｓ／２近傍の歪みのために、ＲＧＢ再構成の後のこのような輪郭信号生成フィルタは、第５図のパラレルな輪郭処理よりは良くはないだろう。
第６図は、第５図のパラレルなＲＧＢ及び輪郭処理の詳細を示す。２ＤラプラシアンＲＧＢ及び輪郭信号生成フィルタを適用可能にするために、ＲＧＢ信号に対するゼロスイッチボックスＺＳＢを示す。ｍ行の遅延及びｎピクセルの遅延が生成されるべき出力信号（Go,cont,Ro,Bo）の各々に対して利用可能であるとする。しかしながら、３ｘ３行及びピクセル遅延が充分であることは、前述したＲＧＢ再構成フィルタから明らかになっている。したがって、輪郭信号生成フィルタFcontの選択は、ｍ及びｎの数を決定する。ＲＧＢ入力信号及びそのｎ−１行遅延バージョンは、その出力信号の各々で、イメージセンサ上のカラーフィルタがそれぞれの出力信号とは異なる色を持つ位置にゼロを挿入するためのゼロスイッチボックスＺＳＢに与えられる。各色（Ｇ，Ｒ，Ｂ）に対して、ゼロスイッチボックスＺＳＢは、入力と同じ出力ライン（ｎ）を持つ。ゼロスイッチボックスＺＳＢのグリーン出力ラインは、（グリーンカラーフィルタＦＧにより）グリーン出力信号及び（輪郭信号生成フィルタFcontにより）輪郭信号ｃｏｎｔの両方を生成するために用いられる。グリーンカラーフィルタＦＧでは、ゼロスイッチボックスＺＳＢの各出力ラインは、ｍピクセル遅延（ｍｘｐｉｘ）を持つフィルタセクションＦＳ１（ＦＳ２，ＦＳ３）、ｍ個のそれぞれのフィルタ重み付け（ｍｘｆｉｌｔ）により多重化するためのｍピクセル遅延のそれぞれの出力に結合されたｍ個のマルチプレクサ、及びｍ個のマルチプレクサの出力を加算するための加算器Ａｆ１（Ａｆ２，Ａｆ３）に与えられる。出力加算器Ａ０は、ｎ個のフィルタ区分加算器Ａｆ１，Ａｆ２，Ａｆ３等の出力を加算する。各々がｎ個のフィルタ区分を持つ、類似したフィルタFcont,FR,FBは、輪郭信号cont、レッド出力信号RO及びブルー出力信号BOをそれぞれ生成するためにある。
本発明の基本的特徴は、下記のように要約することができる。ＲＧＢベイヤカラーフィルタアレイを具備する単一のセンサのデジタルスチルカメラは、ＲＧＢカラー再構成とパラレルに動作する、すなわちセンサにより示される利用可能な及びミッシンググリーンピクセルに直接的な、１次元又は２次元（１Ｄ、２Ｄ）輪郭信号生成フィルタを具備できる。この方法の利点は、ＲＧＢ信号の再構成の後で輪郭処理が不必要になったことである。特に、後続に２Ｄ輪郭処理が計画されるならば、このことはチップ領域をセーブできる、なぜなら余分な行遅延が必要ではないからである。好ましい実施例が、以下の利点ある特徴を示す：ＲＧＢ及び輪郭信号のラプラシアンフィルタリングを可能にするゼロスイッチボックス、オリジナルセンサグリーンデータを持ってパラレルな輪郭処理、である。このことは、ＲＧＢ再構成の後で２次元輪郭処理が設けられている設計と比較して、行遅延をセーブする。輪郭信号生成フィルタ係数の基本的構成が第４図に示された。輪郭信号生成フィルタ係数又はこれらの変形が示された。
上述の実施例は本発明をどちらかというと制限して説明されていて、当業者が特許請求の範囲から離れることなしに、多くの択一的実施例を設計できることは注意されたい。請求項では、括弧内の参照番号はクレームを制限するものとみなすべきではない。本発明は、いくつかの明瞭な要素を有するハードウェア、及び適当なプログラムされたコンピュータにより実施される。装置のクレームでは、いくつかの手段が列挙されているが、これらの手段の幾つかは、ハードウェアと全く同一のアイテムにより実現できる。
【図１】
0004404231.tif 000002
【図２】
0004404231.tif 000003
【図３】
0004404231.tif 000004
【図４】
0004404231.tif 000005
【図５】
0004404231.tif 000006
【図６】
0004404231.tif 000007