(57)【要約】  カラー画像のモザイクパターンをデモザイクするための方法及び装置。特に不均一モザイクパターンの場合に画質を高めるため、モザイクパターンのカーネルが選択されるとともに、カーネルのピクセル値が、非線形二次元補間アルゴリズムに従う係数と乗算される。また、選択されたカーネルのピクセルは、非線形二次元補間アルゴリズムの導関数に従う鮮鋭化係数と乗算されてもよい。
2009531928.tif 000002
【特許請求の範囲】
【請求項１】
モザイクカラーフィルタアレイを有する感光イメージセンサからカラービデオ信号を生成する方法であって、特定の色の新たなピクセル値を、矩形のカーネルにおける前記特定の色のカラーピクセルのカラーピクセル値から、前記カラーピクセル値を係数の組と乗算することによって補間するステップと、前記乗算の結果を合計して新たなピクセル値を得るステップとを含む方法において、前記係数の組が非線形二次元補間関数に従うことを特徴とする方法。
【請求項２】
前記係数の組Ｃｉｋが実質的に
【数１】
2009531928.tif 000010
に従い、ｍ及びｎは、選択された矩形のカーネルにおける前記特定の色のカラーピクセルの行及び列の数であり、ｘｉ，ｙｋが前記カラーピクセルの座標であり、ｘ，ｙは、その新たなピクセル値が補間されるべきピクセルの座標である、ことを特徴とする請求項１に記載の方法。
【請求項３】
各ピクセルごとに、カラーピクセルのカーネルが、当該各カーネルが同じ数のカラーピクセルを有するように、ピクセルの不均一パターンから選択されることを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記不均一パターンが「ビニング×２」プロセスによって形成され、各カーネルが５×５カラーピクセルを有する９×９フィールドを備えることを特徴とする請求項３に記載の方法。
【請求項５】
カラービデオ信号の鮮明度を高めることを特徴とするステップを更に含み、当該ステップは、前記カラーピクセルを鮮鋭化係数の組Ｓｉｋと乗算するステップと、前記乗算ステップの結果を合計するステップと、前記合計の結果を使用して新たなピクセルの値を変更するステップとを含み、前記鮮鋭化係数の組は、前記非線形二次元補間関数の二次導関数に従うことを特徴とする請求項１に記載の方法。
【請求項６】
前記係数の組Ｃｉｋが実質的に
【数２】
2009531928.tif 000011
に従い、ｍ及びｎは、選択された矩形のカーネルにおける前記特定の色のカラーピクセルの行及び列の数であり、ｘｉ，ｙｋが前記カラーピクセルの座標であり、ｘ，ｙは、その新たなピクセル値が補間されるべきピクセルの座標であり、前記鮮鋭化係数の組ＳｉｋがΔＣｉｋに実質的に適合し、Δが二次元ラプラシアン演算子を表す、ことを特徴とする請求項５に記載の方法。
【請求項７】
カラービデオ信号を生成するための装置であって、
モザイクカラーフィルタアレイ（Ｃ）を有する感光イメージセンサ（Ｓ）と、
前記イメージセンサから読み取られるピクセルのカーネルを選択し、カーネルの特定の色のピクセル値と係数とを乗算して乗算ピクセル値を取得し、前記乗算ピクセル値を加算してカラービデオ信号の新たなピクセル値を構成することにより、非線形二次元補間アルゴリズムを実行するためのビデオ信号プロセッサ（Ｄ）と、
を備えることを特徴とする装置。
【請求項８】
前記イメージセンサ（Ｓ）から読み取られるピクセルのカーネルを選択し、カーネルの特定の色のピクセルと鮮鋭化係数（Ｓｉｋ）とを乗算し、そのように乗算されたピクセルを加算してカラービデオ信号の新たなピクセルのための鮮鋭化情報（Ｙｓ，Ｙ’ｓ）を構成することによって、二次元鮮鋭化アルゴリズムを実行するためのビデオ信号プロセッサ（Ｄ，Ｅ）を更に備えることを特徴とする請求項７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モザイクカラーフィルタアレイを有する感光イメージセンサからカラービデオ信号を生成するための方法及び装置であって、特定の色の新たなピクセル値を、矩形のカーネルにおける前記特定の色のカラーピクセルのカラーピクセル値から、前記カラーピクセル値を係数の組と乗算することによって補間するとともに、前記乗算の結果を合計して新たなピクセル値を得ることを含む方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラ又はフォトカメラにおける通常のイメージセンサにおいて、色、即ち、赤、緑及び青のためのピクセルは、バイエルパターンと呼ばれる「モザイク」パターンで位置している。最も一般的なのは、一つの赤ピクセルと、一つの青ピクセルと、二つの緑ピクセルとからなる四つ組を備えるＧＲＧＢパターンである。その結果、ピクセルの１／４だけが赤情報を与え、１／４が青情報を与え、ピクセルの残りの半分が緑情報を与える。各色のための総ての（デジタル）信号を得るために、いわゆる「デモザイクアルゴリズム」を用いて、欠けているピクセルが補間されなければならない。
【０００３】
主に、欠けている成分を補間するために使用される水平及び垂直ローパスフィルタによって、デモザイクするための多くの異なる方法が存在する。他の方法は、補間された各出力ピクセルに対して入力画像における最も近いピクセルの値が割り当てられる「最近隣複製（ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ｒｅｐｌｉｃａｔｉｏｎ）」である。最近隣は、上ピクセル、下ピクセル、左ピクセル、右ピクセルのうちのいずれであってもよい。更に他の方法は「双線形補間」である。この双線形補間では、二つの隣り合う赤ピクセル値又は青ピクセル値の平均が、それらのピクセル間の当初の緑位置で、補間されたピクセルに対して割り当てられ、また、四つの隣り合う対角赤／青ピクセル値の平均が、それらのピクセル間の当初の青／赤位置で、補間されたピクセルに対して割り当てられ、また、上側緑ピクセル値、下側緑ピクセル値、右側緑ピクセル値、及び、左側緑ピクセル値の平均が、それらのピクセル間の当初の赤又は青位置で、補間されたピクセルに対して割り当てられる。米国特許出願公開公報第ＵＳ２００５／００３１２２２号（特許文献１）では、「ブロックシフト不変式」と称される説明されていないアルゴリズムが使用されている。
【特許文献１】米国特許出願公開公報第ＵＳ２００５／００３１２２２号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、総ての公知の補間アルゴリズムに伴う問題は、バイエルパターンが均一のとき、即ち、ピクセル位相が一定であるときにだけ、前記アルゴリズムが満足に動作するということである。しかしながら、最も重要なこととしてピクセルビニングにより、バイエルデータが大量演算又はスケーリング演算の対象とされる場合には、結果として得られるバイエルパターンがもはや均一ではなくなり、従来の技術の補間アルゴリズムが満足に動作しない。ピクセルビニングは、画像の視野（ＦｏＶ）が維持されつつピクセルの数を低減するプロセスである。ピクセルビニングは、画像取得の速度に関してＣＣＤ又はＣＭＯＳセンサの感度を高める。このプロセスは、１色のピクセルのグループを取得して、そのようなピクセルのグループを一つの「スーパー」ピクセルへと組み合わせることを伴う。ピクセルビニングはアナログ領域で行われてもよく、それにより、ピクセルのグループの電荷は、「スーパー」ピクセルがより多くの光を保持できるように組み合わされる。これは、必要な露光時間を減少させる効果を有する。また、ピクセルビニングは、ピクセル値を合計する又は平均化することにより、デジタル領域で行うこともできる。ピクセルビニングは、例えば、メガピクセルセンサ（＞１．３メガピクセル）がビデオモード（７２０×５７６ピクセル）で使用されるときに使用されてもよい。ピクセルビニングは、画像分解能を減少させる。しかしながら、ピクセルビニングの欠点は、バイエルパターンの均一性の損失であり、その結果、通常のデモザイクアルゴリズムが粗悪な結果を与える。
【課題を解決するための手段】
【０００５】
本発明の目的は、改良されたカラービデオ信号生成を提供することである。本発明は独立請求項によって規定される。従属請求項が有利な実施の形態を規定する。本発明に係る方法は、係数が非線形二次元補間関数によって得られることを特徴とする。一つの実施の形態では、係数の組Ｃｉｋが実質的に
【数１】
2009531928.tif 000003
に従い、ｍ及びｎは、選択された矩形のカーネルにおける前記特定の色のカラーピクセルの行及び列の数であり、ｘｉ，ｙｋが前記カラーピクセルの座標であり、ｘ，ｙは、補間されるべき新たなピクセルの座標である。この式は、一次元ラグランジュ補間多項式の二次元外延を表している。これについては、Ｊ．Ｓｚａｂａｄｏｓ  ＆  Ｐ．Ｖｅｒｔｅｓｉ  （Ｈｕｎｇａｒｉａｎ  Ａｃａｄ．  ｏｆ  Ｓｃｉ．）による関数の補間（ＩＮＴＥＲＰＯＬＡＴＩＯＮ  ＯＦ  ＦＵＮＣＴＩＯＮＳ）、６頁、式（１．３），ＩＳＢＮ：９９７１５０９１５６−Ｗｏｒｌｄ  Ｓｃｉｅｎｔｉｆｉｃを参照されたい。また、Ｗ．Ｗｅｉｓｓｔｅｉｎ等の「ラグランジュ補間多項式（Ｌａｇｒａｎｇｅ  Ｉｎｔｅｒｐｏｌａｔｉｎｇ  Ｐｏｌｙｎｏｍｉａｌ．）」Ｆｒｏｍ  ＭａｔｈＷｏｒｌｄ−Ａ  Ｗｏｌｆｒａｍ  Ｗｅｂ  Ｒｅｓｏｕｒｃｅ，ｈｔｔｐ：／／ｍａｔｈｗｏｒｌｄ．ｗｏｌｆｒａｍ．ｃｏｍ／ＬａｇｒａｎｇｅＩｎｔｅｒｐｏｌａｔｉｎｇＰｏｌｙｎｏｍｉａｌ．ｈｔｍｌ．を参照されたい。
【０００６】
ビニング方式は、通常、「ビニング×Ｎ（ｂｉｎｎｉｎｇ  ｂｙ  Ｎ）」として特徴付けられる。ここで、Ｎは、１よりも大きい任意の正の整数である。「ビニング×Ｎ」方式では、ピクセル減少がＮ２であり、ピクセル距離（ピクセル位相）が１，２Ｎ−１，１，２Ｎ−１，１．．．だけ変化する。本発明の実施の形態では、「ビニング×２」方式が好ましい。これは、この方式がファクタ４の実用的なピクセル減少を与えるからである。また、このビニング方式を用いると、係数とのデジタル乗算が更に簡単になる。これは、総てが、２の整数乗の分母を有しているからである。
【０００７】
新たなピクセルを計算するために使用されるカラーピクセルの矩形カーネルは、任意の適した大きさを有していてもよい。好ましくは、「ビニング×２」方式において、各カーネルは、５×５カラーピクセルを有する９×９フィールドの大きさを有している。
【０００８】
更に新しいピクセルの補間において、カーネルは、補間されるべきピクセルをカーネルのほぼ中心に維持するようにシフトされてもよい。しかしながら、バイエルパターンが不均一である場合には、いくつかのカーネルが他のカーネルよりも少ないピクセルを有するというリスクが存在する。従って、実施の一形態では、各カーネルが同じ（最大の）数のピクセルを有するようにカーネルが選択されることが好ましい。
【０００９】
再生された画像の鮮明度を向上させることができる可能性を有することがしばしば望ましい。従って、本発明に係る方法は、カラーピクセルを前記非線形二次元補間関数の導関数に従う鮮鋭化係数の組Ｓｉｋと乗算し、前記乗算の結果を合計し、合計の結果を使用して新たなピクセルの値を変更することによって更に特徴付けられてもよい。好ましくは、鮮鋭化係数の組ＳｉｋがΔＣｉｋにほぼ適合し、Δが二次元ラプラシアン演算子を表す。
【００１０】
また、本発明は、カラービデオ信号を生成するための装置であって、モザイクカラーフィルタアレイを有する感光イメージセンサを備え、カラーフィルタのバイエルパターンがセンサの上端に配置されるとともに、イメージセンサから読み取られるピクセルのカーネルを選択し、カーネルの特定の色のピクセルと係数とを乗算し、そのように乗算されたピクセルを加算してカラービデオ信号の新たなピクセル値を構成することにより、非線形二次元補間アルゴリズムを行うように構成されているビデオ信号プロセッサによって特徴付けられる装置に関する。そのような装置は、イメージセンサから読み取られるピクセルのカーネルを選択し、カーネルの特定の色のピクセルと鮮鋭化係数とを乗算し、そのように乗算されたピクセルを加算してカラービデオ信号の新たなピクセルのための鮮鋭化情報を構成することによって、二次元鮮鋭化アルゴリズムを行うように構成されているビデオ信号プロセッサによって更に特徴付けられてもよい。
【００１１】
本発明のこれらの態様及び他の態様は後述する実施の形態から明確になり、当該実施の形態を参照して上記態様について説明する。
【発明を実施するための最良の形態】
【００１２】
図１は、通常はＣＣＤ又はＣＭＯＳイメージセンサの前に配置されて当該センサに入る光の赤成分、緑成分及び青成分をフィルタ除去するカラーフィルタアレイ（ＣＦＡ）のバイエルパターン（の一部）を概略的に表している。当該パターンは、一つの赤ピクセル（Ｒ）、一つの青ピクセル（Ｂ）、及び、二つの緑ピクセル（Ｇｒ，Ｇｂ）のそれぞれの四つ組からなる。二つのタイプの緑ピクセルＧｒ，Ｇｂはそれぞれ、赤ピクセル及び青ピクセルを伴うラインに属している。無論、図１のバイエルパターンは、光がカラーフィルタアレイを通じてイメージセンサに当たるときにイメージセンサによって生成されるカラーピクセルも表している。
【００１３】
バイエルパターンの列は小文字の参照文字ａ．．．．．ｐによって示され、また、パターンの水平ラインは参照数字１．．．．１６によって示される。これらの参照文字及び参照数字は、その左上ピクセル及び右下ピクセルによってピクセルのブロックを示すことを可能にする。例えば、図１に示されるピクセルのブロック全体は、ブロック［ａ１，ｐ１６］として示され得る。
【００１４】
図２及び図３は、ここではアナログ領域で行われるようになっているピクセル「ビニング×２（ｂｉｎｎｉｎｇ  ｂｙ  ２）」方式を示している。ピクセルの３×３ブロックのうち、四つの隅（コーナー）のピクセルは同じ色を有しており、また、これらの四つのピクセルの電荷は、同様のアレイの対応するブロックの中心に蓄積されて蓄電される。これは、Ｇｒコーナーピクセルを有するブロックに関しては図２ａに示され、Ｒコーナーピクセルを有するブロックに関しては図２ｂに示され、Ｂコーナーピクセルを有するブロックに関しては図２ｃに示され、Ｇｂコーナーピクセルを有するブロックに関しては図２ｄに示されている。このビニングプロセスの結果が図３に示されている。尚、例えば図１のアレイのブロック［ｃ１，ｅ３］は、図３のアレイの位置ｄ２でＧｒスーパーピクセルを与えることができない。これは、ピクセルｃ１，ｃ３が既にブロック［ａ１，ｃ３］で使用され、ピクセルｅ１，ｅ３がブロック［ｅ１，ｇ３］で使用されるべきだからである。ビニングプロセスは当初のアレイ内のピクセルを「空にする」ため、一つのピクセルを一つのブロック内でしか使用することができない。これが、図３のアレイがカラーピクセルを伴わない多くのフィールドを有する理由である。その結果、アレイは、ピクセル位相１−３−１−３−１を伴って不均一となる。ピクセル位相は、一つのピクセルから次のピクセルへと進むのに１ステップ、３ステップ、１ステップ等を順に必要とすることを表している。
【００１５】
他のピクセルビニング方式は、５×５ピクセルのブロックにおいて中心フィールドと同じ色を有する８個の総てのピクセルの電荷がその中心フィールドへ移動される「ビニング×３（ｂｉｎｎｉｎｇ  ｂｙ  ３）」である。このビニング方式の利点は、ビニングされたパターンを記憶するために当初のセンサアレイを使用できるという点である。これは、中心フィールドがそれ自体の電荷を維持し且つ８個の同様の色のピクセルから電荷を受け取るからである。「ビニング×３」の欠点は、ピクセルを伴わないフィールドの数が「ビニング×２」を用いる場合よりも多いという点である。「ビニング×２」を用いると、バイエルパターンのフィールドの７５％が空になり、一方、「ビニング×３」を用いると、このパーセンテージがほぼ８９％まで増大する。
【００１６】
図３のバイエルパターンのピクセルは、画像を再生するために使用されなければならない信号をそこから得るために走査されなければならない。バイエルパターンの１カラーピクセルが順次に走査され、ビデオ信号が全体の色情報を並行して（ｉｎ  ｐａｒａｌｌｅｌ）（同時に）含まなければならないため、欠けている色が「デモザイク（ｄｅｍｏｓａｉｃｉｎｇ）」アルゴリズムによって埋められなければならない。
【００１７】
図３のバイエルパターンにおいて、円は、デモザイクアルゴリズムによって生成されなければならないピクセル（の一部）を示している。これらの新たなピクセルは、四つの色を並行して含むだけでなく、バイエルパターン全体にわたるそれらの分布がピクセル位相２−２−２−２を伴って均一であるという特性も有している。尚、これらの「新たな」ピクセルは、図３のバイエルパターンの一部ではなく、物理的なバイエルアレイの１カラーピクセルＧｒ，Ｒ，Ｇｂ，Ｂに対する生成されたビデオ信号におけるそれらの位置を表すためにバイエルパターン中に示される。
【００１８】
デモザイクアルゴリズムは、通常、計算されるべきピクセルの周囲のピクセルのブロック（バイエルカーネル）に関してそれらの計算を行う。そのようなカーネルは、そのサイズが通常は［３×３］，［５×５］，［６×６］であるピクセルの正方形グループである。カーネルのサイズが大きければ大きいほど、デモザイクの複雑度が高くなり、即ち、１ピクセルを計算するために必要とされる加算及び乗算の数が多くなる。
【００１９】
図４は、位置ｈ６における新たなピクセルの計算のために選択される５×５ピクセル（９×９フィールド）カーネル［ｃ２，ｋ１０］を示している。カーネルの略中心に新たなピクセルを有することが重要であるため、カーネルの位置は、計算されるべきピクセルに伴って変化する。以下のシーケンスは、計算されるべき図３に示される新たなピクセルの場所及びその計算のために使用されるカーネルの位置を表している。
ｆ６，［ｂ２，ｊ１０］；ｈ６，［ｃ２，ｋ１０］；ｊ６，［ｆ２，ｎ１０］；１６，［ｇ２，ｏ１０］−−−−ｆ８，［ｂ３，ｊ１１］；ｈ８，［ｃ３，ｋ１１］；ｊ８，［ｆ３，ｎ１１］；１８，［ｇ３，ｏ１１］−−−−ｆ１０，［ｂ６，ｊ１４］；ｈ１０，［ｃ６，ｋ１４］；ｊ１０［ｆ６，ｎ１４］，ｌ１０，［ｇ６，ｏ１４］−−−−ｆ１２，［ｂ７，ｊ１５］；ｈ１２，［ｃ７，ｋ１５］；ｊ１２［ｆ７，ｎ１５］；ｌ１２，［ｇ７，ｏ１５］．
【００２０】
カーネルのこの選択を用いると、各カーネルが最大５×５＝２５個のカラーピクセルを含むことが容易に確認できる。例えば、計算されるべき新たなピクセルと共にカーネルが均一にシフトされる場合、カラーピクセルの不均一な分布は、いくつかのカーネルに他のカーネルよりも少ないカラーピクセルを持たせる。
【００２１】
新たなピクセルは、非線形な二次元の方程式に基づくデモザイクアルゴリズムによってカーネルのカラーピクセルから計算される。
【数２】
2009531928.tif 000004
【００２２】
ここで、ｎは、特定の色のピクセルを含むカーネルにおける列の数であり、ｍは、その色のピクセルを含む行の数である。下付き文字ｉ及びｋは、その列及び行のそれぞれにおけるカラーピクセルのランク数を示している。ｘ及びｙは、計算されるべき新たなピクセルのカーネルにおける位置を規定し、ｘｉ及びｙｋは、カーネルにおけるそれぞれの特定のカラーピクセルの位置を規定している。Ｃｉｋは、以下に従って新たなピクセルの色成分の値Ｐ（ｘ，ｙ）におけるその寄与度を規定するためにカラーピクセルｉ，ｋの値（Ｐｉｋ）が掛け合わされる係数である。
【数３】
2009531928.tif 000005
【００２３】
一例として、図４のカーネル［ｃ２，ｋ１０］のｈ６での新たなピクセルにおける係数は、先に与えられた方程式（Ｉ）を用いて計算される。この計算では、ｘ，ｙ座標の原点の位置を任意に選択することができる。この例において、原点は、四つの総ての色Ｒ，Ｇｂ，Ｂ，Ｇｒに関してフィールドｃ１０で選択される。従って、新たなピクセルの座標はｘ＝５及びｙ＝４である。
【００２４】
図４から分かるように、カーネルの赤色ピクセルにおいては、以下が適用される。
ｎ＝３      ｍ＝３
ｘ１＝０    ｙ１＝０
ｘ２＝４    ｙ２＝４
ｘ３＝８    ｙ３＝８
【００２５】
方程式（Ｉ）を用いると、係数Ｃｉｋは以下のようになる。
Ｃ１３  Ｃ２３  Ｃ３３          ０            ０          ０
Ｃ１２  Ｃ２２  Ｃ３２  ＝  −３／３２    ３０／３２    ５／３２
Ｃ１１  Ｃ２１  Ｃ３１          ０            ０          ０
【００２６】
この行列から分かるように、新たなピクセルの赤成分は、（新たなピクセルの近傍に位置する）ｇ６における赤ピクセルの値の３０／３２＋（新たなピクセルからより離れて位置する）ｋ６における赤ピクセルの値の５／３２−（新たなピクセルからｇ６ピクセルを挟んで更に離れて位置する）ｃ６における赤ピクセルの値の３／３２を有している。他の赤ピクセルは新たなピクセルに寄与しない。これは、ピクセルｃ６，ｇ６，ｋ６が新たなピクセルと同じ水平ライン上に位置しているからである。
【００２７】
カーネルの他のカラーピクセルに関して同じ計算を行うことができる。カーネルのＧｂピクセルの場合には、以下が成り立つ。
ｎ＝３      ｍ＝２
ｘ１＝０    ｙ１＝３
ｘ２＝４    ｙ２＝７
ｘ３＝８
【００２８】
これは、以下の係数を与える。
Ｃ１２  Ｃ２２  Ｃ３２        −３／１２８    ３０／１２８    ５／１２８
＝  
Ｃ１１  Ｃ２１  Ｃ３１        −９／１２８    ９０／１２８    １５／１２８
【００２９】
尚、総ての係数の和は常に１に等しい。このことは、特定の色の総てのカーネルピクセルが同じ値を有するときに、この色に関して新たなピクセルもその値を得ることを意味している。
【００３０】
青色ピクセルにおける値は、以下の通りである。
ｎ＝２      ｍ＝２
ｘ１＝３    ｙ１＝３
ｘ２＝７    ｙ２＝７
【００３１】
これにより、以下の係数行列が与えられる。
Ｃ１２  Ｃ２２          ２／１６    ２／１６
＝
Ｃ１１  Ｃ２１          ６／１６    ６／１６
【００３２】
また、Ｇｒカラーピクセルにおける値は、以下の通りである。
ｎ＝２      ｍ＝３
ｘ１＝３    ｙ１＝０
ｘ２＝７    ｙ２＝４
ｙ３＝８
【００３３】
これにより、以下の行列が与えられる。
Ｃ１３  Ｃ２３            ０        ０
Ｃ１２  Ｃ２２    ＝    １／２    １／２
Ｃ１１  Ｃ２１            ０        ０
【００３４】
図５の装置は、カラーフィルタアレイＣを通じて入ってくる光を受け取るセンサアレイＳを備えている。センサから読み取られるピクセル情報は、「ビニング×２」処理されて第２のアレイＴに記憶され、そのようにビニングされたピクセルは、その後、アナログ−デジタル変換器Ａにおいてピクセルごとに例えば１０ビットのデジタル信号へ変換される。デジタル信号は、その後、デモザイクプロセッサＤ内で処理される。ビニング動作がデジタルで行われるときには、アレイＴがＡＤ変換器Ａの後に配置される。ビニングは、ピクセルデータがラインごとに且つピクセルごとにプロセッサＤへ送られるときに「オンザフライ（ｏｎ  ｔｈｅ  ｆｌｙ）」で行うこともできる。プロセッサＤにおいては、信号が前述したデモザイクアルゴリズムの対象とされ、それにより、四つの並行なカラービデオ信号が生成される。信号Ｇｒ及びＧｂを平均化することにより、緑信号Ｇが与えられる。
【００３５】
プロセッサＤは、各ピクセルに関して方程式（Ｉ）を繰り返し計算することにより、新たなピクセルを得てもよい。しかしながら、一度計算された係数ＣｉｋをプロセッサＤのメモリＭ内に記憶させて、これらの記憶された係数とカラーピクセルの値とを掛け合わせるとともに、各カラーピクセルからそのようにして得られた寄与度を加算して新たなピクセルの値を得ることが更に好都合である。メモリＭ内に記憶されるべき係数の数は制限される。これは、四つのカーネルタイプしか存在しないからである。これらのカーネルタイプは、ローマ数字Ｉ，ＩＩ，ＩＩＩ，ＩＶによってそれらの対応する新たなピクセル円で図３に示されている。カーネルタイプＩＩは図４の対象とされ、また、先に示されてきたように、このカーネルは２５個の係数（Ｒピクセルに関して９個、Ｇｂピクセルに関して６個、Ｂピクセルに関して４個、Ｇｒピクセルに関して６個）を必要とする。他の三つのカーネルタイプもそれぞれ２５個の（他の）係数を必要とし、そのため、デモザイクアプリケーションを行うためには、１００個の係数を記憶する必要がある。
【００３６】
先に示したように、係数は、２の累乗である分母を有する総ての分数である。これは、デジタル計算を比較的容易にする。分母は、「ビニング×２」パターンにおいて一つの色の行又は列同士の間の距離が常に４の整数乗であるという事実から生じる。この利点は、「ビニング×３」が適用されるときには存在しない。これは、一つの色の行又は列同士の間の距離が６又は６の倍数だからである。
【００３７】
本発明の更なる実施の形態は、画像鮮鋭化の特徴に関する。この目的のため、ちょうど補間係数のように、選択されたカーネルのピクセル値と掛け合わされなければならない鮮鋭化係数が存在する。この乗算の結果は互いに加えられ、また、そのようにして得られたカラーピクセルの寄与度の和は、新たなピクセルのそれぞれの色を変えるために使用される。
【００３８】
必要とされる鮮鋭化係数Ｓｉｋは、補間係数Ｃｉｋを計算するために先に与えられる二次元関数（Ｉ）の一次導関数又は二次導関数を取得することにより計算される。一次導関数を用いると、画像のエッジが強調されるのに対し、二次導関数は、画像の詳細を高める役割を果たし得る。後者の鮮鋭化方法の好ましい例は、二次二次元（ｓｅｃｏｎｄ−ｏｒｄｅｒ  ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）偏微分演算を与える良く知られたラプラシアン演算子Δを使用することである。先に与えられた補間関数（Ｉ）で用いられるこの演算子Δは、以下を与える。
【数４】
2009531928.tif 000006
【００３９】
ｎ＝３及びｍ＝３において、この方程式は、係数Ｓ１１に関して以下を与える。
【数５】
2009531928.tif 000007
【００４０】
他の係数Ｓ１２，Ｓ１３，Ｓ２１，Ｓ２２，Ｓ２３，Ｓ３１，Ｓ３２，Ｓ３３に関しては、添字が変化した同様の式が適用される。
【００４１】
ｎ＝３，ｍ＝２に関しては、鮮鋭化係数に関する方程式が更に簡単になる。例えばＳ１１に関して、
【数６】
2009531928.tif 000008
であり、また、ｎ＝２，ｍ＝３に関して、
【数７】
2009531928.tif 000009
である。
【００４２】
ｎ＝２，ｍ＝２に関しては、総ての鮮鋭化係数が０である。
【００４３】
これらの方程式を用いると、以下の結果を用いて図４のピクセル−カーネルにおける鮮鋭化係数を計算することができる。
赤ピクセルに関して：
Ｓ１３  Ｓ２３  Ｓ３３  −３／１０２４        ３０／１０２４      ５／１０２４
Ｓ１２  Ｓ２２  Ｓ３２＝３８／１０２４    −１２４／１０２４    ２２／１０２４
Ｓ１１  Ｓ２１  Ｓ３１  −３／１０２４        ３０／１０２４      ５／１０２４
Ｇｂピクセルに関して：
Ｓ１２  Ｓ２２  Ｓ３２          １／１２８    −２／１２８    １／１２８
＝
Ｓ１１  Ｓ２１  Ｓ３１          ３／１２８    −６／１２８    ３／１２８
Ｇｒピクセルに関して：
Ｓ１３  Ｓ２３            ２／１２８      ２／１２８
Ｓ１２  Ｓ２２    ＝    −４／１２８    −４／１２８
Ｓ１１  Ｓ２１            ２／１２８      ２／１２８
青ピクセルに関して：
Ｓ１２  Ｓ２２          ０      ０
＝  
Ｓ１１  Ｓ２１          ０      ０
である。
【００４４】
尚、行列中の総ての係数の和は常に０である。このことは、カーネルにおける特定の色のピクセルの総てが同じ値を有するときに鮮鋭化が行われないことを意味する。
【００４５】
鮮鋭化係数の記憶及びこれらの係数とそれぞれのピクセル値との乗算は、図５に関連して前述した同じプロセッサＤで行われてもよい。その場合、このプロセッサは、ピクセル値を補間係数Ｃｉｋと乗算するための手段と、この乗算の結果を合計して、補間された新たなピクセルを形成するための手段と、同じピクセル値を鮮鋭化係数Ｓｉｋと乗算するための手段と、この乗算の結果を合計して、新たなピクセルにおける鮮鋭化情報を形成するための手段と、鮮鋭化情報を補間された（新たな）ピクセルに対して加えるための手段とを含んでいるものとするとよい。また、二つの係数の和Ｃｉｋ＋Ｓｉｋを単一の記憶場所に記憶することができるとともに、そのように合計された係数とピクセル値とを乗算することもできる。しかしながら、両方の解決策の欠点は、ノイズコアリング、シャープネスゲイン調整、ソフトシャープネス等の鮮明度情報の後処理特徴を加えることができないという点である。そのような鮮明度後処理を可能にする装置が図６に示されている。
【００４６】
図６の装置は、鮮鋭化係数Ｓｉｋを保持するためのメモリＭｓを含む鮮鋭化プロセッサＥを含んでいる。鮮鋭化プロセッサＥは、プロセッサＤと同じピクセルデータをＡＤ変換器Ａから受け取って、これらのピクセルデータを鮮鋭化係数Ｃｉｋと乗算するとともに、この乗算結果を加算して鮮鋭化色成分Ｒ，Ｇｂ，Ｇｒ，Ｂを得る。好ましくは、これらの鮮鋭化色成分は、例えば方程式Ｙｓ＝０．３Ｒ＋０．３Ｇｂ＋０．３Ｇｒ＋０．１Ｂに従って、鮮鋭化輝度成分Ｙｓへと組み合わされる。その後、鮮鋭化輝度成分Ｙｓは、ノイズコアリング、シャープネスゲイン、ソフトシャープネス等の望ましい後処理が行われる後処理ユニットＦに対して加えられる。その後、得られた成分Ｙｓは、ＲＧＢ−ＹＵＶ行列の輝度成分に対して加えられる。
【００４７】
尚、前述した実施の形態は、本発明を例示するものであって、本発明を限定するものではなく、また、当業者は、添付の特許請求の範囲から逸脱することなく多くの他の実施の形態を案出することができる。請求項中、括弧内に記載される任意の参照符号は、請求項を限定するものと解釈されるべきではない。用語「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」は、請求項中に記載される要素又はステップ以外の要素又はステップの存在を排除しない。要素に先行する語「一つの（ａ，ａｎ）」は、そのような要素の複数の存在を排除しない。本発明は、いくつかの別個の要素を備えるハードウェアによって及び／又は適切にプログラムされたプロセッサによって実施されてもよい。いくつかの手段を列挙する装置の請求項において、これらの手段のうちのいくつかは、ハードウェアの一つの同じ要素によって具現化されてもよい。特定の手段が互いに異なる従属請求項中に挙げられているという事実だけで、これらの手段の組み合わせを有利に使用できないということを示唆するものではない。
【図面の簡単な説明】
【００４８】
【図１】４色イメージセンサから生じるカラーピクセルの通常のＲＧＢＧバイエルパターンの一部を示している。
【図２】「ビニング×２」プロセスの説明を示している。
【図３】図２に示される「ビニング×２」プロセスに付された後の図１のバイエルパターンを示している。
【図４】図３のバイエルパターンのピクセルのカーネルに対する本発明に係るデモザイクアルゴリズムの結果を示している。
【図５】本発明を実施するための第１の装置を示している。
【図６】本発明を実施するための第２の装置を示している。
【図１】
2009531928.tif 000012
【図２Ａ】
2009531928.tif 000013
【図２Ｂ】
2009531928.tif 000014
【図２Ｃ】
2009531928.tif 000015
【図２Ｄ】
2009531928.tif 000016
【図３】
2009531928.tif 000017
【図４】
2009531928.tif 000018
【図５】
2009531928.tif 000019
【図６】
2009531928.tif 000020
【国際調査報告】
2009531928.tif 000021
2009531928.tif 000022
2009531928.tif 000023