(57)【特許請求の範囲】
【請求項１】
第１の二次元アレイのベクトルを含むフルカラー画像を生成するデータ処理システムの演算方法であり、前記第１の二次元アレイのベクトルにおけるそれぞれのベクトルは、第１の強度値と第２の強度値と第３の強度値とを含み、それぞれの強度値は、前記第１の二次元アレイにおける前記ベクトルの位置により決定される、前記フルカラー画像内の位置における対応スペクトル帯域での前記フルカラー画像の画素の強度を示し、前記方法は、二次元アレイのスカラー量から前記第１の二次元アレイのベクトルを生成し、前記二次元アレイのスカラー量におけるそれぞれのスカラー量は、前記第１の二次元アレイのベクトル中の前記ベクトルの１つに対応し、前記スカラー量は、前記二次元アレイのベクトル中の対応位置における前記第１の強度値、前記第２の強度値または前記第３の強度値のうちの１つを決定し、前記方法は、残っている前記第１の強度値と前記第２の強度値と前記第３の強度値とを決定するものであって、
（ａ） 前記スカラー量の１つにより決定されない、前記第１の二次元アレイのベクトルにおける前記ベクトルの前記成分のそれぞれにある値を割り当てるステップと、
（ｂ） 輝度画像ならびに第１および第２のクロミナンス画像を前記第１の二次元アレイのベクトルから生成するステップであって、前記輝度画像の各画素は、第１の二次元アレイにおける対応画素からの光の強度により決定され、前記第１および第２のクロミナンス画像の各画素は、前記第１の二次元アレイにおける前記画素の色を表すものであるステップと、
（ｃ） 前記第１および第２のクロミナンス画像を等方性ローパス空間フィルタによりフィルタリングして、第１および第２のフィルタリング済みクロミナンス画像を生成するステップと、
（ｄ）前記輝度画像ならびに前記第１および第２のフィルタリング済みクロミナンス画像から第２の二次元アレイのベクトルを生成するステップであって、該第２の二次元アレイにおける各ベクトルは、第１、第２および第３の強度値を含み、各強度値は、前記第１の二次元アレイにおける前記ベクトルの位置により決定される、前記フルカラー画像内の位置における対応スペクトル帯域での前記フルカラー画像の画素の強度を表すものであるステップと、
（ｅ） 前記第２の二次元アレイにおける各ベクトルの成分を、前記二次元アレイのスカラー量における前記スカラー値に設定するステップと、
（ｆ） 前記第１の二次元アレイのベクトルを前記第２の二次元アレイのベクトルと交換するステップと、
（ｇ） 上記ステップ（ｂ）乃至（ｆ）を繰り返すステップと
を含んでなるデータ処理システムの演算方法。
【請求項２】
前記輝度画像における位置により変化する異方性を有するローパス空間フィルタにより該輝度画像をフィルタリングするステップをさらに含み、該フィルタリングは、前記第２の二次元アレイのベクトルの生成に先立って適用されることを特徴とする請求項１記載のデータ処理システムの演算方法。
【請求項３】
前記輝度画像をフィルタリングする前記ステップは、
異なる大きさのレベルで該輝度画像の情報をそれぞれ表す複数の成分画像へと該輝度画像を分解するステップと、
前記成分画像における位置により変化する異方性を有するローパス空間フィルタを、該成分画像のそれぞれに適用するステップと、
前記フィルタリング済み成分画像を結合して新たな輝度画像を再生するステップであって、該新たな輝度画像が前記ステップ（ｄ）乃至（ｆ）において該輝度画像を置換するものであるステップと
を含む、請求項２記載のデータ処理システムの演算方法。
【請求項４】
前記輝度画像を分解する前記ステップは、該輝度画像からラプラシアンピラミッドを生成することを含む請求項３記載のデータ処理システムの演算方法。
【請求項５】
前記フィルタの異方性は、前記輝度画像での前記位置における該輝度画像の勾配により決定される請求項２記載のデータ処理システムの演算方法。
【請求項６】
二次元アレイの画素値を含んでなる画像を補間する方法であって、各画素値は該画像中の対応点における該画像のための強度値を表し、該画像は１以上の未知の画素値と既知の値を有する測定された画素値を複数含んでなり、
（ａ）前記未知の画素値のそれぞれにある値を割り当てるステップと、
（ｂ）前記画像における位置により変化する異方性を有するローパス空間フィルタにより該画像をフィルタリングするステップと、
（ｃ）それぞれの測定された画素値を前記既知の値にリセットするステップと、
（ｄ）上記ステップ（ａ）乃至（ｃ）を繰り返すステップと
を含む画像補間方法。
【請求項７】
前記画像をフィルタリングする前記ステップは、
各成分画像が異なる大きさにおける該画像の情報を表す、複数の成分画像に該画像を分解するステップと、
前記成分画像での位置により変化する異方性を有するローパス空間フィルタを、該成分画像のそれぞれに適用するステップと、
前記フィルタリング済み成分画像を結合して新たな画像を再生し、該新たな画像が、上記ステップ（ｃ）乃至（ｄ）において該画像を置換するステップと
を含む請求項６記載の画像補間方法。
【請求項８】
前記画像を分解する該ステップは、前記画像からラプラシアンピラミッドを生成することを含む請求項７記載の画像補間方法。
【請求項９】
前記フィルタの異方性は、前記画像での前記位置における該画像の勾配により決定される請求項７記載の画像補間方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラおよび同様の装置に関し、より詳細には、カメラセンサからのデータをカラー画像に変換する改良方法に関する。
【０００２】
【従来の技術】
通常、デジタルカラー画像は、通常の格子上の各点における画像の強度を表す画素値のアレイからなる。画像生成には通常、三色が使用される。格子上の各点では、それぞれの色の強度が特定され、これによりその格子点における画像の強度と色とが特定される。
【０００３】
従来のカラー写真は、スペクトルの領域（通常、赤、緑、青）ごとに感度が異なる３つの重なり合うカラーセンシングレイヤを利用することによって相応しい画像データを記録する。これに対して、デジタルカメラおよびスキャナは通常、単一「レイヤ」に対してセンサアレイを１つ用いる。
【０００４】
カラー画像を検出するためにセンサアレイを１つしか使用しない場合、いずれのセンサ位置においても、一色しか検出されない。その結果、これらのセンサは、従来の考え方ではカラー画像を生成することができず、カラーフィルタの各センサに対する割り当てに依存する個々のカラーサンプルの集合を生成する。この割り当てをカラーフィルタアレイ（ＣＦＡ）、またはカラーモザイクパターンと称する。精確なカラー画像を生成する際、各サンプリング位置にフルセットのカラーサンプル（通常、赤、緑、青）があると、アレイの各位置ではもともと単一色しか検知できなかったため、欠如情報の推定には相当量の計算が必要となる。この演算を通常「モザイク解除(demosaicing)」と呼ぶ。
【０００５】
欠如情報を生成するためには、画像センサにおける隣接画素からの情報を使用する必要がある。さらに、測定された色値を生成することができた可能性のある画像が無限数存在することから、基礎的な画像の構造について若干の仮定を加えなければならない。通常、基礎的な画像はスムースであるとすると、補間アルゴリズムを利用して隣接の測定された色値から欠如した色値を計算する。
【０００６】
人間の観察者にとって関心のある画像の大部分は、主にスムースであるが、対象物のエッジに沿ったもの、および画像のテクスチャ（texture)領域内にあるものについては、スムースであるとの仮定は該当しない。これらの領域では、スムースであるとの仮定を用いて補間により生成される画像には、解像度の損失が見られる。さらに、赤色センサを緑色センサと無関係である（他についても同様）とするアルゴリズムは、通常、再構築された画像にアーティファクト（人為的な夾雑物）を作り出す。このアーティファクトは、画像のクロミナンス部分に組み込まれており、クロミナンス成分が不整合であることに起因する。これらのアーティファクトは、それ自体、復元画像における不正確な色の縞として現れ、特に、画像における異なる対象物同士の境界周辺およびテクスチャ領域内において見られる。
【０００７】
【発明が解決しようとする課題】
広義には、重なりのないセンサを有する画素アレイからのデータを、完全にサンプリングされたデジタル画像に変換する改良した画像処理方法を提供することを本発明の目的とする。
【０００８】
また、上述のアーティファクトを作り出さない変換方法を提供することを本発明のさらなる目的とする。
【０００９】
また、対象物同士の境界付近、およびテクスチャ領域内での解像度を高める変換方法を提供することを本発明のさらに別の目的とする。
【００１０】
本発明のこれらおよび他の目的については、以下の発明の詳細な説明および添付図面から当業者には明らかとなるであろう。
【００１１】
【課題を解決するための手段】
本発明は、画像の部分抽出したものからフルカラー画像を生成するためのデータ処理システムの演算方法である。フルカラー画像は、第１の二次元アレイのベクトルを含む。第１の二次元アレイにおける各ベクトルは第１、第２および第３の各強度値を含み、それぞれの強度値は、第１の二次元アレイにおけるベクトルの位置により決定される、フルカラー画像内の位置における対応スペクトル帯域でのフルカラー画像の画素の強度を表す。本方法は、第１の二次元アレイを二次元アレイのスカラー量から生成し、各スカラー量は第１の二次元アレイにおけるベクトルの１つと対応している。スカラー量は、二次元アレイのベクトル中の対応位置における第１、第２または第３の強度値の１つを決定する。スカラー量は、通常、デジタルカメラ等のセンサアレイからの測定された画素値である。本発明の方法は、第１、第２および第３の強度値の残りを決定する。本方法は、第１の二次元アレイのベクトルにおけるベクトル成分の１つ１つに、スカラー量の１つにより決定されない値を割り当てることで開始する。次に、第１の二次元アレイのベクトルから、輝度画像ならびに第１および第２のクロミナンス画像を生成する。輝度画像の各画素は、第１の二次元アレイにおける対応画素からの光の強度により決定され、第１および第２のクロミナンス画像の各画素は、第１の二次元アレイにおける画素の色を表している。第１および第２のクロミナンス画像は、等方性ローパス空間フィルタによりフィルタリングされ、第１および第２のフィルタリング済みクロミナンス画像を生成する。二次元アレイのベクトルは、輝度画像ならびに第１および第２のフィルタリング済みクロミナンス画像から再生される。分解、フィルタリング、再生の各工程を反復することで、最終的にフルカラー画像が提供される。反復するごとに、実際に測定された二次元アレイのベクトルの成分をその測定値にリセットする。本発明の好ましい実施形態において、輝度画像も同様にフィルタリングされる。しかしながら、輝度画像のフィルタリングには、輝度画像における位置により変化する異方性を有するローパス空間フィルタが用いられる。フィルタリング済み輝度画像により、再生工程が実行される。本発明の好ましい実施形態において、輝度画像のフィルタリングはまず、輝度画像を複数の成分画像に分解することによって実行される。各成分画像は、異なる大きさにおける輝度画像の情報を表している。次に、成分画像における位置により変化する異方性を有するローパス空間フィルタにより各成分画像がフィルタリングされる。そして、フィルタリング済み成分画像を再結合して、フィルタリング済み輝度画像を生成する。
【００１２】
【発明の実施の形態】
本発明の方法は、いずれのカラーサンプリング装置にも適用可能であるが、以下の説明を簡略にするために、センシング素子の核（kernel)を繰り返すことによって構成されるセンサパターンを有する画像センサについて、本発明の方法を説明していく。たとえば、ある共通の画像センサアレイは、緑色センサを２個、赤色センサを１個、青色センサを１個有する２×２センサアレイ核を繰り返すことによって生成されるバイエルパターンをベースにしている。このパターンを図１に１０で示す。核を１２で示す。
【００１３】
本発明では、かかるアレイからのデータを増補されたアレイに変換したものを１０’で示し、ここで各画素は、三色をそれぞれ表す強度値を有する。本発明において、各位置における欠如の色は、その色の近くのセンサ値から判定される。図面において、欠如の色はより小さい活字で示す。個々のセンサ位置は、形式のアドレス（ｎ，ｍ）が割り当てられ、ここで、ｎは、センサが配置される行数、ｍは、列数である。
【００１４】
測定値が１０で図示したものであるという制限条件を満たすパターン１０’は無限数存在する。このため、センサ値を生成する際には、制限条件をいくつか追加して適用する必要がある。本発明では、エッジまたはテクスチャにより支配される領域を除いて画像がスムースであると仮定する。鋭いエッジを有する対象物を含む画像を想定する。対象物は、エッジ付近ではスムースであるとする。すなわち、エッジと平行方向の画素を辿ると、連続した強度値はスムースに変化する。これに対して、エッジと垂直方向の画素値を辿ると、連続した強度値はエッジ部分で急激に変化する。
【００１５】
上述したように、再構築された画像には主に２つの問題がある。すなわち、エッジ沿いのアーティファクトとエッジ平滑化による解像度の損失である。まず、エッジ平滑化による解像度の損失に本発明が対処する方法について説明する。欠如している画素強度が計算される、欠如した画素値を有するモノクロ画像を想定する。この問題は、他のカラーセンサからの画素値を考慮することなく一色の欠如カラー画素を計算する問題と基本的に同一である。本発明では、測定された画素値を変更しないものとする。さらに、画像は区分的に(piecewise)スムースであり、かつエッジが鋭いものであるとする。
【００１６】
この本発明の簡略化した態様は以下のようにはたらく。まず、欠如画素それぞれについて推測する。たとえば、問題の画素の周りに最も近接する４つの既知の画素を補間することによって欠如画素値をまず設定する。初めの推定を得るための具体的な方法は重要ではないため、いずれの便利な方法を利用してもよい。
【００１７】
次に、画素を以下のように一度に１つ処理する。まず、処理中の画素における画像の最大下降の方向および大きさを決定する。この決定を行う最も単純なアルゴリズムは、処理中の画素とその隣接画素の画素強度の差の加重和を用いるものであるが、より複雑な方法を利用してもよい。問題の画素にエッジがあるとき、エッジは、最大下降の方向と垂直である。最大下降の大きさにより、エッジがこの画素を通過したかどうかを決定できる。したがって、画素ごとに２次元ベクトルが定義され、その方向はエッジの向きを与え、その長さはエッジの強度を与える。以下の説明では、このベクトルを「優性方向ベクトル(dominant orientation vector)」と称する。問題の画素は、隣接する画素の値の加重和を計算することによって補間される。この和の重み付けは、この画素と関連づけられた「優性方向ベクトル」によって決定される。優性方向ベクトルの長さが長ければ、優性方向に沿った画素値のみが合計される。優性方向の長さが短い、またはゼロ（すなわち、エッジなし）であれば、すべての隣接する画素からの隣り合う画素値が合計される。
【００１８】
画像点すべての処理を完了した後、測定画素に対応する画素を測定値にリセットする。連続する画像の差が所定のエラー値を下回るまで、本プロセスを繰り返す。
【００１９】
最大下降の方向を決定し、かつ画像をスムース化する際に使用される点の数は理想的には、画像の対象物の大きさに依存する。たとえば、平滑化演算のために点を選択する距離があまりに短いと、不十分な平滑化が発生し、この結果得られた画像には、エッジ付近にアーティファクトがある。距離が長すぎると、対象物における構造上の細目がぼけてしまう。上述した簡略化された手順は、画像における対象物の大きさを測定するものではないため、一般的に点の処理にともなって変化する最適距離を与えることはできない。したがって、上記のプロセスをマルチスケールで適用することが好ましいが、上述したように、単一スケール手順もまた同様に可能である。
【００２０】
次に、本発明に係る、単一色帯域を有する画像に欠如画素値を当てはめる方法のブロック図である、図２を参照する。まず原画像を補間して、２２で示すように、欠如画素の始点値を与える。本発明の好ましい実施形態において、画像における対象物の大きさは、画像を、２３で示す各種レベルの大きさで画像を表す多数の「成分」画像に分解することにより考慮される。次に、上述した平滑化演算を２４で示す成分画像のそれぞれに適用する。そして、成分画像を再結合して２５で示す新たな画像を回復する。実際に強度値を測定した位置にある新たな画像の画素を、次に２６で示す測定値にリセットする。連続する回復された画像同士の差が所定のエラー値を幾分下回るまで、２７で示すように本プロセスを反復する。
【００２１】
画像を異なる大きさの細目を含む複数の成分画像に分解する好ましい方法は、ラプラシアンピラミッドを生成することである。このアプローチを用いた画像分解は、画像処理技術において周知であるため、ここでは詳述しない。該方法を詳述した、P.J. BurtとE.H. Adelsonの「コンパクト画像コードとしてのラプラシアンピラミッド(The laplacian pyramid as a compact image code)」 IEEE Trans. Communications 31(4): 532-540, 1983（引用することにより本明細書中に組み込む）を参照されたい。本説明の目的において、以下のようにして原画像から一連の画像を獲得することに留意すればよい。まず、原画像を、ガウスぼかし演算子(Gaussian blurring operator)を画像に適用することでぼかす。ぼかした画像を次に原画像から引き算し(subtract)、最大空間周波数における詳細を有する、すなわち、スケールが最も小さい成分画像を形成する。次に、ぼかした画像をダウンサンプリング（down-sampling)し、本プロセスを繰り返して、原画像の代わりにこのダウンサンプリングした画像により上述したプロセスを繰り返すことによって、次に大きい大きさで成分画像を生成する。様々な成分画像を結合することで、原画像を再生することができる。
【００２２】
ピラミッドの各レベルにおいて、平滑化演算を別個に適用する。成分画像の画素ごとに、上述のように方向を定義する。次に、処理中の画素を、その方向に沿った隣接する画素を平滑化した結果と交換する。
【００２３】
成分画像の平滑化をすべて完了した後、成分画像を再結合して新たな画像を生成する。原画像を実際に測定した位置における画素値を測定値にリセットし、所定の程度の収束が得られるまで本プロセスを繰り返す。
【００２４】
平滑化演算子にとって好ましい向きを定義する好ましい方法は、ステアラブル (steerable)フィルタである。かかるフィルタを使用して画像の局所的向きを決定することは、画像処理技術において周知であるため、ここでは詳述しない。W.T. FreedmanとE.H. Adelsonの「早期観察、画像解析、小波分解のためのステアラブルフィルタ (Steerable filters for early vision, image analysis, and wavelet decomposition)」International Conf. On Computer Vision, 1990, pp. 406-415（引用することにより本明細書に組み込む）を参照されたい。この説明の目的において、画像の「方向エネルギー」を所定方向で測定するフィルタのセットを定義することができることに留意すればよい。フィルタの出力を結合することで、最大エネルギーを有する方向を決定することができる。最大エネルギーは、「優性方向」ベクトルを決定し、その長さおよび向きを最大エネルギー値とその方向にしたがって決定する。
【００２５】
画素（ｉ，ｊ）の優性方向をベクトルＤ（ｉ，ｊ）で表す。画素（ｉ，ｊ）の局部的隣接画素Ｎ（ｉ，ｊ）における画素Ｉ（ｋ，ｌ）の加重和を計算して、画素（ｉ，ｊ）の補間値Ｉ（ｉ，ｊ）を求める。合計の重み付けは、優性方向Ｄ（ｉ，ｊ）により決定される。（ｉ，ｊ）からの方向がＤ（ｉ，ｊ）と平行である画素は、Ｄ（ｉ，ｊ）と垂直の画素よりも大きく重み付けされる。本発明の好ましい実施形態において、
【数１】
0003663112.tif 000002
式中、合計は、Ｎ（ｉ，ｊ）のすべての画素（ｋ，ｌ）を合計したものである。ここでは、重み付けＷ（ｋ，ｌ）は、以下のように定義される。
【数２】
0003663112.tif 000003
式中、Ｄ・Ｖは内積であり、Ｖ（ｉ，ｊ，ｋ，ｌ）は、（ｉ，ｊ）から（ｋ，ｌ）に向かう単位ベクトルとして定義される。
【００２６】
上述の本発明の実施形態は、単一色帯域に対して演算した。原理上、カラー画像のモザイク解除は、上述した方向性の平滑化を各色帯域（赤、緑、青）に別個に適用することによって実行可能である。しかしながら、かかるアプローチは、色帯域において不整合が生じたことから、特に、対象物のエッジでは、アーティファクトをもたらすことになる。
【００２７】
画像のＲＧＢ表現ではなくＹＩＱにおいて平滑化計算を行うことによって、アーティファクトを軽減することができる。ＹＩＱ表現において、Ｙ成分は、画像の輝度（強度・輝度）を表し、ＩおよびＱの各成分は、クロミナンスを表す。輝度・クロミナンス表現は、相関されない色表現であるため、各色帯域を別個に処理することができる。さらに、人間の視覚系は、クロミナンス帯域（ＩＱ）に比べて輝度帯域（Ｙ）の高空間周波数の方により敏感である。実際、クロミナンス帯域では、人間の視覚系は、低空間周波数に敏感であるだけに過ぎない。
【００２８】
ＹＩＱ表現は、単純な線形変換によりＲＧＢ表現から計算が可能である。
【数３】
0003663112.tif 000004
【００２９】
エッジ、ラインおよびテクスチャは、高周波数で構成されるため、その外観は、主に輝度成分に左右される。したがって、輝度帯域では等方性平滑化が行われ、一方、輝度帯域には、方向性の平滑化が用いられる。等方性平滑化は、方向性平滑化が、エッジ等の高周波数構造を保持しているときアーティファクトを実質的に軽減する。本発明の好ましい実施形態において、等方性平滑化は、ガウス核(Gaussian kernel)によるコンボルーション（畳み込み）によりＩおよびＱの各帯域を平滑化することによって提供される。ラプラシアンピラミッドを生成するために使用される同一の核をここで利用してもよい。
【００３０】
このように、カラー画像をモザイク解除する本発明の好ましい実施形態は、本発明に係るモザイク解除方法の好ましい実施形態のブロック図である図３に示すように２つの経路がある。まず、原画像を補間して３１で示すように欠如した画素強度に始点値を与える。次に、３８で示すように、画像を輝度帯域Ｙと２つのクロミナンス帯域Ｉ、Ｑに分ける。輝度帯域は、上述の方法または文献において周知の任意の方向性平滑化を用いることで方向性平滑化される。クロミナンス帯域は、３８で示すように、ガウス核によるコンボルーションにより等方的に平滑化される。この結果得られた値を、３９で示すようにＲＧＢ表現に再び変換する。各帯域において実際に測定されたこれらの位置における画素値は、３６で示すように、その元の値にリセットされる。３７で示すように、この結果得られた画像が収束するまで、本プロセスを反復する。
【００３１】
クロミナンス帯域における等方性平滑化を輝度帯域における任意の補間方法と併用することで、エッジの細目を保持しながらエッジにおいてアーティファクトを抑えることについて、現行のモザイク解除アルゴリズムを上回る改良を与えることに留意されたい。上述した方向性平滑化技術は、輝度帯域において性能の改善を果たし、このため、本発明の好ましい実施形態は両方の技術を利用する。
【００３２】
ＲＧＢからＹＩＱへの変換および平滑化演算は、いずれも線形演算であることに留意されたい。したがって、ＲＧＢ画像について演算する同様のアルゴリズムを生成してもよい。かかるアルゴリズムは、各反復において、ＲＧＢからＹＩＱおよびその逆の変換の必要をなくし、このため、本発明の方法を実践する計算プラットフォームに対する計算の負荷を軽減する。
【００３３】
本発明は、汎用コンピュータにおいて実施することが好ましい。しかしながら、線形変換によりかかる計算の負荷を軽減するために専用ハードウェアを有する計算プラットフォームにおいて本発明を好適に実施し得ることが上記から当業者には自明であろう。
【００３４】
本発明を各種変形し得ることが、上記の説明および添付図面から当業者に明らかとなろう。したがって、本発明は、添付の特許請求の範囲によってのみ制限されるべきである。
【図面の簡単な説明】
【図１】２×２パターンを繰り返す画像センサにより撮像された典型的な画像に適用されるモザイク解除問題の図示である。
【図２】本発明に係る単色帯域を有する画像に、欠如した画素値を当てはめる方法のフローチャートである。
【図３】本発明に係るモザイク解除方法の好ましい実施形態のフローチャートである。
【図１】
0003663112.tif 000005
【図２】
0003663112.tif 000006
【図３】
0003663112.tif 000007