(57)【要約】【課題】補色系カラーフィルタを用いた単板式撮像素子で撮像した画像から、ボケや偽色が低減された高品位な原色系画像を生成する。【解決手段】受光素子を２次元配列してなる撮像素子１６に対して補色系カラーフィルタ１４が配設されている補色系ディジタルカメラにおける撮像画像の補間装置１０であって、前記ディジタルカメラの撮像信号に基づいて、前記補色系カラーフィルタの各色の配列に対応して生成される、輝度値が確定している画素と、輝度値が欠けている欠落画素とが配列された構成の各色毎の分色モザイク画像を記憶する演算メモリ２２と、前記分色モザイク画像に基づいて、前記欠落画素に輝度値を補間する補間処理と共に、補色系を原色系に変換する色変換処理を、バックプロジェクション法により反復することにより、原色系のフルカラー画像を生成する信号処理装置２４とを備えた。【選択図】　　　図２
2004056640.tif 000002
【特許請求の範囲】
【請求項１】
受光素子を２次元配列してなる撮像素子に対して補色系カラーフィルタが配設されている補色系ディジタルカメラにおける撮像画像の補間方法であって、
前記ディジタルカメラの撮像信号に基づいて、前記補色系カラーフィルタの各色の配列に対応して生成される、輝度値が確定している画素と、輝度値が欠けている欠落画素とが配列された構成の各色毎の分色モザイク画像を記憶し、
前記分色モザイク画像に基づいて、前記欠落画素に輝度値を補間する補間処理と共に、補色系を原色系に変換する色変換処理を、バックプロジェクション法により反復することにより、原色系のフルカラー画像を生成することを特徴とする補色系単板式カラーディジタルカメラにおける撮像画像の補間方法。
【請求項２】
受光素子を２次元配列してなる撮像素子に対して補色系カラーフィルタが配設されている補色系ディジタルカメラにおける撮像画像の補間装置であって、
前記ディジタルカメラの撮像信号に基づいて、前記補色系カラーフィルタの各色の配列に対応して生成される、輝度値が確定している画素と、輝度値が欠けている欠落画素とが配列された構成の各色毎の分色モザイク画像を記憶するモザイク画像記憶手段と、
前記分色モザイク画像に基づいて、前記欠落画素に輝度値を補間する補間処理と共に、補色系を原色系に変換する色変換処理を、バックプロジェクション法により反復することにより、原色系のフルカラー画像を生成する補間・色変換手段とを備えたことを特徴とする補色系単板式カラーディジタルカメラにおける撮像画像の補間装置。
【請求項３】
前記補間・色変換手段が、ソフトウェア又はハードウェアにより構成されていることを特徴とする請求項２に記載の補色系単板式カラーディジタルカメラにおける撮像画像の補間装置。
【請求項４】
前記請求項２に記載の撮像画像の補間装置を備えていることを特徴とするディジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、特に、補色系カラーフィルタを使って撮像した画像から原色系のフルカラー画像を生成する際に適用して好適な、補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラに関する。
【０００２】
【従来の技術】
ディジタルスチルカメラ、カラービデオカメラ等の一般のカラーディジタルカメラにおいては、２次元的に配列された受光素子によって構成された単板式撮像素子が使用されている。このような単板式カラーディジタルカメラにおいては、フルカラー画像を得るために、受光素子の直前にカラーフィルタが配設され、各受光素子が所定の分光感度を有するようになっている。
【０００３】
このカラーフィルタには、ＲＧＢ（レッド、グリーン、ブルー）の原色系と、ＣＭＹＧ（シアン、マゼンタ、イエロー、グリーン）の補色系がある。前者は色の再現性に優れ、後者は入射光の利用効率に優れると言われている。全ての受光素子に対しては、このようなフィルタにより対応するいずれかの色に関する分光感度がそれぞれ付与される。
【０００４】
図７には、Ｂａｙｅｒ型配置と呼ばれる原色形カラーフィルタの色配列を、又、図８には色差順次方式と呼ばれる補色系カラーフィルタの色配列を、それぞれイメージで示す。図中、各矩形は、２次元配列された受光素子（画素）に対応する。
【０００５】
原色系カラーフィルタでは、Ｇは全体の１／２の画素を占め、Ｒ、Ｂはそれぞれ全体の１／４の画素を占めていることが分かる。グリーンに多くの画素を配分するのは、人間の視感度がグリーンの波長付近でピークを示し、輝度特性の主成分がグリーンであることに基づいている。
【０００６】
一方、補色系カラーフィルタは、従来方式のカラーテレビジョンにその端を発しており、インターレース式の輝度・色差方式と相性が良いとも言われているが、この場合は各色共１／４の画素を占めている。このように、モノクローム（白黒）のイメージセンサ（撮像素子）と比較すると、カラーイメージセンサでは各色が１／２〜１／４程度の画素数しか有効ではないため、いずれのカラーフィルタを使った場合でも、各色の配列に対応した間欠的なモザイク状の画素で構成された分色モザイク画像として得られることになる。
【０００７】
そこで、このようにカラーフィルタにより分光されて得られる各分色モザイク画像に対しては、一般に輝度値が欠けている欠落画素に対する補間処理を行なって、全画素が輝度値を有するフルカラー画像を生成することが行なわれている。このモザイク画像の補間方法としては、各分色画像毎に既知の近傍画素値から線形補間する方法が知られている。
【０００８】
【発明が解決しようとする課題】
しかしながら、このような従来の補間方法によって得られる画質は十分なものではなく、ボケや偽色を多く含む低品位なものである上に、補色系カラーフィルタを使用する場合には、原色系への色変換の要請もある。
【０００９】
本発明は、前記従来の問題点を解決するべくなされたもので、補色系カラーフィルタを用いて単板式撮像素子で撮像した画像から、ボケや偽色が低減された尖鋭度の高い、高品位な原色系のフルカラー画像を生成することができる撮像画像の補間技術を提供することを課題とする。
【００１０】
【課題を解決するための手段】
本発明は、受光素子を２次元配列してなる撮像素子に対して補色系カラーフィルタが配設されている補色系ディジタルカメラにおける撮像画像の補間方法であって、前記ディジタルカメラの撮像信号に基づいて、前記補色系カラーフィルタの各色の配列に対応して生成される、輝度値が確定している画素と、輝度値が欠けている欠落画素とが配列された構成の各色毎の分色モザイク画像を記憶し、前記分色モザイク画像に基づいて、前記欠落画素に輝度値を補間する補間処理と共に、補色系を原色系に変換する色変換処理を、バックプロジェクション法により反復することにより、原色系のフルカラー画像を生成するようにしたことにより、前記課題を解決したものである。
【００１１】
本発明は、又、受光素子を２次元配列してなる撮像素子に対して補色系カラーフィルタが配設されている補色系ディジタルカメラにおける撮像画像の補間装置であって、前記ディジタルカメラの撮像信号に基づいて、前記補色系カラーフィルタの各色の配列に対応して生成される、輝度値が確定している画素と、輝度値が欠けている欠落画素とが配列された構成の各色毎の分色モザイク画像を記憶するモザイク画像記憶手段と、前記分色モザイク画像に基づいて、前記欠落画素に輝度値を補間する補間処理と共に、補色系を原色系に変換する色変換処理を、バックプロジェクション法により反復することにより、原色系のフルカラー画像を生成する補間・色変換手段とを備えたことにより、同様に前記課題を解決したものである。
【００１２】
本発明は、又、ディジタルカメラにおいて、前記撮像画像の補間装置を備えるようにしたことにより、同様に前記課題を解決したものである。
【００１３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００１４】
説明の便宜上、まず、一般的な補色カラーフィルタを用いたカラー撮像方式について説明する。
【００１５】
補色系カラーフィルタを用いた撮像素子（イメージセンサ）では、前記図７に示した色差順次方式と呼ばれる順序にＣＭＹＧの４種類の単位色フィルタを配列したものが主に採用されている。この補色系カラーフィルタを用いる場合は、前記原色系カラーフィルタの場合でも同様であるが、１つの画素はＣＭＹＧのいずれか１つの情報しか獲得できない。従って、前述した如くＣＭＹＧの各色毎の分色モザイク画像に対して補間処理が必要となる。又、この補間処理を行なう場合、各色の配列がモザイク状であるため、色によっては輝度が得られない画素が存在するため、本来の色とは異なる偽色が発生する。それを防止するために、撮像素子の前面に光学的ローパスフィルタが設置されている。
【００１６】
又、最終的にＲＧＢ形式の画像を得ようとすると、撮像されたＣＭＹＧ画像をＲＧＢ画像に変換する必要がある。通常用いられているのはＣＭＹＧの各分色画像毎に輝度値が欠落している画素を線形補間した後、ＣＭＹＧ表色系をＲＧＢ表色系に変換する方式である。即ち、カラーフィルタにより空間分割された画像から、有効撮像画素と同数の画素を各色共内挿処理によって生成してフル画像にした後、（ＣＭＹＧ→ＲＧＢ）変換を行なう。図１に、ＣＭＹＧの各色フィルタが透過するＲＧＢ各色成分の透過率の一例を表にして示す。この表より、撮像時の（ＲＧＢ→ＣＭＹＧ）変換は、次式
【数１】
2004056640.tif 000003
という行列演算で表わすことができる。この（１）式に示したように、４行３列の行列をＱとすると、この逆行列ＰはＰ＝Ｑ−１＝（ＱＴＱ）−１ＱＴとして求めることができることから、（ＣＭＹＧ→ＲＧＢ）変換は、次式
【数２】
2004056640.tif 000004
として得ることができる。
【００１７】
従って、一般にはＣＭＹＧ各色を補間して全画素を決定した後に、この（２）式のような変換式によりＲＧＢに変換し、更にγ補正等の調整を行なって所望の画像を得ることができ、これによってその後の画像処理や画像表示に利用することが可能になる。
【００１８】
以上のようにしてＲＧＢ画像が得られたとしても、それはボケや偽色を含んだ低品位な画像であることは否めない。そこで、本実施形態では、補色系カラーフィルタを使って撮像した画像から高品位な原色系画像を生成することができる色変換を伴う補間技術を提供する。
【００１９】
図２は、本発明に係る一実施形態のデモザイク処理装置の要部構成を示すブロック図である。
【００２０】
本実施形態のデモザイク処理装置（補間装置）１０は、一点鎖線で囲んだ部分に相当する。この処理装置１０には、単板式カラーディジタルカメラが有する、アンチエリアスフィルタ（ＡＡＦ）を構成する光学ローパスフィルタ１２、補色系カラーフィルタ（ＣＦ）１４を通った光が、ＣＣＤやＣＭＯＳのイメージ素子からなる受光素子が２次元配列されている単板式撮像素子１６で受光されることにより、カラーフィルタ１４を構成する色配列毎の分色モザイク画像が生成され、対応する画像信号が入力されるようになっている。なお、この処理装置１０は、ディジタルカメラに内蔵された一体型であっても、取り外しが可能な別体型であっても良い。
【００２１】
本実施形態のデモザイク処理装置１０では、前記撮像素子１６から入力される各色毎の撮像信号（電荷）をアナログからディジタルに変換するＡ／Ｄ入力ポート１８と、ディジタル信号からなるこれら画像データ等を一時的に保存するＩ／Ｏバッファメモリ２０と、これら画像データを演算のために蓄える演算メモリ（モザイク画像記憶手段）２２と、これら画像データから後に詳述する補間処理と色変換処理とを実行するＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　　Ｐｒｏｃｅｓｓｏｒ）等からなる信号処理装置（補間・色変換手段）２４と、該信号処理装置２４等を動作させるプログラムが格納されているプログラムメモリ２６と、信号処理装置２４で処理されたデモザイク結果を出力する出力ポート２８が、それぞれデータバス・アドレスバスに接続されている。
【００２２】
本実施形態では、前記光学ローパスフィルタ１２、カラーフィルタ１４を通して入射された撮像光に基づいて、前記撮像素子１６により各色毎の分色モザイク画像が生成されると、これら画像を構成する画素毎の輝度値は、前記Ａ／Ｄ入力ポート１８によりディジタル画像信号に変換され、画像データとして一旦演算メモリ２２に蓄えられる。その後、前記信号処理装置２４により、これら各分色モザイク画像の画像データに基づいて欠落画素の画素値を補間してデモザイク画像とする補間処理と共に、補色系から原色系への色変換処理を、以下に詳述するＬａｎｄｗｅｂｅｒ反復アルゴリズム、即ち前記バックプロジェクション法により反復することによりフルカラー画像を再構成する処理を実行する。これは、Ｌａｎｄｗｅｂｅｒ型のアルゴリズムを用いて輝度値が欠けている欠落画素に対する輝度値の補間と高域周波数成分の強調、更にＣＭＹＧ表色系からＲＧＢ表色系への変換という３つの処理を同時に行なう補間復元方式である。
【００２３】
そこで、まず補色系カラーフィルタを使って得られた分色モザイク画像と原色系画像との関係について説明する。
【００２４】
図３には、左側に補色フィルタを用いた撮像により得られるＣＭＹＧ画像を色分離した各色毎の分色モザイク画像のイメージを示してある。又、その右側には、これらの画像から最終的に求めたい原色系のＲＧＢ画像のイメージを示してある。
【００２５】
図４には、Ｙ画像を例に、ハッチングして示す画素ｙｉｊの撮像の過程を示した。ＲＧＢ画像中に同様にハッチングして示す画素ｒｉｊ、ｂｉｊ、ｇｉｊの画素値（輝度値）及びこれらの３×３近傍画素の重み付き和に、前記図１に示したＹ色フィルタの光透過特性から得られる重み係数（０．８１，０．９８，０．０８）を掛け合わせた値の総和を求め、その値をｙｉｊの輝度値とする処理が撮像に相当する。他のＣ、Ｍ、Ｇの各画像の撮像過程も同様に規定できる。
【００２６】
反対に、撮像の逆操作は、ｙｉｊから、対応するｒｉｊ、ｂｉｊ、ｇｉｊ及びこれらの３×３近傍画素値を求める処理である。撮像の過程では、ＲＧＢ画像の画素値が与えられればＹＣＭＧの各画像の画素値は直ちに定まる。一方、撮像の逆過程ではＣＭＹＧ画像中の各画素は前記図１の表に示したようにＲＧＢ各色成分を含み、且つ各ＲＧＢの画像中の着目画素と３×３近傍画素値の決定に影響する。従って、近傍同色画素ばかりではなく、近傍の異なる色の画素同士も互いに影響し合い、与えられたＣＭＹＧの各画像からは直ちにＲＧＢ画像を求めることはできない。これを図５を用いて説明する。この図は、Ｒ画像を例に撮像の逆操作をイメージで示したものである。上から順にｙ、ｃ、ｍ、ｇの各画素が、対応する各ｒｇｂの３×３の画素領域から求まるとすると、図５のハッチングされた画素ｒはＹ、Ｃ、Ｍ、Ｇ画像中のハッチングされた画素ｙ、ｃ、ｍ、ｇの影響を受ける。従って、ＣＭＹＧ画像からＲＧＢ画像を直ちに求めることはできないことが分かる。
【００２７】
そこで、本実施形態では、撮像して得られた補色系の各分色モザイク画像に対して前記Ｌａｎｄｗｅｂｅｒの反復アルゴリズムを適用することによりＲＧＢ画像の再構成（復元）を行なう。
【００２８】
今、観測（撮像）画像をｇ、観測過程（劣化過程）をＡ、再生過程の近似をＢ、原画像の近似をｆとすると、この反復アルゴリズムは、次式
ｆ←ｆ＋Ｂ（ｇ−Ａｆ）　　　…（３）
により表わされる。ここで、原画像の近似ｆはＲＧＢ復元画像に、観測画像ｇは実際に撮像されたＣＭＹＧ画像にそれぞれ対応し、次式
【数３】
2004056640.tif 000005
のように表わすこともできる。
【００２９】
この（４）式は、現在のＲＧＢ復元画像を補色フィルタ素子で撮像して見て、実際に撮像されたＣＭＹＧの各モザイク画像と比較し、誤差があればその誤差を修正するようにＲＧＢ復元画像を更新するという操作を表わしている。
【００３０】
当然の如く、ｆの初期値、Ａ、Ｂをどのように決定するかによって、再構成精度や収束速度が異なる。ここでは、ｆの初期値としては、撮像されたＣＭＹＧ画像から従来法によって得られるＲＧＢ初期画像とすることにより、早期収束を図る。又、劣化（撮像）過程Ａをローパスフィルタによるボケ、原色系から補色系への色変換、及びモザイク状態への間引きの３つの処理と想定する。実際の反復処理では、実効画素の近傍で、正方形の開口部に対して、ガウス状点拡がり関数を持つ光学ローパスフィルタが設置してあるとして近似する。但し、光学フィルタはこれに限定されず、平均値フィルタ等であってもよい。又、再生過程Ｂは、間引いた画素の補間と、逆色変換で近似できる。
【００３１】
実際に、前記（４）式で示した処理を行なうソフトウェアを作成し、復元処理を行なったシミュレーション結果について説明する。処理手順の中で、撮像過程Ａを摸擬する際に掛けるローパスフィルタには、次式
ｈ（ｘ，ｙ，σ）＝｛１／（２πσ２）｝ｅ−［（ｘ２＋ｙ２）／（２σ２）］　…（５）
（ここで、ｘ，ｙ：画素間隔を１とする座標値）
の２次元ガウス関数により定まる係数を重みとする７×７のオペレータを用いた。σは実験の結果良好な復元画像が得られた１．１とした。
【００３２】
撮像の逆過程で用いる作用素Ｂは、着目画素の撮像の際に考慮したＲＧＢ内の画素に対して、関与した割合に応じて差分を戻す処理とした。但し、実験結果より係数０．５を乗じることにした。つまり、撮像の際に用いたガウス関数により定まる重みを係数とするオペレータに、差分値と前記図１に示したＲＧＢ各色成分に応じた透過率と０．５とを掛けた値を、ＲＧＢ各色画像中の対応する画素値に加えることにより、（４）式の反復処理が１回行なわれたことになる。実験では、この復元画像にガンマ補正を施した後、ＲＧＢの各輝度値に変換した。比較のため、従来の線形補間法を用いた復元画像を作成した。比較した結果、図示は省略するが、本発明により作成された復元画像の方が、精細度と精彩度が共に改善されており、有効性が確認できた。
【００３３】
又、図６には、以上の計算原理に基づく本実施形態によるシミュレーション結果を、通常の補間法による結果と対比させて示す。これは、ある画像の一例について、ＣＭＹＧとＲＧＢの各要素毎に求めたＳＮ比（ＳＮＲ　　ｉｎ　　ｄＢ）、ピークＳＮ比（ＰＳＮＲ　ｉｎ　ｄＢ）、ルート平均自乗誤差ＲＭＳＥ、平均絶対誤差ＭＡＥ、最大絶対誤差ＸＡＥを、それぞれしめしたものである。但し、図中“本手法”で示す本発明方法は、初期値をＣＭＹＧ領域から色変換と補間を行ったＲＧＢ画像に設定し、反復回数が１０回の場合の結果である。
【００３４】
この結果は、シミュレーションによるものであるため、本来は入手できないＲＧＢ原画像があるので、ＲＧＢ領域の品質を知ることができる。この結果より、撮像側のＣＭＹＧ領域での品質とは必ずしも一致しない事が分かる。
【００３５】
以上詳述した本実施形態によれば、観測（撮像）過程Ａ、再生過程Ｂを適切に設定することにより、十分な再構成精度や収束速度でＲＧＢ画像を再構成することができる。又、原色画像の近似ｆの初期値としては、前記のようにＣＭＹＧ領域から補間と色変換により設定することにより、収束を早めることができるが、この方法によらずに、任意のＲＧＢ初期画像から始めたとしても、目的とするＲＧＢ復元画像を確実に得ることができる。
【００３６】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００３７】
例えば、前記デモザイク処理装置１０は、前記実施形態に示したように通常のディジタルカメラに実装してもよいが、これに限定されず、モザイク画像を保存しておくようにすれば、この機能をプリンタやパソコンに付与し、これらを用いてデモザイク処理をするようにしてもよい。
【００３８】
【発明の効果】
以上説明したとおり、本発明によれば、補色系カラーフィルタを用いた単板式撮像素子により撮像した画像から、ボケや偽色が低減された尖鋭度の高い、高品位な原色系画像を生成することができる。
【図面の簡単な説明】
【図１】補色カラーフィルタのＲＧＢ透過率を示す図表
【図２】本発明に係る一実施形態のデモザイク処理装置の概要を示すブロック図
【図３】Ｌａｎｄｗｅｂｅｒ型アルゴリズムによるＲＧＢ画像の復元手順のイメージを示す説明図
【図４】Ｙ画像の撮像過程のイメージを示す説明図
【図５】補色系画像からのＲ画像の復元過程のイメージを示す説明図
【図６】本発明の効果を示す図表
【図７】Ｂａｙｅｒ型原色カラーフィルタの色配列のイメージを示す線図
【図８】補色系カラーフィルタの色配列のイメージを示す線図
【符号の説明】
１０…デモザイク処理装置
１２…光学ローパスフィルタ
１４…補色系カラーフィルタ
１６…撮像素子
１８…Ａ／Ｄ入力ポート
２０…Ｉ／Ｏバッファメモリ
２２…演算メモリ
２４…信号処理装置
２６…プログラムメモリ
２８…出力ポート
【図１】
2004056640.tif 000006
【図２】
2004056640.tif 000007
【図３】
2004056640.tif 000008
【図４】
2004056640.tif 000009
【図５】
2004056640.tif 000010
【図６】
2004056640.tif 000011
【図７】
2004056640.tif 000012
【図８】
2004056640.tif 000013