【手続補正書】
【提出日】平成21年3月6日(2009.3.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、
前記複数種類のフィルタのうち１種類の所定のフィルタが市松状の画素位置に配置され、残りのフィルタの一部もしくは全てが前記所定のフィルタが位置しない画素位置にランダムに配置されている
カラーフィルタ。
【請求項２】
注目画素位置において、注目画素位置を含む予め決められた大きさの領域内における同種類の前記フィルタの存在頻度が所望の誤差範囲に収まるように規定されている
請求項１に記載のカラーフィルタ。
【請求項３】
前記複数種類のフィルタの色が４色であり、第1の色C1が市松状に配置され、第2の色C2が前記第1の色C1の存在しない画素位置で水平及び垂直に1ラインおきに配置され、第3の色C3及び第4の色C4が前記第1の色C1及び前記第2の色C2の存在しない画素位置にランダムに配置されている
請求項２に記載のカラーフィルタ。
【請求項４】
前記第1の色C1が緑、前記第2の色C2が赤、前記第3の色C3が青、前記第4の色C4が緑および赤に比べて青に近い色である
請求項３に記載のカラーフィルタ。
【請求項５】
前記第3の色C3と前記第4の色C4の分光感度の相関が、他の色間の分光感度の相関に比べて高い
請求項３に記載のカラーフィルタ。
【請求項６】
前記複数種類のフィルタの色が５色であり、
前記第1の色C1が市松状に配置され、前記第2の色C2及び第3の色C3がC1の存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置され、前記第4の色C4及び第5の色C5がC1,C2,C3の存在しない画素位置にランダムに配置されている
請求項２に記載のカラーフィルタ。
【請求項７】
前記第2の色C2と前記第3の色C3の分光感度の相関、並びに前記第4の色C4と前記第5の色C5の分光感度の相関が、他の色間の分光感度の相関に比べて高い
請求項６に記載のカラーフィルタ。
【請求項８】
分光特性が異なる５種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタであって、
複数のフィルタの色のうち第1の色C1aが水平及び垂直に1ラインおきに配置され、第2の色C1bが水平及び垂直に1ラインおき、且つ前記第1の色C1aとは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色C1a及び前記第2の色C1bの存在しない画素位置にランダムに配置されている
カラーフィルタ。
【請求項９】
任意の注目画素位置において、前記注目画素位置を含む規定された大きさの領域内における同じ色の存在頻度が所望の誤差範囲に収まる
請求項８に記載のカラーフィルタ。
【請求項１０】
前記複数のフィルタの色が5色であり、
前記第1の色C1aが水平及び垂直に1ラインおきに配置され、前記第2の色C1bが水平及び垂直に1ラインおき、且つ前記第1の色C1aとは異なるラインに配置され、第3の色C2が前記第1の色C1a及び前記第2の色C1bの存在しない画素位置に水平及び垂直に1ラインおきに配置され、第4の色C3及び第5の色C4が前記第1の色C1a、前記第2の色C1b、前記第3の色C2の存在しない画素位置にランダムに配置されている
請求項９に記載のカラーフィルタ。
【請求項１１】
前記第4の色C3と前記第5の色C4の分光感度の相関が、他の色間の分光感度の相関に比べて高い
請求項１０に記載のカラーフィルタ。
【請求項１２】
前記複数のフィルタの色が6色であり、
前記第1の色C1aが水平及び垂直に1ラインおきに配置され、前記第2の色C1bが水平及び垂直に1ラインおき、且つ前記第1のC1aとは異なるラインに配置され、第3の色C2及び第4の色C3が前記第1の色C1a及び前記第2の色C1bの存在しない画素位置で、水平及び垂直に1ラインおきの画素位置にランダムに配置され、第5の色C4及び第6の色C5が前記第1の色C1a、前記第2の色C1b、前記第3の色C2および前記第4の色C3の存在しない画素位置にランダムに配置されている
請求項９に記載のカラーフィルタ。
【請求項１３】
前記第3の色C2と前記第4の色C3の分光感度の相関、並びに前記第5の色C4と前記第6の色C5の分光感度の相関が、他の色間の相関に比べて高い
請求項１２に記載のカラーフィルタ。
【請求項１４】
前記第1の色C1aと前記第2の色C1bの分光感度の相関が、他の色間の分光感度の相関に比べて高い
請求項８〜１３のいずれかに記載のカラーフィルタ。
【請求項１５】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、
前記複数種類のフィルタのうち１種類の所定のフィルタが市松状の画素位置に配置され、残りのフィルタの一部もしくは全てが前記所定のフィルタが位置しない画素位置にランダムに配置されている
撮像素子。
【請求項１６】
分光特性が異なる５種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられたカラーフィルタを有する撮像素子であって、
複数のフィルタの色のうち第1の色C1aが水平及び垂直に1ラインおきに配置され、第2の色C1bが水平及び垂直に1ラインおき、且つ前記第1の色C1aとは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色C1a及び前記第2の色C1bの存在しない画素位置にランダムに配置されている
撮像素子。
【請求項１７】
分光特性が異なる複数種類のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、前記複数種類のフィルタのうち１種類の所定のフィルタが市松状の画素位置に配置され、残りのフィルタの一部もしくは全てが前記所定のフィルタが位置しない画素位置にランダムに配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、
前記入力手段が入力した画像データ内の前記所定の色が存在しない画素位置における第1の色C1の画素値を、その周囲に存在する前記第1の色C1を用いて補間して第1の画像を生成する第1の補間手段と、
前記第1の色C1以外の第2の色CXの画素値は注目画素位置を含む局所領域に存在する前記第1の色C1及び前記第2の色CXを用いて補間して第2の画像を生成する第2の補間手段と
を有する画像処理装置。
【請求項１８】
前記第1の補間手段が生成した前記第1の画像と前記第2の補間手段が生成した前記第2の画像とを含む複数の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、
前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記複数の画像の中から１つの画像を、前記複数の画像間の相関に基づいて修正する修正手段と、
前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と
を有する請求項１７に記載の画像処理装置。
【請求項１９】
分光特性が異なる５種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、複数のフィルタの色のうち第1の色C1aが水平及び垂直に1ラインおきに配置され、第2の色C1bが水平及び垂直に1ラインおき、且つ前記第1の色C1aとは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色C1a及び前記第2の色C1bの存在しない画素位置にランダムに配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、
前記入力手段が入力した画像データ内の注目画素位置を含む局所領域に存在する前記第１の色C1aと前記第２の色C1bの画素値を用いて注目画素位置における新たな第３の色C1cの画素値を補間する第１の補間手段と、
前記カラーフィルタが持つ複数種類のフィルタの各色CX（C1a、C1bも含む）の画素値を注目画素位置を含む局所領域に存在する第３の色C1c及び前記色CXの画素値を用いて補間する第２の補間手段と
を有する画像処理装置。
【請求項２０】
前記第２の補間手段が生成した前記各色の複数の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、
前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記複数の画像の中から１つの画像を、前記複数の画像間の相関に基づいて修正する修正手段と、
前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と
を有する請求項１９に記載の画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、デジタルカメラをはじめとする、固体撮像素子を利用した撮像装置に用いられるカラーフィルタ、撮像素子および画像処理装置に関するものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また一般に、画素の間引きや加算を行って固体撮像素子から高速に信号を読み出す工夫がなされているが、間引きや加算は周期的なパターンで行われるため、ランダムなフィルタ配列を用いると、間引き後のフィルタ配列が元と変わってしまったり、異なる色の画素がランダムに加算されてしまったりするという問題が生じる。
以上に述べたように、フィルタ配列にランダム性を入れ、色数を増加させることは、偽色の低減や、ダイナミックレンジ・色再現の向上と引き換えに、解像度の低下や、間引き・加算読み出しでの不具合を生じさせる。
【特許文献１】特開2005-160044号公報
【特許文献２】US Patent第3,971,065号
【特許文献３】US Patent第4,716,455号
【特許文献４】EP公告公報第0,804,037号,(A2)
【特許文献５】特開2000-316169号公報
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
第６の観点の発明の画像処理装置は、分光特性が異なる５種類以上のフィルタのうち何れかのフィルタが各画素位置に割り当てられ、複数のフィルタの色のうち第1の色C1aが水平及び垂直に1ラインおきに配置され、第2の色C1bが水平及び垂直に1ラインおき、且つ前記第1の色C1aとは異なるラインに配置されており、残りの色の一部もしくは全てが前記第1の色C1a及び前記第2の色C1bの存在しない画素位置にランダムに配置されているカラーフィルタを持つ画像センサから、画像データを入力する入力手段と、前記入力手段が入力した画像データ内の注目画素位置を含む局所領域に存在する前記第１の色C1aと前記第２の色C1bの画素値を用いて注目画素位置における新たな第３の色C1cの画素値を補間する第１の補間手段と、前記カラーフィルタが持つ複数種類のフィルタの各色CX（C1a、C1bも含む）の画素値を注目画素位置を含む局所領域に存在する第３の色C1c及び前記色CXの画素値を用いて補間する第２の補間手段とを有する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
例えば、画像中の注目画素周辺の局所領域においてＣ1チャネル（例えばG）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ11，Ｃ12，Ｃ13，・・・，Ｃ1N｝とＣ2チャネル（例えばR）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ21，Ｃ22，Ｃ23，・・・，Ｃ2N｝とが得られたとき、上述した両者間の線形な関係があると仮定することにより、Ｃ2チャネルの注目画素位置の輝度推定値Ｃ2C'は注目画素位置のＣ1チャネルの輝度値Ｃ1Cから以下の式(8)により推定することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
＜第２実施形態＞
第２実施形態は、第２および第４の観点の発明の一例である。
本実施形態のカラーフィルタ配列は、第1実施形態で説明したカラーフィルタ配列において色C1が市松状に配置されていた点を二つの色C1aとC1bの規則的配置に置き換えたものである。
特開2005-160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cをC1aとC1bが存在する全画素上に補間することができる。
C1aとC1bの代わりにC1cを配置した配列は、第１実施形態で説明したフィルタ配列と等しい。
すなわち、本実施形態のカラーフィルタは、第１実施形態で説明したカラーフィルタの利点を持ちながら、フィルタの色数が一つ増えることにより、さらに色再現やダイナミックレンジを向上させることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
図１６は、図１５に示す本実施形態のカラーフィルタを用いた場合におけるデモザイク処理を説明するための図である。
図１６に示すように、本実施形態の画像処理装置は、図９と対比すると、G補間部201に代わって(G+G')補間部a201を用い、R(R',B,B')補間部202(203,204,205)と同じ処理がGとG'用に追加され(G補間部a202,G'補間部a203)、その結果5プレーンでなく6プレーン画像RR'GG'BB'補間画像1a208が生成される。
その後段のノイズ除去処理では、G画像、G'画像はランダム配列に起因するノイズが発生しないためノイズ除去処理をスルーし、図９と同様にR,R'B,B'画像の４つに対してMS-SyncNR処理がおこなわれる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
本実施形態のカラーフィルタは、例えば、色C1をC1aとC1bに置き換えることによって、さらに色再現やダイナミックレンジを向上させることができることができる。
また、色C1aと色C1bの分光感度の相関が、他の色間の分光感度の相関に比べて高いことが好ましい。すなわち、特開2005-160044号公報に述べられているように、C1aとC1bの規則的配置からC1aとC1bに基づいて作られた新たな色C1cを作る場合、C1aとC1bの分光感度の相関が高い方が好ましい。