(57)【特許請求の範囲】
【請求項１】
撮像面に被写体の像を結像するレンズ部と、
互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、
前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して斜め２方向（（１／２）ａ，（１／２）ｂ）ｘ（√２／α）及び（（１／２）ａ，−（１／２）ｂ）ｘ（√２／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））を結ぶ帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、
前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、
前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．５≦α≦３．５倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が５±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を１．５≦α≦１．９倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項３】
請求項１または２に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が４±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を１．９≦α≦２．８３倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項４】
請求項１から３の何れか一項に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が３±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を２．８３≦α≦３．５倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項５】
撮像面に被写体の像を結像するレンズ部と、
互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、
前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して垂直一方向（０，ｂ／α）への光線分離を行って、前記撮像素子のｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数α／（２ｂ）の帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、
前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、
前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．１≦α≦２．０倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項６】
請求項５に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が５±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を１．１≦α≦１．３３倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項７】
請求項５または６に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が４±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を１．３３≦α≦１．６７倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項８】
請求項５から７の何れか一項に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が３±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を１．６７≦α≦２．０倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項９】
撮像面に被写体の像を結像するレンズ部と、
互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、
前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）座標軸に対して縦・横２方向（ａ／α，０）及び（０，ｂ／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））のそれぞれの帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、
前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、
前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜４μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．４５≦α≦２．５倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項１０】
請求項９に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が４±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を１．４５≦α≦２．０倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項１１】
請求項９または１０に記載のデジタルカメラにおいて、
前記撮像素子の画素間隔（ａ，ｂ）が３±０．５μｍ／ｐｉｘｅｌのとき、前記光学ローパスフィルタの死滅周波帯域の位置を２．０≦α≦２．５倍の範囲に設定することを特徴とするデジタルカメラ。
【請求項１２】
請求項１，５，９の何れか一項に記載のデジタルカメラにおいて、
前記レンズ部は、開放絞り値が少なくともＦ２．８以上の明るさを備え、開放絞り値から少なくともＦ８以上にまで可変に絞りを制御できる絞り機構をさらに備えたことを特徴とするデジタルカメラ。
【請求項１３】
請求項１２に記載のデジタルカメラにおいて、
前記レンズ部は、５０ｍｍ〜２００ｍｍの間の焦点距離を少なくとも１つ有することを特徴とするデジタルカメラ。
【請求項１４】
請求項１２に記載のデジタルカメラにおいて、
前記レンズ部は、複数の種類のレンズと交換可能なレンズ部であることを特徴とするデジタルカメラ。
【請求項１５】
請求項１４に記載のデジタルカメラにおいて、
前記レンズ部は、フィルムカメラとデジタルカメラに共通に使用可能な交換レンズ群を装着可能なレンズ部であることを特徴とするデジタルカメラ。
【請求項１６】
請求項１，５，９の何れか一項に記載のデジタルカメラにおいて、
前記撮像素子は、３５ｍｍｘ２４ｍｍ、２３．４ｍｍｘ１６．７ｍｍ、１８ｍｍｘ１３．５ｍｍ、ないしはそれらの間の何れかの大きさの撮像素子を備えることを特徴とするデジタルカメラ。
【請求項１７】
請求項１，５，９の何れか一項に記載のデジタルカメラにおいて、
前記撮像素子は、緑色成分が市松状に半分の密度を占め、赤色と青色成分が残りの画素に均等に配置されているカラーフィルタが配置された撮像素子を用いることを特徴とするデジタルカメラ。
【請求項１８】
請求項１，５，９の何れか一項に記載のデジタルカメラにおいて、
前記画像処理部は、前記類似性判定結果に基づいて色差成分を生成し、前記生成された色差成分に対して各々の画素毎に適応的な平滑化処理を行って前記各々の画素に少なくとも１つの共通する色成分を生成することを特徴とするデジタルカメラ。
【請求項１９】
請求項１，５，９，１８の何れか一項に記載のデジタルカメラにおいて、
前記画像処理部は、前記撮像素子から出力される静止画について処理を行うことを特徴とするデジタルカメラ。
【請求項２０】
デジタルカメラシステムであって、
撮像面に被写体の像を結像するレンズ部と、
互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、
前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して斜め２方向（（１／２）ａ，（１／２）ｂ）ｘ（√２／α）及び（（１／２）ａ，−（１／２）ｂ）ｘ（√２／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））を結ぶ帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、
前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、
前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．５≦α≦３．５倍の範囲に設定することを特徴とするデジタルカメラシステム。
【請求項２１】
デジタルカメラシステムであって、
撮像面に被写体の像を結像するレンズ部と、
互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、
前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して垂直一方向（０，ｂ／α）への光線分離を行って、前記撮像素子のｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数α／（２ｂ）の帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、
前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、
前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．１≦α≦２．０倍の範囲に設定することを特徴とするデジタルカメラシステム。
【請求項２２】
デジタルカメラシステムであって、
撮像面に被写体の像を結像するレンズ部と、
互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、
前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）座標軸に対して縦・横２方向（ａ／α，０）及び（０，ｂ／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））のそれぞれの帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、
前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、
前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜４μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．４５≦α≦２．５倍の範囲に設定することを特徴とするデジタルカメラシステム。
【請求項２３】
請求項２０〜２２の何れか一項に記載のデジタルカメラシステムにおいて、
前記画像処理部は、前記類似性判定結果に基づいて色差成分を生成し、前記生成された色差成分に対して各々の画素毎に適応的な平滑化処理を行って前記各々の画素に少なくとも１つの共通する色成分を生成することを特徴とするデジタルカメラシステム。
【請求項２４】
請求項２０〜２３の何れか一項に記載のデジタルカメラシステムにおいて、
前記画像処理部は、前記撮像素子から出力される静止画について処理を行うことを特徴とするデジタルカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学フィルタを備えたデジタルカメラおよびデジタルカメラシステムに関する。
【背景技術】
【０００２】
デジタルカメラではレンズで結像したアナログ像をサンプリングによってデジタル信号に変換を行なうので、ナイキストのサンプリング定理に従う。ナイキスト周波数以上の高周波成分は、固体物理学でよく知られた第一ブリルアンゾーンで折り返して低周波成分として認識され、いわゆるエイリアジング効果によってモアレが発生する。さらにカラーフィルタが配置された単板カラー撮像素子の場合は、色フィルタの密度差と位相差によって色モアレが発生する。
【０００３】
色補間を行なうときの予測誤差も合わせて一般に色モアレは偽色と呼ばれる。偽色はエイリアジング現象によって色補間における色差成分の補間予測間違いに伴って生じ、一般に偽色と実在色を補間アルゴリズムが区別をするのは困難である。また、輝度成分のエイリアジングに伴う補間予測間違いを一般に偽解像、偽構造と呼んだりする。この偽構造もまた、実構造と補間アルゴリズムが区別するのは一般に困難である。
【０００４】
Bayer配列におけるサンプリング信号が持つ周波数解像域、すなわち第一ブリルアンゾーンの作図を図１に、ナイキスト周波数近辺で偽色、偽解像のエイリアジングが発生する様子を模式的に示した図を図２に示す。図１（ａ）は、Bayer配列におけるR成分の第一ブリルアンゾーンの作図であり、図１（ｂ）は、Bayer配列におけるG成分の第一ブリルアンゾーンの作図であり、図１（ｃ）は、Bayer配列におけるB成分の第一ブリルアンゾーンの作図である。他のカラーフィルタ配列、例えばデルタ配列の第一ブリルアンゾーンの作図例は、本願発明者の出願の特許文献１に示されている。
【０００５】
一般にカラーフィルタ配列が決まれば、周波数空間（ｋ空間）上でその偽色・偽構造の発生する中心点（以降、極点と呼ぶ）は自動的に定まる。極点は通例、第一ブリルアンゾーンを形作る多角形における角の部分に現れ、正方格子配列の場合は多角形の線分の中点にも現れる。サーキュラーゾーンプレート(CZP)画像はちょうどk空間の解像域を表す図と対応しており、Bayer配列で無彩色CZP画像を撮影したときに現れる偽色の極点を図３に分類した例を示す。
【０００６】
従来、このエイリアジングの原因となる高周波成分をデジタル撮像する前に、光学ローパスフィルタ（OLPF）を通過させた撮像信号に対して色補間処理を行なうと偽色の発生を抑えることができるということが知られている。例えば、特許文献２、特許文献３、特許文献４にこの趣旨の開示がなされている。すなわち、正方格子配列の場合は横に１画素分と縦に１画素分の２回光線を分離して、４点分離型にするとちょうどその極点の周波数成分を完全にMTFがゼロになるまで殺すことができる。ちょうど一画素分のピッチに当たる量をシフトしてナイキスト周波数の100%の周波数位置に死滅周波数帯のMTFくぼみを作るという意味で100%OLPFと呼べ、縦（垂直）と横（水平）の２方向という意味で便宜上100%hvと書き表せる。図２には100%OLPFの場合の模式図（OLPFで示す点線）も示している。
【０００７】
また、特許文献５には交換レンズ式の一眼レフカメラにおいて、画素ピッチが異なる２台のカメラ、例えばそれぞれが7μm/pixelと5μm/pixelの撮像素子からなる２台のカメラでは、それぞれの画素ピッチにほぼ近いレベルの光線分離幅をもつ４点分離型の光学ローパスフィルタの実現の仕方について、光学ローパスフィルタの厚みの違いによる光路長の差で生じる収差の影響を低減するための方法に関する記述をしている。
【０００８】
この中で、光学ローパスフィルタの利用方法の常識として、モアレの抑制のためには光線分離幅をほぼ画素ピッチに近い範囲に設定する必要があるとの記述が[0007]段落、[0226]段落、及びFig.18に記載がある。すなわち、Fig.18に示されるように8.92μm/pixelから4.88μm/pixelまでに渡って、画素ピッチが如何に変化しても光線分離幅は、ナイキスト周波数に対して相対的に一定の割合にある位置の周波数を殺すべきであるとの思想が展開されている。
【０００９】
【特許文献１】特開2004-7164号公報
【特許文献２】実公昭47-18689号公報
【特許文献３】米国特許第4,626,897号明細書
【特許文献４】米国特許第4,663,661号明細書
【特許文献５】米国特許出願公開2005/0174467号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述のように、光学ローパスフィルタはその死滅周波数帯をナイキスト周波数近辺に設定しなければ、その周波数帯が生み出すモアレ要因のキャリアーを殺せないので、意味をなさず、これまで常識的にその近辺に設定するということがなされてきた。また、各社の設計的事項の範囲もその思想を踏襲するものであった。しかしながら、画素ピッチが5μm/pixelを超えて4μm/pixel、3μm/pixelというようにますます小さくなっていった場合、特に一眼レフ系レンズの環境下でどのような変化が生じて、何か画質的に問題を生じうるのか、という系統だった研究はなされていなかった。すなわち、ナキスト周波数の偽色・偽解像のレベルは具体的にどのように変化し、画像全体としては何が一番重要な問題点として浮上し、そのような問題に対して何か解決が図りうるのか、図りえないのか、あるいは図りえずしてどの時点で高画素数化の終わりを迎えるのか、全く未知の状態にあった。
【００１１】
したがって、本発明はこれらを解明して具体的特性を明らかにすることにより、特に現状の一眼レフシステムにおいて、今後も高画素数化を図ることでできるような解決方法を提示する。
【課題を解決するための手段】
【００１２】
請求項１の発明によるデジタルカメラは、撮像面に被写体の像を結像するレンズ部と、互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して斜め２方向（（１／２）ａ，（１／２）ｂ）ｘ（√２／α）及び（（１／２）ａ，−（１／２）ｂ）ｘ（√２／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））を結ぶ帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．５≦α≦３．５倍の範囲に設定することを特徴とする。
請求項５の発明によるデジタルカメラは、撮像面に被写体の像を結像するレンズ部と、互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して垂直一方向（０，ｂ／α）への光線分離を行って、前記撮像素子のｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数α／（２ｂ）の帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．１≦α≦２．０倍の範囲に設定することを特徴とする。
請求項９の発明によるデジタルカメラは、撮像面に被写体の像を結像するレンズ部と、互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）座標軸に対して縦・横２方向（ａ／α，０）及び（０，ｂ／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））のそれぞれの帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜４μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．４５≦α≦２．５倍の範囲に設定することを特徴とする。
請求項２０の発明は、デジタルカメラシステムであって、撮像面に被写体の像を結像するレンズ部と、互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して斜め２方向（（１／２）ａ，（１／２）ｂ）ｘ（√２／α）及び（（１／２）ａ，−（１／２）ｂ）ｘ（√２／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））を結ぶ帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．５≦α≦３．５倍の範囲に設定することを特徴とする。
請求項２１の発明は、デジタルカメラシステムであって、撮像面に被写体の像を結像するレンズ部と、互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）  座標軸に対して垂直一方向（０，ｂ／α）への光線分離を行って、前記撮像素子のｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数α／（２ｂ）の帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜５μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．１≦α≦２．０倍の範囲に設定することを特徴とする。
請求項２２の発明は、デジタルカメラシステムであって、撮像面に被写体の像を結像するレンズ部と、互いに直交するｘ，ｙの２方向に画素間隔（ａ，ｂ）で格子状に配列された画素の各々に第１〜第ｎ（ｎ≧２）の色成分の内、第１の色成分が少なくとも市松状に半分の密度を占め、他の色成分が残りの画素を占めているカラーフィルタが配置され、前記被写体像の画像信号を出力する撮像素子と、前記レンズ部を通過した光が前記撮像素子に入射する前に、（ｘ，ｙ）座標軸に対して縦・横２方向（ａ／α，０）及び（０，ｂ／α）への光線分離を行って、前記撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））のそれぞれの帯域を死滅させる前記被写体像の周波数変調を行う光学ローパスフィルタ部と、前記撮像素子から出力された画像信号に対し、少なくともｘ軸とｙ軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いてナイキスト周波数領域の分解能を備えた異色間類似度を算出し、前記異色間類似度に基づいて類似性の強い方向を判定し、前記類似性判定結果に基づいて、各々の画素に少なくとも１つの共通する色成分の色信号を生成する画像処理部と、を備え、前記撮像素子の画素間隔（ａ，ｂ）が共に２．５〜４μｍ／ｐｉｘｅｌの範囲にあるとき、前記光学ローパスフィルタの死滅周波数帯域の位置を、前記撮像素子のナイキスト周波数に対して１．４５≦α≦２．５倍の範囲に設定することを特徴とする。
【発明の効果】
【００１３】
現行レンズ群の画素ピッチ依存性に関する具体的な特性に対する、カラーフィルタ配列のデモザイクで生じる偽解像・偽色への影響の変化を具体的に把握し、解明を行った。これにより、光学ローパスフィルタの従来にない使用方法を可能とし、その最適な設定の使用範囲を示すことによって、現行レンズシステムのまま偽解像、偽色の少ない高画質なデモザイク結果を維持して、更にピント感のある力強い写真を提供し続けながら画素ピッチの微細化を実現することができる。
【発明を実施するための最良の形態】
【００１４】
本発明は、レンズMTF特性を加味した観点からの最適な光学フィルタの設計を提供するものである。とりわけ、可変な絞り値を有する一眼レフカメラのレンズ群において、撮像素子の画素ピッチを縮小して高画素数化していったときに生じるレンズＭＴＦ特性の対象周波数領域の拡大に伴う不可避な課題に対処する観点から光学ローパスフィルタを設計する。また、光学ローパスフィルタの特性を補間アルゴリズムとの相性に基づいて最適化するものでもあり、特に、所定の補間アルゴリズムを導入して最適な光学ローパスフィルタの設計を図って、総合画質の向上を提供する。
【００１５】
＜基本方針＞
実施の形態の説明に入る前に本発明の基本的考えを序論として述べる。そして、それを実現する光学ローパスフィルタの設計と特性比較、及び幾何光学シミュレーションによる実験結果と波動光学にまで踏み込んだ考察を行なうことにより、以下に示す実施形態に至った理由及び根拠を示す。画像処理の具体的アルゴリズムについては後述する実施の形態の中で詳細を述べるが、ここでは高性能化した補間アルゴリズムの従来との対比を行なうことにより、どのような利点を活用することが出来、その利点を活用して新たに生ずる画素ピッチ縮小化に伴う課題に対してどのように対処できるようになるのかを示す。カラーフィルタ配列は最も代表的なベイヤ配列（画素ピッチaの正方配列）を例にとった説明をする。
【００１６】
一般に、従来の２画素ピッチ間隔の同色相関を用いてしか方向判定しない補間アルゴリズムは、k空間の第一ブリルアンゾーンにおける８点を中心とした極点周りに盛大な偽色が発生する（図３参照）。これはカラーフィルタ配列から自動的に決まる偽色発生源の極点の構成と同じである。
【００１７】
偽色のタイプは２種類に分けられ、一つ目は無彩色の解像領域でみた縦線ナイキスト周波数(±π/a,0)、横線ナイキスト周波数(0,±π/a)近傍で現れる青色と黄色の組み合わせの色モアレパターン１と、２つ目は無彩色の解像領域でみた斜め線ナイキスト周波数（±π/a,±π/a）,（±π/a,−＋π/a）近傍で現れる緑とマゼンタ色の組み合わせの色モアレパターン２である。
【００１８】
また、解像力も図１のG成分の菱形で囲まれた領域内しか分解能がなく、その外側の高周波数帯域では全て偽解像となる。そこで、本発明者のUSP6,836,572では色成分を無視した１画素ピッチ間隔の異色相関で方向判定する技術が導入され、同色相関と組み合わせたその有効活用法を紹介している。しかし、その効果は絶大であるものの扱いは極めて難しく、改善の方向性は示しつつも、その輝度面への弊害対策が十分なレベルまで到達していなかった。
【００１９】
それを実質的に大きく改善したのが、本発明者のUS2004/0080639で開示された色判定法であり、本実施の形態では更に本発明者のUS2006/0092298で開示された色勾配判定法を組み合わせた技術を採用する。これらの技術を用いることによって、ナイキスト周波数でのMTF、コントラストが極めて高く残っていても、偽色・偽解像が極めて少なく抑制された補間アルゴリズムを実現しうるようになる。
【００２０】
この異色相関を用いたアルゴリズムを用いると縦線・横線のナイキスト周波数の分解能を備えるため、図３の色モアレパターン１を完全に消滅させ、色モアレパターン２も減らすことができる。また、上述の図１の菱形領域の外側の偽解像を方向判定の精度の観点から完全になくすことができる。これらの効果は、色差成分の生成時に異色相関を使えば偽色抑制効果が得られるし、輝度成分の生成時に異色相関を使えば偽解像抑制効果が得られ、切り分けて考えることができる。
【００２１】
ここで完全にという意味は、その発生の主たる要因である方向判定の間違いをなくすことができることを意味している。また、補間値算出においてどのような対策技術を講じても得たい方向に信号が存在しないことに由来するわずかな予測誤差は、方向判定間違いによる偽色・偽解像に比べ、最善の対策技術が講じられている場合、オーダーが小さいので省略して用いている。
【００２２】
このように、異色相関を色差成分や輝度成分の生成時に使えば、縦・横ナイキスト周波数(±π/a,0),(0,±π/a)近傍で現れていた偽色・偽解像の発生を心配する必要がなくなる。したがって、もはやその領域の偽色・色モアレの発生を心配して光学ローパスフィルタによってその帯域の信号コントラストを死滅させる必要性はなくなる。すなわち、色モアレ発生源の極点上に存在する周波数帯域のMTFの値が有限であっても、偽色・偽解像の発生を極力抑制する色補間アルゴリズムの環境が整ったということができる。従って、光学ローパスフィルタの設計に新たな自由度を与え、画素ピッチ微細化に伴って現われる新たな課題に対して、その対処能力の全エネルギーを振り向けることが可能となる。また、１つの最良の光学ローパスフィルタの選び方の形態として、異色相関を使っても消し去ることが出来ない斜めナイキスト周波数領域（±π/a,±π/a）,（±π/a,-+π/a）に光学ローパスフィルタのエネルギーを集中させることができる。
【００２３】
なお、異色相関のことを異色間類似度、同色相関のことを同色間類似度とも呼び、どちらの表現も本文中では区別なく用いる。また、MTF(Modulation Transfer Function)という表現は、光学系が伝達することができるコントラストとほぼ同義の意味で用いているが、厳密にMTFを用いて議論するのが許されるのはある制約条件を満たす場合に限られる。すなわち、線形性の重ね合わせの原理を満たす電磁場を更に２乗することで算出された後の光の強度分布像についても再度フーリエ展開による重ねあわせが許される場合に限られる。したがって、ここではより広い意味で定義が可能なコントラストを用いて議論を行なう。
【００２４】
＜光学ローパスフィルタの候補とコントラスト特性＞
図２の模式的に表した図から明らかなように光学ローパスフィルタを入れると、本来高いMTF特性のままでいて欲しい中周波領域にまでMTF低下作用が働くので、信号強度のコントラスト、すなわち画像の鮮鋭感や解像感が低下する。したがって、単板撮像素子において鮮鋭感と偽色の抑制はトレードオフの関係にあり、サンプリングによる測定という空間的量子化操作に伴って量子力学の不確定性原理に従う。すなわち、コントラストと色の不確定性関係から両方を同時に精度よく定めることはできず、どちらか一方を重視すればもう一方の性能が低下し、両者を同時に達成できる精度には限界がある。
【００２５】
正方格子配列において100%hv型のOLPFは上記トレードオフの関係において偽色抑制を最重視した場合に相当し、OLPFなしの状態はコントラスト、鮮鋭感を最重視した場合に相当する。前者は、図２において「合成MTF」として示される実線の特性に相当し、後者は、図２において「光学系MTF」として示される実線の特性に相当する。したがって、前者はほぼ偽色が発生しないもののぼけ過ぎているという問題を有し、後者は極めて鮮明であるものの偽色・偽構造が多発するという問題を有する。
【００２６】
従って、実際にはカラーフィルタ配列から自動的に決まる偽色発生源の極点（図３参照）の周波数帯域にできるだけ接するような形で、光学ローパスフィルタの死滅周波数帯域を設定しなければならず、縦・横２枚構成を維持したまま100%からあまり離すことができない。従来のデジタルカメラでは、静止画画質における偽色、色モアレ発生を避けることを最重要視し、ベイヤ配列に対し、hv型では100%に近い値を取らざるを得ず、そこから少し離したとしても133%hvを採用するのが限界であった。
【００２７】
１．シミュレーションに用いた光学ローパスフィルタの3形態
上述のように、光学ローパスフィルタはナイキスト周波数近辺で用いられることが常識的であった。しかし、ここでは、序論の最後に述べる一眼レフ系レンズの画素ピッチ縮小化に伴って現われる本質的で最も重要な課題に対して対処する方法がありうるのかを探るため、従来の思想を脱して大胆にナイキスト周波数から無限大周波数までの連続的な強度を設定し、それらがレンズMTFの画素ピッチ依存性に対する変化に対してナイキスト周波数領域に有効に作用するかどうかを調べることにする。
【００２８】
（第一の形態：hv2方向型）
光学ローパスフィルタは複屈折板を用いて一本の光線を2本の50%ずつの強度を持つ光に分離する手法がよく用いられる（図４）。したがって、従来の縦横100%分離する手法は、１枚の複屈折板を用いて一度縦方向に１画素分だけ光線分離して2本とし、更にもう１枚の複屈折板を用いて横方向に１画素分だけ光線分離して合計4本の4点分離させるのが一般的である。
【００２９】
２枚の複屈折板を用いて縦横100%に４点分離する光学ローパスフィルタを便宜上、100%hvと表すことにする。縦横方向に3/4画素ずつ4点分離した光学ローパスフィルタは、その死滅周波数帯のナイキスト周波数に対するパーセント表示を用いて、分離幅の逆数から133%hvと表す。
【００３０】
第一の形態では、従来型の縦横2方向4点分離型をとり、画素ピッチ依存性と画像処理性能依存性を調べるため、100%から徐々に弱めて∞%まで変化させる形態をとる。光線分離のずらし量と便宜表示の関係について、代表的な例について図５に記す。図５は第一の形態の光学ローパスフィルタの便宜表示と光線分離のずらし量（光線シフト量）の代表的な例の一覧を示す。これらの光学ローパスフィルタを用いて画素ピッチの変化に対して色モアレ抑制と鮮鋭感保持の両立が可能な解が存在しうるのかを試すことにする。図６は、133%hvの場合の対応k空間図と実空間変位式を示す図である。
【００３１】
撮像素子の画素が互いに直交するｘ，ｙの２方向に画素間隔（ピッチ）（ａ，ｂ）で格子状に配列されているとすると、撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））のそれぞれの帯域は、図６の点線に示されている。図６は、α＝１３３％の例が示されている。ただし、ａ＝ｂとしている。
【００３２】
なお、上記のように光学ローパスフィルタの光線を分離することは、分離幅に対応する周波数帯域の信号を伝えるキャリアー（信号伝達能力）をゼロに死滅させる操作をすることに相当し、MTF特性ではその死滅帯域にくぼみを作ることに相当する。
【００３３】
（第2の形態：dd2方向型）
前節の＜基本方針＞の最後に述べた光学ローパスフィルタに該当する候補の１つが、第一の形態で構成した2枚の複屈折板をそのまま45度回転して、その強度を141%から徐々に弱めて∞%にまで変化させる方式である。斜め対角2方向に光線分離することから141%の場合は便宜上141%ddと書ける。141%ddのとき丁度、斜めナイキスト周波数の（±π/a,±π/a）,（±π/a,−＋π/a）上で光学ローパスフィルタの死滅周波数帯が斜め方向に横切り、縦横周波数軸に対しては縦・横ナイキスト周波数の丁度2倍の(±2π/a,0),(0,±2π/a)で死滅周波数帯が横切ることになる。
【００３４】
したがって、縦・横ナイキスト近辺のコントラスト強度は高く保たれる。縦・横ナイキスト周波数近辺の偽色・偽解像対策はその領域のコントラストが強く残っていても十分に対応可能な高性能な画像処理に任せる。
【００３５】
光学ローパスフィルタの強度を弱めていったときの光線分離のずらし量と便宜表示の関係について、代表的な例について図７に記す。ここで、パーセント表示は丁度一方向の光線シフト量のユークリッド距離の逆数になっていることを指摘しておく。図７は第２の形態の光学ローパスフィルタの便宜表示と光線分離のずらし量（光線シフト量）の代表的な例の一覧を示す。これらの光学ローパスフィルタを用いて画素ピッチの変化に対して色モアレ抑制と鮮鋭感保持の両立が可能な解が存在しうるのかを試すことにする。図８は、141%ddの場合の対応k空間図と実空間変位式を示す図である。
【００３６】
撮像素子の画素が互いに直交するｘ，ｙの２方向に画素間隔（ピッチ）（ａ，ｂ）で格子状に配列されているとすると、撮像素子のｘ方向のナイキスト周波数１／（２ａ）及びｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数（α／（２ａ），０）と（０，α／（２ｂ））を結ぶ帯域は、図８の点線に示されている。図８は、α＝１４１％の例が示されている。ただし、ａ＝ｂとしている。
【００３７】
（第３の形態：v１方向型）
前節の＜基本方針＞の最後に述べた光学ローパスフィルタに該当する候補のもう１つが、第一の形態で構成した2枚の複屈折板の１枚を抜いて、一方向のみとし、その代わり強度を100%まで出だしを戻して強くし、それから徐々に∞%まで弱めていく方法である。このとき、縦方向のシフトと横方向のシフトのどちらを抜けばよいかという問題が生じるが、一般に重力場中の安定性の関係上、統計的に画像構造は横線よりも縦線で現れる確率の方が多少多いため、縦解像を増やすのがよく、横方向のシフトをはずすのがよい。
【００３８】
縦方向に100%2点分離した場合、便宜的に100%vと書ける。100%vのとき丁度、斜めナイキスト周波数帯上の（±π/a,±π/a）,（±π/a,−＋π/a）の４つの極点と、縦ナイキスト周波数(0,±π/a)の２つの極点で死滅周波数帯が横切ることになる。したがって、残りの２つの極点の横ナイキスト周波数(±π/a,0)近辺のコントラスト強度は高く保たれる。横ナイキスト周波数近辺の偽色・偽解像対策はその領域のコントラストが強く残っていても十分に対応可能な高性能な画像処理に任せる。
【００３９】
光学ローパスフィルタの強度を弱めていったときの光線分離のずらし量と便宜表示の関係について、代表的な例について図９に記す。図９は第３の形態の光学ローパスフィルタの便宜表示と光線分離のずらし量（光線シフト量）の代表的な例の一覧を示す。これらの光学ローパスフィルタを用いて画素ピッチの変化に対して色モアレ抑制と鮮鋭感保持の両立が可能な解が存在しうるのかを試すことにする。図１０は、100%vの場合の対応k空間図と実空間変位式を示す図である。
【００４０】
撮像素子の画素が互いに直交するｘ，ｙの２方向に画素間隔（ピッチ）（ａ，ｂ）で格子状に配列されているとすると、撮像素子のｙ方向のナイキスト周波数１／（２ｂ）に対してα倍の位置の空間周波数α／（２ｂ）の帯域は、図１０の点線に示されている。図１０は、α＝１００％の例が示されている。ただし、ａ＝ｂとしている。
【００４１】
なお、縦ナイキスト周波数は周波数空間で縦軸（y軸）上に位置するナイキスト周波数の意味で用いており、そこでは横縞の線がナイキスト構造になっている意味で横線ナイキスト周波数とも呼べる。同様に横ナイキスト周波数は縦線ナイキスト周波数と同じ意味で用いている。
【００４２】
２．鮮鋭感の定義と比較
ここで、それぞれの光学ローパスフィルタがどのようなコントラスト特性を持っているのか調べることにする。複屈折板を通って出てきた正常屈折波と異常屈折波の平面波が満たす場の重ね合わせの原理に基づくモデルによって、電磁場のエネルギースペクトルを算出し、その状態密度の総和の比較によって鮮鋭感を定義する。このような考え方は、幾何光学からのずれが著しくなるような系を考察する場合の波動光学的近似に近い演繹を行なっているともいえる。従来の文献でよく示される光学ローパスフィルタのMTF特性関数は幾何光学モデルに基づくものである。その場合の導出方法は例えば日本特許昭51-14033に示されている。これは、一般に複屈折における正常光と異常光の２本の光線が、偏光特性による非干渉性の考え方に基づいている。しかしながら、現在考えているような系においては、特に垂直入射からずれる入射角が増える場合、複屈折における波の反射と屈折の法則の角度依存性を反映して波動的性質が大きく現れ、幾何光学モデルからのずれは顕著になる。
【００４３】
（縦横2方向型の場合）
α×100%ずらしたときの光線分離量は、図５にも示した通り、次式により表される。αは、画素ピッチ分の分離幅を1とした場合の、分離幅の逆数を示す。
【数１】
0005212044.tif 000002
光の進行波が作る電磁場は、次式によって記述する。
【数２】
0005212044.tif 000003
ただし、x^,y^は実空間内のx軸とy軸のそれぞれの方向の単位ベクトルを表す。
【００４４】
第一項の非定常項が進行波を表し、第2項以下の定常項が伝達可能な周波数特性を表す。センサーで実際に観測される光の強度は、上記電磁場の平方、すなわち複素共役積をとった絶対値の2乗で決まる。その物理量は周波数空間（k空間）の関数としてはエネルギースペクトル（パワースペクトル）に相当し、実空間で観測される信号強度比としてはコントラストに相当するといえる。第一項は複素共役積をとることによって1になるので、実質第２項以下の絶対値の2乗だけが残る。
【００４５】
単位画素当りの光学ローパスフィルタの強弱を表す主観的な鮮鋭感の指標を、このパワースペクトルをベイヤ配列の無彩色の原理的解像再現域、すなわち実空間の基本格子ベクトル(a,0)と(0,a)が作る格子点に対し、逆格子ベクトル(2π/a,0)と(0,2π/a)が張る逆格子空間内の第一ブリルアンゾーン|kx|≦π/a, |ky|≦π/aの領域で積分したもので客観的な物理的定義に基づいて評価する。すなわち、
【数３】
0005212044.tif 000004
【００４６】
鮮鋭感の指標steepness indexは、
【数４】
0005212044.tif 000005
【００４７】
この鮮鋭感の指標を光学ローパスフィルタの強度αの関数として表したグラフを、以下に計算する他の光学ローパスフィルタ構成の場合と合わせて図１１に示す。図１１（ａ）は、横軸に光学ローパスフィルタの強度αを取り、縦軸に鮮鋭感の指標を取ったグラフである。図１１（ｂ）は、横軸に光学ローパスフィルタの強度αの逆数を取り、縦軸に鮮鋭感の指標を取ったグラフである。光学ローパスフィルタの強度αは、画素ピッチ分の分離幅を1とした場合の分離幅の逆数を示す。従って、αの逆数は、画素ピッチ幅を1に正規化した値に相当する。上記式はベイヤ配列の場合の例を示したが、一般に他のカラーフィルタ配列の場合はその基本格子ベクトルに対応する逆格子空間の第一ブリルアンゾーンに積分範囲を設定するものとする。第一ブリルアンゾーンの定義及びその導出方法については、キッテル「固体物理学入門」（第６版）の第２章「逆格子」に詳述されている。
【００４８】
（斜め2方向型の場合）
α×100%ずらしたときの光線分離量は、図７にも示した通り、次式により表される。
【数５】
0005212044.tif 000006
光の進行波が作る電磁場は、
【数６】
0005212044.tif 000007
鮮鋭感の指標steepness indexは、
【数７】
0005212044.tif 000008
【００４９】
（縦１方向型の場合）
α×100%ずらしたときの光線分離量は、図９にも示した通り、次式により表される。
【数８】
0005212044.tif 000009
光の進行波が作る電磁場は、
【数９】
0005212044.tif 000010
鮮鋭感の指標steepness indexは、
【数１０】
0005212044.tif 000011
【００５０】
このように計算された鮮鋭感の指標は、実際にシミュレーションで画像に適用して主観評価した印象とほどよく一致することが実験により確認されている。ただし、鮮鋭感指標のほうはむしろ実在系に近づける方向に定義しているので、幾何光学のみのシミュレーションの場合とは完全には一致しないかもしれないが、大小関係は保存されるであろうと期待される。事実、シミュレーション用標準画像に対して、以下に述べる1/4解像度とOLPF無との比較実験では、期待の範囲内で近い、あるいはその逆ともいえるほどに1/4解像度のほうが鮮鋭感が高いということを確認している。
【００５１】
上記実験結果から、実際に指標の値が0.01すなわち1%違っても画質として鮮鋭感の違いを区別できる。0.05すなわち5%違えば明らかに鮮鋭感、透明感、立体感が大きく異なることが認識できる。この値は高くなればなるほどよく、光学ローパスフィルタ無、すなわちα=∞のとき単位画素（a×a）当り1という値をとる。
【００５２】
従来の100%hvのとき鮮鋭感の指標が0.25になるのは１画素に入る光線を4画素にぼかしていることからもエネルギー保存則を満たし、1/4となるのは納得できる。すなわち、従来の100%hv型光学ローパスフィルタは、画素数という解像度の違いこそあれ、画素単位でみた鮮鋭感に絞って見れば、「1000万画素＋OLPF100%hv」の鮮鋭感が、「250万画素＋OLPF無」の鮮鋭感に近いことを示唆する。
【００５３】
一方の複屈折板１枚の構成の100%vは2画素にしか分離していないので、その低下も0.5から始まる。したがって、偽色、偽解像の発生の可能性はともかくとして、0.25と0.5の鮮鋭感の差はすさまじく大きいといえる。
【００５４】
もう一つ重要な結論は、複屈折板2枚構成同士のα×100%ddとα×100%hvの同じα値に対する鮮鋭感の差はほとんどないことである。したっがて、hv型では従来1.00〜1.33の範囲でしかとることなかったのに対して、dd型は1.41以上で用いるので、使用開始時点からしてdd型の方が鮮鋭感が高くできることが期待できる。図１２は、鮮鋭感指標の代表的な値をまとめた表を示す。
【００５５】
＜幾何光学シミュレーション＞
画素ピッチ依存性のシミュレーション実験を行なった。光学系は一眼レフカメラにおける交換レンズ群を仮定して行なった。本明細書最後の部分でもう一度触れることにするが、画素ピッチ依存性に関して一眼レフレンズ特有の課題を洗い出しながら議論を進めることにする。光学ローパスフィルタの強度を可変にすることが可能であるか否かを調べ、そのときの最適強度を決めるためには、デモザイキング画像処理と合わせて色モアレ・偽解像を完全に消滅させることができる境界点を探索することができればよい。そして、その点が最適な光学ローパスフィルタ強度の十分条件を与えることになる。
【００５６】
そのとき一眼レフ交換レンズ群の中で最もMTF性能が高いと思われるレンズでシミュレーションすれば、他のレンズで色モアレ・偽解像が発生する心配はない。したがって、今回通常35×24mmのフィルムサイズ、ないしは23.4×16.7mmのAPS-Cサイズ向けに設計される交換レンズ群の中で十分高い解像性能を有するレンズのポイント・スプレッド関数（PSF）を幾何光学的な光線追跡で、レンズの各使用条件での収差シミュレーションをし、行列形式で求める。
【００５７】
一般に、一眼レフ用交換レンズは絞り値がF8程度で幾何光学的な収差が最も少なくMTFが高くなるように設計されていることが多い。したがって、用意したレンズ使用条件は、絞り値に関して幾何光学的な収差性能が高いF8と幾何光学的な収差性能が低い開放端のF2.8の2ヶ所である。
【００５８】
また、像高に関しても、幾何光学的なMTF性能は、中心が最も高く周辺に行くほど悪いので、一眼レフに使われる撮像素子は、上述のフィルムサイズ、APS-Cサイズの他に18x13.5mmの4/3型もあることを想定して、像高y=0mm,5mm,10mm,15mmのPSFを用意した。更に、ピント精度は常に完璧とは限らず、被写体距離によっても光軸上の合焦ずれが生じるので合焦位置z=0μmの他にz=±100μmずれた場合のPSFを用意した。z=±100μmというと、中望遠程度の焦点距離で数メートル離れた被写体を撮影したとき、前後10cm程度のピントずれに相当する。すなわち、顔を撮影して鼻頭にピントが合ったとき肩や耳の位置での被写体ぼけ程度に相当する。
【００５９】
実際のシミュレーションは、原画像（サーキュラー・ゾーン・プレートや無収差を仮定できる自然画像、あるいはジーメンススター・チャート）に対して想定する画素ピッチ広がり幅のPSFでぼかした後、最適化条件を定めるのに必要な各種の光学ローパスフィルタで更にぼかし、カラーフィルタ配列でサンプリングし、デモザイキング処理を行なう。
【００６０】
像高依存性やデフォーカス依存性を調べるときは、MTF性能が幾何光学的に最も高いと思われる絞り値F8、像高0mm、ピント位置z=0μmに対して、１つだけ条件を変えたPSFによって光学ローパスフィルタを弱めても偽色・偽解像の発生を抑えることができる点が存在するか、またその点はどの程度なのかを見ることによって、その変数に対する変化率情報が得られる。この変化率情報は最も厳しい条件の場合でみているので、他の変数と同時に変化したもっと緩い条件では、それぞれの変化率情報を合成した以上にボケると考えられ、最低限の変化率情報を保証しているといえる。
【００６１】
前節で用意した3種類の光学ローパスフィルタの各々について、以下の実施の形態に示す高性能なデモザイキング・アルゴリズムを用いて、画素ピッチが細かくなるに従い、光学ローパスフィルタを弱めるのことができるのか否か、またそれはどの程度にまで弱めることができるのかを実験的に調べた。また、その許容度合いがデモザイキング・アルゴリズムによってどの程度異なっているのかも調べた。
【００６２】
偽色の抑制と鮮鋭感の保持のトレードオフは両変数の積が不等号で表される関係にあるので、主観評価による誤差を減らすために一方の変数をどこに基準を設けて他方を評価するかを決めるのは重要である。今回は偽色抑制に関して無彩色のサーキュラーゾーンプレートのあらゆる周波数でほぼ色モアレ・偽解像フリーの状態を達成する最も弱い光学ローパスフィルタはどの強度αに相当するかを調べる。これにより、そこで実現しうる鮮鋭感の指標を主観的、客観的に比較することによって最終的に判断する。
【００６３】
鮮鋭感の客観指標は、主観判断と一致しており、同じ2枚構成のhv型とdd型同士ではその鮮鋭感指標が光学ローパスフィルタの強度αの大小関係に置き換えてよいことがこれまでの議論の中で示されている。従って、以下に示す実験結果のグラフは、縦軸を鮮鋭感の指標に読み替えても問題ない。すなわち、スケーリングは変わってもその大小関係は崩れない。
【００６４】
図１３は、以下の実施の形態で示す異色相関を用いた場合のデモザイキング・アルゴリズムで、絞り値F8とF2.8の2通りについて色モアレ・偽解像フリーになる条件を画素ピッチ依存性に関して示した図である。異色相関を用いたアルゴリズムでは、縦・横ナイキスト周波数の極点付近の偽色・偽解像対策を画像処理に委ねことができるので、縦横2方向型と斜め2方向型の光学ローパスフィルタを比較しながらその条件を示している。
【００６５】
図１５は、同じアルゴリズムを用いて縦１枚型の光学ローパスフィルタの場合を示す。１枚型の場合は、6μm/pixel以上ではその影響が及ばない横ナイキスト周波数の極点付近のコントラストが依然高すぎるため、色モアレ・偽解像フリーを実現できないため6μm/pixel以下だけのプロットとなっている。
【００６６】
図１４は、従来の同色相関を用いた場合のデモザイキング・アルゴリズムで図１３に対応するF値による変化が見られるかどうかを検証したグラフである。図１６は、異色相関を用いた実施例のアルゴリズムで像高依存性を調べたグラフである。代表的に像高y=0mmとy=10mmだけを示した。y=5mmはその中間を、y=15mmはy=10mmよりも上側にプロットされることは容易に想像がつく。図１７は、同じアルゴリズムでデフォーカス依存性を調べたグラフである。
【００６７】
これらの図からまず読み取れることは、レンズの幾何光学的なMTF性能は、絞り値に関して設計傾向どおり開放側の方が悪く、F8ではほとんど像高0mmの中央でベスト・フォーカス位置では画素ピッチが小さくなっても落ちないと予測していることである。しかし、この点に関しては次節で述べるレンズの波動光学的なMTF性能を考慮に入れると大きく前提が崩れることに注意して結論を導かねばならない。
【００６８】
幾何光学的なシミュレーションから得られた重要な結論は、以下のようなものである。
１）同色相関のみのアルゴリズムでは、方向判定の分解能の低さによって誤って人工的に画像処理で作り出された偽色が発生するため、一度このような偽色が発生すると、この信号成分はF8とF2.8の間に生じる幾何光学的なレンズMTF低下程度のボケ効果では偽色抑制しきれず、光学ローパスフィルタの強度を弱めることができない。すなわち、人工的に作られてしまう偽色は、初めからその周波数成分を死滅させない限り消すことができない。したがって、画像処理能力が低ければ画素ピッチ縮小時のレンズMTF低下による光学ローパスフィルタの代替可能性の恩恵を受けることはできない。ゆえに、低画素サイズ化によるレンズ性能低下の影響を直接受け続けてしまう可能性が高い。
【００６９】
２）異色相関を用いたアルゴリズムでは、斜め2方向型の光学ローパスフィルタの方が縦横2方向型よりも同じ色モアレ・偽解像フリーを実現する条件では高い鮮鋭感を、画素ピッチ依存性に関係なく常に実現できる。
【００７０】
３）幾何光学的な収差によるMTF低下は、異色相関を用いたデモザイキング・アルゴリズムの偽色と実在色の分離能力を左右する要因として、5〜6μm/pixel以下で急激に影響を与え始めるべく、各光学条件に対して立ち上がりを見せている。
【００７１】
４）レンズの実使用条件では、幾何光学的な収差であるF値によるボケ、像高による周辺ボケ、デフォーカスによるピンボケの影響を平均的に受けることになり、5〜6μm/pixel以下ではそれらの影響が現れやすい。
【００７２】
なお、４）についてより詳しく見ると、各々のボケの影響はＦ値、像高、デフォーカスの順に5〜6μm/pixel、4〜6μm/pixel、6〜8μm/pixel以下でボケの影響を受けやすくなるが、そのボケ対策の可能になる点は光学LPFの構成によって異なる。すなわち、従来の常識的範囲である縦横２方向でα=100〜133%という値を超えて、未経験の領域での対策が、以下に示す波動光学の影響も考慮すると、斜め２方向型では少なくとも5μm/pixel以下では色モアレを抑えつつ可能になり、縦１方向型では少なくとも5μm/pixel以下、縦横２方向型では4μm/pixel以下で可能になる。このことが、これらの図及び、後述の図２４、図２５を合わせて実施の形態の中で示されている。
【００７３】
＜波動光学の考慮＞
前節のシミュレーションは、レンズの幾何光学的な収差によるMTF低下しか考えていなかったが、画素ピッチが入射光の波長と同程度のオーダーに近づいてくると、波動光学的な回折の影響を無視することができない。これらの物理的説明はランダウ＝リフシッツ理論物理学教程第２巻「場の古典論」の第7章「光の伝播」のセクション58「幾何光学の限界」に解説されており、光学的な結像の鮮鋭さの限度が波長と入射光ビームの開き角度、すなわちF値に依存することが示されている。
【００７４】
これを波動光学的に無収差系の円形開口をした理想結像光学系で、各F値に対して0本/mmから300本/mmまでの縞パターンを結像したときにどれだけのMTFが残るかを計算したのが、文献「光技術コンタクト誌Vol.41, No.9 (2003),pp.3-12.」に示されている。そのグラフを図１８に引用する。図１８は、無収差レンズにおける波動光学的MTFを示す図である。
【００７５】
250本/mmは撮像面上で1mmの白線と黒線が250本ずつ解像していることを意味するので、そこにナイキスト周波数が存在する撮像素子の画素ピッチは1mm/500pixel=2μm/pixelとなる。図１９は、画素ピッチとナイキスト周波数の代表的な値の対応関係を表に示したものである。
【００７６】
実際に撮像素子を介して観測されるのは光のエネルギー（フォトン数）が光電変換されて励起準位にまで励起された電子数である。MTFは、この光の強度、すなわち観測される信号階調値のコントラストと一致する次元で定義されている。図１８のMTFを絞り値F8とF2.8に関して、画素ピッチ依存性に関するコントラストの関数を表すものとして描いたのが図２０（ａ）である。また、図１３〜図１７に示された図との対比をしやすいようにコントラストの逆数で表示したグラフも示す（図２０（ｂ））。
【００７７】
コントラストが1/100まで低下すると、0と100の間で振動していた縞模様の画像構造が、50と51の間で振動する縞模様にしか結像されないので、ほとんど分解していないといってよい。
【００７８】
このグラフから読み取れることは、幾何光学的な収差特性が極めてよく設計されていたF8のコントラストが画素ピッチの縮小化に伴って急激に減少し、幾何光学的な収差によるコントラスト低下のF8とF2.8の関係に比べて関係が逆転する（図２０（ａ）と後述の図２２（ａ）を参照）。F8とF2.8のコントラストは、8〜5μm/pixelの区間では漸近的に競争を続けながら同じように落ち込むが、5μm/pixel以下ではF8のコントラストが急速に落ちて解像しないということである。コントラストの数値だけをみてもF8で2μm/pixel以下ではほとんど分解していないといってよい。一方のF2.8では1μm/pixelになるまで波動光学的な観点からは十分なコントラストが残っている。
【００７９】
比較のため、前節の幾何光学シミュレーションで用いたポイント・スプレッド関数によってナイキスト周波数のコントラストがどの程度低下しているのかを調べてみる。実験的には、レンズ光学系を介さずに作成した光学ローパスフィルタに入射する前のサーキュラーゾーンプレート・チャートの信号触れ幅に対し、レンズ光学系のポイント・スプレッド関数でフィルタリングした後の画像でその信号振れ幅がどの程度低下しているかを測定すれば簡単に見積もることができる。その信号振れ幅の観測している様子を、図２１（ａ）に6μm/pixelの場合と、図２１（ｂ）に2μm/pixelの場合を例に示す。これらの計測結果を画素ピッチ依存性に関してプロットした図を図２２に示す。誤差棒は読み取り誤差が大きい場合に相当する。
【００８０】
これらのグラフから読み取れることは、F8の波動光学的な画素依存性に関するコントラスト低下は、F2.8の幾何光学的な画素依存性に関するコントラスト低下よりも急速に低下する。したがって、幾何光学シミュレーションの図１３〜図１７のF8に関する結果は、F8,y=0mm,z=0umの基準が大きくずれ、大ざっぱな近似ではF2.8,y=0mm,z=0umより緩い条件になると考えてよく、グラフに示す像高効果やデフォーカス効果による変化幅がその上に追加されると考えて良い。
【００８１】
＜合成系の推定＞
幾何的な収差の影響も含む波動光学的なシミュレーションができれば本当の系を知ることができるのである。しかし、現時点でそのようなデータがなくとも、幾何光学な収差によるコントラストと無収差系の波動光学的なMTFのコントラストの次元が揃っているのであるから、実際に観測される系は近似的にそのコントラストの積であると考えてよい。
【００８２】
幾何光学的な収差を波動光学的に考えるときに位相による干渉項が出てこない限り、この単純積の第一近似は正しく、全体の傾向をつかむ議論には十分耐えうる。前述した図２０は、無収差系の波動光学的なMTFのコントラストを示す図である。図２２は、幾何光学な収差によるコントラストを示す図である。図２３は、これらの合成系のコントラストをプロットした様子を示す図である。図２２（ｂ）、図２３（ｂ）には、図２０（ｂ）と同様にコントラストの逆数で表示したグラフも示されている。また、図２０、図２２、図２３のコントラストの値を表にまとめると図２４、図２５に示す通りである。図２４は、F8の場合のコントラストの表であり、図２５は、F2.8の場合のコントラストの表である。
【００８３】
これらのことから得られる重要な結論は、図２３のグラフから明らかなように実在系の幾何収差と波動光学的な回折の両者の合成コントラストは、F8よりF2.8の方が8μm/pixel以下の画素ピッチで上回っているということである。また、12μm/pixelも近似的に一致するとみてもよい。
【００８４】
したがって、実際に画像を用いて偽色・偽解像を評価した幾何光学シミュレーションにおいて、F8の結果は6μm/pixel程度以下ではほとんど信用できず、F2.8で扱ったコントラストの低下を評価していれば、これ以上超えることはないもっとも厳しい条件の高いコントラストを扱っていることになる。よって、F2.8の像高y=0mm、ベストピント位置z=0μmの条件で定めた色モアレ・偽解像フリーになる光学ローパスフィルタの強度は、他のあらゆるレンズ使用条件に対して十分条件を与えているといえる。
【００８５】
このように、一眼レフレンズ群では5〜6μm/pixel以下の画素ピッチになってくると、F2.8の開放側では幾何光学的な収差によりMTFが落ち、F8では波動光学的な回折現象によりMTFが落ち、その上に更に像高効果やピント位置精度による効果が重なって、どこにもピントが合わなくなってくることが予見される。
【００８６】
これは、今日6μm/pixel台のカメラが主流となる中で、依然として偽色、色モアレ、偽解像の問題は存在し続けるものの、ピント感が出にくいという我々が新たに認識を持ち始めた新たな課題とも整合する。いいかえると、5〜6um/pixel以下では急激に光学系MTF低下の影響が現れ始め、従来のレンズを使用し続ける限り、それを救済する手法としては唯一、いままで敢えて入れていた光学ローパスフィルタの強度を見直すしか、新たに生じ始めたピント感がでないという課題に対する解決手段がない。そのためには、本当にそれが実現できる環境として、偽色・偽解像が出ないように画像処理側で強力に支援して、光学ローパスフィルタの設計に大きな自由度を与えられるようにしてやる必要がある。
【００８７】
−第１の実施の形態−
図２６は、第１の実施の形態のカメラシステム１００の構成を示す図である。カメラシステム１００は、デジタルカメラ（電子カメラ）１とパーソナルコンピュータ１０とから構成される。デジタルカメラ１は、撮影レンズ２、光学ローパスフィルタ３、撮像素子４、画像処理部５、制御部６などから構成される。
【００８８】
デジタルカメラ１は一眼レフデジタルカメラであり、撮影レンズ２は交換可能なレンズである。撮影レンズ２は、レンズマウント部（不図示）を介してデジタルカメラ１に装着される。デジタルカメラ１が装着可能な交換レンズ群は、従来のフィルムカメラと本デジタルカメラとの間で共通に使用可能な交換レンズ群である。撮影レンズ２は絞り７を有し、本実施の形態では、最大の開放絞り値（少なくともF2.8以下）からF8以上に至るまでの絞り制御が可能な絞り機構を備える。また、撮影レンズ２は以下の撮像素子４のサイズに合わせて広角〜標準〜望遠までの画角を撮影できるように、１２ｍｍ〜５０ｍｍ〜２００ｍｍの範囲の焦点距離ｆの値を少なくとも取るものとする。
【００８９】
撮像素子４は、ベイア配列のRGBカラーフィルタが配置された単板カラー撮像素子であり、CCDなどから構成される。図３２はカラーフィルタのベイア配列を示す図である。ベイア配列は、図に示す通り、G成分が市松状に半分の密度を占め、他のR成分B成分が残りの画素を均等に配分し合う密度で配置されている。撮像素子４のサイズは、前述した35mmx24mm、23.4mmx16.7mm、18mmx13.5mmのいずれかの大きさ、あるいはそれらの間の何れかの大きさとする。
【００９０】
画像処理部５は、撮像素子４から出力され、各種のアナログ処理をされ、Ａ／Ｄ変換された後のRGB表色系の画像データに対してホワイトバランス調整や圧縮処理などの各種の画像処理を行う。RGB表色系のG成分は輝度を担う色成分でもある。画像処理部５はASICで構成される。制御部６は、デジタルカメラ１全体の制御を行ったり、画像処理部５での画像処理後の画像データを、外部装置に出力したり、メモリカード２０などの記録媒体に記録したりする。
【００９１】
パーソナルコンピュータ１０は、デジタルカメラ１で撮像され一定の画像処理が行われた画像データを、ケーブル３０、あるいは、メモリカード２０を介して入力する。なお、ケーブル３０の代わりに無線通信であってもよい。パーソナルコンピュータ１０は、入力した画像データに対して、後述する補間処理を行いカラー画像データを生成する。従って、デジタルカメラ１から出力される画像データは、各画素にはRGB表色系のRGBのいずれかの色成分のデータしか有しないデータである。また、デジタルカメラ１から出力される画像データは、静止画の画像データである。ただし、動画の場合であっても、動画の各フレームについて静止画と同様な処理を行ってもよい。
【００９２】
＜光学ローパスフィルタ構成＞
本第１の実施の形態では、最初に候補に挙げた3タイプの光学ローパスフィルタの中で、対称性をもつ2枚構成型の内、斜め2方向型を採用する。既に幾何光学シミュレーションの節で調べたように、図１３、図１６、図１７の各レンズ使用条件で、縦横2方向型と斜め2方向型の光学ローパスフィルタのどちらの方が弱い強度で色モアレ・偽解像フリーにできるかをみた結果は、全ての条件で斜め型の方が有利であった。従って、第１の実施の形態では画素ピッチ依存性に対して斜め2方向型で採るべき強度の例を示す。
【００９３】
以下に示す異色相関を用いた補間アルゴリズムを用いれば、図１３のF2.8のシミュレーションが必要な光学ローパスフィルタ強度の十分条件を与えるので、最適構成は図２７に示すようになる。
【００９４】
第１の実施の形態の光学ローパスフィルタは、撮像素子の画素が互いに直交するx,yの２方向に画素間隔(ピッチ）(a,b)で格子状に配列されているとすると、(x,y)座標軸に対して斜め２方向((1/2)a,(1/2)b)×(√2/α)及び((1/2)a,-(1/2)b)×(√2/α)への光線分離を行なって入射光の空間的な周波数特性を変調している。
【００９５】
図２７（ａ）は、上記のαについて、画素ピッチが約6μm/pixel以上のときα=√2=1.41に設定し、画素ピッチが約5μm/pixelのときα≧1.5に設定し、画素ピッチが約4μm/pixelのときα≧1.90に設定し、画素ピッチが約3μm/pixelのときα≧2√2=2.83に設定することを示している。このことは、x,yの２方向の画素ピッチが6μm/pixel以下の場合に、α≧√2に設定することを意味し、画素ピッチが6μm/pixelより小さくなるに従って、αの値を単調増加させている。言い換えると、αは画素ピッチに反比例する関数であり、所定画素ピッチ（この場合3μm/pixel）以下ではα＝∞に徐々に漸近し、所定画素ピッチ（この場合6μm/pixel）以上ではα＝α０(const）に漸近する特性を持った関数であると言える。
【００９６】
なお、図２７（ａ）では色モアレ・偽解像フリーになるOLPF構成の十分条件により下限値を規定した。しかし、最適なαの設定範囲としては、該当画素ピッチより1μm/pixelだけ小さい側で与えている下限値を上限値として設定すれば、色モアレ・偽解像フリーに近いレベルを保ちつつ、鮮鋭感回復を実現することができるようになる。これらのことを考慮した最適なａとαの関係を図２７（ｂ）のグラフに示す。図２７（ｂ）のグラフのハッチングのかかった範囲が、2.5μm≦ａ≦5.0μmにおいて、最適なａとαの範囲である。
【００９７】
図２７（ｂ）の左側のグラフ（黒点）は、図２７（ａ）の3μm、4μm、5μm、6μmのαの値の黒点を曲線でプロットしたものである。2.5μmの黒点は、2.5μmより小さい範囲では、ローパスフィルタは不要であることと、350%を越える範囲では、図１１よりローパスフィルタが無い状態に十分近いレベルにあるので、αの上限を350%とした。また、2μm上の直線は2μmで∞となる漸近線である。図２７（ｂ）の右側のグラフ（×点）は、左側のグラフを1μm右へシフトしたグラフである。
【００９８】
上記により、撮像素子４の画素間隔（ａ，ｂ）が共に２．５〜５μｍの範囲にあるとき、光学ローパスフィルタの死滅周波数帯域の位置を、撮像素子４のナイキスト周波数に対して１．５≦α≦３．５倍の範囲に設定することが最適であることが示されている。
【００９９】
また、撮影レンズ２がとりうる最大の開放絞り値からF8以上に至るまでの絞り制御が可能な場合に、撮像素子４の画素間隔の値が約2〜4μm/pixelと6μm/pixel以上に該当する場合に、上記の特性を有する光学ローパスフィルタを使用するのが好ましい。さらに、画素間隔の値が2μm/pixel以下では光学ローパスフィルタを使用しないのが好ましい。すなわち、光学ローパスフィルタはデジタルカメラ１に選択的に設けるようにし、画素間隔の値が2μm/pixel以下では設けないようにする。
【０１００】
幾何光学的シミュレーションから得た画質に関する知見を述べると、1μm/pixelでは像高y=0mm でベストピントz=0μmであっても軸上色収差等の収差がひどく目立つことである。そして、光学ローパスフィルタを強く入れれば入れるほどその収差成分が複数画素にまたがって広がってパープル・フリンジやパープルゴースト、あるいはレンズ自体のゴーストをひどく増幅する弊害だけを引き起こすということである。したがって、幾何光学的な収差の観点からも細かい画素ピッチでは、光学ローパスフィルタを無しにするのは絶対に必要な条件となる。
【０１０１】
なお、光学ローパスフィルタの設定に自由度を与えられるようになるための前提条件として、撮像素子のカラーフィルタ配列はベイヤ配列のように、少なくとも輝度を担う成分（Ｇ成分）が均等に空間的に対称に配置された場合を念頭に置いていることを指摘しておく。
【０１０２】
＜補間アルゴリズム＞
前述したように、撮像素子４はベイア配列のカラーフィルターを有する単板撮像素子であるので、撮像素子４から出力される各画素の出力には1つの色成分の色情報しか有しない。従って、各画素に対応してR,G,Bの各色成分を有するようにするために以下に示す補間処理が行われる。この補間処理は、パーソナルコンピュータ１０で行われる。
【０１０３】
[1]CrCb面生成
１．縦横方向判定1
R,B位置について以下の計算を行う。
１）類似度の算出
a)異色間類似度
GR(GB)間類似度成分
Cv0[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2
Ch0[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2
b)類似度の周辺加算
この処理は、周辺画素との連続性を考慮することにより類似度の精度を上げるためのもので、簡略性を優先する場合は省いても良い。
Cv[i,j]=(4*Cv0[i,j]
+2*(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16
Ch[i,j]=(4*Ch0[i,j]
+2*(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16
【０１０４】
２）類似性判定
if     |Cv[i,j]-Ch[i,j]|=<Th0   HVd[i,j]=0    縦横類似性不明
else if     Cv[i,j]<Ch[i,j]        HVd[i,j]=1    縦類似
else                        HVd[i,j]= -1       横類似
閾値Th0は256階調のとき10前後の値をとり、画像のノイズが多いときは高めに設定する。
【０１０５】
２．色差生成
１）R位置Cr面生成
if [i,j] is a R site in a Bayer plane{
if     HVd[i, j]=1   Cr[i,j]=R[i,j]
-{(G[i,j-1]+G[i,j+1])/2
+(2*R[i,j]-R[i,j-2]-R[i,j+2])/4}
else if     HVd[i, j]=-1       Cr[i,j]=R[i,j]
-{(G[i-1,j]+G[i+1,j])/2
+(2*R[i,j]-R[i-2,j]-R[i+2,j])/4}
else                 Cr[i,j]=R[i,j]
-{(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4*R[i,j]-R[i,j-2]-R[i,j+2]-R[i-2,j]-R[i+2,j])/8}
}
【０１０６】
または、以下の式により算出する。
if [i,j] is a R site in a Bayer plane{
if     HVd[i,j]=1    Cr[i,j]=R[i,j]
-{(G[i,j-1]+G[i,j+1])/2
+(2*G[i-1, j]-G[i-1, j-2]-G[i-1, j+2]
+2*G[i+1, j]-G[i+1, j-2]-G[i+1, j+2])/8}
else if     HVd[i,j]=-1   Cr[i,j]=R[i,j]
-{(G[i-1,j]+G[i+1,j])/2
+(2*G[i, j-1]-G[i-2, j-1]-G[i+2, j-1]
+2*G[i, j+1]-G[i-2, j+1]-G[i+2, j+1])/8}
else                 Cr[i,j]=R[i,j]
-{(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(2*G[i-1, j]-G[i-1, j-2]-G[i-1, j+2]
+2*G[i+1, j]-G[i+1, j-2]-G[i+1, j+2]
+2*G[i, j-1]-G[i-2, j-1]-G[i+2, j-1]
+2*G[i, j+1]-G[i-2, j+1]-G[i+2, j+1])/16}
}
ここで、異色間類似度のみで類似性判定した方向指標HVd[i,j]を用いたのは、ナイキスト周波数近傍の偽色発生を大幅に抑制できるからである。
【０１０７】
２）Cr面補間
B sites
Cr[i,j]=(Cr[i-1,j-1]+Cr[i-1,j+1]+Cr[i+1,j-1]+Cr[i+1,j+1])/4
G sites (same lines with R rows)
Cr[i,j]=(Cr[i-1,j]+Cr[i+1,j])/2
G sites (same lines with B rows)
Cr[i,j]=(Cr[i,j-1]+Cr[i,j+1])/2
【０１０８】
Cb面についても同様。
【０１０９】
３．仮色差補正１
２．で求まった色差面には偽色がふんだんに乗っており、色モアレや高ISO感度における色斑ノイズの要因となっている。これらは色構造と区別して適応的に除去されるべきであるが、次節で述べる色勾配を指標として区別するとき偽色の境界が色境界と誤認定されないように予め仮の除去をしておく。以下に方法を2つ紹介するが、この方法に限らない。
方法1（ローパス処理）
5x5サイズの分離型フィルタの例を示す。
Horizontal lowpass filtering
tmp_Cr[i,j]={70*Cr[i,j]+56*(Cr[i-1,j]+Cr[i+1,j])
+28*(Cr[i-2,j]+Cr[i+2,j])+8*(Cr[i-3,j]+Cr[i+3,j])
+(Cr[i-4,j]+Cr[i+4,j])}/256
Vertical lowpass filtering
TCr1[i,j]={70* tmp_Cr[i,j]+56*(tmp_Cr[i,j-1]+tmp_Cr[i,j+1])
+28*(tmp_Cr[i,j-2]+tmp_Cr[i,j+2])
+8*(tmp_Cr[i,j-3]+tmp_Cr[i,j+3])
+tmp_Cr[i,j-4]+tmp_Cr[i,j+4]}/256
【０１１０】
TCb1[i,j]も同様。
【０１１１】
方法2（メディアン処理）
TCr1[i,j]=Median{Cr[i+m,j+n]}      
m=0,±1,±2,±3,±4   n=m=0,±1,±2,±3,±4
【０１１２】
４．色勾配解析
次に色構造部を破壊しないように、色勾配を調べて偽色と実在色とを判別する。実在色は３．の色差補正処理を加えても偽色に比べコントラストが残りやすいので、その統計的性質から非常に高い確度で区別が可能。そのときできるだけ精度よく色構造を守るため、実在色間の色コントラストを上げて偽色間の色コントラストを下げるような色指標面を作る。一般に偽色は反対色間で現れやすいので、原色間で色指標を生成するのがよい。
【０１１３】
すなわち、上述のようにして求まった仮色差信号TCr1[i,j],TCb1[i,j]から画素単位の色を評価するための色指標Cdiff[i,j]に変換する。
Cdiff[i,j]=(|TCr1[i,j]|+|TCb1[i,j]|+|TCr1[i,j]-TCb1[i,j]|)/3
【０１１４】
上記色指標は、RGB3原色間で組み合わせ可能な全ての色差情報を利用して、色構造の防御性能を向上させている。色差の定義式を展開すると次のようになる。
Cdiff=(|R-G|+|G-B|+|B-R|)/3
【０１１５】
次に、単一の色指標面に色コントラスト情報を押し込めた面内で、色の変化の度合いを表す色勾配を調べる。このとき色勾配検出用の微分フィルタサイズを仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにし、色構造非破壊性を高める。
【数１１】
0005212044.tif 000012
演算を高速化するために、周辺全画素との微分を調べなくても、もう少し間引いた画素間微分に減らしてもよい。
【０１１６】
なお、ここでは「３．仮色差補正１」とともに５ｘ５サイズのフィルタを用いたが、両者で９ｘ９サイズのものを用いてもよい。そうすると、更に強力な偽色と実在色の分離性能が得られる。
【０１１７】
５．適応的色差補正１
色勾配の大きさに応じて色差補正処理をするか否かを切り替える。色勾配の大きい色境界部は元のCr[i,j]がそのまま使われる。
if     Cgrad[i,j]≦ThG      {Cr[i,j]=TCr1[i,j],Cb[i,j]=TCb1[i,j]}
閾値ThGは、非常に小さな値を設定するだけで、有彩色部、無彩色部を問わず色斑ノイズ、色モアレ発生領域が色差補正対象領域に該当し、色構造部はうまく除外される。255階調のときは5以下程度の値をとる。
【０１１８】
その後、全面に対し3x3程度の一様ローパス処理を加えてもよい。例えば、
Cr[i,j]={4* Cr[i,j]
+2*(Cr[i-1,j]+Cr[i+1,j]+Cr[i,j-1]+Cr[i,j+1])
+1*(Cr[i-1,j-1]+Cr[i+1,j-1]+Cr[i-1,j+1]+Cr[i+1,j+1])}/16
Cb[i,j]も同様。
【０１１９】
前述した「３．仮色差補正１」「４．色勾配解析」「５．適応的色差補正１」を、後述する「６．仮色差補正２」「７．色指標の導出」「８．色判定」「９．適応的色差補正２」の処理で置き換えてもよい。加えて、後述する「６．仮色差補正２」「７．色指標の導出」「８．色判定」「９．適応的色差補正２」の処理を、前述した「３．仮色差補正１」「４．色勾配解析」「５．適応的色差補正１」の処理で置き換えてもよい。
【０１２０】
６．仮色差補正２
色評価を正確に行うため、上述した色差面に生じている色モアレを更に除去する。色差メディアンフィルタも考えられるが、以下のようにローパスフィルタを使用するだけで、高速にその目的を達成することができる。
TCr2[i,j]={4* Cr[i,j]
+2*(Cr[i-2,j]+Cr[i+2,j]+Cr[i,j-2]+Cr[i,j+2])
+1*(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])}/16
TCb2[i,j]も同様に算出。
【０１２１】
７．色指標の導出
この様にして算出された色差成分は、画像の構造的要因をほぼ完全に排除して、画像が実際に持つ色あいを画素単位で計ることのできるスカラー量となっている。色指標としてCr成分が示すRG間の色差と、Cb成分が示すBG間の色差は既に求まっているが、画素単位のスカラー量であるため更にRB間の色差も評価することができ、極めて人間の視覚的判断に近い色評価が行える。ここに色指標Cdiffの導出式を示す。
Cdiff[i,j]=(|TCr2[i,j]|+|TCb2[i,j]|+|TCr2[i,j]-TCb2[i,j]|)/3
したがって、従来技術の色レベルでは問題となった実際の色と構造的要因に伴う撹乱要因を分離し、かつ全色成分間の色差を評価することで、非常に正確な色指標を手にすることができる。なお、この色指標は色味の度合いを表すものと言える。
【０１２２】
なお、ここでも更に色指標の精度を上げるため、類似度の周辺加算で行ったようなことを色指標について行ってもよい。
【０１２３】
８．色判定
次に上記連続的色指標を閾値判定して離散的色指標BW[i,j]に色判定結果として変換する。
if     Cdiff[i,j]=<Thbc  BW[i,j]='b'   低彩度部
else                        BW[i,j]='c'   彩色部
閾値は256階調のときThbc〜15程度の値をとる。
【０１２４】
９．適応的色差補正２
仮補正処理された色差面では補正前に発生していたナイキスト偽色も彩度低下しているので、色判定結果に基づき無彩色部の偽色をできるだけ抑制し、有彩色部の色構造は残す。
if     BW[i,j]!='c'  {Cr[i,j]=TCr2[i,j],Cb[i,j]=TCb2[i,j]}
【０１２５】
１０．色指標の導出
この様にしてきれいにしかも適応的に偽色除去された色差面を用いてもう一度、色指標Cdiffの導出する。それによって、輝度面を生成するための同色相関と異色相関の切り替えを行なうための偽色と実在色の判別精度を極限まで高める。
Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3
なお、ここでも更に色指標の精度を上げるため、類似度の周辺加算で行ったようなことを色指標について行ってもよい。
【０１２６】
１１．色判定
次に上記連続的色指標を閾値判定して離散的色指標BW[i,j]に色判定結果として変換する。
if     Cdiff[i,j]=<Thab  BW[i,j]='a'   無彩色部
閾値は256階調のときThab〜5程度の値をとる。
【０１２７】
[2]G面生成
１．縦横方向判定2
R,B位置について以下の計算を行う。
１）類似度の算出
a)同色間類似度
Cv0[i,j]=(Cv1+Cv2)/2
Ch0[i,j]=(Ch1+Ch2)/2
ただし、
GG間類似度成分
Cv1=|G[i,j-1]-G[i,j+1]|
Ch1=|G[i-1,j]-G[i+1,j]|
BB(RR)間類似度成分
Cv2=(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+1,j-1]-Z[i+1,j+1]|)/2
Ch2=(|Z[i-1,j-1]-Z[i+1,j-1]|+|Z[i-1,j+1]-Z[i+1,j+1]|)/2
b)類似度の周辺加算
この処理は、異色間類似度と同様、簡略性を優先する場合は省いても良い。
Cv[i,j]=(4*Cv0[i,j]
+2*(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16
Ch[i,j]=(4*Ch0[i,j]
+2*(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16
【０１２８】
２）類似性判定
if     |Cv[i,j]-Ch[i,j]|=<Th1   HVs[i,j]=0    縦横類似性不明
else if     Cv[i,j]<Ch[i,j]        HVs[i,j]=1    縦類似
else                        HVs[i,j]= -1       横類似
閾値Th1は、Th0と同程度の値をとる。
【０１２９】
２．方向指標の選択
色判定結果に基づいて、異色間類似度による方向判定結果と同色間類似度による方向判定結果を使い分ける。
if     BW[i,j]='a'   HV[i,j]=HVd[i,j]
else                 HV[i,j]=HVs[i,j]
【０１３０】
３．斜め方向判定
R,B位置について以下の計算を行う。
１）類似度の算出
a)類似度
C45_0[i,j]=(a1*C45_1+a2*C45_2+a3*C45_3)/(a1+a2+a3)
C135_0[i,j]=(a1*C135_1+a2*C135_2+a3*C135_3)/(a1+a2+a3)
ただし、
BR(RB)間類似度成分
C45_1=(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2
C135_1=(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2
GG間類似度成分
C45_2=(|G[i,j-1]-G[i-1,j]|+| G[i+1,j]-G[i,j+1]|)/2
C135_2=(|G[i,j-1]-G[i+1,j]|+|G[i-1,j]-G[i,j+1]|)/2
BB(RR)間類似度成分
C45_3=|Z[i+1,j-1]-Z[i-1,j+1]|
C135_3=(|Z[i-1,j-1]-Z[i+1,j+1]|
定数a1,a2,a3の値は、a1=a2=a3=1やa1=a2=2, a3=1などに設定するとよい。
【０１３１】
b)類似度の周辺加算
この処理は、縦横方向の類似度と同様、簡略性を優先する場合は省いても良い。
C45[i,j]=(4*C45_0[i,j]
+2*(C45_0[i-1,j-1]+C45_0[i+1,j-1]
+C45_0[i-1,j+1]+C45_0[i+1,j+1])
+C45_0[i,j-2]+C45_0[i,j+2]+C45_0[i-2,j]+C45_0[i+2,j])/16
C135[i,j]=(4*C135_0[i,j]
+2*(C135_0[i-1,j-1]+C135_0[i+1,j-1]
+C135_0[i-1,j+1]+C135_0[i+1,j+1])
+C135_0[i,j-2]+C135_0[i,j+2]+C135_0[i-2,j]+C135_0[i+2,j])/16
【０１３２】
２）類似性判定
if     |C45[i,j]-C135[i,j]|=<Th2       DN[i,j]=0     斜め類似性不明
else if     C45[i,j]<C135[i,j]            DN[i,j]=1     斜め45゜類似
else                               DN[i,j]= -1 斜め135゜類似
閾値Th2は、Th0やTh1と同程度の値をとる。
【０１３３】
４．G面生成
if [i,j] is not a G site in a Bayer plane{
if  HV[i,j]=0{
if  DN[i,j]=0        G[i,j]=(Gv+Gh)/2
else if  DN[i,j]=1 G[i,j]=(Gv45+Gh45)/2
else                 G[i,j]=(Gv135+Gh135)/2
}
else if  HV[i,j]=1{
if  DN[i,j]=0        G[i,j]=Gv
else if  DN[i,j]=1 G[i,j]=Gv45
else                 G[i,j]=Gv135
}
else{
if  DN[i,j]=0        G[i,j]=Gh
else if  DN[i,j]=1 G[i,j]=Gh45
else                 G[i,j]=Gh135
}
}
ここで、
Gv=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2*G[i-1,j]-G[i-1,j-2]-G[i-1,j+2]
+2*G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/16
Gv45=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2*Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3]
+2*Z[i+1,j-1]-Z[i+1,j-3]-Z[i+1,j+1])/16
Gv135=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2*Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1]
+2*Z[i+1,j+1]-Z[i+1,j-1]-Z[i+1,j+3])/16
Gh=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2*G[i,j-1]-G[i-2,j-1]-G[i+2,j-1]
+2*G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/16
Gh45=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2*Z[i+1,j-1]-Z[i-1,j-1]-Z[i+3,j-1]
+2*Z[i-1,j+1]-Z[i-3,j+1]-Z[i+1,j+1])/16
Gh135=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/8
+(2*Z[i-1,j-1]-Z[i-3,j-1]-Z[i+1,j-1]
+2*Z[i+1,j+1]-Z[i-1,j+1]-Z[i+3,j+1])/16
【０１３４】
[3]カラー画像出力
各画素についてCr[i,j]、Cb[i,j]、G[i,j]が求まるので、カラー画像が出来上がる。
RGB表色系にする場合は、以下の表色変換を行う。
R[i,j]=Cr[i,j]+G[i,j]
B[i,j]=Cb[i,j]+G[i,j]
【０１３５】
上記補間処理のアルゴリズムを言葉で表現すると次のようになる。撮像素子４から出力されデジタル変換された画像信号（画像データ）に対し、少なくともx軸とy軸の２方向に関して、互いに最小画素間隔で存在し合う異なる色成分間の色信号を用いて異色間類似度を算出し、この異色間類似度に基づいて類似性の強い方向を判定し、類似性判定結果に基づいて、各々の画素に共通する色成分の色信号を生成する。
【０１３６】
また、類似性判定結果に基づいて各々の画素に、輝度を担う色成分信号(G成分)と他の色成分信号(R成分、B成分)との間の色差成分信号(Cr,Cb)を生成し、生成された色差信号に基づいて、色味の度合いを表す色指標と色の変化の度合いを表す色勾配指標の少なくとも１つの指標を算出し、少なくとも１つの指標に基づいて、生成された色差成分信号を適応的に補正してから画像データとして出力する。
【０１３７】
また、生成された色差信号に対し仮想的に一様な補正を行なった色差信号に基づいて、色指標ないしは色勾配指標を算出する。
【０１３８】
また、適応的に補正された色差信号に基づいて、色味の度合いを表す色指標を算出し、この色指標に基づいて、異なる色成分間の色信号からなる異色間類似度と、同じ色成分間の色信号からなる同色間類似度の何れの類似度の信頼度が高いかを判断し、信頼度に基づいて構成された類似度に基づいて類似性の強い方向を判定し、この類似性判定結果に基づいて、各々の画素に輝度を担う色成分信号(G成分)を生成して出力する。
【０１３９】
−第２の実施の形態−
第２の実施の形態のデジタルカメラでは、光学ローパスフィルタが第１の実施の形態と異なる。その他の構成は、第１の実施の形態と同様であるのでその説明を省略する。以下、第２の実施の形態の光学ローパスフィルタについて説明をする。
【０１４０】
＜光学ローパスフィルタ構成＞
第２の実施の形態では、最初に候補に挙げた3タイプの光学ローパスフィルタの内、非対称であっても鮮鋭感の高さが最大の利点となる1枚構成型の縦１方向型を採用する。また、簡易な構成であるためコスト低減に寄与する。幾何光学シミュレーションの節の図１５から、F2.8における色モアレ・偽解像フリーになる強度を決めれば、第１の実施の形態の補間アルゴリズムを用いた画素ピッチ依存性に関して十分条件を与える。
【０１４１】
第２の実施の形態の光学ローパスフィルタの最適構成を図２８に示す。第２の実施の形態の１枚型の光学ローパスフィルタは6μm/pixel以下のカメラでしか使うことができない。
【０１４２】
第２の実施の形態の光学ローパスフィルタは、撮像素子の画素が互いに直交するx,yの２方向に画素間隔(a,b)で格子状に配列されているとすると、(x,y)座標軸に対して１方向のみ(0,b)×(1/α)だけの光線分離を行なって、入射光の空間的な周波数特性を変調している。
【０１４３】
図２８（ａ）は、上記のαについて、画素ピッチが約6μm/pixelのときα=1に設定し、画素ピッチが約5μm/pixelのときα≧1.1に設定し、画素ピッチが約4μm/pixelのときα≧1.3(=4/3)に設定し、画素ピッチが約3μm/pixelのときα≧1.67(=5/3)に設定することを示している。このことは、x,yの２方向の画素ピッチが6μm/pixel以下の場合に、α≧1に設定することを意味している。さらに、画素間隔の値が2μm/pixel以下では光学ローパスフィルタを使用しないのが好ましい。すなわち、光学ローパスフィルタはデジタルカメラ１に選択的に設けるようにし、画素間隔の値が2μm/pixel以下では設けないようにする。
【０１４４】
なお、図２８（ａ）では色モアレ・偽解像フリーになるOLPF構成の十分条件により下限値を規定した。しかし、最適なαの設定範囲としては、該当画素ピッチより1μm/pixelだけ小さい側で与えている下限値を上限値として設定すれば、色モアレ・偽解像フリーに近いレベルを保ちつつ、鮮鋭感回復を実現することができるようになる。これらのことを考慮した最適なａとαの関係を図２８（ｂ）のグラフに示す。図２８（ｂ）のグラフのハッチングのかかった範囲が、2.5μm≦ａ≦5.0μmにおいて、最適なａとαの範囲である。
【０１４５】
図２８（ｂ）の左側のグラフ（黒点）は、第１の実施の形態の図２７（ｂ）と同様に、図２８（ａ）の3μm、4μm、5μm、6μmのαの値の黒点を曲線でプロットしたものである。2.5μmの黒点は、2.5μmより小さい範囲では、ローパスフィルタは不要であることと、200%を越える範囲では、図１１よりローパスフィルタが無い状態に十分に近いレベルにあるので、αの上限を200%とした。また、2μm上の直線は2μmで∞となる漸近線である。図２８（ｂ）の右側のグラフ（×点）は、左側のグラフを1μm右へシフトしたグラフである。
【０１４６】
上記により、撮像素子４の画素間隔（ａ，ｂ）が共に２．５〜５μｍの範囲にあるとき、光学ローパスフィルタの死滅周波数帯域の位置を、撮像素子４のナイキスト周波数に対して１．１≦α≦２．０倍の範囲に設定することが最適であることが示されている。
【０１４７】
また、撮影レンズ２がとりうる最大の開放絞り値からF8以上に至るまでの絞り制御が可能な場合に、撮像素子４の画素間隔の値が約4〜6μm/pixelに該当する場合に、上記の特性を有する光学ローパスフィルタを使用するのが好ましい。
【０１４８】
なお、想定している撮像素子のカラーフィルタ配列は第１の実施の形態に準ずる。
【０１４９】
−第３の実施の形態−
第３の実施の形態のデジタルカメラでは、光学ローパスフィルタが第１の実施の形態と異なる。その他の構成は、第１の実施の形態と同様であるのでその説明を省略する。以下、第３の実施の形態の光学ローパスフィルタについて説明をする。
【０１５０】
＜光学ローパスフィルタ構成＞
第３の実施の形態では、最初に候補に挙げた3タイプの光学ローパスフィルタの中で、対称性をもつ2枚構成型の内、縦横2方向型を採用する。幾何光学シミュレーションの節で調べたように、図１３、図１６、図１７の各レンズ使用条件で、縦横2方向型と斜め2方向型の光学ローパスフィルタのどちらの方が弱い強度で色モアレ・偽解像フリーにできるかをみた結果は、全ての条件で斜め型の方が有利であった。しかし、縦横2方向型であっても、画素ピッチ依存性に関して従来より弱い強度で色モアレ・偽解像フリーにできる十分な結果を出すことができる領域が存在する。その領域では、光学ローパスフィルタの役割をレンズMTFに担わせることが可能となる。
【０１５１】
従って、第３の実施の形態では、縦横2方向型の光学ローパスフィルタを採用する。図２９は、その最適構成を示す図である。なお、完全に色モアレフリーの条件を目指さないのであれば、大きい画素ピッチの間は従来と同じく１００〜１３３％ｈｖの範囲を使い続け、ある画素ピッチ以下（例えば4μm/pixel）では、それより弱い光学ローパスフィルタを設定するようにする。
【０１５２】
第３の実施の形態の光学ローパスフィルタは、撮像素子の画素が互いに直交するx,yの２方向に画素間隔(ピッチ）(a,b)で格子状に配列されているとすると、(x,y)座標軸に対して縦・横２方向(a/α,0)及び(0,b/α)への光線分離を行なって入射光の空間的な周波数特性を変調している。
【０１５３】
なお、図２９（ａ）では色モアレ・偽解像フリーになるOLPF構成の十分条件により下限値を規定した。しかし、最適なαの設定範囲としては、該当画素ピッチより1μm/pixel小さい側で与えている下限値を上限値として設定すれば、色モアレ・偽解像フリーに近いレベルを保ちつつ、鮮鋭感回復を実現することができるようになる。これらのことを考慮した最適なａとαの関係を図２９（ｂ）のグラフに示す。図２９（ｂ）のグラフのハッチングのかかった範囲が、2.5μm≦ａ≦4.0μmにおいて、最適なａとαの範囲である。
【０１５４】
図２９（ｂ）の左側のグラフ（黒点）は、第１の実施の形態の図２７（ｂ）と同様に、図２９（ａ）の3μm、4μm、5μm、6μmのαの値の黒点を曲線でプロットしたものである。2.5μmの黒点は、2.5μmより小さい範囲では、ローパスフィルタは不要であることと、250%を越える範囲では、ローパスフィルタが無い状態と同じであるので、αの上限を250%とした。また、2μm上の直線は2μmで∞となる漸近線である。図２９（ｂ）の右側のグラフ（×点）は、左側のグラフを1μm右へシフトしたグラフである。
【０１５５】
上記により、撮像素子４の画素間隔（ａ，ｂ）が共に２．５〜４μｍの範囲にあるとき、光学ローパスフィルタの死滅周波数帯域の位置を、撮像素子４のナイキスト周波数に対して１．４５≦α≦２．５倍の範囲に設定することが最適であることが示されている。
【０１５６】
なお、想定している撮像素子のカラーフィルタ配列は第１の実施の形態に準ずる。
【０１５７】
−第４の実施の形態−
第１の実施の形態も第２の実施の形態も更に第３の実施の形態も色モアレ・偽解像フリーの条件を満たすのであるから、さらにその中で鮮鋭感が高くなる方を画素ピッチ依存性に関して切り替えて構成した方が有利である。各々の画素ピッチで決めた十分条件において、各光学ローパスフィルタの構成を採ったときのそれが与える鮮鋭感指標を比較したものを図３０に示す。なお参考のため、縦横2方向型ローパスフィルタが色モアレ・偽解像フリーの条件を満たす十分条件を図１３のF2.8の点から導出し、それに対応する鮮鋭感指標を算出したグラフも合わせて載せる。
【０１５８】
図３０から、図３１に示す光学ローパスフィルタの構成にするのがよいと考えられる。
【０１５９】
ここで、3μm/pixelのとき光学ローパスフィルタ無としてもよい条件を付け加えたのは、以下の理由による。すなわち、図１３の2μm/pixel、F2.8における幾何光学的シミュレーションから、この条件程度にまでコントラストがナイキスト周波数で低下した場合は、本実施形態の補間アルゴリズムを用いれば光学ローパスフィルタが不要でよいとの知見を得ているので、そのときのコントラストの値を図２５の表から読み取ると1/contrast=9±5となっている。これは、誤差は大きいが約0.1すなわち10%のMTFに対応する。
【０１６０】
一方、図２３の3μm/pixelのときの最も合成系のコントラストが高い方のF2.8の厳しい条件では1/contrast=5±1となっている。したがって、実際の波動光学を含んだシミュレーションを行なえば、誤差の範囲で色モアレ・偽解像フリーになる可能性が高い。ゆえに、一眼レフ系レンズ群で異色相関を用いた補間アルゴリズムを使用した場合、2.5±0.5μm/pixel以下から光学ローパスフィルタが不要と推測することができる。このときのカメラは35x24mmのフィルムサイズの場合、135M画素ないしは誤差の範囲を見積もると93〜210M画素である。
【０１６１】
このように画素ピッチが小さくなるに従って一眼レフ系レンズのMTFが低下によってぼけてくるのを、光学ローパスフィルタを弱めて鮮鋭感指標を持ち上げてやることにより、これらのレンズ群を使用し続けられるように救済することができる。また、光学ローパスフィルタをデジタルカメラ１に選択的に設けるようにし、画素間隔の値が2.5±0.5μm/pixel以下では設けないようにする。これにより、無駄に光学ローパスフィルタを設けることを防ぐことができる。
【０１６２】
以上説明した実施の形態のカメラシステム１００は、次のような作用効果を有する。
（１）画像処理の原理的な能力を把握して利用することにより、画素ピッチ微細化に対しても光学ローパスフィルタの役割をレンズMTFで代替させることができるようになり、総合MTFを保つことが可能となる。よって、現行レンズシステムの高画素数化に伴うボケ問題に対処することが可能となる。
【０１６３】
（２）色補間処理、すなわちデモザイキング技術における方向分解能向上と偽色抑制効果改善の特質を利用して、高画素数化が伴わない場合であっても高性能化した画像処理が得意とする周波数帯域の偽色・偽解像対策は画像処理部に委ねてその部分のMTFは高く保ち、画像処理で完全に対応できない周波数帯域に光学ローパスフィルタのエネルギーを集中させることにより、実質的に従来よりも解像限界周波数帯域内でのMTF強度を高めつつ色モアレが更に抑制された高品質な補間画像を得ることができる。したがって、量子力学の不確定性原理の働く「鮮鋭感の保持と偽色抑制をあるレベル以上には両立できない」、との不等号の関係を画像処理アルゴリズムの高性能化をうまく活用して光学ローパスフィルタを設計することによって、できるだけ等号が成立するに近いレベルでの実現を可能とする。
【０１６４】
（３）また、従来の光学ローパスフィルタのMTF特性が担った役割の一部を画像処理技術で代替するとともに、撮像素子の画素ピッチが小さくなることに伴って初めて顕著に現れ始めることとなった結像光学系の波動光学的なレンズMTF低下と、レンズ使用条件によって像面内で平均的に生じる幾何光学的な収差によるMTF低下効果で代替することによって、多くの一般的使用条件下で色モアレ・偽解像の発生を抑えつつ、平均的に常に鮮鋭感・ピント感の高い画像を提供することができる。
【０１６５】
（４）また、鑑賞するに足る鮮鋭感をもった画像を、従来のレンズシステムを踏襲したまま、光学ローパスフィルタの構成を見直すことによって、更に高画素数化が進んでも提供することができ、既存レンズシステムの延命を図り、救済することができる。すなわち、超高画素数の一眼レフカメラに合わせて、新たに専用レンズ群を用意しなくても従来のレンズ群が使える。
【０１６６】
（５）更に、従来の光学ローパスフィルタに頼っていた部分をレンズMTFと画像処理に代替してもらうことによって、高価な光学ローパスフィルタの複屈折板を従来より薄くしたり、２枚構成から一枚、更には無へと減らしていくことによってコスト削減効果が見込める。
【０１６７】
なお、上記実施の形態の説明に対して、次のような変形例や補足的な説明を加える。
（１）一眼レフ系の大型撮像素子の他に、コンパクト・カメラ系では小型撮像素子と専用レンズのセットで用いられる。小型撮像素子では2.0μm/pixel前後の画素ピッチを既に使用しており、これらの系では前述の波動光学的MTF落ちが大き過ぎるため、深く絞り込む機能を排し、F2といった明るい専用レンズを付けて、更にその幾何光学的な収差も明るいF値側でMTFが高くなるように設計することが多いようである。この場合には、画素ピッチが小さくなってもMTFは高く保たれるため、光学ローパスフィルタが必要となる。
【０１６８】
これは、USP6,111,608が示す方向への解決策といえる。すなわち、画素ピッチ微細化に伴って光学ローパスフィルタはそのままにし、レンズ設計を変えてレンズ性能を上げていく方式である。一方の本発明では、これとは対照的に、レンズシステムはそのまま流用し、画像処理の性能の助けを借りて光学ローパスフィルタの設計の変更を試みて対処方法を探ろうとしたものである。なお、今回提示した構成の中で、コンパクトカメラ系の画素ピッチの場合に最適なのは、異色相関を用いた画像処理との組み合わせで、斜め2方向型の141%ddからなる光学ローパスフィルタであると考えられる。
【０１６９】
ここで、もう一度一眼レフ系のレンズ光学系が撮像素子の画素ピッチ縮小化に伴って遭遇する問題を、コンパクトカメラ系と比較して整理してみる。
【０１７０】
一般に幾何光学的な収差は、レンズの焦点距離に比例して収差を抑えるのが困難となる。一眼レフ系のレンズのレンズは、例えば３５ｍｍ×２４ｍｍの撮像素子に対しては広角１７ｍｍ〜標準５０ｍｍ〜望遠２００ｍｍ以上の焦点距離ｆを備えているのが普通である。一方のコンパクト系レンズは、撮像素子が例えば１／３型、４．８ｍｍ×３．６ｍｍといったように小さいため、同じ画角を撮影するにしても、相似的に小さな焦点距離ですみ、７ｍｍ〜１０ｍｍ程度の値をとるのが一般的である。
【０１７１】
従って、幾何光学的な収差は通例焦点距離の長い一眼レフ系レンズの方が悪いのが一般的であり、明るいＦ値をかせぐためには大口径のレンズとならざるを得ず、特に開放側の収差特性は悪い。このことから、一眼レフ系では幾何学的な収差はＦ５．６〜Ｆ８程度で最も良くなるように設計されているのが普通である。従って、一眼レフ系の交換レンズ群では、撮像素子の縮小化に伴って、ＭＴＦ特性の悪い開放側でのナイキスト周波数近辺におけるコントラストを保つのが幾何光学的な収差の影響で徐々に困難になる。
【０１７２】
一方、一眼レフ系レンズは、通例Ｆ２．８〜Ｆ２２程度まで絞り機構を備えているのが普通である。この場合、図１８に示されるように、波動光学的な回折によるＭＴＦ低下の影響が絞り込むほど受けやすく、画素ピッチａが５μｍ／ｐｉｘｅｌ以下となると、常用絞り値Ｆ２．８〜Ｆ１１程度でも影響が甚大となりつつある。ＵＳＰ６，１１１，６０８によれば、周波数ｆ（本／ｍｍ）に対してＭＴＦは限界解像周波数１／（Ｆλ）まで直線的に低下し、それ以上は解像しない式で近似できる。
すなわち  
ＭＴＦ（ｆ）＝１−ｆ・Ｆλ  
ここにλ＝０．５４μｍ。ただし、ｋ空間で表される周波数とはｋ＝２πｆの関係で結ばれている
【０１７３】
これを撮像素子の限界解像周波数ｆＮ＝１／（２ａ）との関係、及び光学ローパスフィルタの死滅周波数帯α／（２ａ）との関係を模式的に示したのが図３３である。従って、ナイキスト周波数ｆＮが１／（Ｆλ）に近づくに従い、幾何光学的な収差が最も良いＦ８でも波動光学的にナイキスト周波数近辺の解像が保てなくなる。
【０１７４】
このように、焦点距離の観点から幾何光学的な収差による開放側Ｆ値でのＭＴＦ落ちという側面と、可変絞り機構の観点から波動光学的な大きいＦ値でのＭＴＦ落ちという側面の２面からレンズ光学系の画素ピッチ依存に対する影響を受けることになる。
【０１７５】
この２つの事実関係を数値的に表したのが図２４、図２５である。幾何光学的に最も収差の良いＦ８と波動光学的に最も性能の良い開放側Ｆ２．８とを比較すると、その幾何収差と波動光学的ＭＴＦの合成系のコントラストはＦ２．８とＦ８共に、ほぼ同時に画素ピッチ縮小化に伴ってコントラストが低下しているが、若干Ｆ８の方が落ち方が早い。
【０１７６】
この事実に対処するには、画素ピッチ縮小化に対してＯＬＰＦ強度を弱めていくしか対処方法がない。すなわち、既存のレンズの光学性能を改善することは不可能である。
【０１７７】
前述の第１の実施の形態〜第４の実施の形態では、これら２つのうちのＭＴＦの高い側で色モアレフリーになる条件を提示したが、光学ローパスフィルタ強度の決め方としてもう１つ別の決め方もある。すなわち、一眼レフレンズの大きな特徴である可変絞りに対して、それらに実質的な存在意義を持たせるためには、少なくとも常用範囲のＦ２．８〜Ｆ８の間でナイキスト周波数以上まで有限のコントラストを保つようにＯＬＰＦを弱めておく必要がある。
【０１７８】
画素ピッチ縮小化に対してコントラストの低下が速いのは、Ｆ８側であるので基準絞り値Ｆ８に対して、ナイキスト周波数で有限のＭＴＦを常に保つように各画素ピッチに対するＯＬＰＦ強度を定める。これは、Ｆ２．８側では多少の色モアレ発生を容認してでも常用Ｆ８までは最低限のレンズ解像を保証しようという考え方である。こうして、常用絞り値では最低限の鮮鋭感・ピント感を保った観賞に耐える画質を提供する。
【０１７９】
画像処理で色モアレフリーにできるコントラストは、本実施の形態で示した手法を用いた場合、第４の実施の形態の最後の所で述べたように、ＭＴＦが約０．１にまで低下した場合である。ただし、この値は画像処理手法に依存し、異色相関方向判定と色判定法及び色勾配判定法による適応的な色差補正がなされた場合は０．１という値を保証する。
【０１８０】
Ｆ８を基準絞り値とした場合の例にとると、レンズ限界解像周波数１／（Ｆλ）に対するナイキスト周波数１／（２ａ）の位置関係から、１）画素ピッチに依存せずに常に一定のＯＬＰＦをかける画素ピッチ領域（図３４（ａ））、２）画素ピッチに依存させてＯＬＰＦの強度を弱める画素ピッチ領域（図３４（ｂ））、３）ＯＬＰＦが全く不要になる画素ピッチ領域（図３４（ｃ））の３通りに分かれ、これを模式的に示した図が図３４である。
【０１８１】
Ｆ８のとき１／（Ｆλ）＝１／（８×０．５４μｍ）＝２３０（本／ｍｍ）であるので、第１の区間はナイキスト周波数１／（２ａ）がその約１／３以下のときに該当する。すなわち、１／（２ａ）〜＜１／（３（Ｆλ））＝７７（本／ｍｍ）の関係から、ａ＞〜６．５μｍ／ｐｉｘｅｌである。また、第３の区間は、Ｆ８で最低限の解像ＭＴＦ値Ｍａを保つレンズの解像周波数をナイキスト周波数が超えた領域に相当する。すなわち
（１−Ｍａ）／（Ｆλ）≦１／２ａ
左辺＝（１−０．１）／（８×０．５４μｍ）＝２０８（本／ｍｍ）の関係からａ≦２．４μｍとなる。ここに左辺はＭＴＦ（ｆ）＝１−ｆ・（Ｆλ）＝Ｍａを満たす周波数ｆの条件から求めた。
ただし、ａ≦２．４±０．５μｍ程度の誤差はつく。第２の区間は、第１の区間と第３の区間に挟まれた画素ピッチ領域である。
【０１８２】
更に、６μｍ／ｐｉｘｅｌ時におけるＦ８、１３３％ｈｖ型ＯＬＰＦ時のナイキスト周波数におけるＭＴＦを実際に波動光学シミュレータを使って調べてみた。その結果、前述の幾何光学シミュレーションを行った良いレンズでも既に１０％程度のＭＴＦしか残っておらず、ピント感が出ないという課題が既に深刻な状況で始まっていることが実験的に確認された。更に、この時点でほぼ色モアレフリーの条件を達していることも確認された。
【０１８３】
これは、図２５のＦ２．８の幾何収差のみから求めた第４の実施の形態のＯＬＰＦ強度の十分条件が１２０％ｈｖであったのに対し、波動光学との合成系ＭＴＦでは更に弱くて済むことから、６μｍ／ｐｉｘｅｌでは、既にその強度の下限を１３３％ｈｖにしてもよいことを意味している。すなわち、波動光学を用いた合成系ＭＴＦのＰＳＦデータでは、第１〜第４の実施の形態で求めた十分条件の不等号の下限値を、全体的に更におよそ１３３／１２０≒１．１倍にシフトさせて設定しても良い可能性を示唆しているとも言える。参考のために、上記６μｍ／ｐｉｘｅｌ、Ｆ８、１３３％ｈｖ、像高０ｍｍ、ベストピントのときの波動光学的シミュレーションでＰＳＦをかけたＣＺＰの信号断面図を図３５に示しておく。ＣＺＰは徐々に高周波信号となるので、横軸の画素位置がそのまま周波数を表していると考えてよい。ちょうど１３３％のところでＭＴＦが０％に落ちている様子も再現されている。  
【０１８４】
（２）光学ローパスフィルタの説明で度々２枚構成と呼んだりしているのは、複屈折板が２枚使われて4点分離型にしているとの意味である。また、その間に（λ／４）板が挿入されて直線偏光を縮退した円偏光状態に直しているのが普通である。
【０１８５】
（３）これまでに画質面で色モアレフリーと呼んできたのは、無彩色画像のサーキュラーゾーンプレート・チャートで達成しうるとの意味であり、ベイヤ配列で有彩色部まで含めた本当の意味での完全な色モアレ・フリーについては50%hvのOLPFを追加的に入れない限り不可能である。輝度解像を残す観点からGの密度の多いBayer配列に対して密度の低いR,B成分に偽色対策のOLPFの照準を合わせることはBayer配列を採用することに対して自己否定することにつながり、現実カラーフィルタ配列を採用する限り、有彩色部を含めた色モアレ・フリーになることはあり得ない。しかし、提案するOLPFでは従来に比べ、大部分でそれを達成するであろうことの意味で色モアレ・フリーという言葉を用いている。
【０１８６】
（４）画素配列が正方格子ではなく矩形格子の場合、実空間の基本格子ベクトル(a,0),(0,b)に対して、斜め2方向の141%dd型は、((1/2)a,±(1/2)b)のように光線分離のずらし方を変えればよいだけである。
【０１８７】
（５）カラーフィルタ配列がベイヤ配列ではなく、例えば正方格子のベイヤ配列の画素を、カラーフィルタの位置はそのままで画素を右と左のサブピクセル構造に2分割した場合、水平方向の限界解像域は第１ブリルアンゾーンではなく第2ブリルアンゾーンまで広がるので、鮮鋭感の指標を算出するときは|kx|≦2π/a, |ky|≦π/aの範囲で積分すればよいことになる。
【０１８８】
（６）以上の議論は、他のフィルタ配列、例えばBayer配列を45度回転しただけの、いわゆるハニカム配列と呼ばれたりしているものに対しても同様のことがいえる。
【０１８９】
（７）上記実施の形態では、補間処理はパーソナルコンピュータ１０で行う例を示した。しかし、この補間処理をデジタルカメラ１内で処理をするようにしてもよい。その場合は、画像処理部５で行うのが好ましい。
【０１９０】
（８）上記実施の形態では、デジタルカメラ１は一眼レフデジタルカメラであり、撮影レンズ２は交換可能な交換レンズである例を説明した。しかし、デジタルカメラ１がレンズ一体型のコンパクトデジタルカメラであって、撮影レンズ２はデジタルカメラ１に固定であってもよい。
【０１９１】
（９）上記実施の形態では、カラーフィルタ配列は最も代表的なベイヤ配列（画素ピッチaの正方配列）を例にとった説明をした。しかし、前述したように他の配列のカラーフィルタであってもよい。例えば、ベイヤ配列以外にＲ，Ｇ，Ｂを補色Ｃｙ、Ｍｇ、Ｙｅに置き換えたものや、ベイヤを４５°回しただけのハニカム配列にも本発明は適用可能である。また、ベイヤ配列のＲ：Ｇ：Ｂ＝１：２：１の比率から少しだけ色配分比率がずれた、ＵＳ５５４１６５３号公報に記載されているＲ：Ｇ：Ｂ＝６：８：２（ＵＳ５５４１６５３号公報のＦｉｇ．５）、Ｒ：Ｇ：Ｂ＝７：８：１（ＵＳ５５４１６５３号公報のＦｉｇ．４）、のようなものも基本的にブリルアンゾーンの形が大きく変わらないので、同じＯＬＰＦ構成のまま、画素ピッチ依存に対して同じαの値を用いることになる。
【０１９２】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【図面の簡単な説明】
【０１９３】
【図１】Bayer配列におけるサンプリング信号が持つ周波数解像域、すなわち第一ブリルアンゾーンの作図示す図である。
【図２】ナイキスト周波数近辺で偽色、偽解像のエイリアジングが発生する様子を模式的に示す図である。
【図３】Bayer配列で無彩色CZP画像を撮影したときに現れる偽色の極点を分類した例を示す図である。
【図４】複屈折板を用いて一本の光線を2本の50%ずつの強度を持つ光に分離する手法を示す図である。
【図５】第一の形態の光学ローパスフィルタの便宜表示と光線分離のずらし量（光線シフト量）の代表的な例の一覧を示す図である。
【図６】133%hvの場合の対応k空間図と実空間変位式を示す図である。
【図７】第２の形態の光学ローパスフィルタの便宜表示と光線分離のずらし量（光線シフト量）の代表的な例の一覧を示す図である。
【図８】141%ddの場合の対応k空間図と実空間変位式を示す図である。
【図９】第３の形態の光学ローパスフィルタの便宜表示と光線分離のずらし量（光線シフト量）の代表的な例の一覧を示す図である。
【図１０】100%vの場合の対応k空間図と実空間変位式を示す図である。
【図１１】鮮鋭感の指標を光学ローパスフィルタの強度αの関数として表したグラフを示す図である。
【図１２】鮮鋭感指標の代表的な値をまとめた表を示す図である。
【図１３】異色相関を用いた場合のデモザイキング・アルゴリズムで、絞り値F8とF2.8の2通りについて色モアレ・偽解像フリーになる条件を画素ピッチ依存性に関して示した図である。
【図１４】従来の同色相関を用いた場合のデモザイキング・アルゴリズムで図１３に対応するF値による変化が見られるかどうかを検証したグラフを示す図である。
【図１５】異色相関を用いた場合のデモザイキング・アルゴリズムで、縦１枚型の光学ローパスフィルタの場合の、絞り値F8とF2.8の2通りについて色モアレ・偽解像フリーになる条件を画素ピッチ依存性に関して示した図である。
【図１６】異色相関を用いたアルゴリズムで像高依存性を調べたグラフを示す図である。
【図１７】異色相関を用いたアルゴリズムでデフォーカス依存性を調べたグラフを示す図である。
【図１８】無収差レンズにおける波動光学的MTFを示す図である。
【図１９】画素ピッチとナイキスト周波数の代表的な値の対応関係の表を示す図である。
【図２０】無収差レンズにおける波動光学的MTFを絞り値F8とF2.8に関して、画素ピッチ依存性に関するコントラストの関数を表すものとして描いた図である。
【図２１】レンズ光学系を介さずに作成した光学ローパスフィルタに入射する前のサーキュラーゾーンプレート・チャートの信号触れ幅に対し、レンズ光学系のポイント・スプレッド関数でフィルタリングした後の画像でその信号振れ幅の観測している様子を示す図である。
【図２２】幾何光学な収差によるコントラストを示す図である。
【図２３】幾何光学な収差によるコントラストと無収差系の波動光学的なMTFのコントラストの合成系のコントラストをプロットした様子を示す図である。
【図２４】図２０、図２２、図２３のコントラストの値を表にまとめた図である（F8の場合）。
【図２５】図２０、図２２、図２３のコントラストの値を表にまとめた図である（F2.8の場合）。
【図２６】第１の実施の形態のカメラシステム１００の構成を示す図である。
【図２７】第１の実施の形態の光学ローパスフィルタの最適構成を示す図である。
【図２８】第２の実施の形態の光学ローパスフィルタの最適構成を示す図である。
【図２９】第３の実施の形態の光学ローパスフィルタの最適構成を示す図である。
【図３０】第１の実施の形態〜第３の実施の形態の各光学ローパスフィルタの構成を採ったときのそれが与える鮮鋭感指標を比較した図である。
【図３１】第４の実施の形態の光学ローパスフィルタの最適構成を示す図である。
【図３２】カラーフィルタのベイア配列を示す図である。
【図３３】撮像素子の限界解像周波数ｆＮ＝１／（２ａ）との関係、及び光学ローパスフィルタの死滅周波数帯α／（２ａ）との関係を模式的に示した図である。
【図３４】Ｆ８を基準絞り値とした場合の、レンズ限界解像周波数１／（Ｆλ）に対するナイキスト周波数１／（２ａ）の位置関係から、３通りの画素ピッチ領域を模式的に示した図である。
【図３５】６μｍ／ｐｉｘｅｌ、Ｆ８、１３３％ｈｖ、像高０ｍｍ、ベストピントのときの波動光学的シミュレーションでＰＳＦをかけたＣＺＰの信号断面図を示す図である。
【符号の説明】
【０１９４】
１  デジタルカメラ
２  撮影レンズ
３  光学ローパスフィルタ
４  撮像素子
５  画像処理部
６  制御部
７  絞り
１０  パーソナルコンピュータ
２０  メモリカード
３０  ケーブル
１００  カメラシステム
【図１】
0005212044.tif 000013
【図２】
0005212044.tif 000014
【図３】
0005212044.tif 000015
【図４】
0005212044.tif 000016
【図５】
0005212044.tif 000017
【図６】
0005212044.tif 000018
【図７】
0005212044.tif 000019
【図８】
0005212044.tif 000020
【図９】
0005212044.tif 000021
【図１０】
0005212044.tif 000022
【図１１】
0005212044.tif 000023
【図１２】
0005212044.tif 000024
【図１３】
0005212044.tif 000025
【図１４】
0005212044.tif 000026
【図１５】
0005212044.tif 000027
【図１６】
0005212044.tif 000028
【図１７】
0005212044.tif 000029
【図１８】
0005212044.tif 000030
【図１９】
0005212044.tif 000031
【図２０】
0005212044.tif 000032
【図２１】
0005212044.tif 000033
【図２２】
0005212044.tif 000034
【図２３】
0005212044.tif 000035
【図２４】
0005212044.tif 000036
【図２５】
0005212044.tif 000037
【図２６】
0005212044.tif 000038
【図２７】
0005212044.tif 000039
【図２８】
0005212044.tif 000040
【図２９】
0005212044.tif 000041
【図３０】
0005212044.tif 000042
【図３１】
0005212044.tif 000043
【図３２】
0005212044.tif 000044
【図３３】
0005212044.tif 000045
【図３４】
0005212044.tif 000046
【図３５】
0005212044.tif 000047