(57)【要約】【課題】色ムラが少なくかつ解像感の高い、高品質な画像を撮影可能な固体撮像装置及びデジタルカメラを提供すること。【解決手段】実施形態によれば、固体撮像装置は、イメージセンサ及び解像度復元回路２２を有する。イメージセンサは、被写体像を撮像する。解像度復元回路２２は、被写体像への解像度復元処理を実施する。解像度復元回路２２は、フィルタ処理による解像度復元処理を実施する。フィルタ処理におけるフィルタは、予め設定された周波数より高い周波数の周波域にて、理想変調伝達関数に対し変調伝達関数を低下させるフィルタ特性を備える。【選択図】図４
2015103971.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像するイメージセンサと、
前記被写体像への解像度復元処理を実施する解像度復元回路と、を有し、
前記解像度復元回路は、フィルタ処理による前記解像度復元処理を実施し、
前記フィルタ処理におけるフィルタが、予め設定された周波数より高い周波数の周波域にて、理想変調伝達関数に対し変調伝達関数を低下させるフィルタ特性を備えることを特徴とする固体撮像装置。
【請求項２】
前記解像度復元回路は、前記被写体像の実空間における画像データに対する前記フィルタ処理を実施し、
前記フィルタは、前記フィルタ特性を備えるデコンボルーションフィルタであることを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記解像度復元回路は、前記被写体像の周波数空間における画像データに対する前記フィルタ処理を実施し、
前記フィルタは、前記フィルタ特性を備える、周波数空間における復元フィルタであることを特徴とする請求項１に記載の固体撮像装置。
【請求項４】
前記フィルタが、ナイキスト周波数の４分の３倍に相当する周波数より高い周波数の周波域成分をカットする前記フィルタ特性を備えることを特徴とする請求項１から３のいずれか一項に記載の固体撮像装置。
【請求項５】
被写体からの光を取り込み、被写体像を結像させる撮像光学系と、
前記撮像光学系により取り込まれた光を信号電荷に変換し、前記被写体像を撮像する固体撮像装置と、を有し、
前記固体撮像装置は、
前記被写体像を撮像するイメージセンサと、
前記被写体像への解像度復元処理を実施する解像度復元回路と、を有し、
前記解像度復元回路は、フィルタ処理による前記解像度復元処理を実施し、
前記フィルタ処理におけるフィルタが、予め設定された周波数より高い周波数の周波域にて、理想変調伝達関数に対し変調伝達関数を低下させるフィルタ特性を備えることを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置及びデジタルカメラに関する。
【背景技術】
【０００２】
従来、固体撮像装置が備えるイメージセンサの色配列として、ベイヤー配列が一般的に採用されている。ベイヤー配列は、２×２の画素ブロックを単位とする。この画素ブロックの対角に赤色（Ｒ）画素及び青色（Ｂ）画素が配置され、残りの対角に２つの緑色（Ｇ）画素が配置される。画素ブロックに含まれる２つのＧ画素のうち、行方向においてＲ画素と隣り合うＧ画素を、Ｇｒ画素と称する。画素ブロックに含まれる２つのＧ画素のうち、行方向においてＢ画素と隣り合うＧ画素を、Ｇｂ画素と称する。
【０００３】
イメージセンサによる色再現性を低下させる原因として、例えば、隣接する画素間での光学的あるいは電気的なクロストーク（混色）がある。イメージセンサは、カメラモジュールの小型化、および画素数の増大に対応するため、画素の微細化が進められている。画素が小型になるほど、クロストークの影響が問題となる。
【０００４】
また、例えば、フォトダイオードの配線層からの反射光が原因となって、隣接する画素同士で光感度に差が生じることがある。フォトダイオードが備える構造の対称性などに起因して、配線層からの反射光の量に偏りがあるような場合、隣接する画素同士で感度差が生じることがある。例えば、裏面配線を備えるフォトダイオードでは、裏面配線の上のシリコン層が薄い場合ほど、裏面配線からの反射光の影響が問題となる。
【０００５】
これらの原因によって、Ｇｒ画素とＧｂ画素との間に感度差が生じると、被写体には存在しない色ムラが、例えば格子模様となって画像に現れることがある。Ｇｒ画素及びＧｂ画素の感度差が原因となって生じる色ムラを低減するために、従来、Ｇｒ画素から出力される信号とＧｂ画素から出力される信号との平均化処理を実施するイメージセンサが知られている。しかし、イメージセンサは、かかる平均化処理を実施することで、画像の解像感が大幅に劣化することが問題となる。
【０００６】
フォトダイオードの構造を見直すことで画素間の感度差の低減を図る場合、フォトダイオードのその他の性能との兼ね合いを考慮する必要があるため、開発に多大な困難が伴うこととなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２３８０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の一つの実施形態は、色ムラが少なくかつ解像感の高い、高品質な画像を撮影可能な固体撮像装置及びデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの実施形態によれば、固体撮像装置は、イメージセンサ及び解像度復元回路を有する。イメージセンサは、被写体像を撮像する。解像度復元回路は、被写体像への解像度復元処理を実施する。解像度復元回路は、フィルタ処理による解像度復元処理を実施する。フィルタ処理におけるフィルタは、予め設定された周波数より高い周波数の周波域にて、理想変調伝達関数に対し変調伝達関数を低下させるフィルタ特性を備える。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図２】固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。
【図３】デジタルカメラに設けられている光学系の概略構成を示す図。
【図４】信号処理回路の構成を示すブロック図。
【図５】ＭＴＦと空間周波数との関係について説明する図。
【図６】実空間の画像を周波数空間へ変換して得られる像の例を模式的に表した図。
【図７】図６に示す像に対し、復元フィルタによるローパスフィルタを作用させた状態を模式的に表した図。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、実施形態にかかる固体撮像装置及びデジタルカメラを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【００１２】
（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。
【００１３】
デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。
【００１４】
撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。
【００１５】
表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。デジタルカメラ１は、ＩＳＰ６での信号処理を経たデータに基づき、カメラモジュール２のフィードバック制御を実施する。
【００１６】
固体撮像装置５は、撮像素子であるイメージセンサ１０と、画像処理装置である信号処理回路１１とを備える。イメージセンサ１０は、例えば、ＣＭＯＳイメージセンサである。イメージセンサ１０は、ＣＭＯＳイメージセンサの他、ＣＣＤであっても良い。
【００１７】
イメージセンサ１０は、画素アレイ１２、垂直シフトレジスタ１３、タイミング制御部１４、相関二重サンプリング部（ＣＤＳ）１５、アナログデジタル変換部（ＡＤＣ）１６及びラインメモリ１７を有する。
【００１８】
画素アレイ１２は、イメージセンサ１０の撮像領域に設けられている。画素アレイ１２は、水平方向（行方向）及び垂直方向（列方向）へアレイ状に配置された複数の画素からなる。各画素は、光電変換素子であるフォトダイオードを備える。画素アレイ１２は、各画素への入射光量に応じた信号電荷を生成する。
【００１９】
タイミング制御部１４は、画素アレイ１２の各画素からの信号を読み出すタイミングを指示する垂直同期信号を、垂直シフトレジスタ１３へ供給する。タイミング制御部１４は、ＣＤＳ１５、ＡＤＣ１６及びラインメモリ１７に対し、駆動タイミングを指示するタイミング信号をそれぞれ供給する。
【００２０】
垂直シフトレジスタ１３は、タイミング制御部１４からの垂直同期信号に応じて、画素アレイ１２内の画素を行ごとに選択する。垂直シフトレジスタ１３は、選択した行の各画素へ読み出し信号を出力する。垂直シフトレジスタ１３から読み出し信号が入力された画素は、入射光量に応じて蓄積した信号電荷を出力する。画素アレイ１２は、画素からの信号を、垂直信号線を介してＣＤＳ１５へ出力する。
【００２１】
ＣＤＳ１５は、画素アレイ１２からの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。ＡＤＣ１６は、アナログ方式の信号をデジタル方式の信号へ変換する。ラインメモリ１７は、ＡＤＣ１６からの信号を蓄積する。イメージセンサ１０は、ラインメモリ１７に蓄積された信号を出力する。
【００２２】
信号処理回路１１は、イメージセンサ１０からの画像信号に対し、各種の信号処理を実施する。信号処理回路１１は、キズ補正、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等の信号処理を実施する。固体撮像装置５は、信号処理回路１１での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置５は、信号処理回路１１での信号処理を経たデータに基づき、イメージセンサ１０のフィードバック制御を実施する。
【００２３】
図３は、デジタルカメラに設けられている光学系の概略構成を示す図である。被写体からデジタルカメラ１の撮像光学系４へ入射した光は、メインミラー１０１、サブミラー１０２及びメカシャッタ１０６を経てイメージセンサ１０へ進行する。デジタルカメラ１は、イメージセンサ１０において被写体像を撮像する。
【００２４】
サブミラー１０２で反射した光は、オートフォーカス（ＡＦ）センサ１０３へ進行する。デジタルカメラ１は、ＡＦセンサ１０３での検出結果を使用するフォーカス調整を行う。メインミラー１０１で反射した光は、レンズ１０４及びプリズム１０５を経てファインダー１０７へ進行する。
【００２５】
図４は、信号処理回路の構成を示すブロック図である。図４には、信号処理回路１１における各種信号処理のための構成のうち、歪曲補正、解像度復元、ノイズ低減のための各構成を示している。信号処理回路１１におけるこの他の信号処理のための構成については、図示を省略している。
【００２６】
信号処理回路１１へ入力された画像信号は、例えば、歪曲補正回路２１、解像度復元回路２２及びノイズ低減回路２３の順に入力される。歪曲補正回路２１は、被写体像の歪曲補正を実施する。歪曲補正回路２１は、撮像光学系４が備えるレンズに起因して生じた座標軸の歪みを、正方格子状に戻すための座標変換を実施する。
【００２７】
解像度復元回路２２は、被写体像への解像度復元処理を実施する。解像度復元回路２２は、撮像光学系４のレンズが備えるレンズ特性、例えば、倍率色収差、軸上色収差、ぼけ量等を基に、被写体像の解像度復元を実施する。レンズ特性としては、例えば、点像分布関数（Point  Spread  Function；ＰＳＦ）を用いる。ＰＳＦは、例えば、最小二乗法等の方法を用いて推測する。
【００２８】
ノイズ低減回路２３は、被写体像へのノイズ低減処理を実施する。ノイズ低減回路２３は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを被写体像から除去する。なお、歪曲補正回路２１、解像度復元回路２２及びノイズ低減回路２３へ画像信号が入力される順序は、適宜変更しても良い。
【００２９】
デジタルカメラ１は、本実施形態において信号処理回路１１が実施するものとした各種信号処理の少なくともいずれかを、後段処理部３のＩＳＰ６が実施することとしても良い。デジタルカメラ１は、各種信号処理の少なくともいずれかを、信号処理回路１１及びＩＳＰ６の双方が実施しても良い。信号処理回路１１及びＩＳＰ６は、本実施形態で説明する信号処理以外の信号処理を追加して実施することとしても良い。信号処理回路１１及びＩＳＰ６は、本実施形態で説明する信号処理のうち、省略可能な処理を省略しても良い。
【００３０】
解像度復元回路２２は、解像度復元処理として、被写体像の実空間における画像データに対し、デコンボルーションフィルタを使用するフィルタ処理を実施する。デコンボルーションフィルタは、例えば、ＰＳＦのデコンボルーションマトリックスに、後述するローパスフィルタの特性を持たせたものとする。解像度復元回路２２は、フィルタ処理として、デコンボルーションフィルタと画像データとの重畳積分を算出する。解像度復元回路２２は、かかるフィルタ処理により主に画像データの高周波成分を強調することで、ぼけが低減された像を復元する。
【００３１】
デコンボルーションフィルタは、例えば、固体撮像装置５が備えるＯＴＰ（One  Time  Programmable  memory、図示省略）に予め格納されている。ＯＴＰは、画像信号の信号処理のためのパラメータを格納する。
【００３２】
デコンボルーションフィルタは、例えば５×５のマトリックスとする。デコンボルーションフィルタとして、Ｒ，ＧおよびＢのそれぞれに対して異なるマトリックスが用意されている。また、マトリックスは、像高に応じて適宜変更可能であるものとする。
【００３３】
デコンボルーションフィルタは、ローパスフィルタの特性として、予め設定された周波数より高い周波域において変調伝達関数（Modulation  Transfer  Function；ＭＴＦ）を低下させるようなフィルタ特性を備える。ＭＴＦは、空間周波数の増加に対する正弦波物体の像の変調を示す関数である。
【００３４】
デコンボルーションフィルタは、ＰＳＦのデコンボリューションマトリックスの各々のフィルタ値が適宜調整されることにより、解像度復元の機能とローパスフィルタとしての機能とを兼ね備えたものとされている。
【００３５】
図５は、ＭＴＦと空間周波数との関係について説明する図である。図５に示すグラフの縦軸はＭＴＦ［％］、横軸は空間周波数［cycle／mm］とする。「ＭＩ」と付した実線は、レンズの理想ＭＴＦ、すなわち理想的な無収差レンズのＭＴＦと空間周波数との関係を示す。「ＭＬ」と付した実線は、解像度の低いレンズのＭＴＦと空間周波数との関係の例を示す。解像度の低いレンズのＭＴＦは、いずれの周波域においても、理想ＭＴＦに対して顕著に低い値となる。
【００３６】
「Ｎ」と付した実線は、ナイキスト（Nyquist）周波数近辺におけるＭＴＦを低下させるフィルタ処理を施した場合における、ＭＴＦと空間周波数との関係の例を示す。この場合のＭＴＦは、Nyquist周波数近辺の周波域においては理想ＭＴＦに対し低くなる一方、Nyquist周波数近辺より低い周波域においては理想ＭＴＦに近い値となる。
【００３７】
「３／４Ｎ」と付した破線は、Nyquist周波数の４分の３倍に相当する周波数（３／４Nyquist）より高い周波域においてＭＴＦを低下させるフィルタ処理を施した場合における、ＭＴＦと空間周波数との関係の例を示す。この場合のＭＴＦは、３／４Nyquist近辺から高い周波域においては理想ＭＴＦに対し低くなる一方、３／４Nyquist近辺より低い周波域においては理想ＭＴＦに近い値となる。
【００３８】
「１／２Ｎ」と付した破線は、Nyquist周波数の２分の１倍に相当する周波数（１／２Nyquist）より高い周波域においてＭＴＦを低下させるフィルタ処理を施した場合における、ＭＴＦと空間周波数との関係の例を示す。この場合のＭＴＦは、１／２Nyquist近辺から高い周波域においては理想ＭＴＦに対し低くなる一方、１／２Nyquist近辺より低い周波域においては理想ＭＴＦに近い値となる。
【００３９】
人間の視覚特性によると、１／２Nyquist近辺の周波域における解像度を、比較的敏感に認識するとされている。このため、１／２Nyquist近辺の周波域においては、理想ＭＴＦに対しＭＴＦを少し低下させた場合であっても、人間は解像度の劣化を感じ易いこととなる。これに対し、３／４Nyquist近辺より高い周波域については、理想ＭＴＦに対しＭＴＦを低下させても、人間には解像感の劣化がそれほど大きくは感じ取られないこととなる。
【００４０】
解像度復元回路２２が使用するデコンボルーションフィルタは、予め設定された周波数である３／４Nyquistより高い周波域において、理想ＭＴＦに対してＭＴＦを低下させるようなフィルタ特性を備える。
【００４１】
第１の実施形態によると、ローパスフィルタの特性をデコンボルーションフィルタに持たせることで、固体撮像装置５は、Ｇｒ画素とＧｂ画素との間の感度差が原因となって生じる格子模様状の色ムラを効果的に低減することができる。デコンボルーションフィルタに持たせるフィルタ特性を、例えば３／４Nyquistより高い周波域をカットするように調整することで、固体撮像装置５は、解像感の劣化をできるだけ抑えることができる。固体撮像装置５は、Ｇｒ画素から出力される信号とＧｂ画素から出力される信号との平均化処理を実施する場合に比べて、高い解像感を備える画像を得ることができる。
【００４２】
以上により、固体撮像装置５及びカメラモジュール２は、色ムラが少なく解像感の高い、高品質な画像を撮影できるという効果を奏する。
【００４３】
デコンボルーションフィルタは、３／４Nyquistより高い周波域において、理想ＭＴＦに対してＭＴＦを低下させるようなフィルタ特性を備えるものに限られない。Ｇｒ画素とＧｂ画素との間の感度差に起因する色ムラを効果的に低減可能であるとともに、解像感の劣化を所望の限度において抑制可能であれば、デコンボルーションフィルタはいずれの周波域においてＭＴＦを低下させるフィルタ特性を備えるものであっても良い。
【００４４】
（第２の実施形態）
第２の実施形態にかかる固体撮像装置は、図１に示す第１の実施形態にかかる固体撮像装置と同様の構成を備える。第２の実施形態にかかる固体撮像装置について、第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００４５】
解像度復元回路２２（図４参照）は、被写体像の実空間から周波数空間へのフーリエ変換と、被写体像の周波数空間から実空間への逆フーリエ変換とを実施する。例えば、フーリエ変換は、高速フーリエ変換（ＦＦＴ）とする。逆フーリエ変換は、高速フーリエ変換の逆変換（ＩＦＦＴ）とする。
【００４６】
解像度復元回路２２は、フーリエ変換により実空間から周波数空間へ変換された画像データに対するフィルタ処理を実施する。解像度復元回路２２は、解像度復元処理として、被写体像の周波数空間における画像データに対し、周波数空間における復元フィルタを使用するフィルタ処理を実施する。周波数空間における復元フィルタとしては、例えば、逆フィルタやウィナ・フィルタが使用される。周波数空間におけるこれらの復元フィルタは、ＰＳＦをフーリエ変換して求められた光学伝達関数（Optical  Transfer  Function；ＯＴＦ）を基に得られる。さらに、本実施形態では、周波数空間における復元フィルタに、ローパスフィルタの特性を持たせる。
【００４７】
解像度復元回路２２は、フィルタ処理として、画像データに復元フィルタを乗算する。解像度復元回路２２は、かかるフィルタ処理により主に画像データの高周波成分を強調することで、ぼけが低減された像を復元する。復元フィルタは、例えば、固体撮像装置５が備えるＯＴＰに予め格納されている。
【００４８】
復元フィルタは、ローパスフィルタの特性として、予め設定された周波数より高い周波域においてＭＴＦを低下させるようなフィルタ特性を備える。復元フィルタは、ＯＴＦを基に得られたフィルタ値が適宜調整されることにより、解像度復元の機能とローパスフィルタとしての機能とを兼ね備えたものとされている。
【００４９】
解像度復元回路２２が使用する復元フィルタは、予め設定された周波数である３／４Nyquistより高い周波域において、理想ＭＴＦに対してＭＴＦを低下させるようなフィルタ特性を備える。
【００５０】
図６は、実空間の画像を周波数空間へ変換して得られる像の例を模式的に表した図である。固体撮像装置５によって撮像された二次元画像は、例えばｘｙ平面上の実空間に輝度成分が分布している。この二次元画像は、フーリエ変換を経て、ｕ軸及びｖ軸の周波数空間に空間周波数成分が分布した像として示される。
【００５１】
図７は、図６に示す像に対し、復元フィルタによるローパスフィルタを作用させた状態を模式的に表した図である。復元フィルタが、予め設定された周波数である３／４Nyquistより高い周波域をカットすることで、像は、当該周波域に相当する部分が黒く塗りつぶされた状態となる。
【００５２】
第２の実施形態によると、ローパスフィルタの特性を復元フィルタに持たせることで、固体撮像装置５は、Ｇｒ画素とＧｂ画素との間の感度差が原因となって生じる格子模様状の色ムラを効果的に低減することができる。復元フィルタに持たせるフィルタ特性を、例えば３／４Nyquistより高い周波域をカットするように調整することで、固体撮像装置５は、解像感の劣化をできるだけ抑えることができる。固体撮像装置５は、Ｇｒ画素から出力される信号とＧｂ画素から出力される信号との平均化処理を実施する場合に比べて、高い解像感を備える画像を得ることができる。
【００５３】
以上により、第２の実施形態でも、固体撮像装置５及びカメラモジュール２は、色ムラが少なく解像感の高い、高品質な画像を撮影できるという効果を奏する。
【００５４】
復元フィルタは、３／４Nyquistより高い周波域において、理想ＭＴＦに対してＭＴＦを低下させるようなフィルタ特性を備えるものに限られない。Ｇｒ画素とＧｂ画素との間の感度差に起因する色ムラを効果的に低減可能であるとともに、解像感の劣化を所望の限度において抑制可能であれば、復元フィルタはいずれの周波域においてＭＴＦを低下させるフィルタ特性を備えるものであっても良い。
【００５５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５６】
１  デジタルカメラ、２  カメラモジュール、４  撮像光学系、５  固体撮像装置、１０  イメージセンサ、１１  信号処理回路、２２  解像度復元回路。
【図１】
2015103971.tif 000003
【図２】
2015103971.tif 000004
【図３】
2015103971.tif 000005
【図４】
2015103971.tif 000006
【図５】
2015103971.tif 000007
【図６】
2015103971.tif 000008
【図７】
2015103971.tif 000009