(57)【要約】【課題】デコンボルーションマトリクスによるメモリ使用量を削減する。【解決手段】一つの実施形態によれば、固体撮像装置は、イメージセンサと、メモリと、信号処理回路とを備える。イメージセンサは、被写体像を撮像する。メモリには、フィルタ係数を有する第１領域と、フィルタ係数を有しない第２領域とを含むデコンボルーションマトリクスが記憶される。第２領域は、第１領域に対応するように設けられる。信号処理回路は、被写体像を複数のブロックに分割し、第２領域が、第１領域のフィルタ係数に対応するフィルタ係数を有するものとしてデコンボルーションマトリクスを補完し、補完後のデコンボルーションマトリクスを用いて複数のブロックにフィルタ処理を実行する。【選択図】図１
2017055281.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像するイメージセンサと、
フィルタ係数を有する第１領域と、前記第１領域に対応するように設けられ、フィルタ係数を有しない第２領域とを含むデコンボルーションマトリクスが記憶されるメモリと、
前記被写体像を複数のブロックに分割し、前記第２領域が、前記第１領域のフィルタ係数に対応するフィルタ係数を有するものとして前記デコンボルーションマトリクスを補完し、補完後の前記デコンボルーションマトリクスを用いて前記複数のブロックにフィルタ処理を実行する信号処理回路とを備える、固体撮像装置。
【請求項２】
前記第１領域および前記第２領域は、前記デコンボルーションマトリクスにおいて互いに対称的な位置に設けられ、
前記信号処理回路は、前記第２領域が、前記第１領域のフィルタ係数と対称的に配置されたフィルタ係数を有するものとして前記デコンボルーションマトリクスを補完する、請求項１に記載の固体撮像装置。
【請求項３】
前記デコンボルーションマトリクスは、前記被写体像の外縁側に位置する第１ブロックに対する前記フィルタ処理に用いられる第１デコンボルーションマトリクスと、前記被写体像の中央側に位置する第２ブロックに対する前記フィルタ処理に用いられる第２デコンボルーションマトリクスとを含み、
前記第１デコンボルーションマトリクスにおける前記第１領域および前記第２領域の対称性と、前記第２デコンボルーションマトリクスにおける前記第１領域および前記第２領域の対称性とは、互いに異なる、請求項２に記載の固体撮像装置。
【請求項４】
前記第１デコンボルーションマトリクスの前記第１領域および前記第２領域は、前記被写体像におけるタンジェンシャル方向に対応する対称軸に対して線対称に設けられ、
前記信号処理回路は、前記第２領域が、前記第１領域のフィルタ係数と前記対称軸に対して線対称に配置されたフィルタ係数を有するものとして前記第１デコンボルーションマトリクスを補完し、補完後の前記第１デコンボルーションマトリクスを用いて前記第１ブロックに前記フィルタ処理を実行する、請求項３に記載の固体撮像装置。
【請求項５】
前記第１デコンボルーションマトリクスは、前記第１領域および前記第２領域の周囲に、フィルタ係数を有しない第３領域をさらに含む、請求項３または４に記載の固体撮像装置。
【請求項６】
前記第２デコンボルーションマトリクスの前記第１領域および前記第２領域は、前記第２ブロックの中心に対応する対称中心に対して回転対称に設けられ、
前記信号処理回路は、前記第２領域が、前記第１領域のフィルタ係数と前記対称中心に対して回転対称に配置されたフィルタ係数を有するものとして前記第２デコンボルーションマトリクスを補完し、補完後の前記第２デコンボルーションマトリクスを用いて前記第２ブロックに前記フィルタ処理を実行する、請求項３〜５のいずれか１項に記載の固体撮像装置。
【請求項７】
被写体からの光を取り込み、被写体像を結像させる撮像光学系と、
固体撮像装置とを備え、
前記固体撮像装置は、
前記被写体像を撮像するイメージセンサと、
フィルタ係数を有する第１領域と、前記第１領域に対応するように設けられ、フィルタ係数を有しない第２領域とを含むデコンボルーションマトリクスが記憶されるメモリと、
前記被写体像を複数のブロックに分割し、前記第２領域が、前記第１領域のフィルタ係数に対応するフィルタ係数を有するものとして前記デコンボルーションマトリクスを補完し、補完後の前記デコンボルーションマトリクスを用いて前記複数のブロックにフィルタ処理を実行する信号処理回路とを含む、カメラモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、固体撮像装置およびカメラモジュールに関する。
【背景技術】
【０００２】
従来、デコンボルーションマトリクスを用いたフィルタ処理により、被写体像の解像度を復元する技術が知られている。このような技術では、デコンボルーションマトリクスによるメモリ使用量を削減することが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１３５３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一つの実施形態は、デコンボルーションマトリクスによるメモリ使用量を削減することを目的とする。
【課題を解決するための手段】
【０００５】
一つの実施形態によれば、固体撮像装置は、イメージセンサと、メモリと、信号処理回路とを備える。イメージセンサは、被写体像を撮像する。メモリには、フィルタ係数を有する第１領域と、フィルタ係数を有しない第２領域とを含むデコンボルーションマトリクスが記憶される。第２領域は、第１領域に対応するように設けられる。信号処理回路は、被写体像を複数のブロックに分割し、第２領域が、第１領域のフィルタ係数に対応するフィルタ係数を有するものとしてデコンボルーションマトリクスを補完し、補完後のデコンボルーションマトリクスを用いて複数のブロックにフィルタ処理を実行する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態にかかる固体撮像装置を備えたカメラシステムの概略的構成を示す例示ブロック図である。
【図２】図２は、実施形態にかかる固体撮像装置の具体的構成を示した例示ブロック図である。
【図３】図３は、実施形態において複数のブロックに分割された被写体像の事例を示したイメージ図である。
【図４】図４は、実施形態にかかるデコンボルーションマトリクスの一例を示したイメージ図である。
【図５】図５は、実施形態にかかるデコンボルーションマトリクスの、図４とは異なる他の一例を示したイメージ図である。
【図６】図６は、変形例にかかるデコンボルーションマトリクスの一例を示したイメージ図である。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる固体撮像装置およびカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００８】
（実施形態）
図１は、実施形態にかかる固体撮像装置を備えたカメラシステムの概略的構成を示す例示ブロック図である。カメラシステム１は、カメラモジュール２を備えた電子機器であり、たとえばカメラ付きの携帯端末である。なお、カメラシステム１は、デジタルカメラなどの電子機器であってもよい。
【０００９】
カメラシステム１は、カメラモジュール２と、後段処理部３とを備える。カメラモジュール２は、撮像光学系４と、固体撮像装置５とを備える。
【００１０】
撮像光学系４は、被写体からの光を取り込むように構成される。具体的には、撮像光学系４は、被写体像ＩＭ（後述の図３参照）を結像させるレンズを備える。
【００１１】
固体撮像装置５は、イメージセンサ６と、信号処理回路７と、メモリ８とを備える。
【００１２】
イメージセンサ６は、被写体像ＩＭを撮像するセンサデバイスである。たとえば、イメージセンサ６は、裏面照射型のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。裏面照射型のＣＭＯＳイメージセンサは、光電変換部を含む半導体層のうち入射光が入射する側とは逆側に配線層が設けられている。なお、イメージセンサ６は、裏面照射型のＣＭＯＳイメージセンサに限られず、表面照射型のＣＭＯＳイメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などであってもよい。
【００１３】
信号処理回路７は、イメージセンサ６からの被写体像ＩＭの画像信号に信号処理を施す。たとえば、信号処理回路７は、撮像光学系４が備えたレンズの特性に応じて、解像度復元処理を実施する。レンズの特性としては、たとえば、点像分布関数（ｐｏｉｎｔ  ｓｐｒｅａｄ  ｆｕｎｃｔｉｏｎ；ＰＳＦ）が用いられる。信号処理回路７は、イメージセンサ６からの被写体像ＩＭの画像信号の値に、ＰＳＦに対応したデコンボルーションマトリクスを乗算することで、ぼけが低減された像を復元する。デコンボルーションマトリクスは、メモリ８に記憶される。
【００１４】
後段処理部３は、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）９と、記憶部１０と、表示部１１を備える。ＩＳＰ９は、固体撮像装置５から出力される画像信号の信号処理を実施する。記憶部１０には、ＩＳＰ９での信号処理を経た画像が格納される。記憶部１０は、ユーザの操作などに応じて、表示部１１へ画像信号を出力する。
【００１５】
表示部１１は、ＩＳＰ９あるいは記憶部１０から入力される画像信号に応じて、画像を表示する。表示部１１は、たとえば、液晶ディスプレイである。カメラシステム１は、ＩＳＰ９での信号処理を経たデータに基づき、固体撮像装置５のフィードバック制御を実施する。
【００１６】
図２は、実施形態にかかる固体撮像装置の具体的構成を示した例示ブロック図である。固体撮像装置５のイメージセンサ６は、画素アレイ２０と、制御回路２１と、行走査回路２２と、列走査回路２３と、カラム処理回路２４とを備える。
【００１７】
画素アレイ２０は、イメージセンサ６の撮像領域に設けられる。制御回路２１、行走査回路２２、列走査回路２３、およびカラム処理回路２４は、画素アレイ２０の周辺の回路部を構成する。
【００１８】
画素アレイ２０は、行列状に配列された画素を備える。各画素は、光電変換部であるフォトダイオードを備える。光電変換部は、入射光量に応じた信号電荷を生成する。画素は、入射光量に応じて生成された信号電荷を蓄積する。
【００１９】
固体撮像装置５の駆動のための各種データおよびクロック信号は、固体撮像装置５の外部から制御回路２１へ供給される。制御回路２１は、クロック信号に応じて、回路部の駆動を制御するための各種パルス信号を生成する。制御回路２１は、駆動タイミングを指示するパルス信号を、行走査回路２２、列走査回路２３、カラム処理回路２４および信号処理回路７に供給する。
【００２０】
行走査回路２２は、シフトレジスタやアドレスデコーダなどを備える。画素駆動回路である行走査回路２２は、画素アレイ２０の画素へ駆動信号を供給する。制御回路２１は、垂直同期信号に応じたパルス信号を、行走査回路２２へ供給する。行走査回路２２は、画素信号が読み出される画素行を、制御回路２１からのパルス信号に応じて順次選択する。行走査回路２２は、選択された画素行において画素ごとに順次読み出し信号を供給することによる読み出し走査を行う。読み出し信号は、入射光量に応じて生成された画素信号を画素から読み出すための駆動信号である。
【００２１】
行走査回路２２は、画素ごとへの読み出し信号の供給に先行して、各画素へのリセット信号の供給による掃き出し走査を行う。リセット信号は、画素に残存されている電荷を排出させるための駆動信号である。各画素は、リセット信号が供給されたときから読み出し信号が供給されるまでの間、入射光量に応じて生成された信号電荷を蓄積する。
【００２２】
駆動信号は、行走査回路２２から各画素へ、画素駆動線２５を通じて伝送される。画素駆動線２５は、画素アレイ２０の画素行ごとに設けられている。画素行は、行方向へ配列された画素からなる。
【００２３】
画素信号は、各画素からカラム処理回路２４へ、垂直信号線２６を通じて伝送される。垂直信号線２６は、画素アレイ２０の画素列ごとに設けられている。画素列は、列方向へ配列された画素からなる。
【００２４】
カラム処理回路２４は、垂直信号線２６を伝送した画素信号を、画素列ごとに設けられた単位回路（図示省略）にて処理する。カラム処理回路２４は、画素信号に、固定パターンノイズの低減のための相関二重サンプリング処理（ＣＤＳ）を施す。カラム処理回路２４は、画素信号に、アナログ方式の信号からデジタル方式の信号への変換であるＡＤ変換を施す。なお、カラム処理回路２４は、ＣＤＳおよびＡＤ変換以外の処理を実施してもよい。カラム処理回路２４は、ＣＤＳおよびＡＤ変換を経た画素信号を、単位回路ごとに保持する。
【００２５】
列走査回路２３は、シフトレジスタやアドレスデコーダなどを備える。制御回路２１は、水平同期信号に応じたパルス信号を、列走査回路２３へ供給する。列走査回路２３は、画素信号を読み出す画素列を、制御回路２１からのパルス信号に応じて順次選択する。カラム処理回路２４は、列走査回路２３による選択走査に応じて、各単位回路に保持されている画素信号を順次出力する。イメージセンサ６は、カラム処理回路２４からの画素信号を成分とする画像信号を被写体像ＩＭとして出力する。
【００２６】
信号処理回路７は、イメージセンサ６が出力した被写体像ＩＭを複数のブロックに分割し、ブロック毎に解像度復元処理を実行する。図３は、複数のブロックに分割された被写体像ＩＭの事例を示したイメージ図である。図３の例では、被写体像ＩＭが、７×５＝３５個のブロックに分割されている。また、図３の例では、各ブロックが、９×９＝８１個の画素で構成されている。以下では、説明の便宜上、被写体像ＩＭの外縁側の領域Ａ１内に位置する２６個のブロックを第１ブロックＢ１とし、被写体像ＩＭの中央側の領域Ａ２内に位置する９個のブロックを第２ブロックＢ２とする。
【００２７】
メモリ８には、上記の複数のブロックの各々に対応したデコンボルーションマトリクスが記憶される。信号処理回路７は、メモリ８からデコンボルーションマトリクスを読み出し、対応するブロックの各画素の値に、デコンボルーションマトリクスの行列要素として設定されたフィルタ係数を乗算するなどして、ブロック毎にフィルタ処理を実行し、被写体像ＩＭ全体の解像度を復元する。
【００２８】
ここで、実施形態によるデコンボルーションマトリクスでは、一部の領域にのみ、行列要素としてのフィルタ係数が設定されている。つまり、実施形態によるデコンボルーションマトリクスは、フィルタ係数を有する第１領域と、フィルタ係数を有しない第２領域とを含んでいる。第２領域は、第１領域に対応するように設けられる。信号処理回路７は、第２領域が、第１領域のフィルタ係数に対応するフィルタ係数を有するものとしてデコンボルーションマトリクスを補完し、補完後のデコンボルーションマトリクスを用いて、対応するブロックにフィルタ処理を実行する。
【００２９】
たとえば、図４は、実施形態にかかるデコンボルーションマトリクスの一例を示したイメージ図である。
【００３０】
図４には、第１デコンボルーションマトリクスＤＭ１と、第２デコンボルーションマトリクスＤＭ２との、２種類のデコンボルーションマトリクスが例示されている。第１デコンボルーションマトリクスＤＭ１は、被写体像ＩＭの外縁側の第１ブロックＢ１（図３参照）のフィルタ処理に用いられ、第２デコンボルーションマトリクスＤＭ２は、被写体像ＩＭの中央側の第２ブロックＢ２（図３参照）のフィルタ処理に用いられる。
【００３１】
ところで、一般的なレンズは、中央から外縁に向かうにしたがって、解像力やコントラストなどの特性が変化する（低下する）傾向がある。ここで、実施形態による撮像光学系４のレンズが、中央近傍で特性がほとんど変化せず、外縁で特性が大きく低下するレンズである場合を想定する。この場合、被写体像ＩＭの外縁側の第１ブロックＢ１は、被写体像ＩＭの中央側の第２ブロックＢ２よりも、ぼけの度合が大きくなりやすい。このため、実施形態では、第１ブロックＢ１と第２ブロックＢ２とで異なる２種類のデコンボルーションマトリクスを使い分けることで、第１ブロックＢ１および第２ブロックＢ２の解像度を適切に復元し、被写体像ＩＭ全体のぼけを効果的に低減する。
【００３２】
図４の第１デコンボルーションマトリクスＤＭ１は、フィルタ係数を有する第１領域Ｒ１１（ハッチングが付された領域参照）と、フィルタ係数を有しない第２領域Ｒ１２（太線で囲まれた領域参照）とを含む。また、第１デコンボルーションマトリクスＤＭ１は、第１領域Ｒ１１および第２領域Ｒ１２の周囲に、フィルタ係数を有しない第３領域Ｒ１３を含む。第１領域Ｒ１１と、第２領域Ｒ１２とは、対称軸Ａｘに対して線対称に設けられる。対称軸Ａｘは、第１ブロックＢ１を被写体像ＩＭのタンジェンシャル方向（被写体像ＩＭの中心に対する放射方向）に沿って二等分する直線に対応する。なお、図４の例では、第１領域Ｒ１１と第２領域Ｒ１２との間の境界領域も、フィルタ係数を有している。
【００３３】
また、図４の第２デコンボルーションマトリクスＤＭ２は、フィルタ係数を有する第１領域Ｒ２１（ハッチングが付された領域参照）と、フィルタ係数を有しない３つの第２領域Ｒ２２とを含む。第１領域Ｒ２１と、第２領域Ｒ２２とは、第２デコンボルーションマトリクスＤＭ２を十字に四等分した各領域に対応する。つまり、第１領域Ｒ２１と、第２領域Ｒ２２とは、対称中心Ｏに対して回転対称に設けられる。対称中心Ｏは、第２ブロックＢ２の中心に対応する。なお、図４の例では、第１領域Ｒ２１と第２領域Ｒ２２との間の境界領域も、フィルタ係数を有している。
【００３４】
このように、図４の例では、第１デコンボルーションマトリクスＤＭ１および第２デコンボルーションマトリクスＤＭ２のいずれにおいても、第１領域Ｒ１１およびＲ２１と、第２領域Ｒ１２およびＲ２２とは、互いに対称的な位置に設けられる。そこで、信号処理回路７は、第１ブロックＢ１の解像度復元処理を実行する際、第２領域Ｒ１２が、第１領域Ｒ１１のフィルタ係数と対称的に配置されたフィルタ係数を有するものとして、第１デコンボルーションマトリクスＤＭ１を補完する。同様に、信号処理回路７は、第２ブロックＢ２の解像度復元処理を実行する際、第２領域Ｒ２２が、第１領域Ｒ２１のフィルタ係数と対称的に配置されたフィルタ係数を有するものとして、第２デコンボルーションマトリクスＤＭ２を補完する。
【００３５】
具体的に、図４の例では、信号処理回路７は、第１ブロックＢ１の解像度復元処理を実行する際、第２領域Ｒ１２が、第１領域Ｒ１１のフィルタ係数と対称軸Ａｘに対して線対称に配置されたフィルタ係数を有するものとして、第１デコンボルーションマトリクスＤＭ１を補完する。
【００３６】
たとえば、第１デコンボルーションマトリクスＤＭ１の中心に位置するフィルタ係数をｋ１（０，０）と表現し、当該中心に対してｉ行目でかつｊ列目に位置するフィルタ係数をｋ１（ｉ，ｊ）と表現した場合について説明する。この場合、信号処理回路７は、図４の左上隅の領域Ｘ１および右下隅の領域Ｘ２内の８個の第１デコンボルーションマトリクスＤＭ１につき、ｋ１（ｉ，ｊ）＝ｋ１（−ｊ，−ｉ）という式が成立するものとして、第１デコンボルーションマトリクスＤＭ１を補完する。また、信号処理回路７は、図４の左下隅の領域Ｘ３および右上隅の領域Ｘ４内の８個の第１デコンボルーションマトリクスＤＭ１につき、ｋ１（ｉ，ｊ）＝ｋ１（ｊ，ｉ）という式が成立するものとして、第１デコンボルーションマトリクスＤＭ１を補完する。また、信号処理回路７は、図４の上下方向の中央の領域Ｘ５およびＸ６内の４個の第１デコンボルーションマトリクスＤＭ１につき、ｋ１（ｉ，ｊ）＝ｋ１（−ｉ，ｊ）という式が成立するものとして、第１デコンボルーションマトリクスＤＭ１を補完する。また、信号処理回路７は、図４の左右方向の中央の領域Ｘ７およびＸ８内の６個の第１デコンボルーションマトリクスＤＭ１につき、ｋ１（ｉ，ｊ）＝ｋ１（ｉ，−ｊ）という式が成立するものとして、第１デコンボルーションマトリクスＤＭ１を補完する。
【００３７】
また、図４の例では、信号処理回路７は、第２ブロックＢ２の解像度復元処理を実行する際、第２領域Ｒ２２が、第１領域Ｒ２１のフィルタ係数と対称中心Ｏに対して回転対称に配置されたフィルタ係数を有するものとして第２デコンボルーションマトリクスＤＭ２を補完する。たとえば、第２デコンボルーションマトリクスＤＭ２の中心に位置するフィルタ係数をｋ２（０，０）と表現し、当該中心に対してｉ行目でかつｊ列目に位置するフィルタ係数をｋ２（ｉ，ｊ）と表現した場合、信号処理回路７は、ｋ２（ｉ，ｊ）＝ｋ２（−ｊ，ｉ）＝ｋ２（−ｊ，−ｉ）＝ｋ２（ｊ，−ｉ）という関係式が成立するものとして、第２デコンボルーションマトリクスＤＭ２を補完する。
【００３８】
図５は、実施形態にかかるデコンボルーションマトリクスの、図４とは異なる他の一例を示したイメージ図である。この図５の例は、被写体像ＩＭの外縁側の第１ブロックＢ１のフィルタ処理に用いられる第１デコンボルーションフィルタＤＭ１ａの構成が、図４の例と異なっている。
【００３９】
具体的に、図５のデコンボルーションマトリクスＤＭ１ａは、フィルタ係数を有する第１領域Ｒ１１ａと、フィルタ係数を有しない第２領域Ｒ１２ａとが、対称軸Ａｘに対して線対称に設けられている点で、図４の第１デコンボルーションマトリクスＤＭ１と同様である。しかしながら、図５のデコンボルーションマトリクスＤＭ１ａでは、図４の第１デコンボルーションマトリクスＤＭ１と異なり、第１領域Ｒ１１ａおよび第２領域Ｒ１２ａが、デコンボルーションマトリクスＤＭ１ａの端部まで広がっている。つまり、図５のデコンボルーションマトリクスＤＭ１ａには、第１領域Ｒ１１ａおよび第２領域Ｒ１２ａの周囲に、図４の第３領域Ｒ１３のような、フィルタ係数を有しない領域が設けられていない。したがって、図５のデコンボルーションマトリクスＤＭ１ａによれば、第１ブロックＢ１内の全画素を考慮したフィルタ処理を実行することができる。
【００４０】
図５の例のその他の構成は、前述した図４の例と同様である。
【００４１】
なお、実施形態では、図４に例示されたデコンボルーションマトリクスと、図５に例示されたデコンボルーションマトリクスとのうち、レンズの特性に応じたいずれか一方のみが、メモリ８に予め記憶されてもよい。また、実施形態では、図４に例示されたデコンボルーションマトリクスと、図５に例示されたデコンボルーションマトリクスとの両方がメモリ８に予め記憶され、所定の条件に応じて選択的に使用されてもよい。
【００４２】
以上説明したように、実施形態によると、固体撮像装置５のメモリ８には、フィルタ係数を有する第１領域Ｒ１１（Ｒ２１、Ｒ１１ａ）と、フィルタ係数を有しない第２領域Ｒ１２（Ｒ２２、Ｒ１２ａ）とを含むデコンボルーションマトリクスＤＭ１（ＤＭ２、ＤＭ１ａ）が記憶される。信号処理回路７は、第２領域Ｒ１２（Ｒ２２、Ｒ１２ａ）が、第１領域Ｒ１１（Ｒ２１、Ｒ１１ａ）のフィルタ係数に対応するフィルタ係数を有するものとしてデコンボルーションマトリクスＤＭ１（ＤＭ２、ＤＭ１ａ）を補完し、補完後のデコンボルーションマトリクスＤＭ１（ＤＭ２、ＤＭ１ａ）を用いてフィルタ処理を実行する。これにより、第２領域Ｒ１２（Ｒ２２、Ｒ１２ａ）に予めフィルタ係数を設定しておく必要がないので、デコンボルーションマトリクスＤＭ１（ＤＭ２、ＤＭ１ａ）によるメモリ８の使用量を削減することができる。
【００４３】
また、上述のように、実施形態では、中央側で特性がほとんど低下せず、外縁側で特性が大きく低下するレンズを想定している。したがって、実施形態では、特性が大きく低下するレンズの外縁側で撮像される第１ブロックＢ１については、タンジェンシャル方向に線対称なフィルタ係数を有するように補完可能な第１デコンボルーションマトリクスＤＭ１（ＤＭ１ａ）を用いることで、レンズの外縁側の特性に応じた適切な解像度復元処理を実現している。また、特性がほとんど低下しないレンズの中央側で撮像される第２ブロックＢ２については、中心周りに回転対称なフィルタ係数を有するように補完可能な第２デコンボルーションマトリクスＤＭ２を用いることで、レンズの中央側の特性に応じた適切な解像度復元処理を実現している。
【００４４】
（変形例）
上述の実施形態で示した第１領域および第２領域の設定はあくまで一例であって、第１領域および第２領域の設定は、レンズの特性に応じて種々変更されてもよい。
【００４５】
つまり、上述の実施形態では、中央側で特性があまり低下せず、外縁側で特性が大きく低下するレンズを想定し、被写体像の外縁側の第１ブロックについては、第１領域および第２領域が線対称に設定されたデコンボルーションマトリクスを用い、中央側の第２ブロックについては、第１領域および第２領域が回転対称に設定されたデコンボルーションマトリクスを用いた。しかしながら、たとえば中央から少し外側に向かうだけですぐに特性の低下が表れるレンズを想定した場合、第２ブロックのうち中央より少し外側に位置する一部のブロックについても、第１ブロックと同様に、第１領域および第２領域が線対称に設定されたデコンボルーションマトリクスを用いることも考えられる。
【００４６】
また、たとえば外縁側でも中央側と同等の特性を有するレンズを想定した場合、以下で説明する図６の変形例のように、外縁側の第１ブロックについても、中央側の第２ブロックと同様に、第１領域および第２領域が回転対称に設定されたデコンボルーションマトリクスを用いることも考えられる。
【００４７】
たとえば、図６は、変形例にかかるデコンボルーションマトリクスの一例を示したイメージ図である。この図６の変形例では、被写体像ＩＭを分割した複数のブロックの全てに対して同一のデコンボルーションマトリクスＤＭ２ａが用いられる。デコンボルーションマトリクスＤＭ２ａは、上述の実施形態の第２デコンボルーションマトリクスＤＭ２と同様の対称性を有する。つまり、デコンボルーションマトリクスＤＭ２ａは、フィルタ係数を有する第１領域Ｒ２１ａと、フィルタ係数を有しない第２領域Ｒ２２ａとを有し、第１領域Ｒ２１ａおよび第２領域Ｒ２２ａは、中心周りに回転対称に配置されている。
【００４８】
図６の変形例においても、上述の実施形態と同様に、第２領域Ｒ２２ａに予めフィルタ係数を設定しておく必要が無いので、メモリ８の使用量を削減することができる。
【００４９】
以上、本発明の実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５０】
２  カメラモジュール、５  固体撮像装置、６  イメージセンサ、７  信号処理回路、８  メモリ、Ｂ１  第１ブロック、Ｂ２  第２ブロック、ＤＭ１，ＤＭ１ａ，ＤＭ２，ＤＭ２ａ  デコンボルーションマトリクス、ＩＭ  被写体像、Ｒ１１，Ｒ１１ａ，Ｒ２１，Ｒ２１ａ  第１領域、Ｒ１２，Ｒ１２ａ，Ｒ２２，Ｒ２２ａ  第２領域。
【図１】
2017055281.tif 000003
【図２】
2017055281.tif 000004
【図３】
2017055281.tif 000005
【図４】
2017055281.tif 000006
【図５】
2017055281.tif 000007
【図６】
2017055281.tif 000008