(57)【特許請求の範囲】
【請求項１】
入射光を光電変換する複数の画素が配列された画素アレイ部と、
前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、
選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するＡ／Ｄ変換部と、
前記画素値を記憶する第１〜第ｎのメモリー領域と、
前記第１〜第ｎのメモリー領域に対して、前記画素値を書き込む制御を行う書き込み制御部と、
加算対象となる画素の範囲である加算単位に含まれる画素値を、前記第１〜第ｎのメモリー領域から読み出す制御を行う読み出し制御部と、
読み出された前記加算単位に含まれる画素値の重み付け加算を行い、加算後の画素値を加算画素値として出力する重み付け加算部と、
を含み、
前記書き込み制御部は、
前記加算単位に含まれる各画素値を、それぞれ前記第１〜第ｎのメモリー領域のうちの異なるメモリー領域に記憶させ、
前記読み出し制御部は、
第１の加算単位に含まれる画素値を読み出す制御と、前記第１の加算単位と共通の画素を含む第２の加算単位に含まれる画素値を読み出す制御を行い、
前記第１の加算単位が、２行２列の画素により構成される場合に、
前記第１〜第ｎのメモリー領域の第１、第２のメモリー領域は、
第１のラインバッファーを構成し、それぞれ前記画素アレイ部の第１行の奇数列、偶数列の画素値を記憶し、
前記第１〜第ｎのメモリー領域の第３、第４のメモリー領域は、
第２のラインバッファーを構成し、それぞれ前記画素アレイ部の第２行の奇数列、偶数列の画素値を記憶し、
前記読み出し制御部は、
前記第１の加算単位を構成する２行２列の画素値を、前記第１、第２のラインバッファーから読み出すことを特徴とする固体撮像装置。
【請求項２】
請求項１において、
前記第１〜第ｎのメモリー領域は、
それぞれ独立したアドレス空間を有するメモリー領域であり、
前記読み出し制御部は、
前記加算単位に含まれる画素値を、前記第１〜第ｎのメモリー領域から並列に読み出すことを特徴とする固体撮像装置。
【請求項３】
請求項１又は２において、
前記重み付け加算部は、
前記第１の加算単位における前記共通の画素と、前記第２の加算単位における前記共通の画素に対して、異なる重み係数による重み付けを行うことを特徴とする固体撮像装置。
【請求項４】
請求項１において、
前記第２の加算単位が、前記第１の加算単位を１行１列シフトさせた２行２列の加算単位である場合に、
前記第１〜第ｎのメモリー領域の第５、第６のメモリー領域は、
第３のラインバッファーを構成し、それぞれ前記画素アレイ部の第３行の奇数列、偶数列の画素値を記憶し、
前記読み出し制御部は、
前記第２の加算単位を構成する２行２列の画素値を、前記第２、第３のラインバッファーから読み出すことを特徴とする固体撮像装置。
【請求項５】
請求項４において、
第３の加算単位を、前記第１の加算単位を１列シフトさせた２行２列の加算単位とし、第４の加算単位を、前記第１の加算単位を１行シフトさせた２行２列の加算単位とする場合に、
前記読み出し制御部は、
第１のフレームにおいて、前記第１、第２の加算単位の画素値を読み出し、前記第１のフレームの次の第２のフレームにおいて、前記第３、第４の加算単位の画素値を読み出すことを特徴とする固体撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記Ａ／Ｄ変換部は、
前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列Ａ／Ｄ変換部であることを特徴とする固体撮像装置。
【請求項７】
請求項１乃至６のいずれかに記載の固体撮像装置と、
前記加算画素値に基づいて、前記加算単位に含まれる画素値を推定する推定演算部と、
を含み、
第１のポジションに設定された第１ポジション加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２ポジション加算単位とが、重畳する場合に、
前記重み付け加算部は、
前記第１、第２ポジション加算単位の前記加算画素値である第１、第２の加算画素値を出力し、
前記推定演算部は、
前記第１の加算画素値と、前記第２の加算画素値の差分値を求め、
前記第１ポジション加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項７において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項９】
入射光を光電変換する複数の画素が配列された画素アレイ部と、
前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、
選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するＡ／Ｄ変換部と、
前記画素値を記憶する第１〜第ｎのメモリー領域と、
前記第１〜第ｎのメモリー領域に対して、前記画素値を書き込む制御を行う書き込み制御部と、
加算対象となる画素の範囲である加算単位に含まれる画素値を、前記第１〜第ｎのメモリー領域から読み出す制御を行う読み出し制御部と、
読み出された前記加算単位に含まれる画素値の重み付け加算を行い、加算後の画素値を加算画素値として出力する重み付け加算部と、
前記加算画素値に基づいて、前記加算単位に含まれる画素値を推定する推定演算部と、
を含み、
前記書き込み制御部は、
前記加算単位に含まれる各画素値を、それぞれ前記第１〜第ｎのメモリー領域のうちの異なるメモリー領域に記憶させ、
前記読み出し制御部は、
第１の加算単位に含まれる画素値を読み出す制御と、前記第１の加算単位と共通の画素を含む第２の加算単位に含まれる画素値を読み出す制御を行い、
第１のポジションに設定された第１ポジション加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２ポジション加算単位とが、重畳する場合に、
前記重み付け加算部は、
前記第１、第２ポジション加算単位の前記加算画素値である第１、第２の加算画素値を出力し、
前記推定演算部は、
前記第１の加算画素値と、前記第２の加算画素値の差分値を求め、
前記第１ポジション加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置及び撮像装置等に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置には、光学像を電気信号に変換する撮像素子が搭載されている。近年、この撮像素子において、ＣＣＤ（Charge Coupled Device）型からＣＭＯＳ（Complementary Metal Oxide Semiconductor）型への置き換えが加速しつつある。
【０００３】
このＣＭＯＳ型撮像素子は、その特徴を生かして、フルスキャン以外にも様々な形態の画素信号を読み出すことができる。例えば、水平及び垂直方向に複数の画素を加算した信号を取り出すムービースキャンにより、多種の解像度に対応した画素数の読み出しが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２７８１３５号公報
【特許文献２】特開２００８−２９４９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、画素加算により得られる画像は画素加算しない場合よりも低解像である。そのため、動画撮影中に高精細静止画を得たい場合には、例えば動画撮影中にシャッターが押された場合だけ静止画撮影を行う手法が考えられる。
【０００６】
しかしながら、この手法では、決定的瞬間にタイミングよくシャッターを押して静止画を取得することは難しい。そのため、画素加算による動画を撮影しておき、その動画から事後的に任意タイミングの高精細静止画を生成する手法が考えられる。
【０００７】
このような手法として、加算対象の画素の範囲である加算単位を重畳させて設定し、その加算単位に含まれる画素値を重み付け加算して低解像画像を取得し、その低解像動画から高精細静止画を復元する手法が考えられる。
【０００８】
しかしながら、従来の画素加算手法（例えば特許文献１、２）では、加算単位を重畳させた画素加算や重み付け加算を実現できないという課題がある。
【０００９】
本発明の幾つかの態様によれば、加算単位を重畳させて画素加算を行うことが可能な固体撮像装置及び撮像装置等を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、入射光を光電変換する複数の画素が配列された画素アレイ部と、前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するＡ／Ｄ変換部と、前記画素値を記憶する第１〜第ｎのメモリー領域と、前記第１〜第ｎのメモリー領域に対して、前記画素値を書き込む制御を行う書き込み制御部と、加算対象となる画素の範囲である加算単位に含まれる画素値を、前記第１〜第ｎのメモリー領域から読み出す制御を行う読み出し制御部と、読み出された前記加算単位に含まれる画素値の重み付け加算を行い、加算後の画素値を加算画素値として出力する重み付け加算部と、を含み、前記書き込み制御部は、前記加算単位に含まれる各画素値を、それぞれ前記第１〜第ｎのメモリー領域のうちの異なるメモリー領域に記憶させ、前記読み出し制御部は、第１の加算単位に含まれる画素値を読み出す制御と、前記第１の加算単位と共通の画素を含む第２の加算単位に含まれる画素値を読み出す制御を行う固体撮像装置に関係する。
【００１１】
本発明の一態様によれば、加算単位に含まれる各画素値が、それぞれ第１〜第ｎのメモリー領域のうちの異なるメモリー領域に記憶され、その第１〜第ｎのメモリー領域から、共通の画素を有する第１、第２の加算単位に含まれる画素値を読み出す制御が行われる。そして、読み出された画素値の重み付け加算が行われ、各加算単位の加算画素値が出力される。これにより、加算単位を重畳させて画素加算を行うことが可能になる。また、加算単位の画素値を重み付け加算することが可能になる。
【００１２】
また本発明の一態様では、前記第１〜第ｎのメモリー領域は、それぞれ独立したアドレス空間を有するメモリー領域であり、前記読み出し制御部は、前記加算単位に含まれる画素値を、前記第１〜第ｎのメモリー領域から並列に読み出してもよい。
【００１３】
このようにすれば、重畳シフト加算を行わない従来の固体撮像装置に比べて、各構成部位の処理速度を上げることなく、共通画素を有する加算単位の読み出しや、重み付け演算、加算演算を行うことが可能になる。
【００１４】
また本発明の一態様では、前記重み付け加算部は、前記第１の加算単位における前記共通の画素と、前記第２の加算単位における前記共通の画素に対して、異なる重み係数による重み付けを行ってもよい。
【００１５】
このようにすれば、第１、第２の加算単位の加算演算において、共通画素にそれぞれ異なる重み付けを行うことができる。これにより、重畳する加算単位において、各加算単位の重み付け加算を実現することができる。
【００１６】
また本発明の一態様では、前記第１の加算単位が、２行２列の画素により構成される場合に、前記第１〜第ｎのメモリー領域の第１、第２のメモリー領域は、第１のラインバッファーを構成し、それぞれ前記画素アレイ部の第１行の奇数列、偶数列の画素値を記憶し、前記第１〜第ｎのメモリー領域の第３、第４のメモリー領域は、第２のラインバッファーを構成し、それぞれ前記画素アレイ部の第２行の奇数列、偶数列の画素値を記憶し、前記読み出し制御部は、前記第１の加算単位を構成する２行２列の画素値を、前記第１、第２のラインバッファーから読み出してもよい。
【００１７】
また本発明の一態様では、前記第２の加算単位が、前記第１の加算単位を１行１列シフトさせた２行２列の加算単位である場合に、前記第１〜第ｎのメモリー領域の第５、第６のメモリー領域は、第３のラインバッファーを構成し、それぞれ前記画素アレイ部の第３行の奇数列、偶数列の画素値を記憶し、前記読み出し制御部は、前記第２の加算単位を構成する２行２列の画素値を、前記第２、第３のラインバッファーから読み出してもよい。
【００１８】
これらのようにすれば、それぞれ２つのバンクにより３つのラインバッファーを構成し、その６つのバンクにより第１〜第６のメモリー領域（ｎ＝６）を構成できる。また、第１、第２の加算単位において、第２のラインバッファーから重複して画素値を読み出すことで、重畳シフト加算が可能になる。
【００１９】
また本発明の一態様では、第３の加算単位を、前記第１の加算単位を１列シフトさせた２行２列の加算単位とし、第４の加算単位を、前記第１の加算単位を１行シフトさせた２行２列の加算単位とする場合に、前記読み出し制御部は、第１のフレームにおいて、前記第１、第２の加算単位の画素値を読み出し、前記第１のフレームの次の第２のフレームにおいて、前記第３、第４の加算単位の画素値を読み出してもよい。
【００２０】
このようにすれば、重畳シフトされた第１〜第４の加算単位の加算画素値を得ることができる。これにより、後述する推定演算処理を適用することが可能になり、簡素な推定演算処理により高解像画像を得ることが可能になる。
【００２１】
また本発明の一態様では、前記Ａ／Ｄ変換部は、前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列Ａ／Ｄ変換部であってもよい。
【００２２】
このようにすれば、１行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なＡ／Ｄ変換が不要になるため、固体撮像装置の動作速度の低速化を図ることができる。
【００２３】
また本発明の他の態様は、上記のいずれかに記載の固体撮像装置と、前記加算画素値に基づいて、前記加算単位に含まれる画素値を推定する推定演算部と、を含み、第１のポジションに設定された第１ポジション加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２ポジション加算単位とが、重畳する場合に、前記重み付け加算部は、前記第１、第２ポジション加算単位の前記加算画素値である第１、第２の加算画素値を出力し、前記推定演算部は、前記第１の加算画素値と、前記第２の加算画素値の差分値を求め、前記第１ポジション加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求める撮像装置に関係する。
【００２４】
本発明の他の態様によれば、重畳しながら画素シフトされた加算単位の加算画素値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。
【００２５】
また本発明の他の態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２６】
このようにすれば、重畳しながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
【図面の簡単な説明】
【００２７】
【図１】重畳シフト加算についての説明図。
【図２】重畳シフト加算についての説明図。
【図３】重畳シフト加算についての説明図。
【図４】本実施形態の固体撮像装置の構成例。
【図５】本実施形態の固体撮像装置の詳細な構成例。
【図６】固体撮像装置の重畳シフト加算動作についての説明図。
【図７】ラインバッファーに対する書き込み動作についての説明図。
【図８】ラインバッファーからの読み出し動作についての説明図。
【図９】本実施形態のタイミングチャートの例。
【図１０】図１０（Ａ）、図１０（Ｂ）は、推定画素値と中間画素値の説明図。
【図１１】復元推定処理についての説明図。
【図１２】復元推定処理についての説明図。
【図１３】復元推定処理についての説明図。
【図１４】撮像装置の構成例。
【発明を実施するための形態】
【００２８】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２９】
１．本実施形態の概要
本実施形態では、図２等で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を加算することにより低解像動画を取得する。そして、図１０（Ａ）〜図１３で後述するように、その低解像動画から、撮像素子の解像度に相当する高解像静止画や高解像動画を復元する。
【００３０】
事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。
【００３１】
２．重畳シフト加算の手法
まず、本実施形態が行う重畳シフト加算について説明する。図１に、重畳シフト加算における重み付け加算の説明図を示す。
【００３２】
図１に示すように、第１の画素Ａ（基準画素）をウエイト“１”で重み付けし、第２の画素Ｂをウエイト“１／２”で重み付けし、第３の画素Ｃをウエイト“１／２”で重み付けし、第４の画素Ｄをウエイト“１／４”で重み付けする。即ち、加算画素値ＧＰは下式（１）により求められる。
ＧＰ＝１×Ａ＋（１／２）×Ｂ＋（１／２）×Ｃ＋（１／４）×Ｄ    （１）
【００３３】
なお、上記では加算画素数を２×２としたが、本実施形態はこれに限定されず、例えば加算画素数が３×３であってもよい。また、上記ではウエイトを１、１／２、１／４としたが、本実施形態はこれに限定されず、例えば下式（２）に示すようにウエイトを１、１／ｒ、１／ｒ２（ｒ≧１）としてもよい。
ＧＰ＝１×Ａ＋（１／ｒ）×Ｂ＋（１／ｒ）×Ｃ＋（１／ｒ２）×Ｄ    （２）
【００３４】
次に図２〜図３を用いて、上記の画素加算の重畳シフトについて説明する。以下では、画素が８行８列に行列配列された固体撮像装置を例に説明する。
【００３５】
図２に示すように、奇数フレーム（奇数フィールド）では、グループ（加算単位）ＧＰ１１、ＧＰ１３、・・・と、グループＧＰ２２、ＧＰ２４、・・・について上記の重み付け加算を行う。例えばグループＧＰ２２は、グループＧＰ１１を１行１列シフトさせたものである。加算画素値は下式（３）により求められる。ここで、Ｄｉｊ（ｉ，ｊは自然数）は画素Ｐｉｊの画素値である。
ＧＰ１１＝１×Ｄ１１＋（１／２）×Ｄ１２＋
（１／２）×Ｄ２１＋（１／４）×Ｄ２２，
ＧＰ１３＝１×Ｄ１３＋（１／２）×Ｄ１４＋
（１／２）×Ｄ２３＋（１／４）×Ｄ２４，
・・・
ＧＰ２２＝１×Ｄ２２＋（１／２）×Ｄ２３＋
（１／２）×Ｄ３２＋（１／４）×Ｄ３３，
ＧＰ２４＝１×Ｄ２４＋（１／２）×Ｄ２５＋
（１／２）×Ｄ３４＋（１／４）×Ｄ３５，
・・・                                      （３）
【００３６】
図３に示すように、偶数フレーム（偶数フィールド）では、グループＧＰ１２、ＧＰ１４、・・・と、グループＧＰ２１、ＧＰ２３、・・・について上記の重み付け加算を行う。例えばグループＧＰ１２は、図２のグループＧＰ１１を１列シフトさせたものであり、グループＧＰ２１は、グループＧＰ１１を１列シフトさせたものである。加算画素値は下式（４）により求められる。
ＧＰ１２＝１×Ｄ１２＋（１／２）×Ｄ１３＋
（１／２）×Ｄ２２＋（１／４）×Ｄ２３，
ＧＰ１４＝１×Ｄ１４＋（１／２）×Ｄ１５＋
（１／２）×Ｄ２４＋（１／４）×Ｄ２５，
・・・
ＧＰ２１＝１×Ｄ２１＋（１／２）×Ｄ２２＋
（１／２）×Ｄ３１＋（１／４）×Ｄ３２，
ＧＰ２３＝１×Ｄ２３＋（１／２）×Ｄ２４＋
（１／２）×Ｄ３３＋（１／４）×Ｄ３４，
・・・                                      （４）
【００３７】
このように、奇数フレームと偶数フレームで加算する画素の組み合わせを変更し、画素値の重畳シフト加算を行う。この重畳シフト加算について、画素Ｐ２２を例により詳細に説明する。
【００３８】
図２に示すように、奇数フレームにおいてＧＰ１１の４画素を加算する場合、画素Ｐ１１を基準画素とし、画素Ｐ２２に対してウエイト１／４を付与して加算を行う。ＧＰ２２の４画素を加算する場合、画素Ｐ２２を基準画素とし、画素Ｐ２２に対してウエイト１を付与して加算を行う。
【００３９】
また図３に示すように、偶数フレームにおいてＧＰ１２の４画素を加算する場合、画素Ｐ１２を基準画素とし、画素Ｐ２２に対してウエイト１／２を付与して加算を行う。ＧＰ２１の４画素を加算する場合、画素Ｐ２１を基準画素とし、画素Ｐ２２に対してウエイト１／２を付与して加算を行う。
【００４０】
このように、重畳シフト加算では、２つの加算単位に共通する特定の画素に対して、１フレーム内で組み合わせの異なる加算演算を２回実施する。また、その２回実施する加算演算では、その特定の画素に対するウエイト値を変更する。また、奇数フレームと偶数フレームでは、加算する画素の組み合わせを変更し、特定の画素に対するウエイト値を変更する。
【００４１】
ここで、奇数フレームとは、連続する動画フレームにおいて交互に現れるフレームの一方であり、偶数フレームとはその他方である。また、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００４２】
３．固体撮像装置
図４に、上記の重畳シフト加算を行う本実施形態の固体撮像装置の構成例を示す。固体撮像装置は、画素アレイ部１００、行走査部１１０（行走査回路）、Ａ／Ｄ変換部１２０（Ａ／Ｄ変換器）、制御部１４０、書き込み制御部１４１（メモリー記録制御部）、読み出し制御部１４２（メモリー読み出し制御部）、メモリー１５０（記憶部）、ウエイト処理部１６０（ウエイト処理回路）、加算部１７０（加算回路）、データ出力制御部１８０を含む。
【００４３】
この構成例は、列並列ＡＤ変換器搭載型のＣＭＯＳ型イメージセンサーとして構成した場合の例である。
【００４４】
具体的には、画素アレイ部１００には、光電変換素子を含む単位画素Ｐ１１〜Ｐ８８が行列状に２次元配列される。単位画素Ｐ１１〜Ｐ８８は、例えばフォトダイオードやフォトトランジスターなどで構成される。画素アレイ部１００には、単位画素の各行に対応する行選択線１０１、単位画素の各列に対応する列信号線１０２が設けられる。
【００４５】
行走査部１１０は垂直走査を行う。具体的には、行走査部１１０は、水平方向に沿って並ぶ単位画素を行選択線１０１により選択し、行選択線１０１を垂直方向に沿って順次選択していくことにより走査を行う。
【００４６】
選択された行の各単位画素からの信号は、列信号線１０２によりＡ／Ｄ変換部１２０に入力される。Ａ／Ｄ変換部１２０は、列並列Ａ／Ｄ変換を行う。即ち、Ａ／Ｄ変換部１２０は、各列に対応する複数のＡ／Ｄ変換部ＡＤ１〜ＡＤ８（Ａ／Ｄ変換器アレイ）を有し、１行分の単位画素からの信号を一斉にＡ／Ｄ変換処理する。
【００４７】
メモリー１５０（メモリー群）は、Ａ／Ｄ変換部１２０によりデジタルデータに変換された各画素データを格納するメモリーセルにより構成されたメモリー群である。具体的には、メモリー１５０は、複数のメモリー領域ＭＲ１〜ＭＲｎ（ｎは自然数）に分割された構造を有する。
【００４８】
書き込み制御部１４１は、画素データをメモリー１５０に書き込む制御を行う。具体的には、書き込み制御部１４１は、上述した加算単位の各画素データを、それぞれ異なるメモリー領域に格納する制御を行う。書き込み制御部１４１は、メモリー１５０に対する書き込み制御として、例えばアドレス制御、データバス制御、ライト制御を行う。
【００４９】
読み出し制御部１４２は、メモリー１５０から画素データを読み出す制御を行う。具体的には、読み出し制御部１４２は、各メモリー領域に対して並列的に読み出しを行う構成であり、異なるメモリー領域に格納されている加算単位の画素データを並列に読み出す。読み出し制御部１４２は、メモリー１５０からの読み出し制御として、例えばアドレス制御、データバス制御、リード制御を行う。
【００５０】
制御部１４０は、行走査部１１０と書き込み制御部１４１と読み出し制御部１４２の統括制御を行う。
【００５１】
ウエイト処理部１６０は、メモリー１５０から読み出された画素データに対してウエイト処理を行う。加算部１７０は、ウエイト処理された画素データを加算する処理を行い、加算した画素データを加算画素値として出力する。データ出力制御部１８０は、加算画素値を後段に対して出力する制御を行う。又は、データ出力制御部１８０は、画素加算を行わない場合には読み出し制御部１４２からの画素データを出力する制御を行う。
【００５２】
４．固体撮像装置の詳細な構成例
図５に、本実施形態の固体撮像装置の詳細な構成例を示す。以下では、画素アレイが８×８画素であり、図１〜図３で上述した４画素の重畳シフト加算を行う場合を例に説明する。
【００５３】
固体撮像装置は、画素アレイ部１００、行走査部１１０、Ａ／Ｄ変換部１２０、制御部１４０、ウエイト処理部１６０、加算部１７０、データ出力制御部１８０、ラインバッファーセレクター２４１、データセレクター２４２、第１〜第３のラインバッファーＬＢ１〜ＬＢ３を含む。なお以下では、図４で上述した構成要素と同様の構成要素には同一の符号を付し、適宜説明を省略する。
【００５４】
ラインバッファーＬＢ１〜ＬＢ３は、図４のメモリー１５０を構成する。各ラインバッファーは、２つのバンク（Bank）により構成される。バンクは図４のメモリー領域に対応し、各バンクは４つのメモリーセルにより構成される。具体的には、ラインバッファーＬＢ１はメモリーセルｍ１１〜ｍ１８により構成される。メモリーセルｍ１１〜ｍ１８のうち奇数列のメモリーセルにより第１のバンクＢＫ１が構成され、偶数列のメモリーセルにより第２のバンクＢＫ２が構成される。同様に、ラインバッファーＬＢ２、ＬＢ３は、それぞれメモリーセルｍ２１〜ｍ２８、ｍ３１〜ｍ３８により構成される。第３〜第６のバンクＢＫ３〜ＢＫ６は、それぞれメモリーセルｍ２１〜ｍ２８の奇数列、偶数列、メモリーセルｍ３１〜ｍ３８の奇数列、偶数列により構成される。
【００５５】
ラインバッファーセレクター２４１は、画素アレイ部１００の各行の画素データを順次ラインバッファーＬＢ１〜ＬＢ３に格納する。具体的には、ラインバッファーセレクター２４１は、第１行、第４行、第７行の画素データをラインバッファーＬＢ１に格納し、第２行、第５行、第８行の画素データをラインバッファーＬＢ２に格納し、第３行、第６行の画素データをラインバッファーＬＢ３に格納する。
【００５６】
データセレクター２４２は、ラインバッファーＬＢ１〜ＬＢ３のうち２つのラインバッファーへ同時にアクセスする。即ち、データセレクター２４２は、４つのバンクに対して並列にアクセス可能であり、各バンクそれぞれ１つずつのメモリーセルから同時に４つの画素データを読み出す。例えば、バンクＢＫ１〜ＢＫ６はそれぞれ独立したアドレス空間を有するメモリー領域であり、各バンクのアドレスを指定することにより複数のバンクに並列にアクセスを行う。
【００５７】
ウエイト処理部１６０は、第１〜第４の乗算部ＭＰ１〜ＭＰ４を有する。乗算部ＭＰ１〜ＭＰ４は、並列に読み出された４つの画素データに対してそれぞれウエイト１、１／２、１／２、１／４を乗算する。
【００５８】
データ出力制御部１８０は、例えばＬＶＤＳ（Low Voltage Differential Signaling）により後段との通信を行い、加算画素値のデータを後段に伝送する。
【００５９】
５．動作
次に図６〜図９を用いて、上記の固体撮像装置の重畳シフト加算動作について説明する。なお以下では、画素Ｐｉｊの画素データ（画素値）をＤｉｊとする。
【００６０】
まず書き込み動作について説明する。図６に示すように、第１行の画素Ｐ１１〜Ｐ１８の画素データＤ１１〜Ｄ１８は、ラインバッファーＬＢ１に格納される。このとき、画素配列において隣り合う位置に配置されている画素のデータは１つのラインバッファー内にて異なるバンクに格納される。以降、第２行の画素Ｐ２１〜Ｐ２８の画素データＤ２１〜Ｄ２８がラインバッファーＬＢ２に格納され、第３行の画素Ｐ３１〜Ｐ３８の画素データＤ３１〜Ｄ３８がラインバッファーＬＢ３に格納される動作が順次行われる。
【００６１】
例えば第１行の画素データの書き込み動作について、図７を用いて説明する。図７に示すように、例えば画素Ｐ１１、Ｐ１２のデータは、バンクＢＫ１、ＢＫ２の同一アドレス“０”に格納される。即ち、バンクＢＫ１、ＢＫ２のメモリーセルｍ１１、ｍ１２は、同一のアドレスによりアクセスされるメモリーセルである。同様に、画素Ｐ１３、Ｐ１４のデータはアドレス“１”、画素Ｐ１５、Ｐ１６のデータはアドレス“２”、画素Ｐ１７、Ｐ１８のデータはアドレス“３”に格納される。
【００６２】
次に読み出し動作と重み付け加算処理について説明する。本実施形態では、図２等で説明した２×２画素の加算単位に対応して、並列読み出しの対象となるラインバッファーの組み合わせは３通りとなる。具体的には、第１行と第２行、第４行と第５行、第７行と第８行で構成される加算単位の画素データはラインバッファーＬＢ１、ＬＢ２から読み出される。第２行と第３行、第５行と第６行で構成される加算単位の画素データはラインバッファーＬＢ２、ＬＢ３から読み出される。第３行と第４行、第６行と第７行で構成される加算単位の画素データはラインバッファーＬＢ３、ＬＢ１から読み出される。
【００６３】
このラインバッファーの組み合わせにおける各バンクへの画素データの記録／読み出し（Ｗｒｉｔｅ／Ｒｅａｄ）について、図８を用いて説明する。図８では、“Ｗ”は、各バンクへの画素データ記録状態を表し、“Ｒ”は、各バンクからの画素データ読み出し状態を表す。図８に示すように、２つのラインバッファーからの読み出しを行っているとき、残りのラインバッファーに対して画素データの記録を行う。例えば、ラインバッファーＬＢ１、ＬＢ２のバンクＢＫ１〜ＢＫ４から画素データを読み出しているとき、ラインバッファーＬＢ３のバンクＢＫ５、ＢＫ６に対して画素データの書き込みを行う。
【００６４】
図６には、第１行と第２行の画素データがラインバッファーから読み出される場合の動作状態を模式的に表している。以下では、この場合を例に重み付け加算処理について説明する。
【００６５】
図６に示すように、行走査部１１０により第３行の画素Ｐ３１〜Ｐ３８が選択され、Ａ／Ｄ変換部１２０により画素データＤ３１〜Ｄ３８が出力される。ラインバッファーセレクター２４１は、ラインバッファーＬＢ３のバンクＢＫ５、ＢＫ６を占有している状態であり、画素データＤ３１〜Ｄ３８をバンクＢＫ５、ＢＫ６へ書き込む動作を行う。
【００６６】
ラインバッファーＬＢ１のバンクＢＫ１、ＢＫ２には、第１行の画素データＤ１１〜Ｄ１８が格納されており、ラインバッファーＬＢ２のバンクＢＫ３、ＢＫ４には、第２行の画素データＤ２１〜Ｄ２８が格納されている状態である。データセレクター２４２は、バンクＢＫ１〜ＢＫ４からグループＧＰ１１、ＧＰ１３、ＧＰ１５、ＧＰ１７の画素データを順次読み出す。データセレクター２４２は、読み出した４つの画素データを、ウエイト演算の組み合わせに応じてウエイト処理部１６０の乗算部ＭＰ１〜ＭＰ４に出力する。
【００６７】
例えば、グループＧＰ１１を例にとると、データセレクター２４２は、バンクＢＫ１〜ＢＫ４のアドレス“０”番地に格納されている画素データを同時に読み出す。データセレクター２４２は、画素データＤ１１、Ｄ１２、Ｄ２１、Ｄ２２を、対応するウエイトの乗算部ＭＰ１、ＭＰ２、ＭＰ３、ＭＰ４へそれぞれ出力する。
【００６８】
ウエイト処理部１６０は、入力された各画素データに対して所定のウエイト演算処理を実施する。具体的には、ウエイト“１”の乗算部ＭＰ１は、入力画素データＤ１１をそのまま出力値とする。ウエイト“１／２”の乗算部ＭＰ２、ＭＰ３は、入力画素データ値Ｄ１２、Ｄ２１を１ビット右シフトして出力値とする。ウエイト“１／４”の乗算部ＭＰ４は、入力画素データ値Ｄ２２を２ビット右シフトして出力値とする。ウエイト処理部１６０は、ウエイト演算した各画素データ値を後段の加算部１７０へ出力する。
【００６９】
加算部１７０は、ウエイト演算された４つの画素データの加算演算を行う。加算演算によって得られた結果が、単位画素Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２に対するウエイト演算４画素加算を実施した演算値となり、その演算値は後段のデータ出力制御部１８０へ出力される。上記のウエイト演算及び加算演算処理を順次実施し、グループＧＰ１１、ＧＰ１３、ＧＰ１５、ＧＰ１７の演算を実施する。
【００７０】
データ出力制御部１８０は、図示しない後段処理のインターフェースに応じたインターフェースにより、加算部１７０から順次入力される加算画素データを後段へ出力する。例えば、データ出力制御部１８０は、順次入力される加算画素データを、８画素データで１セットとし、そのデータをＬＶＤＳデータ構造に信号変換して出力する。
【００７１】
次に図９を用いて、上記動作の動作タイミングについて説明する。図９には、画素アレイ部１００の第１行から第４行までの画素データ読み出し期間におけるタイミングチャートを示す。
【００７２】
図９のＡ１に示すように、第１行の走査期間において第１行の画素データがＡ／Ｄ変換部１２０から出力される。Ａ２に示すように、ラインバッファーＬＢ１のアクセス状態が書き込み状態に設定され、ラインバッファーセレクター２４１からの制御により第１行の画素データがバンクＢＫ１、ＢＫ２のアドレス“００”〜“０３”に順次格納される。このとき、１つのアドレスにつき２列書き込むため、２列に１回書き込み動作を行えばよく、全画素読み出しの場合に比べて書き込み動作回数は１／２でよい。
【００７３】
次にＡ３に示すように、第２行の走査期間において第２行の画素データが出力され、Ａ４に示すように、ラインバッファーＬＢ２のアクセス状態が書き込み状態に設定され、第２行の画素データがバンクＢＫ３、ＢＫ４に格納される。
【００７４】
次にＡ５に示すように、第３行の走査期間においてラインバッファーＬＢ１、ＬＢ２が読み出し状態に設定され、データセレクター２４２からの制御により第１行と第２行の画素データがバンクＢＫ１〜ＢＫ４から読み出される。このとき、１つのアドレスにつき、加算単位の４画素データが同時に読み出され、アドレス“００”〜“０３”が指定されることで４つの加算単位が順次読み出される。書き込み動作と同様に、全画素読み出しの場合に比べて読み出し動作回数は１／２でよい。またＡ６に示すように、第３行の走査期間において第３行の画素データが出力され、Ａ７に示すように、ラインバッファーＬＢ３のアクセス状態が書き込み状態に設定され、第３行の画素データがバンクＢＫ５、ＢＫ６に格納される。
【００７５】
次にＡ８に示すように、バンクＢＫ１〜ＢＫ４から読み出された４画素のデータは、データセレクター２４２からウエイト処理部１６０へ入力される。その４画素のデータに対して、ウエイト処理部１６０により×１、×１／２、×１／２、×１／４のウエイト演算が実施される。Ａ９に示すように、ウエイト演算の結果が加算部１７０に入力され、加算演算が行われ、その結果が加算画素値として出力される。これらの処理は、第３行の走査期間内において、１行分の加算単位の数である４回実施される。
【００７６】
なお本実施形態では、上記の重畳シフト加算ではなく従来のような全画素読み出しを行うことも可能である。本実施形態の固体撮像装置が画素読み出しを行う場合、データセレクター２４２は、従来の列走査回路に相当する動作を行う。即ち、データセレクター２４２は、ラインバッファーの２つのバンクから１行分の画素データを１画素ずつ順次読み出し、その画素データをデータ出力制御部１８０に対して出力する。
【００７７】
ここで、上記の実施形態では図１〜図３に示す加算単位とウエイトによる加算処理の場合を例に説明したが、本実施形態はこれに限定されない。例えば、ラインバッファー及びその内部のバンクの構造を変更し、書き込み制御部や読み出し制御部の制御方法を変更することで、その他の加算組み合わせに対しても対応可能である。
【００７８】
また、上記の実施形態では、図１に示すウエイトを、単純なデジタルデータのビットシフト演算で実現する場合を例に説明したが、本実施形態はこれに限定されない。例えば、ウエイト処理部を乗算器／除算器構成としたり、ルックアップテーブル構成としたりすることで、その他のウエイトを付与するウエイト演算を行ってもよい。
【００７９】
以上の実施形態によれば、図５に示すように、固体撮像装置は画素アレイ部１００と行走査部１１０とＡ／Ｄ変換部１２０と第１〜第ｎのメモリー領域ＭＲ１〜ＭＲｎと書き込み制御部１４１と読み出し制御部１４２と重み付け加算部（ウエイト処理部１６０、加算部１７０）を含む。
【００８０】
画素アレイ部１００は、入射光を光電変換する複数の画素Ｐ１１〜Ｐ８８が配列される。行走査部１１０は、画素アレイ部１００の行を選択し、垂直走査を行う。Ａ／Ｄ変換部１２０は、その選択された行の画素からのアナログ信号をデジタル信号の画素値（画素データ）に変換する。第１〜第ｎのメモリー領域ＭＲ１〜ＭＲｎは、その画素値を記憶する。書き込み制御部１４１は、その第１〜第ｎのメモリー領域ＭＲ１〜ＭＲｎに対して、画素値を書き込む制御を行う。読み出し制御部１４２は、加算対象となる画素の範囲である加算単位（画素のグループ）に含まれる画素値を、第１〜第ｎのメモリー領域ＭＲ１〜ＭＲｎから読み出す制御を行う。重み付け加算部は、その読み出された加算単位に含まれる画素値の重み付け加算を行い、加算後の画素値を加算画素値として出力する。
【００８１】
この場合に、書き込み制御部１４１は、加算単位に含まれる各画素値を、それぞれ第１〜第ｎのメモリー領域ＭＲ１〜ＭＲｎのうちの異なるメモリー領域に記憶させる。読み出し制御部１４２は、第１の加算単位（例えば図２のＧＰ１１）に含まれる画素値を読み出す制御と、第１の加算単位と共通の画素（Ｐ２２）を含む第２の加算単位（ＧＰ２２）に含まれる画素値を読み出す制御を行う。
【００８２】
このようにすれば、加算単位を重畳させて画素加算を行うことが可能になる。即ち、共通の画素を有する第１、第２の加算単位の画素値をメモリー領域ＭＲ１〜ＭＲｎから読み出し、その画素値を加算できる。また、重み付け加算部が読み出された画素値に重み付けすることにより、重み付け加算できる。
【００８３】
また本実施形態では、図７等で説明したように、第１〜第ｎのメモリー領域ＭＲ１〜ＭＲｎ（バンクＢＫ１〜ＢＫ６）は、それぞれ独立したアドレス空間を有するメモリー領域である。読み出し制御部１４２は、加算単位に含まれる画素値を、第１〜第ｎのメモリー領域ＭＲ１〜ＭＲｎから並列に読み出す。
【００８４】
このようにすれば、重畳シフト加算を行わない従来の固体撮像装置に比べて、各構成部位（例えばＡ／Ｄ変換部、メモリー等）の処理速度（例えばクロック周波数）を上げることなく、重畳読み出しや、ウエイト演算、加算演算を行うことが可能になる。例えば、図２に示す加算単位ＧＰ１１、ＧＰ２２の画素値を１画素ずつ読み出すとする。この場合、重畳画素Ｐ２２を２回読み出す必要があるため、重畳させない場合に比べて読み出し処理速度を速くする必要がある。この点、本実施形態によれば、加算単位の画素値をメモリー領域ＭＲ１〜ＭＲｎから並列に読み出すため、読み出し回数を減らすことができ、処理速度を上げることなく重畳シフト加算を行うことができる。
【００８５】
また、並列読み出しにより、全画素読み出しの場合よりも各行における処理時間を短縮できるため、高フレームレート化を図ることが可能になる。例えば加算単位が２×２画素の場合、各行において２列に１回読み出し動作を行えばよいため、全画素読み出しに比べて読み出し処理時間を１／２にできる。なお、重み付け加算部（ウエイト処理部１６０や加算部１７０）を並列処理化すれば、更に処理速度を短縮することが可能である。
【００８６】
また、処理速度を上げる必要がないため、図９等で説明したように水平同期信号（ＨＳ）、垂直同期信号（ＶＳ）に同期した制御系によりラインバッファーのアクセス制御を行うことができる。これにより、複雑な制御系を構築することなく、重畳シフト加算のような複雑な加算演算処理に対応できる。
【００８７】
また本実施形態では、上式（３）、（４）で説明したように、重み付け加算部は、第１の加算単位（ＧＰ１１）における共通の画素（Ｐ２２）と、第２の加算単位（ＧＰ２２）における共通の画素（Ｐ２２）に対して、異なる重み係数（１／４、１）による重み付けを行う。
【００８８】
このようにすれば、第１、第２の加算単位の加算演算において、重畳する画素にそれぞれ異なる重み付けを行うことができ、重畳シフト加算における重み付け加算を実現することができる。
【００８９】
また本実施形態では、第１の加算単位（ＧＰ１１）は２行２列の画素により構成される。この場合に、図６に示すように、第１、第２のメモリー領域（バンクＢＫ１、ＢＫ２）は、第１のラインバッファーＬＢ１を構成し、それぞれ画素アレイ部１００の第１行の奇数列、偶数列の画素値を記憶する。第３、第４のメモリー領域（バンクＢＫ３、ＢＫ４）は、第２のラインバッファーＬＢ２を構成し、それぞれ画素アレイ部１００の第２行の奇数列、偶数列の画素値を記憶する。読み出し制御部（データセレクター２４２）は、第１の加算単位（ＧＰ１１）を構成する２行２列の画素値を、第１、第２のラインバッファーＬＢ１、ＬＢ２から読み出す。
【００９０】
また本実施形態では、第２の加算単位（ＧＰ２２）は、第１の加算単位（ＧＰ１１）を１行１列シフトさせた２行２列の加算単位である。この場合に、第５、第６のメモリー領域（バンクＢＫ５、ＢＫ６）は、第３のラインバッファーＬＢ３を構成し、それぞれ画素アレイ部１００の第３行の奇数列、偶数列の画素値を記憶する。読み出し制御部（データセレクター２４２）は、第２の加算単位（ＧＰ２２）を構成する２行２列の画素値を、第２、第３のラインバッファー（ＬＢ２、ＬＢ３）から読み出す。
【００９１】
これらのようにすれば、それぞれ２つのバンクを有する３つのラインバッファーによりメモリーを構成し、その６つのバンクにより第１〜第６のメモリー領域ＭＲ１〜ＭＲ６（ｎ＝６）を構成できる。また、第１、第２の加算単位において、第２のラインバッファーＬＢ２から重複して画素値を読み出すことで、重畳シフト加算が可能になる。
【００９２】
また本実施形態では、第３の加算単位（例えば図３のＧＰ１２）を、第１の加算単位（ＧＰ１１）を１列シフトさせた２行２列の加算単位とし、第４の加算単位（ＧＰ２１）を、第１の加算単位（ＧＰ１１）を１行シフトさせた２行２列の加算単位とする。この場合に、読み出し制御部（データセレクター２４２）は、第１のフレーム（奇数フレーム）において、第１、第２の加算単位（ＧＰ１１、ＧＰ２２）の画素値を読み出し、第１のフレームの次の第２のフレーム（偶数フレーム）において、第３、第４の加算単位（ＧＰ１２、ＧＰ２１）の画素値を読み出す。
【００９３】
このようにすれば、重畳シフトされた４つの加算単位（ＧＰ１１、ＧＰ１２、ＧＰ２１、ＧＰ２２）の加算画素値を得ることができる。これにより、後述する復元推定処理を適用することが可能になり、簡素な復元推定処理により高解像画像を得ることが可能になる。
【００９４】
また本実施形態では、Ａ／Ｄ変換部１２０は、行走査部１１０により選択された行の各列のアナログ信号を、並列にデジタル信号に変換する列並列Ａ／Ｄ変換部である。
【００９５】
このようにすれば、１行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なＡ／Ｄ変換が不要になるため、固体撮像装置の動作速度の低速化を図ることができる。
【００９６】
６．復元推定処理
次に、重畳シフト加算により取得した加算画素値から高解像画像を推定により復元する処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。
【００９７】
図１０（Ａ）、図１０（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１０（Ａ）に示す加算画素値｛ａ００、ａ１１｝は、図２で説明したグループＧＰ１１、ＧＰ２２の加算画素値に対応する。加算画素値｛ａ１０、ａ０１｝は、図３で説明したグループＧＰ１２、ＧＰ２１の加算画素値に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００〜ｖ２２を推定する。推定画素値ｖｉｊは、図２で説明した画素Ｐｉｊの画素値Ｄｉｊに対応する。
【００９８】
図１０（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【００９９】
まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ００〜ｂ２０を推定する場合を例に説明する。次の行の中間画素値ｂ０１〜ｂ２１についても同様の手法により推定される。
【０１００】
図１１に示すように、中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ００、ａ１０は下式（５）で表される。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１  （５）
【０１０１】
下式（６）に示すようにｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋（１／ｒ）ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ１０＝ｖ１０＋（１／ｒ）ｖ１１＝ｖ１０＋（１／２）ｖ１１，
ｂ２０＝ｖ２０＋（１／ｒ）ｖ２１＝ｖ２０＋（１／２）ｖ２１    （６）
【０１０２】
次に、上式（６）を用いて上式（５）を変形すると、下式（７）が成り立つ。
ａ００＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｂ１０＋（１／２）ｂ２０    （７）
【０１０３】
上式（７）において、ａ００、ａ１０に所定の重み係数を掛けて差分δｉ０を取り、整理すると、下式（８）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｂ２０−２ｂ００    （８）
【０１０４】
ｂ００を未知数（初期変数）とすると、下式（９）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。このようにして、ｂ００を未知数として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００）    （９）
【０１０５】
次に、未知数ｂ００を求める手法について説明する。図１２に示すように、加算画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１０６】
具体的には、加算画素値｛ａｉｊ｝と中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝には、下式（１０）の関係が成り立つ。この下式（１０）による重み付けを考慮すると、下式（１１）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝とパターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ    （１０）
【数１】
0005791975.tif 000002
【０１０７】
図１３に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（９）に代入し、ｂ１０，ｂ２０が求められる。
【０１０８】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（７）を下式（１２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｖ０１＋（１／２）ｖ０２    （１２）
【０１０９】
７．撮像装置
図１４に、上述の重畳シフトサンプリングと復元処理を行う撮像装置の構成例を示す。撮像装置は、撮像光学系３００（レンズ）、光学ローパスフィルター３１０、固体撮像装置３２０、表示処理部３３０、モニター表示部３４０、データ記録部３５０（記憶部）、画素値推定演算部３６０（推定演算部）、画像出力部３７０を含む。
【０１１０】
なお、本実施形態の撮像装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、画素値推定演算部３６０と画像出力部３７０を、撮像装置の外部の画像処理装置（例えばＰＣ）により構成してもよい。
【０１１１】
撮像光学系３００は、被写体を結像する。光学ローパスフィルター３１０は、例えば固体撮像装置３２０の解像度に対応する帯域を通過させる。固体撮像装置３２０（例えば１２メガピクセル）は、例えばＣＣＤやＣＭＯＳセンサーにより構成される。固体撮像装置３２０は、加算単位の設定や加算読み出しを制御し、フュージョンフレーム（fusion-frame）を取得する。フュージョンフレームとは、重畳シフトサンプリングにより得られた画像である。データ記録部３５０は、例えばメモリーカード等で実現され、フュージョンフレームによる動画を記録する。モニター表示部３４０は、動画のライブビュー表示や、再生された動画の表示を行う。
【０１１２】
画素値推定演算部３６０は、最終推定画素値の推定を行う。画像出力部３７０は、最終推定画素値に基づいて静止画や動画を出力する。画像出力部３７０は、アンチエリアシングフィルター３７１、３７４、ローパスフィルター３７２、アンダーサンプリング部３７３を含む。
【０１１３】
アンチエリアシングフィルター３７１は、最終推定画素値をアンチエリアシング処理し、高解像静止画（例えば１２メガピクセル）を出力する。ローパスフィルター３７２は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部３７３は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルター３７４は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画（例えば２メガピクセル）を出力する。なお、アンダーサンプリングせずに、高解像動画（例えば１２メガピクセル）を出力してもよい。
【０１１４】
以上の実施形態によれば、図１４に示すように、撮像装置（撮像システム。例えばデジタルカメラ）は、固体撮像装置３２０と推定演算部（画素値推定演算部３６０）を含む。図１０（Ａ）で説明したように、推定演算部は、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝に基づいて、加算単位に含まれる画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を推定する。
【０１１５】
図１０（Ａ）に示すように、第１のポジションに設定された第１ポジション加算単位（例えばａ００）と、第１のポジションがシフトされた第２のポジションに設定された第２ポジション加算単位（例えばａ１０）は重畳する。
【０１１６】
この場合に、重み付け加算部（図４のウエイト処理部１６０、加算部１７０）は、第１、第２ポジション加算単位の加算画素値である第１、第２の加算画素値（ａ００、ａ１０）を出力する。上式（８）に示すように、推定演算部は、第１、第２の加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１０（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（９）に示すように、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。図１２等に示すように、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値｛ｖ００、ｖ１０、ｖ１１、ｖ０１｝を求める。
【０１１７】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１１８】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１０（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１１９】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
【０１２０】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝とする。上式（９）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１２に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１２１】
このようにすれば、重畳されながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１２２】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１２３】
また本実施形態では、上式（１１）に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と加算画素値｛ａ００、ａ１０｝との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１２４】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特開２００８−２４３０３７号公報）が不要である。
【０１２５】
また本実施形態では、上式（５）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
【０１２６】
このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１２７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また固体撮像装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１２８】
１００  画素アレイ部、１０１  行選択線、１０２  列信号線、
１１０  行走査部、１２０  Ａ／Ｄ変換部、１４０  制御部、
１４１  書き込み制御部、１４２  読み出し制御部、１５０  メモリー、
１６０  ウエイト処理部、１７０  加算部、１８０  データ出力制御部、
２４１  ラインバッファーセレクター、２４２  データセレクター、
３００  撮像光学系、３１０  光学ローパスフィルター、
３２０  固体撮像装置、３３０  表示処理部、３４０  モニター表示部、
３５０  データ記録部、３６０  画素値推定演算部、３７０  画像出力部、
３７１  アンチエリアシングフィルター、３７２  ローパスフィルター、
３７３  アンダーサンプリング部、３７４  アンチエリアシングフィルター、
ＡＤ１〜ＡＤ８  複数のＡ／Ｄ変換部、ＢＫ１〜ＢＫ６  第１〜第６のバンク、
Ｄ１１〜Ｄ３８  画素データ、Ｅｊ  評価関数、ＧＰ１１  加算単位、
ＬＢ１〜ＬＢ３  第１〜第３のラインバッファー、
ＭＰ１〜ＭＰ４  第１〜第４の乗算部、
ＭＲ１〜ＭＲｎ  第１〜第ｎのメモリー領域、Ｐ１１〜Ｐ８８  画素、
Ｐ２２  共通の画素、ａｉｊ  加算画素値、ｂｉｊ  中間画素値、
ｍ１１〜ｍ３８  メモリーセル、ｖｉｊ  推定画素値、δｉ０  差分値
【図１】
0005791975.tif 000003
【図２】
0005791975.tif 000004
【図３】
0005791975.tif 000005
【図４】
0005791975.tif 000006
【図５】
0005791975.tif 000007
【図６】
0005791975.tif 000008
【図７】
0005791975.tif 000009
【図８】
0005791975.tif 000010
【図９】
0005791975.tif 000011
【図１０】
0005791975.tif 000012
【図１１】
0005791975.tif 000013
【図１２】
0005791975.tif 000014
【図１３】
0005791975.tif 000015
【図１４】
0005791975.tif 000016