"入射光を光電変換する複数の画素が配列された画素アレイ部と、前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するA/D変換部と、加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力する水平演算部と、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する垂直演算部と、を含み、前記水平演算部は、第1の水平加算範囲と、前記第1の水平加算範囲と共通の画素を含む第2の水平加算範囲とを、前記水平加算範囲として前記水平加算画素値を出力することを特徴とする固体撮像装置。請求項1において、前記水平演算部は、前記第1の水平加算範囲における前記共通の画素と、前記第2の水平加算範囲における前記共通の画素に対して、異なる重み係数による前記重み付けを行うことを特徴とする固体撮像装置。請求項2において、前記第1の水平加算範囲が第1の画素と第2の画素を含み、前記第2の水平加算範囲が前記第2の画素と第3の画素を含む場合に、前記水平演算部は、前記第1~第3の画素の画素値である第1~第3の画素値を記憶するラインメモリーと、前記第1の画素値に対する第1の重み係数による重み付けと、前記第2の画素値に対する第2、第3の重み係数による重み付けと、前記第3の画素値に対する第4の重み係数による重み付けとを、行うウエイト演算部と、前記第1、第2の重み係数により重み付けされた前記第1、第2の画素値の加算と、前記第3、第4の重み係数により重み付けされた前記第2、第3の画素値の加算とを、行う水平加算部と、を有することを特徴とする固体撮像装置。請求項3において、前記ウエイト演算部は、前記第1~第4の重み係数の乗算を行う第1~第4の乗算器を有し、前記第1~第4の乗算器は、前記ラインメモリーに記憶された前記画素値に対して、同一タイミングにおいて前記第1~第4の重み係数を乗算することを特徴とする固体撮像装置。請求項1乃至4のいずれかにおいて、前記垂直演算部は、第1の垂直加算範囲と、前記第1の垂直加算範囲と共通の行を含む第2の垂直加算範囲とを、前記垂直加算範囲として前記加算画素値を出力することを特徴とする固体撮像装置。請求項5において、前記垂直演算部は、第1~第3の行の前記水平加算画素値を記憶する第1~第3のラインメモリーと、前記第1、第2の行の前記水平加算画素値の加算と、前記第2、第3の前記水平加算画素値の加算とを、行う垂直加算部と、を有することを特徴とする固体撮像装置。請求項1乃至6のいずれかにおいて、前記加算単位を設定する制御部と、設定された前記加算単位に基づいて列と行を選択する選択部と、を含み、前記水平演算部は、選択された前記列の前記画素値を重み付けして加算し、前記垂直演算部は、選択された前記行の前記水平加算画素値を加算することを特徴とする固体撮像装置。請求項1乃至7のいずれかにおいて、前記A/D変換部は、前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列A/D変換部であることを特徴とする固体撮像装置。請求項1乃至8のいずれかに記載の固体撮像装置と、前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定演算部と、を含み、第1のポジションに設定された第1の加算単位と、前記第1のポジションがシフトされた第2のポジションに設定された第2の加算単位とが、重畳する場合に、前記垂直演算部は、前記第1、第2の加算単位の前記加算画素値である第1、第2の加算画素値を出力し、前記推定演算部は、前記第1の加算画素値と、前記第2の加算画素値の差分値を求め、前記第1の加算単位から重畳領域を除いた第1の領域の加算画素値である第1の中間画素値と、前記第2の加算単位から前記重畳領域を除いた第2の領域の加算画素値である第2の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第1、第2の中間画素値を推定し、推定した前記第1の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。請求項9において、前記推定演算部は、前記第1、第2の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、入射光を光電変換する複数の画素が配列された画素アレイ部が用意され、前記画素アレイ部の行を選択し、垂直走査を行い、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換し、第1の水平加算範囲と、前記第1の水平加算範囲と共通の画素を含む第2の水平加算範囲とを、前記水平加算範囲とし、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力し、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力することを特徴とする画像生成方法。さて、画素加算により得られる画像は画素加算しない場合よりも低解像である。そのため、動画撮影中に高精細静止画を得たい場合には、例えば動画撮影中にシャッターが押された場合だけ静止画撮影を行う手法が考えられる。しかしながら、この手法では、決定的瞬間にタイミングよくシャッターを押して静止画を取得することは難しい。そのため、画素加算による動画を撮影しておき、その動画から事後的に任意タイミングの高精細静止画を生成する手法が考えられる。このような手法として、加算対象の画素の範囲である加算単位を重畳させて設定し、その加算単位に含まれる画素値を加算して低解像画像を取得し、その低解像動画から高精細静止画を復元する手法が考えられる。しかしながら、従来の固体撮像装置では、加算対象の画素の範囲を重畳させずに画素加算を行うため例えば上記特許文献1、加算単位を重畳させて画素加算を行う手法を実現できないという課題がある。また、上記特許文献2の手法では、画素加算における重み付け演算を、A/D変換のクロック信号を変調することにより行う。そのため、行単位では比較的低速な動作で制御可能であるが、列単位の画素加算において、重畳された加算単位の画素加算を高速な動作で制御するには不適である。本発明の幾つかの態様によれば、加算単位を重畳させて画素加算を行うことが可能な固体撮像装置、撮像装置及び画像生成方法等を提供できる。本発明の一態様は、入射光を光電変換する複数の画素が配列された画素アレイ部と、前記画素アレイ部の行を選択し、垂直走査を行う行走査部と、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換するA/D変換部と、加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力する水平演算部と、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する垂直演算部と、を含み、前記水平演算部は、第1の水平加算範囲と、前記第1の水平加算範囲と共通の画素を含む第2の水平加算範囲とを、前記水平加算範囲として前記水平加算画素値を出力する固体撮像装置に関係する。本発明の一態様によれば、画素アレイ部の行が選択され、選択された行の画素からのアナログ信号がデジタル信号の画素値に変換される。その行の画素値のうち水平加算範囲に含まれる画素値が、各列に重み付けされて加算され、その加算値が水平加算画素値として出力される。このとき、第1の水平加算範囲と第2の水平加算範囲は共通の画素を含む。そして、その水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値が加算され、その加算値が加算画素値として出力される。これにより、加算単位を重畳させて画素加算を行うことが可能になる。また本発明の一態様では、前記水平演算部は、前記第1の水平加算範囲における前記共通の画素と、前記第2の水平加算範囲における前記共通の画素に対して、異なる重み係数による前記重み付けを行ってもよい。このようにすれば、共通の画素に対して各加算範囲において独立した重み付けを行うことができる。これにより、加算単位が重畳する場合であっても、各加算単位においてそれぞれ重み付け加算を行うことができる。また本発明の一態様では、前記第1の水平加算範囲が第1の画素と第2の画素を含み、前記第2の水平加算範囲が前記第2の画素と第3の画素を含む場合に、前記水平演算部は、前記第1~第3の画素の画素値である第1~第3の画素値を記憶するラインメモリーと、前記第1の画素値に対する第1の重み係数による重み付けと、前記第2の画素値に対する第2、第3の重み係数による重み付けと、前記第3の画素値に対する第4の重み係数による重み付けとを、行うウエイト演算部と、前記第1、第2の重み係数により重み付けされた前記第1、第2の画素値の加算と、前記第3、第4の重み係数により重み付けされた前記第2、第3の画素値の加算とを、行う水平加算部と、を有してもよい。このようにすれば、第1の水平加算範囲と第2の水平加算範囲の共通の画素に対して、各水平加算範囲において異なる重み係数による重み付けを行う水平演算部を構成できる。また本発明の一態様では、前記ウエイト演算部は、前記第1~第4の重み係数の乗算を行う第1~第4の乗算器を有し、前記第1~第4の乗算器は、前記ラインメモリーに記憶された前記画素値に対して、同一タイミングにおいて前記第1~第4の重み係数を乗算してもよい。このようにすれば、1行について1回のタイミングで、重畳する加算単位のウエイト演算を行うことができる。これにより、共通画素に対して2回のタイミングでウエイト演算を行う必要がないため、重畳しない画素加算に比べて動作速度を上げる必要がない。また本発明の一態様では、前記垂直演算部は、第1の垂直加算範囲と、前記第1の垂直加算範囲と共通の行を含む第2の垂直加算範囲とを、前記垂直加算範囲として前記加算画素値を出力してもよい。このようにすれば、第1、第2の垂直加算範囲の共通する行の水平加算画素値を各垂直加算範囲について加算できるため、重畳する垂直加算範囲の画素加算を実現できる。また本発明の一態様では、前記垂直演算部は、第1~第3の行の前記水平加算画素値を記憶する第1~第3のラインメモリーと、前記第1、第2の行の前記水平加算画素値の加算と、前記第2、第3の前記水平加算画素値の加算とを、行う垂直加算部と、を有してもよい。このようにすれば、第1、第2の垂直加算範囲の共通の行の水平加算画素値を、各垂直加算範囲において加算する垂直演算部を構成できる。また本発明の一態様では、前記加算単位を設定する制御部と、設定された前記加算単位に基づいて列と行を選択する選択部と、を含み、前記水平演算部は、選択された前記列の前記画素値を重み付けして加算し、前記垂直演算部は、選択された前記行の前記水平加算画素値を加算してもよい。このようにすれば、設定された加算単位に基づいて列と行を選択することで、加算単位に含まれる画素の画素値を加算し、加算画素値を求めることができる。また本発明の一態様では、前記A/D変換部は、前記行走査部により選択された行の各列の前記アナログ信号を、並列に前記デジタル信号に変換する列並列A/D変換部であってもよい。このようにすれば、1行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なA/D変換が不要になるため、固体撮像装置の動作速度の低速化を図ることができる。また本発明の他の態様は、上記のいずれかに記載の固体撮像装置と、前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定演算部と、を含み、第1のポジションに設定された第1の加算単位と、前記第1のポジションがシフトされた第2のポジションに設定された第2の加算単位とが、重畳する場合に、前記垂直演算部は、前記第1、第2の加算単位の前記加算画素値である第1、第2の加算画素値を出力し、前記推定演算部は、前記第1の加算画素値と、前記第2の加算画素値の差分値を求め、前記第1の加算単位から重畳領域を除いた第1の領域の加算画素値である第1の中間画素値と、前記第2の加算単位から前記重畳領域を除いた第2の領域の加算画素値である第2の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第1、第2の中間画素値を推定し、推定した前記第1の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求める撮像装置に関係する。本発明の他の態様によれば、重畳しながら画素シフトされた加算単位の加算画素値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。また本発明の他の態様では、前記推定演算部は、前記第1、第2の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。このようにすれば、重畳しながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。また本発明のさらに他の態様は、加算対象となる画素の範囲である加算単位の列範囲を水平加算範囲とし、行範囲を垂直加算範囲とする場合に、入射光を光電変換する複数の画素が配列された画素アレイ部が用意され、前記画素アレイ部の行を選択し、垂直走査を行い、選択された前記行の画素からのアナログ信号をデジタル信号の画素値に変換し、第1の水平加算範囲と、前記第1の水平加算範囲と共通の画素を含む第2の水平加算範囲とを、前記水平加算範囲とし、前記行の前記画素値のうち前記水平加算範囲に含まれる前記画素値を、各列に重み付けして加算し、加算された前記画素値を水平加算画素値として出力し、前記水平加算画素値のうち前記垂直加算範囲に含まれる前記水平加算画素値を加算し、加算された前記水平加算画素値を加算画素値として出力する画像生成方法に関係する。以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。1.本実施形態の概要本実施形態では、図2A等で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を加算することにより低解像動画を取得する。そして、図11A~図14で後述するように、その低解像動画から、撮像素子の解像度に相当する高解像静止画や高解像動画を復元する。事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能である。また、加算単位が重畳シフトされていることで、簡素な処理で復元を行うことが可能である。2.固体撮像装置図1に、重畳シフトサンプリングによる低解像動画を取得する本実施形態の固体撮像装置の構成例を示す。固体撮像装置1広義にはイメージセンサーは、画素回路アレイ2広義には画素アレイ部、行走査部4行走査回路、広義には行選択部、列並列A/D変換部7列並列A/D変換回路、広義にはA/D変換部、水平演算部8水平演算回路、垂直演算部9垂直演算回路、ラインメモリー10、列走査部11列走査回路、タイミング制御部12タイミング制御回路、広義には制御部、選択部13選択回路を含む。なお、本実施形態は図1の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、これらの構成要素の一部が固体撮像装置1の外部に設けられてもよい。画素回路アレイ2は、単位画素回路3、行選択線5、列信号線6を含む。単位画素回路3は、二次元状マトリックス状に配列される。単位画素回路3は光電変換素子を含む単位画素であり、光情報を電気情報に変換する光電変換を行う。画素は、例えばフォトダイオードやフォトトランジスターなどで構成される。行選択線5は、行走査部4により画素回路アレイ2を垂直方向に走査するための選択線である。列信号線6は、選択された行における各画素回路の出力信号を、列並列A/D変換部7に伝達するための信号線である。撮像動作が開始されると、所定の蓄積時間電荷蓄積時間を経た後、行走査部4が垂直走査を行う。具体的には、行走査部4は、水平方向に沿って並ぶ単位画素回路3を行選択線5により同時に選択し、行選択線5を垂直方向に沿って順次選択していくことにより走査を行う。選択された行の各単位画素回路3からの信号は、列信号線6により列並列A/D変換部7に入力される。列並列A/D変換部7は、列毎にA/D変換機能をもつように構成されている。即ち、列並列A/D変換部7は、各列信号線6に対応する複数のA/D変換部を有する。列並列A/D変換部7は、行単位画素1行の単位画素回路3からの信号を一斉にA/D変換処理する。列並列A/D変換部7によりデジタルデータに変換された各単位画素の信号各画素の画素値データは、水平演算部8に入力される。水平演算部8は、入力された1行分の画素信号の加算処理を行う。具体的には、水平演算部8は、ラインメモリー32と、ウエイト演算部33重み付け演算部と、水平加算部34を含む。ラインメモリー32は、行単位画素信号を一時的に記憶する。ラインメモリー32は、画素回路アレイ2の一行分の画素数に相当する容量のメモリーにより構成される。ウエイト演算部33は、各画素信号に対してウエイト重み付け係数を付与する処理を行う。この処理は、各画素信号の増幅率を決定する処理である。例えば、ウエイト演算部33は、加減乗除演算処理や、デジタル信号の階調方向シフト、いわゆるbitシフト処理などにより、ウエイト付与処理を行う。水平加算部34は、水平方向において画素信号を加算する処理を行う。具体的には、選択部13の列選択部15が加算対象の列を選択し、水平加算部34が、選択された列の画素信号を加算する。列選択部15は、タイミング制御部12からの指示に基づいて、加算対象となる列信号を選択する。水平演算部8により加算処理された行信号は、垂直演算部9に入力される。垂直演算部9は、水平方向に加算された複数行の画素信号を加算する処理を行う。具体的には、垂直演算部9は、ラインメモリー42と、垂直加算部43を含む。ラインメモリー42は、水平演算部8で演算処理された行単位画素信号を一時的に記憶する。ラインメモリー42が記憶する行数ラインメモリーの本数は、加算する行数により決定され、固体撮像装置1の設計時に決定される。例えば、画素回路アレイ2がベイヤーBayer配列であり、本実施形態の重畳シフトにより4画素加算を行う場合、3行分3本のラインメモリーが必要である。また、重畳させずに同色4画素加算を行う場合、2行分2本のラインメモリーが必要である。各行のラインメモリーの容量は、水平演算部8による水平方向の画素加算処理の内容に応じて決まる。垂直加算部43は、垂直方向において画素信号を加算する処理を行う。具体的には、選択部13の行選択部16が加算対象の行の画素信号が記憶されているラインメモリーを選択し、垂直加算部43が、選択されたラインメモリーから画素信号を読み出し、読み出した画素信号を加算する。行選択部16は、タイミング制御部12からの指示に基づいて、加算対象となる行信号を選択する。垂直演算部9で演算処理された信号は、ラインメモリー10に一時的に記憶される。列走査部11は、ラインメモリー10に記憶された加算画素信号を時系列で順次読み出し、出力線14に出力する。3.重畳シフト画素加算サンプリング処理次に、本実施形態が行う市松状の重畳シフト画素加算サンプリング処理について説明する。なお以下では、2行2列の画素値を加算する場合を例に説明する。また以下では、画素配列の一部である3行3列の画素を例に説明するが、図5A等で後述するように、画素配列全体で同様の画素加算が行われる。図2Aに示すように、第1フレームでは、グループGP1の画素実線で囲まれた画素とグループGP2の画素破線で囲まれた画素が加算対象である。第1フレームは、例えば奇数フレームである。この第1フレームと、後述する第2フレームは、低解像動画撮影において交互に繰り返される。ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において1つの撮像画像が処理されるタイミングである。あるいは、画像データにおける1つの画像も適宜フレームと呼ぶ。図2Bに、第1フレームにおいて画素値に付与するウエイトの例を示す。この例では、GP1、GP2の加算画素値は下式1により求められる。画素Eに注目すると、画素EはグループGP1とグループGP2に属し、画素Eには各グループにおいてそれぞれウエイトが付与されている。GP1=A1/2B1/2D1/4E,GP2=E1/2F1/2H1/4I1図2Cに示すように、第2フレームでは、グループGP3の画素実線で囲まれた画素とグループGP4の画素破線で囲まれた画素が加算対象である。第2フレームは、例えば偶数フレームである。図2Dに、第2フレームにおいて画素値に付与するウエイトの例を示す。この例では、GP3、GP4の加算画素値は下式2により求められる。GP3=B1/2C1/2E1/4F,GP4=D1/2E1/2G1/4H2このように、市松重畳シフト画素加算サンプリングでは、市松状に画素加算対象をシフトさせながら特定画素を重畳させ、その特定画素に対して複数のウエイトを付与して画素加算処理を行う。なお、画素値A~Iに付与するウエイトは上記に限定されない。例えば、GP1を例にとれば、下式3により加算画素値を求めてもよい。ここで、rはr≧1の実数である。図2C、図2Dの例は、下式3においてr=2の場合である。GP1=A1/rB1/rC1/r2D34.水平演算部次に、上述の水平演算部8について詳細に説明する。図3に、水平演算部8の詳細な構成例を示す。水平演算部8狭義には水平演算回路は、ラインメモリー32、ウエイト演算部33ウエイト演算回路、水平加算部34水平加算回路を含む。以下では、図2Aで上述した第1フレームにおける3行3列の画素に対する処理を例に説明する。水平演算部31には、列並列A/D変換部7からのA/D変換出力30が入力される。具体的には、A,B,C、D,E,F、G,H,Iの行信号が、ラインメモリー32に順次一時記憶される。以下では、D,E,Fの行信号が記憶される場合を例に説明する。ウエイト演算部33は、タイミング制御部12からのタイミング制御信号に基づいて、行信号D,E,Fの中から列信号を選択し、選択した列信号に対して所定のウエイトを付与する。具体的には、ウエイト演算部33は、第1~第4の乗算部MP1~MP4を有する。乗算部MP1~MP4は、それぞれ画素値D、E、E、Fに対してウエイト1/2、1/4、1、1/2を乗算する。この例では画素値Eに対して2つのウエイトが付与されているが、いずれの画素値に2つのウエイトを付与するかは、タイミング制御信号により選択される。乗算部MP1~MP4は、この乗算を同一のタイミングで行う。同一のタイミングとは、例えばラインメモリー32から画素値を読み出すタイミングや、水平同期信号に同期したクロックの同一エッジタイミングである。水平加算部34は、ウエイトが付与された画素値を加算し、加算値を水平画素加算出力35として出力する。具体的には、水平加算部34は、第1、第2の加算部AH1、AH2を有する。加算部AH1は、乗算部MP1、MP2からの出力を加算し、加算値1/2D1/4Eを出力する。加算部AH2は、乗算部MP3、MP4からの出力を加算し、加算値E1/2Fを出力する。5.垂直演算部次に、上述の垂直演算部9について詳細に説明する。図4に、垂直演算部9の詳細な構成例を示す。垂直演算部9狭義には垂直演算部は、ラインメモリー42、垂直加算部43垂直加算回路を含む。以下では、図2A、図3で上述した第1フレームにおける3行3列の画素に対する処理を例に説明する。垂直演算部9には、水平演算部8からの水平画素加算出力35が入力される。具体的には、ラインメモリー42は、第1~第3のラインメモリーLM1~LM3を有する。ラインメモリーLM1には、水平加算信号A1/2B,B1/2Cが入力され、一時記憶される。ラインメモリーLM2には、水平加算信号1/2D1/4E,E1/2Fが入力され、一時記憶される。ラインメモリーLM3には、水平加算信号G1/2H,1/2H1/4Iが入力され、一時記憶される。垂直加算部43には、タイミング制御部に基づいて選択された行の水平加算信号が入力される。行の選択は、その行に対応するラインメモリーを、ラインメモリーLM1~LM3の中から選択することで行われる。そして、垂直加算部43は、入力された水平加算信号を加算し、加算値を垂直画素加算出力44として出力する。具体的には、垂直加算部43は、第1、第2の加算部AV1、AV2を含む。加算部AV1、AV2は、ラインメモリーLM1、LM2に記憶された水平加算信号を加算し、それぞれ加算信号A1/2B1/2D1/4E、B1/2CE1/2Fを出力する。また、加算部AV1、AV2は、ラインメモリーLM2、LM3に記憶された水平加算信号を加算し、それぞれ加算信号1/2D1/4EG1/2H、E1/2F1/2H1/4Iを出力する。なお図4には、垂直加算部43に対してラインメモリーLM1、LM2からの信号が入力される場合の結線例を示すが、垂直加算部43に対していずれのラインメモリーからの信号が入力されるかは、タイミング制御信号に基づいて選択部13により選択される。上記の実施形態によれば、図1に示すように、固体撮像装置1固体撮像素子、広義にはイメージセンサーは、画素アレイ部画素回路アレイ2と行走査部4とA/D変換部列並列A/D変換部7と水平演算部8と垂直演算部9を含む。画素アレイ部は、入射光を光電変換する複数の画素3が配列される。行走査部4は、画素アレイ部の行を選択し、垂直走査を行う。A/D変換部は、選択された行の画素からのアナログ信号をデジタル信号の画素値画素信号に変換する。図2Aに示すように、加算単位例えばグループGP1は、加算対象となる画素の範囲である。水平加算範囲は、加算単位の列範囲例えばGP1では、画素アレイの第1列~第2列である。垂直加算範囲は、加算単位の行範囲例えばGP1では、画素アレイの第1行~第2行である。図3に示すように、水平演算部8は、行の画素値のうち水平加算範囲に含まれる画素値例えば第2行のD、Eを、各列に重み付けして加算し、加算された画素値を水平加算画素値1/2D1/4Eとして出力する。図4に示すように、垂直演算部9は、水平加算画素値のうち垂直加算範囲に含まれる水平加算画素値を加算し、加算された水平加算画素値を加算画素値として出力する。この場合に、図2に示すように、水平演算部8は、第1の水平加算範囲例えば第2行におけるD、Eと、第1の水平加算範囲と共通の画素Eを含む第2の水平加算範囲E、Fとを、水平加算範囲として水平加算画素値を出力する。これにより、共通の画素を含む第1、第2の水平加算範囲の画素加算を行うことができるため、加算単位を重畳しながら画素加算を行うことができる。また、各列に重み付けして加算するため、水平加算範囲に含まれる画素値それぞれに重み付けをして加算することができる。また、加算単位を重畳しながら画素加算を行うことで、図11A~図14で後述するように、簡素な処理で高解像画像を復元することが可能になる。また、その復元処理により任意タイミングの高解像画像を動画から抽出できるため、シャッターチャンスを逃すことがなくユーザの操作性を向上できる。また本実施形態では、図3に示すように、水平演算部8は、第1の水平加算範囲例えばD、Eにおける共通の画素Eと、第2の水平加算範囲E、Fにおける共通の画素Eに対して、異なる重み係数1/4、1による重み付けを行う。このようにすれば、共通の画素に対して各加算範囲において独立した重み付けを行うことができる。これにより、加算単位が重畳する場合であっても、各加算単位においてそれぞれ重み付け加算を行うことができる。具体的には、第1の水平加算範囲が第1の画素例えばDと第2の画素Eを含み、第2の水平加算範囲が第2の画素Eと第3の画素Fを含む。水平演算部8は、ラインメモリー32とウエイト演算部33と水平加算部34を含む。ラインメモリー32は、第1~第3の画素の画素値である第1~第3の画素値D,E,Fを記憶する。ウエイト演算部33は、第1の画素値Dに対する第1の重み係数1/2による重み付けと、第2の画素値Eに対する第2、第3の重み係数1/4、1による重み付けと、第3の画素値Fに対する第4の重み係数1による重み付けとを、行う。水平加算部34は、第1、第2の重み係数により重み付けされた第1、第2の画素値の加算と、第3、第4の重み係数により重み付けされた第2、第3の画素値の加算とを、行う。このようにすれば、第1の水平加算範囲と第2の水平加算範囲の共通の画素に対して、各水平加算範囲において異なる重み係数を付与する水平演算部を構成できる。また本実施形態では、ウエイト演算部33は、第1~第4の重み係数の乗算を行う第1~第4の乗算部MP1~MP4を有する。第1~第4の乗算部MP1~MP4は、ラインメモリー32に記憶された画素値に対して、同一タイミングにおいて第1~第4の重み係数を乗算する。このようにすれば、1行について1回のタイミングで、重畳する加算単位のウエイト演算を行うことができる。これにより、共通画素に対して2回のタイミングでウエイト演算を行う必要がないため、従来の重畳しない画素加算に比べて動作速度を上げることなく固体撮像装置を構成できる。また、動作速度が変わらないため、従来の固体撮像装置の水平演算部や垂直演算部を変更するだけで重畳シフトサンプリングが可能になり、設計コストを削減できる。また本実施形態では、図4に示すように、垂直演算部9は、第1の垂直加算範囲例えば第1行、第2行と、第1の垂直加算範囲と共通の行第2行を含む第2の垂直加算範囲第2行、第3行とを、垂直加算範囲として加算画素値を出力する。このようにすれば、第1、第2の垂直加算範囲の共通する行の水平加算画素値を各垂直加算範囲について加算できるため、重畳する垂直加算範囲の画素加算を実現できる。具体的には、垂直演算部9は、第1~第3のラインメモリーLM1~LM3と垂直加算部43を含む。第1~第3のラインメモリーLM1~LM3は、それぞれ第1~第3の行の水平加算画素値を記憶する。垂直加算部43は、第1、第2の行の水平加算画素値の加算と、第2、第3の水平加算画素値の加算とを、行う。このようにすれば、第1の垂直加算範囲と第2の垂直加算範囲の共通の行の水平加算画素値を、各垂直加算範囲において加算する垂直演算部を構成できる。また本実施形態では、図1に示すように、固体撮像装置1は、制御部タイミング制御部12と選択部13を含む。制御部は加算単位を設定する。選択部13は、設定された加算単位に基づいて列と行を選択する。水平演算部8は、選択された列の画素値を重み付けして加算する。垂直演算部9は、選択された行の水平加算画素値を加算する。このようにすれば、設定された加算単位に基づいて列と行を選択することで、加算単位に含まれる画素の画素値を加算し、加算画素値を求めることができる。また本実施形態では、A/D変換部は、行走査部4により選択された行の各列のアナログ信号を、並列にデジタル信号に変換する列並列A/D変換部7である。このようにすれば、1行の画素のアナログ信号を、並列にデジタル信号に変換することができる。これにより、高速なA/D変換が不要になるため、固体撮像装置1の動作速度の低速化を図ることができる。6.同色画素の重畳シフト加算処理上述の重畳シフト画素加算を、ベイヤー配列の撮像素子に適用した場合について詳細に説明する。まず、同色4画素を画素加算する場合について説明する。なお以下では、10行10列の画素アレイを例に説明する。図5Aに、同色4画素加算を行う場合の加算範囲の設定例を示す。図5Aにおいて、Mは列番号カラムを表し、Nは行番号ラインを表す。図5Aに示すように、加算範囲加算単位GP00、GP40、GP22、GP62、GP04、GP44、GP26、GP66が設定され、各加算範囲に含まれる同色4画素の画素信号を加算する。図5Bに、同色4画素加算を行う場合の出力信号例を模式的に示す。図5Bでは、画素に付与されるウエイトを省略し、加算される画素を実線で囲まれたグループで表す。また、M列N行の画素をサフィックス_MNで表し、例えば3行2列のR画素をR_32と表す。また、HDは水平同期信号を表し、1Hは1水平走査期間を表す。VDは垂直同期信号を表し、1Vは1垂直走査期間を表す。図5Bに示すように、行が走査されるにしたがって加算画素値が順次出力される。即ち、A1に示すように、まず加算範囲GP00、GP40のGr画素、R画素の加算画素値が出力される。次に、A2に示すように、加算範囲GP00、GP40のB画素、Gb画素の加算画素値が出力される。以後同様に、加算範囲GP22、GP62の加算画素値、加算範囲GP04、GP44の加算画素値、加算範囲GP26、GP66の加算画素値が、順次出力される。このようにして、ベイヤー配列の市松重畳シフト画素加算サンプリングにより、1フレーム当たり4列8行の計32画素の出力信号が得られる。図2A等で上述の第1、第2フレームを合わせると計64画素の出力信号が得られ、この64画素の出力信号から画素値の復元が行われる。次に、図6を用いて、上記の同色4画素加算を行う場合の動作について説明する。図6のB1に示すように、列並列A/D変換部7が、各ラインのA/D変換出力信号を順次出力する。B2に示すように、水平演算部8が、A/D変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。なお、図6では、ウエイトを省略している。次に、B3に示すように、垂直演算部9のラインメモリーLM1が、RラインN=0の水平画素加算出力信号を一時記憶する。B4に示すように、ラインメモリーLM2が、BラインN=1の水平画素加算出力信号を一時記憶する。B5に示すように、ラインメモリーLM3が、RラインN=2の水平画素加算出力信号を一時記憶する。次に、B6に示すように、行選択部16が、加算対象の行及び画素を選択し、垂直加算部43が、ラインメモリーLM1、LM3に記憶された信号を加算し、4画素加算信号を出力する。なお、図6では、加算対象をマーク◆,▲,●で表し、同じマークの信号が加算されることを表す。また、4画素加算信号を省略表記しており、例えばGr_00_20_02_22は、画素値Gr_00、Gr_20、Gr_02、Gr_22の加算値を表す。次に、B7に示すように、ラインメモリーLM1が、BラインN=3の水平画素加算出力信号を一時記憶する。次に、B8に示すように、垂直加算部43が、ラインメモリーLM2、LM1に記憶された信号を加算し、4画素加算信号を出力する。次に、B9に示すように、ラインメモリーLM2が、RラインN=4の水平画素加算出力信号を一時記憶する。次に、B10に示すように、垂直加算部43が、ラインメモリーLM3、LM2に記憶された信号を加算し、4画素加算信号を出力する。以後同様の動作を繰り返す。このようにして、図5Bで説明した4画素加算値が得られる。図6から分かるように、ベイヤー配列の市松重畳シフト同色4画素加算サンプリングでは、垂直演算部9のラインメモリーは最低3本必要である。ラインメモリーの必要本数が垂直方向の画素加算数に依存することは、上述したとおりである。7.異色画素の重畳シフト加算処理次に、重畳シフト画素加算により、異色4画素を画素加算する場合について説明する。なお同色4画素の例と同様に、10行10列の画素アレイを例に説明する。図7Aに、異色4画素加算を行う場合の加算範囲の設定例を示す。図7Aに示すように、加算範囲加算単位GP00、GP20、GP40、GP60、GP11、GP31、GP51、GP71、が設定される。各加算範囲には、隣接する異色4画素ベイヤー配列の1ユニットが含まれ、その異色4画素の画素信号を加算する。図7Bに、異色4画素加算を行う場合の出力信号例を模式的に示す。図5Bと同様に、画素に付与されるウエイトを省略している。図7BのD1に示すように、まず加算範囲GP00、GP20、GP40、GP60の加算画素値が出力される。次に、A2に示すように、加算範囲GP11、GP31、GP51、GP71の加算画素値が出力される。以後、行が走査されるにしたがって、加算画素値が順次出力される。次に、図8を用いて、上記の異色4画素加算を行う場合の動作について説明する。図6と同様に、ウエイトを省略しており、加算対象をマーク◆,▲,●で表す。また、4画素加算信号を省略表記しており、例えば00_10_01_11は、画素値Gr_00、R_10、B_01、Gb_11の加算値を表す。図8のE1に示すように、列並列A/D変換部7が、各ラインのA/D変換出力信号を順次出力する。E2に示すように、水平演算部8が、A/D変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。次に、E3に示すように、垂直演算部9のラインメモリーLM1が、RラインN=0の水平画素加算出力信号を一時記憶する。E4に示すように、ラインメモリーLM2が、BラインN=1の水平画素加算出力信号を一時記憶する。次に、E5に示すように、行選択部16が、加算対象の行及び画素を選択し、垂直加算部43が、ラインメモリーLM1、LM2に記憶された信号を加算し、4画素加算信号を出力する。次に、E6に示すように、ラインメモリーLM3が、RラインN=2の水平画素加算出力信号を一時記憶する。次に、E7に示すように、垂直加算部43が、ラインメモリーLM2、LM3に記憶された信号を加算し、4画素加算信号を出力する。次に、E8に示すように、ラインメモリーLM1が、BラインN=3の水平画素加算出力信号を一時記憶する。次に、E9に示すように、垂直加算部43が、ラインメモリーLM3、LM1に記憶された信号を加算し、4画素加算信号を出力する。以後同様の動作を繰り返す。以上の実施形態によれば、従来の固体撮像装置に比べて処理や機能を複雑化する必要がなく、読み出す画素の列数や行数に対応する時間を必要以上に費やさず、市松重畳シフト画素加算サンプリングを行うことが可能である。これにより、動画及び静止画という境界を意識することなく撮像が可能となり、固体撮像装置の汎用性に大きく貢献できる。8.重畳しない場合の加算処理本実施形態では、加算範囲が重畳しない通常の4画素加算を行うことも可能である。図9A~図10を用いて、本実施形態を通常の4画素加算処理に適用した場合について説明する。図9Aに、通常の4画素加算を行う場合の加算範囲の設定例を示す。図9Aに示すように、重畳しない加算範囲加算単位GP00、GP40、GP04、GP44が設定され、各加算範囲に含まれる同色4画素の画素信号を加算する。図9Bに、通常の4画素加算を行う場合の出力信号例を模式的に示す。図5Bと同様に、画素に付与されるウエイトを省略している。図9Bに示すように、まず加算範囲GP00、GP40の加算画素値、加算範囲GP04、GP44の加算画素値が、順次出力される。次に、図10を用いて、上記の通常の4画素加算を行う場合の動作について説明する。図10と同様に、ウエイトを省略しており、加算対象をマーク◆,▲,●で表す。また、4画素加算信号を省略表記しており、例えばGr_00_20_02_22は、画素値Gr_00、Gr_20、Gr_02、Gr_22の加算値を表す。図10のG1に示すように、列並列A/D変換部7が、各ラインのA/D変換出力信号を順次出力する。G2に示すように、水平演算部8が、A/D変換出力信号にウエイトを付与し、その信号を水平方向に加算して水平画素加算出力信号を出力する。このとき、重畳シフト加算は行わない。即ち、加算範囲が重畳しないため、1つの画素が2の加算範囲で加算されることはない。次に、G3に示すように、垂直演算部9のラインメモリーLM1が、RラインN=0の水平画素加算出力信号を一時記憶する。G4に示すように、ラインメモリーLM2が、BラインN=1の水平画素加算出力信号を一時記憶する。次に、G5に示すように、RラインN=2の水平画素加算出力信号を一時記憶せず、ラインメモリーをスルーさせる。次に、G6に示すように、行選択部16が、加算対象の行及び画素を選択し、垂直加算部43が、ラインメモリーLM1に記憶された信号とスルーさせた信号を加算し、4画素加算信号を出力する。次に、G7に示すように、BラインN=3の水平画素加算出力信号を一時記憶せず、ラインメモリーをスルーさせる。次に、G8に示すように、垂直加算部43が、ラインメモリーLM2に記憶された信号とスルーさせた信号を加算し、4画素加算信号を出力する。以後同様の動作を繰り返す。このようにして、本実施形態では通常の画素加算サンプリングが可能である。当然のことながら、固体撮像装置をフルスキャンした場合の全画素読み出し時においても、重畳シフト加算の構成が制約事項や条件となることはない。なお、以上の実施形態では、4画素加算を行う場合を例にとり説明したが、本実施形態はこれに限定されず、それ以外の画素加算数に対応するために機能や処理構成を拡張してもよい。以上の実施形態によれば、機能ブロックを複雑化することなく、かつ動作時間に影響を与えることなく画像データの高解像度化に必要な低解像モードの信号読み出しを実現する撮像装置及び撮像装置の制御方法を提供することができる。9.復元推定処理次に、重畳シフトサンプリングにより取得した加算画素値から高解像画像を推定により復元する処理について詳細に説明する。なお以下では、加算画素値{a00、a10、a11、a01}を例に説明するi,jは0以上の整数が、他の加算画素値についても同様である。また、加算単位が2×2画素毎に設定される場合を例に説明するが、これに限定されず、例えば3×3画素毎であってもよい。図11A、図11Bに、推定画素値と中間画素値の説明図を示す。図11Aに示す加算画素値{a00、a11}は、図2Aで説明したグループGP1、GP2の加算画素値に対応する。加算画素値{a10、a01}は、図2Cで説明したグループGP3、GP4の加算画素値に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値v00~v22を推定する。推定画素値vijは、図2Aで説明した画素A~Iの画素値に対応する。図11Bに示すように、まず加算画素値a00~a11から中間画素値b00~b21中間推定画素値を推定する。中間画素値は2画素加算値に対応し、例えばb00は画素値v00とv01の加算値に対応する。これらの中間画素値b00~b21から最終的な画素値v00~v22を推定する。まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値b00~b20を推定する場合を例に説明する。次の行の中間画素値b01~b21についても同様の手法により推定される。図12に示すように、中間画素値b00~b20は、水平方向の最初の行の加算画素値a00、a10に基づいて推定される。説明を簡単にするために、例えば重み係数r=2とすると、加算画素値a00、a10は下式4で表される。a00=v001/2v011/2v101/4v11,a10=v101/2v111/2v201/4v214下式5に示すようにb00、b10、b20を定義する。b00=v001/rv01=v001/2v01,b10=v101/rv11=v101/2v11,b20=v201/rv21=v201/2v215次に、上式5を用いて上式4を変形すると、下式6が成り立つ。a00=b001/2b10,a10=b101/2b206上式6において、a00、a10に所定の重み係数を掛けて差分δi0を取り、整理すると、下式7が成り立つ。δi0=a10-2a00=1/2b20-2b007b00を未知数初期変数とすると、下式8に示すように、中間画素値b10、b20をb00の関数として求めることができる。このようにして、b00を未知数として高精細な中間画素値{b00,b10,b20}の組合せパターンが求められる。b00=未知数,b10=2a00-b00,b20=4b002δi0=4b002a10-2a008次に、未知数b00を求める手法について説明する。図13に示すように、加算画素値のパターン{a00,a10}と中間画素値のパターン{b00,b10,b20}を比較する。そして、その誤差Eが最小になる未知数b00を導出し、中間画素値b00として設定する。具体的には、加算画素値{aij}と中間画素値{bij,bi1j}には、下式9の関係が成り立つ。この下式9による重み付けを考慮すると、下式10に示す評価関数Ejが求められる。そして、この評価関数Ejにより、パターン{a00,a10}とパターン{b00,b10,b20}の類似性評価を行う。aij=bij1/2bi1j9図14に示すように、Ejを最小にする未知数b00=αを求め、b00の値を決定できる。そして、推定したb00の値を上式8に代入し、b10,b20が求められる。次に、求めた中間画素値bijを用いて最終推定画素値vijを求める手法について説明する。以下では、左端垂直列i=0列を例に説明する。最終推定画素値vijは、中間画素値bijを求めた手法と同様に求められる。即ち、上式6を下式11に置き換えれば、以降の処理は同様である。b00=v001/2v01,b01=v011/2v02119.撮像装置図15に、上述の重畳シフトサンプリングと復元処理を行う撮像装置の構成例を示す。撮像装置は、撮像光学系100レンズ、光学ローパスフィルター110、固体撮像装置1、データ記録部140記憶部、表示処理部150、モニター表示部160、画素値推定演算部210推定演算部、画像出力部300を含む。なお、本実施形態の撮像装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、画素値推定演算部210と画像出力部300を、撮像装置の外部の画像処理装置例えばPCにより構成してもよい。撮像光学系100は、被写体を結像する。光学ローパスフィルター110は、例えば固体撮像装置1の解像度に対応する帯域を通過させる。固体撮像装置1例えば12メガピクセルは、例えばCCDやCMOSセンサーにより構成される。固体撮像装置1は、加算単位の設定や加算読み出しを制御し、フュージョンフレームfusionframeを取得する。フュージョンフレームとは、重畳シフトサンプリングにより得られた画像である。データ記録部140は、例えばメモリーカード等で実現され、フュージョンフレームによる動画を記録する。モニター表示部160は、動画のライブビュー表示や、再生された動画の表示を行う。画素値推定演算部210は、最終推定画素値の推定を行う。画像出力部300は、最終推定画素値に基づいて静止画や動画を出力する。画像出力部300は、アンチエリアシングフィルター220、250、ローパスフィルター230、アンダーサンプリング部240を含む。アンチエリアシングフィルター220は、最終推定画素値をアンチエリアシング処理し、高解像静止画例えば12メガピクセルを出力する。ローパスフィルター230は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部240は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルター220は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画例えば2メガピクセルを出力する。なお、アンダーサンプリングせずに、高解像動画例えば12メガピクセルを出力してもよい。以上の実施形態によれば、図15に示すように、撮像装置撮像システム。例えばデジタルカメラは、固体撮像装置1と推定演算部画素値推定演算部210を含む。図11Aで説明したように、推定演算部は、加算画素値{a00、a10、a11、a01}に基づいて、加算単位に含まれる画素の画素値{v00、v10、v11、v01}を推定する。図11Aに示すように、第1のポジションに設定された加算単位例えばa00と、第1のポジションがシフトされた第2のポジションに設定された加算単位例えばa10は重畳する。垂直演算部9は、第1、第2の加算単位の加算画素値である第1、第2の加算画素値a00、a10を出力する。上式7に示すように、推定演算部は、第1、第2の加算画素値a00、a10の差分値δi0を求める。図11Bに示すように、第1の中間画素値b00は、加算単位a00から重畳領域v10、v11を除いた第1の領域v00、v01の加算画素値である。第2の中間画素値b20は、加算単位a10から重畳領域v10、v11を除いた第2の領域v20、v21の加算画素値である。上式8に示すように、第1、第2の中間画素値b00、b20の関係式を、差分値δi0を用いて表す。図13等に示すように、その関係式を用いて第1、第2の中間画素値b00、b20を推定する。推定した第1の中間画素値b00を用いて加算単位に含まれる各画素の画素値{v00、v10、v11、v01}を求める。このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、2次元フィルターの繰り返し演算特開2009-124621号公報や、初期値の設定に適当な部分を探索特開2008-243037号公報する等の複雑な処理が不要となる。ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図11Aに示すように、加算単位a00と加算単位a10が、2つの推定画素v10、v11を共有することである。また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ画像データ上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。また本実施形態では、第1、第2の中間画素値例えばb00、b20を含む連続する中間画素値を中間画素値パターン{b00、b10、b20}とする。上式8に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値a00、a10を用いて表す。図13に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値b00、b10、b20を決定する。このようにすれば、重畳されながら画素シフトされた加算単位により取得された複数の加算画素値に基づいて、中間画素値を推定できる。ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列データの組みである。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。また本実施形態では、上式10に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン{b00、b10、b20}と加算画素値{a00、a10}との誤差を表す評価関数Ejを求める。評価関数Ejの値が最小となるように中間画素値パターンに含まれる中間画素値b00、b10、b20を決定する。このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索特開2008-243037号公報が不要である。また本実施形態では、上式4に示すように、加算単位の各画素値例えば、v00、v10、v01、v11が重み付け加算された加算画素値a00を取得する。取得された加算単位の加算画素値a00、a10に基づいて、加算単位の各画素の画素値v00、v10、v01、v11を推定する。このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また固体撮像装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。"