"加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群及び前記第2加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得する画像取得部と、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第1加算単位群及び前記第2加算単位群の各加算単位についてリサンプリング値を求めるリサンプリング処理部と、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間する補間処理部と、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含むことを特徴とする画像処理装置。請求項1において、前記補間処理部は、前記対象フレームでの前記リサンプリング値と、前記前又は後のフレームでの前記リサンプリング値との差が、所定値以下である場合、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に基づいて補間することを特徴とする画像処理装置。請求項1又は2において、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に置換することで、前記補間を行うことを特徴とする画像処理装置。請求項1又は2において、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前及び後のフレームで取得された前記加算画素値に基づいて補間することを特徴とする画像処理装置。請求項1乃至4のいずれかにおいて、前記補間処理部により前記対象フレームでの前記未取得の加算画素値を補間しないと判定した場合、前記対象フレームで取得された前記加算画素値に基づいて前記未取得の加算画素値を補間する第2補間処理部と、を含むことを特徴とする画像処理装置。請求項5において、前記画像取得部は、前記対象フレームで、前記第1加算単位群の前記加算画素値を取得し、前記第2補間処理部は、前記第2加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、前記第1加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第2加算単位群の前記加算画素値の決定処理を行う決定処理部と、を有することを特徴とする画像処理装置。請求項6において、前記第1加算単位群は、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記決定処理部は、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行うことを特徴とする画像処理装置。請求項1乃至7のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群及び前記第2加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得し、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第1加算単位群及び前記第2加算単位群の各加算単位についてリサンプリング値を求め、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間し、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定することを特徴とする画像処理方法。さて、複数フレームの低解像画像を用いて超解像処理を行う例えば特許文献3に開示される手法と、動きのある被写体を超解像処理したときに例えば像流れが生じる等、画質が劣化するという課題がある。仮に1フレームの低解像画像を用いて超解像処理を行ったとすると、動きのある被写体については画質が改善すると考えられるが、静止した被写体については画質が低下する可能性があるという課題がある。本発明の幾つかの態様によれば、動きのある被写体と静止した被写体を高画質に高精細化可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。本発明の一態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群及び前記第2加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得する画像取得部と、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第1加算単位群及び前記第2加算単位群の各加算単位についてリサンプリング値を求めるリサンプリング処理部と、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間する補間処理部と、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含む画像処理装置に関係する。本発明の一態様によれば、各加算単位についてリサンプリング値が求められ、リサンプリング値の時系列的な変化に基づいて補間を行うか否かが判定される。補間を行うと判定された場合には、対象フレームで未取得の加算画素値が、対象フレームの前又は後のフレームで取得された加算画素値に基づいて補間される。そして、補間された加算画素値に基づいて、加算単位に含まれる画素の画素値が推定される。これにより、動きのある被写体と静止した被写体を高画質に高精細化することが可能になる。また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記リサンプリング値と、前記前又は後のフレームでの前記リサンプリング値との差が、所定値以下である場合、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に基づいて補間してもよい。また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に置換することで、前記補間を行ってもよい。また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前及び後のフレームで取得された前記加算画素値に基づいて補間してもよい。また本発明の一態様では、前記補間処理部により前記対象フレームでの前記未取得の加算画素値を補間しないと判定した場合、前記対象フレームで取得された前記加算画素値に基づいて前記未取得の加算画素値を補間する第2補間処理部を含んでもよい。また本発明の一態様では、前記画像取得部は、前記対象フレームで、前記第1加算単位群の前記加算画素値を取得し、前記第2補間処理部は、前記第2加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、前記第1加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第2加算単位群の前記加算画素値の決定処理を行う決定処理部と、を有してもよい。また本発明の一態様では、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記決定処理部は、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行ってもよい。また本発明の他の態様は、上記のいずれかに記載の画像処理装置を含む撮像装置に関係する。また本発明の更に他の態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群及び前記第2加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得し、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第1加算単位群及び前記第2加算単位群の各加算単位についてリサンプリング値を求め、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間し、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する画像処理方法に関係する。以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。1.本実施形態の概要昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。しかしながら、ボタン操作が必要であるため、決定的瞬間の静止画をタイミングよく撮影することが難しいという課題がある。この決定的瞬間の撮影を実現するために、超解像処理を利用して、撮影した動画から事後的に任意タイミングの高解像画像を生成する手法が考えられる。従来の超解像処理として、例えば上述のML法等や特許文献1に開示される手法がある。しかしながら、ML法等や特許文献1に開示される手法では、フィルタ演算の繰り返しにより処理負荷が大きいという課題があり、特許文献2に開示される手法では、画素値を推定する際に初期値を上手く特定できないと推定誤差が非常に大きくなるという課題がある。そこで、本実施形態では、図11A、図11Bで後述する手法を用いて高解像画像を復元する。この手法では、互いに画素を共有する加算画素値aijを、まず水平又は垂直方向のうち一方の方向に高解像化し、中間画素値bijを求める。そして、もう一方の方向に中間画素値bijを高解像化することにより、画素値vijを求める。この手法により、従来の超解像処理に比べて簡素な処理で高解像画像を得ることができる。加算画素値aijを取得する手法としては、例えば特許文献3に開示されるように、画素シフトを行いながらa00、a10、a11、a01をそれぞれ別個のフレームで時系列的に撮影する手法がある。この手法では、高解像画像を復元するために4フレームの低解像画像を用いることになるため、動きのある被写体では復元精度が低下するという課題がある。そこで、本実施形態では、図5に示すように、1フレームで取得した既知の加算画素値a10等を用いて、そのフレームで取得されていない未知の加算画素値a11等を補間し、既知及び補間された加算画素値から高解像画像を復元する。このようにすれば、1フレームの低解像画像から復元を行うため、動きのある被写体に対して復元精度を向上例えば像流れ等を抑制できる。しかしながら、空間的な補間を行うため画像の高周波成分が失われる可能性があるという課題がある。そこで、本実施形態では、図1に示すように既知の加算画素値に対してリサンプリング処理を行う。そして、図2に示すように、リサンプリング値の時間変化が小さい場合には、未知の加算画素値例えばaijT3を、前又は後のフレームにおける既知の加算画素値例えばaijT2で置換する。これにより、静止した被写体については前又は後ろのフレームから補間が行われるため、画像の高周波成分を維持することが可能となる。2.第1の補間手法次に、静止した被写体の加算画素値を前又は後ろのフレームから補間する手法について詳細に説明する。ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において画像が処理されるタイミングである。あるいは、動画データにおける各画像も適宜フレームと呼ぶ。なお以下では、撮像素子がベイヤ配列のカラーフィルターを有し、画素の色R、Gr、Gb、BのうちGrを例にとり説明するが、他の色についても同様の考え方を適用することができる。また、同色画素を加算する場合だけでなく、R、Gr、Gb、Bの異色画素を加算する場合にも同様の考え方を適用することができる。図1に示すように、各フレームfT、fT1、fT2、fT3の撮影において、それぞれ市松状に加算画素値aijが取得される。i、jはゼロ以上の整数であり、それぞれ水平走査方向、垂直走査方向における画素vijの位置又は座標を表す。加算画素値aijは、4つの画素値{vij,vi2j,vi2j2,vij2}が単純加算又は重み付け加算された値である。偶数フレームfT、fT2では、例えばa00、a40、a22、a04、a44が取得され、奇数フレームfT1、fT3では、例えばa20、a02、a42、a24が取得される。ここで、市松状とは、任意のi、jに対して全ての加算画素値aijがそろった状態を完備な状態とすると、完備な加算画素値aijのうちi、jともに1つおきに加算画素値aijが取得された状態である。例えば、Gr画素では、i=2a、j=2ba、bはゼロ以上の整数であり、全てのa,bの組み合わせについてaijがそろった状態が完備な状態である。偶数フレームでは、a,bが偶数、偶数及び奇数、奇数の組み合わせであるaijのみが取得される。奇数フレームでは、a,bが偶数、奇数及び奇数、偶数の組み合わせであるaijのみが取得される。次に、各フレームにおいて取得された既知の加算画素値aijをリサンプリング再サンプリングし、加算画素値aij’の全てがそろった状態、つまり、完備なリサンプリング値aij’を得る。具体的には、各フレームにおいて取得されていない未知の加算画素値aijを0とおきアップサンプリング処理、補間フィルタリング処理を行い、リサンプリング値aij’を求める。補間フィルタリング処理としては、例えばローパスフィルタ処理を用いればよい。なお以下では、既知の加算画素値aijを、適宜実サンプリング値とも呼ぶ。また、加算画素値aijを、適宜4画素加算値とも呼ぶ。また、フレームftt=T、T1、における加算画素値をaijtと表す。さて、高解像画像を復元するためには完備な4画素加算値が必要であるが、撮影で得られるのは市松状の実サンプリング値である。そのため、撮影で得られていない未知の4画素加算値を補間し、実サンプリング値と合わせて完備な4画素加算値とする必要がある。以下では、図2を用いて、未知の4画素加算値aijtを補間する手法について説明する。被写体を撮影した動画では、被写体の動きに応じてフレーム間で画素値が変化するが、その変化は元の高精細画像においても、それを低解像化した画像においても、大きく違いは無いであろうと思われる。即ち、フレーム間における4画素加算値aijtの変化を観測すれば、被写体の動きを判定できる。同一位置i,jの実サンプリング値aijtは、1フレームおきにしか得られていないので、位置i,jにおいてフレーム間に動きがあるか否かをリサンプリング値aijt’に基づいて判定する。具体的には、隣接するフレーム間においてリサンプリング値aijt’の変化がほとんどない場合には、位置i,jにおいて被写体に動きがないと判定する。例えば、フレームfTとfT1の間の期間T~T1では、下式1を満たす場合に像静止期間であると判定する。ここで、dは所定値である。像静止期間では、4画素加算値aijtの真値においても変化が小さく、同一値を取る確率が高いと考えられる。そのため、フレームftにおいて取得されていない未知の4画素加算値を、像静止期間内のフレームにおいて取得されている実サンプリング値aijtで置換する。例えば、像静止期間[T2≦t≦T3]では、実サンプリング値aijT2が存在するので、未知の4画素加算値aijT3を実サンプリング値aijT2で置換する。また、像静止期間[T5≦t≦T6]では、実サンプリング値aijT6が存在するので、未知の4画素加算値aijT5を実サンプリング値aijT6で置換する。このようにすれば、像静止期間において、未知の4画素加算値と真値との誤差を小さくできる。隣接するフレーム間においてリサンプリング値aijt’の変化が大きい場合には、位置i,jにおいて被写体に動きがあると判定する。例えば、フレームfTとfT1の間の期間T~T1では、下式2を満たす場合に像ずれ期間であると判定する。像ずれ期間では、フレーム内の補間が良好でないため誤差バラツキを生じているのか、フレーム間の動きによって誤差バラツキを生じているのか不確定であるので、フレーム内で補間した値を未知の4画素加算値として採用すればよい。フレーム内で補間した値は、例えばリサンプリング値aijt’を採用すればよい。あるいは、図5~図10で後述する補間手法により得られる補間値を採用してもよい。以上では時間軸に沿って説明したが、各フレームについてみれば、位置i,jに依って像静止期間に該当する位置と像ずれ期間に該当する位置が混在している。即ち、各フレームの置換後の画像では、実サンプリング値とフレーム内補間値とが混在した画像となっている。同一フレーム画像では、動きのある像に対応する未知の4画素加算値にはフレーム内補間値が適用され、動きのない像に対応する未知の4画素加算値には実サンプリング値が適用されている。以上のようにして完備な4画素加算値aijtが得られ、その完備なaijtに対して復元処理を適用することで、高精細画像の画素値vijを推定する。復元処理については、図11A、図11Bで詳細に後述する。より詳細には、特開2011-151569号公報に記載されている。3.第1の補間手法の変形例上記では、動きのない像に対応する4画素加算値に限って時間軸方向フレーム間の補間を適用したが、本実施形態では、動きが緩やかな場合、即ち線形的な変化をする場合についても時間軸方向フレーム間の補間を行ってもよい。例えば、隣接するフレーム間におけるリサンプリング値aijt’の変化がほぼ一定の場合、実サンプリング値の平均値を補間値としてもよい。例えば、期間T~T2において下式3を満たす場合には、実サンプリング値aijT、aijT2の平均値を、aijT1として採用してもよい。なお、平均値に限らず一般的な補間処理を適用しても構わない。また上記では、像ずれ期間においてリサンプリング値aijt’を採用したが、本実施形態では、図5~図10で後述する第2又は第3の補間手法により補間を行ってもよい。この場合、処理順序として、まず上記の第1の補間手法を使って前又は後のフレームから実サンプリング値で補間し、残りの未知の4画素加算値に対して、後述する第2の補間手法によりフレーム内補間を行い、全ての4画素加算値を求める手順が有効である。なぜならば、フレーム内の補間は空間的周波数がいずれの方向に対しても高い場合については補間精度が良くない。第1の補間手法のように時間方向において精度良く補間ができれば、空間的周波数が高くても高精度に補間ができるからである。4.撮像装置、画像処理装置の構成例図3に、撮像装置の構成例を示す。図3に示す撮像装置は、レンズ10、撮像素子20、加算処理部30、データ圧縮部40、データ記録部50、動画フレーム生成部60、モニタ表示部70を含む。撮像素子20は、レンズ10により結像された被写体像を撮影し、画素値vijを出力する。例えば撮像素子20は、ベイヤ配列のカラーフィルターを有する。加算処理部30は、画素値vijを各色毎に加算し、加算画素値aRij、aGrij、aGbij、aBijを出力する。加算画素値は、例えば市松状に取得される。データ圧縮部40は、加算画素値aRij、aGrij、aGbij、aBijをデータ圧縮処理する。データ記録部50は、圧縮データを記録する。例えばデータ記録部50は、メモリカード等の外部メモリにより構成される。動画フレーム生成部60は、加算画素値aRij、aGrij、aGbij、aBijを、例えばハイビジョンの画素数にリサンプリング処理する。動画フレーム生成部60は、リサンプリング処理後の画素をデモザイキング処理し、表示用のRGB画像データRij、Gij、Bijを出力する。動画フレーム生成部60は、デモザイキング処理後の画像に対して、更に種々の画像処理例えば、高画質化処理等を行ってもよい。モニタ表示部70は、例えば液晶表示装置であり、RGB画像データRij、Gij、Bijを表示する。図4に、上記の撮像装置により撮影された加算画素値から高解像画像を復元処理する画像処理装置の構成例を示す。図4に示す画像処理装置は、データ記録部110、データ伸張部115、伸張データ記憶部120、モニタ画像生成部125、モニタ画像表示部130、画像データ選択部135、選択フレーム記憶部140、補間処理部145、第2補間処理部150、高精細画像復元推定部160、高精細画像生成部170、高精細画像データ記録部180、画像出力部190を含む。画像処理装置として、例えば撮像装置とは別体の情報処理装置例えばPC等や、撮像装置に内蔵された画像処理装置例えば画像処理エンジン等が想定される。データ記録部110には、撮像装置により記録された圧縮データが記録されている。例えば、データ記録部110は、メモリカードを挿入可能なリーダ/ライタにより構成される。データ伸張部115は、データ記録部110から読み出した圧縮データを伸張処理し、加算画素値aRij、aGrij、aGbij、aBijを伸張データ記憶部120に出力する。伸張データ記憶部120は、例えば画像処理装置に内蔵されたメモリ例えばRAM等により構成される。モニタ画像生成部125は、伸張データ記憶部120から読み出した加算画素値から表示用のRGB画像を生成し、モニタ画像表示部130は、そのRGB画像を表示する。ユーザー操作者は、モニタに表示された動画を見ながら、高精細静止画が欲しいフレームを、図示しないユーザインターフェースを介して指示する。画像データ選択部135は、指示されたフレームのIDを、選択フレームIDとして伸張データ記憶部120に出力する。伸張データ記憶部120は、選択フレームIDに対応するフレーム及びその前後フレームのデータを選択フレーム記憶部140に出力する。選択フレーム記憶部140は、例えば伸張データ記憶部120と同一の内蔵メモリとして構成される。補間処理部145は、図1、図2で説明した第1の補間手法により補間処理を行う。補間処理部145は、リサンプリング処理部146、像静止期間検出部147、加算画素値置換部148を含む。リサンプリング処理部146は、選択フレーム及びその前後フレームの加算画素値aRij、aGrij、aGbij、aBijを実サンプリング値として、リサンプリング処理を行い、リサンプリング値を求める。像静止期間検出部147は、リサンプリング値に基づいて像静止期間を検出し、選択フレームにおける未知の加算画素値の位置i,jうち、実サンプリング値で置換する位置i,jの情報を出力する。加算画素値置換部148は、置換位置i,jの加算画素値を実サンプリング値に置換する。加算画素値置換部148は、置換した加算画素値と、選択フレームで元々取得されていた実サンプリングとを、第2補間処理部150に出力する。第2補間処理部150は、補間処理部145で補間されなかった加算画素値を補間する。この補間手法については、図5~図10で詳細に後述する。第2補間処理部150は、候補値生成部151、補間値選択部152、補間値充当部153を含む。候補値生成部151は、未知の加算画素値について複数の候補値を生成する。補間値選択部152は、各候補値から推定した中間画素値や高解像画素値について、定義域の判定を行い、定義域に矛盾しない候補値から補間値を求める。補間値充当部153は、求めた補間値と既知の加算画素値とを合わせて、復元処理に必要な完備な加算画素値を生成する。高精細画像復元推定部160は、復元処理を行い、高精細画像の画素値vijを推定する。復元処理については、図11A、図11Bで詳細に後述する。高精細画像生成部170は、ベイヤ配列の画素値vijに対してデモザイキング処理を行い、RGBの高精細画像を生成する。高精細画像生成部170は、RGBの高精細画像に対して、種々の画像処理例えば高画質化処理を行ってもよい。高精細画像データ記録部180は、RGBの高精細画像を記録する。例えば、高精細画像データ記録部180は、データ記録部110と同一のリーダ/ライタにより構成される。画像出力部190は、高精細画像データを外部に出力するためのインターフェース部である。例えば、画像出力部190は、プリンター等の高精細画像を出力可能なデバイスに対して、データを出力する。なお、本実施形態は図3、4の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、データ圧縮部40や、データ伸張部115を省略してもよい。また、加算処理部30の機能が撮像素子20に内蔵され、撮像素子20が加算画素値を出力してもよい。また、第2補間処理部150は、ルックアップテーブルにより補間値を選択してもよい。この場合、候補値生成部151を省略し、補間値選択部152が、図示しないルックアップテーブル記憶部を参照して補間値を決めればよい。以上の実施形態によれば、画像処理装置は、画像取得部、リサンプリング処理部、補間処理部、推定処理部を含む。図1に示すように、加算画素値aijを取得する単位である加算単位が複数の画素例えば4画素毎に設定される。加算単位は、第1加算単位群例えば{a00、a40、a22、a04、a44}と第2加算単位群例えば{a20、a02、a42、a24}にグループ分けされる。この場合に、画像取得部は、第1加算単位群及び第2加算単位群の加算画素値を、複数のフレームの各フレームftt=T、T1、毎に交互に取得する。リサンプリング処理部は、各フレーム毎に、取得された加算画素値aijt実サンプリング値に対してリサンプリング処理を行い、第1加算単位群及び第2加算単位群の各加算単位についてリサンプリング値aijt’を求める。図2で説明したように、補間処理部は、複数のフレームの中の対象フレーム補間処理の対象となるフレーム。例えばfT3で未取得の加算画素値未知の加算画素値aijT3を、対象フレームの前又は後のフレーム例えば前のフレームfT2で取得された加算画素値に基づいて補間するか否かを、リサンプリング値aijt’の時系列的な変化に基づいて判定し、未取得の加算画素値aijT3を補間する。推定処理部は、対象フレームで取得された加算画素値、及び対象フレームで補間処理部により補間した加算画素値に基づいて、加算単位に含まれる画素の画素値vijを推定する。例えば本実施形態では、図4に示すように、データ記録部110からデータを読み出す不図示の読み出し部が、画像処理装置の画像取得部に対応する。即ち、図3に示すように、撮像装置の加算処理部30が第1、第2加算単位群を設定し、第1加算単位群の加算画素値を取得する。図4に示すように、画像処理装置は、そのデータをデータ記録部110から読み出すことにより、加算画素値実サンプリング値を取得する。また、リサンプリング処理部は図4のリサンプリング処理部146に対応し、補間処理部は図4の像静止期間検出部147、加算画素値置換部148に対応し、推定処理部は、図4の高精細画像復元推定部160に対応する。このようにすれば、リサンプリング値aijt’の時系列的な変化を見ることで、位置i,jにおいて被写体に動きがあるか否かを判定できる。動きが小さいと判定した場合に、前又は後のフレームにおいて取得された加算画素値に基づいて補間することで、真値に近いと推定される値で未知の4画素加算値を補間できる。これにより、画像の中で動きが小さい領域について、復元画像の高周波成分を改善できる。また本実施形態では、補間処理部は、対象フレーム例えばfT3でのリサンプリング値aijT3’と、前又は後のフレーム例えば前のフレームfT2でのリサンプリング値aijT2’との差が、所定値d以下である場合、対象フレームでの未取得の加算画素値aijT3を、前又は後のフレームで取得された加算画素値aijT2に基づいて補間する。より具体的には、補間処理部は、対象フレームでの未取得の加算画素値aijT3を、前又は後のフレームで取得された加算画素値aijT2に置換することで、補間を行う。このようにすれば、隣接フレームにおけるリサンプリング値の差が所定値d以下である場合に、位置i,jにおいて被写体の動きが小さいと判定できる。また、前又は後のフレームにおいて取得された加算画素値そのものを補間値とすることで、真値に近いと推定される加算画素値を補間値にできる。また本実施形態では、上式3で説明したように、補間処理部は、対象フレームでの未取得の加算画素値例えばaijT1を、前及び後のフレームで取得された加算画素値aijT、aijT2に基づいて補間してもよい。このようにすれば、被写体が少し動いており加算画素値が線形に変化する場合に、前後フレームの加算画素値から補間値を求めることで、より正確な補間値を採用することが可能になる。5.第2の補間手法次に、第1の補間手法で補間されなかった未知の加算画素値を補間する手法について詳細に説明する。なお以下では、未知の加算画素値a11が第1の補間手法で補間されなかった場合を例に説明するが、他の未知の4画素加算値aijが第1の補間手法で補間されなかった場合についても同様である。図5に示すように、未知の加算画素値a11は、隣接する既知の4画素加算値{a01,a10,a21,a12}を用いて補間する。隣接する4画素加算値{a01,a10,a21,a12}は、未知の4画素加算値a11と画素を共有しており、一方の値が変化すれば他方の値も変化する関係にある。この従属関係により尤度の高い補間値を求めることが可能となる。この点については、詳細に後述する。まず、未知の4画素加算値a11に対して複数の候補値a11[x]=a11[1]~a11[N]を生成する。Nは自然数であり、xはN以下の自然数である。候補値a11[x]は、4画素加算値aijの定義域広義には所定の範囲内の値である。例えば、Mを自然数として、画素値vijの定義域が[0,1,,M-1]である場合、4画素加算値aijの定義域は[0,1,,4M-1]である。この場合、N=4Mとし、定義域の全ての値を候補値a11[1]~a11[4M]=0~4M-1として発生させる。次に、候補値a11[x]と4画素加算値{a01,a10,a21,a12}を用いて、各候補値についてそれぞれ8つの2画素加算値を推定する。具体的には、図6Aに示すように、水平方向において、4画素加算値{a01,a11[x]}より2画素加算値{b01[x],b11[x]}を推定し、4画素加算値{a11[x],a21}より2画素加算値{b21[x],b31[x]}を推定する。また、垂直方向において、4画素加算値{a10,a11[x]}より2画素加算値{b10[x],b11[x]}を推定し、4画素加算値{a11[x],a12}より2画素加算値{b12[x],b13[x]}を推定する。2画素加算値広義には中間画素値の推定手法については、図11A、図11Bで詳細に後述する。次に、候補値a11[x]から求めた8つの2画素加算値が、2画素加算値の取り得る範囲に矛盾するか否かを判定する。例えば、画素値vijの定義域が[0,1,,M-1]である場合、2画素加算値bijの定義域は[0,1,,2M-1]である。この場合、8つの2画素加算値の中で1つでも下式4を満たさないものがあれば、その候補値a11[x]は、それに対応する2画素加算値が理論上成立しないということであるため、a11[x]を候補値から除外する。残った候補値が1つである場合には、その候補値を補間値a11とする。残った候補値が複数である場合には、その複数の候補値から補間値a11を求める。例えば、残った候補値の中で、隣接する4画素加算値{a01,a10,a21,a12}の平均値に最も近い値を、補間値a11とする。補間値a11が決まると、既知の4画素加算値{a01,a10,a21,a12}と合わせて完備な4画素加算値aijが得られる。この完備な4画素加算値aijに対して復元処理を適用することで、元の高解像画像の画素値vijを推定する。以上の実施形態によれば、図4に示すように、画像処理装置は第2補間処理部150を含む。第2補間処理部150は、補間処理部145により対象フレームでの未取得の加算画素値未知の加算画素値を補間しないと判定した場合、対象フレームで取得された加算画素値既知の加算画素値に基づいて未取得の加算画素値を補間する。このようにすれば、画像の中で被写体に動きがある領域についてはフレーム内で補間を行うことができる。これにより、被写体に動きがある領域については、1フレームの加算画素値に基づいて高解像画像を復元できるため、複数フレームの加算画素値を用いる場合よりも、より被写体の動きに強い復元処理が可能になる。また本実施形態では、図4に示すように、画像処理装置は、候補値生成部151、決定処理部候補値選択部152を含む。図5に示すように、画像取得部は、対象フレームで第1加算単位群の加算画素値{a10、a01、a21、a12}を取得する。候補値生成部151は、第2加算単位群の加算画素値例えばa11の候補として、複数の候補値a11[1]~a11[N]を生成する。決定処理部は、第1加算単位群の加算画素値{a10、a01、a21、a12}及び複数の候補値a11[1]~a11[N]に基づいて、第2加算単位群の加算画素値a11を決定する処理を行う。さて、1フレームのみを用いれば、複数フレームを用いる場合よりも、復元処理に用いるデータ量加算画素値の数が少なくなる可能性があり、データ量が少なければ復元処理の精度が低下する可能性がある。この点、本実施形態によれば、第2加算単位群を補間する際に複数の候補値を生成し、その中から、真値に近いと推定される高尤度の候補値を選択できる。これにより、少ないデータ量であっても復元精度を向上可能である。なお、本実施形態では、加算画素値aijが複数の画素値を加算した値であり、その複数の画素値を復元する場合を例に説明したが、加算画素値aijが1画素の画素値であり、その1画素を分割した複数画素の画素値を推定する場合にも適用可能である。即ち、撮像素子の画素ピッチ例えばpよりも小さいシフト量例えばp/2で機械的な画素シフトを行いながら画像を撮影し、その画像の1画素を加算画素値aijに対応させ、その1画素をシフト量に応じて分割した複数画素例えば22=4画素を推定すればよい。また本実施形態では、図5に示すように、第1加算単位群は、決定処理の対象である加算単位例えばa11と共通の画素を有する加算単位を、重畳加算単位{a10、a01、a21、a12}として含む。決定処理部は、複数の候補値a11[1]~a11[N]の中から、画素値vijの定義域[0~M-1]に基づく選択条件例えば上式4を満たす候補値を、重畳加算単位の加算画素値{a10、a01、a21、a12}に基づいて選択し、選択した候補値に基づいて決定処理を行う例えば選択された複数の候補値の平均値を最終的な値に決定する。このようにすれば、決定処理の対象である加算画素値a11と、それに隣接する重畳加算画素値{a10、a01、a21、a12}とが、共通の画素を有することにより従属するため、定義域に矛盾しない候補値を選択することで候補値を絞ることができる。この点については、図9、図10で詳細に後述する。より具体的には、加算単位は、複数の画素としてm×m画素mは2以上の自然数。例えばm=2を含む。この場合に、選択条件は、1×m画素又はm×1画素の画素値が加算された値である中間画素値bijが、画素値vijの定義域[0~M-1]に矛盾しないという条件上式4である。決定処理部は、複数の候補値の各候補値a11[x]それぞれについて、各候補値a11[x]及び重畳加算単位の加算画素値{a10、a01、a21、a12}に基づいて中間画素値bij[x]を求め、求めた中間画素値bij[x]が選択条件を満たす候補値a11[x]を選択する。このようにすれば、選択条件を満たす候補値を、重畳加算単位の加算画素値{a10、a01、a21、a12}に基づいて選択することができる。また、図11A、図11Bで後述するように、隣接する加算単位が共通の画素を有することにより中間画素値bijを推定することが可能となり、その中間画素値bijを用いて候補値を選択することが可能となる。また、本実施形態では、候補値生成部は、画素値vijの定義域[0~M-1]に基づいて加算画素値aijが取り得る範囲[0~4M-1]内の各値を、複数の候補値a11[1]~a11[N=4M]=0~4M-1として生成する。このようにすれば、加算画素値aijが取り得るあらゆる値の中から、真値に近いと推定される高尤度の候補値を選択することが可能となる。6.第3の補間手法次に、ルックアップテーブルを用いて未知の4画素加算値a11を補間する手法について説明する。この補間手法では、上記の第2の補間手法を用いて予めルックアップテーブルを用意しておく。具体的には、隣接する4画素加算値{a01,a10,a21,a12}として取り得る全ての組み合わせについて第2の補間手法を適用し、2画素加算値bijの定義域を満足する候補値a11[x]を絞り込む。この結果、4画素加算値{a01,a10,a21,a12}と候補値a11[x]の全ての取り得る組み合わせが求まる。図7に示すように、この組み合わせを候補値a11[x]について整理し、テーブル化する。即ち、a11[1]’~a11[N]’=1~Nとすると、a11[x]’には、a11[x]’を候補値として持つ4画素加算値{a01[x],a10[x],a21[x],a12[x]}が対応することになる。同一のa11[x]’に対して、複数の{a01[x],a10[x],a21[x],a12[x]}の組み合わせが対応することもあり得る。このようにテーブル化しておけば、処理の高速化の点で有効である。実際に撮影された既知の4画素加算値{a01,a10,a21,a12}から補間値a11を求める際には、まず、それらの4画素加算値とのユークリッド距離がゼロになるような4画素加算値{a01[x],a10[x],a21[x],a12[x]}を、ルックアップテーブルから探索する。そして、探索した4画素加算値に対応するa11[x]’を、未知の4画素加算値a11の補間値とすればよい。このとき、既知の4画素加算値{a01,a10,a21,a12}の組合せパターンに対して、複数のa11[x]’が探索される場合がある。その場合、探索された複数のa11[x]’をa11[x1]’,a11[x2]’,,a11[xn]’nは自然数とすれば、下式5に示すように、それらの平均値をとって補間値a11とすればよい。また、既知の4画素加算値{a01,a10,a21,a12}の組合せパターンが余りにも多すぎる場合がある。その場合、各成分の量子化を粗くした上で組合せパターンを削減した粗い離散パターンにしておき、隣接する既知の4画素加算値{a01,a10,a21,a12}が与えられたとき、それらとのユークリッド距離が最も近くなるような{a01[x],a10[x],a21[x],a12[x]}を探索するようにしてもよい。具体的には、次のように探索すればよい。即ち、既知の値からなるパターンベクトルをV=a01,a10,a21,a12とし、未知の4画素加算値a11[x]を変数として推定した値からなるパターンをV[x]=a01[x],a10[x],a21[x],a12[x]とする。下式6に示すように、VとV[x]の距離を誤差とする評価値E[x]を求める。この評価値E[x]が最小になるような推定値a11[x]を、尤もらしい補間値a11と判定し選択する。未知の4画素加算値a11[x]と、隣接する既知の4画素加算値{a01,a10,a21,a12}とは、互いに画素値が共有された重畳シフト加算値であるので、従属性が高く、且つ加算する元の画素値vijの取り得る範囲も限定されている。したがって、4画素加算値a11[x]が決まれば、隣接する4画素加算値として推定されるパターンV[x]=a01[x],a10[x],a21[x],a12[x]も所定の範囲で限定される。そのため、その推定パターンV[x]と既知の4画素加算値パターンVとが合致または類似性が最大になるような未知の4画素加算値a11[x]を見つければ、それを補間値a11の最尤度値とおおよそ見なす判別ことが可能である。即ち、図8に示すように、未知の4画素加算値a11[x]の変数に対し、上式6の誤差評価値E[x]が最小となるときの4画素加算値a11[x]を、最も尤度が高い補間値a11として特定する。なお、推定値パターンV[x]と既知の4画素加算値パターンVが一致した場合であっても、該当する未知の4画素加算値a11[x]が複数出現し、必ずしも一意的に特定できない場合がある。この場合、下記i、iiのいずれかの手法により、補間値a11を決定すればよい。iルックアップテーブルから得られた複数の候補値a11[x]の中から、隣接する既知の4画素加算値{a01,a10,a21,a12}の平均値により近い値を、補間値a11として選択する。iiルックアップテーブルから得られた複数の候補値a11[x]の平均値を、補間値a11とする。7.最尤度補間手法上述した第2、第3の補間手法では、最も真値に近いと推定される最尤度の補間値a11が決定される。この点について、原理的に説明する。図9に示すように、水平方向のサフィックスをXで表し、垂直方向のサフィックスをYで表し、簡単のため一方の方向について説明する場合には他方の方向についてサフィックスを省略する。画素や2画素加算値bX、bYに施したハッチングは、画素値を模式的に表したものであり、濃度が小さいハッチングほど画素値が大きい明るいことを表す。4画素加算値aX1=aY1は補間値であり、4画素加算値aX、aX2、aY、aY2は、既知の4画素加算値である。水平方向では4画素加算値aX~aX2から2画素加算値bX~bX3が推定され、垂直方向では4画素加算値aY~aY2から2画素加算値bY~bY3が推定される。図10Aに、補間値aX1が取り得る範囲を表した概念図を示す。図10Aに示すように、bX~bX3を4つの軸として表すとする。既知の4画素加算値aXは、下式7で表されることから、ベクトルbX,bX1を1,1軸に射影したものである。即ち、既知の4画素加算値aXが与えられたときに取り得るbX,bX1は、ラインL1上に存在することになる。同様に、既知の4画素加算値aX2が与えられたときに取り得るbX2,bX3は、ラインL2上に存在する。なお図面では、aXに1/√2を乗じて規格化して表している。以上によりbX1,bX2の取り得る範囲Q1が決まるので、その範囲を射影した4画素加算値aX1の取り得る範囲R1が決まる。第2の補間手法を例にとれば、4画素加算値aX1=a11の候補値として定義域の全ての値を発生し、各候補値についてbX~bX3を推定する。図10Aに示すように、その推定値の中で範囲Q1を満たさないものをbX1’,bX2’とすれば、既知のaXに対するbX’,bX1’の射影を考えるとbX’が負の値にならなければならない。このようなbX’は定義域を満たさないことから、bX1’,bX2’に対応する候補値は除外されることになる。即ち、範囲R1を満たす候補値のみが候補として残ることになる。このように未知の4画素加算値aX1の取り得る範囲R1を絞ることができるのは、隣接する4画素加算値aXと画素を共有しており、共有部分の2画素加算値bX1を介してaX1とaXの値が従属しているからである。図10Bに、垂直方向において補間値aY1が取り得る範囲を表した概念図を示す。水平方向における4画素加算値aX1と同様にして、4画素加算値aY1の取り得る範囲R2が決まる。aX1=aY1であるから、範囲R1とR2の共通領域が、補間値aX1=aY1として取り得る範囲となる。図9に示すように、ハッチングで表した画素値を考慮すれば、水平方向では既知のaX、aX2が中間値になっている。このような場合、図10Aに示すように範囲R1が比較的広くなり、補間値aX1の範囲が絞れない。一方、図9に示すように、垂直方向では既知のaY、aY2が小さい。このような場合、図10Bに示すように範囲R2が比較的狭くなり、補間値aY1の範囲が絞られる。このように、2つの異なる方向において定義域の判定を行うことにより、補間値の取り得る範囲、即ち候補値の数を絞ることが可能となる。さて、図10Bに示すように、bY1,bY2が真値に一致する確率が範囲Q2において均一に分布していると仮定する。この場合、bY1,bY2の射影である補間値aY1が真値である確率は、PY1に示すように範囲R2の中央付近において最大となる。そのため、定義域の判定により複数の候補値が残った場合には、その平均値を補間値aY1とすれば、PY1が最大付近となる補間値aY1を設定することが可能である。8.復元処理上述の補間処理により得られた加算画素値から高解像画像を復元推定する処理について詳細に説明する。なお以下では、加算画素値{a00、a10、a11、a01}を例に説明するが、他の加算画素値についても同様である。また、4画素加算を例に説明するが、例えば9画素加算等、他の画素数の場合にも適用可能である。図11Aに示す加算画素値aij4画素加算値は、補間処理により得られた補間値、及び既知の加算画素値に対応する。図11Bに示すように、まず加算画素値a00~a11から中間画素値b00~b212画素加算値を推定し、これらの中間画素値b00~b21から最終的な画素値v00~v22を推定する。水平方向の最初の行の中間画素値b00~b20を例にとり、中間画素値を推定する処理について説明する。中間画素値b00~b20は、水平方向の最初の行の加算画素値a00、a10に基づいて推定される。画素値a00、a10は下式8で表される。a00=v00v01v10v11,a10=v10v11v20v218下式9に示すように中間画素値b00、b10、b20を定義する。b00=v00v01,b10=v10v11,b20=v20v219次に、上式9を用いて上式8を変形すると、下式10が成り立つ。a00=b00b10,a10=b10b2010上式10をb10、b20について解くと、下式11が成り立ち、中間画素値b10、b20はb00を未知数初期変数とする関数として表される。b00=未知数,b10=a00-b00,b20=b00δi0=b00a10-a0011次に、画素値のパターン{a00,a10}と中間画素値のパターン{b00,b10,b20}を比較し、その類似性が最も高い場合の未知数b00を求める。具体的には、下式12に示す評価関数Ejを求め、その評価関数Ejが最小となる未知数b00を導出する。得られたb00の値を上式11に代入し、中間画素値b10、b20を求める。次に、垂直方向の最初の列を例にとり、中間画素値bijを用いて推定画素値vijを求める手法について説明する。推定画素値vijは、中間画素値bijを求めた手法と同様に求められる。即ち、上式10を下式13に置き換えれば、以降の処理は同様である。b00=v00v01,b01=v01v0213以上の実施形態によれば、図11Aに示すように、第1のポジションに設定された第1の加算単位例えばa00と、第1のポジションがシフトされた第2のポジションに設定された第2の加算単位例えばa10は重畳する。上式11に示すように、推定演算部図4の高精細画像復元推定部160は、第1、第2の加算単位の画素値が加算された第1、第2の加算画素値a00、a10の差分値δi0を求める。図11Bに示すように、第1の中間画素値b00は、加算単位a00から重畳領域v10、v11を除いた第1の領域v00、v01の加算画素値である。第2の中間画素値b20は、加算単位a10から重畳領域v10、v11を除いた第2の領域v20、v21の加算画素値である。上式11に示すように、推定演算部は、第1、第2の中間画素値b00、b20の関係式を、差分値δi0を用いて表し、その関係式を用いて第1、第2の中間画素値b00、b20を推定する。推定演算部は、推定した第1の中間画素値b00を用いて、加算単位に含まれる各画素の画素値v00、v10、v11、v01を求める。このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、2次元フィルタの繰り返し演算等の複雑な処理が不要となる。ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図11Aに示すように、加算単位a00と加算単位a10が、2つの推定画素v10、v11を共有することである。また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ画像データ上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。また本実施形態では、第1、第2の中間画素値例えばb00、b20を含む連続する中間画素値を中間画素値パターンb00、b10、b20とする。上式11に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第1、第2の加算画素値a00、a10を用いて表し、中間画素値の間の関係式で表された中間画素値パターンと、第1、第2の加算画素値とを比較して類似性を評価する。推定演算部は、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値b00、b10、b20を決定する。このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列データの組みである。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。"