"加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群の前記加算画素値を取得する画像取得部と、前記第2加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、前記第1加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第2加算単位群の前記加算画素値の決定処理を行う決定処理部と、前記第1加算単位群の前記加算画素値、及び前記第2加算単位群の前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含むことを特徴とする画像処理装置。請求項1において、前記第1加算単位群は、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記決定処理部は、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行うことを特徴とする画像処理装置。請求項2において、前記選択条件は、前記加算単位が前記複数の画素としてm×m画素mは2以上の自然数を含む場合に、1×m画素又はm×1画素の画素値が加算された値である中間画素値が、前記画素値の前記定義域に矛盾しないという条件であり、前記決定処理部は、前記複数の候補値の各候補値それぞれについて、前記各候補値及び前記重畳加算単位の前記加算画素値に基づいて前記中間画素値を求め、求めた前記中間画素値が前記選択条件を満たす候補値を選択することを特徴とする画像処理装置。請求項2又は3において、前記重畳加算単位は、前記決定処理の対象である前記加算単位に対して、水平方向及び垂直方向に隣接し、前記決定処理部は、前記水平方向に隣接する前記重畳加算単位に基づいて推定した前記中間画素値と、前記垂直方向に隣接する前記重畳加算単位に基づいて推定した前記中間画素値とが、ともに前記選択条件を満たす候補値を選択することを特徴とする画像処理装置。請求項1乃至4のいずれかにおいて、前記候補値生成部は、前記画素値の前記定義域に基づいて前記加算画素値が取り得る範囲内の各値を、前記複数の候補値として生成することを特徴とする画像処理装置。請求項1乃至4のいずれかにおいて、前記画像取得部は、処理対象フレームにおいて前記第1加算単位群の前記加算画素値を取得し、前記処理対象フレームの前後フレームにおいて前記第2加算単位群の前記加算画素値を取得し、前記候補値生成部は、前記処理対象フレームにおいて取得されない前記第2加算単位群の前記加算画素値を、前記前後フレームにおいて取得された前記加算画素値に基づいて補間した値、及び、前記処理対象フレームにおいて取得された前記加算画素値に基づいて補間した値を、前記複数の候補値として生成することを特徴とする画像処理装置。加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群の前記加算画素値を取得する画像取得部と、生成された複数の候補値の中から予め前記第1加算単位群の前記加算画素値に応じて決定された前記第2加算単位群の前記加算画素値をルックアップテーブルとして記憶し、前記ルックアップテーブルを参照することにより前記第2加算単位群の前記加算画素値の決定処理を行う決定処理部と、前記第1加算単位群の前記加算画素値、及び前記第2加算単位群の前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含むことを特徴とする画像処理装置。請求項7において、前記第1加算単位群は、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記ルックアップテーブルは、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択された前記候補値に基づいて、前記決定処理の対象である前記加算単位の前記加算画素値を決定することにより生成されることを特徴とする画像処理装置。請求項1乃至8のいずれかにおいて、前記決定処理部は、前記複数の候補値の中から選択条件を満たす候補値を選択し、前記推定処理部は、前記決定処理部により選択された前記候補値、及び前記画像取得部により取得された前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定し、前記決定処理部は、推定された前記画素値を加算して前記加算画素値を求め、求めた前記加算画素値と、前記画像取得部により取得された前記加算画素値とを比較し、比較結果に基づいて前記候補値を更に絞ることを特徴とする画像処理装置。請求項1乃至9のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群の前記加算画素値を取得し、前記第2加算単位群の前記加算画素値の候補として、複数の候補値を生成し、前記第1加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第2加算単位群の前記加算画素値の決定処理を行い、前記第1加算単位群の前記加算画素値、及び前記第2加算単位群の前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定することを特徴とする画像処理方法。さて、複数フレームの低解像画像を用いて超解像処理を行う例えば特許文献3に開示される手法と、動きのある被写体を超解像処理したときに例えば像流れが生じる等、画質が劣化するという課題がある。本発明の幾つかの態様によれば、動きのある被写体を高画質に高精細化可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。本発明の一態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群の前記加算画素値を取得する画像取得部と、前記第2加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、前記第1加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第2加算単位群の前記加算画素値を決定する処理を行う決定処理部と、前記第1加算単位群の前記加算画素値、及び前記第2加算単位群の前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含む画像処理装置に関係する。本発明の一態様によれば、第2加算単位群の加算画素値の候補として複数の候補値が生成され、生成された複数の候補値、及び取得された第1加算単位群の加算画素値に基づいて、第2加算単位群の加算画素値が決定される。決定された第2加算単位群の加算画素値、及び取得された第1加算単位群の加算画素値に基づいて、加算単位に含まれる画素の画素値が推定される。これにより、動きのある被写体を高画質に高精細化することが可能になる。また本発明の一態様では、前記第1加算単位群は、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記決定処理部は、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行ってもよい。また本発明の一態様では、前記選択条件は、前記加算単位が前記複数の画素としてm×m画素mは2以上の自然数を含む場合に、1×m画素又はm×1画素の画素値が加算された値である中間画素値が、前記定義域に矛盾しないという条件であり、前記決定処理部は、前記複数の候補値の各候補値それぞれについて、前記各候補値及び前記重畳加算単位の前記加算画素値に基づいて前記中間画素値を求め、求めた前記中間画素値が前記選択条件を満たす候補値を選択してもよい。また本発明の一態様では、前記重畳加算単位は、前記決定処理の対象である前記加算単位に対して、水平方向及び垂直方向に隣接し、前記決定処理部は、前記水平方向に隣接する前記重畳加算単位に基づいて推定した前記中間画素値と、前記垂直方向に隣接する前記重畳加算単位に基づいて推定した前記中間画素値とが、ともに前記選択条件を満たす候補値を選択してもよい。また本発明の一態様では、前記候補値生成部は、前記定義域に基づいて前記加算画素値が取り得る範囲内の各値を、前記複数の候補値として生成してもよい。また本発明の一態様では、前記画像取得部は、処理対象フレームにおいて前記第1加算単位群の前記加算画素値を取得し、前記処理対象フレームの前後フレームにおいて前記第2加算単位群の前記加算画素値を取得し、前記候補値生成部は、前記処理対象フレームにおいて取得されない前記第2加算単位群の前記加算画素値を、前記前後フレームにおいて取得された前記加算画素値に基づいて補間した値、及び、前記処理対象フレームにおいて取得された前記加算画素値に基づいて補間した値を、前記複数の候補値として生成してもよい。また本発明の他の態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群の前記加算画素値を取得する画像取得部と、生成された複数の候補値の中から予め前記第1加算単位群の前記加算画素値に応じて決定された前記第2加算単位群の前記加算画素値をルックアップテーブルとして記憶し、前記ルックアップテーブルを参照することにより前記第2加算単位群の前記加算画素値を決定する処理を行う決定処理部と、前記第1加算単位群の前記加算画素値、及び前記第2加算単位群の前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含む画像処理装置に関係する。また本発明の他の態様では、前記第1加算単位群は、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記ルックアップテーブルは、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択された前記候補値に基づいて、前記決定処理の対象である前記加算単位の前記加算画素値を決定することにより生成されてもよい。また本発明の一態様及び他の態様では、前記決定処理部は、前記複数の候補値の中から選択条件を満たす候補値を選択し、前記推定処理部は、前記決定処理部により選択された前記候補値、及び前記画像取得部により取得された前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定し、前記決定処理部は、推定された前記画素値を加算して前記加算画素値を求め、求めた前記加算画素値と、前記画像取得部により取得された前記加算画素値とを比較し、比較結果に基づいて前記候補値を更に絞ってもよい。また本発明の更に他の態様は、上記のいずれかに記載の画像処理装置を含む撮像装置に関係する。また本発明の更に他の態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第1加算単位群と第2加算単位群にグループ分けされる場合に、前記第1加算単位群の前記加算画素値を取得し、前記第2加算単位群の前記加算画素値の候補として、複数の候補値を生成し、前記第1加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第2加算単位群の前記加算画素値を決定する処理を行い、前記第1加算単位群の前記加算画素値、及び前記第2加算単位群の前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する画像処理方法に関係する。以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。また、以下において加算画素値という隣接画素の加算値を前提に発明の説明を行っているが、最小画素単位の画素ピッチ以下の画素ずらしによって得られる画素値であっても、それを本発明における加算画素値と見なせば、最小画素単位以下の超解像画素値の値を求めることができることは言うまでもない。1.本実施形態の概要昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。しかしながら、ボタン操作が必要であるため、決定的瞬間の静止画をタイミングよく撮影することが難しいという課題がある。この決定的瞬間の撮影を実現するために、超解像処理を利用して、撮影した動画から事後的に任意タイミングの高解像画像を生成する手法が考えられる。従来の超解像処理として、例えば上述のML法等や特許文献1、2に開示される手法がある。しかしながら、ML法等や特許文献1に開示される手法では、フィルタ演算の繰り返しにより処理負荷が大きいという課題があり、特許文献2に開示される手法では、画素値を推定する際に初期値を上手く特定できないと推定誤差が非常に大きくなるという課題がある。そこで、本実施形態では、図18A、図18Bで後述する手法を用いて高解像画像を復元する。この手法では、互いに画素を共有する加算画素値aijを、まず水平又は垂直方向のうち一方の方向に高解像化し、中間画素値bijを求める。そして、もう一方の方向に中間画素値bijを高解像化することにより、画素値vijを求める。この手法により、従来の超解像処理に比べて簡素な処理で高解像画像を得ることができる。加算画素値aijを取得する手法としては、例えば特許文献3に開示されるように、画素シフトを行いながらa00、a10、a11、a01をそれぞれ別個のフレームで時系列的に撮影する手法がある。しかしながら、高解像画像を復元するために4フレームの低解像画像を用いることになるため、動きのある被写体では復元精度が低下するという課題がある。そこで、本実施形態では、図1に示すように、1フレームで取得した既知の加算画素値a10等を用いて、そのフレームで取得されていない未知の加算画素値a11等を補間し、既知及び補間された加算画素値から高解像画像を復元する。補間の際には、隣接する既知の加算画素値に基づいて、複数の候補値の中から真値に近いと推定される尤もらしい候補値を選択する。このようにすれば、1フレームの低解像画像から復元を行うため、動きのある被写体に対して復元精度を向上例えば像流れ等を抑制できる。また、候補値の選択を行うことで、補間値を真値に近づけることが可能であるため、復元画像を現実の画像により近づけることが可能となる。2.第1の補間手法次に、1フレームで取得されていない未知の加算画素値a11等を補間する手法について詳細に説明する。ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において画像が処理されるタイミングである。あるいは、動画データにおける各画像も適宜フレームと呼ぶ。図1に示すように、1フレームの撮影において、市松状に加算画素値aijが取得される。i、jはゼロ以上の整数であり、それぞれ水平走査方向、垂直走査方向における画素の位置又は座標を表す。市松状とは、任意のi、jに対して全ての加算画素値aijがそろった状態を完備な状態とすると、完備な加算画素値aijのうちi、jともに1つおきに加算画素値aijが取得された状態である。例えば、偶数のiにおいてjが奇数であり、奇数のiにおいてjが偶数であるaijのみが取得された状態、あるいは、偶数のiにおいてjが偶数であり、奇数のiにおいてjが奇数であるaijのみが取得された状態である。加算画素値aijは、4つの画素値{vij,vi1j,vi1j1,vij1}が単純加算又は重み付け加算された値である。4つの画素は、同色画素であってもよいし、異色画素であってもよい。なお以下では、適宜、加算画素値aijを4画素加算値とも呼ぶ。1フレームの撮影において取得されなかった未知の4画素加算値a11は、隣接する既知の4画素加算値{a01,a10,a21,a12}を用いて補間する。以下ではa11を例にとって説明するが、他の未知の4画素加算値aijについても同様である。隣接する4画素加算値{a01,a10,a21,a12}は、未知の4画素加算値a11と画素を共有しており、一方の値が変化すれば他方の値も変化する関係にある。この従属関係により尤度の高い補間値を求めることが可能となる。この点については、詳細に後述する。まず、未知の4画素加算値a11に対して複数の候補値a11[x]=a11[1]~a11[N]を生成する。Nは自然数であり、xはN以下の自然数である。候補値a11[x]は、4画素加算値aijの定義域広義には所定の範囲内の値である。例えば、Mを自然数として、画素値vijの定義域が[0,1,,M-1]である場合、4画素加算値aijの定義域は[0,1,,4M-1]である。この場合、N=4Mとし、定義域の全ての値を候補値a11[1]~a11[4M]=0~4M-1として発生させる。次に、候補値a11[x]と4画素加算値{a01,a10,a21,a12}を用いて、各候補値についてそれぞれ8つの2画素加算値を推定する。具体的には、図2Aに示すように、水平方向において、4画素加算値{a01,a11[x]}より2画素加算値{b01[x],b11[x]}を推定し、4画素加算値{a11[x],a21}より2画素加算値{b21[x],b31[x]}を推定する。また、垂直方向において、4画素加算値{a10,a11[x]}より2画素加算値{b10[x],b11[x]}を推定し、4画素加算値{a11[x],a12}より2画素加算値{b12[x],b13[x]}を推定する。2画素加算値広義には中間画素値の推定手法については、図18A、図18Bで詳細に後述する。次に、候補値a11[x]から求めた8つの2画素加算値が、2画素加算値の取り得る範囲に矛盾するか否かを判定する。例えば、画素値vijの定義域が[0,1,,M-1]である場合、2画素加算値bijの定義域は[0,1,,2M-1]である。この場合、8つの2画素加算値の中で1つでも下式1を満たさないものがあれば、その候補値a11[x]は、それに対応する2画素加算値が理論上成立しないということであるため、a11[x]を候補値から除外する。残った候補値が1つである場合には、その候補値を補間値a11とする。残った候補値が複数である場合には、その複数の候補値から補間値a11を求める。例えば、残った候補値の中で、隣接する4画素加算値{a01,a10,a21,a12}の平均値に最も近い値を、補間値a11とする。補間値a11が決まると、既知の4画素加算値{a01,a10,a21,a12}と合わせて完備な4画素加算値aijが得られる。この完備な4画素加算値aijに対して、図18A、図18Bで後述する復元処理を適用することで、元の高解像画像の画素値vijを推定する。以上の実施形態によれば、画像処理装置は、画像取得部、候補値生成部、決定処理部、推定処理部を含む。図1に示すように、加算画素値aijを取得する単位である加算単位が複数の画素例えば4画素毎に設定される。加算単位は、第1加算単位群例えば{a10、a01、a21、a12}と第2加算単位群例えば{a00、a20、a11、a02、a22}にグループ分けされる。この場合に、画像取得部は、第1加算単位群の加算画素値を取得する。候補値生成部は、第2加算単位群の加算画素値例えばa11の候補として、複数の候補値a11[1]~a11[N]を生成する。決定処理部は、第1加算単位群の加算画素値{a10、a01、a21、a12}及び複数の候補値a11[1]~a11[N]に基づいて、第2加算単位群の加算画素値a11を決定する処理を行う。推定処理部は、第1加算単位群の加算画素値{a10、a01、a21、a12}、及び第2加算単位群の加算画素値a11に基づいて、加算単位に含まれる画素の画素値vijを推定する。例えば本実施形態では、図20に示すように、データ記録部110からデータを読み出す不図示の読み出し部が、画像処理装置の画像取得部に対応する。即ち、図19で後述するように、撮像装置の加算処理部30が第1、第2加算単位群を設定し、第1加算単位群の加算画素値を取得する。図20で後述するように、画像処理装置は、そのデータをデータ記録部110から読み出すことにより、第1加算単位群の加算画素値を取得する。また、候補値生成部、決定処理部、推定処理部は、それぞれ図20の候補値生成部151、補間値選択部152、高精細画像復元推定部160に対応する。このようにすれば、1フレームの加算画素値に基づいて高解像画像を復元できるため、複数フレームの加算画素値を用いる場合よりも、より被写体の動きに強い復元処理が可能になる。また、1フレームのみを用いれば、複数フレームを用いる場合よりも、復元処理に用いるデータ量加算画素値の数が少なくなる可能性があり、データ量が少なければ復元処理の精度が低下する可能性がある。この点、本実施形態によれば、第2加算単位群を補間する際に複数の候補値を生成し、その中から、真値に近いと推定される高尤度の候補値を選択できる。これにより、少ないデータ量であっても復元精度を向上可能である。なお、本実施形態では、加算画素値aijが複数の画素値を加算した値であり、その複数の画素値を復元する場合を例に説明したが、加算画素値aijが1画素の画素値であり、その1画素を分割した複数画素の画素値を推定する場合にも適用可能である。即ち、撮像素子の画素ピッチ例えばpよりも小さいシフト量例えばp/2で機械的な画素シフトを行いながら画像を撮影し、その画像の1画素を加算画素値aijに対応させ、その1画素をシフト量に応じて分割した複数画素例えば22=4画素を推定してもよい。また本実施形態では、図1に示すように、第1加算単位群は、決定処理の対象である加算単位例えばa11と共通の画素を有する加算単位を、重畳加算単位{a10、a01、a21、a12}として含む。決定処理部は、複数の候補値a11[1]~a11[N]の中から、画素値vijの定義域[0~M-1]に基づく選択条件例えば上式1を満たす候補値を、重畳加算単位の加算画素値{a10、a01、a21、a12}に基づいて選択し、選択した候補値に基づいて決定処理を行う例えば選択された複数の候補値の平均値を最終的な値に決定する。このようにすれば、決定処理の対象である加算画素値a11と、それに隣接する重畳加算画素値{a10、a01、a21、a12}とが、共通の画素を有することにより従属するため、定義域に矛盾しない候補値を選択することで候補値を絞ることができる。この点については、図5~図8で詳細に後述する。より具体的には、加算単位は、複数の画素としてm×m画素mは2以上の自然数。例えばm=2を含む。この場合に、選択条件は、1×m画素又はm×1画素の画素値が加算された値である中間画素値bijが、画素値vijの定義域[0~M-1]に矛盾しないという条件上式1である。決定処理部は、複数の候補値の各候補値a11[x]それぞれについて、各候補値a11[x]及び重畳加算単位の加算画素値{a10、a01、a21、a12}に基づいて中間画素値bij[x]を求め、求めた中間画素値bij[x]が選択条件を満たす候補値a11[x]を選択する。このようにすれば、選択条件を満たす候補値を、重畳加算単位の加算画素値{a10、a01、a21、a12}に基づいて選択することができる。また、図18A、図18Bで後述するように、隣接する加算単位が共通の画素を有することにより中間画素値bijを推定することが可能となり、その中間画素値bijを用いて候補値を選択することが可能となる。また、本実施形態では、候補値生成部は、画素値vijの定義域[0~M-1]に基づいて加算画素値aijが取り得る範囲[0~4M-1]内の各値を、複数の候補値a11[1]~a11[N=4M]=0~4M-1として生成する。このようにすれば、加算画素値aijが取り得るあらゆる値の中から、真値に近いと推定される高尤度の候補値を選択することが可能となる。3.第2の補間手法次に、ルックアップテーブルを用いて未知の4画素加算値a11を補間する手法について説明する。この補間手法では、第1の補間手法を用いて予めルックアップテーブルを用意しておく。具体的には、隣接する4画素加算値{a01,a10,a21,a12}として取り得る全ての組み合わせについて第1の補間手法を適用し、2画素加算値bijの定義域を満足する候補値a11[x]を絞り込む。この結果、4画素加算値{a01,a10,a21,a12}と候補値a11[x]の全ての取り得る組み合わせが求まる。図3に示すように、この組み合わせを候補値a11[x]について整理し、テーブル化する。即ち、a11[1]’~a11[N]’=1~Nとすると、a11[x]’には、a11[x]’を候補値として持つ4画素加算値{a01[x],a10[x],a21[x],a12[x]}が対応することになる。同一のa11[x]’に対して、複数の{a01[x],a10[x],a21[x],a12[x]}の組み合わせが対応することもあり得る。このようにテーブル化しておけば、処理の高速化の点で有効である。実際に撮影された既知の4画素加算値{a01,a10,a21,a12}から補間値a11を求める際には、まず、それらの4画素加算値とのユークリッド距離がゼロになるような4画素加算値{a01[x],a10[x],a21[x],a12[x]}を、ルックアップテーブルから探索する。そして、探索した4画素加算値に対応するa11[x]’を、未知の4画素加算値a11の補間値とすればよい。このとき、既知の4画素加算値{a01,a10,a21,a12}の組合せパターンに対して、複数のa11[x]’が探索される場合がある。その場合、探索された複数のa11[x]’をa11[x1]’,a11[x2]’,,a11[xn]’nは自然数とすれば、下式2に示すように、それらの平均値をとって補間値a11とすればよい。また、既知の4画素加算値{a01,a10,a21,a12}の組合せパターンが余りにも多すぎる場合がある。その場合、各成分の量子化を粗くした上で組合せパターンを削減した粗い離散パターンにしておき、隣接する既知の4画素加算値{a01,a10,a21,a12}が与えられたとき、それらとのユークリッド距離が最も近くなるような{a01[x],a10[x],a21[x],a12[x]}を探索するようにしてもよい。具体的には、次のように探索すればよい。即ち、既知の値からなるパターンベクトルをV=a01,a10,a21,a12とし、未知の4画素加算値a11[x]を変数として推定した値からなるパターンをV[x]=a01[x],a10[x],a21[x],a12[x]とする。下式3に示すように、VとV[x]の距離を誤差とする評価値E[x]を求める。この評価値E[x]が最小になるような推定値a11[x]を、尤もらしい補間値a11と判定し選択する。未知の4画素加算値a11[x]と、隣接する既知の4画素加算値{a01,a10,a21,a12}とは、互いに画素値が共有された重畳シフト加算値であるので、従属性が高く、且つ加算する元の画素値vijの取り得る範囲も限定されている。したがって、4画素加算値a11[x]が決まれば、隣接する4画素加算値として推定されるパターンV[x]=a01[x],a10[x],a21[x],a12[x]も所定の範囲で限定される。そのため、その推定パターンV[x]と既知の4画素加算値パターンVとが合致または類似性が最大になるような未知の4画素加算値a11[x]を見つければ、それを補間値a11の最尤度値とおおよそ見なす判別ことが可能である。即ち、図4に示すように、未知の4画素加算値a11[x]の変数に対し、上式3の誤差評価値E[x]が最小となるときの4画素加算値a11[x]を、最も尤度が高い補間値a11として特定する。なお、推定値パターンV[x]と既知の4画素加算値パターンVが一致した場合であっても、該当する未知の4画素加算値a11[x]が複数出現し、必ずしも一意的に特定できない場合がある。この場合、下記i、iiのいずれかの手法により、補間値a11を決定すればよい。iルックアップテーブルから得られた複数の候補値a11[x]の中から、隣接する既知の4画素加算値{a01,a10,a21,a12}の平均値により近い値を、補間値a11として選択する。iiルックアップテーブルから得られた複数の候補値a11[x]の平均値を、補間値a11とする。4.検算により候補値を選択する手法上述した第1、第2の補間手法では、定義域に矛盾しない候補値が複数残る場合がある。このような場合に、検算を行うことにより更に候補値を絞ってもよい。具体的には、定義域を判定して残った候補値a11[x]のそれぞれについて復元処理を行い、画素値vijを求める。下式4に示すように、画素値vijから4画素加算値a01’を求める。下式6に示すように、候補値から得た4画素加算値a01’と、既知の4画素加算値a01とを比較し、差が所定値φ以下でなければ、その候補値を除く。この検算を各候補値について行い、下式5を満たす候補値のみを残す。なお、他の隣接する既知の4画素加算値{a10,a21,a12}について検算を行ってもよい。以上の実施形態によれば、推定処理部は、決定処理部により選択された候補値aij[x]、及び画像取得部により取得された加算画素値aijに基づいて、加算単位例えばa01に含まれる画素の画素値{v00,v01,v10,v11}を推定する。決定処理部は、推定された画素値{v00,v01,v10,v11}を加算して加算画素値a01’を求め上式4、求めた加算画素値a01’と、画像取得部により取得された加算画素値a01とを比較し上式5、比較結果に基づいて候補値を更に絞る。このようにすれば、復元した高解像画像の画素値が、実際に撮影された加算画素値と整合するか否かを検算することができる。定義域により選択された候補値の中から、さらに検算を行うことにより、候補値を選択することができる。5.最尤度補間手法上述した第1、第2の補間手法では、最も真値に近いと推定される最尤度の補間値a11が決定される。この点について、原理的に説明する。図5に示すように、水平方向のサフィックスをXで表し、垂直方向のサフィックスをYで表し、簡単のため一方の方向について説明する場合には他方の方向についてサフィックスを省略する。画素や2画素加算値bX、bYに施したハッチングは、画素値を模式的に表したものであり、濃度が小さいハッチングほど画素値が大きい明るいことを表す。4画素加算値aX1=aY1は補間値であり、4画素加算値aX、aX2、aY、aY2は、既知の4画素加算値である。水平方向では4画素加算値aX~aX2から2画素加算値bX~bX3が推定され、垂直方向では4画素加算値aY~aY2から2画素加算値bY~bY3が推定される。図6Aに、補間値aX1が取り得る範囲を表した概念図を示す。図6Aに示すように、bX~bX3を4つの軸として表すとする。既知の4画素加算値aXは、下式6で表されることから、ベクトルbX,bX1を1,1軸に射影したものである。即ち、既知の4画素加算値aXが与えられたときに取り得るbX,bX1は、ラインL1上に存在することになる。同様に、既知の4画素加算値aX2が与えられたときに取り得るbX2,bX3は、ラインL2上に存在する。なお図面では、aXに1/√2を乗じて規格化して表している。以上によりbX1,bX2の取り得る範囲Q1が決まるので、その範囲を射影した4画素加算値aX1の取り得る範囲R1が決まる。第1の補間手法を例にとれば、4画素加算値aX1=a11の候補値として定義域の全ての値を発生し、各候補値についてbX~bX3を推定する。図6Aに示すように、その推定値の中で範囲Q1を満たさないものをbX1’,bX2’とすれば、既知のaXに対するbX’,bX1’の射影を考えるとbX’が負の値にならなければならない。このようなbX’は定義域を満たさないことから、bX1’,bX2’に対応する候補値は除外されることになる。即ち、範囲R1を満たす候補値のみが候補として残ることになる。このように未知の4画素加算値aX1の取り得る範囲R1を絞ることができるのは、隣接する4画素加算値aXと画素を共有しており、共有部分の2画素加算値bX1を介してaX1とaXの値が従属しているからである。図6Bに、垂直方向において補間値aY1が取り得る範囲を表した概念図を示す。水平方向における4画素加算値aX1と同様にして、4画素加算値aY1の取り得る範囲R2が決まる。aX1=aY1であるから、範囲R1とR2の共通領域が、補間値aX1=aY1として取り得る範囲となる。図5に示すように、ハッチングで表した画素値を考慮すれば、水平方向では既知のaX、aX2が中間値になっている。このような場合、図6Aに示すように範囲R1が比較的広くなり、補間値aX1の範囲が絞れない。一方、図5に示すように、垂直方向では既知のaY、aY2が小さい。このような場合、図6Bに示すように範囲R2が比較的狭くなり、補間値aY1の範囲が絞られる。このように、2つの異なる方向において定義域の判定を行うことにより、補間値の取り得る範囲、即ち候補値の数を絞ることが可能となる。さて、図6Bに示すように、bY1,bY2が真値に一致する確率が範囲Q2において均一に分布していると仮定する。この場合、bY1,bY2の射影である補間値aY1が真値である確率は、PY1に示すように範囲R2の中央付近において最大となる。そのため、定義域の判定により複数の候補値が残った場合には、その平均値を補間値aY1とすれば、PY1が最大付近となる補間値aY1を設定することが可能である。図7に、図5と画素値の配置が異なる場合の例を示す。図7の例では、4画素加算値aXの画素値が小さく、4画素加算値aX2の画素値が大きい。この場合、図8に示すようにbX1、bX2の取り得る範囲はともに狭くなるため、補間値aX1の取り得る範囲R3も狭い範囲に制限される。6.第3の補間手法次に、フレーム間補間及びフレーム内補間により候補値を生成する補間手法について説明する。図9に、フレーム間補間により候補値を生成する手法についての説明図を示す。なお以下では、ベイヤ配列の撮像素子を用い、R色の同色画素ハッチングを施した画素vijを加算して4画素加算値を取得する場合を例に説明するが、Gr、Gb、Bの各色についても同様である。また、本実施形態はこれに限定されず、RGrGbBの異色画素を加算して4画素加算値を取得する場合や、モノクロの撮像素子を用いる場合にも適用可能である。図9に示すように、フレームfT-1、fT、fT1において、市松状に4画素加算値がサンプリングされる。フレームfTと、その前後のフレームfT-1、fT1では、完備な4画素加算値に対して互いに補間するように4画素加算値がサンプリングされる。フレームfTが超解像処理を行いたいフレームであるとすると、フレームfTにおいてサンプリングされていない未知の4画素加算値aRijTが補間対象となる。前後フレームfT-1、fT1では、aRijTに対応する4画素加算値aRijT-1、aRijT1は、実際にサンプリングされた既知の4画素加算値である。この4画素加算値aRijT-1、aRijT1を用いて4画素加算値aRijTを補間することにより、第1の候補値aRijT[1]を生成する。例えば、aRijT[1]は、aRijT-1、aRijT1の平均値である。図10に示すように、第2、第3の候補値aRij[2]、aRij[3]は、フレーム内補間により生成する。フレームfTにおけるaR22以下ではサフィックスTを省略を例にとると、水平方向に隣接する既知の4画素加算値{aR02,aR42}からaR22を補間し、第2の候補値aR22[2]を求める。例えば、aR22[2]は{aR02,aR42}の平均値である。垂直方向に隣接する既知の4画素加算値{aR20,aR24}からaR22を補間し、第3の候補値aR22[3]を求める。例えば、aR22[3]は{aR20,aR24}の平均値である。このようにして生成した候補値aR22[1]~aR22[3]のそれぞれについて、2画素加算値bij[x]x=1,2,3を推定する。そして、bij[x]について定義域による判定を行い、選択した候補値を補間値aR22に決定する。図11に示すように、補間値が決まれば完備な4画素加算値が得られるので、復元処理を適用して高解像なR色の画素値rRijが得られる。以上の実施形態によれば、図9に示すように、画像取得部は、処理対象フレームfTにおいて第1加算単位群の加算画素値{aR10、aR01、aR21、aR12}を取得し、処理対象フレームfTの前後フレームfT-1、fT1において第2加算単位群の加算画素値{aR00、aR20、aR11、aR02、aR22}を取得する。図9、図10で説明したように、候補値生成部は、処理対象フレームfTにおいて取得されない第2加算単位群の加算画素値例えばaR11を、前後フレームfT-1、fT1において取得された加算画素値に基づいて補間した値aR11[1]、及び、処理対象フレームfTにおいて取得された加算画素値に基づいて補間した値aR11[2]、aR11[3]を、複数の候補値として生成する。さて、本実施形態は動きのある被写体を高画質に復元処理できるが、静止した又は動きの小さい被写体において1フレーム内で空間的に補間すると、復元画像の高周波成分が減少する可能性がある。この点、本実施形態によれば、前後フレームから補間した値aR11[1]を候補値に含む。静止した被写体の場合、前後フレームから補間した候補値aR11[1]がより真値に近いと推定されるため、その候補値aR11[1]を用いることで、高周波成分をより多く含む画像を復元することが可能となる。7.第4の補間手法2つの補間値についてそれぞれ複数の候補値を生成し、それらを組み合わせて定義域の判定を行い、候補値を選択する補間手法について説明する。図12Aに示すように、複数の未知の4画素加算値aR52、aR34について、フレーム内補間により候補値を生成する。具体的には、水平方向において、既知の4画素加算値{aR32,aR72}からaR52を補間し、既知の4画素加算値{aR14,aR54}からaR34を補間し、これらの補間値を第1の候補値aR52[1]、aR34[1]とする。図12Bに示すように、垂直方向において、既知の4画素加算値{aR50,aR54}からaR52を補間し、既知の4画素加算値{aR32,aR36}からaR34を補間し、これらの補間値を第2の候補値aR52[2]、aR34[2]とする。これら4つの候補値と、既知の4画素加算値{aR32,aR54}とを組み合わせ、4パターンの組み合わせA1~A4を求める。即ち、A1={aR32,aR54,aR52[1],aR34[1]}、A2={aR32,aR54,aR52[1],aR34[2]}、A3={aR32,aR54,aR52[2],aR34[1]}、A4={aR32,aR54,aR52[2],aR34[2]}である。図13に示すように、組み合わせA1~A4のそれぞれに対して復元処理を適用し、画素値{vR32,vR52,vR72,vR34,vR54,vR74,vR36,vR56,vR76}を推定する。画素値vRijの範囲が[0,1,,M]で定義されているとすると、推定された画素値の全てが下式7を満たす場合、その組み合わせを候補として残す。このようにして、A1~A4の中から定義域に矛盾する組み合わせが除外される。残った組み合わせが1つである場合には、その組み合わせから推定された画素値vRijを最終的な高解像画素値とすればよい。残った組み合わせが複数である場合は、aR52に水平垂直に隣接する4画素加算値{aR32,Ra72,aR50,aR54}から求める単純補間値に近い候補値を選択する。aR34についても同様である。例えば最も簡単な補間としては、下式8に示すように、平均値を単純補間値{aR52’,aR34’}とする。下式9に示すように、残った組み合わせに含まれる候補値がaR52[x],aR34[x]であるとすると、それらと単純補間値との差分e52、e34を求める。そして、この差分が最も小さい候補値を最終の補間値aR52、aR34とする。この補間値{aR52,aR34}と、既知の4画素加算値{aR32,aR54}とを用いて、最終的な高解像画素値vRijを復元する。8.第5の補間手法次に、市松状よりも更に少ない4画素加算値が取得される場合において、補間値を求める手法について説明する。図14に示すように、完備な4画素加算値の4つに1つの4画素加算値が取得される。具体的には、水平方向、垂直方向、斜め方向のいずれにおいても、2つの既知の4画素加算値の間は未知の4画素加算値である。なお以下では、R色の画素vRijを同色加算する場合を例に説明するが、Gr、Gb、Bの各色についても同様である。未知の4画素加算値{aR30,aR12,aR32}は、隣接する既知の4画素加算値{aR10,aR52,aR14,aR54}を用いて補間する。これらの未知と既知の4画素加算値は従属関係をなしているので、例えば第1の補間手法の考え方を適用し、候補値を全て発生して選択することにより、補間値を決定できる。あるいは、第2の補間手法の考え方を適用し、ルックアップテーブルにより補間値を決定してもよい。以下では、ルックアップテーブルを採用した場合を例にとり説明する。図15に、ルックアップテーブルの例を示す。なお図15では、サフィックスRを省略する。既知の4画素加算値をベクトルV[x]=aR10[x],aR52[x],aR14[x],aR54[x]と表し、未知の4画素加算値をベクトルQ[x]=aR30[x],aR12[x],aR32[x]と表わす。Q[x]について全ての候補値を発生し、定義域の判定を行うと、図15に示すようなテーブルを生成できる。図15において、xは識別番号であり、KはV[x]の最大の組合せの数を表わす。例えば、V[x]の4つの成分がそれぞれkビットで定義されているとすれば、K=24k4kビットとなる。同一のベクトルV[x]に対し、取り得るベクトルQ[x]が複数存在する場合は、それらをベクトル平均し、一つのベクトルQ[x]’とし、ルックアップテーブルとして記憶する。なお、図16に示すように、異色の4画素を加算する場合にも本手法を適用可能である。4画素加算値aijは、4画素の単純加算値であってもよいし、重み付け加算値であってもよい。異色加算の場合においても、未知の4画素加算値{a10,a01,a11}と既知の4画素加算値{a00,a20,a02,a22}は従属関係をなしているので、第1の補間手法や第2の補間手法の考え方を適用し、補間値を求めることができる。9.補間値を検算する手法上述した第1~第5の補間手法により、未知の4画素加算値を補間した値が得られる。この補間値を検算する手法について説明する。図17に示すように、4画素加算値aR32が既知であるとする。この4画素加算値aR32を構成する画素値{vR32,vR52,vR34,vR54}を、既知の4画素加算値及び補間値を用いて復元処理により1つずつ求める。各画素値は、隣接する4つの4画素加算値を用いてそれぞれ求められる。求めた4つの画素値{vR32,vR52,vR34,vR54}を加算し、その加算値aR32’を既知の4画素加算値aR32と比較する。aR32’とaR32はほぼ等しいはずであるため、aR32-aR32’≦δδは所定値である場合には、推定した画素値は正しいと判断し、最終的な高解像画素値とする。aR32-aR32’>δである場合には、画素値{vR32,vR52,vR34,vR54}のいずれかが誤りであると判断する。この場合には、補間値を候補値のいずれか例えばルックアップテーブルから検索された複数の候補値のいずれかに入れ替え、再度、画素値{vR32,vR52,vR34,vR54}を求め、検算を行う。全ての候補値に入れ替えてもaR32-aR32’≦δを満たさない場合には、加算値aR32’が既知の4画素加算値aR32に最も近い画素値{vR32,vR52,vR34,vR54}を、最終的な高解像画素値とする。10.復元処理上述の補間処理により得られた加算画素値から高解像画像を復元推定する処理について詳細に説明する。なお以下では、加算画素値{a00、a10、a11、a01}を例に説明するが、他の加算画素値についても同様である。また、4画素加算を例に説明するが、例えば9画素加算等、他の画素数の場合にも適用可能である。図18Aに示す加算画素値aij4画素加算値は、補間処理により得られた補間値、及び既知の4画素加算値に対応する。図19Bに示すように、まず加算画素値a00~a11から中間画素値b00~b212画素加算値を推定し、これらの中間画素値b00~b21から最終的な画素値v00~v22を推定する。水平方向の最初の行の中間画素値b00~b20を例にとり、中間画素値を推定する処理について説明する。中間画素値b00~b20は、水平方向の最初の行の加算画素値a00、a10に基づいて推定される。画素値a00、a10は下式11で表される。a00=v00v01v10v11,a10=v10v11v20v2111下式12に示すように中間画素値b00、b10、b20を定義する。b00=v00v01,b10=v10v11,b20=v20v2112次に、上式12を用いて上式11を変形すると、下式13が成り立つ。a00=b00b10,a10=b10b2013上式13をb10、b20について解くと、下式14が成り立ち、中間画素値b10、b20はb00を未知数初期変数とする関数として表される。b00=未知数,b10=a00-b00,b20=b00δi0=b00a10-a0014次に、画素値のパターン{a00,a10}と中間画素値のパターン{b00,b10,b20}を比較し、その類似性が最も高い場合の未知数b00を求める。具体的には、下式11に示す評価関数Ejを求め、その評価関数Ejが最小となる未知数b00を導出する。得られたb00の値を上式14に代入し、中間画素値b10、b20を求める。次に、垂直方向の最初の列を例にとり、中間画素値bijを用いて推定画素値vijを求める手法について説明する。推定画素値vijは、中間画素値bijを求めた手法と同様に求められる。即ち、上式13を下式16に置き換えれば、以降の処理は同様である。b00=v00v01,b01=v01v0216以上の実施形態によれば、図18Aに示すように、第1のポジションに設定された第1の加算単位例えばa00と、第1のポジションがシフトされた第2のポジションに設定された第2の加算単位例えばa10は重畳する。上式14に示すように、推定演算部図20の高精細画像復元推定部160は、第1、第2の加算単位の画素値が加算された第1、第2の加算画素値a00、a10の差分値δi0を求める。図18Bに示すように、第1の中間画素値b00は、加算単位a00から重畳領域v10、v11を除いた第1の領域v00、v01の加算画素値である。第2の中間画素値b20は、加算単位a10から重畳領域v10、v11を除いた第2の領域v20、v21の加算画素値である。上式14に示すように、推定演算部は、第1、第2の中間画素値b00、b20の関係式を、差分値δi0を用いて表し、その関係式を用いて第1、第2の中間画素値b00、b20を推定する。推定演算部は、推定した第1の中間画素値b00を用いて、加算単位に含まれる各画素の画素値v00、v10、v11、v01を求める。このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、2次元フィルタの繰り返し演算等の複雑な処理が不要となる。ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図18Aに示すように、加算単位a00と加算単位a10が、2つの推定画素v10、v11を共有することである。また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ画像データ上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。また本実施形態では、第1、第2の中間画素値例えばb00、b20を含む連続する中間画素値を中間画素値パターンb00、b10、b20とする。上式14に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第1、第2の加算画素値a00、a10を用いて表し、中間画素値の間の関係式で表された中間画素値パターンと、第1、第2の加算画素値とを比較して類似性を評価する。推定演算部は、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値b00、b10、b20を決定する。このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列データの組みである。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。11.撮像装置、画像処理装置の構成例図19に、撮像装置の構成例を示す。図19に示す撮像装置は、レンズ10、撮像素子20、加算処理部30、データ圧縮部40、データ記録部50、動画フレーム生成部60、モニタ表示部70を含む。撮像素子20は、レンズ10により結像された被写体像を撮影し、画素値vijを出力する。例えば撮像素子20は、ベイヤ配列のカラーフィルターを有する。加算処理部30は、画素値vijを各色毎に加算し、加算画素値aRij、aGrij、aGbij、aBijを出力する。加算画素値は、例えば市松状に取得される。データ圧縮部40は、加算画素値aRij、aGrij、aGbij、aBijをデータ圧縮処理する。データ記録部50は、圧縮データを記録する。例えばデータ記録部50は、メモリカード等の外部メモリにより構成される。動画フレーム生成部60は、加算画素値aRij、aGrij、aGbij、aBijを、例えばハイビジョンの画素数にリサンプリング処理する。動画フレーム生成部60は、リサンプリング処理後の画素をデモザイキング処理し、表示用のRGB画像データRij、Gij、Bijを出力する。動画フレーム生成部60は、デモザイキング処理後の画像に対して、更に種々の画像処理例えば、高画質化処理等を行ってもよい。モニタ表示部70は、例えば液晶表示装置であり、RGB画像データRij、Gij、Bijを表示する。図20に、上記の撮像装置により撮影された加算画素値から高解像画像を復元処理する画像処理装置の構成例を示す。図20に示す画像処理装置は、データ記録部110、データ伸張部115、伸張データ記憶部120、モニタ画像生成部125、モニタ画像表示部130、画像データ選択部135、選択フレーム記憶部140、補間処理部150、高精細画像復元推定部160、高精細画像生成部170、高精細画像データ記録部180、画像出力部190を含む。画像処理装置として、例えば撮像装置とは別体の情報処理装置例えばPC等や、撮像装置に内蔵された画像処理装置例えば画像処理エンジン等が想定される。データ記録部110には、撮像装置により記録された圧縮データが記録されている。例えば、データ記録部110は、メモリカードを挿入可能なリーダ/ライタにより構成される。データ伸張部115は、データ記録部110から読み出した圧縮データを伸張処理し、加算画素値aRij、aGrij、aGbij、aBijを伸張データ記憶部120に出力する。伸張データ記憶部120は、例えば画像処理装置に内蔵されたメモリ例えばRAM等により構成される。モニタ画像生成部125は、伸張データ記憶部120から読み出した加算画素値から表示用のRGB画像を生成し、モニタ画像表示部130は、そのRGB画像を表示する。ユーザー操作者は、モニタに表示された動画を見ながら、高精細静止画が欲しいフレームを、図示しないユーザインターフェースを介して指示する。画像データ選択部135は、指示されたフレームのIDを、選択フレームIDとして伸張データ記憶部120に出力する。伸張データ記憶部120は、選択フレームIDに対応するフレームのデータを選択フレーム記憶部140に出力する。選択フレーム記憶部140は、例えば伸張データ記憶部120と同一の内蔵メモリとして構成される。補間処理部150は、選択フレームの加算画素値aRij、aGrij、aGbij、aBijを既知の加算画素値として、未知の4画素加算値を補間する処理を行う。補間処理部150は、候補値生成部151、補間値選択部152、補間値充当部153を含む。候補値生成部151は、未知の4画素加算値について複数の候補値を生成する。補間値選択部152は、各候補値から推定した2画素加算値や高解像画素値について、定義域の判定を行い、定義域に矛盾しない候補値から補間値を求める。補間値充当部153は、求めた補間値と既知の加算画素値とを合わせて、復元処理に必要な完備な4画素加算値を生成する。高精細画像復元推定部160は、復元処理を行い、高精細画像の画素値vijを推定する。高精細画像生成部170は、ベイヤ配列の画素値vijに対してデモザイキング処理を行い、RGBの高精細画像を生成する。高精細画像生成部170は、RGBの高精細画像に対して、種々の画像処理例えば高画質化処理を行ってもよい。高精細画像データ記録部180は、RGBの高精細画像を記録する。例えば、高精細画像データ記録部180は、データ記録部110と同一のリーダ/ライタにより構成される。画像出力部190は、高精細画像データを外部に出力するためのインターフェース部である。例えば、画像出力部190は、プリンター等の高精細画像を出力可能なデバイスに対して、データを出力する。なお、本実施形態は図19、20の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、データ圧縮部40や、データ伸張部115を省略してもよい。また、加算処理部30の機能が撮像素子20に内蔵され、撮像素子20が加算画素値を出力してもよい。また、補間処理部150は、ルックアップテーブルにより補間値を選択してもよい。この場合、候補値生成部151を省略し、補間値選択部152が、図示しないルックアップテーブル記憶部を参照して補間値を決めればよい。なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。"