(57)【要約】【課題】動きのある被写体と静止した被写体を高画質に高精細化可能な画像処理装置、撮像装置及び画像処理方法等を提供すること。【解決手段】画像処理装置は、画像取得部、リサンプリング処理部、補間処理部、推定処理部を含む。画像取得部は、各フレーム毎に、第１加算単位群及び第２加算単位群の加算画素値を交互に取得する。リサンプリング処理部は、各フレームｆｔ（ｔ＝Ｔ、Ｔ＋１、・・・）毎にリサンプリング値ａｉｊ（ｔ）’を求める。補間処理部は、対象フレームｆＴ＋３で未取得の加算画素値ａｉｊ（Ｔ＋３）を、対象フレームの前又は後のフレームで取得された加算画素値に基づいて補間するか否かを、リサンプリング値ａｉｊ（ｔ）’の時系列的な変化に基づいて判定する。推定処理部は、加算画素値に基づいて画素値を推定する。【選択図】      図２
2013126123.tif 000002
【特許請求の範囲】
【請求項１】
加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得する画像取得部と、
前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求めるリサンプリング処理部と、
前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間する補間処理部と、
前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記補間処理部は、
前記対象フレームでの前記リサンプリング値と、前記前又は後のフレームでの前記リサンプリング値との差が、所定値以下である場合、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に基づいて補間することを特徴とする画像処理装置。
【請求項３】
請求項１又は２において、
前記補間処理部は、
前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に置換することで、前記補間を行うことを特徴とする画像処理装置。
【請求項４】
請求項１又は２において、
前記補間処理部は、
前記対象フレームでの前記未取得の加算画素値を、前記前及び後のフレームで取得された前記加算画素値に基づいて補間することを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記補間処理部により前記対象フレームでの前記未取得の加算画素値を補間しないと判定した場合、前記対象フレームで取得された前記加算画素値に基づいて前記未取得の加算画素値を補間する第２補間処理部と、
を含むことを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記画像取得部は、
前記対象フレームで、前記第１加算単位群の前記加算画素値を取得し、
前記第２補間処理部は、
前記第２加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、
前記第１加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第２加算単位群の前記加算画素値の決定処理を行う決定処理部と、
を有することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記第１加算単位群は、
前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、
前記決定処理部は、
前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。
【請求項９】
加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得し、
前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求め、
前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間し、
前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。
【背景技術】
【０００２】
ハイビジョン動画等の低解像画像から高精細画像を生成する手法として、種々の超解像処理が提案されている。例えば、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法や、特許文献１〜３に開示される手法等がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【特許文献３】特開２０１１−１５１５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、複数フレームの低解像画像を用いて超解像処理を行う（例えば特許文献３に開示される手法）と、動きのある被写体を超解像処理したときに例えば像流れが生じる等、画質が劣化するという課題がある。仮に１フレームの低解像画像を用いて超解像処理を行ったとすると、動きのある被写体については画質が改善すると考えられるが、静止した被写体については画質が低下する可能性があるという課題がある。
【０００５】
本発明の幾つかの態様によれば、動きのある被写体と静止した被写体を高画質に高精細化可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得する画像取得部と、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求めるリサンプリング処理部と、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間する補間処理部と、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含む画像処理装置に関係する。
【０００７】
本発明の一態様によれば、各加算単位についてリサンプリング値が求められ、リサンプリング値の時系列的な変化に基づいて補間を行うか否かが判定される。補間を行うと判定された場合には、対象フレームで未取得の加算画素値が、対象フレームの前又は後のフレームで取得された加算画素値に基づいて補間される。そして、補間された加算画素値に基づいて、加算単位に含まれる画素の画素値が推定される。これにより、動きのある被写体と静止した被写体を高画質に高精細化することが可能になる。
【０００８】
また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記リサンプリング値と、前記前又は後のフレームでの前記リサンプリング値との差が、所定値以下である場合、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に基づいて補間してもよい。
【０００９】
また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に置換することで、前記補間を行ってもよい。
【００１０】
また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前及び後のフレームで取得された前記加算画素値に基づいて補間してもよい。
【００１１】
また本発明の一態様では、前記補間処理部により前記対象フレームでの前記未取得の加算画素値を補間しないと判定した場合、前記対象フレームで取得された前記加算画素値に基づいて前記未取得の加算画素値を補間する第２補間処理部を含んでもよい。
【００１２】
また本発明の一態様では、前記画像取得部は、前記対象フレームで、前記第１加算単位群の前記加算画素値を取得し、前記第２補間処理部は、前記第２加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、前記第１加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第２加算単位群の前記加算画素値の決定処理を行う決定処理部と、を有してもよい。
【００１３】
また本発明の一態様では、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記決定処理部は、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行ってもよい。
【００１４】
また本発明の他の態様は、上記のいずれかに記載の画像処理装置を含む撮像装置に関係する。
【００１５】
また本発明の更に他の態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得し、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求め、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間し、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する画像処理方法に関係する。
【図面の簡単な説明】
【００１６】
【図１】第１の補間手法についての説明図。
【図２】第１の補間手法についての説明図。
【図３】撮像装置の構成例。
【図４】画像処理装置の構成例。
【図５】第２の補間手法についての説明図。
【図６】図６（Ａ）、図６（Ｂ）は、第２の補間手法についての説明図。
【図７】第３の補間手法におけるルックアップテーブルの例。
【図８】第３の補間手法についての説明図。
【図９】最尤度補間手法についての説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は、最尤度補間手法についての説明図。
【図１１】図１１（Ａ）は、加算画素値と推定画素値についての説明図。図１１（Ｂ）は、中間画素値と推定画素値についての説明図。
【発明を実施するための形態】
【００１７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００１８】
１．本実施形態の概要
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。しかしながら、ボタン操作が必要であるため、決定的瞬間の静止画をタイミングよく撮影することが難しいという課題がある。
【００１９】
この決定的瞬間の撮影を実現するために、超解像処理を利用して、撮影した動画から事後的に任意タイミングの高解像画像を生成する手法が考えられる。従来の超解像処理として、例えば上述のＭＬ法等や特許文献１に開示される手法がある。しかしながら、ＭＬ法等や特許文献１に開示される手法では、フィルタ演算の繰り返しにより処理負荷が大きいという課題があり、特許文献２に開示される手法では、画素値を推定する際に初期値を上手く特定できないと推定誤差が非常に大きくなるという課題がある。
【００２０】
そこで、本実施形態では、図１１（Ａ）、図１１（Ｂ）で後述する手法を用いて高解像画像を復元する。この手法では、互いに画素を共有する加算画素値ａｉｊを、まず水平又は垂直方向のうち一方の方向に高解像化し、中間画素値ｂｉｊを求める。そして、もう一方の方向に中間画素値ｂｉｊを高解像化することにより、画素値ｖｉｊを求める。この手法により、従来の超解像処理に比べて簡素な処理で高解像画像を得ることができる。
【００２１】
加算画素値ａｉｊを取得する手法としては、例えば特許文献３に開示されるように、画素シフトを行いながらａ００、ａ１０、ａ１１、ａ０１をそれぞれ別個のフレームで時系列的に撮影する手法がある。この手法では、高解像画像を復元するために４フレームの低解像画像を用いることになるため、動きのある被写体では復元精度が低下するという課題がある。
【００２２】
そこで、本実施形態では、図５に示すように、１フレームで取得した既知の加算画素値（ａ１０等）を用いて、そのフレームで取得されていない未知の加算画素値（ａ１１等）を補間し、既知及び補間された加算画素値から高解像画像を復元する。このようにすれば、１フレームの低解像画像から復元を行うため、動きのある被写体に対して復元精度を向上（例えば像流れ等を抑制）できる。しかしながら、空間的な補間を行うため画像の高周波成分が失われる可能性があるという課題がある。
【００２３】
そこで、本実施形態では、図１に示すように既知の加算画素値に対してリサンプリング処理を行う。そして、図２に示すように、リサンプリング値の時間変化が小さい場合には、未知の加算画素値（例えばａｉｊ（Ｔ＋３））を、前又は後のフレームにおける既知の加算画素値（例えばａｉｊ（Ｔ＋２））で置換する。これにより、静止した被写体については前又は後ろのフレームから補間が行われるため、画像の高周波成分を維持することが可能となる。
【００２４】
２．第１の補間手法
次に、静止した被写体の加算画素値を前又は後ろのフレームから補間する手法について詳細に説明する。ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において画像が処理されるタイミングである。あるいは、動画データにおける各画像も適宜フレームと呼ぶ。
【００２５】
なお以下では、撮像素子がベイヤ配列のカラーフィルターを有し、画素の色Ｒ、Ｇｒ、Ｇｂ、ＢのうちＧｒを例にとり説明するが、他の色についても同様の考え方を適用することができる。また、同色画素を加算する場合だけでなく、Ｒ、Ｇｒ、Ｇｂ、Ｂの異色画素を加算する場合にも同様の考え方を適用することができる。
【００２６】
図１に示すように、各フレームｆＴ、ｆＴ＋１、ｆＴ＋２、ｆＴ＋３・・・の撮影において、それぞれ市松状に加算画素値ａｉｊが取得される。ｉ、ｊはゼロ以上の整数であり、それぞれ水平走査方向、垂直走査方向における画素ｖｉｊの位置（又は座標）を表す。加算画素値ａｉｊは、４つの画素値｛ｖｉｊ，ｖ（ｉ＋２）ｊ，ｖ（ｉ＋２）（ｊ＋２），ｖｉ（ｊ＋２）｝が単純加算又は重み付け加算された値である。偶数フレームｆＴ、ｆＴ＋２・・・では、例えばａ００、ａ４０、ａ２２、ａ０４、ａ４４が取得され、奇数フレームｆＴ＋１、ｆＴ＋３・・・では、例えばａ２０、ａ０２、ａ４２、ａ２４が取得される。
【００２７】
ここで、市松状とは、任意のｉ、ｊに対して全ての加算画素値ａｉｊがそろった状態を完備な状態とすると、完備な加算画素値ａｉｊのうちｉ、ｊともに１つおきに加算画素値ａｉｊが取得された状態である。例えば、Ｇｒ画素では、ｉ＝２ａ、ｊ＝２ｂ（ａ、ｂはゼロ以上の整数）であり、全ての（ａ，ｂ）の組み合わせについてａｉｊがそろった状態が完備な状態である。偶数フレームでは、（ａ，ｂ）が（偶数、偶数）及び（奇数、奇数）の組み合わせであるａｉｊのみが取得される。奇数フレームでは、（ａ，ｂ）が（偶数、奇数）及び（奇数、偶数）の組み合わせであるａｉｊのみが取得される。
【００２８】
次に、各フレームにおいて取得された既知の加算画素値ａｉｊをリサンプリング（再サンプリング）し、加算画素値ａｉｊ’の全てがそろった状態、つまり、完備なリサンプリング値ａｉｊ’を得る。具体的には、各フレームにおいて取得されていない未知の加算画素値ａｉｊを“０”とおき（アップサンプリング処理）、補間フィルタリング処理を行い、リサンプリング値ａｉｊ’を求める。補間フィルタリング処理としては、例えばローパスフィルタ処理を用いればよい。
【００２９】
なお以下では、既知の加算画素値ａｉｊを、適宜「実サンプリング値」とも呼ぶ。また、加算画素値ａｉｊを、適宜「４画素加算値」とも呼ぶ。また、フレームｆｔ（ｔ＝Ｔ、Ｔ＋１、・・・）における加算画素値をａｉｊ（ｔ）と表す。
【００３０】
さて、高解像画像を復元するためには完備な４画素加算値が必要であるが、撮影で得られるのは市松状の実サンプリング値である。そのため、撮影で得られていない未知の４画素加算値を補間し、実サンプリング値と合わせて完備な４画素加算値とする必要がある。以下では、図２を用いて、未知の４画素加算値ａｉｊ（ｔ）を補間する手法について説明する。
【００３１】
被写体を撮影した動画では、被写体の動きに応じてフレーム間で画素値が変化するが、その変化は元の高精細画像においても、それを低解像化した画像においても、大きく違いは無いであろうと思われる。即ち、フレーム間における４画素加算値ａｉｊ（ｔ）の変化を観測すれば、被写体の動きを判定できる。
【００３２】
同一位置（ｉ，ｊ）の実サンプリング値ａｉｊ（ｔ）は、１フレームおきにしか得られていないので、位置（ｉ，ｊ）においてフレーム間に動きがあるか否かをリサンプリング値ａｉｊ（ｔ）’に基づいて判定する。具体的には、隣接するフレーム間においてリサンプリング値ａｉｊ（ｔ）’の変化がほとんどない場合には、位置（ｉ，ｊ）において被写体に動きがないと判定する。例えば、フレームｆＴとｆＴ＋１の間の期間Ｔ〜Ｔ＋１では、下式（１）を満たす場合に像静止期間であると判定する。ここで、ｄは所定値である。
【数１】
2013126123.tif 000003
【００３３】
像静止期間では、４画素加算値ａｉｊ（ｔ）の真値においても変化が小さく、同一値を取る確率が高いと考えられる。そのため、フレームｆｔにおいて取得されていない未知の４画素加算値を、像静止期間内のフレームにおいて取得されている実サンプリング値ａｉｊ（ｔ）で置換する。例えば、像静止期間［Ｔ＋２≦ｔ≦Ｔ＋３］では、実サンプリング値ａｉｊ（Ｔ＋２）が存在するので、未知の４画素加算値ａｉｊ（Ｔ＋３）を実サンプリング値ａｉｊ（Ｔ＋２）で置換する。また、像静止期間［Ｔ＋５≦ｔ≦Ｔ＋６］では、実サンプリング値ａｉｊ（Ｔ＋６）が存在するので、未知の４画素加算値ａｉｊ（Ｔ＋５）を実サンプリング値ａｉｊ（Ｔ＋６）で置換する。このようにすれば、像静止期間において、未知の４画素加算値と真値との誤差を小さくできる。
【００３４】
隣接するフレーム間においてリサンプリング値ａｉｊ（ｔ）’の変化が大きい場合には、位置（ｉ，ｊ）において被写体に動きがあると判定する。例えば、フレームｆＴとｆＴ＋１の間の期間Ｔ〜Ｔ＋１では、下式（２）を満たす場合に像ずれ期間であると判定する。
【数２】
2013126123.tif 000004
【００３５】
像ずれ期間では、フレーム内の補間が良好でないため誤差バラツキを生じているのか、フレーム間の動きによって誤差バラツキを生じているのか不確定であるので、フレーム内で補間した値を未知の４画素加算値として採用すればよい。フレーム内で補間した値は、例えばリサンプリング値ａｉｊ（ｔ）’を採用すればよい。あるいは、図５〜図１０で後述する補間手法により得られる補間値を採用してもよい。
【００３６】
以上では時間軸に沿って説明したが、各フレームについてみれば、位置（ｉ，ｊ）に依って像静止期間に該当する位置と像ずれ期間に該当する位置が混在している。即ち、各フレームの置換後の画像では、実サンプリング値とフレーム内補間値とが混在した画像となっている。同一フレーム画像では、動きのある像に対応する未知の４画素加算値にはフレーム内補間値が適用され、動きのない像に対応する未知の４画素加算値には実サンプリング値が適用されている。
【００３７】
以上のようにして完備な４画素加算値ａｉｊ（ｔ）が得られ、その完備なａｉｊ（ｔ）に対して復元処理を適用することで、高精細画像の画素値ｖｉｊを推定する。復元処理については、図１１（Ａ）、図１１（Ｂ）で詳細に後述する。より詳細には、特開２０１１−１５１５６９号公報に記載されている。
【００３８】
３．第１の補間手法の変形例
上記では、動きのない像に対応する４画素加算値に限って時間軸方向（フレーム間）の補間を適用したが、本実施形態では、動きが緩やかな場合、即ち線形的な変化をする場合についても時間軸方向（フレーム間）の補間を行ってもよい。例えば、隣接するフレーム間におけるリサンプリング値ａｉｊ（ｔ）’の変化がほぼ一定の場合、実サンプリング値の平均値を補間値としてもよい。例えば、期間Ｔ〜Ｔ＋２において下式（３）を満たす場合には、実サンプリング値ａｉｊ（Ｔ）、ａｉｊ（Ｔ＋２）の平均値を、ａｉｊ（Ｔ＋１）として採用してもよい。なお、平均値に限らず一般的な補間処理を適用しても構わない。
【数３】
2013126123.tif 000005
【００３９】
また上記では、像ずれ期間においてリサンプリング値ａｉｊ（ｔ）’を採用したが、本実施形態では、図５〜図１０で後述する第２又は第３の補間手法により補間を行ってもよい。この場合、処理順序として、まず上記の第１の補間手法を使って前又は後のフレームから実サンプリング値で補間し、残りの未知の４画素加算値に対して、後述する第２の補間手法によりフレーム内補間を行い、全ての４画素加算値を求める手順が有効である。なぜならば、フレーム内の補間は空間的周波数がいずれの方向に対しても高い場合については補間精度が良くない。第１の補間手法のように時間方向において精度良く補間ができれば、空間的周波数が高くても高精度に補間ができるからである。
【００４０】
４．撮像装置、画像処理装置の構成例
図３に、撮像装置の構成例を示す。図３に示す撮像装置は、レンズ１０、撮像素子２０、加算処理部３０、データ圧縮部４０、データ記録部５０、動画フレーム生成部６０、モニタ表示部７０を含む。
【００４１】
撮像素子２０は、レンズ１０により結像された被写体像を撮影し、画素値ｖｉｊを出力する。例えば撮像素子２０は、ベイヤ配列のカラーフィルターを有する。加算処理部３０は、画素値ｖｉｊを各色毎に加算し、加算画素値ａＲｉｊ、ａＧｒｉｊ、ａＧｂｉｊ、ａＢｉｊを出力する。加算画素値は、例えば市松状に取得される。データ圧縮部４０は、加算画素値ａＲｉｊ、ａＧｒｉｊ、ａＧｂｉｊ、ａＢｉｊをデータ圧縮処理する。データ記録部５０は、圧縮データを記録する。例えばデータ記録部５０は、メモリカード等の外部メモリにより構成される。
【００４２】
動画フレーム生成部６０は、加算画素値ａＲｉｊ、ａＧｒｉｊ、ａＧｂｉｊ、ａＢｉｊを、例えばハイビジョンの画素数にリサンプリング処理する。動画フレーム生成部６０は、リサンプリング処理後の画素をデモザイキング処理し、表示用のＲＧＢ画像データＲｉｊ、Ｇｉｊ、Ｂｉｊを出力する。動画フレーム生成部６０は、デモザイキング処理後の画像に対して、更に種々の画像処理（例えば、高画質化処理等）を行ってもよい。モニタ表示部７０は、例えば液晶表示装置であり、ＲＧＢ画像データＲｉｊ、Ｇｉｊ、Ｂｉｊを表示する。
【００４３】
図４に、上記の撮像装置により撮影された加算画素値から高解像画像を復元処理する画像処理装置の構成例を示す。図４に示す画像処理装置は、データ記録部１１０、データ伸張部１１５、伸張データ記憶部１２０、モニタ画像生成部１２５、モニタ画像表示部１３０、画像データ選択部１３５、選択フレーム記憶部１４０、補間処理部１４５、第２補間処理部１５０、高精細画像復元推定部１６０、高精細画像生成部１７０、高精細画像データ記録部１８０、画像出力部１９０を含む。
【００４４】
画像処理装置として、例えば撮像装置とは別体の情報処理装置（例えばＰＣ等）や、撮像装置に内蔵された画像処理装置（例えば画像処理エンジン等）が想定される。
【００４５】
データ記録部１１０には、撮像装置により記録された圧縮データが記録されている。例えば、データ記録部１１０は、メモリカードを挿入可能なリーダ／ライタにより構成される。データ伸張部１１５は、データ記録部１１０から読み出した圧縮データを伸張処理し、加算画素値ａＲｉｊ、ａＧｒｉｊ、ａＧｂｉｊ、ａＢｉｊを伸張データ記憶部１２０に出力する。伸張データ記憶部１２０は、例えば画像処理装置に内蔵されたメモリ（例えばＲＡＭ等）により構成される。
【００４６】
モニタ画像生成部１２５は、伸張データ記憶部１２０から読み出した加算画素値から表示用のＲＧＢ画像を生成し、モニタ画像表示部１３０は、そのＲＧＢ画像を表示する。ユーザー（操作者）は、モニタに表示された動画を見ながら、高精細静止画が欲しいフレームを、図示しないユーザインターフェースを介して指示する。画像データ選択部１３５は、指示されたフレームのＩＤを、選択フレームＩＤとして伸張データ記憶部１２０に出力する。伸張データ記憶部１２０は、選択フレームＩＤに対応するフレーム及びその前後フレームのデータを選択フレーム記憶部１４０に出力する。選択フレーム記憶部１４０は、例えば伸張データ記憶部１２０と同一の内蔵メモリとして構成される。
【００４７】
補間処理部１４５は、図１、図２で説明した第１の補間手法により補間処理を行う。補間処理部１４５は、リサンプリング処理部１４６、像静止期間検出部１４７、加算画素値置換部１４８を含む。
【００４８】
リサンプリング処理部１４６は、選択フレーム及びその前後フレームの加算画素値ａＲｉｊ、ａＧｒｉｊ、ａＧｂｉｊ、ａＢｉｊを実サンプリング値として、リサンプリング処理を行い、リサンプリング値を求める。像静止期間検出部１４７は、リサンプリング値に基づいて像静止期間を検出し、選択フレームにおける未知の加算画素値の位置（ｉ，ｊ）うち、実サンプリング値で置換する位置（ｉ，ｊ）の情報を出力する。加算画素値置換部１４８は、置換位置（ｉ，ｊ）の加算画素値を実サンプリング値に置換する。加算画素値置換部１４８は、置換した加算画素値と、選択フレームで元々取得されていた実サンプリングとを、第２補間処理部１５０に出力する。
【００４９】
第２補間処理部１５０は、補間処理部１４５で補間されなかった加算画素値を補間する。この補間手法については、図５〜図１０で詳細に後述する。第２補間処理部１５０は、候補値生成部１５１、補間値選択部１５２、補間値充当部１５３を含む。
【００５０】
候補値生成部１５１は、未知の加算画素値について複数の候補値を生成する。補間値選択部１５２は、各候補値から推定した中間画素値や高解像画素値について、定義域の判定を行い、定義域に矛盾しない候補値から補間値を求める。補間値充当部１５３は、求めた補間値と既知の加算画素値とを合わせて、復元処理に必要な完備な加算画素値を生成する。
【００５１】
高精細画像復元推定部１６０は、復元処理を行い、高精細画像の画素値ｖｉｊを推定する。復元処理については、図１１（Ａ）、図１１（Ｂ）で詳細に後述する。高精細画像生成部１７０は、ベイヤ配列の画素値ｖｉｊに対してデモザイキング処理を行い、ＲＧＢの高精細画像を生成する。高精細画像生成部１７０は、ＲＧＢの高精細画像に対して、種々の画像処理（例えば高画質化処理）を行ってもよい。高精細画像データ記録部１８０は、ＲＧＢの高精細画像を記録する。例えば、高精細画像データ記録部１８０は、データ記録部１１０と同一のリーダ／ライタにより構成される。画像出力部１９０は、高精細画像データを外部に出力するためのインターフェース部である。例えば、画像出力部１９０は、プリンター等の高精細画像を出力可能なデバイスに対して、データを出力する。
【００５２】
なお、本実施形態は図３、４の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、データ圧縮部４０や、データ伸張部１１５を省略してもよい。また、加算処理部３０の機能が撮像素子２０に内蔵され、撮像素子２０が加算画素値を出力してもよい。また、第２補間処理部１５０は、ルックアップテーブルにより補間値を選択してもよい。この場合、候補値生成部１５１を省略し、補間値選択部１５２が、図示しないルックアップテーブル記憶部を参照して補間値を決めればよい。
【００５３】
以上の実施形態によれば、画像処理装置は、画像取得部、リサンプリング処理部、補間処理部、推定処理部を含む。図１に示すように、加算画素値ａｉｊを取得する単位である加算単位が複数の画素（例えば４画素）毎に設定される。加算単位は、第１加算単位群（例えば｛ａ００、ａ４０、ａ２２、ａ０４、ａ４４｝）と第２加算単位群（例えば｛ａ２０、ａ０２、ａ４２、ａ２４｝）にグループ分けされる。
【００５４】
この場合に、画像取得部は、第１加算単位群及び第２加算単位群の加算画素値を、複数のフレームの各フレームｆｔ（ｔ＝Ｔ、Ｔ＋１、・・・）毎に交互に取得する。リサンプリング処理部は、各フレーム毎に、取得された加算画素値ａｉｊ（ｔ）（実サンプリング値）に対してリサンプリング処理を行い、第１加算単位群及び第２加算単位群の各加算単位についてリサンプリング値ａｉｊ（ｔ）’を求める。図２で説明したように、補間処理部は、複数のフレームの中の対象フレーム（補間処理の対象となるフレーム。例えばｆＴ＋３）で未取得の加算画素値（未知の加算画素値ａｉｊ（Ｔ＋３））を、対象フレームの前又は後のフレーム（例えば前のフレームｆＴ＋２）で取得された加算画素値に基づいて補間するか否かを、リサンプリング値ａｉｊ（ｔ）’の時系列的な変化に基づいて判定し、未取得の加算画素値（ａｉｊ（Ｔ＋３））を補間する。推定処理部は、対象フレームで取得された加算画素値、及び対象フレームで補間処理部により補間した加算画素値に基づいて、加算単位に含まれる画素の画素値ｖｉｊを推定する。
【００５５】
例えば本実施形態では、図４に示すように、データ記録部１１０からデータを読み出す不図示の読み出し部が、画像処理装置の画像取得部に対応する。即ち、図３に示すように、撮像装置の加算処理部３０が第１、第２加算単位群を設定し、第１加算単位群の加算画素値を取得する。図４に示すように、画像処理装置は、そのデータをデータ記録部１１０から読み出すことにより、加算画素値（実サンプリング値）を取得する。また、リサンプリング処理部は図４のリサンプリング処理部１４６に対応し、補間処理部は図４の像静止期間検出部１４７、加算画素値置換部１４８に対応し、推定処理部は、図４の高精細画像復元推定部１６０に対応する。
【００５６】
このようにすれば、リサンプリング値ａｉｊ（ｔ）’の時系列的な変化を見ることで、位置（ｉ，ｊ）において被写体に動きがあるか否かを判定できる。動きが小さいと判定した場合に、前又は後のフレームにおいて取得された加算画素値に基づいて補間することで、真値に近いと推定される値で未知の４画素加算値を補間できる。これにより、画像の中で動きが小さい領域について、復元画像の高周波成分を改善できる。
【００５７】
また本実施形態では、補間処理部は、対象フレーム（例えばｆＴ＋３）でのリサンプリング値（ａｉｊ（Ｔ＋３）’）と、前又は後のフレーム（例えば前のフレームｆＴ＋２）でのリサンプリング値（ａｉｊ（Ｔ＋２）’）との差が、所定値ｄ以下である場合、対象フレームでの未取得の加算画素値（ａｉｊ（Ｔ＋３））を、前又は後のフレームで取得された加算画素値（ａｉｊ（Ｔ＋２））に基づいて補間する。
【００５８】
より具体的には、補間処理部は、対象フレームでの未取得の加算画素値（ａｉｊ（Ｔ＋３））を、前又は後のフレームで取得された加算画素値（ａｉｊ（Ｔ＋２））に置換することで、補間を行う。
【００５９】
このようにすれば、隣接フレームにおけるリサンプリング値の差が所定値ｄ以下である場合に、位置（ｉ，ｊ）において被写体の動きが小さいと判定できる。また、前又は後のフレームにおいて取得された加算画素値そのものを補間値とすることで、真値に近いと推定される加算画素値を補間値にできる。
【００６０】
また本実施形態では、上式（３）で説明したように、補間処理部は、対象フレームでの未取得の加算画素値（例えばａｉｊ（Ｔ＋１））を、前及び後のフレームで取得された加算画素値（ａｉｊ（Ｔ）、ａｉｊ（Ｔ＋２））に基づいて補間してもよい。
【００６１】
このようにすれば、被写体が少し動いており加算画素値が線形に変化する場合に、前後フレームの加算画素値から補間値を求めることで、より正確な補間値を採用することが可能になる。
【００６２】
５．第２の補間手法
次に、第１の補間手法で補間されなかった未知の加算画素値を補間する手法について詳細に説明する。なお以下では、未知の加算画素値ａ１１が第１の補間手法で補間されなかった場合を例に説明するが、他の未知の４画素加算値ａｉｊが第１の補間手法で補間されなかった場合についても同様である。
【００６３】
図５に示すように、未知の加算画素値ａ１１は、隣接する既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝を用いて補間する。隣接する４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝は、未知の４画素加算値ａ１１と画素を共有しており、一方の値が変化すれば他方の値も変化する関係にある。この従属関係により尤度の高い補間値を求めることが可能となる。この点については、詳細に後述する。
【００６４】
まず、未知の４画素加算値ａ１１に対して複数の候補値ａ１１［ｘ］＝ａ１１［１］〜ａ１１［Ｎ］を生成する。Ｎは自然数であり、ｘはＮ以下の自然数である。候補値ａ１１［ｘ］は、４画素加算値ａｉｊの定義域（広義には所定の範囲）内の値である。例えば、Ｍを自然数として、画素値ｖｉｊの定義域が［０，１，・・・，Ｍ−１］である場合、４画素加算値ａｉｊの定義域は［０，１，・・・，４Ｍ−１］である。この場合、Ｎ＝４Ｍとし、定義域の全ての値を候補値ａ１１［１］〜ａ１１［４Ｍ］＝０〜４Ｍ−１として発生させる。
【００６５】
次に、候補値ａ１１［ｘ］と４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝を用いて、各候補値についてそれぞれ８つの２画素加算値を推定する。具体的には、図６（Ａ）に示すように、水平方向において、４画素加算値｛ａ０１，ａ１１［ｘ］｝より２画素加算値｛ｂ０１［ｘ］，ｂ１１［ｘ］｝を推定し、４画素加算値｛ａ１１［ｘ］，ａ２１｝より２画素加算値｛ｂ２１［ｘ］，ｂ３１［ｘ］｝を推定する。また、垂直方向において、４画素加算値｛ａ１０，ａ１１［ｘ］｝より２画素加算値｛ｂ１０［ｘ］，ｂ１１［ｘ］｝を推定し、４画素加算値｛ａ１１［ｘ］，ａ１２｝より２画素加算値｛ｂ１２［ｘ］，ｂ１３［ｘ］｝を推定する。２画素加算値（広義には中間画素値）の推定手法については、図１１（Ａ）、図１１（Ｂ）で詳細に後述する。
【００６６】
次に、候補値ａ１１［ｘ］から求めた８つの２画素加算値が、２画素加算値の取り得る範囲に矛盾するか否かを判定する。例えば、画素値ｖｉｊの定義域が［０，１，・・・，Ｍ−１］である場合、２画素加算値ｂｉｊの定義域は［０，１，・・・，２Ｍ−１］である。この場合、８つの２画素加算値の中で１つでも下式（４）を満たさないものがあれば、その候補値ａ１１［ｘ］は、それに対応する２画素加算値が理論上成立しないということであるため、ａ１１［ｘ］を候補値から除外する。
【数４】
2013126123.tif 000006
【００６７】
残った候補値が１つである場合には、その候補値を補間値ａ１１とする。残った候補値が複数である場合には、その複数の候補値から補間値ａ１１を求める。例えば、残った候補値の中で、隣接する４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝の平均値に最も近い値を、補間値ａ１１とする。
【００６８】
補間値ａ１１が決まると、既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝と合わせて完備な４画素加算値ａｉｊが得られる。この完備な４画素加算値ａｉｊに対して復元処理を適用することで、元の高解像画像の画素値ｖｉｊを推定する。
【００６９】
以上の実施形態によれば、図４に示すように、画像処理装置は第２補間処理部１５０を含む。第２補間処理部１５０は、補間処理部１４５により対象フレームでの未取得の加算画素値（未知の加算画素値）を補間しないと判定した場合、対象フレームで取得された加算画素値（既知の加算画素値）に基づいて未取得の加算画素値を補間する。
【００７０】
このようにすれば、画像の中で被写体に動きがある領域についてはフレーム内で補間を行うことができる。これにより、被写体に動きがある領域については、１フレームの加算画素値に基づいて高解像画像を復元できるため、複数フレームの加算画素値を用いる場合よりも、より被写体の動きに強い復元処理が可能になる。
【００７１】
また本実施形態では、図４に示すように、画像処理装置は、候補値生成部１５１、決定処理部（候補値選択部１５２）を含む。図５に示すように、画像取得部は、対象フレームで第１加算単位群の加算画素値｛ａ１０、ａ０１、ａ２１、ａ１２｝を取得する。候補値生成部１５１は、第２加算単位群の加算画素値（例えばａ１１）の候補として、複数の候補値ａ１１［１］〜ａ１１［Ｎ］を生成する。決定処理部は、第１加算単位群の加算画素値｛ａ１０、ａ０１、ａ２１、ａ１２｝及び複数の候補値ａ１１［１］〜ａ１１［Ｎ］に基づいて、第２加算単位群の加算画素値ａ１１を決定する処理を行う。
【００７２】
さて、１フレームのみを用いれば、複数フレームを用いる場合よりも、復元処理に用いるデータ量（加算画素値の数）が少なくなる可能性があり、データ量が少なければ復元処理の精度が低下する可能性がある。この点、本実施形態によれば、第２加算単位群を補間する際に複数の候補値を生成し、その中から、真値に近いと推定される高尤度の候補値を選択できる。これにより、少ないデータ量であっても復元精度を向上可能である。
【００７３】
なお、本実施形態では、加算画素値ａｉｊが複数の画素値を加算した値であり、その複数の画素値を復元する場合を例に説明したが、加算画素値ａｉｊが１画素の画素値であり、その１画素を分割した複数画素の画素値を推定する場合にも適用可能である。即ち、撮像素子の画素ピッチ（例えばｐ）よりも小さいシフト量（例えばｐ／２）で機械的な画素シフトを行いながら画像を撮影し、その画像の１画素を加算画素値ａｉｊに対応させ、その１画素をシフト量に応じて分割した複数画素（例えば２２＝４画素）を推定すればよい。
【００７４】
また本実施形態では、図５に示すように、第１加算単位群は、決定処理の対象である加算単位（例えばａ１１）と共通の画素を有する加算単位を、重畳加算単位（｛ａ１０、ａ０１、ａ２１、ａ１２｝）として含む。決定処理部は、複数の候補値ａ１１［１］〜ａ１１［Ｎ］の中から、画素値ｖｉｊの定義域［０〜Ｍ−１］に基づく選択条件（例えば上式（４））を満たす候補値を、重畳加算単位の加算画素値（｛ａ１０、ａ０１、ａ２１、ａ１２｝）に基づいて選択し、選択した候補値に基づいて決定処理を行う（例えば選択された複数の候補値の平均値を最終的な値に決定する）。
【００７５】
このようにすれば、決定処理の対象である加算画素値ａ１１と、それに隣接する重畳加算画素値｛ａ１０、ａ０１、ａ２１、ａ１２｝とが、共通の画素を有することにより従属するため、定義域に矛盾しない候補値を選択することで候補値を絞ることができる。この点については、図９、図１０で詳細に後述する。
【００７６】
より具体的には、加算単位は、複数の画素としてｍ×ｍ画素（ｍは２以上の自然数。例えばｍ＝２）を含む。この場合に、選択条件は、１×ｍ画素又はｍ×１画素の画素値が加算された値である中間画素値ｂｉｊが、画素値ｖｉｊの定義域［０〜Ｍ−１］に矛盾しないという条件（上式（４））である。決定処理部は、複数の候補値の各候補値ａ１１［ｘ］それぞれについて、各候補値ａ１１［ｘ］及び重畳加算単位の加算画素値（｛ａ１０、ａ０１、ａ２１、ａ１２｝）に基づいて中間画素値ｂｉｊ［ｘ］を求め、求めた中間画素値ｂｉｊ［ｘ］が選択条件を満たす候補値ａ１１［ｘ］を選択する。
【００７７】
このようにすれば、選択条件を満たす候補値を、重畳加算単位の加算画素値（｛ａ１０、ａ０１、ａ２１、ａ１２｝）に基づいて選択することができる。また、図１１（Ａ）、図１１（Ｂ）で後述するように、隣接する加算単位が共通の画素を有することにより中間画素値ｂｉｊを推定することが可能となり、その中間画素値ｂｉｊを用いて候補値を選択することが可能となる。
【００７８】
また、本実施形態では、候補値生成部は、画素値ｖｉｊの定義域［０〜Ｍ−１］に基づいて加算画素値ａｉｊが取り得る範囲［０〜４Ｍ−１］内の各値を、複数の候補値ａ１１［１］〜ａ１１［Ｎ＝４Ｍ］＝０〜４Ｍ−１として生成する。
【００７９】
このようにすれば、加算画素値ａｉｊが取り得るあらゆる値の中から、真値に近いと推定される高尤度の候補値を選択することが可能となる。
【００８０】
６．第３の補間手法
次に、ルックアップテーブルを用いて未知の４画素加算値ａ１１を補間する手法について説明する。
【００８１】
この補間手法では、上記の第２の補間手法を用いて予めルックアップテーブルを用意しておく。具体的には、隣接する４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝として取り得る全ての組み合わせについて第２の補間手法を適用し、２画素加算値ｂｉｊの定義域を満足する候補値ａ１１［ｘ］を絞り込む。この結果、４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝と候補値ａ１１［ｘ］の全ての取り得る組み合わせが求まる。
【００８２】
図７に示すように、この組み合わせを候補値ａ１１［ｘ］について整理し、テーブル化する。即ち、ａ１１［１］’〜ａ１１［Ｎ］’＝１〜Ｎとすると、ａ１１［ｘ］’には、ａ１１［ｘ］’を候補値として持つ４画素加算値｛ａ０１［ｘ］，ａ１０［ｘ］，ａ２１［ｘ］，ａ１２［ｘ］｝が対応することになる。同一のａ１１［ｘ］’に対して、複数の｛ａ０１［ｘ］，ａ１０［ｘ］，ａ２１［ｘ］，ａ１２［ｘ］｝の組み合わせが対応することもあり得る。このようにテーブル化しておけば、処理の高速化の点で有効である。
【００８３】
実際に撮影された既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝から補間値ａ１１を求める際には、まず、それらの４画素加算値とのユークリッド距離がゼロになるような４画素加算値｛ａ０１［ｘ］，ａ１０［ｘ］，ａ２１［ｘ］，ａ１２［ｘ］｝を、ルックアップテーブルから探索する。そして、探索した４画素加算値に対応するａ１１［ｘ］’を、未知の４画素加算値ａ１１の補間値とすればよい。
【００８４】
このとき、既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝の組合せパターンに対して、複数のａ１１［ｘ］’が探索される場合がある。その場合、探索された複数のａ１１［ｘ］’をａ１１［ｘ１］’，ａ１１［ｘ２］’，・・・，ａ１１［ｘｎ］’（ｎは自然数）とすれば、下式（５）に示すように、それらの平均値をとって補間値ａ１１とすればよい。
【数５】
2013126123.tif 000007
【００８５】
また、既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝の組合せパターンが余りにも多すぎる場合がある。その場合、各成分の量子化を粗くした上で組合せパターンを削減した粗い離散パターンにしておき、隣接する既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝が与えられたとき、それらとのユークリッド距離が最も近くなるような｛ａ０１［ｘ］，ａ１０［ｘ］，ａ２１［ｘ］，ａ１２［ｘ］｝を探索するようにしてもよい。
【００８６】
具体的には、次のように探索すればよい。即ち、既知の値からなるパターン（ベクトル）をＶ＝（ａ０１，ａ１０，ａ２１，ａ１２）とし、未知の４画素加算値ａ１１［ｘ］を変数として推定した値からなるパターンをＶ［ｘ］＝（ａ０１［ｘ］，ａ１０［ｘ］，ａ２１［ｘ］，ａ１２［ｘ］）とする。下式（６）に示すように、ＶとＶ［ｘ］の距離を誤差とする評価値Ｅ［ｘ］を求める。この評価値Ｅ［ｘ］が最小になるような推定値ａ１１［ｘ］を、尤もらしい補間値ａ１１と判定し選択する。
【数６】
2013126123.tif 000008
【００８７】
未知の４画素加算値ａ１１［ｘ］と、隣接する既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝とは、互いに画素値が共有された重畳シフト加算値であるので、従属性が高く、且つ加算する元の画素値ｖｉｊの取り得る範囲も限定されている。したがって、４画素加算値ａ１１［ｘ］が決まれば、隣接する４画素加算値として推定されるパターンＶ［ｘ］＝（ａ０１［ｘ］，ａ１０［ｘ］，ａ２１［ｘ］，ａ１２［ｘ］）も所定の範囲で限定される。そのため、その推定パターンＶ［ｘ］と既知の４画素加算値パターンＶとが合致または類似性が最大になるような未知の４画素加算値ａ１１［ｘ］を見つければ、それを補間値ａ１１の最尤度値とおおよそ見なす（判別）ことが可能である。
【００８８】
即ち、図８に示すように、未知の４画素加算値ａ１１［ｘ］の変数に対し、上式（６）の誤差評価値Ｅ［ｘ］が最小となるときの４画素加算値ａ１１［ｘ］を、最も尤度が高い補間値ａ１１として特定する。なお、推定値パターンＶ［ｘ］と既知の４画素加算値パターンＶが一致した場合であっても、該当する未知の４画素加算値ａ１１［ｘ］が複数出現し、必ずしも一意的に特定できない場合がある。この場合、下記（ｉ）、（ii）のいずれかの手法により、補間値ａ１１を決定すればよい。
（ｉ）ルックアップテーブルから得られた複数の候補値ａ１１［ｘ］の中から、隣接する既知の４画素加算値｛ａ０１，ａ１０，ａ２１，ａ１２｝の平均値により近い値を、補間値ａ１１として選択する。
（ii）ルックアップテーブルから得られた複数の候補値ａ１１［ｘ］の平均値を、補間値ａ１１とする。
【００８９】
７．最尤度補間手法
上述した第２、第３の補間手法では、最も真値に近いと推定される最尤度の補間値ａ１１が決定される。この点について、原理的に説明する。
【００９０】
図９に示すように、水平方向のサフィックスを“Ｘ”で表し、垂直方向のサフィックスを“Ｙ”で表し、簡単のため一方の方向について説明する場合には他方の方向についてサフィックスを省略する。画素や２画素加算値ｂＸ、ｂＹに施したハッチングは、画素値を模式的に表したものであり、濃度が小さいハッチングほど画素値が大きい（明るい）ことを表す。
【００９１】
４画素加算値ａＸ＋１＝ａＹ＋１は補間値であり、４画素加算値ａＸ、ａＸ＋２、ａＹ、ａＹ＋２は、既知の４画素加算値である。水平方向では４画素加算値ａＸ〜ａＸ＋２から２画素加算値ｂＸ〜ｂＸ＋３が推定され、垂直方向では４画素加算値ａＹ〜ａＹ＋２から２画素加算値ｂＹ〜ｂＹ＋３が推定される。
【００９２】
図１０（Ａ）に、補間値ａＸ＋１が取り得る範囲を表した概念図を示す。図１０（Ａ）に示すように、ｂＸ〜ｂＸ＋３を４つの軸として表すとする。既知の４画素加算値ａＸは、下式（７）で表されることから、ベクトル（ｂＸ，ｂＸ＋１）を（１，１）軸に射影したものである。即ち、既知の４画素加算値ａＸが与えられたときに取り得る（ｂＸ，ｂＸ＋１）は、ラインＬ１上に存在することになる。同様に、既知の４画素加算値ａＸ＋２が与えられたときに取り得る（ｂＸ＋２，ｂＸ＋３）は、ラインＬ２上に存在する。なお図面では、ａＸに（１／√２）を乗じて規格化して表している。
【数７】
2013126123.tif 000009
【００９３】
以上により（ｂＸ＋１，ｂＸ＋２）の取り得る範囲Ｑ１が決まるので、その範囲を射影した４画素加算値ａＸ＋１の取り得る範囲Ｒ１が決まる。第２の補間手法を例にとれば、４画素加算値ａＸ＋１＝ａ１１の候補値として定義域の全ての値を発生し、各候補値についてｂＸ〜ｂＸ＋３を推定する。図１０（Ａ）に示すように、その推定値の中で範囲Ｑ１を満たさないものを（ｂＸ＋１’，ｂＸ＋２’）とすれば、既知のａＸに対する（ｂＸ’，ｂＸ＋１’）の射影を考えるとｂＸ’が負の値にならなければならない。このようなｂＸ’は定義域を満たさないことから、（ｂＸ＋１’，ｂＸ＋２’）に対応する候補値は除外されることになる。即ち、範囲Ｒ１を満たす候補値のみが候補として残ることになる。
【００９４】
このように未知の４画素加算値ａＸ＋１の取り得る範囲Ｒ１を絞ることができるのは、隣接する４画素加算値ａＸと画素を共有しており、共有部分の２画素加算値ｂＸ＋１を介してａＸ＋１とａＸの値が従属しているからである。
【００９５】
図１０（Ｂ）に、垂直方向において補間値ａＹ＋１が取り得る範囲を表した概念図を示す。水平方向における４画素加算値ａＸ＋１と同様にして、４画素加算値ａＹ＋１の取り得る範囲Ｒ２が決まる。ａＸ＋１＝ａＹ＋１であるから、範囲Ｒ１とＲ２の共通領域が、補間値ａＸ＋１＝ａＹ＋１として取り得る範囲となる。図９に示すように、ハッチングで表した画素値を考慮すれば、水平方向では既知のａＸ、ａＸ＋２が中間値になっている。このような場合、図１０（Ａ）に示すように範囲Ｒ１が比較的広くなり、補間値ａＸ＋１の範囲が絞れない。一方、図９に示すように、垂直方向では既知のａＹ、ａＹ＋２が小さい。このような場合、図１０（Ｂ）に示すように範囲Ｒ２が比較的狭くなり、補間値ａＹ＋１の範囲が絞られる。このように、２つの異なる方向において定義域の判定を行うことにより、補間値の取り得る範囲、即ち候補値の数を絞ることが可能となる。
【００９６】
さて、図１０（Ｂ）に示すように、（ｂＹ＋１，ｂＹ＋２）が真値に一致する確率が範囲Ｑ２において均一に分布していると仮定する。この場合、（ｂＹ＋１，ｂＹ＋２）の射影である補間値ａＹ＋１が真値である確率は、ＰＹ＋１に示すように範囲Ｒ２の中央付近において最大となる。そのため、定義域の判定により複数の候補値が残った場合には、その平均値を補間値ａＹ＋１とすれば、ＰＹ＋１が最大付近となる補間値ａＹ＋１を設定することが可能である。
【００９７】
８．復元処理
上述の補間処理により得られた加算画素値から高解像画像を復元推定する処理について詳細に説明する。なお以下では、加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明するが、他の加算画素値についても同様である。また、４画素加算を例に説明するが、例えば９画素加算等、他の画素数の場合にも適用可能である。
【００９８】
図１１（Ａ）に示す加算画素値ａｉｊ（４画素加算値）は、補間処理により得られた補間値、及び既知の加算画素値に対応する。図１１（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（２画素加算値）を推定し、これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ００〜ｖ２２を推定する。
【００９９】
水平方向の最初の行の中間画素値ｂ００〜ｂ２０を例にとり、中間画素値を推定する処理について説明する。中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。画素値ａ００、ａ１０は下式（８）で表される。
ａ００＝ｖ００＋ｖ０１＋ｖ１０＋ｖ１１，
ａ１０＝ｖ１０＋ｖ１１＋ｖ２０＋ｖ２１    （８）
【０１００】
下式（９）に示すように中間画素値ｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ００＋ｖ０１，
ｂ１０＝ｖ１０＋ｖ１１，
ｂ２０＝ｖ２０＋ｖ２１    （９）
【０１０１】
次に、上式（９）を用いて上式（８）を変形すると、下式（１０）が成り立つ。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０    （１０）
【０１０２】
上式（１０）をｂ１０、ｂ２０について解くと、下式（１１）が成り立ち、中間画素値ｂ１０、ｂ２０はｂ００を未知数（初期変数）とする関数として表される。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋δｉ０＝ｂ００＋（ａ１０−ａ００）    （１１）
【０１０３】
次に、画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較し、その類似性が最も高い場合の未知数ｂ００を求める。具体的には、下式（１２）に示す評価関数Ｅｊを求め、その評価関数Ｅｊが最小となる未知数ｂ００を導出する。得られたｂ００の値を上式（１１）に代入し、中間画素値ｂ１０、ｂ２０を求める。
【数８】
2013126123.tif 000010
【０１０４】
次に、垂直方向の最初の列を例にとり、中間画素値ｂｉｊを用いて推定画素値ｖｉｊを求める手法について説明する。推定画素値ｖｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（１０）を下式（１３）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ００＋ｖ０１，
ｂ０１＝ｖ０１＋ｖ０２    （１３）
【０１０５】
以上の実施形態によれば、図１１（Ａ）に示すように、第１のポジションに設定された第１の加算単位（例えばａ００）と、第１のポジションがシフトされた第２のポジションに設定された第２の加算単位（例えばａ１０）は重畳する。上式（１１）に示すように、推定演算部（図４の高精細画像復元推定部１６０）は、第１、第２の加算単位の画素値が加算された第１、第２の加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１１（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（１１）に示すように、推定演算部は、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表し、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定演算部は、推定した第１の中間画素値ｂ００を用いて、加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【０１０６】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルタの繰り返し演算等の複雑な処理が不要となる。
【０１０７】
ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１１（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【０１０８】
また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。
【０１０９】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（ｂ００、ｂ１０、ｂ２０）とする。上式（１１）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第１、第２の加算画素値ａ００、ａ１０を用いて表し、中間画素値の間の関係式で表された中間画素値パターンと、第１、第２の加算画素値とを比較して類似性を評価する。推定演算部は、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１１０】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１１１】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１１２】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１１３】
１０  レンズ、２０  撮像素子、３０  加算処理部、４０  データ圧縮部、
５０  データ記録部、６０  動画フレーム生成部、７０  モニタ表示部、
１１０  データ記録部、１１５  データ伸張部、１２０  伸張データ記憶部、
１２５  モニタ画像生成部、１３０  モニタ画像表示部、
１３５  画像データ選択部、１４０  選択フレーム記憶部、１４５  補間処理部、
１４６  リサンプリング処理部、１４７  像静止期間検出部、
１５０  第２補間処理部、１５１  候補値生成部、１５２  補間値選択部、
１５３  補間値充当部、１６０  高精細画像復元推定部、１７０  高精細画像生成部、
１８０  高精細画像データ記録部、１９０  画像出力部、
ａｉｊ  加算画素値、ａｉｊ（Ｔ）  実サンプリング値、
ａｉｊ（Ｔ）’  リサンプリング値、ａ１１［ｘ］  候補値、
ｂｉｊ，ｂｉｊ［ｘ］  中間画素値、ｆＴ  フレーム、ｖｉｊ  画素値
【図１】
2013126123.tif 000011
【図２】
2013126123.tif 000012
【図３】
2013126123.tif 000013
【図４】
2013126123.tif 000014
【図５】
2013126123.tif 000015
【図６】
2013126123.tif 000016
【図７】
2013126123.tif 000017
【図８】
2013126123.tif 000018
【図９】
2013126123.tif 000019
【図１０】
2013126123.tif 000020
【図１１】
2013126123.tif 000021