(57)【要約】【課題】簡素な処理で低解像動画から高解像画像を取得できる画像処理装置、撮像装置、プログラム及び画像処理方法等を提供すること。【解決手段】画像処理装置は、記憶部、補間処理部、推定演算部、画像出力部を含む。受光単位の受光値ａ−２，−２〜ａ２２が読み出されて低解像フレーム画像が取得される。記憶部は、その低解像フレーム画像を記憶する。補間処理部は、仮想受光単位の受光値ａ１０、ａ０１、ａ１１を、受光値ａ−２，−２〜ａ２２に基づく補間処理により求める。推定演算部は、受光単位の受光値ａ００と仮想受光単位の受光値ａ１０、ａ０１、ａ１１に基づいて、低解像フレーム画像よりも画素ピッチが小さい推定画素値を推定する。画像出力部は、その推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。【選択図】      図１
2011248576.tif 000002
【特許請求の範囲】
【請求項１】
受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、
前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記推定演算部は、
第１のポジションに設定された前記受光単位または前記仮想受光単位のいずれかである第１の受光単位と、前記第１の受光単位に重畳する第２のポジションに設定された前記仮想受光単位である第２の受光単位との差分値を求め、前記差分値に基づいて前記推定画素値を推定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記推定演算部は、
前記第１の受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２の受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めることを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記受光単位の受光値及び前記仮想受光単位の受光値を用いて表し、
前記関係式で表された前記中間画素値パターンを、前記受光単位の受光値及び前記仮想受光単位の受光値で表される受光値パターンと比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記推定演算部は、
前記関係式で表された前記中間画素値パターンと、前記受光値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記補間処理部は、
前記低解像フレーム画像に含まれる前記受光単位の受光値のうち、前記仮想受光単位の周辺の複数の受光単位の受光値を重み付け加算して前記仮想受光単位の受光値を求めることを特徴とする画像処理装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が加算されて前記受光単位の受光値として読み出され、
前記推定演算部は、
加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
【請求項８】
請求項１乃至６のいずれかにおいて、
前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が重み付け加算されて前記受光単位の受光値として読み出され、
前記推定演算部は、
重み付け加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記撮像素子がカラー撮像素子であり、隣接する複数の画素が、画素の色に依らず前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出されて前記低解像度フレーム画像が取得され、
前記推定演算部は、
前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、
前記画像出力部は、
前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至８のいずれかにおいて、
前記撮像素子がカラー撮像素子であり、同じ色の複数の画素が前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、
前記推定演算部は、
前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、
前記画像出力部は、
前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力することを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記受光単位がＮ×Ｎ画素に設定され、前記Ｎ×Ｎ画素の画素値が加算されて読み出されてＮ×Ｎ画素の受光単位の受光値が取得される場合に、
前記補間処理部は、
前記Ｎ×Ｎ画素の受光単位がＮ／２画素だけシフトされたＮ×Ｎ画素の仮想受光単位の受光値を補間処理により求め、
前記推定演算部は、
前記Ｎ×Ｎ画素の受光単位の受光値と前記Ｎ×Ｎ画素の仮想受光単位の受光値に基づいて、Ｎ／２×Ｎ／２画素の受光単位の受光値を推定し、
前記補間処理部は、
前記Ｎ／２×Ｎ／２画素の受光単位がＮ／４画素だけシフトされたＮ／２×Ｎ／２画素の仮想加算画素の画素値を補間処理により求め、
前記推定演算部は、
前記Ｎ／２×Ｎ／２画素の受光単位の受光値と前記Ｎ／２×Ｎ／２画素の仮想受光単位の受光値に基づいて、Ｎ／４×Ｎ／４画素の受光単位の受光値を推定することを特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記受光単位を重畳しながらシフトする画素シフトが各フレームで行われ、前記画素シフトにより前記受光単位が複数のポジションに順次設定され、複数のフレーム毎に前記受光単位が同じポジションに設定される場合に、
前記補間処理部は、
前記各フレームで取得された前記低解像フレーム画像に基づいて、前記各フレームにおいて前記仮想受光単位の受光値を補間処理により求め、
前記推定演算部は、
前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記各フレームにおいて前記推定画素値を推定し、
前記画像出力部は、
前記推定画素値に基づいて前記各フレームでのフレーム画像を求め、前記複数のフレームの前記フレーム画像を合成して前記高解像フレーム画像を出力することを特徴とする画像処理装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記画像出力部は、
前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力することを特徴とする画像処理装置。
【請求項１４】
撮像素子と、
受光値を取得する単位である受光単位を前記撮像素子に設定し、前記受光単位の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、
前記読み出し制御部により取得された前記低解像フレーム画像を記憶する記憶部と、
前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、
前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を含むことを特徴とする撮像装置。
【請求項１５】
請求項１４において、
表示部と、
前記表示部に画像を表示する制御を行う表示制御部と、
を含み、
前記画像出力部は、
前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力し、
前記表示制御部は、
前記低解像フレーム画像による動画を表示する制御と、前記ハイビジョン動画を表示する制御と、前記高解像静止画を表示する制御と、を行うことを特徴とする撮像装置。
【請求項１６】
受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、
前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１７】
受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶し、
前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求め、
前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、プログラム及び画像処理方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる画像処理装置、撮像装置、プログラム及び画像処理方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含む画像処理装置に関係する。
【０００８】
本発明の一態様によれば、仮想受光単位の受光値が、受光単位の受光値に基づく補間処理により求められる。その仮想受光単位の受光値と受光単位の受光値に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値が推定される。そして、その推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像が出力される。これにより、簡素な処理で低解像動画から高解像画像を取得すること等が可能になる。
【０００９】
また、本発明の一態様では、前記推定演算部は、第１のポジションに設定された前記受光単位または前記仮想受光単位のいずれかである第１の受光単位と、前記第１の受光単位に重畳する第２のポジションに設定された前記仮想受光単位である第２の受光単位との差分値を求め、前記差分値に基づいて前記推定画素値を推定してもよい。
【００１０】
このようにすれば、第１の受光単位の受光値と第２の受光単位の受光値の差分値に基づいて推定画素値が推定されることで、受光単位の受光値と仮想受光単位の受光値に基づいて推定画素値を推定できる。
【００１１】
また、本発明の一態様では、前記推定演算部は、前記第１の受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２の受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めてもよい。
【００１２】
このようにすれば、第１、第２の中間画素値の関係式が上記差分値により表され、その関係式に基づいて第１、第２の中間画素値が推定され、その第１の中間画素値に基づいて推定画素値が推定される。これにより、第１の受光単位の受光値と第２の受光単位の受光値の差分値に基づいて推定画素値を推定できる。
【００１３】
また、本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記受光単位の受光値及び前記仮想受光単位の受光値を用いて表し、前記関係式で表された前記中間画素値パターンを、前記受光単位の受光値及び前記仮想受光単位の受光値で表される受光値パターンと比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００１４】
このようにすれば、中間画素値パターンと受光値パターンの類似性が評価され、その類似性が最も高くなるように中間画素値パターンに含まれる中間画素値が決定されることで、中間画素値間の関係式に基づいて中間画素値を決定できる。
【００１５】
また、本発明の一態様では、前記推定演算部は、前記関係式で表された前記中間画素値パターンと、前記受光値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００１６】
このようにすれば、評価関数を求められることで、中間画素値パターンと受光値パターンの類似性を評価できる。また、評価関数の値が最小となるように中間画素値が決定されることで、類似性が最も高くなるように中間画素値を決定できる。
【００１７】
また、本発明の一態様では、前記補間処理部は、前記低解像フレーム画像に含まれる前記受光単位の受光値のうち、前記仮想受光単位の周辺の複数の受光単位の受光値を重み付け加算して前記仮想受光単位の受光値を求めてもよい。
【００１８】
このようにすれば、仮想受光単位の受光値を、低解像フレーム画像の受光単位の受光値に基づく補間処理により求めることができる。
【００１９】
また、本発明の一態様では、前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が加算されて前記受光単位の受光値として読み出され、前記推定演算部は、加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定してもよい。
【００２０】
このようにすれば、加算読み出しにより得られた受光単位の受光値に基づいて、その受光単位の各画素の画素値を推定できる。
【００２１】
また、本発明の一態様では、前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が重み付け加算されて前記受光単位の受光値として読み出され、前記推定演算部は、重み付け加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定してもよい。
【００２２】
このようにすれば、重み付け加算読み出しにより得られた受光単位の受光値に基づいて、その受光単位の各画素の画素値を推定できる。
【００２３】
また、本発明の一態様では、前記撮像素子がカラー撮像素子であり、隣接する複数の画素が、画素の色に依らず前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出されて前記低解像度フレーム画像が取得され、前記推定演算部は、前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、前記画像出力部は、前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力してもよい。
【００２４】
また、本発明の一態様では、前記撮像素子がカラー撮像素子であり、同じ色の複数の画素が前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、前記推定演算部は、前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、前記画像出力部は、前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力してもよい。
【００２５】
これらの本発明の一態様によれば、カラー撮像素子により取得された低解像フレーム画像から推定画素値を推定し、カラーの高解像フレーム画像を出力できる。
【００２６】
また、本発明の一態様では、前記受光単位がＮ×Ｎ画素に設定され、前記Ｎ×Ｎ画素の画素値が加算されて読み出されてＮ×Ｎ画素の受光単位の受光値が取得される場合に、前記補間処理部は、前記Ｎ×Ｎ画素の受光単位がＮ／２画素だけシフトされたＮ×Ｎ画素の仮想受光単位の受光値を補間処理により求め、前記推定演算部は、前記Ｎ×Ｎ画素の受光単位の受光値と前記Ｎ×Ｎ画素の仮想受光単位の受光値に基づいて、Ｎ／２×Ｎ／２画素の受光単位の受光値を推定し、前記補間処理部は、前記Ｎ／２×Ｎ／２画素の受光単位がＮ／４画素だけシフトされたＮ／２×Ｎ／２画素の仮想加算画素の画素値を補間処理により求め、前記推定演算部は、前記Ｎ／２×Ｎ／２画素の受光単位の受光値と前記Ｎ／２×Ｎ／２画素の仮想受光単位の受光値に基づいて、Ｎ／４×Ｎ／４画素の受光単位の受光値を推定してもよい。
【００２７】
このようにすれば、Ｎ×Ｎ画素の受光単位の受光値からＮ／２×Ｎ／２画素の受光単位の受光値を推定し、そのＮ／２×Ｎ／２画素の受光単位の受光値からＮ／４×Ｎ／４画素の受光単位の受光値を推定できる。これにより、推定処理を順次繰り返して推定画素値を推定できる。
【００２８】
また、本発明の一態様では、前記受光単位を重畳しながらシフトする画素シフトが各フレームで行われ、前記画素シフトにより前記受光単位が複数のポジションに順次設定され、複数のフレーム毎に前記受光単位が同じポジションに設定される場合に、前記補間処理部は、前記各フレームで取得された前記低解像フレーム画像に基づいて、前記各フレームにおいて前記仮想受光単位の受光値を補間処理により求め、前記推定演算部は、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記各フレームにおいて前記推定画素値を推定し、前記画像出力部は、前記推定画素値に基づいて前記各フレームでのフレーム画像を求め、前記複数のフレームの前記フレーム画像を合成して前記高解像フレーム画像を出力してもよい。
【００２９】
このようにすれば、各フレームにおいて画素シフトされる受光単位の受光値に基づいて、各フレームにおいて推定画素値を推定してフレーム画像を求め、その複数のフレーム画像を合成して高解像フレーム画像を出力できる。
【００３０】
また、本発明の一態様では、前記画像出力部は、前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力してもよい。
【００３１】
このようにすれば、高解像フレーム画像に基づいて、ハイビジョン動画または高解像静止画を出力できる。
【００３２】
また、本発明の他の態様は、撮像素子と、受光値を取得する単位である受光単位を前記撮像素子に設定し、前記受光単位の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、前記読み出し制御部により取得された前記低解像フレーム画像を記憶する記憶部と、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含む撮像装置に関係する。
【００３３】
また、本発明の他の態様では、表示部と、前記表示部に画像を表示する制御を行う表示制御部と、を含み、前記画像出力部は、前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力し、前記表示制御部は、前記低解像フレーム画像による動画を表示する制御と、前記ハイビジョン動画を表示する制御と、前記高解像静止画を表示する制御と、を行ってもよい。
【００３４】
また、本発明のさらに他の態様は、受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部として、コンピュータを機能させるプログラムに関係する。
【００３５】
また、本発明のさらに他の態様は、受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶し、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求め、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像処理方法に関係する。
【図面の簡単な説明】
【００３６】
【図１】受光値の補間手法の説明図。
【図２】図２（Ａ）、図２（Ｂ）は、推定処理ブロックと受光単位の説明図。
【図３】図３（Ａ）、図３（Ｂ）は、推定画素値と中間画素値の説明図。
【図４】推定画素値の第１の推定手法の説明図。
【図５】推定画素値の第１の推定手法の説明図。
【図６】推定画素値の第１の推定手法の説明図。
【図７】図７（Ａ）、図７（Ｂ）は、中間画素値と推定画素値の説明図。
【図８】推定画素値の第１の推定手法の説明図。
【図９】推定画素値の第１の推定手法の説明図。
【図１０】推定画素値の第１の推定手法の説明図。
【図１１】撮像装置と画像処理装置の第１の構成例。
【図１２】動画撮影における補間手法の説明図。
【図１３】推定画素値の第２の推定手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）は、推定画素値の第３の推定手法の説明図。
【図１５】推定画素値の第３の推定手法の説明図。
【図１６】推定画素値の第３の推定手法の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）は、推定画素値の第３の推定手法の説明図。
【図１８】データ圧縮伸張と推定処理の手法の説明図。
【図１９】データ圧縮伸張と推定処理の手法の説明図。
【図２０】撮像装置と画像処理装置の第２の構成例。
【図２１】推定画素値の第４の推定手法の説明図。
【図２２】図２２（Ａ）、図２２（Ｂ）は、推定画素値の第４の推定手法の説明図。
【図２３】推定画素値の第４の推定手法の説明図。
【図２４】推定画素値の第４の推定手法の説明図。
【図２５】推定画素値の第４の推定手法の説明図。
【図２６】推定画素値の第４の推定手法の説明図。
【図２７】推定画素値の第４の推定手法の説明図。
【図２８】推定画素値の第４の推定手法の説明図。
【図２９】推定画素値の第５の推定手法のフローチャート。
【図３０】推定画素値の第６の推定手法の説明図。
【図３１】推定画素値の第６の推定手法のフローチャート。
【図３２】図３２（Ａ）、図３２（Ｂ）は、推定画素値の第７の推定手法の説明図。
【図３３】撮像装置と画像処理装置の第３の構成例。
【発明を実施するための形態】
【００３７】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３８】
１．比較例
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００３９】
しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。このように、従来の手法では撮影者のテクニックがかなり要求されるため、例えば動画を撮りつつ、その中で任意の画像を高精細画像として生成できたり、あるいはラフに撮像しておいて、その中から解像度を落とさずに高精細画像を抽出し望みの構図が選べるたりすることを可能とする方法が求められている。
【００４０】
このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。
【００４１】
しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリ、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。
【００４２】
また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。
【００４３】
この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素シフトにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。
【００４４】
しかしながら、この手法では、センサを機械的にシフトさせたり、加算読み出しをシフトさせながら行ったりする必要があるため、カメラの構成が複雑になってしまう。また、超解像処理が必要なため処理負荷が大きくなってしまう。
【００４５】
例えば、画素シフトによる超解像処理として、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelyhood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Covex Set）法、ＩＢＰ（Iterative Back Prohection）法などが知られている。
【００４６】
この超解像処理を用いた手法として、例えば上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する。
【００４７】
しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。
【００４８】
また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００４９】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。
【００５０】
２．受光値の補間手法
そこで、本実施形態では、撮像により低解像フレーム画像を取得し、その低解像フレーム画像に基づいて画素シフトされた低解像フレーム画像を補間処理により仮想的に求め、これらの画像から高解像フレーム画像を簡素な推定処理で推定する。
【００５１】
まず、図１を用いて、画素シフトされた低解像フレーム画像を補間処理により求める手法について説明する。なお、以下では、撮像により取得された受光値（画素値）を受光単位（受光値取得単位）の受光値と呼び、補間処理により求められた受光値を仮想受光単位（補間受光単位）の受光値と呼ぶ。また、以下では、受光単位の受光値が４画素加算値である場合を例に説明するが、本実施形態ではこの場合に限定されず、例えば１画素の画素値や９画素加算値であってもよい。
【００５２】
図１に示すように、低解像フレーム画像を構成する受光単位の受光値ａ−２，−２、ａ０，−２、・・・、ａ２２（実線の四角で示す）が撮像により取得される。具体的には、撮像素子の４画素（１画素または複数画素）毎に受光単位が設定され、その受光単位に含まれる画素の画素値が加算または重み付け加算されて読み出され、受光値が取得される。撮像素子の画素ピッチをｐとすると、受光単位のピッチは２ｐである。
【００５３】
次に、この低解像フレーム画像から、３つの重畳シフトされた低解像フレーム画像（以下、シフト画像と呼ぶ）をフレーム内での補間処理により求める。具体的には、低解像フレーム画像に対して水平方向にピッチｐだけシフトされた第１のシフト画像と、垂直方向にピッチｐだけシフトされた第２のシフト画像と、水平方向及び垂直方向にピッチｐだけシフトされた第３のシフト画像を求める。これらのシフト量は、実際にシフト撮像したと仮定した場合における撮像素子上でのシフト量に対応する。
【００５４】
例えば、図１に示すように、取得済みの受光値ａ００に近接する３つの仮想受光単位の受光値ａ１０、ａ０１、ａ１１（点線の四角で示す）は、それぞれ第１〜第３のシフト画像を構成する受光値である。仮想受光単位は、受光単位と同じ画素数の４画素に設定される。この受光値ａ１０、ａ０１、ａ１１は、仮想受光単位の周辺の受光値から推定される。例えば下式（１）に示すように、受光値ａ１０、ａ０１、ａ１１の推定値は、近接する受光単位の受光値に重み係数ｗ０，ｗ１，ｗ２を掛けて補間推定を行うことにより求める。
ａ００＝（既知の取得値），
ａ１０＝（ｗ１・ａ０，−２＋ｗ１・ａ２，−２）＋（ｗ０・ａ００＋ｗ０・ａ２０）
＋（ｗ１・ａ０２＋ｗ１・ａ２２），
ａ０１＝（ｗ１・ａ−２，０＋ｗ１・ａ−２，２）＋（ｗ０・ａ００＋ｗ０・ａ０２）
＋（ｗ１・ａ２０＋ｗ１・ａ２２），
ａ１１＝（ｗ２・ａ００＋ｗ２・ａ２０＋ｗ２・ａ０２＋ｗ２・ａ２２）    ・・・（１）
【００５５】
なお、本実施形態では、上述の補間処理に限定されず、種々の補間処理の手法を適用可能である。例えば、重み付け係数ｗ０、ｗ１、ｗ２は、従来のベイヤ補間手法や、画素欠陥補正手法等の考え方を用いて設定されてもよい。また、多数の高解像画像サンプルに対して、重み付け係数ｗ０、ｗ１、ｗ２を変化させ、上式（１）の処理を施して高解像推定画像を生成し、画像サンプルと推定画像の画素値の誤差の合計が最も小さくなるような重み付け係数ｗ０、ｗ１、ｗ２を予め求めておいて推定時に適用してもよい。
【００５６】
３．推定画素値の第１の推定手法
次に、図２（Ａ）〜図１０を用いて、低解像フレーム画像から高解像フレーム画像を推定する手法について説明する。本実施形態では、上述のように相互に画素ピッチｐだけ重畳シフトした４画素加算値で構成される４つの低解像フレーム画像を用いて、４倍の画素数をもつ高解像フレーム画像を推定する。
【００５７】
まず、図２（Ａ）、図２（Ｂ）に、画素推定に用いられる推定処理ブロックと受光単位の模式的な説明図を示す。図２（Ａ）、図２（Ｂ）では、推定処理により求められる推定画素を実線の四角で示し、水平方向（水平走査方向）の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは整数）。
【００５８】
図２（Ａ）に示すように、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ００、Ｂｋ１０、・・・を設定する。本実施形態では、この推定処理ブロック毎に、高解像フレーム画像の画素値の推定処理を行う。図２（Ｂ）には、上記の推定処理ブロックのうちの１つを模式的に示す。図２（Ｂ）に示す受光値ａ００〜ａ（ｍ−１）（ｎ−１）は、撮像により取得された低解像フレーム画像の受光値と、補間処理により求められた第１〜第３のシフト画像の受光値により構成される。
【００５９】
次に、図３（Ａ）〜図１０を用いて、本実施形態の画素推定手法について説明する。以下では、説明を簡単にするために、２×２画素毎に推定処理ブロックが設定され、１つの受光単位の受光値ａ００と３つの仮想受光単位の受光値ａ１０、ａ０１、ａ１１から推定する場合を例に説明する。
【００６０】
図３（Ａ）、図３（Ｂ）に、推定画素値と中間画素値の説明図を示す。図３（Ａ）に示すように、受光値ａ００〜ａ１１を用いて、最終的に推定画素値ｖ００〜ｖ２２を推定する。すなわち、画素ピッチ２ｐの受光単位から構成される低解像画像から、画素ピッチｐの撮像素子と同じ解像度（画素数）の高解像画像を推定する。
【００６１】
このとき、図３（Ｂ）に示すように、受光値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値、２画素加算値）を推定し、その中間画素値ｂ００〜ｂ２１から画素値ｖ００〜ｖ２２を推定する。この中間画素値の推定手法について、図４に示す水平方向の最初の行の中間画素値ｂ００〜ｂ２０を例に説明する。なお、ここでは水平方向に高解像化して中間画素を求める場合を説明するが、本実施形態では垂直方向に高解像化して中間画素を求めてもよい。
【００６２】
図４に示すように、受光値と中間画素値の間には、下式（２）の関係が成り立つ。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０      ・・・  （２）
【００６３】
ｂ００を未知数（初期変数、初期値）として上式（２）を変形すると、下式（３）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として表すことができる。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋δｉ０＝ｂ００＋（ａ１０−ａ００）      ・・・  （３）
【００６４】
ここで、下式（４）に示すように、δｉ０は１シフト離れた受光値の差分値であり、中間画素値ｂ２０、ｂ００の差分値に対応する。
δｉ０＝ａ１０−ａ００
＝（ｂ１０＋ｂ２０）−（ｂ００＋ｂ１０）
＝ｂ２０−ｂ００                            ・・・  （４）
【００６５】
このようにして、ｂ００を未知数とする高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。このｂ００の関数として表わされた中間画素値の絶対値（値、数値）を決定するためには、未知数ｂ００を求める必要がある。
【００６６】
図５に示すように、本実施形態では、受光値によるパターン｛ａ００，ａ１０｝と中間画素値によるパターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差が最小になる未知数ｂ００を導出し、導出した未知数ｂ００を最終的な中間画素値ｂ００として設定する。具体的には、下式（５）に示すように、誤差の評価関数Ｅｊを未知数ｂ００の関数で表す。そして、図６に示すように、評価関数Ｅｊを最小（極小値）にする未知数ｂ００＝α（初期値）を探索的に求める（最小二乗法）。
【数１】
2011248576.tif 000003
【００６７】
上式（５）に示すように、本実施形態では、中間画素値の平均値と、低域周波数成分をもつパターン｛ａ００，ａ１０｝の誤差評価を行う。これにより、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の推定解として高域周波数成分を多く含むパターンが導出されることを抑止できる。すなわち、仮に未知数の推定が不正確となったとしても、低域周波数成分を多く含む画像を生成することになる。そのため、低域周波数成分よりも不自然さが強調され易い高域周波数成分に誤りを含むパターンを生成することを抑止でき、画像としては見た目の自然さを失うことがない。これにより、低域周波数成分に比べて高域周波数成分が小さい自然画像に対して、合理的な画素推定が可能になる。
【００６８】
このようにして、中間画素値ｂ００の値を推定し、推定したｂ００の値を上式（３）に代入して中間画素値ｂ１０、ｂ２０の値を決定する。そして、同様にｂ０１を未知数として２行目の中間画素値ｂ０１〜ｂ２１を推定する。
【００６９】
次に、推定した中間画素値ｂｉｊを用いて最終的な推定画素値ｖｉｊを求める手法について説明する。図７（Ａ）、図７（Ｂ）に、中間画素値と推定画素値の説明図を模式的に示す。図７（Ａ）に示すように、上述の手法で推定した３列の中間画素値ｂ００〜ｂ２１のうち、２列の中間画素値ｂ００〜ｂ１１を用いて推定を行う。図７（Ｂ）に示すように、中間画素値ｂ００〜ｂ１１から画素値ｖ００〜ｖ１２が推定される。以下では、説明を簡単にするために、図８に示す１列目の画素値ｖ００〜ｖ０２を例に説明する。
【００７０】
画素値ｖ００〜ｖ０２の推定は、上述の中間画素値の推定手法と同様の手法で行う。具体的には、中間画素値ｂ００、ｂ０１は、画素値ｖ００〜ｖ０２を垂直方向に２画素単位で１画素ずつシフトさせながら重畳サンプリングした値と等価である。そのため、中間画素値と推定画素値の間には、下式（６）の関係が成り立つ。
ｂ００＝ｖ００＋ｖ０１，
ｂ０１＝ｖ０１＋ｖ０２      ・・・  （６）
【００７１】
下式（７）に示すように、画素値ｖ０１、ｖ０２を未知数ｖ００の関数として表すことができる。
ｖ００＝（未知数），
ｖ０１＝ｂ００−ｖ００，
ｖ０２＝ｖ００＋δｊ０＝ｖ００＋（ｂ０１−ｂ００）      ・・・  （７）
【００７２】
ここで、下式（８）に示すように、δｊ０は１シフト離れた中間画素値の差分値であり、画素値ｖ０２、ｖ００の差分値に対応する。
δｉ０＝ｂ０１−ｂ００
＝（ｖ０１＋ｖ０２）−（ｖ００＋ｖ０１）
＝ｖ０２−ｖ００                            ・・・  （８）
【００７３】
図９に示すように、中間画素値によるパターン｛ｂ００，ｂ１０｝と、推定画素値によるパターン｛ｖ００，ｖ０１、ｖ０２｝の誤差が最小になる未知数ｖ００を導出する。すなわち、下式（９）に示すように、誤差を評価関数Ｅｉで表し、図１０に示すように、その評価関数Ｅｉを最小にする未知数ｖ００＝βを探索的に求める。
【数２】
2011248576.tif 000004
【００７４】
そして、同様の処理により２列目の画素値ｖ１０〜ｖ１２を求め、最終的な推定画素値ｖ００、ｖ０１、ｖ１０、ｖ１１を決定する。なお、本実施形態では、最終推定画素値により構成される画像データに適当なノイズ低減処理を施して表示画像としてもよい。また、本実施形態では、最終的な推定画素値ｖ００、ｖ０１、ｖ１０、ｖ１１は、４つの値を一度に求めるという考え方ではなく、推定処理ブロック単位で例えばｖ００のみの１画素を最終推定画素値として採用し、水平または垂直方向に推定処理ブロック単位をずらしながら１画素ずつ最終推定画素値を順次求める方法であっても当然構わない。
【００７５】
ここで、上述の実施形態では、未知数ｂ００、ｖ００を探索的に求める場合について説明したが、本実施形態では、未知数ｂ００、ｖ００を直接的に求めてもよい。すなわち、上式（５）に示す誤差Ｅｊの式はｂ００の２次関数式であるので、下式（１０）の形に式変形が可能である。そのため、Ｅｊを最小にするｂ００の最小値αを直接的に求められる。ｖ００の最小値βについても同様に求められる。
Ｅｊ＝（ｂ００−α）２＋ξ      ・・・  （１０）
【００７６】
さて上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザ決定的瞬間をとらえることが難しいという課題がある。また、超解像処理により高解像化する手法では、大負荷の処理であるため処理回路の規模が増大する等の課題がある。また、画素シフトを用いる手法では、光学系の機械的シフトやシフト読み出しが必要なため、カメラの構成が複雑になるという課題がある。
【００７７】
この点、本実施形態によれば、図１に示すように、受光値ａ−２，−２、ａ０，−２、・・・、ａ２２を取得する単位である受光単位が撮像素子（例えば、図１１に示す撮像素子１２０）に設定され、その受光単位の受光値ａ−２，−２、ａ０，−２、・・・、ａ２２が読み出されて低解像フレーム画像が取得される。この低解像フレーム画像は、記憶部（図１１に示すデータ記録部１４０）に記憶される。そして、補間処理部（補間処理部２００）は、受光単位ａ００のポジションからシフトされたポジションに受光単位ａ００に重畳して設定される仮想受光単位の受光値ａ１０、ａ０１、ａ１１を、受光単位の受光値ａ−２，−２、ａ０，−２、・・・、ａ２２に基づく補間処理により求める。図３（Ａ）等に示すように、推定演算部（画素値推定演算部２１０）は、受光単位の受光値ａ００と仮想受光単位の受光値ａ１０、ａ０１、ａ１１に基づいて、低解像フレーム画像の画素ピッチ２ｐよりも小さい画素ピッチｐの推定画素値ｖ００〜ｖ１１を推定する。画像出力部（画像出力部３００）は、その推定画素値ｖ００〜ｖ１１に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。
【００７８】
ここで、受光単位のポジションとは、撮像素子の受光面上での受光単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での受光単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。また、重畳するとは、受光単位と仮想受光単位が重なった領域を有することであり、例えば図３（Ａ）に示すように、受光単位ａ００と仮想受光単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
【００７９】
これにより、簡素な処理で動画から高解像画像を取得することや、画素シフトを行わずに画像の高解像化を行うことが可能になる。例えば、上述の中間画素値の推定を用いて推定処理を簡素化できる。また、高解像静止画は、低解像動画の任意タイミングのものを事後的に生成できるため、ユーザは、決定的瞬間の高解像静止画を容易に得ることができる。また、撮影時には低解像動画（例えば３メガピクセル）を取得することで高フレームレートで撮影し、必要に応じて高解像静止画（１２メガピクセル）等を表示できる。
【００８０】
また、図３（Ａ）に示すように、推定演算部は、第１のポジションに設定された第１の受光単位ａ００と、第１の受光単位に重畳する第２のポジションに設定された第２の受光単位ａ１０との差分値δｉ０＝ａ１０−ａ００を求める。そして、推定演算部は、その差分値δｉ０に基づいて、推定画素値ｖ００〜ｖ１１（推定ブロック内の推定画素値）を推定する。なお、第１の受光単位は、受光単位または仮想受光単位のいずれかであればよい。すなわち、第１、第２の受光単位は、受光単位と仮想受光単位であってもよく、仮想受光単位と仮想受光単位であってもよい。
【００８１】
このようにすれば、重畳する受光単位の受光値ａ１０、ａ００の差分値δｉ０に基づいて推定画素値ｖ００〜ｖ１１を推定することで、簡素な処理で高解像化を行うことが可能になる。
【００８２】
より具体的には、図３（Ａ）、図３（Ｂ）に示すように、第１の中間画素値ｂ００は、第１の受光単位ａ００から重畳領域（推定画素ｖ１０、ｖ１１を含む領域）を除いた第１の受光領域（推定画素ｖ００、ｖ０１を含む領域）の受光値である。第２の中間画素値ｂ２０は、第２の受光単位ａ１０から重畳領域を除いた第１の受光領域（推定画素ｖ２０、ｖ２１を含む領域）の受光値である。上式（３）に示すように、推定演算部は、第１の中間画素値ｂ００と第２の中間画素値ｂ２０との関係式を差分値δｉ０を用いて表し、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。そして、図７（Ａ）、図７（Ｂ）に示すように、推定演算部は、第１の中間画素値ｂ００を用いて推定画素値ｖ００〜ｖ１１を求める。
【００８３】
このようにすれば、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【００８４】
また、本実施形態では、図３（Ｂ）に示すように、第１、第２の中間画素値ｂ００、ｂ２０を含む連続する中間画素値｛ｂ００、ｂ１０、ｂ２０｝を中間画素値パターンとする。このとき、上式（３）に示すように、推定演算部は、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝に含まれる中間画素値間の関係式を受光値ａ００、ａ１０を用いて表す。そして、図５に示すように、推定演算部は、関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝を、受光値ａ００、ａ１０で表される受光値パターン｛ａ００、ａ１０｝と比較して類似性を評価し、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００〜ｂ２０を決定する。
【００８５】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、受光値パターンとは、推定処理に用いられる範囲の受光値のデータ列であり、受光単位の受光値と仮想受光単位の受光値を含むデータ列である。
【００８６】
このようにすれば、受光単位の受光値ａ００と、受光単位の受光値を補間処理して求めた仮想受光単位の受光値ａ１０とに基づいて、中間画素値ｂ００〜ｂ２０を推定できる。また、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝を比較することで、受光値パターンに類似した高精細な中間画素値パターンを推定できる。
【００８７】
また、上式（５）に示すように、推定演算部は、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝の誤差を表す評価関数Ｅｊを求め、評価関数Ｅｊの値が最小となる未知数ｂ００＝α（初期値）を求め、求めたｂ００により中間画素値ｂ００〜ｂ２０を決定する。
【００８８】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。すなわち、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索が不要である。
【００８９】
また、図１に示すように、補間処理部は、低解像フレーム画像に含まれる受光単位の受光値ａ−２，−２、ａ０，−２、・・・、ａ２２のうち、仮想受光単位の周辺の複数の受光単位の受光値を重み付け加算して、仮想受光単位の受光値ａ１０、ａ０１、ａ１１を求める。
【００９０】
ここで、仮想受光単位の周辺の受光単位とは、少なくとも仮想受光単位に重畳する受光単位であり、例えば、仮想受光単位ａ１０に重畳する受光単位ａ００、ａ２０である。または、仮想受光単位に重畳する受光単位と、さらにその受光単位に隣接する受光単位であり、例えば、仮想受光単位ａ１０に重畳する受光単位ａ００、ａ２０と、受光単位ａ００、ａ２０に隣接する受光単位ａ０，−２、ａ２，−２、ａ０２、ａ２２である。
【００９１】
このようにすれば、受光単位ａ００に重畳して設定される仮想受光単位の受光値ａ１０、ａ０１、ａ１１を、受光単位の受光値ａ−２，−２、ａ０，−２、・・・、ａ２２に基づく補間処理により求めることができる。
【００９２】
４．撮像装置と画像処理装置の第１の構成例
図１１に、上述の補間処理や推定処理が適用される撮像装置と画像処理装置の第１の構成例を示す。この撮像装置１０は、撮像光学系１００（レンズ）、光学ローパスフィルタ１１０（広域通過光学ローパスフィルタ）、撮像素子１２０（撮像処理部）、画素加算処理部１３０（読み出し制御部）、データ記録部１４０（記憶部）、表示処理部１５０（表示制御部）、モニター表示部１６０（表示装置）を含む。画像処理装置２０は、補間処理部２００（重畳シフト画素加算低解像画像補間算出部）、画素値推定演算部２１０（高解像画像画素値推定演算部、推定処理部）、画像出力部３００を含む。
【００９３】
なお、本実施形態の撮像装置及び画像処理装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、図１１では、画像処理装置２０が撮像装置１０の外部に設けられる例を図示するが、本実施形態では、画像処理装置２０が撮像装置１０の内部に設けられてもよい。
【００９４】
撮像装置１０は、例えばデジタルカメラや、ビデオカメラである。撮像光学系１００は、被写体を結像する。光学ローパスフィルタ１１０は、例えば撮像素子１２０の解像度に対応する帯域を通過させる。撮像素子１２０（例えば１２メガピクセル）は、例えばアナログ的に加算読み出し可能なＣＣＤ、ＣＭＯＳセンサにより構成される。画素加算処理部１３０は、例えば受光単位の設定や加算読み出しを制御し、低解像フレーム画像（例えば３メガピクセル、×１画像／１フレーム）を取得する。データ記録部１４０は、例えばメモリーカード等で実現され、低解像フレーム画像による動画を記録する。モニター表示部１６０は、動画のライブビュー表示や、再生された動画の表示を行う。
【００９５】
画像処理装置２０は、例えば画像処理エンジン（ＩＣ）や、ＰＣ（コンピュータ）により実現される。補間処理部２００は、低解像フレーム画像の受光値を補間してシフト画像を求める（例えば３メガピクセル、×４画像／１フレーム）。画素値推定演算部２１０は、最終推定画素値の推定を行う。画像出力部３００は、アンチエリアシングフィルタ２２０、２５０、ローパスフィルタ２３０、アンダーサンプリング部２４０を含み、最終推定画素値から静止画や動画を出力する。アンチエリアシングフィルタ２２０は、最終推定画素値をアンチエリアシング処理し、高解像静止画（例えば１２メガピクセル）を出力する。ローパスフィルタ２３０は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部２４０は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルタ２２０は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画（例えば２メガピクセル）を出力する。なお、アンダーサンプリングせずに、高解像動画（例えば１２メガピクセル）を出力してもよい。
【００９６】
図１２に、動画撮影における補間処理の手法の説明図を示す。図１２に示すように、動画撮影においては、加算読み出しにより各フレームで低解像フレーム画像が取得される。例えば、受光値ａ００に注目すると、フレームｆ（ｔ−１）、ｆ（ｔ）、ｆ（ｔ＋１）、・・・で、ａ００（ｔ−１）、ａ００（ｔ）、ａ００（ｔ＋１）、・・・が取得される。フレームｆ（ｔ）の高解像静止画が生成される場合、フレームｆ（ｔ）の低解像フレーム画像に対して補間処理が行われ、フレームｆ（ｔ）における仮想受光単位の受光値ａ１０（ｔ）、ａ０１（ｔ）、ａ１１（ｔ）が求められる。そして、これらの受光値から高解像静止画を推定する処理が行われる。静止画を生成しないフレームフレームｆ（ｔ−１）、ｆ（ｔ＋１）では、補間処理は行われない。
【００９７】
ここで、フレームとは、例えば撮像素子により１つの低解像フレーム画像が撮影されるタイミングや、画像処理において１つの低解像フレーム画像が処理されるタイミングである。あるいは、画像データにおける１つの低解像フレーム画像や高解像フレーム画像も適宜フレームと呼ぶ。
【００９８】
上記構成例によれば、画像出力部３００は、高解像フレーム画像（１２メガピクセル）を解像度変換してハイビジョン動画（２メガピクセル）として出力し、または高解像フレーム画像（１２メガピクセル）を高解像静止画（１２メガピクセル）として出力する。
【００９９】
このようにすれば、低解像動画を高フレームレートで撮像し、その動画から事後的に任意タイミングの高解像静止画を出力できる。すなわち、ユーザがハイビジョン動画を再生しながらタイミングや構図を選んで高解像静止画を得ることができる。なお、高解像静止画やハイビジョン動画は、図示しない表示部やメモリ、プリンター等に出力される。あるいは、画像処理装置２０が撮像装置１０に含まれる場合には、高解像静止画やハイビジョン動画がモニター表示部１６０に表示されてもよい。
【０１００】
５．推定画素値の第２の推定手法（カラー）
上記の実施形態では、モノクロ画像の画素値推定について説明したが、本実施形態は、カラー画像の画素値推定にも適用できる。図１３を用いて、この推定画素値の第２の推定手法について説明する。
【０１０１】
この手法では、ＲＧＢを分離せずに加算読み出しし、ＲＧＢの最終画素値を推定する。具体的には、図１１に示すように、撮像により受光値ａ００、ａ２０等を取得する。そして、補間処理により受光値ａ１０、ａ０１、ａ１１等を求める。例えば、受光値ａ００、ａ１０、ａ０１、ａ１１は、下式（１１）で表される受光値に対応する。
ａ００＝Ｒ１０＋Ｇ１００＋Ｇ２１１＋Ｂ０１，
ａ１０＝Ｒ１０＋Ｇ１２０＋Ｇ２１１＋Ｂ２１，
ａ０１＝Ｒ１２＋Ｇ１０２＋Ｇ２１１＋Ｂ０１，
ａ１１＝Ｒ１２＋Ｇ１２２＋Ｇ２１１＋Ｂ２１      ・・・  （１１）
【０１０２】
そして、これらの受光値に基づいて、図３（Ａ）等に示す推定処理により画素値ｖ００、ｖ１０、ｖ０１、ｖ１１を推定する。推定画素値とＲＧＢの対応関係は分かっているため、ＲＧＢの推定画素値Ｇ１００＝ｖ００、Ｒ１０＝ｖ１０、Ｂ０１＝ｖ０１、Ｇ２１１＝ｖ１１を求めることができる。
【０１０３】
上記推定手法によれば、撮像素子がカラー撮像素子（ＲＧＢイメージセンサ）であり、隣接する複数の画素Ｇ１００、Ｒ１０、Ｂ０１、Ｇ２１１が、画素の色に依らず受光単位に設定される。受光単位に設定された隣接する複数の画素の画素値が加算されて読み出され（ａ００＝Ｇ１００＋Ｒ１０＋Ｂ０１＋Ｇ２１１）、低解像度フレーム画像が取得される。そして、撮像により取得された受光値と補間処理により求められた受光値ａ００、ａ１０、ａ０１、ａ１１に基づいて、受光単位の各画素の画素値Ｇ１００、Ｒ１０、Ｂ０１、Ｇ２１１が推定され、推定された画素値に基づいてカラーの高解像フレーム画像が出力される。
【０１０４】
このようにすれば、カラー撮像においても、高フレームレートで低解像フレーム画像を撮影し、その低解像フレーム画像から画素値推定を行って、任意タイミングのカラーの高解像フレーム画像を取得できる。また、隣接４画素の画素値を加算して受光値を取得するため、ランダムノイズを低減できる。また、色の区別をする必要が無く読出し画素の位置が近いため、色毎の受光単位を用いる場合に比べて高精細な推定処理が可能である。
【０１０５】
６．推定画素値の第３の推定手法
本実施形態では、ＲＧＢを分離して加算読み出しし、ＲＧＢの最終画素値を推定してもよい。図１４（Ａ）〜図１７を用いて、この推定画素値の第３の推定手法について説明する。
【０１０６】
まず、Ｇの画素値推定について説明する。図１４（Ａ）に示すように、受光単位の受光値として、Ｇ１画素の４画素加算値｛ａ００，ａ４０，・・・｝と、Ｇ２画素の４画素加算値｛ａ１１，ａ５１，・・・｝がサンプリングされる。図１４（Ａ）では、Ｇ１の画素を濃い網掛けの四角で表し、Ｇ２の画素を薄い網掛けの四角で表し、受光単位を実線で表し、仮想受光単位を点線で表す。次に、取得された受光値から、Ｇ１の仮想受光単位の受光値｛ａ２０，・・・，ａ０２，ａ２２，・・・｝と、Ｇ２の仮想受光単位の受光値｛ａ３１，・・・，ａ１３，ａ３３，・・・｝を補間処理により求める。この補間処理は、例えば上述の補間手法によりＧ１とＧ２で別個に行われてもよく、あるいはＧ１とＧ２の受光値両方を用いて一般的な補間手法により行われてもよい。例えば、受光値ａ２０は、ａ００とａ４０の平均値により求められる。
【０１０７】
Ｇの最終画素値ｖｉｊは、これらの受光値から推定される。すなわち、Ｇ１の重畳する４画素加算値である下記第１のグループＧ１と、Ｇ２の重畳する４画素加算値である下記第２のグループＧ２から推定される。ここで、ＬはＬ≧０の整数である。
第１のグループＧ１：
｛ａ００，ａ２０，ａ４０，・・・，ａ（２Ｌ）（２Ｌ），・・・｝
第２のグループＧ２：
｛ａ１１，ａ３１，ａ５１，・・・，ａ（２Ｌ＋１）（２Ｌ＋１），・・・｝
【０１０８】
図１４（Ｂ）に、中間画素と推定画素の説明図を示す。図１４（Ｂ）に示すように、Ｇ１の中間画素値｛ｂ００，ｂ２０，ｂ４０，・・・｝と、Ｇ２の中間画素値｛ｂ１１，ｂ３１，・・・｝が推定される。これらの中間画素は、垂直方向の次の中間画素と重畳して設定される。そして、これらの中間画素値から、Ｇ１の推定画素値｛ｖ００，ｖ２０，ｖ４０，・・・｝と、Ｇ２の推定画素値｛ｖ１１，ｖ３１，・・・｝が推定される。
【０１０９】
次に、中間画素値の推定処理について説明する。なお、以下ではＧ１の中間画素値について説明するが、Ｇ２の中間画素値についても同様である。図１５に示すように、４画素加算値ａｉｊの水平方向の最初の行に注目し、シフト順に画素値をａ００，ａ２０，ａ４０とすると、下式（１２）が成り立つ。
ａ００＝ｂ００＋ｂ２０，
ａ２０＝ｂ２０＋ｂ４０        ・・・  （１２）
【０１１０】
下式（１３）に示すように、ｂ００を未知数（初期変数）とし、中間画素値ｂ２０，ｂ４０をｂ００の関数として求める。
ｂ００＝（未知数），
ｂ２０＝ａ００−ｂ００，
ｂ４０＝ｂ００＋δｉ０＝ｂ００＋（ａ２０−ａ００）      ・・・  （１３）
【０１１１】
ここで、δｉ０は、１シフト離れた受光値の差分値であり、下式（１４）で表される。
δｉ０＝ａ２０−ａ００
＝（ｂ００＋ｂ２０）−（ｂ２０＋ｂ４０）
＝ｂ４０−ｂ００                            ・・・  （１４）
【０１１２】
次に、図１５に示すように、中間画素値｛ｂ００，ｂ２０，ｂ４０｝によるパターンを近傍の同色４画素加算値である｛ａ００，ａ１１，ａ２０｝と比較し、その誤差が最小となる未知数ｂ００を導出し、その値をｂ００に設定する。｛ａ００，ａ１１，ａ２０｝は、第１のグループＧ１とその近傍の第２のグループＧ２を混合した受光値パターンである。より具体的には、誤差の評価関数として下式（１５）に示す評価関数ｅｉｊを求め、評価関数ｅ００が最小になる未知数ｂ００を求める。ｂ００が求まれば、ｂ２０，ｂ４０も上式（１３）により求められる。同様の手法を適用し、｛ｂ０２，ｂ２２，ｂ４２｝等も求めることができる。
【数３】
2011248576.tif 000005
【０１１３】
このＧ１、Ｇ２の受光値パターンと比較する手法は、Ｇ１のみの受光値パターンと比較する場合と比べて、より高い空間周波数成分が推定しやすくなる可能性が高いと考えられる。なお、本実施形態では、中間画素値パターン｛ｂ００，ｂ２０，ｂ４０｝の比較対象として、Ｇ１のみの受光値パターン｛ａ００，ａ２０｝を用いてもよい。また、比較する近傍の４画素加算値はこれらの他にも存在するので、より推定精度が高くなる４画素加算値を選ぶことが望ましい。
【０１１４】
次に、推定画素値ｖｉｊの推定処理について説明する。なお、以下ではＧ１の推定画素値について説明するが、Ｇ２の推定画素値についても同様に求めることができる。図１６に示すように、中間推定画素値ｂｉｊの垂直方向の最初の列に注目し、シフト順に画素値をｂ００，ｂ０２とすると、下式（１６）が成り立つ。
ｂ００＝ｖ００＋ｖ０２，
ｂ０２＝ｖ０２＋ｖ０４      ・・・  （１６）
【０１１５】
下式（１７）に示すように、ｂ００を未知数（初期変数）とし、最終推定画素値ｖ０２，ｖ０４をｖ００の関数として求める。
ｖ００＝未知数，
ｖ０２＝ｂ００−ｖ００，
ｖ０４＝ｂ００＋δｊ０＝ｂ００＋（ｂ０２−ｂ００）      ・・・  （１７）
【０１１６】
ここで、δｊ０は、１シフト離れた中間画素値の差分値であり、下式（１８）で表される。
δｊ０＝ｂ０２−ｂ００
＝（ｖ０２＋ｖ０４）−（ｖ０２＋ｖ００）
＝ｖ０４−ｖ００                        ・・・  （１８）
【０１１７】
次に、図１６に示すように、最終推定画素値｛ｖ００，ｖ０２，ｖ０４｝によるパターンを、その近傍の中間推定値である｛ｂ００，ｂ１１，ｂ０２｝と比較し、その誤差が最小になる未知数ｖ００を導出し、その値をｖ００に設定する。｛ｂ００，ｂ１１，ｂ０２｝は、Ｇ１の中間画素値とＧ２の中間画素値を混合した中間画素値パターンである。より具体的には、誤差の評価関数として下式（１９）に示す評価関数ｅｉｊを求め、評価関数ｅ００が最小になる未知数ｖ００を求める。ｖ００が求まれば、ｖ２０も上式（１７）により求められる。同様の手法を適用し、｛ｖ２０，ｖ２２｝等も求めることができる。このようにして、高解像画像の最終推定画素値｛ｖ００，ｖ０２，ｖ２０，ｖ２２｝が求められる。
【数４】
2011248576.tif 000006
【０１１８】
このＧ１、Ｇ２の中間画素値パターンと比較する手法は、Ｇ１のみの中間画素値パターンと比較する場合と比べて、より高い空間周波数成分が推定しやすくなる可能性が高いと考えられる。なお、本実施形態では、推定画素値パターン｛ｖ００，ｖ０２，ｖ０４｝の比較対象として、Ｇ１のみの中間画素値パターン｛ｂ００，ｂ０２｝を用いてもよい。また、比較する近傍の中間画素値はこれらの他にも存在するので、より推定精度が高くなる中間画素値を選ぶことが望ましい。
【０１１９】
次に、Ｒ、Ｂの画素値推定について説明する。以下ではＲの画素値推定について説明するが、Ｂの画素値推定についても同様に行うことができる。図１７（Ａ）に示すように、受光単位の受光値として、Ｒの４画素加算値｛ａ１０，ａ５０，・・・｝がサンプリングされる。図１７（Ａ）では、Ｒの画素を網掛けの四角で表し、受光単位を実線で表し、仮想受光単位を点線で表す。次に、取得された受光値から、Ｒの仮想受光単位の受光値｛ａ３０，・・・，ａ１２，ａ３２，・・・｝を補間処理により求める。
【０１２０】
図１７（Ｂ）に、中間画素と推定画素の説明図を示す。図１７（Ｂ）に示すように、Ｒの中間画素値｛ｂ１０，ｂ３０，ｂ５０，・・・｝が推定される。これらの中間画素は、垂直方向の次の中間画素と重畳して設定される。そして、これらの中間画素値から、Ｒの推定画素値｛ｖ１０，ｖ３０，ｖ５０，・・・｝が推定される。中間画素値と推定画素値の推定処理は、図３（Ａ）〜図１０で上述の手法と同様の手法により行われる。以上の処理によりベイヤ配列の高精細な推定画像が得られ、その画像をベイヤ補間することでＲＧＢの高解像フレーム画像が得られる。
【０１２１】
上記推定手法によれば、撮像素子がカラー撮像素子であり、同じ色の複数の画素が受光単位に設定される（例えば図１４（Ａ）に示すＧ１、Ｇ２の受光単位）。そして、その受光単位に設定された複数の画素の画素値が加算されて読み出され（Ｇ１の受光値ａ００、Ｇ２の受光値ａ１１等）、低解像度フレーム画像が取得される。推定演算部（例えば、図２０に示す画素値推定演算部２１０）は、その低解像度フレーム画像の受光単位の受光値（ａ００、ａ１１等）と、補間処理部（補間処理部２００）からの仮想受光単位の受光値（ａ２０、ａ３１等）とに基づいて受光単位の各画素の画素値（ｖ００、ｖ２０等）を推定する。画像出力部（画像出力部３００）は、その推定された画素値に基づいて、カラーの高解像フレーム画像を出力する。
【０１２２】
このようにすれば、カラー撮像においても、高フレームレートで低解像フレーム画像を撮影し、その低解像フレーム画像から画素値推定を行って、任意タイミングのカラーの高解像フレーム画像を取得できる。また、同色の画素値を加算して受光値を取得するため、色相関が小さい画像であっても色再現性の高い推定処理が可能であり、推定処理による偽色の発生を抑止できる。
【０１２３】
７．データ圧縮伸張と推定処理の手法
図１８、図１９を用いて、撮像した低解像画像を圧縮伸張する処理と、伸張した低解像画像から画素値推定を行う処理の手法について説明する。
【０１２４】
図１８に、Ｇ画素の圧縮伸張処理の説明図を示す。図１８のＡ１に示すように、Ｇ１とＧ２の４画素加算値｛ａ００，ａ４０，ａ１１，ａ５１，・・・｝が取得される。Ａ２には、この４画素加算値｛ａ００，ａ４０，ａ１１，ａ５１，・・・｝と、ベイヤ配列原画像（高解像）のＧ画素との配列関係を示す。Ａ３に示すように、ベイヤ補間（デモザイキング処理）を行って、欠落画素値｛Ｇ１０，Ｇ５０，Ｇ０１，Ｇ４１，・・・｝を求める。これらの画素値は、各欠落画素の周囲の４画素加算値を用いて補間することにより求められる。
【０１２５】
Ａ４に示すように、ベイヤ補間後のデータは、データ圧縮によりデータ記録部に記録される。Ａ５に示すように、原画像の画素値を推定演算する際は、データ記録部に記録された圧縮データを伸張し、Ａ３に示すベイヤ補間後のデータを再生する。推定画素値ｖｉｊの推定には、そのデータの中から補間値Ｇｉｊではなく、４画素加算値ａｉｊと対応する値が用いられる。ベイヤ補間において、どの画素が４画素加算値であるかは分かっているため、伸張されたデータのどの画素を推定処理に用いるか予め決めておけばよい。
【０１２６】
図１９に、Ｒ画素の圧縮伸張処理の説明図を示す。なお、Ｂ画素の圧縮伸張処理も同様に行うことができる。図１９のＢ１に示すように、Ｒの４画素加算値｛ａ１０，ａ５０，・・・｝が取得される。Ｂ２には、この４画素加算値｛ａ１０，ａ５０，・・・｝と、ベイヤ配列原画像（高解像）のＲ画素との配列関係を示す。Ｂ３に示すように、ベイヤ補間を行って、欠落画素値｛Ｒ００，Ｒ０１，Ｒ１１，Ｒ４０，Ｒ４１，Ｒ５１，・・・｝を求める。これらの画素値は、各欠落画素の周囲の４画素加算値を用いて補間することにより求められる。推定画素値ｖｉｊの推定には、圧縮伸張されたデータの中から４画素加算値ａｉｊと対応する値が用いられる。
【０１２７】
８．撮像装置と画像処理装置の第２の構成例
図２０に、上記圧縮伸張処理を行う場合の撮像装置と画像処理装置の第２の構成例を示す。この撮像装置１０は、この撮像装置１０は、撮像光学系１００、光学ローパスフィルタ１１０、撮像素子１２０、画素加算処理部１３０、データ記録部１４０、表示処理部１５０、モニター表示部１６０、ベイヤ補間処理部１７０（デモザイキング処理部）、フレームバッファ１８０、データ圧縮処理部１９０を含む。画像処理装置２０は、補間処理部２００、画素値推定演算部２１０、データ伸張処理部２６０、フレームバッファ２７０（記憶部）、フレーム選択部２８０、推定用画素加算抽出部２９０、画像出力部３００を含む。画像出力部３００は、アンダーサンプリング部３１０、アンチエリアシングフィルタ２２０，３２０、ベイヤ補間処理部３３０（デモザイキング処理部）を含む。なお、図１１で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。
【０１２８】
図２０に示すように、撮像により取得された低解像動画（例えば、３メガピクセル）は、ベイヤ補間処理部１７０によりベイヤ補間処理（デモザイキング処理）され、フレームバッファ１８０にバッファリングされる。バッファリングされた動画は、データ圧縮処理部１９０により圧縮処理され、データ記録部１４０に記録される。
【０１２９】
記録データを再生する場合、データ伸張処理部２６０により動画が伸張される。伸張された動画は、アンダーサンプリング部３１０によりアンダーサンプリングされ、アンチエリアシングフィルタ３２０によりアンチエリアシング処理され、ハイビジョン動画（２メガピクセル）として再生される。
【０１３０】
ユーザは、この再生動画から高解像静止画にしたいフレームを指定する。この指定は、フレーム選択部２８０（例えば、タッチパネル等のユーザインターフェース）を介して行われ、フレームバッファ２７０に指定フレームの情報が入力される。フレームバッファ２７０には、指定フレームの低解像画像が記憶される。この低解像画像はベイヤ補間された画像であり、推定用画素加算抽出部２９０により推定処理に用いる受光値（画素値）が抽出される。抽出された受光値は、補間処理部２００により補間処理され、画素値推定演算部２１０により推定処理される。推定画素値は、ベイヤ補間処理部３３０により、ベイヤ補間処理（デモザイキング処理）され、アンチエリアシングフィルタ２２０によりアンチエリアシング処理され、高解像静止画（１２メガピクセル）として出力される。
【０１３１】
９．推定画素値の第４の推定手法（重み付け加算）
上述の推定手法では、受光単位内の画素値を単純加算して読み出しているが、本実施形態では、受光単位内の画素値を重み付け加算して読み出し、その受光値から推定画素値を求めてもよい。図２１〜図２８を用いて、この推定画素値の第４の推定手法について説明する。なお、以下では、ベイヤ配列のうちＧ１画素の推定処理について説明するが、Ｇ２画素やＲ画素、Ｂ画素についても同様の推定処理を適用できる。
【０１３２】
図２１に示すように、加算読み出しの重み係数をｃ１、ｃ２、ｃ３、ｃ４とする。ｃ１＝１とすると、重み係数は下式（２０）に示す比率関係のルールをとる（ｒは、ｒ＞１の実数）。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２      ・・・  （２０）
【０１３３】
以下では、説明を簡単にするために、ｒ＝２とおき、下式（２１）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４      ・・・  （２１）
【０１３４】
図２２（Ａ）に示すように、受光値ａ００、ａ２０、・・・が撮像により取得され、受光値ａ１０、・・・、ａ０１、ａ１１、・・・が補間処理により求められる。図２２（Ｂ）に示すように、これらの受光値から中間画素値ｂ００、ｂ１０、・・・が求められ、中間画素値ｂ００、ｂ１０、・・・から推定画素値ｖ００、ｖ１０、・・・が求められる。なお、図２２（Ａ）、図２２（Ｂ）では便宜的に、ｉｊのサフィックスを図１４（Ａ）、図１４（Ｂ）と異ならせている。
【０１３５】
まず、中間画素値の推定処理について説明する。図２３に示すように、中間画素値の水平方向の最初の行に注目し、重み付け画素加算値をシフト順にａ００、ａ１０、ａ２０とすると、下式（２２）が成り立つ。
ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１
ａ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＋ｃ３ｖ２０＋ｃ４ｖ２１      ・・・  （２２）
【０１３６】
また、下式（２３）に示すようにｂ００、ｂ１０、ｂ２０を定義し、上式（２１）を代入する。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１
ｂ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＝ｖ１０＋（１／２）ｖ１１
ｂ２０＝ｃ１ｖ２０＋ｃ２ｖ２１＝ｖ２０＋（１／２）ｖ２１      ・・・  （２３）
【０１３７】
次に、上式（２１）、（２３）を用いて上式（２２）を変形すると、下式（２４）が成り立つ。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１
＝ｂ００＋（１／２）ｂ１０
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
＝ｂ１０＋（１／２）ｂ２０                          ・・・  （２４）
【０１３８】
上式（２４）において、ａ００、ａ１０に所定の係数（所定の重み係数）を掛けて差分δｉ０を取り、上式（２３）を使って変形すると、下式（２５）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｖ２０＋（１／４）ｖ２１−（２ｖ００＋ｖ０１）
＝（１／２）ｂ２０−２ｂ００                      ・・・  （２５）
【０１３９】
ｂ００を未知数とすると、下式（２６）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００）  ・・・  （２６）
【０１４０】
このように、ｂ００を未知数（初期変数）として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ０１、ｂ０２を未知数として中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンが求められる。
【０１４１】
次に、未知数ｂ００を求める手法について説明する。図２４に示すように、受光値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差が最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１４２】
このとき、上式（２４）に示すように、受光値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図２４に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝の重み付けが、ｃ３＝ｃ１／２、ｃ４＝ｃ２／２であることを利用すると、下式（２７）が成り立つことが分かる。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ      ・・・  （２７）
【０１４３】
この上式（２７）による重み付けを考慮すると、下式（２８）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、受光値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
【数５】
2011248576.tif 000007
【０１４４】
上式（２６）を用いると、評価関数Ｅｊは、ｂ００を初期変数とした関数で表される。したがって、図２５に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（２６）に代入し、ｂ１０，ｂ２０が求められる。なお、ｂ００が取り得る値の範囲は０≦ｂ００≦ａ００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンがｂ０１，ｂ０２を未知数として求められる。
【０１４５】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、図２２（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図２６に示すように、中間画素値｛ｂ０１，ｂ０１，ｂ０２｝と最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝の関係は、下式（２９）で表される。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｃ１ｖ０１＋ｃ２ｖ０２＝ｖ０１＋（１／２）ｖ０２    ・・・  （２９）
【０１４６】
ｂ００、ｂ０１に所定の係数を掛けて差分δｊ０を求めると、下式（３０）が成り立つ。
δｊ０＝ｂ０１−２ｂ００
＝（ｖ０１＋（１／２）ｖ０２）−（２ｖ００＋ｖ０１）
＝（１／２）ｖ０２−２ｖ００                    ・・・  （３０）
【０１４７】
ｖ００を未知数（初期変数）とすると、上式（２９）、（３０）を用いて、最終推定画素値ｖ０１、ｖ０２がｖ００の関数として求められる。その関数を下式（３１）に示す。
ｖ００＝（未知数），
ｖ０１＝２（ｂ００−ｖ００），
ｖ０２＝４ｖ００＋２δｊ０＝４ｖ００＋２（ｂ０１−２ｂ００）  ・・・  （３１）
【０１４８】
上式（３１）の推定画素値パターン｛ｖ００，ｖ０１，ｖ０２｝と、中間画素値パターン｛ｂ００，ｂ０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ００を導出する。このとき、最終推定画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ｝の重み付けが、ｃ２＝ｃ１／２であることを利用すると、下式（３２）が成り立つ。
ｂｉｊ＝ｖｉｊ＋（１／２）ｖｉ（ｊ＋１）      ・・・  （３２）
【０１４９】
図２７に示すように、上式（３２）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（３３）に示す評価関数Ｅｉを求める。
【数６】
2011248576.tif 000008
【０１５０】
そして、図２８に示すように、評価関数Ｅｉを最小にする未知数ｖ００（＝β）を求め、求めたｖ００を上式（３１）に代入して最終推定画素値ｖ０１、ｖ０２を求める。同様に、２列目においても、ｖ１０を未知数として最終推定画素値｛ｖ１０，ｖ１１，ｖ１２｝の組合せパターンを求める。
【０１５１】
上記推定手法によれば、図２２（Ａ）に示すように、受光単位が撮像素子の複数の画素毎に設定され、その受光単位の各画素値が重み付け加算されて受光単位の受光値として読み出される（例えば、ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１）。そして、推定演算部（例えば図２０に示す画素値推定演算部２１０）は、重み付け加算読み出しにより得られた受光単位の受光値ａ００等と、補間処理により得られた仮想受光単位の受光値ａ１０等に基づいて、受光単位の各画素の画素値ｖ００等を推定する。
【０１５２】
このようにすれば、受光単位の各画素値を重み付け加算して低解像フレーム画像を取得し、取得した低解像フレーム画像から高解像フレーム画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、受光単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、受光単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む低解像フレーム画像を取得でき、推定画像での高周波成分の再現性を向上できる。
【０１５３】
なお、本実施形態では、受光単位の各画素値が重み付けされず単純加算されて受光単位の受光値として読み出され（例えば、ａ００＝ｖ００＋ｖ０１＋ｖ１０＋ｖ１１）、その加算読み出しにより得られた受光単位の受光値ａ００等に基づいて、受光単位の各画素の画素値ｖ００等が推定されてもよい。
【０１５４】
１０．推定画素値の第５の推定手法
上記実施形態では、推定画素値を推定する処理を１回で行う場合について説明したが、本実施形態では、画素数を４倍にする推定処理を複数回繰り返して推定画素値を推定してもよい。図２９を用いて、この推定画素値の第５の推定手法について説明する。なお、図２９ではフローチャートを用いて説明するが、この処理は、プログラムを実行することで実現されてもよく、ハードウェアにより実現されてもよい。
【０１５５】
この処理が開始されると、ｋ＝０（ｋはｋ≧０の整数）に設定し（ステップＳ１）、Ｎ×Ｎ画素加算値（Ｎは自然数）による低解像フレーム画像ｆｘを取得する（ステップＳ２）。
【０１５６】
次に、画像ｆｘに対して水平方向にＮ／２画素シフトされたＮ×Ｎ画素加算値を補間処理により求め、画像ｆｘ＿ｈを生成する（ステップＳ３）。画像ｆｘに対して垂直方向にＮ／２画素シフトされたＮ×Ｎ画素加算値を補間処理により求め、画像ｆｘ＿ｖを生成する（ステップＳ４）。画像ｆｘに対して対角斜め方向（水平方向及び垂直方向）にＮ／２画素シフトされたＮ×Ｎ画素加算値を補間処理により求め、画像ｆｘ＿ｄを生成する（ステップＳ５）。
【０１５７】
次に、画像ｆｘ、ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄを用いて推定処理を行い、高解像フレーム画像Ｆｘを生成する（ステップＳ６）。ｋが所定値より小さければ（ステップＳ７、Ｙｅｓ）、生成した画像Ｆｘを画像ｆｘに設定し（ステップＳ８）、ｋをインクリメントし、ＮにＮ／２を代入する（ステップＳ９）。そして、再びステップＳ３〜Ｓ６を繰り返す。ｋが所定値になったら（ステップＳ７、Ｎｏ）、処理を終了する。ここで、ｋの所定値は、ステップＳ３〜Ｓ６に示す処理の繰り返し回数を表す値であり、推定画素の解像度に応じた値である。例えば、Ｎ×Ｎ＝４×４画素の撮像画像から１画素相当の推定画素を推定する場合、ｋの所定値は２であり、ステップＳ３〜Ｓ６の処理が２回繰り返される。
【０１５８】
上記推定手法によれば、ステップＳ２に示すように、受光単位がＮ×Ｎ画素に設定され、そのＮ×Ｎ画素の画素値が加算されて読み出されてＮ×Ｎ画素の受光単位の受光値（画像ｆｘ）が取得される。そして、ステップＳ３〜Ｓ５に示すように、補間処理部（例えば図１１に示す補間処理部２００）は、Ｎ×Ｎ画素の受光単位がＮ／２画素だけシフトされたＮ×Ｎ画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）を補間処理により求める。ステップＳ６に示すように、推定演算部（画素値推定演算部２１０）は、Ｎ×Ｎ画素の受光単位の受光値（画像ｆｘ）とＮ×Ｎ画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）に基づいて、Ｎ／２×Ｎ／２画素の受光単位の受光値（画像Ｆｘ）を推定する。
【０１５９】
次に、ステップＳ７〜Ｓ９及びステップＳ３〜Ｓ５に示すように、補間処理部は、Ｎ／２×Ｎ／２画素の受光単位がＮ／４画素だけシフトされたＮ／２×Ｎ／２画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）を補間処理により求める。そして、推定演算部は、Ｎ／２×Ｎ／２画素の受光単位の受光値（画像ｆｘ）とＮ／２×Ｎ／２画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）に基づいて、Ｎ／４×Ｎ／４画素の受光単位の受光値（画像Ｆｘ）を推定する。
【０１６０】
このようにすれば、受光単位に含まれる画素数を１／２×１／２倍にする推定処理を繰り返し行うことで、所望の解像度まで段階的に高精細化できる。これにより、受光単位に含まれる画素数を１／Ｎ×１／Ｎ倍にする推定処理を１回で行う場合に比べて、処理を簡素にできる。例えば、４×４画素の受光単位から１×１画素の推定画素を推定する場合、中間画素値間の関係式に未知数が３つ現れるため、未知数を推定する処理が複雑になってしまう。この点、上記推定処理では、各回の推定処理で未知数は１つであるため、未知数を容易に決定できる。
【０１６１】
１１．推定画素値の第６の推定手法
上記実施形態では、加算読み出しの際に画素シフトを行わない場合を例に説明したが、本実施形態では、画素シフトしつつ加算読み出しし、複数の推定画像を合成してより高精細な高解像フレーム画像を生成してもよい。図３０、図３１を用いて、この推定画素値の第６の推定手法について説明する。
【０１６２】
図３０に示すように、フレームｆｘにおいて受光値ａｉｊ（ｘ）が取得され、フレームｆｘ＋１において１画素シフトされた受光値ａｉ＋１，ｊ（ｘ＋１）が取得される。そして、フレームｆｘ＋４において再び受光値ａｉｊ（ｘ）が取得される。次に、取得された受光値を用いて各フレームで補間処理と推定処理が行われ、各フレームにおける高解像推定画像が求められる。次に、４フレーム分（画素シフト１巡）の高解像推定画像に対して動き補償を行い、動き補償された４枚の高解像推定画像を合成して、最終的な高解像フレーム画像を出力する。高解像推定画像の合成は、例えば動き補償された４枚の高解像推定画像の各画素で平均を取る処理により行われる。この高解像フレーム画像は、４フレーム毎に出力されてもよく、各フレームで出力されてもよい。
【０１６３】
図３１に、この推定処理の詳細なフローチャートを示す。この処理が開始されると、処理対象のフレーム番号ｘにフレーム番号ｋを設定し（ステップＳ１０１）、低解像フレーム画像ｆｘを取得する（ステップＳ１０２）。画像ｆｘに対して１画素シフトされた画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄを補間処理により求め（ステップＳ１０３〜Ｓ１０５）、画像ｆｘ、ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄに基づいて高解像推定画像Ｆｘを推定する（ステップＳ１０６）。生成された高解像推定画像Ｆｘが４つ未満の場合には（ステップＳ１０７、Ｙｅｓ）、フレーム番号ｘをインクリメントし（ステップＳ１０８）、ステップＳ１０２〜Ｓ１０６の処理を繰り返す。
【０１６４】
生成された高解像推定画像Ｆｘが４つになると（ステップＳ１０７、Ｎｏ）、フレーム番号ｘにフレーム番号ｋを再び設定する（ステップＳ１０９）。そして、高解像推定画像Ｆｘを基準として、高解像推定画像Ｆｘ＋１、Ｆｘ＋２、Ｆｘ＋３に対して動き補償を行う（ステップＳ１１０〜Ｓ１１２）。動き補償された高解像推定画像Ｆｘ、Ｆｘ＋１、Ｆｘ＋２、Ｆｘ＋３を合成して高解像フレーム画像Ｇｘを出力する（ステップＳ１１３）。その高解像フレーム画像Ｇｘを記憶装置に記憶したり、表示装置に表示し（ステップＳ１１４）、処理を終了する。
【０１６５】
上記推定手法によれば、受光単位を重畳しながらシフトする画素シフトが各フレームｆｘ、ｆｘ＋１、・・・で行われ、画素シフトにより受光単位が複数のポジションａｉｊ（ｘ）、ａｉ＋１，ｊ（ｘ＋１）、・・・に順次設定される。複数のフレーム（ｆｘ〜ｆｘ＋３の４フレーム）毎に受光単位が同じポジションａｉｊ（ｘ）、ａｉｊ（ｘ＋４）に設定される。
【０１６６】
そして、補間処理部（例えば図１１に示す補間処理部２００）は、各フレームで取得された低解像フレーム画像に基づいて、各フレームにおいて仮想受光単位の受光値ａｉ＋１，ｊ（ｘ）、ａｉ＋２，ｊ（ｘ＋１）、・・・を補間処理により求める。推定演算部（画素値推定演算部２１０）は、受光単位の受光値と仮想受光単位の受光値に基づいて、各フレームにおいて推定画素値ｖｉｊ（ｘ）、ｖｉｊ（ｘ＋１）、・・・を推定する。画像出力部（画像出力部３００）は、推定画素値ｖｉｊ（ｘ）、ｖｉｊ（ｘ＋１）、・・・に基づいて各フレームでのフレーム画像（高解像推定画像）を求め、複数のフレーム（ｆｘ〜ｆｘ＋３）のフレーム画像を合成して高解像フレーム画像を出力する。
【０１６７】
このようにすれば、各フレームで画素シフトしつつ取得された複数の低解像フレーム画像から高解像フレーム画像が推定される。これにより、画素シフトによる高周波成分を加えることができるため、画素シフトしない場合に比べて画像の高周波成分の再現性を向上できる。
【０１６８】
１２．推定画素値の第７の推定手法
上記実施形態では、受光単位が複数の画素を含み、その受光値から撮像素子の解像度相当の画像を推定する場合について説明したが、本実施形態では、受光単位が１画素に設定され、撮像素子の解像度より高解像（高画素数）の画像を推定してもよい。図３２（Ａ）
図３２（Ｂ）を用いて、この推定画素値の第７の推定手法について説明する。
【０１６９】
図３２（Ａ）に示すように、撮像素子の画素ピッチはｐであり、受光単位は１画素毎にピッチｐで設定される。すなわち、受光単位の受光値は、その受光単位に設定された画素の画素値である。この受光単位から受光値ａ００が読み出され、補間処理により仮想受光単位の受光値ａ１０、ａ０１、ａ１１が求められる。そして、これらの受光値ａ００、ａ１０、ａ０１、ａ１１から、ピッチｐ／２の画素に対応する推定画素値が推定され、高解像フレーム画像が求められる。例えば、この高解像化処理は、デジタルズーム画像やトリミング画像の高精細化への適用が想定される。
【０１７０】
図３２（Ｂ）に、中間画素の説明図を示す。図３２（Ｂ）に示すように、受光値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１を推定する。この中間画素値ｂ００〜ｂ２１の水平方向（または垂直方向）の画素ピッチはｐ／２である。中間画素値ｂ００〜ｂ２１の推定処理や、最終的な推定画素値の推定処理は、上述の推定手法と同様の手法により行われる。
【０１７１】
１３．撮像装置と画像処理装置の第３の構成例
図３３に、デジタルズーム画像の高精細化を行う場合の撮像装置と画像処理装置の第３の構成例を示す。この撮像装置１０は、撮像光学系１００、光学ローパスフィルタ１１０、撮像素子１２０、読み出し制御部１３０、データ記録部１４０、表示処理部１５０、モニター表示部１６０、フレームバッファ１８０、ズーム領域選択部１９５を含む。画像処理装置２０は、補間処理部２００、画素値推定演算部２１０、画像出力部３００を含む。画像出力部３００は、アンチエリアシングフィルタ２２０，２５０、ローパスフィルタ２３０、アンダーサンプリング部２４０を含む。なお、図１１等で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。
【０１７２】
図３３に示すように、読み出し制御部１３０により受光単位が１画素に設定され、撮像素子１２０（例えば１２メガピクセル）の画素値が読み出され、撮像画像（１２Ｍピクセル）が取得される。撮像画像に対してズーム領域が設定され、そのズーム領域の画像（３メガピクセル）が低解像フレーム画像として取得される。このズーム領域は、例えば図示しないユーザインターフェースを介してユーザにより選択される。低解像フレーム画像は、データ記録部１４０に記憶される。データ記録部１４０から読み出された低解像フレーム画像に対して補間処理と推定処理が行われ、推定画像（１２メガピクセル）が求められる。そして、画像出力部３００により推定画像から高精細静止画（１２メガピクセル）やハイビジョン動画（２メガピクセル）が生成される。
【０１７３】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（受光単位、仮想受光単位、中間画素値等）と共に記載された用語（加算画素値、補間受光単位、中間推定画素値等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また補間処理部、推定演算部、画像出力部、撮像装置、画像処理装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１７４】
１０  撮像装置、２０  画像処理装置、１００  撮像光学系、
１１０  光学ローパスフィルタ、１２０  撮像素子、１３０  画素加算処理部、
１４０  データ記録部、１５０  表示処理部、１６０  モニター表示部、
１７０  ベイヤ補間処理部、１８０  フレームバッファ、１９０  データ圧縮処理部、
１９５  ズーム領域選択部、２００  補間処理部、２１０  画素値推定演算部、
２２０  アンチエリアシングフィルタ、２３０  ローパスフィルタ、
２４０  アンダーサンプリング部、２５０  アンチエリアシングフィルタ、
２６０  データ伸張処理部、２７０  フレームバッファ、２８０  フレーム選択部、
２９０  推定用画素加算抽出部、３００  画像出力部、
３１０  アンダーサンプリング部、３２０  アンチエリアシングフィルタ、
３３０  ベイヤ補間処理部、
Ｂｋ００  推定処理ブロック、ａ００  受光単位の受光値、
ａ１０，ａ０１，ａ１１  仮想受光単位の受光値、ｂｉｊ  中間画素値、
ｖｉｊ  推定画素値、δｉ０  差分値、Ｅｉ  評価関数、
ｗ０，ｗ１，ｗ２  重み係数、ｆｘ  フレーム、ｐ  画素ピッチ
【図１】
2011248576.tif 000009
【図２】
2011248576.tif 000010
【図３】
2011248576.tif 000011
【図４】
2011248576.tif 000012
【図５】
2011248576.tif 000013
【図６】
2011248576.tif 000014
【図７】
2011248576.tif 000015
【図８】
2011248576.tif 000016
【図９】
2011248576.tif 000017
【図１０】
2011248576.tif 000018
【図１１】
2011248576.tif 000019
【図１２】
2011248576.tif 000020
【図１３】
2011248576.tif 000021
【図１４】
2011248576.tif 000022
【図１５】
2011248576.tif 000023
【図１６】
2011248576.tif 000024
【図１７】
2011248576.tif 000025
【図１８】
2011248576.tif 000026
【図１９】
2011248576.tif 000027
【図２０】
2011248576.tif 000028
【図２１】
2011248576.tif 000029
【図２２】
2011248576.tif 000030
【図２３】
2011248576.tif 000031
【図２４】
2011248576.tif 000032
【図２５】
2011248576.tif 000033
【図２６】
2011248576.tif 000034
【図２７】
2011248576.tif 000035
【図２８】
2011248576.tif 000036
【図２９】
2011248576.tif 000037
【図３０】
2011248576.tif 000038
【図３１】
2011248576.tif 000039
【図３２】
2011248576.tif 000040
【図３３】
2011248576.tif 000041