(57)【要約】【課題】簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び撮像方法等を提供すること。【解決手段】撮像装置は、読み出し制御部と、補間処理部と、推定演算部と、画像出力部を含む。読み出し制御部は、複数色の画素を含む受光単位ａｉｊを設定し、第１フレームにおいて、第１受光単位群の受光値を第１取得受光値として取得し、第２フレームにおいて、第２受光単位群の受光値を第２取得受光値として取得する。補間処理部は、第１フレームにおける第２受光単位群の受光値ａ１０（１）を補間受光値として求める。このとき、補間処理部は、第ｐ色配列グループの第２取得受光値ａｍｎ等に基づいて、第ｐ色配列グループの補間受光値ａ１０（１）を求める。推定演算部は、取得受光値と補間受光値に基づいて、各画素ｖｉｊの画素値を推定する。画像出力部は、推定された画素値に基づく画像を出力する。【選択図】      図７
2012119852.tif 000002
【特許請求の範囲】
【請求項１】
受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、
前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、
前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、
を含み、
前記読み出し制御部は、
複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
前記補間処理部は、
前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求めることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記補間処理部は、
第１補間受光値を、前記第１取得受光値に基づいて前記画素の色配列に依らず補間により求め、前記第ｐ色配列グループの前記第２取得受光値に基づく前記第ｐ色配列グループの前記補間受光値を第２補間受光値として求め、
前記推定演算部は、
前記第１取得受光値と前記第１補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第１推定画素値を推定し、
前記第１取得受光値と前記第２補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第２推定画素値を推定し、
前記第１推定画素値と前記第２推定画素値に基づいて、最終的な画素値を求めることを特徴とする撮像装置。
【請求項３】
請求項２において、
前記推定演算部は、
前記第２推定画素値に基づいて、前記受光単位に属する前記第１推定画素値の加算値を、各色の画素値に配分して前記最終的な画素値を求めることを特徴とする撮像装置。
【請求項４】
請求項３において、
前記読み出し制御部は、
撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記複数色の画素として４画素を含む前記受光単位を設定し、
前記推定演算部は、
前記第１〜第３色のうちの第ｒ色（ｒは３以下の自然数）の前記最終的な画素値を求める場合に、前記受光単位に属する前記第ｒ色の前記第２推定画素値と前記受光単位に属する前記第２推定画素値の加算値との比を、前記受光単位に属する前記第１推定画素値の加算値に乗じて、前記第ｒ色の前記最終的な画素値を求めることを特徴とする撮像装置。
【請求項５】
請求項２において、
前記推定演算部は、
前記第２推定画素値に基づいて各画素の色差を求め、前記色差と前記第１推定画素値に基づいて前記最終的な画素値を求めることを特徴とする撮像装置。
【請求項６】
請求項５において、
前記推定演算部は、
前記最終的な画素値として第１〜第３色の画素値を求める場合に、前記色差として第１色差と第２色差を求め、前記第１推定画素値と前記第１色差と前記第２色差を、前記第１〜第３色の画素値と行列との積で表し、表した式により前記最終的な画素値を求めることを特徴とする撮像装置。
【請求項７】
請求項６において、
前記行列において前記第１推定画素値に対応する行の成分は、前記推定演算部による推定処理により定まる係数であることを特徴とする撮像装置。
【請求項８】
請求項６において、
前記推定演算部は、
前記第２推定画素値に対してデモザイキング処理を行って、各画素について第１〜第３色の推定画素値を求め、
前記推定演算部は、
前記第１〜第３色の推定画素値と、前記行列において前記第１色差に対応する行の成分との積により前記第１色差を求め、前記第１〜第３色の推定画素値と、前記行列において前記第２色差に対応する行の成分との積により前記第２色差を求めることを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記補間処理部は、
前記第１取得受光値による画像と前記第２取得受光値による画像との間の被写体の動き情報を取得し、
前記動き情報に基づいて、前記第２フレームにおける前記補間受光値の位置情報を取得し、前記位置情報が表す位置の周辺の前記第ｐ色配列グループの前記第２取得受光値に基づいて前記第ｐ色配列グループの前記補間受光値を求めることを特徴とする撮像装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記読み出し制御部は、
前記受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けすることを特徴とする撮像装置。
【請求項１１】
受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、
前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、
前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、
を含み、
前記読み出し制御部は、
第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、
第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、
前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
前記補間処理部は、
前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の前記第２取得受光値に基づいて、前記第ｒ色の前記補間受光値を補間により求めることを特徴とする撮像装置。
【請求項１２】
請求項１１において、
前記読み出し制御部は、
撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記各色の受光単位として４画素を含む前記受光単位を設定し、前記第ｒ色の受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けすることを特徴とする撮像装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記読み出し制御部は、
前記受光単位に含まれる画素の画素値を重み付け加算して読み出し、前記取得受光値を取得し、
前記補間処理部は、前記重み付け加算により得られた前記取得受光値に基づいて、前記補間受光値を補間により求めることを特徴とする撮像装置。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
第１のポジションに設定された前記受光単位と、前記第１のポジションの後の第２のポジションに設定された前記受光単位が重畳する場合に、
前記推定演算部は、
前記第１のポジションの受光単位の受光値と、前記第２のポジションの受光単位の受光値の差分値を求め、
前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする撮像装置。
【請求項１５】
請求項１４において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、
中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする撮像装置。
【請求項１６】
請求項１５において、
前記推定演算部は、
中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする撮像装置。
【請求項１７】
受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、
前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、
前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、
前記推定演算部により推定された画素値に基づく画像を出力する場合に、
複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求めることを特徴とする撮像方法。
【請求項１８】
受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、
前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、
前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、
前記推定演算部により推定された画素値に基づく画像を出力する場合に、
第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、
第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、
前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の前記第２取得受光値に基づいて、前記第ｒ色の前記補間受光値を補間により求めることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
【０００５】
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び撮像方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、を含み、前記読み出し制御部は、複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、前記補間処理部は、前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求める撮像装置に関係する。
【０００８】
本発明の一態様によれば、複数色の画素を含む受光単位が第１受光単位群と第２受光単位群にグループ分けされる。第１フレームにおいて、第１受光単位群の受光値が第１取得受光値として取得され、第２フレームにおいて、第２受光単位群の受光値が第２取得受光値として取得される。そして、第ｐ色配列グループの第２取得受光値に基づいて、その第ｐ色配列グループの補間受光値が求められる。
【０００９】
これにより、取得受光値に基づく補間により補間受光値を求め、その取得受光値と補間受光値から簡素な処理で高解像画像を推定することが可能になる。また、第１受光単位群の受光値を取得することで、撮像素子から読み出すデータ量を減らしてフレームレートを向上することが可能になる。
【００１０】
また、本発明の一態様では、補間処理部は、第１補間受光値を、前記第１取得受光値に基づいて前記画素の色配列に依らず補間により求め、前記第ｐ色配列グループの前記第２取得受光値に基づく前記第ｐ色配列グループの前記補間受光値を第２補間受光値として求め、前記推定演算部は、前記第１取得受光値と前記第１補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第１推定画素値を推定し、前記第１取得受光値と前記第２補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第２推定画素値を推定し、前記第１推定画素値と前記第２推定画素値に基づいて、最終的な画素値を求めてもよい。
【００１１】
このようにすれば、第１推定画素値と第２推定画素値を推定し、これらの画素値から最終的な画素値を求めることができる。また、第ｐ色配列グループの第２取得受光値に基づく第ｐ色配列グループの第２補間受光値を求め、その第２補間受光値により第２推定画素値を求めることで、最終的な画素値の色成分を復元可能になる。
【００１２】
また、本発明の一態様では、前記推定演算部は、前記第２推定画素値に基づいて、前記受光単位に属する前記第１推定画素値の加算値を、各色の画素値に配分して前記最終的な画素値を求めてもよい。
【００１３】
また、本発明の一態様では、前記読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記複数色の画素として４画素を含む前記受光単位を設定し、前記推定演算部は、前記第１〜第３色のうちの第ｒ色（ｒは３以下の自然数）の前記最終的な画素値を求める場合に、前記受光単位に属する前記第ｒ色の前記第２推定画素値と前記受光単位に属する前記第２推定画素値の加算値との比を、前記受光単位に属する前記第１推定画素値の加算値に乗じて、前記第ｒ色の前記最終的な画素値を求めてもよい。
【００１４】
このようにすれば、第１推定画素値と第２推定画素値に基づいて、最終的な画素値を求めることが可能になる。また、第１推定画素値の加算値を第２推定画素値に基づいて配分することで、第１推定画素値の加算値を各色成分に配分して最終的な画素値の色成分を復元できる。
【００１５】
また、本発明の一態様では、前記推定演算部は、前記第２推定画素値に基づいて各画素の色差を求め、前記色差と前記第１推定画素値に基づいて前記最終的な画素値を求めてもよい。
【００１６】
また、本発明の一態様では、前記推定演算部は、前記最終的な画素値として第１〜第３色の画素値を求める場合に、前記色差として第１色差と第２色差を求め、前記第１推定画素値と前記第１色差と前記第２色差を、前記第１〜第３色の画素値と行列との積で表し、表した式により前記最終的な画素値を求めてもよい。
【００１７】
このようにすれば、第２推定画素値に基づいて各画素の色差を求めることで、各画素について全ての色成分の画素値を復元することが可能になる。また、第１推定画素値と色差を最終的な画素値と行列との積で表すことで、色差と第１推定画素値に基づいて最終的な画素値を求めることが可能になる。
【００１８】
また、本発明の一態様では、前記行列において前記第１推定画素値に対応する行の成分は、前記推定演算部による推定処理により定まる係数であってもよい。
【００１９】
また、本発明の一態様では、前記推定演算部は、前記第２推定画素値に対してデモザイキング処理を行って、各画素について第１〜第３色の推定画素値を求め、前記推定演算部は、前記第１〜第３色の推定画素値と、前記行列において前記第１色差に対応する行の成分との積により前記第１色差を求め、前記第１〜第３色の推定画素値と、前記行列において前記第２色差に対応する行の成分との積により前記第２色差を求めてもよい。
【００２０】
このようにすれば、第１推定画素値の推定処理により定まる係数や、第１色差を求める場合の係数、第２色差を求める場合の係数により行列を表すことが可能になる。
【００２１】
また、本発明の一態様では、前記補間処理部は、前記第１取得受光値による画像と前記第２取得受光値による画像との間の被写体の動き情報を取得し、前記動き情報に基づいて、前記第２フレームにおける前記補間受光値の位置情報を取得し、前記位置情報が表す位置の周辺の前記第ｐ色配列グループの前記第２取得受光値に基づいて前記第ｐ色配列グループの前記補間受光値を求めてもよい。
【００２２】
このようにすれば、第１取得受光値による画像と第２取得受光値による画像との間の被写体の動き情報に基づいて補間が行われるため、フレーム間に生じた被写体の動きを補償して第２補間受光値を求めることができる。
【００２３】
また、本発明の一態様では、読み出し制御部は、前記受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けしてもよい。
【００２４】
このようにすれば、受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位を分配できる。これにより、撮影時の読み出しデータ量を削減できるため、フレームレートの向上が可能になる。
【００２５】
また、本発明の他の態様は、受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、を含み、前記読み出し制御部は、第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、前記補間処理部は、前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の前記第２取得受光値に基づいて、前記第ｒ色の前記補間受光値を補間により求める撮像装置に関係する。
【００２６】
本発明の他の態様によれば、第１〜第ｑ色の各色毎に設定された受光単位が第１受光単位群と第２受光単位群にグループ分けされる。第１フレームにおいて、第１受光単位群の受光値が第１取得受光値として取得され、第２フレームにおいて、第２受光単位群の受光値が第２取得受光値として取得される。そして、第ｒ色の第２取得受光値に基づいて、その第ｒ色の補間受光値が補間により求められる。
【００２７】
これにより、取得受光値に基づく補間により補間受光値を求め、その取得受光値と補間受光値から簡素な処理で高解像画像を推定することが可能になる。また、第１受光単位群の受光値を取得することで、撮像素子から読み出すデータ量を減らしてフレームレートを向上することが可能になる。
【００２８】
また、本発明の他の態様では、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記各色の受光単位として４画素を含む前記受光単位を設定し、前記第ｒ色の受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けしてもよい。
【００２９】
このようにすれば、ベイヤ配列において受光単位を第１受光単位群と第２受光単位群にグループ分け可能である。また、各色の受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位をグループ分けできる。
【００３０】
また、本発明の一態様または他の態様では、前記読み出し制御部は、前記受光単位に含まれる画素の画素値を重み付け加算して読み出し、前記取得受光値を取得し、前記補間処理部は、前記重み付け加算により得られた前記取得受光値に基づいて、前記補間受光値を補間により求めてもよい。
【００３１】
このようにすれば、画素値を重み付け加算することで、重み付け無しの場合に比べて高周波成分を多く含む高解像フレーム画像を推定することが可能になる。
【００３２】
また、本発明の一態様または他の態様では、第１のポジションに設定された前記受光単位と、前記第１のポジションからシフトされた第２のポジションに設定された前記受光単位が重畳する場合に、前記推定演算部は、前記第１のポジションの受光単位の受光値と、前記第２のポジションの受光単位の受光値の差分値を求め、前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めてもよい。
【００３３】
このようにすれば、第１の受光単位の受光値と第２の受光単位の受光値の差分値に基づいて画素値を推定できる。これにより、簡素な処理で画素値を推定することができる。具体的には、第１、第２の中間画素値の関係式を差分値により表し、その関係式に基づいて第１、第２の中間画素値を推定し、その第１の中間画素値に基づいて画素値を推定できる。
【００３４】
また、本発明の一態様または他の態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定してもよい。
【００３５】
このようにすれば、中間画素値パターンと受光値パターンの類似性が評価され、その類似性が最も高くなるように中間画素値パターンに含まれる中間画素値が決定されることで、中間画素値間の関係式に基づいて中間画素値を決定できる。
【００３６】
また、本発明の一態様または他の態様では、前記推定演算部は、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定してもよい。
【００３７】
このようにすれば、評価関数を求められることで、中間画素値パターンと受光値パターンの類似性を評価できる。また、評価関数の値が最小となるように中間画素値が決定されることで、類似性が最も高くなるように中間画素値を決定できる。
【００３８】
また、本発明のさらに他の態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部する場合に、複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求める撮像方法に関係する。
【００３９】
また、本発明のさらに他の態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部する場合に、１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記各色の前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の受光単位の中の前記第１受光単位群の前記取得受光値に基づいて、前記第ｒ色の受光単位の中の前記第２受光単位群の前記補間受光値を補間により求める撮像方法に関係する。
【図面の簡単な説明】
【００４０】
【図１】撮像素子の画素配列の例。
【図２】図２（Ａ）、図２（Ｂ）は、取得受光値の取得手法についての説明図である。
【図３】重み付け加算読み出しについての説明図。
【図４】色配列パターンについての説明図。
【図５】図５（Ａ）は、第１補間受光値の補間手法についての説明図である。図５（Ｂ）は、画素値推定の手法についての説明図である。
【図６】図６（Ａ）、図６（Ｂ）は、第１フィールドにおける第１取得受光値と第２補間受光値についての説明図である。
【図７】図７（Ａ）、図７（Ｂ）は、第２補間受光値を補間により求める手法についての説明図である。
【図８】第２補間受光値を補間により求める手法についての説明図。
【図９】解像情報復元画像と色情報復元画像を合成する手法についての説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は、取得受光値の第２の取得手法についての説明図である。
【図１１】重み付け加算読み出しについての説明図。
【図１２】Ｇｒの受光値についての説明図。
【図１３】Ｇｂの受光値についての説明図。
【図１４】Ｒの受光値についての説明図。
【図１５】Ｂの受光値についての説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）は、第１フィールドにおける第１取得受光値と補間受光値についての説明図である。
【図１７】図１７（Ａ）、図１７（Ｂ）は、補間受光値を補間により求める手法についての説明図である。
【図１８】図１８（Ａ）、図１８（Ｂ）は、補間受光値を補間により求める手法についての説明図である。
【図１９】撮像装置の第１の構成例。
【図２０】撮像装置の第２の構成例。
【図２１】第１フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図。
【図２２】第１フィールドにおける色成分Ｒのデモザイキング処理についての説明図。
【図２３】第１フィールドにおける色成分Ｂのデモザイキング処理についての説明図。
【図２４】第２フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図。
【図２５】第２フィールドにおける色成分Ｒのデモザイキング処理についての説明図。
【図２６】第２フィールドにおける色成分Ｂのデモザイキング処理についての説明図。
【図２７】図２７（Ａ）、図２７（Ｂ）は、簡易的にベイヤ画像を求める手法についての説明図である。
【図２８】図２８（Ａ）は、推定処理ブロックについての説明図である。図２８（Ｂ）は、受光単位についての説明図である。
【図２９】図２９（Ａ）、図２９（Ｂ）は、中間画素値と推定画素値についての説明図である。
【図３０】中間画素値の推定手法についての説明図。
【図３１】中間画素値の推定手法についての説明図。
【図３２】中間画素値の推定手法についての説明図。
【図３３】推定画素値の推定手法についての説明図。
【図３４】推定画素値の推定手法についての説明図。
【図３５】推定画素値の推定手法についての説明図。
【図３６】図３６（Ａ）、図３６（Ｂ）は、解像情報復元画像と色情報復元画像を合成する第３の手法についての説明図である。
【図３７】解像情報復元画像と色情報復元画像を合成する第３の手法についての説明図。
【発明を実施するための形態】
【００４１】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００４２】
１．比較例
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
【００４３】
しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。このように、従来の手法では撮影者のテクニックがかなり要求されるため、例えば動画を撮りつつ、その中で任意の画像を高精細画像として生成できたり、あるいはラフに撮像しておいて、その中から解像度を落とさずに高精細画像を抽出し望みの構図が選べるたりすることを可能とする方法が求められている。
【００４４】
このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。
【００４５】
しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリ、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。
【００４６】
また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。
【００４７】
この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素シフトにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。
【００４８】
しかしながら、この手法では、センサを機械的にシフトさせたり、加算読み出しをシフトさせながら行ったりする必要があるため、カメラの構成が複雑になってしまう。また、超解像処理が必要なため処理負荷が大きくなってしまう。
【００４９】
例えば、画素シフトによる超解像処理として、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelyhood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Covex Set）法、ＩＢＰ（Iterative Back Prohection）法などが知られている。
【００５０】
この超解像処理を用いた手法として、例えば上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する。
【００５１】
しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。
【００５２】
また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００５３】
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。
【００５４】
２．第１の補間手法
そこで、本実施形態では、撮像素子から加算読み出しにより受光値を取得し、その取得された受光値に基づいて、重畳シフトされた受光単位の受光値を補間により求める。そして、取得された受光値と補間により求めた受光値に基づいて、低解像動画中の任意タイミングの高解像フレーム画像を簡素な推定処理により求める。
【００５５】
図２８（Ｂ）で後述のように、重畳シフトされた受光単位は、複数画素毎に設定された受光単位ａ００〜ａ（ｍ−１）（ｎ−１）であり、隣り合う受光単位が画素を共有することで重畳している。以下では、図１〜図８を用いて、この受光単位の受光値を補間により取得する第１の手法について説明する。本実施形態では、この補間により求めた受光単位の受光値から画素値を推定するが、その推定手法については図２８（Ａ）〜図３５を用いて後述する。
【００５６】
なお、以下では、受光単位（受光値取得単位）に含まれる画素の画素値を加算読み出しした値を受光値（画素値）と呼ぶ。また、撮像により取得された受光値を取得受光値と呼び、補間処理により求められた受光値を補間受光値と呼ぶ。また、以下では、撮像素子がベイヤ（Bayer）配列の撮像素子であり、受光値が４画素加算値である場合を例に説明するが、本実施形態はこれに限定されない。
【００５７】
図１に、撮像素子の画素配列の例を示す。図１に示すように、撮像素子には、赤色Ｒ、青色Ｂ、第１緑色Ｇｒ，第２緑色Ｇｂの画素がベイヤ配列で配列される。図１〜図８では、画素の色配列を分かりやすくするために画素Ｇｒにのみハッチングを付し、Ｒ，Ｇｒ，Ｇｂ，Ｂの文字表記を適宜省略する。また、画素配列の水平方向（水平走査方向）の座標をｉで表し、垂直方向（垂直走査方向）の座標をｊで表す。また、画像処理における座標も適宜（ｉ，ｊ）で表す。
【００５８】
図２（Ａ）、図２（Ｂ）を用いて、取得受光値の取得手法について説明する。図２（Ａ）に示すように、受光値ａｉｊを取得する受光単位（加算画素）を便宜的に四角で表す。受光値ａｉｊは、その四角の頂点に位置する画素により取得される。図２（Ａ）においてハッチングされた画素は、上述のように画素Ｇｒを表す。
【００５９】
図２（Ａ）に示すように、フレームｆｘにおいて、第１受光単位群の受光値を取得し、次のフレームｆｘ＋１において、第２受光単位群の受光値を取得する。この第１受光単位群と第２受光単位群は、受光単位を市松状にグループ分けしたものであり、それぞれ全ての受光単位のうちの半数の受光単位である。そのため、各フレームで読み出されるデータ量は、全ての画素値ｖｉｊを読み出した場合の半分である。フレームｆｘ＋２以降は、第１受光単位群の受光値と第２受光単位群の受光値を交互に取得する。
【００６０】
ここで、フレームとは、例えば撮像素子により取得受光値が取得される撮像動作のタイミングや、１回の撮像動作により取得された取得受光値が画像処理において処理されるタイミングである。あるいは、取得受光値や補間受光値による１枚の低解像フレーム画像や、推定処理により得られた１枚の高解像フレーム画像も適宜フレームと呼ぶ。
【００６１】
図２（Ｂ）に、取得受光値と補間受光値についての説明図を示す。図２（Ｂ）では、加算読み出しにより受光値が取得される受光単位を太実線の四角（読み出し４画素加算値）で表し、補間により受光値が取得される受光単位を点線の四角（動き補償による補間４画素加算値）で表す。図２（Ｂ）に示すように、本明細書では、フレームｆｘにおける受光値を第１フィールドと呼び、フレームｆｘ＋１における受光値を第２フィールドと呼ぶ。なお、本実施形態では、第１，第２フィールドは、任意の隣接した２フレームの受光値であればよい。例えば、第１フィールドがフレームｆｘ＋１の受光値であり、第２フィールドがフレームｆｘ＋２の受光値であってもよい。
【００６２】
第１フィールドでは、第１受光単位群の受光値を第１取得受光値として取得し、第２受光単位群の受光値を補間受光値として求める。第２フィールドでは、第２受光単位群の受光値を第２取得受光値として取得する。後述するように、第１フィールドの補間受光値は、第１，第２取得受光値に基づいて補間により求められる。このとき、第１取得受光値に基づく第１補間受光値と、第２取得受光値に基づく第２補間受光値が求められる。そして、第１取得受光値、第１補間受光値、第２補間受光値から最終的な推定画素値が求められる。
【００６３】
３．第１補間受光値
図３〜図５（Ｂ）を用いて、第１補間受光値を補間により求める手法について説明する。第１補間受光値は、色配列を考慮せずに求めた補間受光値であり、図９で後述するように、この第１補間受光値と第１取得受光値から解像情報復元画像（ｖｒｉｊ）が推定される。
【００６４】
まず図３を用いて、重み付け加算読み出しについて説明する。図３では、上述のように画素Ｇｒをハッチングで表している。図３に示すように、加算読み出しの重み係数をｃ１、ｃ２、ｃ３、ｃ４とする。ｃ１＝１とすると、重み係数は下式（１）に示す比率関係のルールをとる。なお、ｒは、ｒ≧１の実数であり、重み付け加算の場合にはｒ＞１である。本実施形態では、ｒ＝１として重み付けしない単純加算を行ってもよい。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２      ・・・  （１）
【００６５】
以下では、説明を簡単にするために、ｒ＝２とおき、下式（２）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４      ・・・  （２）
【００６６】
次に図４を用いて、色配列パターンについて説明する。図４に示すように、受光単位内の画素の色配列（配色）は、４つの色配列パターンＡ〜Ｄに分類される。例えば、受光単位ａ００，ａ１０，ａ１１，ａ０１は、それぞれ色配列パターンＡ，Ｂ，Ｃ，Ｄの受光単位である。色配列パターンＡ〜Ｄの画素の横に付した数値１，１／２，１／４は、加算読み出しにおける重み付け係数を表す。
【００６７】
図４に示すように、第１フィールドでは、色配列パターンＡ，Ｂの受光単位により第１取得受光値を取得する。補間受光値は、色配列パターンＣ，Ｄの受光単位の受光値である。第２フィールドでは、色配列パターンＣ，Ｄの受光単位により第２取得受光値を取得する。後述するように、画素値推定において色情報を復元するためには、この色配列パターンを考慮した補間を行う必要がある。この色配列パターンを考慮した補間は、後述する第２補間受光値において行い、第１補間受光値では色配列パターンを考慮せずに補間を行う。
【００６８】
次に図５（Ａ）を用いて、第１補間受光値の補間手法について説明する。図５（Ａ）に示すように、第１補間受光値の周囲の第１取得受光値を用いて補間処理を行う。以下では、例として受光値｛ａ０２，ａ２２，ａ１１，ａ１３，ａ１２｝に着目して説明を行う。この受光値のうち第１取得受光値｛ａ０２，ａ２２，ａ１１，ａ１３｝は、画素値をｖｉｊとすると下式（３）で表される。
ａ０２＝ｖ０２＋（１／２）ｖ０３＋（１／２）ｖ１２＋（１／４）ｖ１３，
ａ２２＝ｖ２２＋（１／２）ｖ２３＋（１／２）ｖ３２＋（１／４）ｖ３３，
ａ１１＝ｖ１１＋（１／２）ｖ１２＋（１／２）ｖ２１＋（１／４）ｖ２２，
ａ１３＝ｖ１３＋（１／２）ｖ１４＋（１／２）ｖ２３＋（１／４）ｖ２４
・・・  （３）
【００６９】
第１補間受光値ａ１２は、水平方向及び垂直方向に隣接する第１取得受光値｛ａ０２，ａ２２，ａ１１，ａ１３｝に基づいて求められる。具体的には、補間係数を｛ｗ１，ｗ２，ｗ３，ｗ４｝とすると、補間受光値は下式（４）により求められる。例えば、この補間係数は、補間精度が最も高くなるよう予め設定されたものである。なお、補間手法はこれに限定されず、例えばバイリニア法やバイキュービック法等を用いてもよく、最適な補間係数を独自に設定するものであってもよい。
ａ１２＝ｗ１・ａ０２＋ｗ２・ａ２２＋
ｗ３・ａ１１＋ｗ４・ａ１３  ・・・  （４）
【００７０】
次に図５（Ｂ）を用いて、画素値推定の手法について説明する。画素値推定の手法については、図２８（Ａ）〜図３５で詳細に後述するため、ここでは簡単に説明する。図５（Ｂ）に示すように、受光値ａｉｊから中間画素値ｂｉｊを求める。中間画素値ｂｉｊは、受光値ａｉｊを水平方向（または垂直方向）に高解像化した画素値である。そして、中間画素値ｂｉｊから推定画素値ｖｉｊを求める。第１補間受光値と第１取得受光値を用いた場合、図９で後述する画素値ｖｒｉｊが求められる。
【００７１】
さて、第１補間受光値は、後述する第２補間受光値に比べて色情報（各色に対する推定画素値の配分）は不正確であるが、解像情報（推定画素値の解像度）は正確である。この点について、具体的に説明する。
【００７２】
上述の図４と図５（Ａ）に示すように、受光値｛ａ０２，ａ２２，ａ１１，ａ１３｝は色配列パターンＡ，Ｂであり、色配列と重み付け係数の関係が全てＲ：１／２，Ｇ：１ｏｒ１／４，Ｂ：１／２となっている。一方、第１補間受光値ａ１２は色配列パターンＣであり、色配列と重み付け係数の関係は本来Ｒ：１，Ｇ：１／２，Ｂ：１／４となるべきであるが、色配列の異なる受光値から補間されている。このように、第１補間受光値は、色配列の異なる受光値により補間されているため色情報は正確ではない。
【００７３】
例えば、緑一色の画像を取得したと仮定すると、色配列パターンＡ，Ｂの受光値は１．２５となり、色配列パターンＣの受光値は１となる。このとき、色配列パターンＣの第１補間受光値は１となるのが理想的であるが、色配列パターンＡ，Ｂの取得受光値から補間されるため、その理想値とは異なる値となる。そのため、この第１補間受光値から推定された画素値ｖｒｉｊは、色情報が不正確な値となってしまう。
【００７４】
一方、解像情報の点では、第１補間受光値は、１つのフレーム内で補間されるため、複数フレームを用いて補間した場合よりも正確である。この第１補間受光値を用いて画素値推定を行った場合、色情報の復元は困難となるが、解像度の復元は可能であることが分っている。そのため、上記の補間処理を行った上で、図２８（Ａ）〜図３５で後述する画素値の推定処理を行えば、解像情報を復元した画像（画素値ｖｒｉｊ）を得ることができる。
【００７５】
４．第２補間受光値
図６（Ａ）〜図８を用いて、第２補間受光値を補間により求める手法について説明する。図２（Ｂ）で上述のように、第２補間受光値は、第２フィールドの第２取得受光値から求めた補間受光値であり、色配列を考慮した補間受光値である。図９で後述するように、この第２補間受光値と第１取得受光値から色情報復元画像（画素値ｖｃｉｊ）が推定される。色情報復元画像は、色配列を考慮しているため、解像情報復元画像に比べて色情報が正確である。
【００７６】
図６（Ａ）に、第１フィールドにおける第１取得受光値と第２補間受光値を示す。点線四角で表す受光値が第２補間受光値である。図６（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図６（Ｂ）では、実線の丸で第１取得受光値を表し、点線の四角で第２補間受光値を表す。また、ａ１０（１）のように受光値の右上に付したサフィックス（１）により、第１フィールドにおけるサンプリング位置を表す。以下では、例として、着目像の位置の第２補間受光値ａ１０（１）を求める場合について説明する。
【００７７】
図７（Ａ）に、第２フィールドにおける第２取得受光値を示す。点線四角で表す受光値は、取得されない受光値である。図７（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図７（Ｂ）では、実線の四角で第２取得受光値を表し、点線の丸で取得されない受光値を表す。また、第１フィールドの第２補間受光値を点線四角で表す。また、ａ１０（２）のように受光値の右上に付したサフィックス（２）により、第２フィールドにおけるサンプリング位置を表す。
【００７８】
図７（Ｂ）に示すように、第１フィールドのサンプリング位置と第２フィールドのサンプリング位置は、フレーム間の像ブレによって移動している。第２補間受光値ａ１０（１）のサンプリング位置を基準にすると、第１フィールドと第２フィールドの間の動きベクトル（広義には移動量情報）は、φ＝（ｓｉ，ｓｊ）で表される。ｓｉは、水平方向の移動量であり、ｓｊは、垂直方向の移動量である。この動きベクトルφは、第１，第２取得受光値に基づいて、ＳＳＤ（Sum of Squared Difference）等の動きベクトル検出処理により求められる。
【００７９】
第２補間受光値ａ１０（１）の算出は、φだけ移動したサンプリング位置の周辺に存在する第２取得受光値を用いて行われる。図４で上述のように、ａ１０（１）は色配列パターンＣの受光値であり、ａ１０（１）の算出には、同じ色配列パターンＣの第２取得受光値のみが用いられる。同じ色配列パターンの受光値で補間するため、第２補間受光値を用いた画素値推定では、色情報の復元が可能である。
【００８０】
図７（Ｂ）に示すように、ａ１０（１）の周囲に存在する色配列パターンＣの第２取得受光値のうちの直近４つが｛ａｍｎ，ａ（ｍ＋２）ｎ，ａｍ（ｎ＋２），ａ（ｍ＋２）（ｎ＋２）｝であったとする。例えば、第２補間受光値ａ１０（１）は、これらの第２取得受光値｛ａｍｎ，ａ（ｍ＋２）ｎ，ａｍ（ｎ＋２），ａ（ｍ＋２）（ｎ＋２）｝を用いて求められる。
【００８１】
図８を用いて、この４画素を用いる場合の第２補間受光値ａｉｊの算出手法について説明する。図８に示すように、撮像素子の画素ピッチはｐであり、第２受光単位群の配列ピッチは２ｐであるとする。そうすると、動きベクトル（ｓｉ，ｓｊ）は、第２取得受光値ａｍｎの座標（ｍ，ｎ）を用いて下式（５）で表される。ここで、下式（５）において、ｒｍは、水平方向において、ａｍｎの座標からａｉｊの座標までの距離であり、０≦ｒｍ＜２ｐである。また、ｒｎは、垂直方向において、ａｍｎの座標からａｉｊの座標までの距離であり、０≦ｒｎ＜２ｐである。
ｓｉ＝ｍ・ｐ＋ｒｍ，
ｓｊ＝ｎ・ｐ＋ｒｎ      ・・・  （５）
【００８２】
まず、上式（５）より、０≦ｒｍ＜２ｐ，０≦ｒｎ＜２ｐを満たす（ｍ，ｎ）を求め、ａｉｊの直近４つの第２取得受光値を決定する。次に、下式（６）を用いて、第２補間受光値ａｉｊを求める。
ａｉｊ＝ｗ１・ａｍｎ＋ｗ２・ａ（ｍ＋２）ｎ＋
ｗ３・ａｍ（ｎ＋２）＋ｗ４・ａ（ｍ＋２）（ｎ＋２）      ・・・  （６）
【００８３】
例えば、受光値間の距離を考慮すると、ａｉｊを下式（７）と表すことができる。この場合、上式（６）における補間係数ｗ１，ｗ２，ｗ３，ｗ４は、下式（８）となる。
ａｉｊ＝（２ｐ−ｒｎ）／２ｐ・
｛（２ｐ−ｒｍ）／２ｐ・ａｍｎ＋（ｒｍ）／２ｐ・ａ（ｍ＋２）ｎ｝＋
（ｒｎ）／２ｐ・
｛（２ｐ−ｒｍ）／２ｐ・ａｍ（ｎ＋２）
＋（ｒｍ）／２ｐ・ａ（ｍ＋２）（ｎ＋２）｝
・・・  （７）
ｗ１＝（２ｐ−ｒｎ）（２ｐ−ｒｍ）／（２ｐ）２，
ｗ２＝（２ｐ−ｒｎ）（ｒｍ）／（２ｐ）２，
ｗ３＝（ｒｎ）（２ｐ−ｒｍ）／（２ｐ）２，
ｗ４＝（ｒｎ）（ｒｍ）／（２ｐ）２              ・・・  （８）
【００８４】
なお、上述の動きベクトルφ＝（ｓｉ，ｓｊ）は、第１取得受光値と第２取得受光値のみを用いて求めてもよいし、第１取得受光値と第２取得受光値をそれぞれ補間した受光値を用いて求めてもよい。例えば、第１取得受光値と第２取得受光値をそれぞれ色配列パターンを無視して補間処理し、その補間処理後の２画像の画像相関により動きベクトルφを求めてもよい。このようにすれば、画像相関を行う際の画素数（受光値数）を増やせるため、画像相関の精度において有利であると考えられる。
【００８５】
５．復元画像の合成手法
次に、図９を用いて、上述の解像情報復元画像と色情報復元画像を合成して、最終的な推定画像を求める手法について説明する。
【００８６】
図９に示すように、解像情報復元画像の画素値ｖｒｉｊと色情報復元画像の画素値ｖｃｉｊを用いて、最終的な推定画素値ｖｉｊを求める。画素値ｖｒｉｊ，ｖｃｉｊはそれぞれ、図２８（Ａ）〜図３５で後述する推定手法により推定した画素値である。上述のように、画素値ｖｒｉｊは、第１補間受光値と第１取得受光値を用いて推定され、画素値ｖｃｉｊは、第２補間受光値と第１取得受光値を用いて推定される。
【００８７】
まず、下式（９）に示すように、色情報復元画像の任意の４画素｛ｖｃｉｊ，ｖｃ（ｉ＋１）ｊ，ｖｃｉ（ｊ＋１），ｖｃ（ｉ＋１）（ｊ＋１）｝の合計値をＡｉｊで表す。この４画素（色情報復元パターン）に割付けられた色成分｛Ｒ，（Ｇｒ＋Ｇｂ），Ｂ｝の比率｛ｒ，ｇ，ｂ｝は、下式（１０）で表される。最終的な画素値ｖｉｊを求める際に、この比率｛ｒ，ｇ，ｂ｝を維持すれば、各色成分の画素値を正確に復元することができる。
Ａｉｊ＝ｖｃｉｊ＋ｖｃ（ｉ＋１）ｊ＋
ｖｃｉ（ｊ＋１）＋ｖｃ（ｉ＋１）（ｊ＋１）      ・・・  （９）
ｒ＝ｖｃ（ｉ＋１）ｊ／Ａｉｊ，
ｇ＝（ｖｃｉｊ＋ｖｃ（ｉ＋１）（ｊ＋１））／Ａｉｊ，
ｂ＝ｖｃｉ（ｊ＋１）／Ａｉｊ                ・・・  （１０）
【００８８】
次に、比率｛ｒ，ｇ，ｂ｝を維持するために、画素値ｖｒｉｊを再分配して画素値ｖｉｊを求める。下式（１１）に示すように、解像情報復元画像の４画素｛ｖｒｉｊ，ｖｒ（ｉ＋１）ｊ，ｖｒｉ（ｊ＋１），ｖｒ（ｉ＋１）（ｊ＋１）｝の合計値をＡｉｊ’（輝度値）で表す。下式（１２）に示すように、この４画素（解像情報復元パターン）の合計値Ａｉｊ’を、比率｛ｒ，ｇ，ｂ｝に従って分配する。
Ａｉｊ’＝ｖｒｉｊ＋ｖｒ（ｉ＋１）ｊ＋
ｖｒｉ（ｊ＋１）＋ｖｒ（ｉ＋１）（ｊ＋１）      ・・・  （１１）
Ｒ：          ｖｉ（ｊ＋１）＝｛ｖｃｉ（ｊ＋１）／Ａｉｊ｝×Ａｉｊ’，
Ｇｒ＋Ｇｂ：  ｖｉｊ＋ｖ（ｉ＋１）（ｊ＋１）
＝｛（ｖｃｉｊ＋ｖｃ（ｉ＋１）（ｊ＋１））／Ａｉｊ｝×Ａｉｊ’，
Ｂ：          ｖ（ｉ＋１）ｊ＝｛ｖ（ｉ＋１）ｊ／Ａｉｊ｝×Ａｉｊ’  
・・・  （１２）
【００８９】
次に、下式（１３）に示すように、解像情報復元画像の画素値を用いて、Ｇｒの画素値ｖｉｊとＧｂの画素値ｖ（ｉ＋１）（ｊ＋１）を求める。このＧｒ，Ｇｂの値は、色表現としてはそれらの合計値に意味があり、個々の値は解像度に寄与するものと考える。
Ｇｒ：  ｖｉｊ＝｛ｖｒｉｊ／（ｖｒｉｊ＋ｖｒ（ｉ＋１）（ｊ＋１））｝×
（ｖｉｊ＋ｖ（ｉ＋１）（ｊ＋１）），
Ｇｂ：  ｖ（ｉ＋１）（ｊ＋１）
＝｛ｖｒ（ｉ＋１）（ｊ＋１）／（ｖｒｉｊ＋ｖｒ（ｉ＋１）（ｊ＋１））｝×
（ｖｉｊ＋ｖ（ｉ＋１）（ｊ＋１））
・・・  （１３）
【００９０】
このようにして、最終的な推定画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ，ｖｉ（ｊ＋１），ｖ（ｉ＋１）（ｊ＋１）｝（最終復元パターン）が求められる。なお、座標値ｉ，ｊは、例えば偶数である。すなわち、ｉ＝０，２，４，・・・とすることで、画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ，ｖｉ（ｊ＋１），ｖ（ｉ＋１）（ｊ＋１）｝を水平方向に順次求める。また、ｊ＝０，２，４，・・・とすることで、画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ，ｖｉ（ｊ＋１），ｖ（ｉ＋１）（ｊ＋１）｝を垂直方向に順次求める。
【００９１】
６．復元画像の第２の合成手法
図９を用いて、最終的な推定画像を求める第２の手法について説明する。第２の手法では、ＹＣｂＣｒ方式を用いて復元画像の合成を行う。
【００９２】
まず、下式（１４）に示すように、解像情報復元画像の画素値｛Ｒｒ，Ｇｂｒ，Ｇｒｒ，Ｂｒ｝（解像情報復元パターン）から輝度成分Ｙを求める。
Ｙ＝αｙ・Ｒｒ＋βｙ・（Ｇｂｒ＋Ｇｒｒ）＋γｙ・Ｂｒ    ・・・  （１４）
【００９３】
次に、下式（１５）に示すように、色情報復元画像の画素値｛Ｒｃ，Ｇｂｃ，Ｇｒｃ，Ｂｃ｝（色情報復元パターン）から色差成分δｂ，δｒを求める。
δｂ＝αｂ・Ｒｃ＋βｂ・（Ｇｂｃ＋Ｇｒｃ）＋γｂ・Ｂｃ，
δｒ＝αｒ・Ｒｃ＋βｒ・（Ｇｂｃ＋Ｇｒｃ）＋γｒ・Ｂｃ    ・・・  （１５）
【００９４】
ここで、係数（αｙ，βｙ，γｙ）は、画素値｛Ｒｒ，（Ｇｂｒ＋Ｇｒｒ），Ｂｒ｝を輝度成分Ｙに変換する変換係数である。また、係数（αｂ，βｂ，γｂ），（αｒ，βｒ，γｒ）は、画素値｛Ｒｃ，（Ｇｂｃ＋Ｇｒｃ），Ｂｃ｝をそれぞれ色差成分δｂ，δｒに変換する変換係数である。例えば、これらの変換係数は、ＲＧＢ方式からＹＣｂＣｒ方式への一般的な変換式の係数である。
【００９５】
次に、下式（１６）を解き、画素値｛Ｒ，（Ｇｒ＋Ｇｂ），Ｂ｝を求める。Ｙ，δｂ，δｒは、上式（１４），（１５）で求めた値である。下式（１６）では、画素値｛Ｒ，Ｇｂ，Ｇｒ，Ｂ｝から求まるＹ，δｂ，δｒが、上式（１４），（１５）で求めたＹ，δｂ，δｒが、と同一であると仮定している。
Ｙ＝αｙ・Ｒ＋βｙ・（Ｇｂ＋Ｇｒ）＋γｙ・Ｂ，
δｂ＝αｂ・Ｒ＋βｂ・（Ｇｂ＋Ｇｒ）＋γｂ・Ｂ，
δｒ＝αｒ・Ｒ＋βｒ・（Ｇｂ＋Ｇｒ）＋γｒ・Ｂ      ・・・  （１６）
【００９６】
次に、下式（１７）に示すように、解像情報復元画像の画素値｛Ｇｂｒ，Ｇｒｒ｝の比を用いて、Ｇｒ＋ＧｂをＧｒ，Ｇｂに分配する。このようにして、最終的な推定画素値｛Ｒ，Ｇｂ，Ｇｒ，Ｂ｝（最終復元パターン）が求められる。
Ｇｂ＝｛Ｇｂｒ／（Ｇｂｒ＋Ｇｒｒ）｝・（Ｇｂ＋Ｇｒ），
Ｇｒ＝｛Ｇｒｒ／（Ｇｂｒ＋Ｇｒｒ）｝・（Ｇｂ＋Ｇｒ）    ・・・  （１７）
【００９７】
７．復元画像の第３の合成手法
第２の合成手法では、合成画像としてＲＧＢのモザイク画像を求めたが、本実施形態では、合成画像として各画素にＲＧＢ画素値が揃ったＲＧＢ画像を求めてもよい。図３６（Ａ）〜図３７を用いて、この第３の合成手法について説明する。
【００９８】
上述の解像情報復元画像の画素値をｖｒｉｊとする。ここで重要なのは、推定画素値｛ｖｒｉｊ｝は解像情報を表しており、下式（４６）で定義される特別な意味をもつ値となっている。すなわち、推定画素値｛ｖｒｉｊ｝（以下、「解像反映値」と呼ぶ）は、その画素の原色ＲＧＢ成分｛Ｒｙｉｊ，Ｇｙｉｊ，Ｂｙｉｊ｝の成分加算値となっている。この｛Ｒｙｉｊ，Ｇｙｉｊ，Ｂｙｉｊ｝の各値は、最終的な推定画素値｛ｖｉｊ｝の同一位置において復元できたと仮定した場合の３原色の成分値を表す。
ｖｒｉｊ＝αｙ・Ｒｙｉｊ＋βｙ・Ｇｙｉｊ＋γｙ・Ｂｙｉｊ  ・・・（４６）
【００９９】
なお、上式（４６）におけるαｖ，βｖ，γｖは、後述する推定処理によって定まる係数値である。この係数値は、受光単位の画素数や、受光単位の色配列パターンや、ｖｒｉｊに対応する画素の色に応じて定まる。
【０１００】
次に、図３６（Ａ）、図３６（Ｂ）に示すように、上述の色情報復元画像の画素値ｖｃｉｊを推定する。この推定画素値｛ｖｃｉｊ｝は、色情報取得のためのベイヤ推定画像を構成する。なお、図３６（Ａ）において、ａ１０等の点線四角で表す受光単位は第２補間受光値である。また、図３６（Ａ）、図３６（Ｂ）において、ハッチングで表す画素はＧｒの画素である。
【０１０１】
図３７に示すように、このベイヤー推定画像に対してデモザイキング処理を行って原色ＲＧＢの３板化画像を生成し、３板化画像の各画素のＲＧＢ成分値｛Ｒｃｉｊ，Ｇｃｉｊ，Ｂｃｉｊ｝を求める。次に、この処理により得られた各画素のＲ値，Ｇ値，Ｂ値に基づいて、各画素の色差｛Ｃｂｉｊ，Ｃｒｉｊ｝を下式（４７）により算出する。
Ｃｂｉｊ＝αｂ・Ｒｃｉｊ＋βｂ・Ｇｃｉｊ＋γｂ・Ｂｃｉｊ，
Ｃｒｉｊ＝αｒ・Ｒｃｉｊ＋βｒ・Ｇｃｉｊ＋γｒ・Ｂｃｉｊ  ・・・（４７）
【０１０２】
上式（４７）の係数｛αｂ，βｂ，γｂ｝や係数｛αｒ，βｒ，γｒ｝は、例えば、原色ＲＧＢ成分値が与えられた場合に色差値を求める一般的に知られている既知係数を適用すればよい。
【０１０３】
次に下式（４８）に示すように、解像反映値｛ｖｒｉｊ｝の色成分｛Ｒｙｉｊ，Ｇｙｉｊ，Ｂｙｉｊ｝と、色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝の色成分｛Ｒｃｉｊ，Ｇｃｉｊ，Ｂｃｉｊ｝とが、近似的に等しいとする。また、これらの色成分が最終的な推定画素値の色成分｛Ｒｉｊ，Ｇｉｊ，Ｂｉｊ｝に等しいと仮定する。
Ｒｙｉｊ≒Ｒｃｉｊ＝Ｒｉｊ，
Ｇｙｉｊ≒Ｇｃｉｊ＝Ｇｉｊ，
Ｂｙｉｊ≒Ｂｃｉｊ＝Ｂｉｊ  ・・・（４８）
【０１０４】
上式（４６）〜（４８）より、解像反映値｛ｖｉｊ｝と色差値｛Ｃｂｉｊ，Ｃｒｉｊ｝およびそれらの変数となる原色ＲＧＢ成分｛Ｒｉｊ，Ｇｉｊ，Ｂｉｊ｝の関係は、下式（４９）の行列式で表される。この下式（４９）を解くことで、解像情報と色情報を両方復元した着目フィールドｆｘの全ての画素ｖｉｊの成分｛Ｒｉｊ，Ｇｉｊ，Ｂｉｊ｝を求め、各画素にＲＧＢ画素値が揃ったフレーム画像Ｆｘを取得する。
【数１】
2012119852.tif 000003
【０１０５】
このようにして、着目フレーム画像Ｆｔの各画素の原色成分値｛Ｒｉｊ，Ｇｉｊ，Ｂｉｊ｝が改めて求められ、連続する２枚のフィールド低解像画像｛ｆｘ，ｆｘ＋１｝から着目フィールドに対応する高精細フレーム画像Ｆｘが復元される。
【０１０６】
さて、上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザが決定的瞬間をとらえることが難しいという課題がある。また、通常の全画素読み出しでは、フレームレートを上げることが困難なため、高解像度と高フレームレートを両立することが難しいという課題がある。
【０１０７】
この点、本実施形態の撮像装置は、読み出し制御部（例えば図１９で後述の重み付け加算重畳シフトサンプリング処理部１２０）、補間処理部（補間処理部１８５）、推定演算部（推定演算部２１０）、画像出力部（高精細静止画データ生成部２６０）を含む。
【０１０８】
図２（Ｂ）に示すように、読み出し制御部は、受光単位を複数の画素毎に設定し、その受光単位に含まれる画素の画素値を加算読み出しして受光値（ａｉｊ等の太実線四角で表す受光値）を取得する。受光単位は、受光値を取得する単位であり、隣り合う受光単位は重畳している。補間処理部は、読み出し制御部により取得された受光値である取得受光値（ａｉｊ等）に基づいて、受光値が取得されない受光単位の受光値を補間により求めて補間受光値（ａｉ（ｊ−１）等の点線四角で表す受光値）を取得する。推定演算部は、図９で上述のように、取得受光値と補間受光値に基づいて、受光単位に含まれる各画素の画素値ｖｉｊを推定する。画像出力部は、推定演算部により推定された画素値に基づく画像を出力する。
【０１０９】
この場合に、読み出し制御部は、複数色（Ｇｒ，Ｇｂ，Ｒ，Ｂ）の画素を含む受光単位を設定し、その受光単位を第１受光単位群（ａｉｊ等）と第２受光単位群（ａｉ（ｊ−１）等）にグループ分けする。そして、第１フレームｆｘにおいて、第１受光単位群の受光値（ａｉｊ等）を第１取得受光値として取得する。第１フレームｆｘの後の第２フレームｆｘ＋１において、第２受光単位群の受光値（ａｉ（ｊ−１）等）を第２取得受光値として取得する。
【０１１０】
補間処理部は、第１フレームｆｘにおける第２受光単位群の受光値を第２補間受光値（補間受光値）として求める。このとき、図４に示すように、複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋ＝４。色配列パターンＡ〜Ｄで分類された受光単位グループ）に受光単位をグループ分けする。図７等に示すように、補間処理部は、第１〜第ｋ色配列グループの中の第ｐ色配列グループ（例えばｐ＝３。色配列パターンＣの受光単位グループ）の第２取得受光値（ａｍｎ等）に基づいて、第ｉ色配列グループの第２補間受光値（ａ１０（１））を求める。
【０１１１】
これにより、取得受光値から簡素な処理で高解像画像を推定することが可能になる。具体的には、受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１受光単位群の受光値を取得することで、各フレームにおいて一部の受光値だけを読み出すことができる。そのため、撮像素子から読み出すデータ量を減らし、フレームレートを向上できる。また、取得受光値に基づいて補間受光値を求め、その重畳した受光単位の受光値（図２８（Ｂ）に示す受光値）に対して例えば図２８（Ａ）〜図３５で後述の推定処理を行うことで、撮像したフレームの中の任意タイミングの高解像フレーム画像を取得できる。そのため、決定的瞬間の高解像フレーム画像を事後的に取得でき、高解像度と高フレームレートを両立できる。
【０１１２】
また、本実施形態によれば、第１〜第ｋ色配列グループに受光単位をグループ分けし、第ｐ色配列グループの第２取得受光値に基づいて、第ｐ色配列グループの第２補間受光値を補間により求める。これにより、補間受光値の色配列パターンと同じ色配列パターンの取得受光値により補間が行われる。図４等で上述のように、色配列パターンを無視して補間を行うと推定画素値の色情報が劣化するが、本実施形態では、色情報を保存することが可能である。
【０１１３】
また、本実施形態によれば、画素の色に依らず受光単位を設定するため、図１０（Ａ）〜図１８（Ｂ）で後述する同色画素に受光単位を設定する場合と比べて、受光単位を小さくできる。これにより、受光値がより高周波数の成分を含むことができるため、推定画像の解像度を向上可能である。
【０１１４】
ここで、受光単位が重畳するとは、隣接する受光単位と受光単位が重なった領域を有することである。例えば、後述する図２８（Ａ）に示すように、受光単位ａ００（ｖ００，ｖ１０，ｖ０１，ｖ１１）と受光単位ａ１０（ｖ１０，ｖ２０，ｖ１１，ｖ２１）が、２つの推定画素ｖ１０、ｖ１１を共有することである。また、受光単位群の受光値とは、受光単位群に属する受光単位の受光値のことである。また、第ｐ色配列グループの取得受光値（補間受光値）とは、第ｐ色配列グループに属する受光単位の取得受光値（補間受光値）のことである。
【０１１５】
また、本実施形態では、図２（Ｂ）に示すように、補間処理部は、画素の色配列に依らず第１取得受光値に基づいて第１補間受光値を補間により求める。補間処理部は、上記のように、第ｐ色配列グループの第２取得受光値に基づく第ｐ色配列グループの補間受光値を第２補間受光値として求める。そして、図９に示すように、推定演算部は、第１取得受光値と第１補間受光値に基づいて、受光単位に含まれる各画素の画素値として第１推定画素値ｖｒｉｊを推定する。推定演算部は、第１取得受光値と第２補間受光値に基づいて、受光単位に含まれる各画素の画素値として第２推定画素値ｖｃｉｊを推定する。そして、推定演算部は、第１推定画素値ｖｒｉｊと第２推定画素値ｖｃｉｊに基づいて、最終的な画素値ｖｉｊを求める。
【０１１６】
このようにすれば、第１推定画素値ｖｒｉｊと第２推定画素値ｖｃｉｊを推定でき、これらの画素値から最終的な画素値ｖｉｊを求めることができる。また、第２補間受光値を色配列パターンを考慮して求めることで、第２補間受光値から色情報を復元可能になる。これにより、第１補間受光値を色配列パターンを考慮せず求めることができる。そのため、色配列グループ毎に補間を行う場合に比べて、補間に用いる第１取得受光値の間隔を狭くでき、より広帯域の情報を含む第１補間受光値を求めることができる。そして、第１フィールドのみから高解像の第１推定画素値ｖｒｉｊが得られるため、被写体の動きに対する像ブレを抑制できる。
【０１１７】
また、本実施形態では図９に示すように、推定演算部は、第２推定画素値ｖｃｉｊに基づいて、第１推定画素値ｖｒｉｊの加算値Ａｉｊ’を、各色（ＲＧＢ）の画素値に配分して最終的な画素値ｖｉｊを求める。この処理は、最終的な画素値が推定される推定対象の受光単位（ｖｉｊ，ｖ（ｉ＋１）ｊ，ｖｉ（ｊ＋１），ｖ（ｉ＋１）（ｊ＋１）に設定された受光単位）に対して行われる。
【０１１８】
より具体的には、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色（ＲＧＢ）の画素である場合に、複数色の画素として４画素を含む受光単位を設定する。上式（１２）に示すように、推定演算部は、第ｒ色（例えばｒ＝１。Ｒ色）の最終的な画素値を求める場合に、その第ｒ色の第２推定画素値ｖｃｉ（ｊ＋１）と第２推定画素値の加算値Ａｉｊとの比ｒ＝ｖｃ（ｉ＋１）ｊ／Ａｉｊを、第１推定画素値の加算値Ａｉｊ’に乗じて、第ｒ色の最終的な画素値ｖｉ（ｊ＋１）を求める。
【０１１９】
このようにすれば、第１推定画素値ｖｒｉｊと第２推定画素値ｖｃｉｊに基づいて、最終的な画素値ｖｉｊを求めることが可能になる。また、第２推定画素値ｖｃｉｊに基づいて、第１推定画素値ｖｒｉｊの加算値Ａｉｊ’を配分することで、第１推定画素値ｖｒｉｊの解像情報を維持するとともに、第２推定画素値ｖｃｉｊの色情報を付加できる。
【０１２０】
また、本実施形態では上式（４７）に示すように、推定演算部は、第２推定画素値ｖｃｉｊに基づいて各画素の色差Ｃｂｉｊ，Ｃｒｉｊを求め、その色差Ｃｂｉｊ，Ｃｒｉｊと第１推定画素値ｖｒｉｊに基づいて最終的な画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊを求める。
【０１２１】
このようにすれば、第２推定画素値ｖｃｉｊに基づいて色差Ｃｂｉｊ，Ｃｒｉｊを求めることで、最終的な画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊに対して第２推定画素値ｖｃｉｊの色情報を付加できる。また、各画素の色差Ｃｂｉｊ，Ｃｒｉｊを求めることで、ＲＧＢモザイク画像ではなく３板のＲＧＢ画像を復元可能になる。
【０１２２】
また、本実施形態では上式（４９）に示すように、推定演算部は、最終的な画素値として第１〜第３色の画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊを求める場合に、色差として第１色差Ｃｂｉｊと第２色差Ｃｒｉｊを求める。推定演算部は、第１推定画素値ｖｒｉｊと第１色差Ｃｂｉｊと第２色差Ｃｒｉｊを、第１〜第３色の画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊと行列との積で表す。推定演算部は、表した式により最終的な画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊを求める。
【０１２３】
このようにすれば、所定の係数を成分とする変換行列を用いて、｛ｖｒｉｊ，Ｃｂｉｊ，Ｃｒｉｊ｝と｛Ｒｉｊ，Ｇｉｊ，Ｂｉｊ｝の関係式を表すことが可能になる。そして、その関係式を解くことで最終的な画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊを求めることができる。
【０１２４】
また、本実施形態では、行列において第１推定画素値ｖｒｉｊに対応する行の成分αｖ，βｖ，γｖは、推定演算部による推定処理により定まる係数である。
【０１２５】
また、本実施形態では図３７に示すように、推定演算部は、第２推定画素値ｖｃｉｊに対してデモザイキング処理を行って、各画素について第１〜第３色の推定画素値Ｒｃｉｊ，Ｇｃｉｊ，Ｂｃｉｊを求める。上式（４７）に示すように、推定演算部は、第１〜第３色の推定画素値Ｒｃｉｊ，Ｇｃｉｊ，Ｂｃｉｊと、行列において第１色差Ｃｂｉｊに対応する行の成分αｂ，βｂ，γｂとの積により第１色差Ｃｂｉｊを求める。推定演算部は、第１〜第３色の推定画素値Ｒｃｉｊ，Ｇｃｉｊ，Ｂｃｉｊと、行列において第２色差Ｃｒｉｊに対応する行の成分αｒ，βｒ，γｒとの積により第２色差Ｃｒｉｊを求める。
【０１２６】
このようにすれば、係数｛αｖ，βｖ，γｖ｝や係数｛αｂ，βｂ，γｂ｝、係数｛αｒ，βｒ，γｒ｝を所定の係数として変換行列を表すことができる。これにより、この変換行列を用いた関係式を解くことで、解像情報と色情報が反映された画素値を復元することができる。
【０１２７】
ここで、デモザイキング処理とは、欠落色信号を補間により求める処理であり、例えば図１に示すベイヤ配列において座標（０，０）の画素の欠落色信号Ｒ，Ｂを補間により求める処理である。例えば、デモザイキング処理として、公知の種々の補間処理を用いればよい。
【０１２８】
また、本実施形態では図７（Ｂ）に示すように、補間処理部は、第１取得受光値による画像（第１フィールド）と第２取得受光値による画像（第２フィールド）との間の被写体の動き情報（動きベクトルφ＝（ｓｉ，ｓｊ））を取得する。補間処理部は、その動き情報に基づいて、第２フレームｆｘ＋１における第２補間受光値の位置情報（サンプリング位置ａ１０（１））を取得し、その位置情報が表す位置の周辺の第２取得受光値（例えば、ａ１０（１）と同じ色配列パターンの直近の４受光値ａｍｎ，ａ（ｍ＋２）ｎ，ａｍ（ｎ＋２），ａ（ｍ＋２）（ｎ＋２））に基づいて第２補間受光値ａ１０を補間により求める。
【０１２９】
このようにすれば、第１取得受光値による画像と第２取得受光値による画像との間の被写体の動き情報に基づいて補間が行われるため、第１フレームｆｘと第２フレームｆｘ＋１の間に生じた被写体の動きを補償して第２補間受光値を求めることができる。
【０１３０】
また、本実施形態では図２（Ｂ）に示すように、読み出し制御部は、受光単位を市松（checkered pattern）状にグループ分けして第１受光単位群と第２受光単位群にグループ分けする。
【０１３１】
このようにすれば、受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位を分配できる。これにより、半数の受光単位の受光値を取得受光値として取得し、撮影時の読み出しデータ量を削減してフレームレートを向上できる。
【０１３２】
ここで、市松状とは、格子状の配置の一種であり、２種の正方形または長方形を交互に配列することである。例えば、図２（Ｂ）に示すように、第１フィールドにおいて、取得受光値と補間受光値に対応する２種の受光単位を水平方向と垂直方向に交互に配列することである。
【０１３３】
また、本実施形態では図３に示すように、読み出し制御部は、受光単位に含まれる画素の画素値を重み付け加算して（例えば係数１，１／２，１／４）読み出して、取得受光値を取得する。補間処理部は、その重み付け加算により得られた取得受光値に基づいて、補間受光値を補間により求める。
【０１３４】
このようにすれば、画素値を重み付け加算することで、重み付け無しの場合に比べて高周波成分を多く含む高解像フレーム画像を推定することが可能になる。すなわち、重み付け係数をコンボリューションの窓関数と考えれば、重み付け無しの窓関数の周波数帯域よりも重み付け加算の場合の窓関数の周波数帯域の方が広い。そのため、より広帯域の情報を受光値が含むことができ、その受光値を用いた推定処理において被写体の持つ高周波成分の再現性を向上できる。
【０１３５】
また、図３等で上述のように、重み付け加算した場合には、色配列パターンを無視した補間処理を行うと色情報の劣化が顕著に表れる。この点本実施形態では、同じ色配列パターンの受光単位（同じ色配列グループ）で第２補間受光値を求めるため、色情報の復元が可能である。
【０１３６】
８．第２の補間手法
図１０（Ａ）〜図１８を用いて、受光値の第２の補間手法について説明する。第２の補間手法では、同色の画素値を加算読み出しして取得した取得受光値に基づいて補間処理を行うなお、図１０（Ａ）〜図１８では、上記とは異なり、受光値の取得において加算読み出しの対象となる画素をハッチングにより表す。
【０１３７】
まず図１０（Ａ）、図１０（Ｂ）を用いて、取得受光値の第２の取得手法について説明する。図１０（Ａ）に示すように、受光値ａｉｊを取得する受光単位（加算画素）を四角で表し、受光値ａｉｊは、その四角の頂点に位置する画素により取得される。画素の色Ｒ，Ｇｒ，Ｇｂ，Ｂはベイヤ配列で配列され、受光値ａｉｊは同色の画素により取得される。
【０１３８】
図１０（Ａ）に示すように、フレームｆｘにおいて、第１受光単位群の受光値を取得し、次のフレームｆｘ＋１において、第２受光単位群の受光値を取得する。この第１受光単位群と第２受光単位群は、相互に補うような位置関係となっている。具体的には、第１受光単位群と第２受光単位群は、受光単位が市松状に分類されたものであり、１×１の受光単位毎に水平方向及び垂直方向に交互に配列される。各受光単位群は、全ての受光単位のうちの半数の受光単位であるため、各フレームで読み出されるデータ量は、全ての画素値ｖｉｊを読み出した場合の半分である。フレームｆｘ＋２以降は、第１受光単位群の受光値と第２受光単位群の受光値を交互に取得する。
【０１３９】
図１０（Ｂ）に、取得受光値と補間受光値についての説明図を示す。図１０（Ｂ）では、加算読み出しにより受光値が取得される受光単位を太実線の四角（読み出し４画素加算値）で表し、補間により受光値が取得される受光単位を点線の四角（動き補償による補間４画素加算値）で表す。
【０１４０】
図１０（Ｂ）に示すように、第１フィールドでは、第１受光単位群の受光値を第１取得受光値として取得し、第２受光単位群の受光値を補間受光値として求める。第２フィールドでは、第２受光単位群の受光値を第２取得受光値として取得する。後述するように、第１フィールドの補間受光値は、同色の第２取得受光値に基づいて補間により求められる。そして、図２８（Ａ）〜図３５で後述する手法を用いて、第１取得受光値と補間受光値から最終的な推定画素値が求められる。
【０１４１】
なお、本実施形態では、第１，第２フィールドは、任意の隣接した２フレームの受光値であればよい。例えば、第１フィールドがフレームｆｘ＋１の受光値であり、第２フィールドがフレームｆｘ＋２の受光値であってもよい。
【０１４２】
次に、図１１を用いて、重み付け加算読み出しについて説明する。図１１では、上述のように加算対象の画素をハッチングで表している。図１１に示すように、加算読み出しの重み係数をｃ１、ｃ２、ｃ３、ｃ４とする。ｃ１＝１とすると、重み係数は下式（１８）に示す比率関係のルールをとる。なお、ｒは、ｒ≧１の実数であり、重み付け加算の場合にはｒ＞１である。本実施形態では、ｒ＝１として重み付けしない単純加算を行ってもよい。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２      ・・・  （１８）
【０１４３】
以下では、説明を簡単にするために、ｒ＝２とおき、下式（１９）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４      ・・・  （１９）
【０１４４】
次に、各色成分Ｇｒ，Ｇｂ，Ｒ，Ｂの受光値について説明する。図１２に、Ｇｒの受光値についての説明図を示す。図１２に示すように、第１フィールドでは、例えば第１取得受光値はａｉｊであり、補間受光値はａ（ｉ−２）ｊである。第２フィールドでは、例えば第２取得受光値はａ（ｉ−２）ｊである。各受光値は重み付け加算により取得され、例えば、ａｉｊ＝ｖｉｊ＋（１／２）ｖ（ｉ＋２）ｊ＋（１／２）ｖｉ（ｊ＋２）＋（１／４）ｖ（ｉ＋２）（ｊ＋２）である。
【０１４５】
図１３に、Ｇｂの受光値についての説明図を示す。図１３に示すように、第１フィールドでは、例えば第１取得受光値はａ（ｉ＋１）（ｊ＋１）であり、補間受光値はａ（ｉ−１）（ｊ＋１）である。第２フィールドでは、例えば第２取得受光値はａ（ｉ−１）（ｊ＋１）である。各受光値は重み付け加算により取得され、例えば、ａ（ｉ＋１）（ｊ＋１）＝ｖ（ｉ＋１）（ｊ＋１）＋（１／２）ｖ（ｉ＋３）（ｊ＋１）＋（１／２）ｖ（ｉ＋１）（ｊ＋３）＋（１／４）ｖ（ｉ＋３）（ｊ＋３）である。
【０１４６】
図１４に、Ｒの受光値についての説明図を示す。図１４に示すように、第１フィールドでは、例えば第１取得受光値はａ（ｉ＋１）ｊであり、補間受光値はａ（ｉ−１）ｊである。第２フィールドでは、例えば第２取得受光値はａ（ｉ−１）ｊである。各受光値は重み付け加算により取得され、例えば、ａ（ｉ＋１）ｊ＝ｖ（ｉ＋１）ｊ＋（１／２）ｖ（ｉ＋３）ｊ＋（１／２）ｖ（ｉ＋１）（ｊ＋２）＋（１／４）ｖ（ｉ＋３）（ｊ＋２）である。
【０１４７】
図１５に、Ｂの受光値についての説明図を示す。図１５に示すように、第１フィールドでは、例えば第１取得受光値はａｉ（ｊ＋１）であり、補間受光値はａ（ｉ−２）（ｊ＋１）である。第２フィールドでは、例えば第２取得受光値はａ（ｉ−２）（ｊ＋１）である。各受光値は重み付け加算により取得され、例えば、ａｉ（ｊ＋１）＝ｖｉ（ｊ＋１）＋（１／２）ｖ（ｉ＋２）（ｊ＋１）＋（１／２）ｖｉ（ｊ＋３）＋（１／４）ｖ（ｉ＋２）（ｊ＋３）である。
【０１４８】
次に、図１６（Ａ）〜図１８（Ｂ）を用いて、補間受光値を求める手法について説明する。図１０（Ｂ）で上述のように、補間受光値は、第２フィールドの第２取得受光値のうち補間受光値と同色の受光値により求められる。そして、補間受光値と第１取得受光値から推定画素値ｖｉｊが推定される。この手法では、各色毎に受光値の取得と補間が行われるため、推定画素値ｖｉｊの色の再現性がよいと考えられる。
【０１４９】
図１６（Ａ）に、第１フィールドにおける色成分Ｇｒの第１取得受光値と補間受光値を示す。点線四角で表す受光値が補間受光値である。なお、以下では、色成分Ｇｒを例に説明するが、他の色成分についても同様の処理が適用される。図１６（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図１６（Ｂ）では、実線の丸で第１取得受光値を表し、点線の四角で補間受光値を表す。また、ａ２０（１）のように受光値の右上に付したサフィックス（１）により、第１フィールドにおけるサンプリング位置を表す。以下では、例として、着目像の位置の補間受光値ａ１０（１）を求める場合について説明する。
【０１５０】
図１７（Ａ）に、第２フィールドにおける第２取得受光値を示す。点線四角で表す受光値は、取得されない受光値である。図１７（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図１７（Ｂ）では、実線の四角で第２取得受光値を表し、点線の丸で取得されない受光値を表す。また、第１フィールドの補間受光値を点線四角で表す。また、ａ２０（２）のように受光値の右上に付したサフィックス（２）により、第２フィールドにおけるサンプリング位置を表す。
【０１５１】
図１７（Ｂ）に示すように、第１フィールドのサンプリング位置と第２フィールドのサンプリング位置は、フレーム間の像ブレによって移動している。補間受光値ａ２０（１）のサンプリング位置を基準にすると、第１フィールドと第２フィールドの間の動きベクトル（広義には移動量情報）は、φ＝（ｓｉ，ｓｊ）で表される。ｓｉは、水平方向の移動量であり、ｓｊは、垂直方向の移動量である。この動きベクトルφは、第１，第２取得受光値に基づいて、ＳＳＤ（Sum of Squared Difference）等の動きベクトル検出処理により求められる。
【０１５２】
補間受光値ａ２０（１）の算出は、φだけ移動したサンプリング位置の周辺に存在する第２取得受光値を用いて行われる。図１７（Ｂ）に示すように、ａ２０（１）の周囲に存在する第２取得受光値のうちの直近４つが｛ａｍｎ，ａ（ｍ＋２）（ｎ−２），ａ（ｍ＋４）ｎ，ａ（ｍ＋２）（ｎ＋２）｝であったとする。例えば、補間受光値ａ２０（１）は、これらの第２取得受光値｛ａｍｎ，ａ（ｍ＋２）（ｎ−２），ａ（ｍ＋４）ｎ，ａ（ｍ＋２）（ｎ＋２）｝を用いて求められる。
【０１５３】
図１８（Ａ），図１８（Ｂ）を用いて、この４画素を用いる場合の補間受光値ａｉｊの算出手法について説明する。図１８（Ａ）に示すように、撮像素子の画素ピッチはｐであり、第２受光単位群の配列ピッチは４ｐであるとする。そうすると、動きベクトル（ｓｉ，ｓｊ）は、第２取得受光値ａｍｎの座標（ｍ，ｎ）を用いて下式（２０）で表される。ここで、下式（２０）において、ｒｍは、水平方向において、ａｍｎの座標からａｉｊの座標までの距離であり、０≦ｒｍ＜４ｐである。また、ｒｎは、垂直方向において、ａ（ｍ＋２）（ｎ−２）の座標からａｉｊの座標までの距離であり、０≦ｒｎ＜４ｐである。
ｓｉ＝ｍ・ｐ＋ｒｍ，
ｓｊ＝（ｎ−２）・ｐ＋ｒｎ      ・・・  （２０）
【０１５４】
まず、上式（５）より、０≦ｒｍ＜４ｐ，０≦ｒｎ＜４ｐを満たす（ｍ，ｎ）を求め、ａｉｊの直近４つの第２取得受光値を決定する。次に、下式（２１）を用いて、補間受光値ａｉｊを求める。
ａｉｊ＝ｗ１・ａｍｎ＋ｗ２・ａ（ｍ＋２）（ｎ−２）＋
ｗ３・ａ（ｍ＋４）ｎ＋ｗ４・ａ（ｍ＋２）（ｎ＋２）      ・・・  （２１）
【０１５５】
図１８（Ｂ）に、各受光値のサンプリング位置を表した模式図を示す。図１８（Ｂ）に示すように、ａｉｊと｛ａｍｎ，ａ（ｍ＋２）（ｎ−２），ａ（ｍ＋４）ｎ，ａ（ｍ＋２）（ｎ＋２）｝の距離をφ１，φ２，φ３，φ４とする。例えば、上式（２１）の補間係数ｗ１〜ｗ４は、距離の関数をｆ（φｘ）として下式（２２）により表してもよい。
ｗ１＝ｆ（φ１），
ｗ２＝ｆ（φ２），
ｗ３＝ｆ（φ３），
ｗ４＝ｆ（φ４）      ・・・  （２２）
【０１５６】
なお、ｆ（φｘ）は、適切な重み付けを定義する関数であり、例えばバイリニア法やバイキュービック法等の既知の手法により求められる。あるいは、ｆ（φｘ）は、統計的な手法により設定されてもよい。すなわち、通常の全画素読み出しにより高解像画像を撮像し、その高解像画像の画素値を実際に加算して補間受光値を求める。そして、補間係数ｗ１〜ｗ４を仮定して補間した補間受光値と比較し、仮定値を変更しながら最も値が近くなる補間係数ｗ１〜ｗ４に決定する。この補間係数を求める手法としては、例えばニューラルネット等の種々の手法がある。また、求めたｆ（φｘ）は、例えば非線形的なルックアップテーブルにより実現される。
【０１５７】
上記の実施形態によれば、読み出し制御部（例えば図２０で後述の重み付け加算重畳シフトサンプリング処理部３２０）、補間処理部（補間処理部４３０）、推定演算部（高精細静止画復元処理部４４０）、画像出力部（画像出力部４５０）を含む。
【０１５８】
図１０（Ｂ）に示すように、読み出し制御部は、受光単位を複数の画素毎に設定し、その受光単位に含まれる画素の画素値を加算読み出しして受光値（ａｉｊ等の太実線四角で表す受光値）を取得する。受光単位は、受光値を取得する単位であり、隣り合う受光単位は重畳している。補間処理部は、読み出し制御部により取得された受光値である取得受光値（ａｉｊ等）に基づいて、受光値が取得されない受光単位の受光値を補間により求めて補間受光値（ａ（ｉ−２）ｊ等の点線四角で表す受光値）を取得する。推定演算部は、図２８（Ｂ）〜図３５で後述のように、取得受光値と補間受光値に基づいて、受光単位に含まれる各画素の画素値ｖｉｊを推定する。画像出力部は、推定演算部により推定された画素値に基づく画像を出力する。
【０１５９】
この場合に、図１２〜図１５に示すように、読み出し制御部は、第１〜第ｑ色（ｑは自然数。例えばＲ，Ｇｒ，Ｇｂ，Ｂのｑ＝４）の各色毎に受光単位を設定し、その受光単位を第１受光単位群と第２受光単位群にグループ分けする。図１０（Ｂ）に示すように、読み出し制御部は、第１フレームｆｘにおいて、第１受光単位群の受光値（ａｉｊ等）を第１取得受光値として取得する。第１フレームｆｘの後の第２フレームｆｘ＋１において、第２受光単位群の受光値（ａ（ｉ−２）ｊ等）を第２取得受光値として取得する。
【０１６０】
補間処理部は、第１フレームｆｘにおける第２受光単位群の受光値（ａ（ｉ−２）ｊ等）を補間受光値として求める。このとき、図１７（Ａ）に示すように、補間処理部は、第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数。例えばｒ＝１、Ｇｒ色）の第２取得受光値（ａｍｎ，ａ（ｍ＋２）（ｎ−２），ａ（ｍ＋４）ｎ，ａ（ｍ＋２）（ｎ＋２））に基づいて、第ｒ色の補間受光値（ａ２０（１））を補間により求める。
【０１６１】
これにより、取得受光値から簡素な処理で高解像画像を推定することが可能になる。具体的には、受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１受光単位群の受光値を取得することで、各フレームにおいて一部の受光値だけを読み出すことができる。そのため、撮像素子から読み出すデータ量を減らし、フレームレートを向上できる。また、取得受光値に基づいて補間受光値を求め、その重畳した受光単位の受光値（図２８（Ｂ）に示す受光値）に対して例えば図２８（Ａ）〜図３５で後述の推定処理を行うことで、撮像したフレームの中の任意タイミングの高解像フレーム画像を取得できる。そのため、決定的瞬間の高解像フレーム画像を事後的に取得でき、高解像度と高フレームレートを両立できる。
【０１６２】
また、本実施形態によれば、第１〜第ｑ色の各色毎に受光単位を設定し、第ｒ色の取得受光値に基づいて第ｒ色の補間受光値を補間により求める。これにより、補間受光値の色と同じ色の取得受光値により補間が行われるため、上述の異色加算の場合に比べて色情報の復元が容易に実現可能である。
【０１６３】
また、本実施形態では図１２〜図１５に示すように、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、各色（色成分Ｒ，Ｇｒ，Ｇｂ，Ｂ）の受光単位として４画素を含む受光単位を設定する。そして、読み出し制御部は、第ｒ色の受光単位を市松（checkered pattern）状にグループ分けして第１受光単位群と第２受光単位群にグループ分けする。
【０１６４】
このようにすれば、ベイヤ配列において本実施形態の補間手法を実現可能である。また、受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位を分配できる。これにより、半数の受光単位の受光値を取得受光値として取得し、撮影時の読み出しデータ量を削減してフレームレートを向上できる。
【０１６５】
ここで、市松状とは、格子状の配置の一種であり、２種の正方形または長方形を交互に配列することである。例えば、図１２に示すように、第１フィールドにおいて、取得受光値（太実線四角で表す）と補間受光値（点線四角で表す）に対応する２種の受光単位を水平方向と垂直方向に交互に配列することである。
【０１６６】
９．撮像装置の第１の構成例
図１９に、上述の異色加算を行う第１の補間手法を用いる場合の撮像装置の構成例を示す。この撮像装置は、レンズ１００、撮像センサ１１０（広義には、撮像素子）、重み付け加算重畳シフトサンプリング処理部１２０（読み出し制御部）、ノイズ低減処理部１３０、簡易動画像生成部１４０（表示制御部）、モニタ表示部１５０（表示部）、動画データ圧縮部１６０、動画データ記録部１７０（記憶部）、動画データ伸張部１８０、補間処理部１８５、推定演算部２１０、デモザイキング処理部２３０（３板化処理部）、基本画質向上処理部２４０（画像処理部）、動画データ生成部２５０（第１画像出力部）、高精細静止画データ生成部２６０（第２画像出力部）を含む。
【０１６７】
なお、本実施形態は図１９の構成に限定されず、その構成要素の一部（例えばモニタ表示部１５０）を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、構成要素の一部が他の装置として構成されてもよく、例えば、動画データ伸張部１８０以降の構成要素が、ＰＣ等で構成される画像処理装置に含まれてもよい。
【０１６８】
重み付け加算重畳シフトサンプリング処理部１２０は、第１フィールドの第１取得受光値ｆｋと第２フィールドの第２取得受光値ｆｋ＋１を、撮像センサ１１０から読み出す処理を行う。受光値ｆｋ，ｆｋ＋１は、異色画素の加算読み出しにより取得された受光値である。例えば、加算読み出しは、ＣＭＯＳセンサ等の撮像素子からアドレス指定により画素値を読み出して加算することで実現される。ノイズ低減処理部１３０は、受光値ｆｋ，ｆｋ＋１のノイズ低減処理を行う。
【０１６９】
簡易動画像生成部１４０は、受光値ｆｋ，ｆｋ＋１から簡易動画を生成する。簡易動画は、推定処理を経ずに生成した動画であり、例えば動画撮影中のモニタ表示に用いられる。簡易動画の生成手法については、図２７（Ａ）等で後述する。モニタ表示部１５０は、簡易動画像生成部１４０からの簡易動画を表示する。
【０１７０】
動画データ圧縮部１６０は、受光値ｆｋ，ｆｋ＋１のデータ圧縮処理を行う。動画データ記録部１７０は、受光値ｆｋ，ｆｋ＋１の圧縮データを記録する。動画データ記録部１７０は、内部メモリであってもよく、メモリカード等の外部メモリであってもよい。動画データ伸張部１８０は、受光値ｆｋ，ｆｋ＋１の圧縮データを伸張する処理を行う。
【０１７１】
補間処理部１８５は、伸張処理された受光値ｆｋ，ｆｋ＋１に基づいて、第１補間受光値と第２補間受光値を補間により求める処理を行う。推定演算部２１０は、第１取得受光値ｆｋと第１，第２補間受光値に基づいて、撮像素子の各画素に対応する推定画素値を推定する処理を行う。具体的には、推定演算部２１０は、解像情報復元画像生成部１９０（第１推定演算部）、色情報復元画像生成部２００（第２推定演算部）、画像合成部２２０を含む。
【０１７２】
解像情報復元画像生成部１９０は、第１取得受光値ｆｋと第１補間受光値から解像情報復元画像（図９で上述のｖｒｉｊ）を推定処理により求める。色情報復元画像生成部２００は、第１取得受光値ｆｋと第２補間受光値から色情報復元画像（ｖｃｉｊ）を推定処理により求める。画像合成部２２０は、これらの復元画像から最終復元画像（ｖｉｊ）を求める。最終復元画像（高解像フレーム画像）は、ベイヤ配列のモザイク画像である。
【０１７３】
デモザイキング処理部２３０は、最終復元画像をデモザイキング（３板化）する処理を行う。基本画質向上処理部２４０は、デモザイキング処理後の画像に対してノイズ低減処理や階調補正処理等の画像処理を行う。動画データ生成部２５０は、画像処理後の画像をアンダーサンプリングする処理を行ってハイビジョン動画を生成し、そのハイビジョン動画をハイビジョンディスプレーに対して出力する。高精細静止画データ生成部２６０は、高精細ディスプレーや高精細プリンターに対して、動画中の任意タイミングの静止画を出力する。例えば、静止画取得のタイミングは、タッチパネル等の操作部を介してユーザにより指定される。静止画の解像度は例えば、撮像センサ１１０と同じ１２メガピクセルである。
【０１７４】
１０．撮像装置の第２の構成例
上述の同色加算を行う第２の補間手法を用いる場合の撮像装置の構成例を示す。この撮像装置は、レンズ３００、撮像センサ３１０（広義には、撮像素子）、重み付け加算重畳シフトサンプリング処理部３２０（読み出し制御部）、ノイズ低減処理部３３０、フィールド分割部３４０、デモザイキング処理部３５０（３板化処理部）、画質向上処理部３６０、動画データ生成部３７０、動画データ圧縮部３８０、動画データ記録部３９０（記憶部）、動画データ伸張部４００、動画データ生成部４１０（表示制御部）、重畳シフト加算画像抽出部４２０（取得受光値抽出部）、補間処理部４３０、高精細静止画復元処理部４４０（推定演算部）、画像出力部４５０を含む。
【０１７５】
なお、本実施形態は図２０の構成に限定されず、その構成要素の一部（例えばフィールド分割部３４０）を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、構成要素の一部が他の装置として構成されてもよく、例えば、動画データ伸張部４００以降の構成要素が、ＰＣ等で構成される画像処理装置に含まれてもよい。
【０１７６】
重み付け加算重畳シフトサンプリング処理部３２０は、第１，第２取得受光値ｆｋ（Ｇ），ｆｋ（Ｒ），ｆｋ（Ｂ）を撮像センサ１１０から読み出す処理を行う。受光値ｆｋ（Ｇ），ｆｋ（Ｒ），ｆｋ（Ｂ）は、それぞれ色成分Ｇ，Ｒ，Ｂの画素の加算読み出しにより取得された受光値である。例えば、加算読み出しは、ＣＭＯＳセンサ等の撮像素子からアドレス指定により画素値を読み出して加算することで実現される。ノイズ低減処理部３３０は、受光値ｆｋ（Ｇ），ｆｋ（Ｒ），ｆｋ（Ｂ）のノイズ低減処理を行う。
【０１７７】
フィールド分割部３４０は、受光値ｆｋ（Ｇ）のデータを、受光値ｆｋ（Ｇｘ）と受光値ｆｋ（Ｇｙ）に分割する。デモザイキング処理部３５０は、受光値ｆｋ（Ｇｘ），ｆｋ（Ｇｙ），ｆｋ（Ｒ），ｆｋ（Ｂ）をデモザイキング（３板化）する処理を行う。フィールド分割とデモザイキング処理については、図２１〜図２６で後述する。デモザイキング処理後の受光値をＦｋで表すとすれば、デモザイキング処理後の画像として２つの画像Ｆｋ（Ｒ）＋Ｆｋ（Ｇｘ）＋Ｆｋ（Ｂ），Ｆｋ（Ｒ）＋Ｆｋ（Ｇｙ）＋Ｆｋ（Ｂ）が出力される。
【０１７８】
画質向上処理部３６０は、この２つの画像に対してノイズ低減処理や階調補正処理等の画像処理を行う。動画データ生成部３７０は、画像処理後の２つの画像から動画データを生成する。この動画データは、推定処理を経ずに生成された動画であり、受光単位の解像度と同程度の解像度である。Ｆｋ（Ｇ）としてＦｋ（Ｇｘ）があれば動画を作成可能であるが、受光値のサンプリング位置が異なるＦｋ（Ｇｙ）を用いることで、Ｇ成分の画像品質を改善可能と考えられる。
【０１７９】
動画データ圧縮部３８０は、動画データの圧縮処理を行う。動画データ記録部３９０は、圧縮処理された動画データを記録する。動画データ記録部３９０は、内部メモリであってもよく、メモリカード等の外部メモリであってもよい。動画データ伸張部４００は、圧縮処理された動画データを伸張する処理を行う。動画データ生成部４１０は、伸張処理された動画データをアンダーサンプリングする処理を行ってハイビジョン動画を生成し、そのハイビジョン動画をハイビジョンディスプレーに対して出力する。
【０１８０】
重畳シフト加算画像抽出部４２０は、伸張処理された動画データから、第１フィールドの第１取得受光値ｆｋと第２フィールドの第２取得受光値ｆｋ＋１を抽出する。補間処理部４３０は、第１フィールドの補間受光値を、第２取得受光値ｆｋ＋１に基づく補間により求める処理を行う。高精細静止画復元処理部４４０は、補間受光値と第１取得受光値ｆｋから画素値を推定する処理を行う。推定画素値は、撮像センサ３１０と同じ画素数のベイヤ配列のモザイク画像である。画像出力部４５０は、推定画素値に対してデモザイキング処理等を行い、任意タイミングの静止画を高精細ディスプレーや高精細プリンターに対して出力する。例えば、静止画取得のタイミングは、タッチパネル等の操作部を介してユーザにより指定される。
【０１８１】
１１．デモザイキング処理の手法
図２０で上述のフィールド分割とデモザイキング処理について説明する。
【０１８２】
図２１に、第１フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図を示す。Ｇｒの画素と受光値を斜め縞のハッチングで表し、Ｇｂの画素と受光値をグレーのハッチングで表す。また、デモザイキング処理による補間値を横縞のハッチングで表す。図２１に示すように、第１フィールドの色成分Ｇでは、受光値をｆｋ（Ｇｘ１）とｆｋ（Ｇｙ１）に分割して取得する。そして、受光値ｆｋ（Ｇｘ１），ｆｋ（Ｇｙ１）をそれぞれデモザイキング処理し、補間された画像Ｆｋ（Ｇｘ１），Ｆｋ（Ｇｙ１）を出力する。
【０１８３】
図２２に、第１フィールドにおける色成分Ｒのデモザイキング処理についての説明図を示す。Ｒの画素と受光値をグレーのハッチングで表す。図２２に示すように、第１フィールドの色成分Ｒでは、受光値ｆｋ（Ｒ１）を取得する。そして、受光値ｆｋ（Ｒ１）をデモザイキング処理し、補間された画像Ｆｋ（Ｒ１）を出力する。
【０１８４】
図２３に、第１フィールドにおける色成分Ｂのデモザイキング処理についての説明図を示す。Ｂの画素と受光値をグレーのハッチングで表す。図２３に示すように、第１フィールドの色成分Ｂでは、受光値ｆｋ（Ｂ１）を取得する。そして、受光値ｆｋ（Ｂ１）をデモザイキング処理し、補間された画像Ｆｋ（Ｂ１）を出力する。
【０１８５】
図２４に、第２フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図を示す。図２４に示すように、第２フィールドの色成分Ｇでは、受光値をｆｋ＋１（Ｇｘ２）とｆｋ＋１（Ｇｙ２）に分割して取得する。そして、受光値ｆｋ＋１（Ｇｘ２）とｆｋ＋１（Ｇｙ２）をそれぞれデモザイキング処理し、補間された画像Ｆｋ＋１（Ｇｘ２）とＦｋ＋１（Ｇｙ２）を出力する。
【０１８６】
図２５に、第２フィールドにおける色成分Ｒのデモザイキング処理についての説明図を示す。図２５に示すように、第２フィールドの色成分Ｒでは、受光値ｆｋ＋１（Ｒ２）を取得する。そして、受光値ｆｋ＋１（Ｒ２）をデモザイキング処理し、補間された画像Ｆｋ＋１（Ｒ２）を出力する。
【０１８７】
図２６に、第２フィールドにおける色成分Ｂのデモザイキング処理についての説明図を示す。図２６に示すように、第２フィールドの色成分Ｂでは、受光値ｆｋ＋１（Ｂ２）を取得する。そして、受光値ｆｋ＋１（Ｂ２）をデモザイキング処理し、補間された画像Ｆｋ＋１（Ｂ２）を出力する。
【０１８８】
１２．簡易動画の生成手法
図１９で上述した簡易動画の生成手法について説明する。上述の異色混合加算の場合、受光値そのものは色を表せないため、カラー動画を表示するためには推定処理が必要となる。例えば、モニタ表示などの低解像度の動画像をリアルタイムで生成する際にも、推定処理が必要となってしまい、それなりの処理能力をもったハード処理などが求められる。そのため、本実施形態では、推定処理よりも簡易的な手法により一般的な動画用ベイヤ画像を求め、システム構成の処理負荷を低減させる。
【０１８９】
図２７（Ａ）、図２７（Ｂ）を用いて、簡易的にベイヤ画像を求める手法について説明する。以下では、Ｇｒの画素値Ｇｒ００を簡易的に求める場合を例に説明する。ＲＧｒＧｂＢ混合の受光値は、下式（２３）〜（２６）で表される。ここで、ｒはｒ≧１の実数である。
ａ００＝１・Ｇ００＋（１／ｒ）・Ｒ１０＋
（１／ｒ）・Ｂ０１＋（１／ｒ２）・Ｇ１１      ・・・  （２３）
ａ１０＝１・Ｒ１０＋（１／ｒ）・Ｇ２０＋
（１／ｒ）・Ｇ１１＋（１／ｒ２）・Ｂ２１      ・・・  （２４）
ａ０１＝１・Ｂ０１＋（１／ｒ）・Ｇ１１＋
（１／ｒ）・Ｇ０２＋（１／ｒ２）・Ｒ１２      ・・・  （２５）
ａ１１＝１・Ｇ１１＋（１／ｒ）・Ｂ２１＋
（１／ｒ）・Ｒ１２＋（１／ｒ２）・Ｇ２２      ・・・  （２６）
【０１９０】
上式（２３）にｒを乗じて上式（２４）を引くと、下式（２７）となる。また、上式（２５）にｒを乗じて上式（２６）を引くと、下式（２８）となる。
ｒ・ａ００−ａ１０＝［ｒ・Ｇ００＋Ｂ０１］−
［（１／ｒ）・Ｇ２０＋（１／ｒ２）・Ｂ２１］
・・・  （２７）
ｒ・ａ０１−ａ１１＝［Ｇ０２＋ｒ・Ｂ０１］−
［（１／ｒ２）・Ｇ２２＋（１／ｒ）・Ｂ２１］
・・・  （２８）
【０１９１】
次に、上式（２７）にｒを乗じて上式（２８）を引き、左辺をＡＧｒと置くと、下式（２９）となる。ＡＧｒ＝ｒ（ｒ・ａ００−ａ１０）−（ｒ・ａ０１−ａ１１）は、受光値を用いて求める。この受光値として、例えば第１，第２フィールドの取得受光値を合わせた受光値を用いる。あるいは、第１フィールドの取得受光値を補間処理した受光値を用いてもよい。
ＡＧｒ＝ｒ（ｒ・ａ００−ａ１０）−（ｒ・ａ０１−ａ１１）
＝［ｒ２・Ｇ００＋（１／ｒ２）・Ｇ２２］−［Ｇ２０＋Ｇ０２］
＝ｒ２・［Ｇ００＋（１／ｒ４）・Ｇ２２−
（１／ｒ２）・Ｇ２０−（１／ｒ２）・Ｇ０２］
・・・  （２９）
【０１９２】
上式（２９）において、ｒを１よりもある程度大きくとると仮定すると、下式（３０）が成り立つとみなすことができる。そのため、上式（２９）より下式（３１）となり、画素値Ｇｒ００は下式（３２）により求められる。
（１／ｒ４）・Ｇ２２−（１／ｒ２）・Ｇ２０−（１／ｒ２）・Ｇ０２  ≒  ０
・・・  （３０）
ＡＧｒ≒ｒ２・Ｇ００      ・・・  （３１）
Ｇ００≒ＡＧｒ  ／ｒ２      ・・・  （３２）
【０１９３】
下式（３３）に示すように、Ｒ１０，Ｂ０１，Ｇ１１についても同様に、受光値ａｉｊから近似的に求めることができる。
ＡＲ＝ｒ（ｒ・ａ１０−ａ２０）−（ｒ・ａ１１−ａ２１）≒ｒ２・Ｒ１０，
ＡＢ＝ｒ（ｒ・ａ０１−ａ１１）−（ｒ・ａ０２−ａ１２）≒ｒ２・Ｂ０１，
ＡＧｂ＝ｒ（ｒ・ａ１１−ａ２１）−（ｒ・ａ１２−ａ２２）≒ｒ２・Ｇ１１
・・・  （３３）
【０１９４】
なお、上記ではＧ００，Ｒ１０，Ｂ０１，Ｇ１１に着目しているが、他の画素値についても同様の手法により求めることができる。また、上記のように受光値ａｉｊから任意の画素値を求めることができれば、動画用としての低解像画像を生成する手法は、種々用いることができる。例えば、求めた画素値から低解像動画を間引き的に生成してもよい。あるは、求めた画素値を用いて、同色の隣接した複数画素を加算して低解像動画を生成してもよい。
【０１９５】
１３．画素値の推定手法
図２８（Ａ）〜図２５を用いて、上述の取得受光値と補間受光値から高解像フレーム画像の画素値を推定する手法について説明する。以下では、受光単位が４画素を含み、その受光単位に含まれる４画素の画素値を受光値に基づいて推定する場合を例に説明する。
【０１９６】
まず、図２８（Ａ）、図２８（Ｂ）に、画素推定に用いられる推定処理ブロックと受光単位の模式的な説明図を示す。図２８（Ａ）、図２８（Ｂ）では、水平方向（水平走査方向）の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは整数）。また、図２８（Ａ）では、推定処理ブロックを点線四角で表し、受光単位を実線四角で表す。図２８（Ｂ）では、受光単位を点線四角で表し、推定画素を実線四角で表す。
【０１９７】
図２８（Ａ）に示すように、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ００、Ｂｋ１０、・・・を設定する。本実施形態では、この推定処理ブロック毎に、高解像フレーム画像の画素値の推定処理を行う。図２８（Ｂ）には、推定処理ブロックＢｋ００を模式的に示す。図２８（Ｂ）に示す受光値ａ００〜ａ（ｍ−１）（ｎ−１）は、撮像により取得された取得受光値と、補間処理により求められた補間受光値により構成される。
【０１９８】
図２９（Ａ）に示すように、ａ００，ａ２０等の実線で表す受光値が撮像により取得され、ａ１０，ａ０１等の点線で表す受光値が補間処理により求められる。受光値の取得は、図３や図１１で上述した重み付け加算読み出しにより行われる。なお以下では、同色の画素値を加算読み出しする場合について説明するが、異色の画素値を加算読み出しする場合についても同様の処理を適用できる。また以下では、Ｇｒ画素の推定処理について説明するが、Ｇｂ画素やＲ画素、Ｂ画素についても同様の処理を適用できる。
【０１９９】
図２９（Ｂ）に示すように、上記の受光値から中間画素値ｂ００、ｂ１０、・・・が求められ、中間画素値ｂ００、ｂ１０、・・・から推定画素値ｖ００、ｖ１０、・・・が求められる。なお、図２９（Ａ）、図２９（Ｂ）では便宜的に、ｉｊのサフィックスを推定対象の画素にのみ付している。
【０２００】
まず、中間画素値の推定処理について説明する。図３０に示すように、中間画素値の水平方向の最初の行に注目し、重み付け画素加算値をシフト順にａ００、ａ１０、ａ２０とすると、下式（３４）が成り立つ。
ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１
ａ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＋ｃ３ｖ２０＋ｃ４ｖ２１  ・・・  （３４）
【０２０１】
また、下式（３５）に示すようにｂ００、ｂ１０、ｂ２０を定義し、重み付け係数ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４を代入する。なお、重み付け係数はこれに限定されず、ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２（ｒ≧１）であればよい。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１
ｂ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＝ｖ１０＋（１／２）ｖ１１
ｂ２０＝ｃ１ｖ２０＋ｃ２ｖ２１＝ｖ２０＋（１／２）ｖ２１  ・・・  （３５）
【０２０２】
次に、上式（３５）を用いて上式（３４）を変形すると、下式（３６）が成り立つ。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１
＝ｂ００＋（１／２）ｂ１０
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
＝ｂ１０＋（１／２）ｂ２０                    ・・・  （３６）
【０２０３】
上式（３６）において、ａ００、ａ１０に所定の係数（所定の重み係数）を掛けて差分δｉ０を取り、上式（３５）を使って変形すると、下式（３７）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｖ２０＋（１／４）ｖ２１−（２ｖ００＋ｖ０１）
＝（１／２）ｂ２０−２ｂ００                  ・・・  （３７）
【０２０４】
ｂ００を未知数とすると、下式（３８）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０
＝４ｂ００＋２（ａ１０−２ａ００）      ・・・  （３８）
【０２０５】
このように、ｂ００を未知数（初期変数）として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ０１、ｂ０２を未知数として中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンが求められる。
【０２０６】
次に、未知数ｂ００を求める手法について説明する。図３１に示すように、受光値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差が最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０２０７】
このとき、上式（３６）に示すように、受光値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図３１に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝の重み付けが、ｃ３＝ｃ１／２、ｃ４＝ｃ２／２であることを利用すると、下式（３９）が成り立つことが分かる。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ      ・・・  （３９）
【０２０８】
この上式（３９）による重み付けを考慮すると、下式（４０）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、受光値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
【数２】
2012119852.tif 000004
【０２０９】
上式（３８）を用いると、評価関数Ｅｊは、ｂ００を初期変数とした関数で表される。したがって、図３２に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（３８）に代入し、ｂ１０，ｂ２０が求められる。なお、ｂ００が取り得る値の範囲は０≦ｂ００≦ａ００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンがｂ０１，ｂ０２を未知数として求められる。
【０２１０】
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、図２９（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図３３に示すように、中間画素値｛ｂ０１，ｂ０１，ｂ０２｝と最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝の関係は、下式（４１）で表される。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｃ１ｖ０１＋ｃ２ｖ０２＝ｖ０１＋（１／２）ｖ０２  ・・・  （４１）
【０２１１】
ｂ００、ｂ０１に所定の係数を掛けて差分δｊ０を求めると、下式（４２）が成り立つ。
δｊ０＝ｂ０１−２ｂ００
＝（ｖ０１＋（１／２）ｖ０２）−（２ｖ００＋ｖ０１）
＝（１／２）ｖ０２−２ｖ００                ・・・  （４２）
【０２１２】
ｖ００を未知数（初期変数）とすると、上式（４１）、（４２）を用いて、最終推定画素値ｖ０１、ｖ０２がｖ００の関数として求められる。その関数を下式（４３）に示す。
ｖ００＝（未知数），
ｖ０１＝２（ｂ００−ｖ００），
ｖ０２＝４ｖ００＋２δｊ０
＝４ｖ００＋２（ｂ０１−２ｂ００）      ・・・  （４３）
【０２１３】
上式（４３）の推定画素値パターン｛ｖ００，ｖ０１，ｖ０２｝と、中間画素値パターン｛ｂ００，ｂ０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ００を導出する。このとき、最終推定画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ｝の重み付けが、ｃ２＝ｃ１／２であることを利用すると、下式（４４）が成り立つ。
ｂｉｊ＝ｖｉｊ＋（１／２）ｖｉ（ｊ＋１）      ・・・  （４４）
【０２１４】
図３４に示すように、上式（４４）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（４５）に示す評価関数Ｅｉを求める。
【数３】
2012119852.tif 000005
【０２１５】
そして、図３５に示すように、評価関数Ｅｉを最小にする未知数ｖ００（＝β）を求め、求めたｖ００を上式（４３）に代入して最終推定画素値ｖ０１、ｖ０２を求める。同様に、２列目においても、ｖ１０を未知数として最終推定画素値｛ｖ１０，ｖ１１，ｖ１２｝の組合せパターンを求める。
【０２１６】
上記の実施形態によれば、図２９（Ａ）に示すように、第１のポジションに設定された受光単位ａ００と、第１のポジションからシフトされた第２のポジションａ１０に設定された受光単位が重畳する。この場合に、図３０に示すように、推定演算部は、第１のポジションの受光単位の受光値と、第２のポジションの受光単位の受光値の差分値δｉ０＝ａ１０−ａ００を求める。推定演算部は、第１のポジションの受光単位ａ００から重畳領域（図２９（Ａ）に示すｖ１０，ｖ１１）を除いた第１の受光領域（ｖ００，ｖ０１）の受光値である第１の中間画素値（図２９（Ｂ）に示すｂ００）と、第２のポジションの受光単位ａ１０から重畳領域を除いた第２の受光領域（ｖ２０，ｖ２１）の受光値である第２の中間画素値（ｂ２０）との関係式を、差分値δｉ０を用いて表す（上式（３８））。推定演算部は、その関係式を用いて第１、第２の中間画素値ｂ００，ｂ２０を推定し、推定した第１の中間画素値ｂ００を用いて受光単位ａ００の各画素の画素値ｖ００〜ｖ１１を求める。
【０２１７】
このようにすれば、重畳する受光単位の受光値ａ１０、ａ００の差分値δｉ０に基づいて推定画素値ｖ００〜ｖ１１を推定することで、簡素な処理で高解像化を行うことが可能になる。すなわち、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０２１８】
ここで、受光単位のポジションとは、撮像素子の受光面上での受光単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での受光単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。
【０２１９】
また、本実施形態では、図２９（Ｂ）に示すように、第１、第２の中間画素値ｂ００、ｂ２０を含む連続する中間画素値｛ｂ００、ｂ１０、ｂ２０｝を中間画素値パターンとする。このとき、上式（３８）に示すように、推定演算部は、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝に含まれる中間画素値間の関係式を受光値ａ００、ａ１０を用いて表す。そして、図３１に示すように、推定演算部は、関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝を、受光値ａ００、ａ１０で表される受光値パターン｛ａ００、ａ１０｝と比較して類似性を評価し、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００〜ｂ２０を決定する。
【０２２０】
このようにすれば、取得受光値または補間受光値である受光値ａ００，ａ１０に基づいて、中間画素値ｂ００〜ｂ２０を推定できる。また、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝を比較することで、受光値パターンに類似した高精細な中間画素値パターンを推定できる。
【０２２１】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、受光値パターンとは、推定処理に用いられる範囲の受光値のデータ列であり、取得受光値と補間受光値が含まれる。
【０２２２】
また、上式（４０）に示すように、推定演算部は、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝の誤差を表す評価関数Ｅｊを求め、評価関数Ｅｊの値が最小となる未知数ｂ００＝α（初期値）を求め、求めたｂ００により中間画素値ｂ００〜ｂ２０を決定する。
【０２２３】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。すなわち、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索が不要である。
【０２２４】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（撮像素子、読み出し制御部、画像出力部等）と共に記載された用語（撮像センサ、重み付け加算重畳シフトサンプリング処理部、高精細静止画データ生成部等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また読み出し制御部、補間処理部、推定演算部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０２２５】
１００  レンズ、１１０  撮像センサ、
１２０  重み付け加算重畳シフトサンプリング処理部、１３０  ノイズ低減処理部、
１４０  簡易動画像生成部、１５０  モニタ表示部、１６０  動画データ圧縮部、
１７０  動画データ記録部、１８０  動画データ伸張部、１８５  補間処理部、
１９０  解像情報復元画像生成部、２００  色情報復元画像生成部、
２１０  推定演算部、２２０  画像合成部、２３０  デモザイキング処理部、
２４０  基本画質向上処理部、２５０  動画データ生成部、
２６０  高精細静止画データ生成部、３００  レンズ、３１０  撮像センサ、
３２０  重み付け加算重畳シフトサンプリング処理部、３３０  ノイズ低減処理部、
３４０  フィールド分割部、３５０  デモザイキング処理部、３６０  画質向上処理部、
３７０  動画データ生成部、３８０  動画データ圧縮部、３９０  動画データ記録部、
４００  動画データ伸張部、４１０  動画データ生成部、
４２０  重畳シフト加算画像抽出部、４３０  補間処理部、
４４０  高精細静止画復元処理部、４５０  画像出力部、
Ｂ  青色、Ｂｋ００  推定処理ブロック、ｃ１〜ｃ４  重み付け係数、
Ｅｉ，Ｅｊ  評価関数、Ｇ  緑色、Ｇｒ  第１緑色、Ｇｂ  第２緑色、Ｒ  赤色、
ａｉｊ  受光値、ｂｉｊ  中間画素値、ｂ００  未知数、ｆｘ  フレーム、
ｖｉｊ  最終推定画素値、ｖ００  未知数、ｖｒｉｊ  第１推定画素値、
ｖｃｉｊ  第２推定画素値、ｗ１〜ｗ４  補間係数、δｂ，δｒ  色差成分、
δｉ０，δｊ０  差分値
【図１】
2012119852.tif 000006
【図２】
2012119852.tif 000007
【図３】
2012119852.tif 000008
【図４】
2012119852.tif 000009
【図５】
2012119852.tif 000010
【図６】
2012119852.tif 000011
【図７】
2012119852.tif 000012
【図８】
2012119852.tif 000013
【図９】
2012119852.tif 000014
【図１０】
2012119852.tif 000015
【図１１】
2012119852.tif 000016
【図１２】
2012119852.tif 000017
【図１３】
2012119852.tif 000018
【図１４】
2012119852.tif 000019
【図１５】
2012119852.tif 000020
【図１６】
2012119852.tif 000021
【図１８】
2012119852.tif 000022
【図１９】
2012119852.tif 000023
【図２０】
2012119852.tif 000024
【図２７】
2012119852.tif 000025
【図２８】
2012119852.tif 000026
【図３０】
2012119852.tif 000027
【図３１】
2012119852.tif 000028
【図３２】
2012119852.tif 000029
【図３３】
2012119852.tif 000030
【図３４】
2012119852.tif 000031
【図３５】
2012119852.tif 000032
【図３６】
2012119852.tif 000033
【図３７】
2012119852.tif 000034
【図１７】
2012119852.tif 000035
【図２１】
2012119852.tif 000036
【図２２】
2012119852.tif 000037
【図２３】
2012119852.tif 000038
【図２４】
2012119852.tif 000039
【図２５】
2012119852.tif 000040
【図２６】
2012119852.tif 000041
【図２９】
2012119852.tif 000042