(57)【要約】【課題】簡素な処理により動画から高解像な静止画を得ることが可能な撮像装置等を提供すること。【解決手段】撮像装置は、画像取得部と、記憶部と、推定演算部２００と、画像出力部２１０を含む。画像取得部は、受光単位を重畳しながら順次画素シフトさせつつ、受光単位に含まれる複数の画素の画素値が加算された加算画素値を取得する。記憶部は、加算画素値による低解像フレーム画像を記憶する。推定演算部２００は、複数の低解像フレーム画像に基づいて、受光単位に含まれる各画素の画素値を推定する。画像出力部２１０は、推定された画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。推定演算部２００は、推定対象画素の推定に用いられる複数の加算画素値のうち隣り合う加算画素値の変化量を求め、その変化量に基づいて前記推定対象画素の画素値を推定する。【選択図】      図９
2012015872.tif 000002
【特許請求の範囲】
【請求項１】
加算画素値を取得する単位である受光単位を撮像素子の複数の画素毎に設定し、前記受光単位を重畳しながら順次画素シフトさせつつ、前記受光単位に含まれる複数の画素の画素値が加算された前記加算画素値を取得する画像取得部と、
前記加算画素値による低解像フレーム画像を記憶する記憶部と、
前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を含み、
前記推定演算部は、
推定対象画素の推定に用いられる複数の加算画素値のうち隣り合う加算画素値の変化量を求め、前記変化量に基づいて前記推定対象画素の画素値を推定することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記推定演算部は、
前記隣り合う加算画素値の変化量として、前記複数の加算画素値のうち水平方向に隣り合う加算画素値の差分と、前記複数の加算画素値のうち垂直方向に隣り合う加算画素値の差分を求めることを特徴とする撮像装置。
【請求項３】
請求項１または２において、
前記推定演算部は、
前記推定対象画素に対して複数の候補画素値を求める画素値推定部と、
前記複数の候補画素値の中から前記変化量が小さい候補画素値を判定し、判定された前記候補画素値を前記推定対象画素の画素値として出力する判定部と、
を有することを特徴とする撮像装置。
【請求項４】
請求項３において、
前記画素値推定部は、
各候補画素値で異なる組み合わせの前記加算画素値を用いて、前記複数の候補画素値を推定し、
前記判定部は、
前記複数の候補画素値の推定に用いられる前記加算画素値から前記変化量を求め、前記異なる組み合わせのうち前記変化量が小さくなる組み合わせを判定し、判定された前記組み合わせに対応する候補画素値を、前記推定対象画素の画素値として出力することを特徴とする撮像装置。
【請求項５】
請求項１または２において、
前記推定演算部は、
複数の推定手法の中から選択された推定手法により前記推定対象画素の画素値を推定する画素値推定部と、
各推定手法に対応する前記変化量を求め、前記複数の推定手法のうち前記変化量が小さい推定手法を判定して選択する判定部と、
を有することを特徴とする撮像装置。
【請求項６】
請求項５において、
前記画素値推定部は、
水平方向に高解像化した後に垂直方向に高解像化する第１の推定手法と、垂直方向に高解像化した後に水平方向に高解像化する第２の推定手法の中から、選択された推定手法により前記推定対象画素の画素値を推定し、
前記判定部は、
水平方向に隣り合う加算画素値の前記変化量である第１の変化量と、垂直方向に隣り合う加算画素値の前記変化量である第２の変化量を求め、
前記第１の変化量が前記第２の変化量より小さいと判定した場合には、前記第１の推定手法を選択し、
前記第２の変化量が前記第１の変化量より小さいと判定した場合には、前記第２の推定手法を選択することを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、
前記画素値推定部は、
前記第１、第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定対象画素の画素値を求めることを特徴とする撮像装置。
【請求項８】
請求項７において、
前記画素値推定部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記第１、第２のポジションの加算画素値を用いて表し、
前記第１、第２のポジションの加算画素値を含む連続する加算画素値を加算画素値パターンとする場合に、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記画素値推定部は、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラは、技術の進歩に伴って高解像度化と多機能化が進んでおり、両者の機能的な差異がなくってきている。そして、１台のカメラで静止画と動画の両方が撮影できるカメラが一般的となってきている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデジタルカメラでは、例えば１０００万画素数以上の静止画を撮影・記録できるのに比べ、動画として撮影・記録できる画素数は２００万画素程度とはるかに少ない。そのため、動画撮影中に高解像な静止画を得ることが困難という課題がある。
【０００５】
例えば、動画撮像中にシャッターを押して静止画を撮像すると、静止画を撮影する間は動画撮影が停止されてしまう。そのため、動画が撮影されない期間が生じてしまう。
【０００６】
あるいは、シャッターが押されたタイミングにおける動画中のフレーム画像を静止画とすると、高解像な静止画を得られない。具体的には、動画撮影では、３０ｆｐｓや６０ｆｐｓの画素信号を読み出して処理するが、撮像素子から読み出せる画像の帯域には制限がある。そのため、読み出しのフレームレートを上げると、１フレームあたりの読み出せる画素数が減り、動画の画素数は静止画より少なくなってしまう。また、フルＨＤの約２００万画素のように、動画の画素数はフォーマットにより制限されている。そのため、フォーマットの画像サイズに合わせて、画素数を減らして撮像素子から読み出される。例えば、画素数を減らす手法として、撮像素子のデータを加算混合して読み出す手法や、画素を間引いて読み出す手法が用いられる。このように、動画は静止画に比べて低解像であるため、動画として撮影された画像を静止画として用いると、解像感のない低解像度画像になってしまう。
【０００７】
この課題に対して、超解像処理により高解像画像を生成する手法がある。この手法では、低解像画像を順次位置ずらししながら読み出し、それら複数の位置ずれ画像に基づいてモデル化する。そして、その推定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、差異が最小になるように、仮定した高精細画像を変形させて高精細画像を推定する。
【０００８】
例えば、特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それら複数の低解像画像を合成することにより高解像画像を生成する手法が開示されている。この手法では、仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する。しかしながら、この手法では、繰り返し演算により推定精度を上げていくため、演算量が非常に多く、処理の規模が大きくなり、処理時間がかかってしまう。そのため、処理能力やコストの制限がある機器への適用は困難であり実用的ではない。
また、特許文献２には、デジタルアーカイブやリモートセンシング、生産技術、計測機器等に使用する目的で、高精細画像を生成する手法が開示されている。この手法では、画素シフトさせた低解像画像を用いて、それら複数の低解像画像から高解像画像を生成する。具体的には、原画像から求める位置の輝度値を高解像度画像の初期値として設定し、原画像の輝度値と設定された初期値とに基づいて、推定法により高解像度画像の輝度値を演算する。次に、輝度値の変化が大きい領域に関しては平均法により高解像度画像の輝度値を演算し、推定法による輝度値の演算結果と平均法による輝度値の演算結果を融合することで、高解像度画像の生成処理を行う。しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなってしまう。すなわち、この手法では、初期値を設定するために、輝度値が一様な特殊模様が原画像の一部に挿入されるため、その領域を探索する手間かかってしまう。また、画像中そのような領域が検出できない場合には精度のよい高精細画像が得られなくなってしまう。
【０００９】
本発明の幾つかの態様によれば、簡素な処理により動画から高解像な静止画を得ることが可能な撮像装置等を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、加算画素値を取得する単位である受光単位を撮像素子の複数の画素毎に設定し、前記受光単位を重畳しながら順次画素シフトさせつつ、前記受光単位に含まれる複数の画素の画素値が加算された前記加算画素値を取得する画像取得部と、前記加算画素値による低解像フレーム画像を記憶する記憶部と、前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含み、前記推定演算部は、推定対象画素の推定に用いられる複数の加算画素値のうち隣り合う加算画素値の変化量を求め、前記変化量に基づいて前記推定対象画素の画素値を推定する撮像装置に関係する。
【００１１】
本発明の一態様によれば、受光単位を重畳しながら順次画素シフトさせつつ加算画素値が取得され、その加算画素値による低解像フレーム画像が取得される。そして、複数の低解像フレーム画像に基づいて画素値が推定され、その画素値に基づいて高解像フレーム画像が出力される。このとき、推定に用いられる複数の加算画素値のうち隣り合う加算画素値の変化量が求められ、その変化量に基づいて推定対象画素の画素値が推定される。これにより、簡素な処理により動画から高解像な静止画を得ること等が可能になる。
【００１２】
また、本発明の一態様では、前記推定演算部は、前記隣り合う加算画素値の変化量として、前記複数の加算画素値のうち水平方向に隣り合う加算画素値の差分と、前記複数の加算画素値のうち垂直方向に隣り合う加算画素値の差分を求めてもよい。
【００１３】
このようにすれば、水平方向に隣り合う加算画素値の差分と、垂直方向に隣り合う加算画素値の差分に基づいて、推定対象画素の画素値を推定できる。
【００１４】
また、本発明の一態様では、前記推定演算部は、前記推定対象画素に対して複数の候補画素値を求める画素値推定部と、前記複数の候補画素値の中から前記変化量が小さい候補画素値を判定し、判定された前記候補画素値を前記推定対象画素の画素値として出力する判定部と、を有してもよい。
【００１５】
このようにすれば、変化量が小さい候補画素値を推定対象画素の画素値として出力できるため、推定誤差の抑制が可能になる。
【００１６】
また、本発明の一態様では、画素値推定部は、各候補画素値で異なる組み合わせの前記加算画素値を用いて、前記複数の候補画素値を推定し、前記判定部は、前記複数の候補画素値の推定に用いられる前記加算画素値から前記変化量を求め、前記異なる組み合わせのうち前記変化量が小さくなる組み合わせを判定し、判定された前記組み合わせに対応する候補画素値を、前記推定対象画素の画素値として出力してもよい。
【００１７】
このようにすれば、異なる組み合わせの加算画素値から複数の候補画素値を求め、変化量が小さくなる組み合わせを判定することで、変化量が小さい候補画素値を推定対象画素の画素値として出力できる。
【００１８】
また、本発明の一態様では、前記推定演算部は、複数の推定手法の中から選択された推定手法により前記推定対象画素の画素値を推定する画素値推定部と、各推定手法に対応する前記変化量を求め、前記複数の推定手法のうち前記変化量が小さい推定手法を判定して選択する判定部と、を有してもよい。
【００１９】
このようにすれば、変化量が小さい推定手法により推定対象画素の画素値を推定できるため、推定誤差の抑制が可能になる。
【００２０】
また、本発明の一態様では、前記画素値推定部は、水平方向に高解像化した後に垂直方向に高解像化する第１の推定手法と、垂直方向に高解像化した後に水平方向に高解像化する第２の推定手法の中から、選択された推定手法により前記推定対象画素の画素値を推定し、前記判定部は、水平方向に隣り合う加算画素値の前記変化量である第１の変化量と、垂直方向に隣り合う加算画素値の前記変化量である第２の変化量を求め、前記第１の変化量が前記第２の変化量より小さいと判定した場合には、前記第１の推定手法を選択し、前記第２の変化量が前記第１の変化量より小さいと判定した場合には、前記第２の推定手法を選択してもよい。
【００２１】
このようにすれば、水平方向の変化量と垂直方向の変化量の大小関係を判定し、その判定結果により推定手法を選択することで、変化量の小さい方向に高解像化した後に他方の方向に高解像化を行うことができる。
【００２２】
また、本発明の一態様では、前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、前記画素値推定部は、前記第１、第２のポジションの加算画素値の差分値を求め、前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定対象画素の画素値を求めてもよい。
【００２３】
このようにすれば、受光単位が重畳しながら順次画素シフトさせつつ読み出された受光値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、高解像フレーム画像の画素値推定を簡素化できる。
【００２４】
また、本発明の一態様では、前記画素値推定部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記第１、第２のポジションの加算画素値を用いて表し、前記第１、第２のポジションの加算画素値を含む連続する加算画素値を加算画素値パターンとする場合に、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２５】
このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【００２６】
また、本発明の一態様では、前記画素値推定部は、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２７】
このようにすれば、評価関数の値が最小となるように中間画素値の値を決定することで、中間画素値パターンと受光値の類似性が最も高くなるように中間画素値の値を決定できる。
【図面の簡単な説明】
【００２８】
【図１】撮像装置の構成例。
【図２】加算画素値の取得手法についての説明図。
【図３】加算画素値の取得手法についての説明図。
【図４】加算画素値の取得手法についての説明図。
【図５】加算画素値の取得手法についての説明図。
【図６】動画の記録形式についての説明図。
【図７】基本的な推定手法についての説明図。
【図８】基本的な推定手法についての説明図。
【図９】最尤画像推定部の第１の構成例。
【図１０】複数の候補画素値を求める手法についての説明図。
【図１１】第１の推定手法により画素値を推定する処理のフローチャート。
【図１２】確からしさを判定する処理の詳細なフローチャート。
【図１３】隣り合う加算画素値の差分についての説明図。
【図１４】最尤画像推定部の第２の構成例。
【図１５】推定誤差の大きさの特性例。
【図１６】第２の推定手法により画素値を推定する処理のフローチャート。
【図１７】図１７（Ａ）は、推定順序を決定する処理の詳細なフローチャートである。図１７（Ｂ）は、処理ブロックについての説明図。
【図１８】第１の推定手法と第２の推定手法についての説明図。
【発明を実施するための形態】
【００２９】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３０】
１．撮像装置
図１に、簡素な処理により動画から高解像な静止画を得ることが可能なデジタルカメラ（撮像装置）の構成例を示す。このデジタルカメラは、撮像レンズ１０２、ボディ１０１（本体部）を含む。ボディ１０１は、メカシャッター１０３、撮像素子１０４（センサ）、メカシャッター駆動部１０８、メモリ１１０、ＡＥ処理部１１１（AE: Automatic Exposure）、ＡＦ処理部１１２（AF: Auto-Focus）、システムコントローラ１１３、画像処理部１１４、圧縮伸張部１１５、システムバス１１６、レンズ制御部１１７、ＵＩ制御部（UI: User Interface）１１８、表示制御部１１９、最尤画像推定部１２０、記録媒体制御部１２１（記憶装置制御部）、ＬＣＤ１２２（広義には表示部、LCD:Liquid Crystal Display）、ＥＶＦ１２３（Electronic View Finder）、記録媒体１２４（記憶装置）、画像取得部１３０を含む。
【００３１】
このデジタルカメラは、静止画と静止画を撮影可能であり、また、動画撮影中に静止画を撮影可能なカメラシステムである。これらの撮影モードはユーザの指定等により切り替わり、撮影モードに依ってデジタルカメラの制御が切り替わる。例えば、このデジタルカメラは、レンズ交換式デジタルカメラや、レンズとボディが一体のコンパクトカメラである。
【００３２】
ＵＩ制御部１１８には、ユーザがデジタルカメラを操作するためのユーザインターフェースから入力信号が入力され、ＵＩ制御部１１８は、その入力信号に基づいてデジタルカメラを制御する。具体的には、ＵＩ制御部１１８は、図示しない各種ボタンやダイアル等のユーザインターフェースを含む。そして、ＵＩ制御部１１８は、そのユーザインターフェースからの入力情報を、システムコントローラ１１３に伝達し、デジタルカメラの動作を制御する。
【００３３】
撮像レンズ１０２（交換レンズ）は、フォーカスレンズ、ズームレンズ、絞り等の光学素子により構成される。フォーカスレンズは、ＡＦ処理部１１２から出力されるフォーカス位置データに基づいて駆動される。ズームレンズは、ＵＩ制御部１１８を介したユーザのズーム操作に基づいて、所定のズーム位置に駆動される。絞りは、ＡＥ処理部１１１から出力される絞り値データに基づいて、絞りの径（Ｆ値）が制御される。レンズ交換式デジタルカメラでは、ボディ１０１と撮像レンズ１０２が通信路で接続されている。そのため、レンズ制御部１１７が所定のタイミングで通信を行って光学素子を制御することで、撮像レンズ１０２が制御される。
【００３４】
メカシャッター１０３は、静止画を撮影する場合に使用される。メカシャッター１０３は、モータとモータドライバによって構成され、メカシャッター駆動部１０８によって駆動される。メカシャッター駆動部１０８は、ＵＩ制御部１１８からのシャッターボタンの押下信号のタイミングに合わせて、メカシャッター１０３の開閉を制御する。また、メカシャッター駆動部１０８は、ＡＥ処理部１１１から出力されるシャッター速度データに応じて、メカシャッター１０３の開閉を制御する。動画撮影時には、メカシャッター駆動部１０８は動作しないよう（非動作状態に）設定される。
【００３５】
画像取得部１３０は、露光や電荷読み出し等の撮像動作を制御し、撮像画像を取得する。具体的には、画像取得部１３０は、撮像素子１０４、ＣＤＳ１０５（Correlated Double Sampling circuit）、ＡＭＰ１０６（アンプ）、Ａ／Ｄ変換器１０７、撮像素子駆動部１０９を含む。
【００３６】
撮像素子１０４は、多数の受光素子がマトリクス状に配置された光電面を有する。撮像素子１０４には、撮像レンズ１０２を通過した被写体像が光電面に結像され、撮像素子１０４は、その結像を光電変換する。撮像素子１０４は、モザイク状に配置されたＲＧＢ各色の色フィルタを有する。
【００３７】
撮像素子駆動部１０９は、垂直転送クロック信号と水平転送クロック信号を供給し、撮像素子１０４は、これらの信号に同期して、画素毎に蓄積された電荷を読み出して画像信号として出力する。撮像素子駆動部１０９は、各画素における電荷の露光時間を制御するための電子シャッター駆動信号を、撮像素子１０４に供給する。撮像素子１０４が出力する画像信号は、ＣＤＳ（相関２重サンプリング回路）１０５によりノイズ除去が行われ、ゲイン調整が行われた後、ＡＭＰ１０６により増幅され、Ａ／Ｄ変換器１０７によりデジタル画像データに変換される。
【００３８】
システムコントローラ１１３は、デジタルカメラの各構成要素の動作や処理を制御する。例えば、システムコントローラ１１３は、動画撮影時において、撮像素子駆動部１０９のタイミング制御を行う。すなわち、システムコントローラ１１３は、ＵＩ制御部１１８からの入力により撮影開始の指示が行われると撮影を開始し、撮像素子１０４の電荷読み出しの制御を行う。そして、システムコントローラ１１３は、ＣＤＳ１０５（相関２重サンプリング回路）やＡＭＰ１０６、Ａ／Ｄ変換器１０７によるアナログ信号処理を制御し、デジタル画像データをメモリ１１０に書き込む制御を行う。
【００３９】
ＡＦ処理部１１２は、ＵＩ制御部１１８によって設定されたＡＦエリア情報と、所定の撮影タイミングで撮影される画像データとに基づいて合焦位置を決定する。ＡＦ処理部１１２は、連続的にメモリ１１０に書き込まれた画像データを処理することにより、撮像レンズ１０２を駆動するためのフォーカス位置データを演算する。
【００４０】
ＡＥ処理部１１１は、ＡＦ処理部１１２と同様に、所定の撮影タイミングで撮影されてメモリ１１０に書き込まれた画像データから被写体輝度を算出し、その被写体輝度に基づいてシャッター速度や絞り値等の露出条件を決定する。
【００４１】
表示制御部１１９は、ＬＣＤ１２２やＥＶＦ１２３（電子ビューファインダー）に画像を表示する制御や、推定された高解像画像をＬＣＤ１２２に表示する制御を行う。例えば、表示制御部１１９は、メモリ１１０に書き込まれた画像データをスルー画としてＬＣＤ１２２やＥＶＦ１２３に表示させ、ＬＣＤ１２２やＥＶＦ１２３で表示可能なフォーマットに画像データを変換する。表示制御部１１９は、ＵＩ制御部１１８によりスルー画表示モードが設定されている場合、メモリ１１０に所定間隔で更新される画像を逐次、スルー画としてＬＣＤ１２２やＥＶＦ１２３に表示する。表示制御部１１９は、ＵＩ制御部１１８により撮影モードが設定されている場合には、画像取得部１３０が取得した画像をスルー画として、ＬＣＤ１２２やＥＶＦ１２３に表示する。
【００４２】
画像処理部１１４は、メモリ１１０に書き込まれた画像データの画像処理を行う。具体的には、画像処理部１１４は、画像処理として、カラー化処理やガンマ補正、コントラスト補正、輪郭強調処理等を行う。
【００４３】
圧縮伸張部１１５は、所定の圧縮形式により画像データの圧縮処理を行い、圧縮処理した画像データを記録媒体制御部１２１に出力する。記録媒体制御部１２１は、その圧縮処理された画像データを記録媒体１２４に書き込む。圧縮伸張部１１５は、再生モードにおいて、記録媒体１２４から圧縮された動画ファイル（画像データ）を読み出し、その動画ファイルに対して伸張処理を行う。伸張後の画像データは、動画として表示制御部１１９に出力され、表示制御部１１９は、その動画をＬＣＤ１２２やＥＶＦ１２３に表示する。
【００４４】
記録媒体制御部１２１は、記録媒体１２４への書き込みや記録媒体１２４からの読み出しを制御する。例えば、記録媒体１２４は、フラッシュメモリやハードディスク、光学ディスク等である。
【００４５】
最尤画像推定部１２０は、低解像動画から高解像静止画を推定する処理を行う。例えば、動画撮影中に静止画撮影を行う場合、最尤画像推定部１２０は、ユーザがシャッターを押したタイミングの静止画を、撮影された動画から再構成する。また、動画撮影後に静止画を生成する場合、ユーザが、ＬＣＤ１２２に表示された動画を見て、静止画が欲しいタイミングを指定する。そして、最尤画像推定部１２０は、そのタイミングの静止画を、記録媒体１２４に記録された動画から構成する。
【００４６】
２．加算画素値の取得手法
次に、動画静止画撮影モード（動画から静止画を取得するモード）において、低解像動画から高解像静止画を推定する手法について説明する。
【００４７】
まず、低解像動画の各フレーム画像を構成する加算画素値の取得手法について説明する。動画静止画撮影モードでは、ＵＩ制御部１１８によりあらかじめ動画静止画撮影モードが選択され、撮影開始の指示が行われると、撮影を開始し、撮像素子１０４の電荷読み出しの制御を行い、ＣＤＳ１０５やＡＭＰ１０６、Ａ／Ｄ変換器１０７によりアナログ信号処理を行い、画像データをメモリ１１０に書き込む。
【００４８】
図２〜図５に、撮像素子１０４からの電荷の読み出し手法についての説明図を示す。例えば、撮像素子１０４には、ＲＧＢ各色の色フィルタが配置され、各画素には特定の色信号のみが入力される（例えばベイヤ配列）。図２〜図５は、この場合の加算画素値についての説明図である。
【００４９】
なお、以下の説明で用いるフレームとは、例えば撮像素子により１つのフレーム画像が撮影されるタイミングや、画像処理において１つのフレーム画像が処理されるタイミングである。あるいは、画像データにおける１つのフレーム画像も適宜フレームと呼ぶ。
【００５０】
図２に、Ｇ１画素（１番目のＧ画素）の読み出し手法を示す。図２に示すように、４フレームｆｎ、ｆｎ＋１、ｆｎ＋２、ｆｎ＋３（ｎは自然数）を１サイクルとして、フレーム毎に繰り返し読み出しが行われる。図２において、ｐは画素ピッチを表し、点線の四角は、水平垂直方向にそれぞれ２ｐ離れた位置の画素が加算して読み出されることを表す。この点線の四角内の４画素が受光単位であり、加算読み出しされた画素値が加算画素値（受光値）である。
【００５１】
下式（１）に、フレームｆｎにおける読み出し後の画素値をａｓ００、フレームｆｎ＋１における読み出し後の画素値をａｓ０１、フレームｆｎ＋２における読み出し後の画素値をａｓ１０、フレームｆｎ＋３における読み出し後の画素値をａｓ１１として示す。図２に示すように、画素に注目すると、フレームｆｎとフレームｆｎ＋１では、画素値Ｇ１０２と画素値Ｇ１２２が両フレームで読み出される。また、フレームｆｎ＋１とフレームｆｎ＋２では、画素値Ｇ１２２と画素値Ｇ１２４が両フレームで読み出され、フレームｆｎとフレームｆｎ＋３では画素値Ｇ１２２が両フレームで読み出される。すなわち、各フレーム間で読み出す領域に重複領域がある。
【数１】
2012015872.tif 000003
【００５２】
図３に、Ｒ画素の読み出し手法を示し、図４に、Ｇ２画素（２番目のＧ画素）の読み出し手法を示し、図５に、Ｂ画素の読み出し手法を示す。下式（２）〜（４）に、フレームｆｎ〜ｆｎ＋３における加算画素値を示す。これらの加算画素値の取得手法は、上述のＧ１画素と同様であるため、説明を省略する。
【数２】
2012015872.tif 000004
【数３】
2012015872.tif 000005
【数４】
2012015872.tif 000006
【００５３】
図２〜図５に示すように、フレームｆｎでは、加算画素値ａｓ００、ａｔ００、ａｕ００、ａｖ００によりフレーム画像が構成される。そして、フレームｆｎ＋１では、加算画素値ａｓ０１、ａｔ０１、ａｕ０１、ａｖ０１によりフレーム画像が構成され、フレームｆｎ＋２では、加算値画素値ａｓ１０、ａｔ１０、ａｕ１０、ａｖ１０によりフレーム画像が構成され、フレームｆｎ＋３では、加算値画素値ａｓ１１、ａｔ１１、ａｕ１１、ａｖ１１によりフレーム画像が構成される。
【００５４】
このようにして撮像素子１０４から読み出された信号は、所定の処理が行われ、メモリ１１０に書き込まれる。メモリ１１０に書き込まれた画像は、画像処理部１１４により、カラー化などの処理が行われ、圧縮伸張部１１５により、所定の圧縮形式で圧縮処理が行われ、記録媒体１２４に書き込まれる。
【００５５】
次に、図６を用いて、動画静止画撮影モードにおいて撮影した動画の記録形式について説明する。図６のＡ１に示すように、動画撮影時には、画像処理部１１４によって生成された画像が圧縮伸張部１１５により圧縮され、画像データＰＤ１〜ＰＤｎ＋２（フレーム画像）が生成される。そして、その画像データは、Ａ２に示すヘッダやＡ３に示すシャッターフラグと共に、フレーム毎に記録される。
【００５６】
Ａ４に示すように、ユーザが動画撮影中にシャッターを押すと、ＵＩ制御部１１８がシャッターを押されたことを検出し、システムコントローラ１１３に通知する。例えば、フレームｆｎの撮像動作期間Ｔｎにシャッターが押されたとする。そうすると、システムコントローラ１１３は、シャッターが押されたフレームｆｎの画像が圧縮されるタイミングで、圧縮伸張部１１５に対して、フレームｆｎでシャッターが押されたことを通知する。そして、Ａ５に示すように、圧縮伸張部１１５は、画像データＰＤｎを書き込む際に、シャッターフラグに“１”をセットする。図６において、シャッターフラグ“０”は、シャッターが押されていない状態を表し、シャッターフラグ“１”は、シャッターが押された状態を表す。
【００５７】
この動作は、ユーザが動画静止画撮影モードで撮影している間は継続され、撮影が終了した場合には停止する。最尤画像推定部１２０は、撮影終了後に、記録された動画データから静止画を生成する。生成のタイミングは、たとえばユーザが図示しない生成開始ボタンを押した場合でもよいし、撮影終了後に自動的に生成してもよい。例えば、静止画は、フラグ“１”が付与されたフレームｆｎの前後２フレーム（計４フレーム）の画像ＰＤｎ−２〜ＰＤｎ＋１から生成される。
【００５８】
３．画素値の基本的な推定手法
次に、フレーム画像に含まれる加算画素値から高解像静止画を推定する手法について説明する。まず基本的な推定手法について説明し、次に、その基本的な推定手法を用いた第１、第２の推定手法について説明する。
【００５９】
図７、図８に、基本的な推定手法についての説明図を示す。なお、以下の説明では、撮像素子の画素が直交２軸の座標系で配列される場合に、一方の軸に沿った方向を水平方向と呼び、他方の軸に沿った方向を垂直方向と呼ぶ。例えば、水平方向は、撮像動作における水平走査方向である。また、以下の説明では、画像データ上の方向についても適宜、直交２軸の一方の軸に沿った方向を水平方向と呼び、他方の軸に沿った方向を垂直方向と呼ぶ。
【００６０】
図７のＢ１に示すように、加算（混合）前画像が求めるべき画像であり、画素をｖ００’、ｖ１０’、ｖ２０’、・・・で表す。加算前画像とは、撮像素子本来の解像度で撮像したと仮定した場合に取得される画像である。Ｂ２に示すように、撮像素子１０４から画素加算により画像が読み出される。この撮影画像では、それぞれの画素をａ００、ａ０１、ａ０２、・・・で表す。
【００６１】
次に、Ｂ３に示すように、撮影画像から中間推定画像（推定画像１）を推定する。このとき、中間推定画像は短冊状の画素で構成され、中間推定画素値ｂ００、ｂ１０、ｂ２０、・・・が算出される。この画素値は、加算前画素の２画素が加算された画素値に対応するため、１回目の推定において、４画素加算値から２画素加算値を算出することになる。例えば、ｂ００は、ｖ００’、ｖ０１’の加算画素に対応し、ｂ０１は、ｖ０１’、ｖ０２’の加算画素に対応し、ｂ００とｂ０１は、重畳領域ｖ０１’で重畳している。すなわち、中間推定画像の画素値は、２画素の加算画素値を垂直方向（または水平方向）に重畳しながら画素シフトして取得した画素値に相当する。
【００６２】
Ｂ４に示すように、中間推定画像から最終的な推定画素ｖ００、ｖ１０、ｖ２０、・・・を算出し、最終推定画像（推定画像２）を推定する。最終的な推定値の推定精度が十分良い場合には、加算前画像と最終推定画像の画素値は同値になる。
【００６３】
図８を用いて、ａｉｊからｂｉｊを推定する手法について説明する。図８には、重複領域のある加算画素ａｉｊの水平方向の最初の行を例に示す。シフト順に画素値をａ００、ａ１０とすると、下式（５）となる。ｂ００を未知数とし、中間推定画素値ｂ１０、ｂ２０をｂ００の関数として求めると、下式（５）より下式（６）が求められる。
【数５】
2012015872.tif 000007
【数６】
2012015872.tif 000008
【００６４】
上式（６）のように、ｂ００を未知数としてｂ００、ｂ１０、ｂ２０の組合せパターンが求められるが、未知数ｂ００の絶対値は分からない。そのため、未知数ｂ００の算出または設定が必要である。そこで、下式（７）に示すように、加算画素値によるパターン｛ａ００、ａ１０｝と中間推定画素値によるパターン｛ｂ００、ｂ１０、ｂ２０｝を比較し、その誤差Ｅが最小となる未知数ｂ００を導出する。例えば、誤差Ｅは、下式（７）に示す誤差Ｅｊにより求められ、このＥｊが最小となるｂ００を求める。そして、その求めた値を中間推定画素値ｂ００として設定し、上式（６）に代入して中間推定画素値ｂ１０、ｂ２０を求める。
【数７】
2012015872.tif 000009
【００６５】
なお、上記と同様の手法によりｂｉｊからｖｉｊが推定される。すなわち、ｖ００を未知数として、推定画素値ｖ００、ｖ０１、ｖ０２をｖ００の関係式で表す。そして、パターン｛ｖ００、ｖ０１、ｖ０２｝とパターン｛ｂ００、ｂ０１｝の誤差を求め、その誤差が最小となるｖ００を求め、そのｖ００を関係式に代入してｖ０１、ｖ０２を求める。このようにして、４つの加算画素値ａ００、ａ１０、ａ０１、ａ１１から、４つの中間推定画素値ｂ００、ｂ１０、ｂ０１、ｂ１１、を推定し、その４つの中間画素値から４つの推定画素値ｖ００、ｖ１０、ｖ０１、ｖ１１を推定する。
【００６６】
４．画素値の第１の推定手法
次に、上記の基本推定手法を用いた第１の推定手法について説明する。図９に、最尤画像推定部１２０の第１の構成例として、第１の推定手法により画素値を求める場合の構成例を示す。この最尤画像推定部は、推定演算部２００、画像出力部２１０を含む。
【００６７】
推定演算部２００は、各推定画素値ｖｉｊに対して複数の候補を求め、その候補から最終的な推定画素値ｖｉｊを選択する。具体的には、推定演算部２００は、画素値推定部２２０、判定部２３０（選択部）を含む。画素値推定部２２０は、異なる加算画素値ａｉｊの組み合わせから、上記の基本推定手法を用いて１つのｖｉｊに対して複数の候補を求める。判定部２３０は、隣接する加算画素値ａｉｊの水平方向と垂直方向の差分値を求め、その差分値の大小関係を判定し、その判定結果から最終的な推定画素値ｖｉｊを決定する。
【００６８】
画像出力部２１０は、推定画素値ｖｉｊに基づいて高解像画像を出力する。図２等で上述のように、ベイヤ配列の撮像素子で取得した加算画素値から推定画素を求めると、元の撮像素子のベイヤ配列に対応したモザイク画像が求められる。この場合、画像出力部２１０は、推定した高解像のモザイク画像をデモザイキング処理し、カラーの高解像静止画を出力する。また、画像出力部２１０は、階調変換処理やフィルタ処理等の画像処理を行ってもよい。
【００６９】
図１０を用いて、ｖ１１に対して４つの候補を求める場合を例に、各推定画素値に対して複数の候補を求める手法について説明する。図１０に示すように、第１のパターンでは、加算画素ａ００、ａ１０、ａ０１、ａ１１からｖ１１の候補画素を算出する。第２のパターンでは、加算画素ａ１０、ａ２０、ａ１１、ａ２１からｖ１１の候補画素を算出する。第３のパターンでは、加算画素ａ０１、ａ１１、ａ０２、ａ１２からｖ１１の候補画素を算出する。第４のパターンでは、加算画素ａ１１、ａ２１、ａ１２、ａ２２からｖ１１の候補画素を算出する。このように、重複領域のある加算画素の４通りの組み合わせからｖ１１を算出し、４つの候補画素を得ることができる。
【００７０】
図１１に、第１の推定手法により画素値を推定する処理のフローチャートを示す。この処理が開始されると、撮影画像から画素値を推定する処理の対象となる推定対象画素（例えば、図１０におけるｖ１１の位置の画素）を設定する（ステップＳ１）。次に、推定対象画素を含む加算画素から候補画素値を算出する。すなわち、図１０に示す４通りの加算画素の組み合わせより、それぞれの組み合わせに対応した候補画素値を算出する（ステップＳ２）。
【００７１】
次に、算出された４つの候補画素値から確からしさを判定して適切な推定画素値を選択する（ステップＳ３）。次に、画像を構成する全ての画素の推定が終了したか判断する（ステップＳ４）。全ての画素の推定が終了していなければ対象画素の位置を変えて推定画素の演算を引き続き行う（ＮＯ）。全ての画素の推定が終了していれば推定処理を終了する（ＹＥＳ）。この処理フローは最尤画像推定部１２０により行われ、処理が完了するとメモリ１１０に推定画像が記憶される。記憶された推定画像は高精細静止画として記録媒体１２４に書き込まれる。
【００７２】
図１２に、４つの候補画素値から確からしさを判定する処理（図１１のステップＳ３）の詳細なフローチャートを示す。この処理が開始されると、加算画素値ａｉｊから差分値Ｄ１〜Ｄ４を算出する（ステップＳ１０〜Ｓ１３）。図１３を用いて、ｖ１１を推定する場合を例に、差分値Ｄ１〜Ｄ４について説明する。図１３に示すように、４つの候補を求めるために９つの加算画素を用いる。このとき、差分値Ｄ１は、１行目と２行目の加算画素の垂直方向の差分値の和であり、差分値Ｄ２は、２行目と３行目の加算画素の垂直方向の差分値の和である。差分値Ｄ３は、１列目と２列目の加算画素の水平方向の差分値の和であり、差分値Ｄ４は、２列目と３列目の加算画素の水平方向の差分値の和である。このように、隣接する列間あるいは行間の画素値の差分を演算し合計値を算出する。
【００７３】
図１２に示すように、次にＤ１とＤ２を比較する（ステップＳ１４）。Ｄ１が小さい場合（ＹＥＳ）、さらにＤ３とＤ４を比較する（ステップＳ１５）。Ｄ３が小さい場合（ＹＥＳ）、第１のパターンの組み合わせから算出した推定値を選択する（ステップＳ１６）。Ｄ４がＤ３以下の場合（ＮＯ）、第３のパターンの組み合わせから算出した推定値を選択する（ステップＳ１７）。ステップＳ１４においてＤ２がＤ１以下の場合（ＮＯ）、Ｄ３とＤ４を比較する（ステップＳ１８）。Ｄ３が小さい場合（ＹＥＳ）、第２のパターンの組み合わせから算出した推定値を選択する（ステップＳ１９）。Ｄ４がＤ３以下の場合（ＮＯ）、第４のパターンの組み合わせから算出した推定値を選択する（ステップＳ２０）。このようにして、水平方向と垂直方向の差分値がより小さい組み合わせパターンから求めた候補が選択される。推定画素値の選択が完了すると処理を終了する。
【００７４】
さて、上述のように、デジタルカメラでは、動画撮影中に高解像な静止画を得ることが困難という課題がある。また、動画から高解像画像を推定する際の推定精度を向上するという課題がある。また、低解像動画から高解像静止画を得る超解像処理（例えば、上述の特許文献１、２）は、演算量が多く処理負荷が大きいという課題や、初期値設定のための領域を探索する必要があるという課題がある。
【００７５】
この点、本実施形態によれば、図２等に示すように、画像取得部１３０は、加算画素値ａｉｊを取得する単位である受光単位を撮像素子１０４の複数の画素毎に設定する（例えば、ａ００の受光単位はＧ１００、Ｇ１２０、Ｇ１０２、Ｇ１２２を含む）。画像取得部１３０は、その受光単位を重畳しながら（ａ００とａ１０はＧ１２０とＧ１２２で重畳）順次画素シフトさせつつ（所定の周期（４フレーム）で受光単位をａ００、ａ１０、ａ１１、ａ０１に順次シフト）、その受光単位に含まれる複数の画素の画素値が加算された加算画素値ａｉｊを取得する。
【００７６】
そして、図６に示すように、記憶部（記録媒体１２４、またはメモリ１１０）は、加算画素値ａｉｊによる低解像フレーム画像ＰＤ１〜ＰＤｎ＋２を記憶する。図７に示すように、推定演算部２００は、記憶部に記憶された複数の低解像フレーム画像（Ｂ２に示す、４フレーム分の加算画素値ａｉｊ）に基づいて、受光単位に含まれる各画素の画素値（Ｂ４に示す推定画素値ｖｉｊ）を推定する。画像出力部２１０は、推定演算部２００により推定された画素値ｖｉｊに基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。
【００７７】
このとき、図１２に示すように、推定演算部２００は、推定対象画素ｖ１１の推定に用いられる複数の加算画素値ａ００〜ａ２２のうち隣り合う加算画素値の変化量（差分値Ｄ１〜Ｄ４）を求め、その変化量に基づいて推定対象画素の画素値ｖ１１を推定する。
【００７８】
これにより、簡素な処理により動画から高解像な静止画を得ること等が可能になる。具体的には、受光単位を重畳しながら順次画素シフトさせつつ取得された加算画素値ａｉｊを用いて画素値ｖｉｊを推定することで、推定処理を簡素化し、比較的演算量が少なく回路規模も小さい処理によって高精細静止画を生成することができる。これにより、動画撮影時に高精細静止画を撮影する機能を有するデジタルカメラを、より低コストで開発できる。
【００７９】
また、隣り合う加算画素値の変化量に基づいて画素値を推定することで、隣り合う加算画素値の変化量を考慮した推定が可能になる。そのため、変化量を考慮しない推定（例えば、図１０に示すパターン１のみ用いる推定）に比べて、画素値の推定精度を向上できる。
【００８０】
また、動画から静止画を取得できるため、静止画撮影のために動画撮影を中断する必要がなくなる。また、動画中の任意タイミングの静止画を動画撮影後に得られるため、シャッターを押して静止画を撮る場合に比べて、シャッターチャンスを逃す心配がない。
【００８１】
また、本実施形態では、図１３に示すように、推定演算部２００は、隣り合う加算画素値の変化量として、複数の加算画素値ａ００〜ａ２２のうち水平方向に隣り合う加算画素値の差分Ｄ３、Ｄ４と、垂直方向に隣り合う加算画素値の差分Ｄ１、Ｄ２を求める。
【００８２】
このようにすれば、水平方向に隣り合う加算画素値の差分と、垂直方向に隣り合う加算画素値の差分に基づいて、推定対象画素の画素値を推定できる。図１５に示すように、加算画素値の差分が小さいほど推定誤差も小さくなるため、加算画素値の差分を考慮した推定を行うことで推定精度を向上できる。
【００８３】
また、本実施形態では、図９に示すように、推定演算部２００は、画素値推定部２２０と、判定部２３０を含む。画素値推定部２２０は、推定対象画素に対して複数の候補画素値を求める。そして、判定部２３０は、その複数の候補画素値の中から変化量が小さい候補画素値を判定し、判定された候補画素値を推定対象画素の画素値として出力する。
【００８４】
具体的には、図１０に示すように、画素値推定部２２０は、各候補画素値で異なる組み合わせの加算画素値（パターン１〜４の組み合わせのａｉｊ）を用いて、複数の候補画素値（パターン１〜４に対応するｖ１１）を推定する。図１２に示すように、判定部２３０は、その複数の候補画素値の推定に用いられる加算画素値（パターン１〜４に含まれる全てのａｉｊ。図１３に示すａ００〜ａ２２）から変化量を求める（ステップＳ１０〜Ｓ１３）。そして、判定部２３０は、その異なる組み合わせのうち変化量が小さくなる組み合わせを判定（ステップＳ１４等）する。判定部２３０は、判定された組み合わせに対応する候補画素値を、推定対象画素の画素値ｖ１１として出力する（ステップＳ１６等）。
【００８５】
このようにすれば、異なる組み合わせの加算画素値から複数の候補画素値を求め、各組み合わせに対応する変化量の大小関係を比較することで、変化量が小さい組み合わせを判定できる。また、変化量が小さい加算画素値の組み合わせから求めた候補画素値を選択できるため、推定対象画素の推定誤差を低減できる。
【００８６】
なお、上記実施形態では、４つの候補画素から１つの候補画素を選択したが、本実施形態では、変化量に応じた重み付け係数により４つの候補画素値を重み付け加算して、推定対象画素の画素値を求めてもよい。具体的には、パターン１〜４の候補画素値をｖｋ１〜ｖｋ４とし、重み付け係数をｗ１〜ｗ４とする場合に、ｖ１１＝ｗ１・ｖｋ１＋ｗ２・ｖｋ２＋ｗ３・ｖｋ３＋ｗ４・ｖｋ４により画素値ｖ１１を求める。そして、差分値が小さいと判定されたパターンの重み付け係数を１とし、他の係数を０とする。例えば、パターン１が選択された場合、ｗ１＝１、ｗ２＝ｗ３＝ｗ４＝０とする。
【００８７】
また、本実施形態では、画素シフトにより受光単位が、第１のポジションと第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの受光単位は重畳する。そして、画素値推定部２２０は、第１、第２のポジションの受光単位の受光値の差分値を求める。画素値推定部２２０は、第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値（第１の中間推定画素値）と、第２のポジションの受光単位から重畳領域を除いた第２の受光領域の受光値である第２の中間画素値（第２の中間推定画素値）との関係式を、差分値を用いて表す。画素値推定部２２０は、その関係式を用いて第１、第２の中間画素値を推定し、推定した第１の中間画素値を用いて受光単位の各画素の画素値を求める。
【００８８】
例えば、図７に示すように、受光値ａ００を取得する第１のポジションに受光単位が設定され、次のフレームでは、受光値ａ１０を取得する第２のポジションに受光単位が設定される。これらの受光単位は、推定画素ｖ１０、ｖ１１を含む領域において重畳する。推定画素ｖ００、ｖ０１を含む領域が第１の受光領域に対応し、その領域の中間画素値ｂ００が第１の中間画素値に対応する。また、推定画素ｖ２０、ｖ２１を含む領域が第２の受光領域に対応し、その領域の中間画素値ｂ２０が第２の中間画素値に対応する。そして、図８で説明したように、受光値ａ００、ａ１０の差分値δｉ０が求められ、関係式ｂ２０＝ｂ００＋δｉ０が求められる。未知数ｂ００が推定され、関係式を用いてｂ２０が推定される。ｂ００を用いて、推定画素値ｖ００、ｖ０１が求められる。
【００８９】
このようにすれば、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の特許文献１に比べて、超解像処理の演算量を少なくできるため、回路規模を抑制できる。また、上述の特許文献２に比べて、初期値設定のための特殊領域を撮像画像から探索する必要がなくなる。
【００９０】
また、本実施形態では、画素値推定部２２０は、第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、その中間画素値パターンに含まれる中間画素値間の関係式を、第１、第２のポジションの加算画素値を用いて表す。画素値推定部２２０は、第１、第２のポジションの加算画素値を含む連続する加算画素値を加算画素値パターンとする場合に、中間画素値間の関係式で表された中間画素値パターンと加算画素値パターンとを比較して類似性を評価する。そして、画素値推定部２２０は、類似性の評価結果に基づいて、その類似性が最も高くなるように中間画素値パターンに含まれる中間画素値を決定する。
【００９１】
例えば、図８で説明したように、連続する中間画素値｛ｂ００、ｂ１０、ｂ２０｝が中間画素値パターンに対応し、上式（６）に示すように、｛ｂ００、ｂ１０、ｂ２０｝間の関係式が受光値ａ００、ａ１０を用いて表される。そして、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝を比較し、評価関数Ｅｊで表される類似性が最も高くなるように｛ｂ００、ｂ１０、ｂ２０｝の値が決定される。ここで、受光値パターン｛ａ００、ａ１０｝は、水平方向又は垂直方向に連続する（連続する順番の）受光値である。
【００９２】
このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。
【００９３】
また、本実施形態では、画素値推定部２２０は、中間画素値間の関係式で表された中間画素値パターンと加算画素値パターンとの誤差を表す評価関数を求め、その評価関数の値が最小となるように中間画素値パターンに含まれる中間画素値を決定する。
【００９４】
例えば、上式（６）、（７）に示すように、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝が未知数ｂ００の関数として表され、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝との誤差が評価関数Ｅｊで表される。そして、評価関数Ｅｊの値が最小となる未知数ｂ００＝α（初期値）が求められ、求められたｂ００を上式（６）に代入してｂ００〜ｂ２０の値が決定される。
【００９５】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。すなわち、上述の特許文献２に比べて、初期値設定のための領域を探索することが不要である。
【００９６】
５．画素値の第２の推定手法
次に、上述の基本推定手法を用いた第２の推定手法について説明する。図１４に、最尤画像推定部１２０の第２の構成例として、第２の推定手法により画素値を求める場合の構成例を示す。この最尤画像推定部は、推定演算部２００、画像出力部２１０を含む。なお、図９等で上述の構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。
【００９７】
推定演算部２００は、中間推定画素値ｂｉｊの推定手法を選択し、その選択した手法により求めた中間推定画素値ｂｉｊから推定画素値ｖｉｊを推定する。具体的には、推定演算部２００は、画素値推定部２２０、判定部２３０（選択部）を含む。判定部２３０は、加算画素値ａｉｊを水平方向に高精細化して中間推定画素値ｂｉｊを求めるか、加算画素値ａｉｊを垂直方向に高精細化して中間推定画素値ｂｉｊを求めるかを判定する。画素値推定部２２０は、判定された方向にａｉｊを高精細化してｂｉｊを求め、そのｂｉｊからｖｉｊを推定する。
【００９８】
図１５〜図１８を用いて、推定演算部２００が行う処理について詳細に説明する。まず、推定誤差について説明する。上述のように、第１の推定手法では、推定候補画像を生成する際に水平方向の推定を行った後、垂直方向の推定を行う。これは、撮像素子１０４の出力は、一般的に水平ライン毎に出力されるためである。中間推定画素値ｂｉｊの推定では、上式（７）に示す誤差Ｅｊが最小となる未知数ｂ００を求めるが、加算画素値ａｉｊの組み合わせによって推定誤差Ｅｊの大きさが異なる。
【００９９】
図１５に、この誤差Ｅｊの大きさの特性例を模式的に示す。図１５には、推定に用いる加算画素の差分の絶対値を横軸とする場合の誤差の大きさ（推定値に対する誤差の割合）を示す。図１５に示すように、推定に用いる加算画素の差分が大きくなると、発生する誤差も大きくなる。また、本実施形態では、水平方向と垂直方向に２回の推定演算を行うため、１回目の推定で推定値に誤差が発生すると２回目の推定値にも影響し、精度のよい推定値が得られない。そこで、第２の推定手法では、画素推定を行う方向の順番を制御することで、推定誤差を小さくする。
【０１００】
図１６に、第２の推定手法により画素値を推定する処理のフローチャートを示す。この処理が開始されると、推定を行う処理ブロックを決定する（ステップＳ２０）。この処理ブロックは、撮像画像の中の１回の推定処理で用いる加算画素の組み合わせであり、例えば４つの加算画素毎に設定される。例えば、第１の処理ブロックとして、ａ００、ａ１０、ａ０１、ａ１１が設定され、第２の処理ブロックとしてａ２０、ａ３０、ａ２１、ａ３１が設定される。あるいは、第２の処理ブロックとしてａ１０、ａ２０、ａ１１、ａ２１が設定されてもよい。
【０１０１】
次に、処理ブロック内に属する加算画素の差分値から推定順序を決定する（ステップＳ２１）。次に、その推定順序で中間推定画素値ｂｉｊを推定し、ｂｉｊから推定画素値ｖｉｊを推定する（ステップＳ２３）。次に、推定画像の生成が終了したか否かを判断し（ステップＳ２３）、全ての画素の推定が終了した場合には処理を終了し（ＹＥＳ）、終了していない場合にはステップＳ２０へ戻る（ＮＯ）。
【０１０２】
図１７（Ａ）に、推定順序を決定する処理（ステップＳ２１）の詳細なフローチャートを示す。以下では、図１７（Ｂ）に示すように、ａ００、ａ１０、ａ０１、ａ１１を処理ブロックに設定した場合を例に説明する。この処理が開始されると、水平方向の画素値の変化量Ｐ１を演算する（ステップＳ３０）。次に、垂直方向の画素値の変化量Ｐ２を演算する（ステップＳ３１）。
【０１０３】
次に、変化量Ｐ１と変化量Ｐ２を比較し（ステップＳ３２）、Ｐ１が小さい場合には水平方向に高解像化する（ＹＥＳ）。すなわち、図１８のＥ１に示すように、加算画素値ａ００、ａ１０、ａ０１、ａ１１から、水平１画素で垂直２画素の中間推定画素値ｂ００、ｂ１０、ｂ０１、ｂ１１を推定し、第１の中間推定画像（推定画像１ａ）を求める（ステップＳ３３）。次に、中間推定画素値ｂ００、ｂ１０、ｂ０１、ｂ１１を用いて、最終的な推定画像を推定する（ステップＳ３４）。一方、Ｐ２がＰ１以上の場合には、垂直方向に高解像化する（ステップＳ３２、ＮＯ）。すなわち、図１８のＥ２に示すように、加算画素値ａ００、ａ１０、ａ０１、ａ１１から、水平２画素で垂直１画素の中間推定画素値ｃ００、ｃ０１、ｃ１０、ｃ１１を推定し、第２の中間推定画像（推定画像１ｂ）を求める（ステップＳ３５）。次に、中間推定画素値ｃ００、ｃ０１、ｃ１０、ｃ１１を用いて、最終的な推定画像を推定する（ステップＳ３６）。最終的な推定画像が求まったら処理を終了する。
【０１０４】
上記実施形態によれば、図１４に示すように、推定演算部２００は、画素値推定部２２０と、判定部２３０を含む。画素値推定部２２０は、複数の推定手法の中から選択された推定手法により推定対象画素の画素値を推定する。判定部２３０は、各推定手法に対応する変化量を求め、複数の推定手法のうち変化量が小さい推定手法を判定して選択する。
【０１０５】
具体的には、図１８に示すように、画素値推定部２２０は、水平方向に高解像化した後に垂直方向に高解像化する第１の推定手法（Ｅ１）と、垂直方向に高解像化した後に水平方向に高解像化する第２の推定手法（Ｅ２）の中から、選択された推定手法により推定対象画素の画素値を推定する。図１７（Ａ）に示すように、判定部２３０は、水平方向に隣り合う加算画素値の変化量である第１の変化量Ｐ１と、垂直方向に隣り合う加算画素値の変化量である第２の変化量Ｐ２を求める（ステップＳ３０、Ｓ３１）。そして、判定部２３０は、第１の変化量Ｐ１が第２の変化量Ｐ２より小さいと判定した場合には、第１の推定手法を選択する（ステップＳ３３）。一方、判定部２３０は、第２の変化量Ｐ２が第１の変化量Ｐ１より小さいと判定した場合には、第２の推定手法を選択する（ステップＳ３５）。
【０１０６】
このようにすれば、第１の変化量と第２の変化量の大小関係を比較することで、第１の推定手法と第２の推定手法のうち変化量が小さい推定手法を判定できる。また、変化量が小さい推定手法により推定対象画素の画素値を推定できるため、推定対象画素の推定誤差を低減できる。
【０１０７】
ここで、以上の実施形態では、最尤画像推定部１２０を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像レンズ１０２やメカシャッター１０３や撮像素子１０４を含む撮像部を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１０８】
撮像部を別体とし、最尤画像推定部１２０の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、最尤画像推定部１２０の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。この場合、例えばＣＰＵは、図１１、図１２、図１６、図１７（Ａ）に示すフローチャートの処理を実行する。
【０１０９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（混合、混合画素、中間画素値、推定画素等）と共に記載された用語（加算、加算画素、中間推定画素値、最終推定画素等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また最尤画像推定部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１１０】
１０１  ボディ、１０２  撮像レンズ、１０３  メカシャッター、１０４  撮像素子、
１０７  Ａ／Ｄ変換器、１０８  メカシャッター駆動部、１０９  撮像素子駆動部、
１１０  メモリ、１１１  ＡＥ処理部、１１２  ＡＦ処理部、
１１３  システムコントローラ、１１４  画像処理部、１１５  圧縮伸張部、
１１６  システムバス、１１７  レンズ制御部、１１８  ＵＩ制御部、
１１９  表示制御部、１２０  最尤画像推定部、１２１  記録媒体制御部、
１２４  記録媒体、１３０  画像取得部、２００  推定演算部、２１０  画像出力部、
２２０  画素値推定部、２３０  判定部、
ａｉｊ  加算画素値、ｂｉｊ，ｃｉｊ  中間推定画素値、ｖｉｊ  推定画素値、
δｉ０  差分値、Ｅｊ  評価関数、ｆｎ〜ｆｎ＋４  フレーム、
ＰＤ１-ＰＤｎ＋２  画像データ、Ｔｎ  撮像動作期間、Ｄ１〜Ｄ４  差分値、
Ｐ１  第１の変化量、Ｐ２  第２の変化量
【図１】
2012015872.tif 000010
【図２】
2012015872.tif 000011
【図３】
2012015872.tif 000012
【図４】
2012015872.tif 000013
【図５】
2012015872.tif 000014
【図６】
2012015872.tif 000015
【図７】
2012015872.tif 000016
【図８】
2012015872.tif 000017
【図９】
2012015872.tif 000018
【図１０】
2012015872.tif 000019
【図１１】
2012015872.tif 000020
【図１２】
2012015872.tif 000021
【図１３】
2012015872.tif 000022
【図１４】
2012015872.tif 000023
【図１５】
2012015872.tif 000024
【図１６】
2012015872.tif 000025
【図１７】
2012015872.tif 000026
【図１８】
2012015872.tif 000027