(57)【要約】  ２種類以上の解像度と２種類以上の露光時間の組み合わせによって読み出された画素信号を用いて生成した高フレームかつ高解像度な画像の色にじみを防止する。  画像生成装置は、同一の事象を撮影して得られた第１動画像、第２動画像および第３動画像の信号を受け取って、事象を表す新たな動画像を生成する高画質処理部と、新たな動画像の信号を出力する出力端子とを備えている。第２動画像の色成分は第１動画像の色成分と異なっており、第２動画像の各フレームは、第１動画像の１フレーム時間よりも長時間の露光によって得られている。第３動画像の色成分は第２動画像の色成分と同じであり、第３動画像の各フレームは、第２動画像の１フレーム時間よりも短時間の露光によって得られている。
2012008143.tif 000002
【特許請求の範囲】
【請求項１】
同一の事象を撮影して得られた第１動画像、第２動画像および第３動画像の信号を受け取って、前記事象を表す新たな動画像を生成する高画質処理部と、
前記新たな動画像の信号を出力する出力端子と
を備えた画像生成装置であって、
前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、
前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られている、画像生成装置。
【請求項２】
前記高画質処理部は、前記第１動画像、前記第２動画像および前記第３動画像の信号を利用して、前記第１動画像または前記第３動画像のフレームレート以上のフレームレートで、かつ、前記第２動画像または前記第３動画像の解像度以上の解像度の新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項３】
前記第２動画像の解像度は前記第３動画像の解像度よりも高く、
前記高画質処理部は、前記第２動画像の信号および前記第３動画像の信号を利用して、前記第２動画像の解像度以上の解像度を有し、前記第３動画像のフレームレート以上のフレームレートを有し、かつ、色成分が前記第２動画像および第３動画像の色成分と同じである動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項１に記載の画像生成装置。
【請求項４】
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項３に記載の画像生成装置。
【請求項５】
前記高画質処理部は、緑の色成分の動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項３に記載の画像生成装置。
【請求項６】
前記高画質処理部は、前記新たな動画像を前記第１動画像と同じ解像度になるよう空間サンプリングしたときにおける、各フレームの画素値と、前記第１動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項３から５のいずれかに記載の画像生成装置。
【請求項７】
前記第２動画像と前記第３動画像のフレームはフレーム間の開放露光により得られる、請求項１に記載の画像生成装置。
【請求項８】
前記高画質処理部は、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置
【請求項９】
前記第１動画像および前記第３動画像の少なくとも１つから対象物の動きを検出する動き検出部をさらに備え、
前記高画質処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項１０】
前記動き検出部は、前記動き検出の信頼度を算出し、
前記高画質処理部は、前記動き検出部によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束条件以外の予め定められた拘束条件を用いて前記新たな動画像を生成する、請求項９に記載の画像生成装置。
【請求項１１】
前記動き検出部は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、
前記高画質処理部は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成する、請求項１０に記載の画像生成装置。
【請求項１２】
前記動き検出部は、対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出する、請求項９に記載の画像生成装置。
【請求項１３】
前記高画質処理部は、前記第１動画像および前記第３動画像から色差情報を抽出し、前記第１動画像および前記第３動画像から取得された輝度情報と、前記第２動画像とから中間的動画像を生成し、生成した中間的動画像に前記色差情報を付加することによって、前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項１４】
前記高画質処理部は、前記第１動画像、第２動画像および第３動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超えたときには、超える直前の時刻の画像までの画像を用いて動画像の生成を終了し、超えた直後から新たな動画像の生成を開始する、請求項１に記載の画像生成装置。
【請求項１５】
前記高画質処理部はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力する、請求項１に記載の画像生成装置。
【請求項１６】
単板の撮像素子を利用して、前記第１動画像、第２動画像および第３動画像を生成する撮像部をさらに備えた、請求項１から１５のいずれかに記載の画像生成装置。
【請求項１７】
撮影の環境に応じて前記高画質化部の処理を制御する制御部をさらに備えた、請求項１６に記載の画像生成装置。
【請求項１８】
前記撮像部は、空間的な画素加算演算を行うことにより、前記第３動画像の解像度よりも高い解像度の前記第２動画像を生成しており、
前記制御部は、前記撮像部によって検出された光量を検出する光量検出部を備えており、前記光量検出部によって検出された光量が予め定められた値以上である場合は、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１７に記載の画像生成装置。
【請求項１９】
前記制御部は、画像生成装置の動力源の残量を検出する残量検出部を備えており、前記残量検出部によって検出された残量に応じて、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１８に記載の画像生成装置。
【請求項２０】
前記制御部は、被写体の動きの大きさを検出する動き量検出部を備えており、前記動き量検出部によって検出された被写体の動きの大きさに応じて、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１８に記載の画像生成装置。
【請求項２１】
前記制御部は、画像処理の計算をユーザが選択する処理選択部を備えており、前記処理選択部を介して選択された結果によって、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１８に記載の画像生成装置。
【請求項２２】
前記高画質処理部は、前記新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を設定し、
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、かつ、設定した前記拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項２３】
３板の撮像素子を利用して、前記第１動画像、第２動画像および第３動画像を生成する撮像部をさらに備えた、請求項１から１５のいずれかに記載の画像生成装置。
【請求項２４】
同一の事象を撮影して得られた第１動画像、第２動画像および第３動画像の信号を受け取るステップであって、前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られている、ステップと、
前記第１動画像、第２動画像および第３動画像から、前記事象を表す新たな動画像を生成するステップと、
前記新たな動画像の信号を出力するステップと
を包含する画像生成方法。
【請求項２５】
複数の動画像から新たな動画像を生成するコンピュータプログラムであって、前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、請求項２２に記載の画像生成方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像処理に関する。より具体的には、本発明は、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。
【背景技術】
【０００２】
従来の撮像処理装置は、高解像度化を図る目的で撮像素子の画素寸法が小型化されるにつれて、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。【０００３】
特許文献１は、３枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームな動画像の復元を実現している。この方法では、２種類の解像度の撮像素子が用いられ、高解像度な撮像素子は長時間露光で画素信号を読み出し、低解像度な撮像素子は短時間露光で画素信号を読み出すことによって、光量を確保していた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高解像度の画素信号を長時間露光で読み取ると、被写体が動いている場合には動きぶれが入った画像になってしまう。そのため、得られた動画像の画質は結果として高かったものの、動きの検出が困難な一部の範囲においては復元した動画像上に色にじみが見られることがあり、画質改善の余地があった。【０００６】
本発明の目的は、光量を確保しつつ、色にじみの発生を低減した動画像を得ることにある。本発明の他の目的は、同時に高フレームで高解像度な動画像の復元を行うことである。
【課題を解決するための手段】
【０００７】
本発明による画像生成装置は、同一の事象を撮影して得られた第１動画像、第２動画像および第３動画像の信号を受け取って、前記事象を表す新たな動画像を生成する高画質処理部と、前記新たな動画像の信号を出力する出力端子とを備えており、前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られている。【０００８】
前記高画質処理部は、前記第１動画像、前記第２動画像および前記第３動画像の信号を利用して、前記第１動画像または前記第３動画像のフレームレート以上のフレームレートで、かつ、前記第２動画像または前記第３動画像の解像度以上の解像度の新たな動画像を生成してもよい。【０００９】
前記第２動画像の解像度は前記第３動画像の解像度よりも高く、前記高画質処理部は、前記第２動画像の信号および前記第３動画像の信号を利用して、前記第２動画像の解像度以上の解像度を有し、前記第３動画像のフレームレート以上のフレームレートを有し、かつ、色成分が前記第２動画像および第３動画像の色成分と同じである動画像の信号を、前記新たな動画像の色成分の一つとして生成してもよい。【００１０】
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定してもよい。【００１１】
前記高画質処理部は、緑の色成分の動画像の信号を、前記新たな動画像の色成分の一つとして生成してもよい。【００１２】
前記高画質処理部は、前記新たな動画像を前記第１動画像と同じ解像度になるよう空間サンプリングしたときにおける、各フレームの画素値と、前記第１動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定してもよい。【００１３】
前記第２動画像と前記第３動画像のフレームはフレーム間の開放露光により得られてもよい。【００１４】
前記高画質処理部は、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。【００１５】
前記画像生成装置は、前記第１動画像および前記第３動画像の少なくとも１つから対象物の動きを検出する動き検出部をさらに備え、前記高画質処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記新たな動画像を生成してもよい。【００１６】
前記動き検出部は、前記動き検出の信頼度を算出し、前記高画質処理部は、前記動き検出部によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束条件以外の予め定められた拘束条件を用いて前記新たな動画像を生成してもよい。【００１７】
前記動き検出部は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、前記高画質処理部は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成してもよい。【００１８】
前記動き検出部は、対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出してもよい。【００１９】
前記高画質処理部は、前記第１動画像および前記第３動画像から色差情報を抽出し、前記第１動画像および前記第３動画像から取得された輝度情報と、前記第２動画像とから中間的動画像を生成し、生成した中間的動画像に前記色差情報を付加することによって、前記新たな動画像を生成してもよい。【００２０】
前記高画質処理部は、前記第１動画像、第２動画像および第３動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超えたときには、超える直前の時刻の画像までの画像を用いて動画像の生成を終了し、超えた直後の時刻の画像以降の画像を用いて新たな動画像の生成を開始してもよい。【００２１】
前記高画質処理部はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力してもよい。【００２２】
前記画像生成装置は、単板の撮像素子を利用して、前記第１動画像、第２動画像および第３動画像を生成する撮像部をさらに備えていてもよい。【００２３】
前記画像生成装置は、撮影の環境に応じて前記高画質化部の処理を制御する制御部をさらに備えていてもよい。【００２４】
前記撮像部は、空間的な画素加算演算を行うことにより、前記第３動画像の解像度よりも高い解像度の前記第２動画像を生成しており、前記制御部は、前記撮像部によって検出された光量を検出する光量検出部を備えており、前記光量検出部によって検出された光量が予め定められた値以上である場合は、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。【００２５】
前記制御部は、画像生成装置の動力源の残量を検出する残量検出部を備えており、前記残量検出部によって検出された残量に応じて、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。【００２６】
前記制御部は、被写体の動きの大きさを検出する動き量検出部を備えており、前記動き量検出部によって検出された被写体の動きの大きさに応じて、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。【００２７】
前記制御部は、画像処理の計算をユーザが選択する処理選択部を備えており、前記処理選択部を介して選択された結果によって、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更してもよい。【００２８】
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、かつ、前記新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。【００２９】
前記画像生成装置は、３板の撮像素子を利用して、前記第１動画像、第２動画像および第３動画像を生成する撮像部をさらに備えていてもよい。【００３０】
本発明による画像生成方法は、同一の事象を撮影して得られた第１動画像、第２動画像および第３動画像の信号を受け取るステップであって、前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られている、ステップと、前記第１動画像、第２動画像および第３動画像から、前記事象を表す新たな動画像を生成するステップと、前記新たな動画像の信号を出力するステップとを包含する。【００３１】
本発明によるコンピュータプログラムは、複数の動画像から新たな動画像を生成するコンピュータプログラムであって、前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、上述の画像生成方法を実行させる、コンピュータプログラム。
【発明の効果】
【００３２】
本発明によれば、長時間露光の読み出しをしていた色成分画像の画素（たとえばＧ画素）を、２種類の画素、すなわち長時間露光を行う画素と、短時間露光を行うとともにフレーム内で画素加算する画素とに分けて、各種類の画素から信号を読み出す。これにより、少なくともフレーム内で画素加算する画素については短時間露光であるため、全て長時間露光によって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。【００３３】
２種類の画素を利用して１つの色成分画像を得ることにより、その色成分画像については、十分な画素数（解像度）と感光量（明るさ）とを確保した、高フレームで高解像度の動画像を復元することができる。
【図面の簡単な説明】
【００３４】
【図１】実施形態１における撮像処理装置１００の構成を示すブロック図である。
【図２】高画質化部１０５のより詳細な構成の一例を示す構成図である。
【図３】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
【図４】（ａ）および（ｂ）は、２×２画素の空間加算をする際の仮想的サンプル位置を示す図である。
【図５】ＧL、Ｇs、ＲおよびＢに関連する画素信号の読み出しタイミングを表す図である。
【図６】実施形態１による高画質処理部２０２の構成の一例を示す図である。
【図７】ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。
【図８】実施形態１の処理における入力動画像と出力動画像のイメージ図である。
【図９】単板の撮像素子において、Ｇ画素をすべて長時間露光した場合と実施形態１で提案した方法との処理後のＰＳＮＲ値との対応関係を示す図である。
【図１０】比較実験で用いた動画像の３つのシーンを示す図である。
【図１１】比較実験で用いた動画像の３つのシーンを示す図である。
【図１２】比較実験で用いた動画像の３つのシーンを示す図である。
【図１３】比較実験で用いた動画像の３つのシーンを示す図である。
【図１４】比較実験で用いた動画像の３つのシーンを示す図である。
【図１５】比較実験で用いた動画像の３つのシーンを示す図である。
【図１６】生成される動画像の信頼度γと符号化の圧縮率δとの関係を示す図である。
【図１７】実施形態２による撮像処理装置５００の構成を示す構成図である。
【図１８】実施形態２による高画質処理部２０２の詳細な構成を示す図である。
【図１９】Ｇ簡易復元部１９０１の構成を示す図である。
【図２０】（ａ）および（ｂ）は、ＧS算出部２００１およびＧL算出部２００２の処理の例を示す図である。
【図２１】実施形態１の高画質処理部２０２の構成に、さらにベイヤ復元部２２０１が追加された構成を示す図である。
【図２２】ベイヤ配列のカラーフィルターの構成例を示す図である。
【図２３】実施形態２の高画質処理部２０２の構成に、さらにベイヤ復元部２２０１が追加された構成を示す図である。
【図２４】実施形態４による撮像処理装置３００の構成を示す図である。
【図２５】実施形態４による制御部１０７の構成を示す図である。
【図２６】実施形態５による撮像処理装置の制御部１０７の構成を示す図である。
【図２７】実施形態６による撮像処理装置の制御部１０７の構成を示す図である。
【図２８】実施形態７による撮像処理装置の制御部１０７の構成を示す図である。
【図２９】（ａ）および（ｂ）は、単板の撮像素子と、カラーフィルターとの組み合わせ例を示す図である。
【図３０】（ａ）および（ｂ）は、Ｇ（ＧLおよびＧS）の画素信号を生成するための撮像素子の構成例を示す図である。
【図３１】（ａ）および（ｂ）は、Ｇ（ＧLおよびＧS）の画素信号を生成するための撮像素子の構成例を示す図である。
【図３２】（ａ）〜（ｃ）は、ＲやＢを主として含む各カラーフィルター中にＧSのカラーフィルターが含まれている構成例を示す図である。
【図３３】（ａ）は３板用の薄膜光学フィルターの分光特性を示す図であり、（ｂ）は単板用の染料フィルターの分光特性を示す図である。
【図３４】（ａ）はグローバルシャッタを用いた露光タイミングを示す図であり、（ｂ）はフォーカルプレーン現象発生時の露光タイミングを示す図である。
【図３５】動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置５００の構成を示すブロック図である。
【図３６】高画質化部１０５における高画質化処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３５】
以下、添付の図面を参照しながら、本発明による画像生成装置の実施形態を説明する。
【００３６】
（実施形態１）
図１は、本実施形態における撮像処理装置１００の構成を示すブロック図である。図１において、撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、時間加算部１０３と、空間加算部１０４と、高画質化部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。
【００３７】
光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。
【００３８】
単板カラー撮像素子１０２は、カラーフィルターアレイが装着された単板撮像素子である。単板カラー撮像素子１０２は、光学系１０１によって結ばれた光（光学像）を光電変換し、それによって得られた電気信号を出力する。この電気信号の値は、単板カラー撮像素子１０２の各画素値である。単板カラー撮像素子１０２からは、各画素に入射した光の量に応じた画素値が出力される。同じフレーム時刻に撮影された、同じ色成分の画素値により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。
【００３９】
時間加算部１０３は、単板カラー撮像素子１０２によって撮像された、カラー画像における第１色の一部について光電変換値を時間方向に複数フレーム加算する。
【００４０】
ここで、「時間方向への加算」とは、連続する複数のフレーム（画像）の各々において共通の画素座標値を有する各画素の画素値を加算することである。具体的には、２フレームから９フレーム程度の範囲で、画素座標値が同じ画素の画素値を加算する。
【００４１】
空間加算部１０４は、単板カラー撮像素子１０２によって撮像された、カラー動画像の第１色の一部と、第２色及び第３色との光電変換値を空間方向に複数画素分加算する。
【００４２】
ここで、「空間方向への加算」とは、ある時刻に撮影された１フレーム（画像）を構成する、複数の画素の画素値を加算することである。具体的には、画素値が加算される「複数の画素」の例は、水平２画素×垂直１画素、水平１画素×垂直２画素、水平２画素×垂直２画素、水平２画素×垂直３画素、水平３画素×垂直２画素、水平３画素×垂直３画素、等である。これらの複数の画素に関する画素値（光電変換値）を空間方向に加算する。
【００４３】
高画質化部１０５は、時間加算部１０３によって時間加算された一部の第１色動画像、および、空間加算部１０４によって空間加算された一部の第１色動画像と第２色動画像および第３色動画像の各データを受け取り、これらに画像復元を行うことによって各画素における第１色から第３色の値を推定しカラー動画像を復元する。
【００４４】
図２は、高画質化部１０５のより詳細な構成の一例を示す構成図である。図２において、高画質化部１０５以外の構成は、図１と同一である。高画質化部１０５は、動き検出部２０１および高画質処理部２０２を有している。
【００４５】
動き検出部２０１は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、空間加算された一部の第１色動画像、第２色動画像、第３色動画像から動き（オプティカルフロー）を検出する。公知技術として、たとえばP. Anandan. "Computaional Framework and an algorithm for the measurement of visual motion", International Journal of Computer Vision, Vol. 2, pp. 283−310, 1989が知られている。
【００４６】
図３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。
【００４７】
探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ Ａｂｓｏｌｕｔｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
2012008143.tif 000003
【数２】
2012008143.tif 000004
【００４８】
（数１）および（数２）において、ｆ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
【００４９】
動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。
【００５０】
ここで、動き検出部２０１は、動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。なお、信頼度が「高い」、「低い」という表現は、信頼度と予め定められた基準値とを比較したときに、その基準値よりも「高い」か「低い」かを意味している。
【００５１】
動き検出部２０１による、隣り合う２フレーム画像間の画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，"Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ"，ＩＪＣＶ，２，２８３−３１０（１９８９）で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。また、画像全体の大域的動き(アフィン動きなど)検出の一般的手法や、Ｌｉｈｉ  Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ  Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｎｔｉｎｇ  Ｍｏｔｉｏｎ Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。
【００５２】
信頼度の求め方については、上記Ｐ．ＡＮＡＮＤＡＮの文献に記載の方法を用いてもよい。または、ブロックマッチングを用いた動き検出の場合には、（数３）のように、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤmaxから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値Ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤmaxから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。
【数３】
2012008143.tif 000005
【００５３】
上述のように、ブロックごとに信頼度を求める場合には、動き検出部２０１は、信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、新たな動画像を生成してもよい。
【００５４】
また、撮影機器の姿勢の変化を検出する姿勢センサの情報を入力として用いても良い。この場合、動き検出部２０１は加速度や角加速度センサを備え、加速度の積分値として速度や角速度を取得する。または、動き検出部２０１は、姿勢センサの情報を受け取る姿勢センサ入力部をさらに備えていてもよい。これにより、動き検出部２０１は姿勢センサの情報に基づいて、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。
【００５５】
例えば、カメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。カメラが時刻ｔに水平方向にωhの角速度を持ち、垂直方向にωvの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上（撮影画像上）の位置（ｘ，ｙ）における時刻ｔにおける像の２次元的動き（ｕ，ｖ）と一意に対応付けることができる。カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズなど）の特性（焦点距離やレンズひずみなど）と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ωh・ωvから、撮像素子上（ｘ，ｙ）の像の速度（ｕ，ｖ）を参照するようにしてもよい。
【００５６】
このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。
【００５７】
図４（ａ）および（ｂ）は、２×２画素の空間加算をする際の仮想的サンプル位置を示す。カラー撮像素子の各画素は、グリーン（Ｇ）、レッド（Ｒ）、ブルー（Ｂ）の３つの色の各成分を取得する。ここでは、グリーン（以下、Ｇと称す）を第１色とし、レッド（以下、Ｒと称す）、ブルー（以下、Ｂと称す）をそれぞれ第２色、第３色とする。
【００５８】
また、グリーン（Ｇ）の色成分画像のうち、時間加算されて得られる画像をＧLと記述し、空間加算されて得られる画像をＧSと記述する。なお、単に「Ｒ」，「Ｇ」，「Ｂ」，「ＧL」，「ＧS」と記載したときは、その色成分のみを含む画像を意味する。
【００５９】
図５は、ＧL、Ｇs、ＲおよびＢに関連する画素信号の読み出しタイミングを表す。ＧLは４フレーム分の時間加算によって得られ、Ｇs、Ｒ、Ｂは１フレームごとに得られる。
【００６０】
図４（ｂ）は、図４（ａ）のＲおよびＢを２×２画素の範囲で空間加算した場合の、仮想的なサンプル位置を示す。同じ色の４つの画素の画素値が加算される。得られた画素値は、その４画素の中心に位置する画素の画素値とされる。
【００６１】
この場合、仮想的なサンプル位置は、ＲもしくはＢについては、４画素おきに均等な配置になっている。しかし、空間加算による仮想的なサンプル位置において、ＲとＢの間隔は非均等である。そのため、（数１）もしくは（数２）による（ｕ，ｖ）を、この場合４画素おきに変化させる必要がある。もしくは、図４（ｂ）に示す仮想的なサンプル位置のＲとＢとの値から、各画素におけるＲとＢとの値を公知の補間方法によって求めた上で、上記の（ｕ，ｖ）を１画素おきに変化させるようにしてもよい。
【００６２】
上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。
【００６３】
＜各画素におけるＧの画素値の復元処理＞
高画質処理部２０２は、次式を最小化して、各画素におけるＧの画素値を計算する。
【数４】
2012008143.tif 000006
ここで、Ｈ1は時間サンプリング過程、Ｈ2は空間サンプリング過程、ｆは復元すべき高空間解像度かつ高時間解像度のＧ動画像、撮像部１０１によって撮像されたＧの動画像のうち、時間加算したものをｇL、空間加算したものをｇS、Ｍはべき指数、Ｑは復元すべき動画像ｆが満たすべき条件、すなわち拘束条件である。
【００６４】
たとえば数４の第１項に着目すると、第１項は、復元すべき高空間解像度かつ高時間解像度のＧ動画像ｆを、時間サンプリング過程Ｈ1によってサンプリングして得られたｇ動画像と、実際に時間加算によって得られたgLとの差の演算を意味する。時間サンプリング過程Ｈ1を予め定めておき、この差分を最小化するｆを求めると、このｆは、時間加算処理によって得られたgLと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆは、空間加算処理によって得られたgsと最もよく整合するといえる。
【００６５】
そして、数４を最小化するｆは、時間加算処理および空間加算処理によって得られたgLおよびgsの両方を総合的によく満足するといえる。高画質処理部２０２は、数４を最小化する、高空間解像度かつ高時間解像度のＧ動画像の画素値を計算する。なお、高画質処理部２０２は高空間解像度かつ高時間解像度のＧ動画像のみを生成するのではなく、高空間解像度のＢ動画像およびＲ動画像も生成する。それらの処理は後に詳しく説明する。
【００６６】
以下、数４に関してより詳しく説明する。
【００６７】
ｆ、ｇLおよびgSは、動画像の各画素値を要素とする縦ベクトルである。以下では、動画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、復元すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。
【００６８】
図４に示すようなベイヤ配列の撮像素子で撮像する場合、gLおよびgSの要素数は、それぞれｆの４分の１となり、１５００００００となる。ｆの縦横の画素数と信号処理に用いるフレーム数は、高画質化部１０５によって設定される。時間サンプリング過程Ｈ1は、ｆを時間方向にサンプリングする。Ｈ1は、行数がgLの要素数と等しく、列数がｆの要素数と等しい行列である。空間サンプリング過程Ｈ2は、ｆを空間方向にサンプリングする。Ｈ2は、行数がgSの要素数と等しく、列数がｆの要素数と等しい行列である。
【００６９】
現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数４）を最小化するｆを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、復元すべき動画像ｆを計算することができる。
【００７０】
次に、時間サンプリング過程Ｈ1の定式化を簡単な例を用いて説明する。幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の撮像素子で撮像し、ＧLを２フレーム分時間加算する場合のＧの撮像過程について考える。
【数５】
2012008143.tif 000007
【数６】
2012008143.tif 000008
【００７１】
これらによれば、サンプリング過程Ｈ1は以下のように定式化される。
【数７】
2012008143.tif 000009
ｇLの画素数は、２フレーム分の全画素読み出しした画素数の８分の１になる。
【００７２】
次に、空間サンプリング過程Ｈ2の定式化を簡単な例を用いて説明する。幅４画素（ｘ＝１，２，３，４）、高さ４画素（ｙ＝１，２，３，４）、１フレーム（ｔ＝１）の画像をベイヤ配列の撮像素子で撮像し、ＧSを４画素分空間加算する場合のＧの撮像過程について考える。
【数８】
2012008143.tif 000010
【数９】
2012008143.tif 000011
【００７３】
これらによれば、サンプリング過程Ｈ2は以下のように定式化される。
【数１０】
2012008143.tif 000012
ｇSの画素数は、１フレーム全画素読み出しした画素数の１６分の１になる。
【００７４】
（数５）と（数８）において、Ｇ111〜Ｇ222やＧ111〜Ｇ441は各画素におけるＧの値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。
【００７５】
（数４）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【００７６】
（数７）や（数１０）は、ｆを時間的／空間的にサンプリングしてｇを得る過程を示す。逆に、ｇからｆを復元する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１１）を最小化するｆは無数に存在する。
【数１１】
2012008143.tif 000013
【００７７】
このことは、サンプリングされない画素値に任意の値を入れても（数１１）が成り立つことから、容易に説明できる。そのため、（数１１）の最小化によってｆを一意に解くことはできない。
【００７８】
そこで、ｆについての一意な解を得るために、拘束条件Ｑを導入する。Ｑは、画素値ｆの分布に関する滑らかさの拘束条件や、ｆから得られる動画像の動きの分布に関する滑らかさの拘束条件を与える。本明細書では、後者を動き拘束条件と呼び、前者を動き拘束条件以外の拘束条件と呼ぶこともある。拘束条件Ｑとして、動き拘束条件を利用するかどうか、および／または、動き拘束条件以外の拘束条件を利用するかどうかは、撮像処理装置１００において予め定められていればよい。
【００７９】
画素値ｆの分布に関する滑らかさの拘束としては、以下の拘束式を用いる。
【数１２】
2012008143.tif 000014
【数１３】
2012008143.tif 000015
ここで、∂ｆ／∂ｘは復元すべき動画像の画素値のｘ方向の１階の微分値を要素とする縦ベクトル、∂ｆ／∂ｙは復元すべき動画像の画素値のｙ方向の１階の微分値を要素とする縦ベクトル、∂2ｆ／∂ｘ2は復元すべき動画像の画素値のｘ方向の２階の微分値を要素とする縦ベクトル、∂2ｆ／∂ｙ2は復元すべき動画像の画素値のｙ方向の２階の微分値を要素とする縦ベクトルである。また、｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数４）、（数１１）におけるべき指数Ｍと同様に、１または２が望ましい。
【００８０】
なお、上記の偏微分値∂ｆ／∂ｘ、∂ｆ／∂ｙ、∂2ｆ／∂ｘ2、∂2ｆ／∂ｙ2は、着目画素近傍の画素値による差分展開により、例えば（数１４）により近似計算することができる。
【数１４】
2012008143.tif 000016
【００８１】
差分展開は上記（数１４）に限らず、例えば（数１５）の様に、近傍の他の画素を参照するようにしてもよい。
【数１５】
2012008143.tif 000017
【００８２】
（数１５）は（数１４）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。
【数１６】
2012008143.tif 000018
【００８３】
差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数１４）を用いて行ってもよい。
【００８４】
なお、動画像ｆの画素値の分布に関する滑らかさの拘束としては、（数１２）、（数１３）に限らず、例えば、（数１７）に示す２階の方向微分の絶対値のｍ乗を用いても良い。
【数１７】
2012008143.tif 000019
【００８５】
ここで、ベクトルｎminおよび角度θは１階の方向微分の２乗が最小になる方向であり、下記（数１８）によって与えられる。
【数１８】
2012008143.tif 000020
【００８６】
さらに、動画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数１９)から（数２１)のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。
【数１９】
2012008143.tif 000021
【数２０】
2012008143.tif 000022
【数２１】
2012008143.tif 000023
【００８７】
（数１９）から（数２１）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数２２）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化させることができる。
【数２２】
2012008143.tif 000024
【００８８】
このような重み関数を導入することにより、復元される動画像ｆが必要以上に平滑化されることを防ぐことができる。
【００８９】
また、（数２２）に示す輝度こう配の成分の２乗和の代わりに、（数２３）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数２３】
2012008143.tif 000025
【００９０】
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数２４）によって与えられる。
【数２４】
2012008143.tif 000026
【００９１】
（数１２）、（数１３）、（数１７）〜（数２１）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数４）を解く問題は、公知の解法（有限要素法等の変分問題の解法）によって計算することができる。
【００９２】
ｆに含まれる動画像の動きの分布に関する滑らかさの拘束としては、下記（数２５）または（数２６）を用いる。
【数２５】
2012008143.tif 000027
【数２６】
2012008143.tif 000028
ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。
【００９３】
ｆから得られる動画像の動きの分布に関する滑らかさの拘束としては、（数２１）、（数２２）に限らず、例えば（数２７）、（数２８）に示す１階または２階の方向微分としてもよい。
【数２７】
2012008143.tif 000029
【数２８】
2012008143.tif 000030
【００９４】
さらに、（数２９）〜（数３２）に示すように、（数２１）〜（数２４）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。
【数２９】
2012008143.tif 000031
【数３０】
2012008143.tif 000032
【数３１】
2012008143.tif 000033
【数３２】
2012008143.tif 000034
ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一のものであり、（数２２）に示す画素値のこう配の成分の、べき乗和、または、（数２３）に示す方向微分の、べき乗によって定義されるものである。
【００９５】
このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、復元される動画像ｆが必要以上に平滑化されることを防ぐことができる。
【００９６】
（数２５）〜（数３２）に示したような、動画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解く問題は、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。復元すべき動画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。
【００９７】
この問題に対しては、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。その際、繰り返し計算に、復元すべき動画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。
【００９８】
ｆの初期値としては、入力動画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、高画質化部１０５が、上述のごとく、（数２５）〜（数３２）に示したような、動画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解くことにより、超解像処理結果の画質を向上させることができる。
【００９９】
高画質化部１０５における処理は、（数１２）、（数１３）、（数１７）〜（数２１）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数２５）〜（数３２）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数３３）のように同時に用いてもよい。
【数３３】
2012008143.tif 000035
ここで、Ｑfはｆの画素値のこう配に関する滑らかさの拘束、Ｑuvはｆから得られる動画像の動きの分布に関する滑らかさの拘束、λ1，λ2はＱfとＱuvの拘束に関する重みである。
【０１００】
画素値の分布に関する滑らかさの拘束と、動画像の動きの分布に関する滑らかさの拘束の両方を導入して（数４）を解く問題も、公知の解法（たとえばＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。
【０１０１】
また、動きに関する拘束は、（数２５）〜（数３２）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、（数３４）のように表せる。
【数３４】
2012008143.tif 000036
【０１０２】
ｆをベクトルとして、動画像全体について考えると、各画素における残差は下記（数３５）に示すようにベクトル表現することができる。
【数３５】
2012008143.tif 000037
【０１０３】
残差の平方和は下記（数３６）に示すように表すことができる。
【数３６】
2012008143.tif 000038
【０１０４】
（数３５）、（数３６）において、Ｈmはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈmでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。
【０１０５】
動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
【０１０６】
（数３６）をＱmとおき、拘束条件を（数３７）のようにしてもよい。
【数３７】
2012008143.tif 000039
ここで、λ３は拘束条件Ｑmに関する重みである。
【０１０７】
以上述べた方法により、動き検出部２０１でＧSとＲとＢの低解像度動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＧの動画像（複数フレームにわたって時間蓄積された画像ＧLと１フレーム内で空間加算された画像ＧS）を高画質化部１０５で高時空間解像度化することができる。
【０１０８】
＜各画素におけるＲ，Ｂの画素値の復元処理＞
ＲとＢについては、簡易な処理によってより高解像度化した結果をカラー動画像として出力できる。たとえば、図６に示すように、Ｒ動画像、Ｂ動画像に上述の高時空間解像度化したＧの高周波成分を重畳すればよい。その際、高周波数域以外（中低周波数域の）のＲ、Ｇ、Ｂ間の局所的な相関関係に応じて、重畳する高域成分の振幅を制御してもよい。これにより、偽色の発生を抑え、見た目に自然な高解像度化された動画像を得ることができる。
【０１０９】
また、Ｒ、Ｂについても、高時空間高解像度化したＧの高域を重畳して高解像度化するので、より安定した高解像度化が可能となる。
【０１１０】
図６は、上述の動作を行う高画質処理部２０２の構成の一例である。高画質処理部２０２は、Ｇ復元部５０１と、サブサンプリング部５０２と、Ｇ補間部５０３と、Ｒ補間部５０４と、Ｒ用ゲイン制御部５０５と、Ｂ補間部５０６と、Ｂ用ゲイン制御部５０７と、出力端子２０３Ｇ、２０３Ｒおよび２０３Ｂを備えている。
【０１１１】
上述の通り、本実施形態においては、２種類のＧの動画像、すなわち時間方向への加算が行われて得られたＧL、および、空間方向への加算が行われて得られたＧSが生成される。そのため高画質処理部２０２には、Ｇの動画像を復元するためのＧ復元部５０１が設けられている。
【０１１２】
Ｇ復元部５０１は、ＧLおよびＧSを利用してＧの復元処理を行う。この処理は上述の通りである。
【０１１３】
サブサンプリング部５０２は、高解像度化したＧをＲ，Ｂと同じ画素数に間引く（サブサンプリングする）。
【０１１４】
Ｇ補間部５０３は、サブサンプリング部５０２によって画素数が間引かれたＧを、再びもとの画素数に戻す処理を行う。具体的にはＧ補間部５０３は、サブサンプリングによって画素値が失われた画素における画素値を補間によって計算する。補間方法は周知の方法であってもよい。サブサンプリング部５０２およびＧ補間部５０３を設けた目的は、Ｇ復元部５０１から出力されたＧと、サブサンプリングおよび補間が行われたＧとを利用して、Ｇの高空間周波数成分を求めるためである。
【０１１５】
Ｒ補間部５０４は、Ｒを補間する。
【０１１６】
Ｒ用ゲイン制御部５０５は、Ｒに重畳するＧの高域成分に対するゲイン係数を計算する。
【０１１７】
Ｂ補間部５０６は、Ｂを補間する。
【０１１８】
Ｂ用ゲイン制御部５０７は、Ｂに重畳するＧの高域成分に対するゲイン係数を計算する。
【０１１９】
出力端子２０３Ｇ、２０３Ｒおよび２０３Ｂは、高解像度化されたＧ、ＲおよびＢをそれぞれ出力する。
【０１２０】
なお、Ｒ補間部５０４およびＢ補間部５０６における補間方法は、それぞれＧ補間部５０３と同じであってもよいし、異なっていてもよい。補間部５０３、５０４および５０６がいずれも異なる補間方法を用いてもよい。
【０１２１】
以下、上述の高画質処理部２０２の動作を説明する。
【０１２２】
Ｇ復元部５０１は、時間方向への加算が行われて得られたＧL、および、空間方向への加算が行われて得られたＧSを用い、かつ、拘束条件を設定して数４を最小化するｆを求めることにより、高解像度かつ高フレームレートの動画像Ｇを復元する。Ｇ復元部５０１は、復元結果を出力画像のＧ成分として出力する。当該Ｇ成分はサブサンプリング部５０２に入力される。サブサンプリング部５０２は、入力されたＧ成分を間引く。
【０１２３】
Ｇ補間部５０３は、サブサンプリング部５０２で間引かれたＧ動画像を補間する。これにより、サブサンプリングによって画素値が失われた画素における画素値が、周囲の画素値からの補間によって計算される。このようにして補間計算されたＧ動画像を、Ｇ復元部５０１の出力から差し引くことによって、Ｇの高空間周波数成分Ｇhighが抽出される。
【０１２４】
一方、Ｒ補間部５０４は、空間加算されたＲ動画像をＧと同じ画素数になるよう補間拡大する。Ｒ用ゲイン制御部５０５は、Ｇ補間部５０３の出力（すなわち、Ｇの低空間周波成分）とＲ補間部５０４の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば（数３８）により、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数が計算される。
【数３８】
2012008143.tif 000040
【０１２５】
このようにして計算されたＲとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分Ｇhighに乗じた後、Ｒ補間部５０４の出力に加算することにより、Ｒ成分の高解像度化が行なわれる。
【０１２６】
Ｂ成分についてもＲ成分と同様に処理する。すなわち、Ｂ補間部５０６は、空間加算されたＢ動画像を、Ｇと同じ画素数になるよう補間拡大する。Ｂ用ゲイン制御部５０７は、Ｇ補間部５０３の出力（すなわち、Ｇの低空間周波成分）とＢ補間部５０６の出力との間での、局所的な相関係数を計算する。局所的な相関係数として、例えば（数３９）により、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数が計算される。
【数３９】
2012008143.tif 000041
【０１２７】
このようにして計算されたＢとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分Ｇhighに乗じた後、Ｂ補間部５０６の出力に加算することにより、Ｂ成分の高解像度化が行なわれる。
【０１２８】
なお、上述した復元部２０２におけるＧおよびＲ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば復元部２０２においてＲ，Ｇ，Ｂの画素値を同時に計算してもよい。
【０１２９】
すなわちＧ復元部５０１において、目的とするカラー動画像ｇにおける各色の動画像の空間的変化パターンが近い程度を表す評価関数Ｊを設定し、評価関数Ｊを最小化する目的動画像ｆを求める。空間的変化パターンが近いことは、Ｂ動画像、Ｒ動画像、およびＧ動画像の空間的変化が相互に相似していることを意味する。
【０１３０】
評価関数Ｊの一例を（数４０）に示す。
【数４０】
2012008143.tif 000042
【０１３１】
評価関数Ｊは、生成したい高解像度カラー動画像（目的動画像）ｆを構成する赤、緑、および青の各色の動画像（画像ベクトルとしてそれぞれＲH，ＧH、ＢHと表記する。）の関数として定義される。（数４０）におけるＨR、ＨG、ＨBは、それぞれ、目的動画像ｆの各色動画像ＲH，ＧH、ＢHから、各色の入力動画像ＲL，ＧL、ＢL（ベクトル表記）への低解像度化変換を表す。ＨRおよびＨG、ＨBは、それぞれ、例えば（数４１）（数４２）（数４３）に示されるような低解像度化の変換である。
【数４１】
2012008143.tif 000043
【数４２】
2012008143.tif 000044
【数４３】
2012008143.tif 000045
【０１３２】
入力動画像の画素値は、目的動画像の対応する位置を中心とした、局所領域の画素値の重み付け和となっている。
【０１３３】
（数４１）、（数４２）、（数４３）において、ＲH（ｘ，ｙ）ＧH（ｘ，ｙ）ＢH（ｘ，ｙ）は、それぞれ、目的動画像ｆの画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値、青（Ｂ）の画素値を示す。また、ＲL（ｘRL，ｙRL）、ＧL（ｘGL，ｙGL）、ＢL（ｘBL，ｙBL）は、それぞれ、Ｒの画素位置（ｘRL，ｙRL）の画素値、Ｇの画素位置（ｘGL，ｙGL）の画素値、Ｂの画素位置（ｘBL，ｙBL）の画素値を示している。ｘ（ｘRL）、ｙ（ｙRL）、ｘ（ｘGL）、ｙ（ｙGL）、ｘ（ｘBL）、ｙ（ｙBL）は、それぞれ、Ｒの画素位置（ｘRL，ｙRL）に対応する目的動画像の画素位置のｘ、ｙ座標と、Ｇの画素位置（ｘGL，ｙGL）に対応する目的動画像の画素位置のｘ、ｙ座標と、入力動画像のＢの画素位置（ｘBL，ｙBL）に対応する目的動画像の画素位置のｘ、ｙ座標とを表している。また、ｗRとｗGとｗBは、ＲとＧとＢの入力動画像の画素値に対する目的動画像の画素値の重み関数をそれぞれ示している。なお、（ｘ’，ｙ’）∈Ｃは、ｗRとｗGとｗBとが定義される局所領域の範囲を示している。
【０１３４】
低解像度化動画像および入力動画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数４０）の第１項、第２項、および第３項）。つまり、これらの評価条件は、低解像度化動画像に含まれる各画素値を要素とするベクトルと、入力動画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。
【０１３５】
（数４０）の第４項のＱsは、画素値の空間的な滑らかさを評価する評価条件である。
【０１３６】
Ｑsの例であるＱs1およびＱs2を（数４４）および（数４５）に示す。
【数４４】
2012008143.tif 000046
【０１３７】
（数４４）において、θH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値である。ここで、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角を表し、ｒH（ｘ，ｙ）は動径を表す。
【０１３８】
図７は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。
【０１３９】
図７では、一例として、θ＝０°かつψ＝０°の方向をＲＧＢ色空間のＲ軸の正方向とし、θ＝９０°かつψ＝０°の方向をＲＧＢ色空間のＧ軸の正方向としている。ここで、偏角の基準方向は、図７に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１４０】
目的動画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現すると、画素の明るさ（信号強度、輝度も同義である）は、ベクトルの大きさを表すｒ軸の座標値に相当する。また、画素の色彩（色相、色差、彩度などを含む色情報）を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系（θ、ψ、ｒ）を用いることにより、画素の明るさおよび色彩を規定するｒ、θ、ψの３つのパラメータを個別に取り扱うことができる。
【０１４１】
（数４４）は、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４４）は、目的動画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Ｑs1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Ｑs1の値が小さくあるべきということは、目的動画像内の空間的に隣り合う画素の色が連続すべきということを表している。
【０１４２】
動画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、（数４４）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数４４）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数４４）の大括弧内の第１項および第２項）とを個別に設定することにより、望ましい画質を得やすくなる。
【０１４３】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、およびλr（ｘ，ｙ）は、それぞれ、θ軸、ψ軸、およびｒ軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みである。これらの値は、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力動画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１４４】
画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
【０１４５】
なお、（数４４）では、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
【０１４６】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１４７】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【数４５】
2012008143.tif 000047
【０１４８】
（数４５）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１４９】
（数４５）は、目的動画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数４５）は、目的動画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
【０１５０】
条件Ｑs2の値が小さくあるべきことは、目的動画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１５１】
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１５２】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１５３】
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
【０１５４】
例えば、（数４４）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の動画像の生成が容易になるという利点がある。
【０１５５】
（数４５）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１５６】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件設定できる。このため、単純に赤、緑、青の各色成分（コンポーネント）の画素値を用いて条件を設定する場合と比べて、得られる目的動画像の画質の向上が期待できる。
【０１５７】
なお、評価関数Ｊは、上記に限定するものではなく、（数４０）の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。
【０１５８】
次に、（数４０）の評価関数Ｊの値をできるだけ小さく（望ましくは最小に）する目的動画像の各画素値を求めることによって、目的動画像の各色動画像ＲH、ＧH、ＢHを生成する。
【０１５９】
評価関数Ｊを最小にする目的動画像ｆは、例えば、（数４０）中のべき指数ｐを２としたとき、Ｊを目的動画像ｆの各色動画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（数４６）の方程式を解いて求めることができる。
【数４６】
2012008143.tif 000048
【０１６０】
各辺の微分式が０になるのは、数４０の各項が表している各２次式の傾きが０となるときである。このときのＲH、ＧH、ＢHが、各２次式の最小値を与える望ましい目的動画像であるといえる。大規模な連立一次方程式の解法として、たとえば共役勾配法を用いて目的動画像を求める。
【０１６１】
一方、（数４０)のべき指数ｐが２以外の場合は、評価関数Ｊの最小化には非線形最適化が必要になる。その場合の方法として、たとえば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的動画像を求める。
【０１６２】
なお、本実施形態では、出力するカラー動画像をＲＧＢとして説明したが、例えばＹＰｂＰｒ等、ＲＧＢ以外のカラー動画像を出力することももちろんできる。すなわち、上記（数４６）と、下記（数４７）とから、（数４８）に示す変数変換を行うことができる。
【数４７】
2012008143.tif 000049
【数４８】
2012008143.tif 000050
【０１６３】
さらに、上述のカラー動画像の映像信号が一般的なビデオ信号（ＹＰｂＰｒ＝４：２：２）であるとする。Ｐｂ、ＰｒはＹと比べて水平画素数が半分であることを考慮すると、下記（数４９）の関係を利用することにより、ＹH、ＰｂL、ＰｒLについての連立方程式を立てることができる。
【数４９】
2012008143.tif 000051
【０１６４】
この場合、連立方程式で解くべき変数の総数をＲＧＢの場合と比べて３分の２に低減させることができ、演算量を低減できる。
【０１６５】
図８は、実施形態１の処理における入力動画像と出力動画像のイメージ図を表したものである。
【０１６６】
また、図９は、単板の撮像素子において、Ｇ画素をすべて長時間露光した場合と実施形態１で提案した方法との処理後のＰＳＮＲ値との対応関係を示す。実施形態１で提案した方法は、Ｇ画素をすべて長時間露光した結果よりも高いＰＳＮＲの値を示しており、多くの動画像で２ｄＢ近く画質が改善できていることが確認できる。この比較実験では、１２個の動画像を用いており、それぞれの動画像の３シーン(それぞれ５０フレーム間隔離れた静止画３枚)を図１０から図１５に示す。
【０１６７】
以上説明したように、実施形態１によれば、単板撮像素子に時間加算と空間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力動画像に対して復元処理を施すことによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、動きぶれのすくない動画像（空間加算と時間加算を行なわずに全画素を読み出した動画像）を推定し復元することができる。
【０１６８】
上記の例では、動画像の生成の方法を記述したが、高画質処理部２０２は動画像の生成と併せて、生成した動画像の信頼度を出力しても良い。動画像生成における「信頼度γ」は、生成された動画像が正確に高速高解像化されている度合いを予測する値である。γの決め方としては、以下の（数５０） に示される動きの信頼度の総和や、有効な拘束条件の数Ｎと求めるべき動画像の総画素数Ｍ（＝フレーム数×１フレーム画像の画素数）との比率Ｎ／Ｍなどを用いることができる。ここでＮ＝Ｎｈ＋Ｎｌ＋Ｎλ×Ｃであり、Ｎｈは高速画像の総画素数（フレーム数×１フレーム画像の画素数）、Ｎｌは低速画像の総画素数、Ｎλは外部拘束条件を有効にする時空間位置（ｘ，ｙ，ｔ）の外部拘束の種類の数とする。
【数５０】
2012008143.tif 000052
【０１６９】
なお、（数４０） などの方程式を連立１次元方程式として解く場合には、Ｃｌｉｎｅ，Ａ．Ｋ．，Ｍｏｌｅｒ，Ｃ．Ｂ．，Ｓｔｅｗａｒｔ，  Ｇ．Ｗ．ａｎｄ  Ｗｉｌｋｉｎｓｏｎ，Ｊ．Ｈ．，“Ａｎ  Ｅｓｔｉａｔｅ  ｆｏｒ  ｔｈｅ Ｃｏｎｄｉｔｉｏｎ  Ｎｕｍｂｅｒ  ｏｆ  ａ  Ｍａｔｒｉｘ”，ＳＩＡＭ  Ｊ．Ｎｕｍ．  Ａｎａｌ．１６（１９７９），３６８−３７５．などに記載されている計算式において、安定解となる動画像を得るための条件の数を信頼度として用いることができる。
【０１７０】
動き検出部２０１によって求められる信頼度が高い場合、動き検出結果に基づく動き拘束条件を用いて生成された動画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成動画像を安定して得ることができ、生成動画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できるため、生成される動画像の信頼度が高いと期待できる。
【０１７１】
このように、生成される動画像の信頼度を出力することで、出力した動画像に対してＭＰＥＧなどの圧縮符号化を行う際に、高画質処理部２０２は、信頼度の高低に応じて、圧縮率を変更することが可能になる。たとえば以下に説明する理由により、高画質処理部２０２は信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となる。これにより、適切な圧縮率の設定が可能となる。
【０１７２】
図１６は、生成される動画像の信頼度γと符号化の圧縮率δとの関係を示す。信頼度γと圧縮率δとの関係を図１６に示すように単調増加の関係に設定し、高画質処理部２０２は、生成された動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成動画像の信頼度γが低い場合には生成された動画像は誤差を含み得るため、圧縮率を高くしても画質面で実質的に情報の欠損があまり生じないことが期待される。よって効果的にデータ量を削減できる。ここで圧縮率とは、もとの動画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。
【０１７３】
同様に、ＭＰＥＧの場合などでは、信頼度の高いフレームを優先的にＩピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の速送り再生や一次停止時などの画質を向上させることが可能となる。ここで、信頼度が「高い」、「低い」という表現は、信頼度と予め定められた閾値とを比較したときに、信頼度がその閾値よりも「高い」か「低い」かを意味している。
【０１７４】
例えば、生成された動画像の信頼度をフレーム毎に求めておきγ（ｔ ）と置く。ｔ はフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ（ｔ）が予め定めた閾値γｔｈより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ（ｔ）の大きいフレームを選択する。このとき高画質処理部２０２は、算出した信頼度γ（ｔ ）の値を動画像とともに出力してもよい。
【０１７５】
また、高画質処理部２０２は、低速動画像を輝度と色差に分解し、輝度の動画像のみを上記の処理で高速高解像度化してもよい。この結果得られた高速高解像度化された輝度の動画像を、本明細書では「中間的動画像」と呼ぶ。高画質処理部２０２は色差情報を補完拡大し、上述の中間的動画像に付加することによって、動画像を生成してもよい。上述の処理によれば、動画像の情報の主成分は輝度に含まれるため、他方の色差の情報が補完拡大された場合であっても、両者を利用して最終的な動画像を生成することで、入力された画像に比べて、高速高解像度化した動画像を得ることが可能となる。さらにＲ、Ｇ、Ｂ独立に処理する場合に比べて処理量を削減することが可能となる。
【０１７６】
また、高画質処理部２０２は、Ｒ、Ｇ、Ｂの各動画像の少なくとも１つについて、隣り合うフレーム画像の時間的な変化量（残差平方和ＳＳＤ）を予め設定しておいた閾値と比較し、ＳＳＤが閾値を越える場合に、残差平方和ＳＳＤを算出した時刻ｔのフレームと時刻ｔ＋１のフレームとの間を処理の境界とし、時刻ｔ以前のシーケンスと時刻ｔ＋１以降のシーケンスの処理を分けて行ってもよい。より具体的には、高画質処理部２０２は、算出した変化量が予め定めた値を超えないときには、動画像を生成する計算は行わず、時刻ｔ以前に生成した画像を出力し、超えた直後から新たな動画像を生成する処理を開始する。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなり、不連続性が知覚されにくくなるという効果が期待できるため、画像生成の計算回数を減らすことができる。
【０１７７】
（実施形態２）
実施形態１においては、ＧSとＲとＢについて空間的に加算した画素数を利用した。本実施形態では、ＧSとＲとＢが空間的な加算を行わない動画像復元方法を説明する。
【０１７８】
図１７は、本実施形態による撮像処理装置５００の構成を示す構成図である。図１７において、図１と同じ動作をする構成要素には図１と同一の符号を付し、その説明を省略する。
【０１７９】
図１に示す撮像処理装置１００と比べると、図１７に示す撮像処理装置５００には空間加算部１０４がない。撮像処理装置５００では、撮像素子１０２の出力は高画質化部１０５の動き検出部２０１と高画質処理部２０２に入力される。また、時間加算部１０３の出力は高画質処理部２０２に入力される。
【０１８０】
以下、図１８を参照しながら、高画質処理部２０２の構成および動作を説明する。
【０１８１】
図１８は、高画質処理部２０２の詳細な構成を示す。高画質処理部２０２は、Ｇ簡易復元部１９０１と、Ｒ補間部５０４と、Ｂ補間部５０６と、ゲイン調整部５０７ａと、ゲイン調整部５０７ｂとを有している。
【０１８２】
まずＧ簡易復元部１９０１を詳細に説明する。
【０１８３】
Ｇ簡易復元部は１９０１と、実施形態１に関連して説明したＧ復元部５０１とを比較すると、Ｇ簡易復元部は１９０１の計算量の方が削減されている。
【０１８４】
図１９は、Ｇ簡易復元部１９０１の構成を示す。
【０１８５】
重み係数算出部２００３は、動き検出部２０１（図１７）の動きベクトルを受け取る。重み係数算出部２００３は、受け取った動きベクトルの値をインデックスにして、対応する重み係数を出力する。
【０１８６】
ＧS算出部２００１は、時間加算したＧLの画素値を受け取り、その画素値を利用してＧSの画素値を算出する。Ｇ補間部５０３ａはＧS算出部２００１によって算出されたＧSの画素値を受け取って補間拡大を行う。補間拡大されたＧsはＧ補間部５０３ａから出力され、その後、整数値１から、重み係数算出部２００３から出力された重み係数の差分をとった値（１−重み係数値）と乗算される。
【０１８７】
ＧL算出部２００２は、ＧSの画素値を受け取り、ゲイン調整部２００４で画素値をゲインアップした後に、その画素値を利用してＧLの画素値を算出する。ゲイン調整部２００４は、長時間露光したＧLの輝度と短時間露光ＧSの輝度との差（輝度差）を減少する。ゲインアップは、長時間露光の期間が４フレームの場合には、ゲイン調整部２００４では、入力画素値に４をかけるという計算であってもよい。Ｇ補間部５０３ｂはＧL算出部２００２によって算出されたＧLの画素値を受け取って補間拡大を行う。補間拡大されたＧLはＧ補間部５０３ｂから出力され、その後、重み係数と乗算される。Ｇ簡易復元部１９０１は、重み係数を用いて乗算を行った２つの動画像を加算し、出力する。
【０１８８】
再び図１８を参照する。ゲイン調整部５０７ａおよびゲイン調整部５０７ｂは、入力画素値をゲインアップする機能を有する。これは、短時間露光の画素（Ｒ、Ｂ）と長時間露光の画素ＧLとの輝度差を減少するために行う。ゲインアップは、長時間の期間が４フレームなら、画素値に４をかけるという計算であってもよい。
【０１８９】
なお上述のＧ補間部５０３ａおよびＧ補間部５０３ｂは、受け取った動画像に補間拡大処理を行う機能を有していればよい。補間拡大処理は、それぞれ同じ方法による処理であってもよいし、異なる処理であってもよい。
【０１９０】
図２０（ａ）および（ｂ）は、ＧS算出部２００１およびＧL算出部２００２の処理の例を示す。図２０（ａ）は、ＧS算出部２００１がＧSの周囲に存在する４つのＧLの画素値を利用してＧSの画素値を算出する例を示す。たとえばＧS算出部２００１は、４つのＧLの画素値を加算した後に、整数値４で除算する。得られた値を当該４画素から均等の位置に存在するＧSの画素値とすればよい。
【０１９１】
図２０（ｂ）は、ＧL復元部２００２がＧLの周囲に存在する４つのＧSの画素値を利用して、ＧLの画素値を算出する例を示す。先のＧS算出部２００１と同様、ＧL復元部２００２は４つのＧSの画素値を加算した後に整数値４で除算し、得られた値を当該４画素から均等の位置に存在するＧLの画素値とすればよい。
【０１９２】
ここでは、算出する画素の周囲４つの画素値を利用する方法を記載したが、それに限るものではない。周囲の画素の中で画素値の近いものを選出して、ＧSもしくはＧLの画素値の算出に利用してもよい。
【０１９３】
以上述べたように、実施形態２によれば、Ｇ簡易復元部１９０１を利用することによって、実施形態１と比較して、少ない計算量で、高解像度かつ高フレームで動きブレのすくない動画像を推定し、復元することができる。
【０１９４】
（実施形態３）
実施形態１や実施形態２では、Ｒ、Ｇ、Ｂ毎に全画素を算出する場合について説明した。本実施形態では、ベイヤ配列の色画素の箇所のみ算出し、算出後に、ベイヤ復元処理を行う方法について説明する。
【０１９５】
図２１は、実施形態１の高画質処理部２０２の構成に、さらにベイヤ復元部２２０１が追加された構成を示す。図４において、Ｇ復元部５０１、Ｒ補間部５０４、Ｂ補間部５０６は、全画素の画素値を算出していた。図２１において、Ｇ復元部１４０１、Ｒ補間部１４０２、Ｂ補間部１４０３は、ベイヤ配列で割り当てられた色の画素部分のみ算出する。そのため、ベイヤ復元部２２０１への入力値は、Ｇの動画像であれば、ベイヤ配列のＧ画素のみ画素値が含まれる。Ｒ、Ｇ、Ｂの動画像がベイヤ復元部２２０１で処理され、Ｒ、Ｇ、Ｂのそれぞれの動画像は、全画素に画素値が補間された動画像になる。
【０１９６】
ベイヤ復元部２２０１は、図２２に示すベイヤ配列のカラーフィルターを用いる単板撮像素子の出力から全画素位置のＲＧＢの値を算出する。ベイヤ配列では、ある画素位置には、ＲＧＢ３色のうち１つの色情報しかない。ベイヤ復元部２２０１は、残り２色の情報を算出する。ベイヤ復元部２２０１のアルゴリズムはいくつか提案されているが、ここでは一般的に用いられているＡＣＰＩ（Adaptive Color Plane Interpolation）法を紹介する。
【０１９７】
たとえば、図２２の画素位置（３，３）はＲ画素になっているため、残り２色のＢとＧの各画素値を算出する必要がある。ＡＣＰＩ法の手順は、輝度成分の強いＧの成分の補間値を先に求め、その後求めたＧの成分の補間値を用いてＢまたはＲの補間値を求める。ここで、算出するＢとＧをそれぞれＢ'、Ｇ'と表す。Ｇ'（３，３)を算出するベイヤ復元部２２０１の計算方法を（数５１)に示す。
【数５１】
2012008143.tif 000053
【０１９８】
（数５１）のαとβの計算式を（数５２）に示す。
【数５２】
2012008143.tif 000054
Ｂ'（３，３)を算出するベイヤ復元部２２０１の計算方法を（数５３)に示す。
【数５３】
2012008143.tif 000055
【０１９９】
（数５３）のαとβの計算式を（数５４）に示す。
【０２００】
【数５４】
2012008143.tif 000056
【０２０１】
また他の例として、ベイヤ配列のＧの画素位置（２，３）のＲ’とＢ’は、それぞれ（数５５）、（数５６)に示す計算式で算出する。
【数５５】
2012008143.tif 000057
【数５６】
2012008143.tif 000058
【０２０２】
ここでは、ＡＣＰＩ法でのベイヤ復元部２２０１を紹介したが、これに限るものではなく、色相を考慮した方法やメジアンを用いた補間法で、全画素位置のＲＧＢを算出してもよい。
【０２０３】
図２３は、実施形態２の高画質処理部２０２の構成に、さらにベイヤ復元部２２０１が追加された構成を示す。実施形態２では、高画質化部１０５は、Ｇ補間部５０３、Ｒ補間部５０４、Ｂ補間部５０６を含んでいた。本実施形態では、Ｇ補間部５０３、Ｒ補間部５０４、Ｂ補間部５０６を行わず、ベイヤ配列で割り当てられた色の画素部分のみ算出する。そのため、ベイヤ復元部２２０１への入力値は、Ｇの動画像であれば、ベイヤ配列のＧ画素のみ画素値が含まれる。Ｒ、Ｇ、Ｂの動画像がベイヤ復元部２２０１で処理され、Ｒ、Ｇ、Ｂのそれぞれの動画像は、全画素に画素値が補間された動画像になる。実施形態２では、ＧSとＧLの補間後に、それぞれＧの画素全体の補間を行ってから重み係数で乗算していたが、ベイヤ復元を利用することによって、Ｇの画素全体の補間処理を１度に減らすことができる。
【０２０４】
本実施例で利用するベイヤ復元処理とは、ベイヤ配列のフィルターを用いた色再現に用いる既存の補間方法を指す。
【０２０５】
以上述べたように、実施形態３によれば、ベイヤ復元を利用することによって、補間拡大による画素の補間よりも、色ずれやにじみを低減でき、実施形態２においては、計算量を削減することができる。
【０２０６】
（実施形態４）
実施形態１では、Ｒ、Ｂ、ＧSについての空間的な加算の画素数と、ＧLについての時間的な加算の画素数とがあらかじめ決まっている場合の例を説明した。
【０２０７】
本実施形態では、カメラへの入射光量に応じて加算する画素数を制御する例を説明する。
【０２０８】
図２４は、本実施形態による撮像処理装置３００の構成を示す。図２４において、図１と同じ動作をする構成要素には、図１と同一の符号を付し、その説明を省略する。以下、図２５を参照しながら制御部１０７の動作を説明する。
【０２０９】
図２５は、本実施形態による制御部１０７の構成を示す。
【０２１０】
制御部１０７は、光量検出部２８０１と、時間加算処理制御部２８０２と、空間加算処理制御部２８０３と、高画質化処理制御部２８０４とを備えている。
【０２１１】
制御部１０７は、光量に応じて時間加算部１０３、空間加算部１０４による加算画素数を変更する。
【０２１２】
光量の検出は光量検出部２８０１が行う。光量検出部２８０１は、撮像素子１０２からの読み出し信号の全平均、色毎の平均を利用して光量を測定してもよいし、時間加算後や空間加算後の信号を利用して光量を測定してもよい。または光量検出部２８０１は、画像復元１０５によって復元された動画像の輝度レベルを利用して光量を測定してもよいし、別途、受けた光の量に応じた大きさの電流を出力する光電センサなどを設けて光量を測定してもよい。
【０２１３】
光量が十分（たとえば飽和レベルの半分以上）であることを光量検出部２８０１が検出したときには、制御部１０７は、加算読み出しを行わずに、１フレームに対して全画素を読み出すよう制御する。具体的には、時間加算処理制御部２８０２は、時間加算部１０３に時間加算を行わないように制御する。また、空間加算処理制御部２８０３は、空間加算部１０４に空間加算を行わないように制御する。また、高画質化処理制御部２８０４は、入力されるＲＧＢに対して、高画質化部１０５の構成のうち、ベイヤ復元部２２０１のみ動作させるように制御する。
【０２１４】
光量が不足し、飽和レベルの１／２、１／３、１／４、１／６，１／９と低下したことを光量検出部２８０１が検出したとき、時間加算処理制御部２８０２は時間加算部１０３における時間加算のフレーム数を、空間加算制御部２８０３は空間加算部１０４における空間加算の画素数を、それぞれ、２倍，３倍，４倍，６倍，９倍と切り替えて制御する。また、高画質化処理制御部２８０４は、時間加算処理制御部２８０２によって変更された時間加算のフレーム数や、空間加算処理制御部２８０３によって変更された空間加算の画素数に対応して、高画質化部１０５の処理内容を制御する。
【０２１５】
これにより、カメラへの入射光量に応じて加算処理を切り替えることが可能となる。低光量時から高光量時まで、シームレスに光量に応じた処理を行うことができるため、ダイナミックレンジを拡大して、飽和を抑えて撮像することが可能となる。
【０２１６】
なお、加算画素数の制御は動画像全体に対して制御するものに限らず、画素の位置毎、領域毎に適応的に切り替えるようにしてもよいことは言うまでもない。
【０２１７】
なお、上述の説明から明らかなように、光量に代えて、画素値を利用して加算処理を切り替えるよう、制御部７を動作させてもよい。または、ユーザからの指定によって動作モードを変更することにより、加算処理を切り替えてもよい。
【０２１８】
（実施形態５）
実施形態４では、被写体の光量によってＲ、Ｂ、Ｇの加算画素数をコントロールする場合について説明した。
【０２１９】
本実施形態による撮像処理装置は動力源（バッテリー）を備えて動作することが可能である。そして、バッテリーの残量によって、Ｒ、Ｂ、Ｇの加算画素数を制御する。撮像処理装置の構成は、たとえば図２４に示すとおりである。
【０２２０】
図２６は、本実施形態による撮像処理装置の制御部１０７の構成を示す。
【０２２１】
制御部１０７は、バッテリー残量検出部２９０１と、時間加算処理制御部２７０２と、空間加算処理制御部２７０３と、高画質化処理制御部２７０４とを備えている。
【０２２２】
バッテリー残量が少ない場合は、バッテリーの消費を軽減する必要がある。バッテリーの消費は、たとえば演算量を低減することによって実現される。そこで本実施形態では、バッテリー残量が少ない場合に高画質化部１０５の計算量を減らすこととする。
【０２２３】
バッテリー残量検出部２９０１は、たとえばバッテリーの残量に応じた電圧値を検出することにより、撮像装置のバッテリーの残量を監視する。近年のバッテリーには、それ自体にバッテリー残量検出機構が設けられていることがある。そのようなバッテリーであれば、バッテリー残量検出部２９０１は、そのバッテリー残量検出機構と通信をすることにより、バッテリー残量を示す情報を取得してもよい。
【０２２４】
バッテリーの残量が予め定められた基準値よりも少ないことを検出した場合には、制御部１０７は加算読み出しを行わずに、１フレームに対して全画素を読み出す。より具体的には、時間加算処理制御部２８０２は、時間加算部１０３に時間加算を行わせないように制御する。また、空間加算処理制御部２８０３は、空間加算部１０４に空間加算を行わせないように制御する。また、高画質化処理制御部２８０４は、入力されるＲＧＢに対して、高画質化部１０５の構成のうち、ベイヤ復元部２２０１のみ動作させるように制御する。
【０２２５】
一方、バッテリー残量が上述の基準値以上であり、十分残されているといえる場合には、たとえば実施形態１による処理を行えばよい。
【０２２６】
バッテリー残量が少ない場合には、高画質化部１０５の計算量を減らすことにより、バッテリーの消費を軽減でき、より長い時間に亘ってより多くの被写体を撮影することができる。
【０２２７】
なお、実施形態５では、バッテリー残量が少ない場合に全画素読み出しする方法を記載したが、実施形態２に関連して説明した方法で、Ｒ、Ｂ、Ｇを高解像度化しても構わない。
【０２２８】
（実施形態６）
実施形態５では、撮像装置のバッテリー残量によってＲ，Ｂ，Ｇの加算画素数を制御する処理を説明した。
【０２２９】
本実施形態による撮像処理装置は、被写体の動き量によって、高画質化部１０５を制御する。撮像処理装置の構成は、たとえば図２４に示すとおりである。
【０２３０】
図２７は、本実施形態による撮像処理装置の制御部１０７の構成を示す。
【０２３１】
制御部１０７は、被写体動き量検出部３００１と、時間加算処理制御部２７０２と、空間加算処理制御部２７０３と、高画質化処理制御部２７０４とを備えている。
【０２３２】
被写体動き量検出部３００１は、被写体の動き量を検出する。検出方法は、動き検出部２０１（図２）による動きベクトルの検出方法と同じ方法を用いることが可能である。たとえば被写体動き量検出部３００１は、ブロックマッチング、勾配法、位相相関法を利用して動き量を検出してもよい。被写体動き量検出部３００１は、検出した動き量が、予め定められた基準値より小さいかそれ以上かによって、動き量が大きいか小さいかを判定することができる。
【０２３３】
光量が不足していて動きが小さいと判定された場合、空間加算処理制御部２７０３は、Ｒ，Ｂが空間加算をするように空間加算部１０４を制御する。また、時間加算処理制御部２７０２は、Ｇはすべて時間加算を行うように時間加算部１０３を制御する。そして高画質化処理制御部２７０４は、高画質化部１０５が特許文献１と同様の復元処理を行うように制御し、高解像度化したＲ，Ｂ、Ｇを出力する。Ｇをすべて時間加算にする理由は、被写体の動きが小さいため、長時間露光によりＧに含まれる動きぶれの影響が少なくなり、高感度で、かつ高解像度のＧを撮影できるからである。
【０２３４】
被写体が暗くて動きが大きいと判定された場合、実施形態１に記載した方法で、高解像度化したＲ，Ｂ、Ｇを出力する。
【０２３５】
これにより、被写体の動きの大きさに対応して、高画質化部１０５の処理内容を変更でき、被写体の動きに応じた高画質な動画像を生成することができる。
【０２３６】
（実施形態７)
上記の実施形態では、撮像処理装置内の機能によって、時間加算部１０３や空間加算部１０４、高画質化部１０５を制御する例を説明した。
【０２３７】
本実施形態においては、撮像処理装置を操作するユーザが、撮像方式を選択することが可能である。以下、図２８を参照しながら、制御部１０７の動作を説明する。
【０２３８】
図２８は、本実施形態による撮像処理装置の制御部１０７の構成を示す。
【０２３９】
ユーザは、制御部１０７の外部にある処理選択部３１０１によって撮像の方式を選択する。処理選択部３１０１は、たとえば撮像の方式の選択を可能とするダイヤルスイッチなどの、撮像処理装置に設けられたハードウェアである。または処理選択部３１０１は、撮像処理装置に設けられた液晶表示パネル（図示せず）上にソフトウェアによって表示される選択メニューであってもよい。
【０２４０】
処理選択部３１０１は、ユーザが選択した撮像の方式を処理切替部３１０２に伝え、処理切替部３１０２は、ユーザが選択した撮像の方式が実現されるように、時間加算処理制御部２７０２や空間加算処理制御部２７０３、高画質化処理制御部２７０４に指示を出す。
【０２４１】
これにより、ユーザが希望する撮像処理を実現することができる。
【０２４２】
なお、実施形態４から７では、制御部１０７の構成のバリエーションを記述したが、各制御部１０７の機能は２つ以上の組み合わせであってもよい。
【０２４３】
以上、本発明の種々の実施形態を説明した。
【０２４４】
実施形態１から３においては、撮像時のカラーフィルターアレイとして原色系のＲＧＢフィルターを用いる場合について説明したが、カラーフィルターアレイとしてはこれに限る必要はない。たとえば、補色系のＣＭＹ（シアン、マゼンタ、イエロー）フィルターを用いてもよい。ＣＭＹフィルターは、光量の面では概ねＲＧＢフィルターの２倍有利になる。たとえば、色再現性を重視する場合にはＲＧＢフィルターを利用し、光量を重視する場合にはＣＭＹフィルターを利用すればよい。
【０２４５】
なお、上述の各実施形態において、異なる色フィルターを用いて時間加算および空間加算によって撮像される画素値（時間加算後、空間加算後の画素値、すなわち、光量に相当）の色範囲は、広いことが当然望ましい。例えば、実施形態１の場合、２画素で空間加算を行うときは２フレームの時間加算を行い、４画素で空間加算を行うときは４フレームの時間加算を行った。このように、例えば、時間加算を行うフレーム数などを事前に揃えておくことが望ましい。
【０２４６】
一方、特殊な例として、被写体の色が特定の色に偏っているときには、例えば原色系のフィルターを用いる場合、Ｒ，Ｇ、Ｂで時間加算、空間加算の画素数を適応的に変えることで、ダイナミックレンジを色毎に有効に使うことができる。
【０２４７】
なお、上述の各実施形態においては、撮像素子１０２として単板の撮像素子を用い、また、図４に示す配列のカラーフィルターを用いた例を説明した。しかしながら、カラーフィルターの配列は、これに限定されるものではない。
【０２４８】
たとえば、図２９に示すカラーフィルターの配列を利用しても構わない。図２９（ａ）は、単板の撮像素子と、図４と異なる配列のカラーフィルターとを組み合わせたときの例を示す。Ｒ、ＧL、ＧSおよびＢの各画素信号を生成するための画素数の比は、Ｒ、ＧL、ＧS：Ｂ＝１：４：２：１である。
【０２４９】
一方、図２９（ｂ）は、画素数の比が図２９（ａ）の例と異なる組み合わせの例を示している。Ｒ、ＧL、ＧS：Ｂ＝３：８：２：３である。
【０２５０】
本発明は、単板の撮像素子１０２の利用に限られることはなく、Ｒ，Ｇ，Ｂの各々の画素信号を別々に生成する３枚の撮像素子（いわゆる３板の撮像素子）を利用することによっても実施可能である。
【０２５１】
たとえば図３０（ａ）および（ｂ）はいずれも、Ｇ（ＧLおよびＧS）の画素信号を生成するための撮像素子の構成例を示す。図３０（ａ）はＧLおよびＧSの画素数が同じときの構成例を示す。また図３０（ｂ）はＧLの画素数がＧSの画素数よりも多いときの構成例を示す。そのうち、（ｉ）はＧLおよびＧSの画素数の比が２：１のときの構成例を示し、（ｉｉ）はＧLおよびＧSの画素数の比が５：１のときの構成例を示す。なお、ＲおよびＢの画素信号を生成するための撮像素子については、それぞれ、ＲおよびＢのみを透過するフィルターが設けられていればよい。
【０２５２】
図３０の各例に示すように、ライン毎にＧLとＧSとが配列されていてもよい。ライン毎に露光時間を変える場合、回路の読み出し信号をライン内で共通にできるため、格子状に素子の露光時間を変更するよりも、回路の構成を簡素化することができる。
【０２５３】
また図３０のようなライン毎ではなく、図３１に示すように４×４画素のバリエーションを用いて露光時間を変化してもよい。図３１（ａ）はＧLおよびＧSの画素数が同じときの構成例を示し、図３０（ｂ）はＧLの画素数がＧSの画素数よりも多いときの構成例を示す。図３１（ｂ）（ｉ）〜（ｉｉｉ）はそれぞれ、ＧLおよびＧSの画素数の比が３：１、１１：５、５：３の構成例を示す。また、図３０や図３１に示すバリエーションだけでなく、図３２（ａ）〜（ｃ）のそれぞれに示すように、ＲやＢを主として含む各カラーフィルター中にＧSのカラーフィルターが含まれていてもよい。図３２（ａ）〜（ｃ）はそれぞれ、Ｒ、ＧL、ＧSおよびＢの画素数の比が１：２：２：１、３：４：２：３および４：４：１：３の構成例を示す。
【０２５４】
単板の撮像素子、および、３板の撮像素子のいずれをも含む意図で、本明細書では「撮像部」と呼ぶことがある。単板の撮像素子を用いる実施形態では、撮像部は当該撮像素子自体を意味する。一方、３板の撮像素子を用いる実施形態では、撮像部は３板の撮像素子を総称する。
【０２５５】
なお、上述の各実施形態において、ＲとＢの空間加算やＧの長時間露光は、ＲＧＢ全画素を短時間露光で読み出し、画像処理前に信号処理で行ってもよい。前記信号処理の計算は、画素値の加算もしくは平均が挙げられるが、これに限るものではなく、画素値の値によって値の変わる係数を用いて四則演算を組み合わせて行ってもよい。この構成では、従来の撮像素子を利用でき、画像処理によって、Ｓ／Ｎを向上することができる。
【０２５６】
なお、上述の各実施形態において、ＲとＢとＧSは空間加算せずに、ＧLのみ時間加算してもよい。ＧLのみ時間加算する場合、ＲとＢとＧSの画像処理が不要であるため、計算量を削減できる。
【０２５７】
＜フィルターの分光特性＞
上述のとおり、本発明においては、単板式および３板式のいずれの撮像素子を用いることができる。ただし、３板式の撮像素子用に用いられる薄膜光学フィルターと、単板用に用いられる染料フィルターとではその分光特性が異なることが知られていることに留意されたい。
【０２５８】
図３３（ａ）は、３板用の薄膜光学フィルターの分光特性を示す。図３３（ｂ）は、単板用の染料フィルターの分光特性を示す。
【０２５９】
図３３（ａ）に示される薄膜光学フィルターは分光特性の透過率の立ち上がりが、染料フィルターのそれと比べて急峻であり、ＲＧＢ間で透過率の相互の重なりが少ない。これに対して、図３３（ｂ）に示される染料フィルターは透過率の立ち上がりが、薄膜光学フィルターのそれと比べて緩やかであり、ＲＧＢ間で透過率の相互の重なりが多い。
【０２６０】
本発明の各実施形態においては、Ｒ、Ｂの動画像から検出した動き情報を用いてＧの時間加算動画像を時間的、空間的に分解するため、染料フィルターの様にＧの情報がＲ，Ｂに含まれている方が、Ｇの処理にとって好ましい。
【０２６１】
＜フォーカルプレーン現象の補正＞
上述したいずれの実施形態においても、グローバルシャッタを用いた撮影であるとして説明した。グローバルシャッタとは、１フレームの画像内の色毎の各画素について、露光の開始と終了時間とが同一であるシャッタである。たとえば図３４（ａ）は、グローバルシャッタを用いた露光タイミングを示している。
【０２６２】
しかしながら、本発明の適用可能な範囲はこれに限るものではない。たとえば図３４（ｂ）に示す様な、ＣＭＯＳ撮像素子での撮影時にしばしば問題となるフォーカルプレーン現象についても、各素子の露光タイミングが異なっていることを定式化することにより、グローバルシャッタを用いて撮影した動画像を復元することができる。
【０２６３】
本発明の各実施形態を説明した。上述の実施形態はいずれも一例であり、種々の変形例を考えることができる。以下、実施形態２の変形例を説明する。その後、各実施形態に関する変形例を説明する。
【０２６４】
実施形態１では、高画質化部１０５における処理に、劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。実施形態２では、ＧsとＲとＢについて空間的な加算を行わない場合にＧ簡易復元部１９０１を利用することによって、実施形態１と比較して、少ない計算量で、高解像度かつ高フレームレートで動きぶれの少ない動画像を生成する方法を説明した。
【０２６５】
本変形例では、ＧsとＲとＢについて空間的な加算を行わない場合、実施形態１と同様の高画質化部を用いて高解像度かつ高フレームレートで動きぶれの少ない動画像を生成する方法を述べる。
【０２６６】
高画質化部における種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。
【０２６７】
図３５は、動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置５００の構成を示すブロック図である。画像処理部１０５の高画質処理部３５１は、動き拘束を用いることなく、新たな画像を生成する。
【０２６８】
図３５において、図１、図２および図１７と同じ動作をする構成要素には、図１、図２および図１７と同一の符号を付し、説明を省略する。
【０２６９】
従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。
【０２７０】
しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、単板カラー撮像素子１０２の長時間露光および短時間露光を行うそれぞれの画素に、複数の色成分を検出する画素が混在しているためである。ＲＧＢそれぞれの色チャンネルにおいて、短時間露光によって撮影された画素と長時間露光によって撮影された画素とが混在するため、動き拘束を用いずに画像を生成しても、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量を低減することができる。
【０２７１】
以下に、高画質処理部３５１による高画質化処理を説明する。図３６は、高画質化部１０５における高画質化処理の手順を示すフローチャートである。
【０２７２】
まず、ステップＳ３６１において、高画質処理部３５１は解像度、フレームレート、色の異なる複数動画像が撮像素子１０２および時間加算部１０３から受け取る。
【０２７３】
次に、ステップＳ３６２において、高画質処理部３５１は、（数４）においてＭ＝２とし、Ｑとして（数１２）ないし（数１３）を用い、これらの式におけるｍを２とする。そして、１階微分、２階微分の差分展開として（数１４）、（数１５）、（数１６）のいずれかを用いると、もしくは、（数４０）においてＰ＝２とすると、評価式Ｊはｆの２次式となる。評価式を最小化するｆの計算は、数５７により、ｆについての連立方程式の計算に帰着する。
【数５７】
2012008143.tif 000059
ここで、解くべき連立方程式を（数５８）のようにおく。
【数５８】
2012008143.tif 000060
【０２７４】
（数５８）において、ｆは生成する画素数（１フレームの画素数×処理するフレーム数）分の要素を持つため、（数５８）の計算量は通常、非常に大規模になる。このような大規模な連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆを収束させる方法（繰り返し法）が一般的に用いられる。
【０２７５】
動き拘束を用いずにｆを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。これを利用すると、連立方程式（数５４）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直説法により画像処理を行うようにできる。
【０２７６】
次に、ステップＳ３６３での処理を説明する。（数１３）に示す滑らかさ拘束を用いる場合、ｘおよびｙの２階偏微分は、例えば、（数１４）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平ならびに垂直方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、高画質処理部３５１は（数５９）のように行列をΛを置くことができる。
【数５９】
2012008143.tif 000061
【０２７７】
これにより、一行あたりのノンゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、ステップＳ３６４でのΛの逆行列Λ-1の計算が容易になる。ステップＳ３６５では、高画質処理部３５１は（数５６）および（数５７）に基づいて、ｆを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。
【数６０】
2012008143.tif 000062
【数６１】
2012008143.tif 000063
【０２７８】
ステップＳ３６６では、高画質化処理３５１はこのようにして計算された復元画像ｆを出力する。
【０２７９】
以上述べた構成、ならびに、手順により、本変形例によれば、ＧsとＲとＢについて空間的な加算を行わずに、実施形態１と同様の高画質化部を用いて高解像度かつ高フレームレートで動きぶれの少ない動画像を生成する場合に、動き拘束と動き拘束のための動き検出とを行わずに、少ない演算量での実現を可能にする。
【０２８０】
上述の実施形態においては、ＧL、ＧS、ＲおよびＢの４種類の動画像を利用した処理を説明した。しかしながら、これは一例である。たとえば、撮影対象において緑がほとんどを占めている場合には、ＧLおよびＧSの２種類の動画像を利用して新たな動画像を生成してもよい。または、Ｂ以外またはＲ以外の色がほとんどを占めている場合には、ＲまたはＢと、ＧLとＧSという３種類の動画像を利用して新たな動画像を生成してもよい。
【０２８１】
なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、ＧをＧLおよびＧSに分けて撮像した。しかしながらこれは例であり、他の例を採用することが可能である。
【０２８２】
たとえば、海やプール等、水中のシーンを撮像する場合の様に、シーン中にＢ成分が強く現れることが事前に分っている場合には、Ｂを長時間露光および短時間露光で撮像し、ＲおよびＧを低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある動画像を提示することができる。また、Ｒを長時間露光および短時間露光で撮像してもよい。
【０２８３】
上述の各実施形態では、撮像部を設けた撮像処理装置を説明した。しかしながら撮像処理装置が撮像部を有することは必須ではない。たとえば撮像部が別の位置に存在している場合において、撮像結果であるＧL、ＧS、ＲおよびＢを受け取って、処理のみを行ってもよい。
【０２８４】
さらに、上述の各実施形態では、撮像部を設けた撮像処理装置を説明した。しかしながら撮像処理装置が撮像部、時間加算部１０３および空間加算部１０４を有することは必須ではない。
【０２８５】
たとえばこれらの構成要素が離間した位置に存在している場合において、高画質化部１０５が撮像結果であるＧL、ＧS、ＲおよびＢの各動画像信号を受け取って、処理のみを行い、高解像度化された各色（Ｒ，ＧおよびＢ）の動画像信号を出力してもよい。高画質化部１０５は、記録媒体（図示せず）から読み込まれたＧL、ＧS、ＲおよびＢの各動画像信号を受け取ってもよいし、ネットワークなどを介して受け取ってもよい。また高画質化部１０５は、処理後の高解像度化された各動画像信号を、映像出力端子から出力し、または、イーサネット（登録商標）端子などのネットワーク端子から、ネットワークを介して他の機器に出力してもよい。
【０２８６】
上述の実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。たとえば、高画質化部１０５（図１、図２）などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。
【産業上の利用可能性】
【０２８７】
本発明の撮像処理装置は、低光量時で被写体の動きが大きい場合、高解像度撮影や小型画素による撮像に有用である。また、処理部は装置としての実施に限らず、プログラムとしても適用が可能である。
【符号の説明】
【０２８８】
１００  撮像処理装置
１０１  光学系
１０２  撮像素子
１０３  時間加算部
１０４  空間加算部
１０５  高画質化部
１０７  制御部
【図１】
2012008143.tif 000064
【図２】
2012008143.tif 000065
【図３】
2012008143.tif 000066
【図４】
2012008143.tif 000067
【図５】
2012008143.tif 000068
【図６】
2012008143.tif 000069
【図７】
2012008143.tif 000070
【図８】
2012008143.tif 000071
【図９】
2012008143.tif 000072
【図１６】
2012008143.tif 000073
【図１７】
2012008143.tif 000074
【図１８】
2012008143.tif 000075
【図１９】
2012008143.tif 000076
【図２０】
2012008143.tif 000077
【図２１】
2012008143.tif 000078
【図２２】
2012008143.tif 000079
【図２３】
2012008143.tif 000080
【図２４】
2012008143.tif 000081
【図２５】
2012008143.tif 000082
【図２６】
2012008143.tif 000083
【図２７】
2012008143.tif 000084
【図２８】
2012008143.tif 000085
【図２９】
2012008143.tif 000086
【図３０】
2012008143.tif 000087
【図３１】
2012008143.tif 000088
【図３２】
2012008143.tif 000089
【図３３】
2012008143.tif 000090
【図３４】
2012008143.tif 000091
【図３５】
2012008143.tif 000092
【図３６】
2012008143.tif 000093
【図１０】
2012008143.tif 000094
【図１１】
2012008143.tif 000095
【図１２】
2012008143.tif 000096
【図１３】
2012008143.tif 000097
【図１４】
2012008143.tif 000098
【図１５】
2012008143.tif 000099
【手続補正書】
【提出日】平成24年2月6日(2012.2.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
単板の撮像素子を利用して同一の事象を撮影し、第１動画像、第２動画像および第３動画像の信号を生成する撮像部と、
前記第１動画像、前記第２動画像および前記第３動画像の信号を受け取って、前記事象を表す新たな動画像を生成する高画質処理部と、
撮影の環境に応じて前記高画質化部の処理を制御する制御部と、
前記新たな動画像の信号を出力する出力端子と
を備えた画像生成装置であって、
前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、
前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られ、
前記撮像部は、空間的な画素加算演算を行うことにより、前記第３動画像の解像度よりも高い解像度の前記第２動画像を生成し、
前記制御部は、前記撮像部によって検出された光量を検出する光量検出部を備えており、前記光量検出部によって検出された光量が予め定められた値以上である場合は、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、画像生成装置。
【請求項２】
前記高画質処理部は、前記第１動画像、前記第２動画像および前記第３動画像の信号を利用して、前記第１動画像または前記第３動画像のフレームレート以上のフレームレートで、かつ、前記第２動画像または前記第３動画像の解像度以上の解像度の新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項３】
前記第２動画像の解像度は前記第３動画像の解像度よりも高く、
前記高画質処理部は、前記第２動画像の信号および前記第３動画像の信号を利用して、前記第２動画像の解像度以上の解像度を有し、前記第３動画像のフレームレート以上のフレームレートを有し、かつ、色成分が前記第２動画像および第３動画像の色成分と同じである動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項１に記載の画像生成装置。
【請求項４】
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項３に記載の画像生成装置。
【請求項５】
前記高画質処理部は、緑の色成分の動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項３に記載の画像生成装置。
【請求項６】
前記高画質処理部は、前記新たな動画像を前記第１動画像と同じ解像度になるよう空間サンプリングしたときにおける、各フレームの画素値と、前記第１動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項３から５のいずれかに記載の画像生成装置。
【請求項７】
前記第２動画像と前記第３動画像のフレームはフレーム間の開放露光により得られる、請求項１に記載の画像生成装置。
【請求項８】
前記高画質処理部は、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置
【請求項９】
前記第１動画像および前記第３動画像の少なくとも１つから対象物の動きを検出する動き検出部をさらに備え、
前記高画質処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項１０】
前記動き検出部は、前記動き検出の信頼度を算出し、
前記高画質処理部は、前記動き検出部によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束条件以外の予め定められた拘束条件を用いて前記新たな動画像を生成する、請求項９に記載の画像生成装置。
【請求項１１】
前記動き検出部は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、
前記高画質処理部は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成する、請求項１０に記載の画像生成装置。
【請求項１２】
前記動き検出部は、対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出する、請求項９に記載の画像生成装置。
【請求項１３】
前記高画質処理部は、前記第１動画像および前記第３動画像から色差情報を抽出し、前記第１動画像および前記第３動画像から取得された輝度情報と、前記第２動画像とから中間的動画像を生成し、生成した中間的動画像に前記色差情報を付加することによって、前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項１４】
前記高画質処理部は、前記第１動画像、第２動画像および第３動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超えたときには、超える直前の時刻の画像までの画像を用いて動画像の生成を終了し、超えた直後から新たな動画像の生成を開始する、請求項１に記載の画像生成装置。
【請求項１５】
前記高画質処理部はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力する、請求項１に記載の画像生成装置。
【請求項１６】
前記制御部は、画像生成装置の動力源の残量を検出する残量検出部を備えており、前記残量検出部によって検出された残量に応じて、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１に記載の画像生成装置。
【請求項１７】
前記制御部は、被写体の動きの大きさを検出する動き量検出部を備えており、前記動き量検出部によって検出された被写体の動きの大きさに応じて、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１に記載の画像生成装置。
【請求項１８】
前記制御部は、画像処理の計算をユーザが選択する処理選択部を備えており、前記処理選択部を介して選択された結果によって、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１に記載の画像生成装置。
【請求項１９】
前記高画質処理部は、前記新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を設定し、
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、かつ、設定した前記拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項２０】
単板の撮像素子を利用して同一の事象を撮影し、第１動画像、第２動画像および第３動画像の信号を生成する撮像ステップであって、前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られており、空間的な画素加算演算により、前記第２動画像の解像度は前記第３動画像の解像度よりも高い、撮像ステップと、
前記第１動画像、前記第２動画像および前記第３動画像の信号を受け取る受信ステップと、
前記撮像ステップによって検出された光量を検出する検出ステップと、
前記第１動画像、前記第２動画像および前記第３動画像から、前記事象を表す新たな動画像を生成する動画像生成ステップと、
撮影の環境に応じて前記動画像生成ステップを制御する制御ステップであって、前記検出ステップによって検出された光量が予め定められた値以上である場合は、前記第１動画像、前記第２動画像および前記３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する制御ステップと、
前記新たな動画像の信号を出力する出力ステップと
を包含する画像生成方法。
【請求項２１】
複数の動画像から新たな動画像を生成するコンピュータプログラムであって、前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、請求項２０に記載の画像生成方法を実行させる、コンピュータプログラム。
【手続補正書】
【提出日】平成24年3月29日(2012.3.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
単板の撮像素子を利用して同一の事象を撮影し、第１動画像、第２動画像および第３動画像の信号を生成する撮像部と、
前記第１動画像、前記第２動画像および前記第３動画像の信号を受け取って、前記事象を表す新たな動画像を生成する高画質処理部と、
撮影の環境に応じて前記高画質化部の処理を制御する制御部と、
前記新たな動画像の信号を出力する出力端子と
を備えた画像生成装置であって、
前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、
前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られ、
前記撮像部は、空間的な画素加算演算を行うことにより、前記第３動画像の解像度よりも高い解像度の前記第２動画像を生成し、
前記制御部は、前記撮像部によって検出された光量を検出する光量検出部を備えており、前記光量検出部によって検出された光量が予め定められた値以上である場合は、前記第１動画像、前記第２動画像および前記第３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、画像生成装置。
【請求項２】
前記高画質処理部は、前記第１動画像、前記第２動画像および前記第３動画像の信号を利用して、前記第１動画像または前記第３動画像のフレームレート以上のフレームレートで、かつ、前記第２動画像または前記第３動画像の解像度以上の解像度の新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項３】
前記第２動画像の解像度は前記第３動画像の解像度よりも高く、
前記高画質処理部は、前記第２動画像の信号および前記第３動画像の信号を利用して、前記第２動画像の解像度以上の解像度を有し、前記第３動画像のフレームレート以上のフレームレートを有し、かつ、色成分が前記第２動画像および第３動画像の色成分と同じである動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項１に記載の画像生成装置。
【請求項４】
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項３に記載の画像生成装置。
【請求項５】
前記高画質処理部は、緑の色成分の動画像の信号を、前記新たな動画像の色成分の一つとして生成する、請求項３に記載の画像生成装置。
【請求項６】
前記高画質処理部は、前記新たな動画像を前記第１動画像と同じ解像度になるよう空間サンプリングしたときにおける、各フレームの画素値と、前記第１動画像の各フレームの画素値との誤差が減少するよう、前記新たな動画像の各フレームの画素値を決定する、請求項３から５のいずれかに記載の画像生成装置。
【請求項７】
前記第２動画像と前記第３動画像のフレームはフレーム間の開放露光により得られる、請求項１に記載の画像生成装置。
【請求項８】
前記高画質処理部は、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定し、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項９】
前記第１動画像および前記第３動画像の少なくとも１つから対象物の動きを検出する動き検出部をさらに備え、
前記高画質処理部は、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項１０】
前記動き検出部は、前記動き検出の信頼度を算出し、
前記高画質処理部は、前記動き検出部によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束条件以外の予め定められた拘束条件を用いて前記新たな動画像を生成する、請求項９に記載の画像生成装置。
【請求項１１】
前記動き検出部は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、
前記高画質処理部は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成する、請求項１０に記載の画像生成装置。
【請求項１２】
前記動き検出部は、対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出する、請求項９に記載の画像生成装置。
【請求項１３】
前記高画質処理部は、前記第１動画像および前記第３動画像から色差情報を抽出し、前記第１動画像および前記第３動画像から取得された輝度情報と、前記第２動画像とから中間的動画像を生成し、生成した中間的動画像に前記色差情報を付加することによって、前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項１４】
前記高画質処理部は、前記第１動画像、第２動画像および第３動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超えたときには、超える直前の時刻の画像までの画像を用いて動画像の生成を終了し、超えた直後から新たな動画像の生成を開始する、請求項１に記載の画像生成装置。
【請求項１５】
前記高画質処理部はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力する、請求項１に記載の画像生成装置。
【請求項１６】
前記制御部は、画像生成装置の動力源の残量を検出する残量検出部を備えており、前記残量検出部によって検出された残量に応じて、前記第１動画像、前記第２動画像および前記第３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１に記載の画像生成装置。
【請求項１７】
前記制御部は、被写体の動きの大きさを検出する動き量検出部を備えており、前記動き量検出部によって検出された被写体の動きの大きさに応じて、前記第１動画像、前記第２動画像および前記第３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１に記載の画像生成装置。
【請求項１８】
前記制御部は、画像処理の計算をユーザが選択する処理選択部を備えており、前記処理選択部を介して選択された結果によって、前記第１動画像、前記第２動画像および前記第３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する、請求項１に記載の画像生成装置。
【請求項１９】
前記高画質処理部は、前記新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を設定し、
前記高画質処理部は、前記新たな動画像を前記第２動画像と同じフレームレートになるよう時間サンプリングしたときにおける、各フレームの画素値と、前記第２動画像の各フレームの画素値との誤差が減少するよう、かつ、設定した前記拘束条件が維持されるように前記新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項２０】
単板の撮像素子を利用して同一の事象を撮影し、第１動画像、第２動画像および第３動画像の信号を生成する撮像ステップであって、前記第２動画像の色成分は前記第１動画像の色成分と異なっており、前記第２動画像の各フレームは、前記第１動画像の１フレーム時間よりも長時間の露光によって得られており、前記第３動画像の色成分は前記第２動画像の色成分と同じであり、前記第３動画像の各フレームは、前記第２動画像の１フレーム時間よりも短時間の露光によって得られており、空間的な画素加算演算により、前記第２動画像の解像度は前記第３動画像の解像度よりも高い、撮像ステップと、
前記第１動画像、前記第２動画像および前記第３動画像の信号を受け取る受信ステップと、
前記撮像ステップによって検出された光量を検出する検出ステップと、
前記第１動画像、前記第２動画像および前記第３動画像から、前記事象を表す新たな動画像を生成する動画像生成ステップと、
撮影の環境に応じて前記動画像生成ステップを制御する制御ステップであって、前記検出ステップによって検出された光量が予め定められた値以上である場合は、前記第１動画像、前記第２動画像および前記第３動画像の少なくとも１つについて、露光時間および空間的な画素加算量の少なくとも一方を変更する制御ステップと、
前記新たな動画像の信号を出力する出力ステップと
を包含する画像生成方法。
【請求項２１】
複数の動画像から新たな動画像を生成するコンピュータプログラムであって、前記コンピュータプログラムは前記コンピュータプログラムを実行するコンピュータに対し、請求項２０に記載の画像生成方法を実行させる、コンピュータプログラム。
【国際調査報告】
2012008143.tif 000100
2012008143.tif 000101
2012008143.tif 000102
2012008143.tif 000103