(57)【要約】      （修正有）【課題】演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減した画像を得る。【解決手段】単板カラー撮像素子の奇数ラインでは第１色画素および第２色画素が交互に配列され、偶数ラインでは第１色画素および第３色画素が交互に配列される。同一ラインに設けられた複数の第１色画素からは、配列された順序にしたがって交互に第１露光時間、および第１露光時間よりも長い第２露光時間で画素値を読み出す。同一ラインに設けられた複数の第２色画素からは、配列された順序にしたがって交互に第１および第２露光時間で画素値を読み出す。同一ラインに設けられた複数の第３色画素からは、配列された順序にしたがって交互に第１および第２露光時間で画素値を読み出。画像処理部は、第１および第２露光時間で読み出された各画素値に基づいて、所定のフレームレートの新たな動画像を生成する。【選択図】図３
2013223209.tif 000002
【特許請求の範囲】
【請求項１】
単板カラー撮像素子と画像処理部とを備えた撮像処理装置であって、
前記単板カラー撮像素子の奇数ラインでは第１色画素および第２色画素が交互に配列され、偶数ラインでは前記第１色画素および第３色画素が交互に配列され、
同一ラインに設けられた複数の前記第１色画素からは、配列された順序にしたがって交互に第１露光時間、および前記第１露光時間よりも長い第２露光時間で画素値を読み出すことが可能であり、
同一ラインに設けられた複数の前記第２色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、
同一ラインに設けられた複数の前記第３色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、
前記画像処理部は、前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて、前記所定のフレームレートの新たな動画像を生成する、撮像処理装置。
【請求項２】
前記画像処理部は、
前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて得られた、被写体の前記第１色成分の動画像、前記第２色成分の動画像、および前記第３色成分の動画像を受け取り、
（ａ）前記第１露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および
（ｂ）前記第２露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差
を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動画像として求める、請求項１に記載の撮像処理装置。
【請求項３】
前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項２に記載の撮像処理装置。
【請求項４】
前記画像処理部は、
前記第１露光時間で読み出された前記第１色成分、前記第２色成分、および前記第３色成分の各動画像を利用して、前記被写体の動きを検出する動き検出部と、
前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と
を備えた、請求項３に記載の撮像処理装置。
【請求項５】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、拘束条件項を設定し、前記拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項２から４のいずれかに記載の撮像処理装置。
【請求項６】
前記画像処理部は、前記画素値の分布に関する拘束条件を画像の一方向に設定する、請求項５に記載の撮像処理装置。
【請求項７】
前記画像処理部は、前記単板カラー撮像素子から１ラインごとに前記画素値を取得し、取得した１ラインごとに前記画素値の分布に関する拘束条件を設定する、請求項６に記載の撮像処理装置。
【請求項８】
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、
前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部と
をさらに備えた、請求項７に記載の撮像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、動画像を生成する撮像処理装置および撮像処理方法に関する。
【背景技術】
【０００２】
従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。その一方、画素寸法が小型化されるほど、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。
【０００３】
特許文献１は、赤、緑、青のそれぞれ光を検出する３枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現することを開示している。この技術では、２種類の解像度の撮像素子が用いられている。一方の高解像度の画像を生成する撮像素子からは長時間露光で画素信号が読み出され、他方の低解像度の画像を生成する撮像素子は短時間露光で画素信号が読み出される。これにより、光量が確保されていた。
【０００４】
さらに、特許文献２は、特許文献１の手法を単板カメラに拡張し、単板カメラであっても各画素の信号対雑音比（Ｓ／Ｎ）の低下を抑えながら、画質の維持を実現することを開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０５９９２号公報
【特許文献２】特許第４５９８１６２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１および２の技術は、演算量ならびに回路規模が比較的多かった。そのため、演算量がより少なく、回路規模が小さい装置の開発が求められていた。
【０００７】
本願の、限定的ではない例示的なある実施形態は、演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減することができる撮像処理の技術を提供する。
【課題を解決するための手段】
【０００８】
本発明のある実施形態による撮像処理装置は、単板カラー撮像素子と画像処理部とを備えている。前記単板カラー撮像素子の奇数ラインでは第１色画素および第２色画素が交互に配列され、偶数ラインでは前記第１色画素および第３色画素が交互に配列され、同一ラインに設けられた複数の前記第１色画素からは、配列された順序にしたがって交互に第１露光時間、および前記第１露光時間よりも長い第２露光時間で画素値を読み出すことが可能であり、同一ラインに設けられた複数の前記第２色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、同一ラインに設けられた複数の前記第３色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、前記画像処理部は、前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて、前記所定のフレームレートの新たな動画像を生成する。
【０００９】
前記画像処理部は、前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて得られた、被写体の前記第１色成分の動画像、前記第２色成分の動画像、および前記第３色成分の動画像を受け取り、（ａ）前記第１露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および（ｂ）前記第２露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動画像として求めてもよい。
【００１０】
前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１１】
前記画像処理部は、前記第１露光時間で読み出された前記第１色成分、前記第２色成分、および前記第３色成分の各動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。
【００１２】
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、拘束条件項を設定し、前記拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。
【００１３】
前記画像処理部は、前記画素値の分布に関する拘束条件を画像の一方向に設定してもよい。
【００１４】
前記画像処理部は、前記単板カラー撮像素子から１ラインごとに前記画素値を取得し、取得した１ラインごとに前記画素値の分布に関する拘束条件を設定してもよい。
【００１５】
撮像処理装置は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部とをさらに備えていてもよい。
【発明の効果】
【００１６】
本発明のある例示的な実施形態によれば、撮像処理装置は、演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減した画像を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の例示的な一実施形態による撮像処理装置１００の構成を示すブロック図である。
【図２】単板カラー撮像素子１０２の一例を示す図である。
【図３】単時間露光画素と長時間露光画素の配置の例を示す図である。
【図４】ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。
【図５Ａ】単時間露光画素と長時間露光画素の配置の別の例を示す図である。
【図５Ｂ】単時間露光画素と長時間露光画素の配置の別の例を示す図である。
【図５Ｃ】単時間露光画素と長時間露光画素の配置の別の例を示す図である。
【図５Ｄ】単時間露光画素と長時間露光画素の配置の別の例を示す図である。
【図５Ｅ】単時間露光画素と長時間露光画素の配置の別の例を示す図である。
【図５Ｆ】単時間露光画素と長時間露光画素の配置の別の例を示す図である。
【図５Ｇ】単時間露光画素と長時間露光画素の配置の別の例を示す図である。
【図６】画像処理部１０５の詳細な構成の一例を示す図である。
【図７】撮像処理装置１００の処理の手順を示すフローチャートである。
【図８】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
【図９】共役勾配法の処理手順を示す図である。
【図１０】図９に示す処理を行うための画像生成部２０２の構成例を示す図である。
【図１１】準ニュートン法の処理手順を示す図である。
【図１２】動画像の各画素値を要素とする縦ベクトルを説明するための模式図である。
【図１３】動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。
【図１４】本発明の他の例示的な一実施形態による撮像処理装置４００の構成を示すブロック図である。
【図１５】短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。
【図１６】短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。
【発明を実施するための形態】
【００１８】
まず、上述の特許文献１および２に関して、発明者が見出した先行技術の問題点を説明する。
【００１９】
上述の特許文献１および２においては、いずれも滑らかさの拘束として、ｘ方向とｙ方向の２方向の拘束条件を利用していた。これは、画像に関して２次元的なメモリアクセスが必要となる。これにより、特許文献１および２では、演算量ならびに回路規模が増大していた。
【００２０】
以下、添付の図面を参照しながら、本発明の一実施形態にかかる撮像処理装置等を詳細に説明する。
【００２１】
（実施形態１）
図１は、本実施形態における撮像処理装置１００の構成を示すブロック図である。撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。
【００２２】
光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。
【００２３】
単板カラー撮像素子１０２は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタアレイが各画素に装着された撮像素子である。図２は、単板カラー撮像素子１０２の一例を示す。単板撮像素子の各画素（フォトダイオード）に対応して、ベイヤ配列と呼ばれる配列のカラーフィルタアレイが装着されている。図中の「Ｒ」、「Ｇ」、「Ｂ」はそれぞれ「赤」、「緑」、「青」のフィルタを示している。
【００２４】
単板カラー撮像素子１０２の各画素は、光学系１０１によって結ばれた光（光学像）を、それぞれに対応して設けられた赤、緑または青のフィルタを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値（画素信号）を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。
【００２５】
以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ「Ｒ」、「Ｇ」、「Ｂ」によって表すとする。撮像素子の各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色に関する画素値を持つ。
【００２６】
この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルタを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。
【００２７】
読み出し制御部１０３は、図２に示す配列の単板カラー撮像素子１０２から所定の露光時間毎に画像信号を読み出して動画像として取得する。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部１０３の読み出し動作は、制御部１０４による制御に基づいて実行される。
【００２８】
図３は、短時間露光画像と長時間露光画像の配置の例を示している。画素信号の読み出しは、１ライン単位で行われる。図３において、Ｒ，Ｇ，Ｂの添え字Ｓは短時間露光を示し、添え字Ｌは長時間露光を示す。また、本明細書および図面では、下付文字の「Ｓ」によって短時間（Ｓｈｏｒｔ）露光を表し、下付文字の「Ｌ」によって長時間（Ｌｏｎｇ）露光を表すこともある。
【００２９】
本願明細書では、「短時間露光」とは、一般的な動画撮影時の１フレームの時間だけ露光することを意味する。例えば「短時間露光」とは、フレームレートが３０フレーム／秒（３０ｆｐｓ）の場合には１／３０秒の露光時間で露光することに相当する。フレームレートが６０フレーム／秒（６０ｆｐｓ）の場合には１／６０秒である。一方、長時間露光とは、１フレームの露光に要する時間よりも長い時間、例えば２フレームから１０フレーム程度、露光をすることを意味する。
【００３０】
図３に示されている構成によれば、以下の（ａ）および（ｂ）が理解される。すなわち、（ａ）奇数ラインに着目するとＧとＲとが交互に配列されており、偶数ラインに着目するとＧとＢとが交互に配列されている。そして（ｂ）ｘ軸に平行な一ライン上の、同一の色画素（Ｒ画素、Ｇ画素またはＢ画素）に注目すると、露光時間（または読み出し時間）が「短」→「長」→「短」→「長」・・・と交互に異なっている。
【００３１】
図４は、図３の各画素の露光時間を模式的に示している。図面の左右方向が時間軸ｔである。長時間露光画像は、Ｒ／Ｇ／Ｂそれぞれの画素の半分である。また、２ラインごとに、Ｇ画素とＲ画素のライン、Ｂ画素とＧ画素のラインが繰り返されている例である。
【００３２】
読み出し制御部１０３は、制御部１０４の制御信号に基づいて単板カラー撮像素子１０２の各画素に対する読み出しパルス信号、リセット信号を制御することで、画素毎に露光時間を切り替える。短時間露光時には、読み出し制御部１０３は１フレーム時間ごとに画素値を読み出し、１フレーム画像の画素信号を読み出す。また長時間露光時には、読み出し制御部１０３は、複数フレーム時間にわたって、単板カラー撮像素子１０２を露光し、露光期間が終了した後、画素信号を読み出す。
【００３３】
なお、読み出し制御部１０３は、素子から画素信号を読み出した後でそれらを加算してもよい。具体的には、読み出し制御部１０３は１フレーム期間ごとに全ての画素ラインから画素信号を読み出す。そしてある画素については、連続する複数フレーム分の画素信号が得られた後に、それらを加算する。このとき、複数フレームの同じ画素座標値の画素信号同士が加算される。この結果、画素信号が加算された画素については、読み出し制御部１０３は、複数フレーム期間にわたって露光された画素の画素信号と実質的に同じ画素信号を出力することができる。
【００３４】
なお、長時間露光画素の露光時間であるフレーム期間に関しては、予め定めておく。
【００３５】
また、本願の撮像処理装置における画素配置は図３に限られない。たとえば、図５Ａ〜５Ｇに示したような画素配置および露光時間（または読み出し時間）を採用してもよい。この画素配置に関しては、後述する。
【００３６】
再び図１を参照する。
【００３７】
画像処理部１０５は、画素ごとに異なる露光時間で撮影された動画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値（例えば、Ｒ，Ｇ，Ｂの画素値）を推定し、高解像度カラー動画像を生成する。
【００３８】
図６は、画像処理部１０５の詳細な構成の一例を示す。画像処理部１０５は、動き検出部２０１および画像生成部２０２を有する。
【００３９】
図７は、撮像処理装置１００の処理の手順を示すフローチャートである。まず概要を説明する。
【００４０】
ステップＳ４０１において、画像処理部１０５は、フレームレートが画素ごとに異なる動画像をそれぞれ読み出し制御部１０３から取得する。
【００４１】
ステップＳ４０２において、画像処理部１０５の動き検出部２０１は、取得した画像のうちの短時間露光画像を用いて生成画像の画素毎の動きを検出する。
【００４２】
ステップＳ４０３およびＳ４０４において、画像生成部２０２は、動き拘束条件を設定し、滑らかさ拘束を設定する。
【００４３】
ステップＳ４０５において画像生成部２０２は、高フレームレートカラー画像を生成する。
【００４４】
ステップＳ４０６において、画像生成部２０２は生成したＲＧＢ画像を利用し、公知のデモザイキング処理を行なうことにより、カラー画像を生成する。
【００４５】
ステップＳ４０７において、画像生成部２０２は生成した動画像を出力する。
【００４６】
以下、上述した各ステップの詳細を説明する。
【００４７】
動き検出部２０１は、１フレーム期間露光されて得られた画素信号によって形成される画像（短時間露光画像）を受け取る。動き検出部２０１は短時間露光画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露光で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、例えばＰ．  Ａｎａｎｄａｎ．  “Ｃｏｍｐｕｔａｔｉｏｎａｌ  ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  ｖｉｓｕａｌ  ｍｏｔｉｏｎ”，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．  ２，  ｐｐ．  ２８３−３１０，  １９８９が知られている。
【００４８】
図８（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図８（ａ）に示す窓領域Ａを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。
【００４９】
探索範囲は、図８（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲Ｃが設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
2013223209.tif 000003
【数２】
2013223209.tif 000004
【００５０】
（数１）および（数２）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。本実施形態では、図３において短時間露光で撮影した画像の画素値を利用して、その画像をＲＧＢの各色毎に補間拡大した後、下記数３によって輝度成分を求め、動き検出を行う。
【数３】
2013223209.tif 000005
【００５１】
なお、Ｉ（ｘ，ｙ，ｔ）は、（数３）に限らず、単純なＲＧＢ値の加算等にしてもよい。
【００５２】
動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。
【００５３】
上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。
【００５４】
＜各画素におけるＲ，Ｇ，Ｂの画素値の生成処理＞
画像生成部２０２は、次式で表される評価関数Ｊ（評価式）を最小化して、各画素におけるＲ，Ｇ，Ｂの画素値を計算する。
【数４】
2013223209.tif 000006
【００５５】
ここで、Ｈ1は長時間露光のサンプリング過程、Ｈ2は短時間露光のサンプリング過程、ｆは新たに生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像である。また、λLおよびλSは重みである。単板カラー撮像素子１０２によって撮像されたＲＧＢの画像のうち、長時間露光で撮像したものをｇL、短時間露光で撮像したものをｇSとする。Ｍはべき指数、Ｑは生成すべき画像ｆが満たすべき条件、すなわち拘束条件である。
【００５６】
（数４）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【００５７】
（数４）の第１項は、生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像ｆを、長時間露光のサンプリング過程Ｈ1によってサンプリングして得られた画像と、実際に長時間露光画像として得られた、ｇLとの差の演算を意味する。長時間露光のサンプリング過程Ｈ1を予め定めておき、この差分を最小化するｆを求めると、そのｆは、長時間露光によって得られたｇLと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆは、短時間露光によって得られたｇSと最もよく整合するといえる。また、第３項は、解ｆを一意に決定するための拘束条件項である。
【００５８】
そして、（数４）の評価関数Ｊを最小化するＲＧＢ画像ｆは、長時間露光および短時間露光によって得られたｇLおよびｇSの両方を総合的によく満足するといえる。画像生成部２０２は、（数４）を最小化するＲＧＢ画像ｆを計算することで、Ｓ／Ｎが改善されたＲＧＢ画像の画素値を生成する。
【００５９】
（数４）のＪの最小化は、∂Ｊ／∂ｆ＝０となるＲＧＢ画像ｆを求めることによって行う。この計算は、（数４）においてＭ＝２でかつ、Ｑがｆの２次形式の場合には、上述のJのfによる偏微分∂J/∂ｆがｆの1次式になるため、線形最適化問題となり連立方程式Ａｆ＝ｂの計算に帰着する。すなわち、（数４）をｆで偏微分すると、以下のとおりである。
【数５】
2013223209.tif 000007
【００６０】
Ｑ1はＱがｆの２次形式の場合、定数マトリックス（ｆを含まないマトリックス）である。
【００６１】
この式を変形して以下の連立方程式を解くことにより、ＲＧＢ画像ｆを計算する。
【数６】
2013223209.tif 000008
【００６２】
一方、Ｍ＝１の場合や、Ｍ＝３以上の整数の場合、また、Ｍが整数でない場合には、非線形最適化問題となる。
【００６３】
計算が線形最適化問題になる場合、図９に示す共役勾配法の手順により評価関数Ｊを最小にするＲＧＢ画像ｆを計算することができる。図１０は、図９に示す処理を行うための画像生成部２０２の構成例を示す。画像生成部２０２は、係数演算部５０１と、ベクトル演算部５０２と、演算部５０３とを有している。
【００６４】
係数演算部５０１は、係数行列Ａを計算する。ベクトル演算部５０２は、定数ベクトルｂを計算する。演算部５０３は、演算によって得られた行列Ａおよびベクトルｂを用いて、Ａｆ＝ｂの連立方程式を解く。図９に示す処理は、主として演算部５０３の処理である。行列Ａおよびベクトルｂが求まり、制御部１０４から初期値および終了条件が与えられると図９の処理が開始される。図９の終了条件は、図９に示すｋ＋１ステップ目での残差ｒk+1が十分小さくなったときである。
【００６５】
これにより、評価関数Ｊを最小化するＧ画像ｆを求めることができる。なお、図９に示すアルゴリズムは公知であるため、詳細な説明は省略する。
【００６６】
一方、計算が非線形最適化問題となる場合には、図１１に示す準ニュートン法の手順により、Ｊを最小にするｆを計算することができる。この手法によるJの最小化、極小化は、ｆの初期解から始めて、Jのｆに関する勾配を用いて、よりJを小さくする様に、反復計算により解ｆを更新する。図１１においてＫｋは、ｓk≡ｆk+1−ｆk、ｙk＝∇Ｊ（ｆk）とおき、準ニュートン法のなかのＤＦＰ法では、以下のように計算する。
【数７】
2013223209.tif 000009
【００６７】
また、準ニュートン法のなかのＢＦＧＳ法では以下のように計算する。
【数８】
2013223209.tif 000010
【００６８】
以下、（数４）に関してより詳しく説明する。
【００６９】
画像ｆ、ｇLおよびｇSは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をＲＧＢごとに図１２のようにラインごと、ＲＧＢごとに並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、生成すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。
【００７０】
画像ｆの縦横の画素数および信号処理に用いるフレーム数は、画像処理部１０５によって設定される。
【００７１】
長時間露光のサンプリング過程Ｈ1は、行数がｇLの要素数と等しく、列数がｆの要素数と等しい行列である。また、短時間露光サンプリング過程Ｈ2は、行数がｇSの要素数と等しく、列数がｆの要素数と等しい行列である。
【００７２】
現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数４）を最小化するｆを単一の処理で求めることはできない。本願の撮像処理装置では、後述するように、ＲＧＢそれぞれの色をラインごと（例えば幅１０００画素×高さ１画素）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減することができる。
【００７３】
このように、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、生成すべき動画像ｆを計算することができる。
【００７４】
次に、長時間露光のサンプリング過程Ｈ1の定式化を簡単な例を用いて説明する。以下では、幅４画素（ｘ＝１，２，３，４）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の単板カラー撮像素子１０２で撮像し、ｙ＝１のラインにおいて２フレーム分時間加算する場合のｇLの撮像過程について考える。ここでは、例えば図３の最も左上の４画素ｘ２画素に対応して、ｙ＝２である２つの画素（ｘ，ｙ）＝（２，２）、および、（４，２）におけるＧLのｔ＝１，２を想定している。
【００７５】
得られるＧ画像ｆの要素は、ｔ＝１、２を含めて以下の（数９）のように表される。
【数９】
2013223209.tif 000011
【００７６】
（数９）において、Ｇ111〜Ｇ312、Ｒ211〜Ｒ422、Ｂ121〜Ｂ322は各画素におけるＲ、Ｇ、Ｂの画素値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。
【００７７】
上記（数９）のうち、長時間露光を求めるために必要なのは、位置（２，１）についてはＲ211およびＲ212、位置（３，１）についてはＧ311およびＧ312、位置（１，２）についてはＢ121およびＢ122、位置（２，２）についてはＧ221およびＧ222である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数１０】
2013223209.tif 000012
【００７８】
行列Ｈ1は、長時間露光のサンプリング過程であることを考慮して設定される。すなわち、ｙ＝１および２のラインにおける長時間露光の画素を得るためには、（ｘ，ｙ）＝（２，１）および（３，１）の位置におけるｔ＝１、２の各画素値を加算し、また（ｘ，ｙ）＝（１，２）および（２，２）の位置におけるｔ＝１、２の各画素値を加算する必要がある。これらによれば、長時間露光画像の撮像過程は以下のように定式化される。
【数１１】
2013223209.tif 000013
【００７９】
次に、短時間露光のサンプリング過程Ｈ2の定式化を簡単な例を用いて説明する。先の例と同様に、幅４画素（ｘ＝１，２，３，４）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１、２）の画像をベイヤ配列の撮像素子で撮像する場合について考える。
【００８０】
先のサンプリング過程Ｈ1の例と同様、この例もまた、図３の最も左上の４画素ｘ２画素を想定する。ただし短時間露光であるため、図３のｙ＝１，２における短時間露光画素の画素値が、ｔ＝１および２について必要となる。すなわち、画素（ｘ，ｙ）＝（１，１）におけるＧｓの画素値、および、（４，１）におけるＲｓの画素値、および、（３，２）におけるＢｓの画素値、および、（４，２）におけるＧｓの画素値が、ｔ＝１および２について必要となる。なお、得られるＲＧＢ画像ｆの要素は、（数９）の通りである。
【００８１】
上記（数９）のうち、短時間露光を求めるために必要なのは、位置（１，１）についてはＧ111およびＧ112、位置（４，１）についてはＲ411およびＲ412、位置（３，２）についてはＢ321およびＢ322、位置（４，２）についてはＧ421およびＧ422である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数１２】
2013223209.tif 000014
【００８２】
（数１２）の第１〜４行が時刻ｔ＝１に関し、第５〜８行が時刻ｔ＝２に関している。これらによれば、短時間露光ラインの撮像過程は以下のように定式化される。
【数１３】
2013223209.tif 000015
【００８３】
（数１１）や（数１３）は、ＲＧＢ画像ｆをベイヤ配列の単板撮像素子により露光時間を変えて撮像し、ｇL、ｇSを得る過程を示す。逆に、ｇL、ｇSからｆを生成する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１４）を最小化するｆは無数に存在する。
【数１４】
2013223209.tif 000016
【００８４】
このことは、サンプリングされない画素値に任意の値を入れても（数１４）が成り立つことから、容易に説明できる。そのため、（数１４）の最小化によってＲＧＢ画像ｆを一意に解くことはできない。
【００８５】
そこで、ＲＧＢ画像ｆについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。以下、それぞれの拘束の与え方を説明する。
【００８６】
まず、ＲＧＢ画像ｆを１ライン目のＧ（以下、Ｇｒと記載）とＲ、２ライン目のＢとＧ（以下、Ｇｂと記載）ごとの画素値の分布に関する滑らかさの拘束としては、（数１５）もしくは（数１６）の拘束式を用いる。
【数１５】
2013223209.tif 000017
【数１６】
2013223209.tif 000018
【００８７】
ここで、λCR、λCGr、λCGb、および、λCBはＲ，Ｇ，Ｂの滑らかさの拘束の重みであり、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）が最良となるように決めればよい。
【００８８】
なお、ＰＳＮＲは（数１７）で定義される。
【数１７】
2013223209.tif 000019
【００８９】
ここで、ｆｍａｘは画素値の最大値（例えば、８ビット時２５５、１０ビット時１０２３）であり、σは正解画像と生成画像との差の標準偏差である。
【００９０】
一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλλCR、λCGr、λCGb、および、λCBを決めればよい。（数４）に示す通り、拘束条件Ｑも評価関数Ｊの一部を構成する。したがって、評価関数Ｊの値をできるだけ小さくするためには、拘束条件Ｑも小さい方が好ましい。
【００９１】
（数１５）に関しては、画素値ｆの分布の変化が少ないほど、Ｑの値は小さくなる。（数１６）に関しては、画素値ｆの分布の変化が一定であるほど、Ｑの値は小さくなる。これらが、画素値ｆの分布に関する滑らかさの拘束条件となる。
【００９２】
また、（数１４）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数４）、（数１４）におけるべき指数Ｍと同様に、演算量の観点から１または２が望ましい。
【００９３】
なお、上記の偏微分値∂／∂ｘ、∂2／∂ｘ2は、着目画素近傍の画素値による差分展開により、例えば（数１８）により近似計算できる。
【数１８】
2013223209.tif 000020
【００９４】
差分展開は上記（数１８）に限らず、例えば（数１９）の様に、近傍の他の画素を参照するようにしてもよい。
【数１９】
2013223209.tif 000021
【００９５】
（数１９）は（数１８）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。
【数２０】
2013223209.tif 000022
【００９６】
差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、演算量や回路規模を少しでも小さくするために、（数１８）を用いてもよい。
【００９７】
（数１５）、（数１６）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数４）を解く問題に対しては、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。
【００９８】
また、以上のように、ＲＧＢ画像ｆを１ライン目のＧ（以下、Ｇｒと記載）とＲ、２ライン目のＢとＧ（以下、Ｇｂと記載）を独立に計算することが可能なため、１次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。例えば、生成すべき動画像を横２０００画素、縦１０００画素とすると、Ｇｒ／Ｒ／Ｂ／Ｇｂそれぞれを、幅１０００画素×高さ１画素ごとに処理することが可能である。そのため、メモリアクセスを大幅に削減することができる。
【００９９】
次に、ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束を説明する。
【０１００】
ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数２１）または（数２２）を用いる。
【数２１】
2013223209.tif 000023
【数２２】
2013223209.tif 000024
【０１０１】
ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。
【０１０２】
ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数２１）、（数２２）に限らず、例えば（数２３）、（数２４）に示す１階または２階の方向微分としてもよい。
【数２３】
2013223209.tif 000025
【数２４】
2013223209.tif 000026
【０１０３】
さらに、（数２５）〜（数２８）に示すように、（数２１）〜（数２４）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ（輝度変化が不連続な境界）部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。
【数２５】
2013223209.tif 000027
【数２６】
2013223209.tif 000028
【数２７】
2013223209.tif 000029
【数２８】
2013223209.tif 000030
【０１０４】
ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数であり、（数２９）に示す画素値のこう配の成分の、べき乗和によって定義される。
【数２９】
2013223209.tif 000031
【０１０５】
また、（数２９）に示す輝度こう配の成分の２乗和の代わりに、（数３０）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数３０】
2013223209.tif 000032
【０１０６】
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数３１）によって与えられる。
【数３１】
2013223209.tif 000033
【０１０７】
このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１０８】
（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解く問題に関しては、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。
【０１０９】
この問題に対しては、公知の解法、例えばＥＭアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。
【０１１０】
ｆの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、画像処理部１０５が、上述のごとく、（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解くことにより、処理結果の画質を向上させることができる。
【０１１１】
画像処理部１０５における処理は、（数１５）、（数１６）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数２１）〜（数２８）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数３２）のように同時に用いてもよい。
【数３２】
2013223209.tif 000034
【０１１２】
ここで、Ｑfはｆの画素値のこう配に関する滑らかさの拘束、Ｑuvはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ1およびλ2はＱfとＱuvの拘束に関する重みである。
【０１１３】
なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。例えば、画質が最もよくなるものを選択するようにすればよい。「画質が最もよくなる」とは、例えばその映像を確認する者の主観に基づいて決定することができる。
【０１１４】
画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数４）を解く問題も、公知の解法（例えばＥＭアルゴリズム等を用いた変分問題の解法）を利用することができる。
【０１１５】
また、動きに関する拘束は、（数２１）〜（数２８）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、（数３３）のように表すことができる。
【数３３】
2013223209.tif 000035
【０１１６】
ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数３４）に示すようにベクトル表現することができる。
【数３４】
2013223209.tif 000036
【０１１７】
残差の平方和は下記（数３５）に示すように表すことができる。
【数３５】
2013223209.tif 000037
【０１１８】
（数３４）、（数３５）において、Ｈmはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈmでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。
【０１１９】
動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
【０１２０】
（数３５）をＱmとおき、拘束条件を（数３６）のようにしてもよい。
【数３６】
2013223209.tif 000038
【０１２１】
ここで、λ3は拘束条件Ｑmに関する重みである。
【０１２２】
以上述べた方法により、動き検出部２０１でＧSとＲSとＢSの短時間露光画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＲＧＢ動画像を画像処理部１０５で信号対雑音比（Ｓ／Ｎ）を向上させ、色にじみの少ない新たな動画像を生成することができる。
【０１２３】
さらに、こうして生成したＲＧＢ画像を利用し、公知のデモザイキング処理を行なうことにより、画像処理部１０５は信号対雑音比（Ｓ／Ｎ）を向上させ、色にじみの少ない新たな動画像を生成することができる。本願の撮像処理装置は、１ラインごとに処理を行なうため、１次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。
【０１２４】
また、本願の撮像処理装置は、ベイヤ配列におけるＲＧＢ画素位置の画像のみを生成し、生成した画像に対してデモザイキング処理によりカラー画像を生成するため、すべての画素で画像生成を行なう場合に比べ、１／３の演算量で行なうことができるため、演算量ならびに回路規模を削減しながら、色ずれを生じさせることなく、Ｓ／Ｎをより改善することができる。
【０１２５】
なお、上述した画像処理部１０５におけるＲ，Ｇ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。
【０１２６】
他の方法として、例えば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。
【０１２７】
以上説明したように、実施形態１によれば、単板撮像素子に時間加算の機能を付加し、１ラインごとに時間加算された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、色にじみの少ない画像（時間加算を行なわずに全画素を読み出した画像）を推定し生成することができる。
【０１２８】
（実施形態１の変形例）
実施形態１では、画像処理部１０５における処理に、（数１０）や（数１２）を用いた劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。
【０１２９】
種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。
【０１３０】
図１３は、動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。画像処理部１０５の画像生成部１１１は、動き拘束を用いることなく、新たな画像を生成する。
【０１３１】
図１３において、図１および図６と同じ動作をする構成要素には、図１および図６と同一の符号を付し、説明を省略する。
【０１３２】
従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。
【０１３３】
しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、図３に示した画素配置にある。この画素配置では、ＲＧＢ画像を生成する際、１ライン単位で横方向にスキャンすることにより、単板カラー撮像素子１０２の長時間露光および短時間露光を行うそれぞれの色成分の画素が、順番に混在している。そのため、短時間露光によって撮影された画素と長時間露光によって撮影された画素が順番に混在し、動き拘束を用いずに画像を生成した際に、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量ならびに回路規模を低減することができる。
【０１３４】
以下に、画像生成部１１１による高画質化処理を説明する。
【０１３５】
（数４）においてＭ＝２とし、Ｑとして（数１５）ないし（数１６）を用い、これらの式におけるｍを２とする。そして、１階微分、２階微分の差分展開として（数１８）、（数１９）、（数２０）のいずれかを用いると、評価式Ｊはｆの２次式となる。評価式を最小化するｆの計算は、（数３７）により、ｆについての連立方程式の計算に帰着する。
【数３７】
2013223209.tif 000039
【０１３６】
ここで、解くべき連立方程式を（数３８）のようにおく。
【数３８】
2013223209.tif 000040
【０１３７】
（数３８）において、ｆは生成する画素数（１フレームの画素数×処理するフレーム数）分の要素を持つため、（数３８）の計算量は通常、非常に大規模になる。しかし、本願の撮像処理装置では、前述のとおり、Ｇｒ／Ｒ／Ｂ／Ｇｂそれぞれを１ラインごと（例えば幅１０００画素×高さ１画素×処理するフレーム数）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減し、演算量ならびに回路規模を削減することができる。
【０１３８】
このような連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆを収束させる方法（繰り返し法）が一般的に用いられる。
【０１３９】
動き拘束を用いずにｆを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。このことを利用すると、連立方程式（数３８）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直接法により画像処理を行うようにできる。
【０１４０】
（数１８）に示す滑らかさ拘束を用いる場合、ｘ方向の２階偏微分は、例えば、（数１８）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、（数３９）のように行列をΛと置くことができる。
【数３９】
2013223209.tif 000041
【０１４１】
これにより、１行あたりのノンゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、Λの逆行列Λ-1の計算が容易になる。そして、（数４０）および（数４１）により、ｆを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。
【数４０】
2013223209.tif 000042
【数４１】
2013223209.tif 000043
【０１４２】
また、滑らかさの拘束として（数１４）を利用することにより、奇数行目のＧ画素Ｇｒ、奇数行目のＲ画素、偶数行目のＢ画素、偶数行目のＧ画素Ｇｂを独立に計算することができるため、メモリアクセスを削減し、演算量ならびに回路規模を削減しながら、色ずれを生じさせることなく、Ｓ／Ｎをより改善することができる。この場合、本願の撮像処理装置では、１ラインごとの各色の画素（例えば幅１０００画素×高さ１画素×処理するフレーム数）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減し、演算量ならびに回路規模を削減することができる。
【０１４３】
また、本願の撮像処理装置における画素配置は、図３に限ったものではなく、図５Ａ〜５Ｇのいずれでも構わない。前述のとおり、本願の撮像処理装置においては、単板カラー撮像素子１０２の各色画素において、ｘ方向に長時間露光および短時間露光を行うそれぞれの画素が、順番に混在している必要がある。図５Ａ〜５Ｇはいずれもこの条件を満たす。
【０１４４】
（実施形態２）
近年、多くの機器において電子式ビューファインダが利用され始めている。しかしながら、特許文献１に記載の技術によってそのような電子式ビューファインダを実現しようとすると、撮影時にビューファインダに色にじみや遅延のない映像を表示することが困難であった。その理由は、ある１つの色について全画素で長時間露光をしているためである。
【０１４５】
これに対して、本発明の実施形態２では、第１色から第３色までのすべてで、一部またはすべての画素を短時間露光で撮影している。そのため、本実施形態では、短時間露光で撮影された画素の情報をビューファインダに表示することにより、遅延や色にじみのない映像を撮影者に提示する。
【０１４６】
図１４は、本実施形態における撮像処理装置４００の構成を示すブロック図である。図１４において、図１と同一の動作をするものについては、図１と同一の符号を付し、説明を省略する。
【０１４７】
撮像処理装置４００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５と、表示制御部８０１と、表示部８０２とを備えている。
【０１４８】
単板カラー撮像素子１０２によって短時間露光撮影された画素信号は、表示制御部８０１に入力される。
【０１４９】
表示制御部８０１は、入力された短時間露光画像の画素信号に表示のための処理を施す。たとえば表示制御部８０１は、簡単な補間処理によって、ＲＧＢ各色のサンプリング位置を揃え、また、アスペクト比を調整する。本願の撮像処理装置では、ＲＧＧＢ４画素のうち、ＲＧＢ３画素を短時間露光で撮影する。そのため、表示制御部８０１は、これらの短時間露光画素を補間処理することで、表示のための処理を行なう。
【０１５０】
一例として、図１５は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。他の例として、図１６は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。表示制御部８０１は、図１５および図１６に示すような処理を行った後、各色画像に、サンプリング位置を揃えるための位置合わせ処理を行い、表示部８０２に表示する。
【０１５１】
撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。
【０１５２】
以上述べたように、本発明にかかる撮像処理装置は、光学系、撮像素子、読み出し制御部、画像処理部を有し、小型撮像素子による高解像度かつ高感度撮影向けの技術として有用である。
【０１５３】
なお、上述の実施形態では、読み出し制御部１０３、制御部１０４、画像処理部１０５、表示制御部８０１は異なる構成要素として図示し、説明した。これらは各々が別個のプロセッサによって実現され得る。しかしながらその構成は一例である。２以上の構成要素の機能を、１つのプロセッサによって実現してもよい。もちろん、全ての構成要素の機能を、１つのプロセッサによって実現してもよい。その場合には、たとえば上述した各構成要素の動作に対応する動作を行うためのプログラムモジュールを用意しておき、当該プロセッサがある時点においていずれか１つのまたは複数のプログラムモジュールを実行すればよい。これにより、上述した各構成要素の動作が１つプロセッサによって実現されることになる。
【０１５４】
上述したある例示的な実施形態によれば、撮像処理装置の単板カラー撮像素子は、所定のフレームレートに対応する露光時間で露光して得られた画素信号が読み出される複数の第１画素（短時間露光画素）および当該所定のフレームレートよりも長い露光時間で露光して得られた画素信号が読み出される複数の第２画素（長時間露光画素）を有している。この単板カラー撮像素子は、第１色成分、第２色成分および第３色成分の光を第１画素および第２画素の各々で検出する画素が複数設けられている。この単板カラー撮像素子を用いることで、１ラインごとに各色成分について、あるフレームレートで動画像の画素信号と、当該フレームレートよりも長い露光時間で撮影された動画像の画素信号とが得られる。これにより、第１色成分、第２色成分および第３色成分の動画像を常に長時間露光によって撮影した場合と比較して、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【０１５５】
本願の他の例示的な実施形態によれば、撮像処理装置は、すべての画素を、２種類の画素、すなわち長時間露光の画素と、短時間露光の画素と、２通り、各種類の画素から信号を読み出す。この際、各色成分において長時間露光の画素と、短時間露光の画素は読み出し方向に対して順番に撮影するように画素を配置する。このような画素配置における読み出し信号に対して、画像復元処理を行うことにより、全て長時間露光のみによって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【０１５６】
なお、本明細書における画像処理部１０５は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理部１０５の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図７のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【０１５７】
上述の実施形態においては、Ｒ，ＧおよびＢの３色でカラー動画像を撮影し、Ｇのみ短時間露光と長時間露光の両方で撮像するとして説明した。しかしながら、これらの色成分の分け方は一例である。例えば、シアン、マゼンタ、イエローの３色のカラーフィルタを用いてもよい。また、３色ではなく、２色または４色以上のフィルタを用いてもよい。
【産業上の利用可能性】
【０１５８】
本発明の撮像装置および処理装置は、低光量時の高解像度撮影や小型画素による撮像に有用である。また、プログラムとしても適用が可能である。
【符号の説明】
【０１５９】
１００  撮像処理装置
１０１  光学系
１０２  単板カラー撮像素子
１０３  読み出し制御部
１０４  制御部
１０５  画像処理部
【図１】
2013223209.tif 000044
【図２】
2013223209.tif 000045
【図３】
2013223209.tif 000046
【図４】
2013223209.tif 000047
【図５Ａ】
2013223209.tif 000048
【図５Ｂ】
2013223209.tif 000049
【図５Ｃ】
2013223209.tif 000050
【図５Ｄ】
2013223209.tif 000051
【図５Ｅ】
2013223209.tif 000052
【図５Ｆ】
2013223209.tif 000053
【図５Ｇ】
2013223209.tif 000054
【図６】
2013223209.tif 000055
【図７】
2013223209.tif 000056
【図８】
2013223209.tif 000057
【図９】
2013223209.tif 000058
【図１０】
2013223209.tif 000059
【図１１】
2013223209.tif 000060
【図１２】
2013223209.tif 000061
【図１３】
2013223209.tif 000062
【図１４】
2013223209.tif 000063
【図１５】
2013223209.tif 000064
【図１６】
2013223209.tif 000065