(57)【要約】【課題】光量を確保しＳ／Ｎを改善しつつ、色にじみを低減した画像を得る。【解決手段】撮像処理装置は、第１のフレームレートおよびそれよりも低い第２のフレームレートで読み出される画素の両方を有する単板カラー固体撮像素子であって、該単板カラー固体撮像素子は、前記第１および第２のフレームレートで読み出される画素が３：１の割合で交互に並ぶ水平行と、前記２種の画素が１：３の割合で交互に並ぶ水平行が、垂直方向に交互に並んでいる。また、該撮像処理装置は、入力カラー画像をＲＧＢの３色成分に分離する画像分離部４０１、各色の前記第１のフレームレートの出力画像を生成する単色画像処理部４０２、４０３ならびに４０４、および各色の出力画像からカラー画像を生成する画像統合部４０５を有し、単色画像処理部では、画素値の空間的な滑らかさに関する拘束を、同一垂直・水平ライン上あるいは斜め方向に隣接する同色画素同士に対して適用する。【選択図】図４
2013223211.tif 000002
【特許請求の範囲】
【請求項１】
２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、
前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができる、単板カラー撮像素子と、
前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成する画像処理部と、
を備え、
前記画像処理部は、
前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、
前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、
前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項と、
を含む評価式を設定し、
前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、
前記評価式を最小化する動画像を、前記新たな動画像として求める、撮像処理装置。
【請求項２】
前記画像処理部は、
前記第１色画素から前記第１のフレームレートで読み出された画素値と、前記第１色画素から前記第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの第１色動画像を生成する第１の単色画像処理部と、
前記第２色画素から前記第１のフレームレートで読み出された画素値と、前記第２色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第２色動画像を生成する第２の単色画像処理部と、
前記第３色画素から前記第１のフレームレートで読み出された画素値と、前記第３色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第３色動画像を生成する第３の単色画像処理部と、
を備え、
前記第１、第２および第３動画像から前記カラー動画像を生成する、請求項１に記載の撮像処理装置。
【請求項３】
前記画像処理部は、
前記第１の単色画像処理部から出力された前記第１色動画像と、前記第２の単色画像処理部から出力された前記第２色動画像と、前記第３の単色画像処理部から出力された前記第３色動画像とを格納するメモリを備える、請求項２に記載の撮像処理装置。
【請求項４】
前記画像処理部は、
前記評価式は、前記第１の差、第２の差、および拘束条件項の各々に乗算された重み係数を含む、請求項１に記載の撮像処理装置。
【請求項５】
前記第１色画素、第２色画素および第３色画素は、それぞれ、緑色画素、赤色画素および青色画素である、請求項１から４のいずれかに記載の単板カラー固体撮像素子。
【請求項６】
前記画像処理部は、
前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像または前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、
前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項を前記評価式に含める、請求項１から５のいずれかに記載の撮像処理装置。
【請求項７】
単板カラー撮像素子から得られる画素値に基づいて画像処理を行う画像処理方法であって、
前記単板カラー撮像素子は、
２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、
前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、
前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、
前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップと、
を含み、
前記新たな動画像を生成するステップにおいて、
前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、
前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、
前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項と、
を含む評価式を設定し、
前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、
前記評価式を最小化する動画像を、前記新たな動画像として求める、画像処理方法。
【請求項８】
前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む、請求項７に記載の画像処理方法。
【請求項９】
単板カラー撮像素子から得られる画素値に基づいて画像処理を行うための画像処理プログラムであって、
前記単板カラー撮像素子は、
２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、
前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、
コンピュータに、
前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、
前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップと、
を実行させ、
前記新たな動画像を生成するステップにおいて、
前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、
前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、
前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項と、
を含む評価式を設定し、
前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、
前記評価式を最小化する動画像を、前記新たな動画像として求める、画像処理プログラム。
【請求項１０】
前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む、請求項９に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、動画像を生成する撮像処理装置、撮像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。しかし、撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。その一方、画素寸法が小型化されるほど、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。
【０００３】
特許文献１は、赤、緑、青のそれぞれ光を検出する３枚の撮像素子を利用し、露出時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現することを開示している。この技術では、２種類の解像度の撮像素子が用いられている。一方の高解像度な撮像素子は長時間露出で画素信号を読み出し、他方の低解像度な撮像素子は短時間露出で画素信号を読み出す。これにより、光量を確保していた。
【０００４】
さらに、特許文献２は、特許文献１の手法を単板カメラに拡張し、単板カメラであっても各画素の信号対雑音比（Ｓ／Ｎ）の低下を抑えながら、画質の維持を実現することを開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０５９９２号公報
【特許文献２】国際公開ＷＯ２０１０／０９００２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、動きぶれに起因する画質の低下を低減することができる撮像処理の技術を提供する。
【課題を解決するための手段】
【０００７】
ある実施形態において、撮像処理装置は、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができる、単板カラー撮像素子と、前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成する画像処理部とを備え、前記画像処理部は、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項とを含む評価式を設定し、前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、前記評価式を最小化する動画像を、前記新たな動画像として求める。
【０００８】
ある実施形態において、前記画像処理部は、前記第１色画素から前記第１のフレームレートで読み出された画素値と、前記第１色画素から前記第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの第１色動画像を生成する第１の単色画像処理部と、前記第２色画素から前記第１のフレームレートで読み出された画素値と、前記第２色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第２色動画像を生成する第２の単色画像処理部と、前記第３色画素から前記第１のフレームレートで読み出された画素値と、前記第３色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第３色動画像を生成する第３の単色画像処理部とを備え、前記第１、第２および第３動画像から前記カラー動画像を生成する。
【０００９】
ある実施形態において、前記画像処理部は、前記第１の単色画像処理部から出力された前記第１色動画像と、前記第２の単色画像処理部から出力された前記第２色動画像と、前記第３の単色画像処理部から出力された前記第３色動画像とを格納するメモリを備える。
【００１０】
ある実施形態において、前記画像処理部は、前記評価式は、前記第１の差、第２の差、および拘束条件項の各々に乗算された重み係数を含む。
【００１１】
ある実施形態において、前記第１色画素、第２色画素および第３色画素は、それぞれ、緑色画素、赤色画素および青色画素である。
【００１２】
ある実施形態において、前記画像処理部は、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像または前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項を前記評価式に含める。
【００１３】
ある実施形態において、画像処理方法は、単板カラー撮像素子から得られる画素値に基づいて画像処理を行う画像処理方法であって、前記単板カラー撮像素子は、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップとを含み、前記新たな動画像を生成するステップにおいて、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項とを含む評価式を設定し、前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、前記評価式を最小化する動画像を、前記新たな動画像として求める。
【００１４】
ある実施形態において、前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む。
【００１５】
ある実施形態において、画像処理プログラムは、単板カラー撮像素子から得られる画素値に基づいて画像処理を行うための画像処理プログラムであって、前記単板カラー撮像素子は、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、コンピュータに、前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップとを実行させ、前記新たな動画像を生成するステップにおいて、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項とを含む評価式を設定し、前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、前記評価式を最小化する動画像を、前記新たな動画像として求める。
【００１６】
ある実施形態において、前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む。
【発明の効果】
【００１７】
本発明によれば、複数の色の各々について、フレームレートが異なる画像を得て画像処理を行うため、動きぶれに起因する画質の低下を低減することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態１による撮像処理装置１００の構成を示すブロック図
【図２】単板カラー撮像素子１０２の画素配列の一例を示す図
【図３】本発明における単時間露出画像と長時間露出画像の配置の例を示す図
【図４】実施形態１のカラー画像処理部１０５の内部構成を示す図
【図５】共役勾配法の処理手順を示すフローチャート
【図６】図５に示す処理を行うためのＲ画像処理部４０２の構成例を示す図
【図７】実施形態１の画像分離部４０１により取り出したＲ画素の配列の例を示す図
【図８】実施形態１の画像分離部４０１により取り出したＧ画素の配列の例を示す図
【図９】実施形態１のＧ画素に対する滑らかさ拘束の適用範囲を示す図
【図１０】実施形態１の画像分離部４０１により取り出したＢ画素の配列の例を示す図
【図１１】実施形態２のカラー画像処理部１０５の内部構成例を示す図
【図１２】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図
【図１３】実施形態２のカラー画像処理部１０５の他の内部構成例を示す図
【図１４】実施形態３の画素配列の例を示す図
【図１５】実施形態１のＲ画素に対する滑らかさ拘束の適用範囲を示す図
【図１６】実施形態１のＢ画素に対する滑らかさ拘束の適用範囲を示す図
【図１７】単板カラー固体撮像素子１０２の構成の例を示す図
【図１８】単板カラー固体撮像素子１０２の画素アレイ１７０１の詳細な構成を示す図
【図１９】第１実施形態における滑らかさ拘束の適用範囲の他の例を示す図
【図２０】単板カラー撮像素子１０２の画素アレイ１７０１のカラーフィルタの配列の他の例を示す図
【図２１】本発明の一態様における撮像処理装置が備える単板カラー撮像素子における画素配置の例を示す平面図
【発明を実施するための形態】
【００１９】
前述の従来技術では、Ｇ成分画像を長時間露出で撮像する。このため、例えば被写体がシステム規定の検出範囲よりも大きく動く場合や、被写体の変形を伴うような複雑な動きをする場合などＲＢ成分画像で動きの検出がうまく動作しなかった場合に、Ｇ成分の動きぶれが除去しきれずに復元画像に残る。また、被写体の変形を伴うような複雑な動きをする場合などＲＢ成分画像で動きの検出がうまく動作しなかった場合も同様である。Ｇ成分の動きぶれが除去しきれずに復元画像に残ると、緑色またはその補色であるマゼンタの色にじみが発生する。そのため、多くの場合得られた動画像の画質は高かったものの、動きの検出が困難な一部の範囲においては、復元した画像上に前記色にじみが見られることがあり、画質改善の余地があった。また、特許文献２においても、さらなるＳ／Ｎの改善が望まれている。
【００２０】
本発明の一態様における撮像処理装置は、単板カラー撮像素子と画像処理部とを備える。この単板カラー撮像素子では、図２１に例示されるように、第１画素ユニットと第２画素ユニットとが行および列状に交互に配列されている。第１画素ユニットでは、２個の第１色画素（１Ｓ，１Ｌ）、１個の第２色画素（２Ｓ）、および１個の第３色画素（３Ｓ）がベイヤ配列を形成するように配列されている。第２画素ユニットでは、２個の第１色画素（１Ｓ，１Ｌ）、１個の第２色画素（２Ｌ）、および１個の第３色画素（３Ｌ）がベイヤ配列を形成するように配列されている。ある実施形態において、第１色画素、第２色画素および第３色画素が、それぞれ、緑の画素、赤の画素および青の画素に対応される。３つの色は、緑、赤および青に限定されず、これらの補色であってもよい。第１画素ユニットおよび第２画素ユニットは、画素の周期的な二次元配列を構成する要素にすぎず、各々の画素ユニットの間に特別な境界が設けられているわけではない。また、現実の画素の配列を固定したまま、各画素ユニットを例えば１画素分だけ相対的に移動させてもよい。
【００２１】
第１画素ユニットにおける２個の第１色画素（１Ｓ，１Ｌ）の一方（１Ｓ）、第２色画素（２Ｓ）および第３色画素（３Ｓ）、ならびに第２画素ユニットにおける２個の第１色画素（１Ｓ，１Ｌ）の一方あって第１画素ユニットにおける第１色画素の前記一方（１Ｓ）と同じ行に位置する第１色画素（１Ｓ）からは画素値が第１のフレームレート（Ｓ：  Ｓｈｏｒｔ）で読み出される。
【００２２】
また、第１画素ユニットにおける２個の第１色画素（１Ｓ，１Ｌ）の他方（１Ｌ）、ならびに第２画素ユニットにおける２個の第１色画素の他方（１Ｌ）、第２色画素（２Ｌ）および第３色画素（３Ｌ）からは画素値が、第１のフレームレートよりも低い第２のフレームレート（Ｌ：  Ｌｏｎｇ）で読み出される。
【００２３】
画像処理部は、第１のフレームレートで読み出された画素値と、第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの新たな動画像を生成する。実施形態における画像処理部は、第１のフレームレートで読み出された画素値と、第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの新たな動画像を生成する処理を、色毎に実行する。そして、色ごとに得られた第１のフレームレートの動画像から第１のフレームレートのカラー画像を得ることが可能になる。
【００２４】
以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を詳細に説明する。
【００２５】
（実施形態１）
図１は、本実施形態における撮像処理装置１００の構成を示すブロック図である。撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、カラー画像処理部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。
【００２６】
光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。
【００２７】
単板カラー撮像素子１０２は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタアレイが各画素に装着された撮像素子である。図２は、単板カラー撮像素子１０２の一例を示す。単板撮像素子の各画素（フォトダイオード）に対応して、ベイヤ配列と呼ばれる配列のカラーフィルタアレイが装着されている。図中の"Ｒ"、"Ｇｒ"および"Ｇｂ"、"Ｂ"はそれぞれ「赤」、「緑」、「青」のフィルタを示している。ここで、"Ｇｒ"とはＲ成分のカラーフィルタと同一の行に配置されるＧ成分のカラーフィルタを示し、"Ｇｂ"とはＢ成分のカラーフィルタと同一の行に配置されるＧ成分のカラーフィルタを示す。
【００２８】
単板カラー撮像素子１０２の各画素は、光学系１０１によって結ばれた光（光学像）を、それぞれに対応して設けられた赤、緑または青のフィルタを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値（画素信号）を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。
【００２９】
以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ"Ｒ"、"Ｇ"、"Ｂ"によって表すとする。撮像素子の各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色に関する画素値を持つ。以下、赤、緑、青の色成分の光を検出する画素を、それぞれＲ画素、Ｇ画素ならびにＢ画素と呼ぶ。また、図３において"Ｇｒ"、"Ｇｂ"と記載のある位置の画素については、それぞれＧｒ画素、Ｇｂ画素と呼ぶ。ここでいう"Ｇ画素"とは、Ｇｒ画素とＧｂ画素を総称したものである。
【００３０】
この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルタを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。
【００３１】
読み出し制御部１０３は、図２に示す配列の単板カラー撮像素子１０２の各画素の電荷（画素値）の露出時間（または読み出しタイミング）を独立して読み出す。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部１０３の読み出し動作は、制御部１０４による制御に基づいて実行される。
【００３２】
図３に、本実施形態における短時間露出画像と長時間露出画像の配置の例を示している。画素信号の読み出しは、ライン単位で行われる。図３において、Ｒ、Ｇｒ、Ｇｂ、Ｂの添え字Ｓは短時間露出を示し、添え字Ｌは長時間露出を示す。
【００３３】
本願明細書では、「短時間露出」とは、一般的な動画撮影時の１フレームの時間だけ露光することを意味する。例えば「短時間露出」とは、フレームレートが３０フレーム／秒（３０ｆｐｓ）の場合には１／３０秒の露出時間で露光することに相当する。フレームレートが６０フレーム／秒（６０ｆｐｓ）の場合には１／６０秒である。一方、長時間露出とは、１フレームの露光に要する時間よりも長い時間、例えば２フレームから１０フレーム程度の露光することを意味する。
【００３４】
図１７に、本実施形態にかかる単板カラー固体撮像素子１０２の構成の一例を示す。単板カラー固体撮像素子１０２は、画素アレイ１７０１、Ｇ成分ＡＤ変換部１７０２、Ｇ成分ＨＳＲ１７０３、ＲＢ成分ＡＤ変換部１７０４、ＲＢ成分ＨＳＲ１７０５ならびに撮像制御部１７０６を備える。画素アレイ１７０１は、図３に示すカラーフィルタ配置および長時間露光の画素・短時間露光の画素の配置が実装され、各色成分の入射光を光電変換する。Ｇ成分ＡＤ変換部１７０２は、画素アレイ１７０１から得られたＧ画素の出力信号を、アナログ‐デジタル変換する。Ｇ成分ＨＳＲ１７０３は、Ｇ成分ＡＤ変換部１７０２の出力を、単板カラー固体撮像素子１０２の外部に出力する。ＲＢ成分ＡＤ変換部１７０４は、画素アレイ１７０１から得られたＲおよびＢ画素の出力信号をアナログ‐デジタル変換する、ＲＢ成分ＨＳＲ１７０５は、ＲＢ成分ＡＤ変換部１７０４の出力を、単板カラー固体撮像素子１０２の外部に出力する。撮像制御部１７０６は、長時間および短時間のそれぞれの露出時間に対応する読み出し信号を、画素アレイ１７０１に供給する。
【００３５】
また、図１８に、画素アレイ１７０１の詳細な構成の一例を示す。図１８において、長時間露出で撮像する画素（添え字Ｌ）については、長時間読み出し信号線１８０１が接続され、長時間露出・低フレームレートで読み出される。短時間露出の画素（添え字Ｓ）については、短時間読み出し信号線１８０２が接続され、短時間露出・高フレームレートで読み出される。前記長時間読み出し信号線１８０１および短時間読み出し信号線１８０２は、図１７における撮像制御部１７０６に接続されており、撮像制御部１７０６からそれぞれの露出時間に対応する読み出し信号を受け取る。この構成は、上下に隣接する２つの画素で長時間読み出し信号線１８０１あるいは短時間読み出し信号線１８０２を共有するため、２つの水平画素列を同時に読み出すことができ、読み出しの高速化を図ることができる。また、図１８の構成において、同時に読み出された画素の出力信号が互いに混合することを避けるために、Ｇ信号出力線１８０３とＲＢ信号出力線１８０４がそれぞれ別個に設けられている。
【００３６】
再び図１を参照する。
【００３７】
カラー画像処理部１０５は、短時間露出画像データと長時間露出画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値（例えば、Ｒ，Ｇ，Ｂの画素値）を推定し、高解像度カラー動画像を生成する。
【００３８】
図４に、カラー画像処理部１０５の詳細な構成の一例を示す。カラー画像処理部１０５は、画像分離部４０１、Ｒ画像処理部４０２、Ｇ画像処理部４０３、Ｂ画像処理部４０４および画像統合部４０５を備える。画像分離部４０１は、図４に示すように、Ｒ、Ｇｒ、Ｇｂ、Ｂのすべての色成分を含む入力画像を、Ｒ成分の画素のみを含む画像（以下Ｒ成分画像）、Ｇ成分のみの画素を含む画像（Ｇ成分画像）ならびにＢ成分の画素のみを含む画像（Ｂ成分画像）の３つに分解する。なお図４においては、図３におけるＧｒＬ画素とＧｂＬ画素を併せてＧＬと表記し、また同図におけるＧｒＳ画素とＧｂＳ画素を併せてＧＳと表記している。Ｒ画像処理部４０２は、ＲＬ画素およびＲＳ画素の画素値から、画像処理を行うことによって各Ｒ画素位置における出力画像の画素値を生成する。Ｇ画像処理部４０３は、ＧＬ画素およびＧＳ画素の画素値から、画像処理を行うことによって各Ｇ画素位置における出力画像の画素値を生成する。Ｂ画像処理部４０４は、ＢＬ画素およびＢＳ画素の画素値から、画像処理を行うことによって各Ｂ画素位置における出力画像の画素値を生成する。
【００３９】
、画像統合部４０５は、Ｒ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４から出力された各色成分画像を統合し、最終的なカラー画像を生成する。画像統合部４０５の具体的例は、メモリである。Ｒ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４から出力された各データがメモリ内に記録され得る。このメモリから各色のデータを読み出せば、カラー画像を得ることができる。従って、最終的なカラー画像の生成とは、カラー画像を表示することではなく、カラー画像を構成する各色のデータを揃えることを意味する。各色のデータは、同一メモリ内の異なる領域に分けて格納されてもよいし、異なるメモリに分けて格納されてもよい。また、各色のデータが混在した形でメモリ内に格納されてもよい。
【００４０】
次に、図４におけるＲ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４の詳細な動作について説明する。これらのそれぞれの処理内容は一部を除いて同一であり、これ以降Ｒ画像処理部４０２を例にとって説明する。Ｒ画像処理部４０２における処理内容の説明の後、Ｇ画像処理部４０３、Ｂ画像処理部４０４における処理の、Ｒ画像処理部４０２との差分点について述べる。
【００４１】
＜各画素におけるＲ画素値の生成処理＞
Ｒ画像処理部４０２は、次式で表される評価関数（評価式）ＪRを最小化して、各々のＲの画素値を計算する。
【数１】
2013223211.tif 000003
ここで、Ｈ1Rは長時間露出のサンプリング過程、Ｈ2Rは短時間露出のサンプリング過程、ｆRは新たに生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像である。また、λLRおよびλSRは重み係数である。単板カラー撮像素子１０２によって撮像されたＲの短時間露出画像をｇSR、長時間露出画像をｇLRとする。Ｍはべき指数、Ｑは生成すべき画像ｆRが満たすべき条件、すなわち拘束条件である。
【００４２】
（数１）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【００４３】
（数１）の第１項は、生成すべきＲ画像ｆRを、長時間露出のサンプリング過程Ｈ1Rによってサンプリングして得られた画像と、実際に長時間露出画像として得られた、ｇLRとの差の演算を意味する。長時間露出のサンプリング過程Ｈ1Rを予め定めておき、この差分を最小化するｆRを求めると、そのｆRは、長時間露出によって得られたｇLRと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆRは、短時間露出によって得られたｇSRと最もよく整合するといえる。また、第３項は、解ｆRを一意に決定するための拘束条件（拘束条件項）である。
【００４４】
そして、（数１）の評価関数ＪRを最小化するＲ画像ｆRは、長時間露出および短時間露出によって得られたｇLRおよびｇsRの両方を総合的によく満足するといえる。画像生成部２０２は、数１を最小化するＲ画像ｆRを計算することで、Ｓ／Ｎが改善されたＲ画像の画素値を生成する。
【００４５】
（数１）のＪRの最小化は、∂ＪR／∂ｆR＝０となるＲ画像ｆRを求めることによって行う。この計算は、（数１）においてＭ＝２でかつ、ＱがｆRの２次形式の場合には、上述のJのfRによる偏微分∂JR/∂ｆRがｆRの1次式になるため、線形最適化問題となり連立方程式ＡRｆR＝ｂRの計算に帰着する。すなわち、（数１）をｆRで偏微分すると、以下のようになる。
【数２】
2013223211.tif 000004
【００４６】
（数２）において、ＱがｆRの２次形式であることを仮定し、次のように書き直す。
【数３】
2013223211.tif 000005
ここでＱMは列数がｆRの要素数に等しい行列であり、||・||はベクトルのノルムを表す。（数２）に（数３）を代入し、右辺＝０とおいて変形することで以下の連立方程式を得、Ｒ画像ｆRを計算できる。
【数４】
2013223211.tif 000006
【００４７】
一方、Ｍ＝１の場合や、Ｍ＝３以上の整数の場合、また、Ｍが整数でない場合には、非線形最適化問題となる。
【００４８】
図５は、共役勾配法の処理手順を示す。計算が線形最適化問題になる場合、図５に示す共役勾配法の手順により評価関数ＪRを最小にするＲ画像ｆRを計算することができる。図６は、図５に示す処理を行うためのＲ画像処理部４０２の構成例を示す。Ｒ画像処理部４０２は、係数演算部５０１と、ベクトル演算部５０２と、演算部５０３とを有している。なお、図４のＧ画像処理部４０３、Ｂ画像処理部４０２についても、図６のＲ画像処理部４０２の構成と同様に実現できる。
【００４９】
係数演算部５０１は、係数行列ＡRを計算する。ベクトル演算部５０２は、定数ベクトルｂRを計算する。演算部５０３は、演算によって得られた行列ＡRおよびベクトルｂRを用いて、ＡRｆR＝ｂRの連立方程式を解く。図５に示す処理は、主として演算部５０３の処理である。行列ＡRおよびベクトルｂRが求まり、制御部１０４から初期値および終了条件が与えられると図５の処理が開始される。図５の終了条件は、図５に示すｋ＋１ステップ目での残差ｒk+1が十分小さくなったときである。
【００５０】
これにより、評価関数ＪRを最小化するＲ画像ｆRを求める。なお、図５に示すアルゴリズムは公知であるため、詳細な説明は省略する。
【００５１】
以下、（数１）に関してより詳しく説明する。
【００５２】
画像ｆR、ｇLRおよびｇSRは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆRの要素数は、例えば、生成すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。
【００５３】
Ｒ画像ｆRの縦横の画素数および信号処理に用いるフレーム数は、カラー画像処理部１０５あるいはＲ画像処理部４０２によって設定される。
【００５４】
長時間露出のサンプリング過程Ｈ1Rは、行数がｇLRの要素数と等しく、列数がｆRの要素数と等しい行列である。また、短時間露出サンプリング過程Ｈ2Rは、行数がｇSRの要素数と等しく、列数がｆRの要素数と等しい行列である。
【００５５】
現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数１）を最小化するｆRを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆRの一部を求める処理を繰り返すことにより、生成すべき動画像ｆRを計算することができる。
【００５６】
次に、長時間露出のサンプリング過程Ｈ1Rの定式化を簡単な例を用いて説明する。図７には、幅４画素（ｘ＝１〜４）、高さ４画素（ｙ＝１〜４）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の単板カラー撮像素子１０２で撮像し、画像分離部４０１によってＲ成分画像のみが取り出された場合の画素配列を示す。これは、図３に示す画素配列において、左側半分の４×４画素の領域に対し、画像分離部４０１における処理を適用したものと同等である。以下、図７の画素配列で、長時間露出で撮像する画素（図３中で"ＲＬ"の記載がある画素）において２フレーム分時間蓄積する場合のｇLRの撮像過程について考える。
【００５７】
得られるＲ画像ｆRの要素は、ｔ＝１、２を含めて以下の（数５）のように表される。
【数５】
2013223211.tif 000007
【００５８】
（数５）において、Ｒ111〜Ｒ332は各画素におけるＲの画素値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。
【００５９】
上記（数５）のうち、長時間露出を求めるために必要なのは、位置（１，１）にあるＲ111およびＲ112、位置（３，３）にあるＲ331およびＲ332である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数６】
2013223211.tif 000008
【００６０】
行列Ｈ1Rは、長時間露出のサンプリング過程であることを考慮して設定される。すなわち、位置（１，１）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（１，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。また、位置（３，３）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（３，３）の位置におけるｔ＝１、２の各画素値を加算する必要がある。これらによれば、長時間露出画像の撮像過程は以下のように定式化される。
【数７】
2013223211.tif 000009
【００６１】
次に、短時間露出のサンプリング過程Ｈ2Rの定式化を簡単な例を用いて説明する。先の例と同様に、図７に示すＲ画素の配列の場合について考える。
【００６２】
この場合は短時間露出であるため、図３の画素配列の左半分における短時間露出画素Ｒｓの画素値が、ｔ＝１および２について必要となる。
【００６３】
得られるＲ画像ｆRの要素は、（数５）の通りであるが、このうち短時間露出を求めるために必要なのは、位置（３，１）についてはＲ311およびＲ312、位置（１，３）についてはＲ131およびＲ132である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数８】
2013223211.tif 000010
【００６４】
（数８）の第１〜４列が時刻ｔ＝１に関し、第５〜８列が時刻ｔ＝２に関している。これらによれば、短時間露出ラインの撮像過程は以下のように定式化される。
【数９】
2013223211.tif 000011
【００６５】
（数７）や（数９）は、Ｒ画像ｆRをベイヤ配列の単板撮像素子により露出時間を変えて撮像しｇLR、ｇSRを得る過程を示す。逆に、ｇLR、ｇSRからｆRを生成する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１０）を最小化するｆRは無数に存在する。
【数１０】
2013223211.tif 000012
【００６６】
このことは、サンプリングされない画素値に任意の値を入れても（数１０）が成り立つことから、容易に説明できる。そのため、（数１０）の最小化によってＲ画像ｆRを一意に解くことはできない。
【００６７】
そこで、Ｒ画像ｆRについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆRの分布に関する滑らかさの拘束を与える。以下、この拘束の与え方を説明する。
【００６８】
まず、Ｒ画像ｆRの画素値の分布に関する滑らかさの拘束としては、（数１１）もしくは（数１２）の拘束式を用いる。
【数１１】
2013223211.tif 000013
【数１２】
2013223211.tif 000014
【００６９】
（数１）に示す通り、拘束条件Ｑも評価関数ＪRの一部を構成する。したがって、評価関数ＪRの値をできるだけ小さくするためには、拘束条件Ｑも小さい方が好ましい。
【００７０】
（数１１）に関しては、画素値ｆRの分布の変化が少ないほど、Ｑの値は小さくなる。（数１１）に関しては、画素値ｆRの分布の変化が一定であるほど、Ｑの値は小さくなる。これらが、画素値ｆRの分布に関する滑らかさの拘束条件となる。
【００７１】
また、（数１０）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数１）、（数１０）におけるべき指数Ｍと同様に、演算量の観点から１または２が望ましい。
【００７２】
さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数１３）あるいは（数１４）のいずれかのＱを用いて、ｆRの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。なお、こう配とは、画像ｆRの画素値の分布関数ｆRを位置について１階微分することによって得られる。
【数１３】
2013223211.tif 000015
【数１４】
2013223211.tif 000016
【００７３】
（数１３）および（数１４）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数１５）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆRのこう配に応じて拘束条件を適応的に変化できる。
【数１５】
2013223211.tif 000017
【００７４】
このような重み関数を導入することにより、新たに生成される画像ｆRが必要以上に平滑化されることを防ぐことができる。また、（数１５）に示す輝度こう配の成分の２乗和の代わりに、（数１６）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数１６】
2013223211.tif 000018
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数１７）によって与えられる。
【数１７】
2013223211.tif 000019
【００７５】
（数１１）、（数１２）、（数１３）〜（数１７）に示したような、動画像ｆRの画素値の分布に関する滑らかさの拘束を導入して（数１）を解く問題に対しては、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。
【００７６】
なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。例えば、画質が最もよくなるものを選択するようにすればよい。「画質が最もよくなる」とは、例えばその映像を確認する者の主観に基づいて決定することができる。
【００７７】
評価関数ＪRの一例を（数１８）に示す。
【数１８】
2013223211.tif 000020
【００７８】
評価関数ＪRは、生成したい高解像度カラー画像（目的画像）ｆRを構成する赤色の画像の関数として定義される。ここで、（数１８）右辺の第１項、第２項は、（数１）におけるべき指数Ｍを２としたものと同一である。
【００７９】
低解像度化画像および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数１８）の右辺第１項および第２項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す。
【００８０】
（数１８）の右辺第３項は画像ｆRの画素値の分布に関する滑らかさの拘束を記述するものであり、これは画素配列を考慮したものであってもよい。この場合、Ｒ画像ｆRの画素値の分布に関する滑らかさの拘束として、ｘおよびｙの２階偏微分は、例えば１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。本実施形態ではｘ方向の滑らかさを考慮し、図３の画素配置において、図１５に示すような、水平方向に隣接するＲ画素同士で滑らかさ拘束の演算を行う。これの定式化は、（数１８）に示すとおり、ある行列ＱSRとｆRとの積の２次ノルムとしても表現できるし、ｆRの要素から直接計算もできる。（数１７）の行列ＱSRについて、前記の２階偏微分フィルタ（係数１，−２，１）に対応するものをＱSR1、その２乗（係数１，−４，６，−４，１）に対応するものをＱSR2とおいたとき、ＱSR1とｆR、ならびにＱSR2とｆRの積の２次ノルムの２乗をｆRの要素から直接求める形で表現すると、次のような形となる。
【数１９】
2013223211.tif 000021
【数２０】
2013223211.tif 000022
【数２１】
2013223211.tif 000023
【００８１】
（数２０）および（数２１）において、Ｒxytは位置（ｘ，ｙ）、時刻ｔにおけるＲ画素値を示す。
【００８２】
また、（数１）における評価関数ＪRにおいて、重み係数λLR、λSRを調整することにより、生成される画像の画質を調整することができる。すなわち、ノイズがランダムである場合、長時間露出のノイズレベルは短時間露出のノイズレベルと比較して、小さなものとなる。そのため、λLRを大きな重みとした場合、長時間露出に関する拘束条件を優先するため、ノイズ抑制効果が大きくなり、Ｓ／Ｎをより改善されることができる。一方、λSRを大きな重みとした場合、短時間露出に関する拘束条件を優先するため、ノイズ抑制効果はそれほど大きくないが、エッジ情報などの高周波成分が残った、解像度感のある画像を生成することができる。λLR、λSRの値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）が最良となるように決めればよい。また、撮影シーンを解析することによって、重みの値を決定するようにしても構わない。
【００８３】
これは、例えば、画像の輝度値を検出することによって行うようにしてもかまわない。画像の輝度値が低い場合、ノイズレベルが高いと推定できる。そこで、画像の平均輝度値が閾値よりも低い場合、λLRの大きさをλSRと比較して大きくなるように設定することで、ノイズ抑制効果をあげ、また、画像の平均輝度値が閾値よりも低い場合、λSRの大きさをλLRと比較して大きくなるように設定することで、エッジ情報などの高周波成分が残るようにする。
【００８４】
また、例えば、時間的、または空間的な輝度のばらつきを検出することによって行うようにしてもかまわない。輝度のばらつきが大きい場合、ノイズレベルが高いと推定できる。そこで、輝度のばらつきが閾値よりも高い場合、λLRの大きさをλSRと比較して大きくなるように設定することで、ノイズ抑制効果をあげ、また、輝度のばらつきが閾値よりも低い場合、λSRの大きさをλLRと比較して大きくなるように設定することで、エッジ情報などの高周波成分が残るようにする。
【００８５】
以上のように、評価関数ＪRにおける重み係数を撮影シーンによって決定することにより、常に最適な画質の画像を生成することができる。
【００８６】
本実施形態では、長時間露出画像における、蓄積フレーム数を予め定めておくことを前提としているが、この決定方法について詳述する。ノイズがランダムなノイズである場合、蓄積フレーム数を多くすると、長時間露出のノイズレベルは短時間露出のノイズレベルと比較して、小さなものとなる。そのため、ノイズ抑制効果が大きくなり、Ｓ／Ｎをより改善することができる。一方、蓄積フレーム数を少なくすると、短時間露出画像により近い画像が生成されるため、ノイズ抑制効果はそれほど大きくないが、エッジ情報などの高周波成分が残った、解像度感のある画像を生成することができる。そこで、例えば、蓄積するフレーム数をユーザが指定するようにしてもかまわない。これは、制御部１０４にユーザインターフェイスを有することにより実現する。ユーザインターフェイスはカメラにおけるマニュアル絞り調整機能やマニュアル露出調整機能のような公知の構成でかまわない。前述のように、蓄積フレーム数によって画質が変化するため、このようなインターフェイスを有することにより、ユーザの嗜好に合わせた画像を生成することが可能になる。
【００８７】
Ｇ画像処理部４０３における処理は、Ｒ画像処理部４０２における処理に対してサンプリング過程と空間に対する滑らかさ拘束の形が異なる。図８は、前記のＲ画像処理部４０２の説明と同様に、図３に示す画素配列の左半分の画素群から画像分離部４０１によってＧ画素のみを取り出した場合の画素配列の図である。このとき、求めるべきＧ画像をｆGとすると、ｆGは次式のように表される。
【数２２】
2013223211.tif 000024
【００８８】
上記（数２２）のうち、長時間露出を求めるために必要なのは、位置（２，１）にあるＧ211およびＧ212、位置（４，１）にあるＧ411およびＧ412、位置（２，３）にあるＧ231およびＧ232、位置（４，３）にあるＧ431およびＧ432である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数２３】
2013223211.tif 000025
【００８９】
行列Ｈ1Gは、長時間露出のサンプリング過程であることを考慮して設定される。すなわち、位置（２，１）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（２，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。また、位置（４，１）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（４，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。位置（ｘ，ｙ）＝（２，３）および（４，３）の長時間露出の画素も同様である。これらによれば、長時間露出画像の撮像過程は以下のように定式化される。
【数２４】
2013223211.tif 000026
【００９０】
次に、短時間露出のサンプリング過程Ｈ2Gの定式化について、図８に示すＧ画素の配列の場合について考える。
【００９１】
この場合は短時間露出であるため、図３の画素配列の左半分における短時間露出画素Ｇｓの画素値が、ｔ＝１および２について必要となる。
【００９２】
得られるＧ画像ｆGの要素は、（数２２）の通りであるが、このうち短時間露出を求めるために必要なのは、位置（１，２）についてはＧ121およびＧ122、位置（３，２）についてはＧ321およびＧ322、位置（１，４）についてはＧ141およびＧ142、位置（３，４）についてはＧ341およびＧ342である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数２５】
2013223211.tif 000027
【００９３】
（数２５）の第１〜８列が時刻ｔ＝１に関し、第９〜１６列が時刻ｔ＝２に関している。これらによれば、短時間露出ラインの撮像過程は以下のように定式化される。
【数２６】
2013223211.tif 000028
【００９４】
また、画像ｆGの画素値の分布に関する滑らかさの拘束は、前記Ｒ画像処理部４０２の（数１９）〜（数２１）と同じように表現できる。このとき、２階偏微分の１，−２，１の３つの係数のフィルタを、図９に示すような、隣接する２つの行にまたがるジグザグ型に適用する。つまり、（数２０）と同様にＧ画素値から直接滑らかさ拘束項を計算する場合は、図９の画素配置において、Ｇ画素の滑らかさの拘束ＱG1を（数２７）に示す形とする。
【数２７】
2013223211.tif 000029
【００９５】
また、Ｒ画像処理部４０２における処理と同様に、２階偏微分のフィルタの２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。同様に図９（Ｂ）のような斜め方向のフィルタ演算を行う場合、Ｇ画像に対して（数２１）に対応する式を立てると、フィルタ演算は（数２７）の形となる。
【数２８】
2013223211.tif 000030
【００９６】
（数２７）および（数２８）において、Ｇxytは位置（ｘ，ｙ）、時刻ｔにおけるＧ画素値を示す。
【００９７】
Ｂ画像処理部４０４における処理は、Ｒ画像処理部４０２における処理に対してサンプリング過程と空間に対する滑らかさ拘束の形が異なる。図１０は、前記のＲ画像処理部４０２およびＧ画像処理部４０３の説明と同様に、図３に示す画素配列の左半分の画素群から画像分離部４０１によってＢ画素のみを取り出した場合の画素配列の図である。このとき、求めるべきＢ画像をｆBとすると、ｆBは次式のように表される。
【数２９】
2013223211.tif 000031
【００９８】
上記（数２９）のうち、長時間露出を求めるために必要なのは、位置（２，２）にあるＢ221およびＢ222および位置（４，４）にあるＢ441およびＢ442である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数３０】
2013223211.tif 000032
【００９９】
行列Ｈ1Bは、長時間露出のサンプリング過程であることを考慮して設定される。すなわち、位置（２，２）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（２，２）の位置におけるｔ＝１，２の各画素値を加算する必要がある。また、位置（４，４）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（４，４）の位置におけるｔ＝１，２の各画素値を加算する必要がある。これらによれば、長時間露出画像の撮像過程は以下のように定式化される。
【数３１】
2013223211.tif 000033
【０１００】
次に、短時間露出のサンプリング過程Ｈ2Bの定式化について、図１０に示すＢ画素の配列の場合について考える。
【０１０１】
この場合は短時間露出であるため、図３の画素配列の左半分における短時間露出画素Ｂｓの画素値が、ｔ＝１および２について必要となる。
【０１０２】
得られるＢ画像ｆBの要素は、（数２９）の通りであるが、このうち短時間露出を求めるために必要なのは、位置（４，２）におけるＢ421およびＢ422、位置（２，４）におけるＢ241およびＢ242である。そこで、それらの画素値のみを抽出するための行列を以下のように定義する。
【数３２】
2013223211.tif 000034
【０１０３】
（数３２）の第１〜４列が時刻ｔ＝１に関し、第５〜８列が時刻ｔ＝２に関している。これらによれば、短時間露出ラインの撮像過程は以下のように定式化される。
【数３３】
2013223211.tif 000035
【０１０４】
また、画像ｆBの画素値の分布に関する滑らかさの拘束は、２階偏微分のフィルタを、図１６（Ａ）に示すように同一の行に属するＢ画素に水平方向に適用する。Ｒ画像処理部４０２における（数１９）、あるいはＧ画像処理部４０３における（数２７）と同様の式を立てると、Ｂ画素の滑らかさの拘束ＱB1は（数３４）に示す形で表現できる。
【数３４】
2013223211.tif 000036
【０１０５】
また、Ｒ画像処理部４０２およびＧ画像処理部４０３における処理と同様に、２階偏微分のフィルタの２乗を考えた場合、フィルタ演算は（数２８）の形で与えられる。
【数３５】
2013223211.tif 000037
【０１０６】
同様に、（数３４）および（数３５）において、Ｂxytは位置（ｘ，ｙ）、時刻ｔにおけるＢ画素値を示す。
【０１０７】
また、本実施形態に係る単板カラー固体撮像素子１０２のカラーフィルタ配列は、図２に示されるものに限定されない。例えば、図２中の破線で囲まれた４画素について、図２０に示す配列であってもかまわない。
【０１０８】
以上説明したように、実施形態１によれば、単板撮像素子に画素ごとの露出時間の個別設定の機能を付加し、画素毎に長時間蓄積された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、動きぶれの少ない画像を推定し生成することができる。
【０１０９】
さらに、本実施形態では、画素値の空間的滑らかさに関する拘束条件を、ＲおよびＢ画像については水平方向（図１５（Ａ）および図１６（Ａ））、Ｇ画像については４５°の角度の一方向（図９）に限定することにより、滑らかさ拘束計算にかかる演算回数を低減している。また隣接する短時間露光画素と長時間露光画素を用いて滑らかさ拘束を適用するため、長時間露光画素の動きぶれ低減が容易になり、Ｓ／Ｎをより改善することができる。
【０１１０】
また、Ｒ／Ｇ／Ｂ別々に処理を行なうことで、負の色相関が存在する被写体に関しても、画像を劣化させることなく、動きぶれの少ない画像を推定し生成することができる。
【０１１１】
なお、本実施形態において、画素値の空間的な滑らかさに関する拘束条件の適用範囲は上述の説明に限定されるものではない。Ｒ画像処理部４０２については、例えば図１５（Ｂ）に示すように、同一水平ライン上のＲ画素でなく垂直ライン上のＲ画素としてもかまわないし、その両方を用いてもかまわない。垂直ライン上の同色画素を用いる場合は、前記の（数２０）に相当するＱR1、（数２１）に相当するＱR2は次のように表される。
【数３６】
2013223211.tif 000038
【数３７】
2013223211.tif 000039
【０１１２】
同一水平ライン上のＲ画素と同一垂直ライン上のＲ画素の両方を用いる場合は、次のように表現できる。
【数３８】
2013223211.tif 000040
【数３９】
2013223211.tif 000041
【０１１３】
Ｂ画像処理部４０４についても、Ｒ画像処理部４０２と同様、図１６（Ｂ）に示すような同一垂直ライン上のＢ画素を用いたり、また水平ライン上のＢ画素と垂直ライン上のＢ画素の両方を用いることができる。それぞれの場合のＱB1およびＱB2（（数３４）および（数３５））は、同一垂直ライン上のＢ画素を用いる場合は（数４０）と（数４１）、水平・垂直の両方を用いる場合は（数８２）と（数８３）によって表される。
【数４０】
2013223211.tif 000042
【数４１】
2013223211.tif 000043
【数４２】
2013223211.tif 000044
【数４３】
2013223211.tif 000045
【０１１４】
Ｇ画像処理部４０３については、図９に示すとおり、画素値の空間的な滑らかさの拘束を４５°の方向に適用するが、これは、図１９に示すような、１３５°の方向に適用するのでもかまわないし、それらの両方を併用してもかまわない。図１９の方向に滑らかさ拘束を用いる場合は、ＱG1およびＱG2はそれぞれ（数４４）、（数４５）のように表され、図９の方向と図１９の方向を併用する場合は、（数４５）および（数４７）のように表される。
【数４４】
2013223211.tif 000046
【数４５】
2013223211.tif 000047
【数４６】
2013223211.tif 000048
【数４７】
2013223211.tif 000049
【０１１５】
このような構成にすると、特に画素値の空間的な滑らかさの拘束を（数３８）、（数３９）、（数４２）、（数４３）、（数４６）および（数４７）に示す形にした場合に、滑らかさ拘束をｘｙの二次元方向の広範囲の画素を用いて適用することでより大きなノイズ平滑化効果が得られ、さらなるＳ／Ｎの改善が可能となる。
【０１１６】
なお、本実施形態にかかるＲ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４において、（数４）によって得られる連立方程式を解くことで出力画像ｆR、ｆGまたはｆBを得るが、この連立方程式の解法は、図５に示した共役勾配法に限られるものではない。以下、Ｒ画像処理部４０２を例にとり、他の解法の例を示す。
【０１１７】
（数１）においてＭ＝２とし、Ｑとして（数２１）の第２式を用いると、評価式ＪRはｆRの２次式となる。評価式を最小化するｆRの計算は、（数４８）により、ｆRについての連立方程式の計算に帰着する。
【数４８】
2013223211.tif 000050
【０１１８】
ここで、解くべき連立方程式を（数４９）のようにおく。
【数４９】
2013223211.tif 000051
【０１１９】
（数４９）において、ｆRは生成する画素数（１フレームの画素数×処理するフレーム数）分の要素を持つため、（数４９）の計算量は通常、非常に大規模になる。このような大規模な連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆRを収束させる方法（繰り返し法）が一般的に用いられる。
【０１２０】
ところが、（数４９）においては、評価関数がサンプリング過程の拘束項と空間的な滑らかさ拘束項だけであるため、処理がコンテンツに依存しない。このことを利用すると、連立方程式（数４９）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直接法により画像処理を行うようにできる。
【０１２１】
（数２１）に示す滑らかさ拘束を用いる場合、ｘおよびｙの２階偏微分は、例えば、（数１９）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露出のサンプリング過程の拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、（数５０）のように行列をΛと置くことができる。
【数５０】
2013223211.tif 000052
【０１２２】
これにより、一行あたりの非ゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、Λの逆行列Λ-1の計算が容易になる。そして、（数５１）および（数５２）により、繰り返し計算を行わずに、ｆRをより少ない演算量と回路規模で求めることができる。
【数５１】
2013223211.tif 000053
【数５２】
2013223211.tif 000054
【０１２３】
なお、本実施形態におけるＲ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４は、それぞれ、別々のハードウェア構成である必要はなく、１つの単色画像処理部が時分割で各処理を行ってもよい。
【０１２４】
（実施形態２）
本発明にかかる撮像処理装置では、Ｒ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４における画像処理法として、出力画像ｆ（ｆR、ｆG、ｆB）に含まれる画像の動きの分布に関する滑らかさの拘束を用いることができる。本実施形態では、動きの分布の滑らかさの拘束を用いた処理方法について述べる。
【０１２５】
本実施形態にかかるカラー画像処理部１０５の構成を図１１に示す。図中の画像分離部１１０１と画像統合部１１０８の機能は、第１実施形態における画像分離部４０１と画像統合部４０５のものと同一である。本実施形態では、Ｒ画像生成部１１０２、Ｇ画像生成部１１０４ならびにＢ画像生成部１１０６に対し、それぞれＲ動き検出部１１０３、Ｇ動き検出部１１０５ならびにＢ動き検出部１１０７が付加されている。
【０１２６】
図１１におけるＲ動き検出部１１０３、Ｇ動き検出部１１０５とＢ動き検出部１１０７で行われる処理は、基本的に同一である。以下Ｒ動き検出部１１０３を例にとって詳細を説明する。Ｒ動き検出部１１０３は、１フレーム期間露出されて得られた画素信号によって形成される画像（短時間露出画像）を受け取る。Ｒ動き検出部１１０３は短時間露出画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露出で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、例えばＰ．  Ａｎａｎｄａｎ．  “Ｃｏｍｐｕｔａｔｉｏｎａｌ  ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  ｖｉｓｕａｌ  ｍｏｔｉｏｎ”，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．  ２，  ｐｐ．  ２８３−３１０，  １９８９が知られている。
【０１２７】
図１２（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。Ｒ動き検出部１１０３は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図１２（ａ）に示す窓領域Ａを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。
【０１２８】
探索範囲は、図１２（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲Ｃが設定される。また、パターンの類似の度合い（程度）は、（数５３）に示す残差平飽和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数５４）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数５３】
2013223211.tif 000055
【数５４】
2013223211.tif 000056
【０１２９】
（数５３）および（数５４）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
【０１３０】
Ｒ動き検出部１１０３は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。
【０１３１】
上記の様にして得られた（数５３）または（数５４）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。
【０１３２】
次に、本実施形態におけるＲ画像生成部１１０２、Ｇ画像生成部１１０４およびＢ画像生成部１１０６での処理内容の、Ｒ画像ｆR、Ｇ画像ｆGあるいはＢ画像ｆBに含まれる画像の動きの分布に関する滑らかさの拘束について、Ｒ画像生成部１１０２を例にとり説明する。
【０１３３】
Ｒ画像ｆRに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数５５）または（数５６）を用いる。
【数５５】
2013223211.tif 000057
【数５６】
2013223211.tif 000058
【０１３４】
ここで、ｕは動画像ｆRから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆRから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。
【０１３５】
ｆRから得られる画像の動きの分布に関する滑らかさの拘束としては、（数５５）、（数５６）に限らず、例えば（数５７）、（数５８）に示す１階または２階の方向微分としてもよい。
【数５７】
2013223211.tif 000059
【数５８】
2013223211.tif 000060
【０１３６】
さらに、（数５９）〜（数６２）に示すように、（数５５）〜（数５８）の拘束条件を、ｆRの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ（輝度変化が不連続な境界）部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。
【数５９】
2013223211.tif 000061
【数６０】
2013223211.tif 000062
【数６１】
2013223211.tif 000063
【数６２】
2013223211.tif 000064
【０１３７】
ここで、ｗ（ｘ，ｙ）は、ｆRの画素値のこう配に関する重み関数と同一であり、（数１５）に示す画素値のこう配の成分の、べき乗和、または、（数１６）に示す方向微分の、べき乗によって定義される。
【０１３８】
このような重み関数を導入することにより、ｆRの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像ｆRが必要以上に平滑化されることを防ぐことができる。
【０１３９】
（数５５）〜（数６２）に示したような、画像ｆRから得られる動きの分布に関する滑らかさの拘束を導入して（数１）を解く問題に関しては、ｆRについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像ｆRと動き情報（ｕ，ｖ）が相互に依存するためである。
【０１４０】
この問題に対しては、公知の解法、例えばＥＭアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像ｆRと動き情報（ｕ，ｖ）の初期値が必要になる。
【０１４１】
ｆRの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、カラー画像処理部１０５が、上述のごとく、（数５５）〜（数６２）に示したような、画像ｆRから得られる動きの分布に関する滑らかさの拘束を導入して（数１）を解くことにより、処理結果の画質を向上させることができる。
【０１４２】
Ｒ画像生成部１１０２における処理は、第１実施形態の（数１０）〜（数１５）、（数１８）、（数１９）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数５５）〜（数６２）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数６３）のように同時に用いることができる。
【数６３】
2013223211.tif 000065
【０１４３】
ここで、ＱfはｆRの画素値のこう配に関する滑らかさの拘束、ＱuvはｆRから得られる画像の動きの分布に関する滑らかさの拘束、λ1およびλ2はＱfとＱuvの拘束に関する重みである。
【０１４４】
また、動きに関する拘束は、（数５５）〜（数６２）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆRを関数ｆR（ｘ，ｙ，ｔ）として表すと、（数６４）のように表すことができる。
【数６４】
2013223211.tif 000066
【０１４５】
ｆRをベクトルとして、画像全体について考えると、各画素における残差は下記（数６５）に示すようにベクトル表現することができる。
【数６５】
2013223211.tif 000067
【０１４６】
残差の平方和は下記（数６６）に示すように表すことができる。
【数６６】
2013223211.tif 000068
【０１４７】
（数６５）、（数６６）において、ＨmはベクトルｆRの要素数（時空間の総画素数）×ｆRの要素数の行列である。Ｈmでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。
【０１４８】
画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数１）を解く問題も、公知の解法（例えばＥＭアルゴリズム等を用いた変分問題の解法）を利用することができる。
【０１４９】
（数６６）をＱmとおき、（数６３）と組み合わせて拘束条件を（数６７）のようにしてもよい。
【数６７】
2013223211.tif 000069
【０１５０】
ここで、λ3は拘束条件Ｑmに関する重みである。
【０１５１】
本実施形態において、図１１中の画像分離部１１０１によって得られるＲ短時間画像、Ｇ短時間画像およびＢ短時間画像から動き検出を行う場合、例えば線形補間等の補間拡大処理により各色成分画像の欠損部分を補った上で行えばよい。
【０１５２】
なお、本実施形態における動き検出では、図１１に示すように、Ｒ、Ｇ、Ｂそれぞれの色成分の短時間露出画像を補間拡大した画像から、それぞれの色に対して別々に動き情報を求めてもよいし、例えばＲ、Ｇ、Ｂすべての色成分の短時間露出画像から輝度画像を生成し、輝度画像上で全色成分の動き情報を一度に求め、それぞれの色成分の処理に用いてもよい。この場合は、例えば図１３のように、画像分離部１３０１によってＲＧＢ各色成分に分離する前に動き検出を行い、そこで求められた動き情報を各色成分の画像生成部に提供することができる。
【０１５３】
動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。
【０１５４】
以上述べた方法により、Ｒ動き検出部１１０３、Ｇ動き検出部１１０５およびＢ動き検出部１１０７、あるいは動き検出部１３０２によって、ＲＧＢの短時間露出の動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＲＧＢの動画像をカラー画像処理部１０５で高時空間解像度化することができる。
【０１５５】
（実施形態３）
本発明にかかる撮像処理装置にかかる画像処理は、前記実施形態１および２に記載したような、ＲＧＢの色成分ごとに別個に処理する方式に限らず、ＲＧＢ全色成分を一度に処理するような構成にしてもかまわない。
【０１５６】
本実施形態においては、このような３色成分を同時に処理するような場合の撮像処理装置の構成について述べる。
【０１５７】
本実施形態にかかる撮像処理装置で行う画像処理は、連立方程式を解くという点で前記実施形態１および２と同じである（例えば実施形態１における（数４））。それらの例と異なる点は、本実施形態の構成では実施形態１および２で用いていた画像分離部４０１あるいは１１０１、１３０１を有しないこと、サンプリング過程を記述する式の形が異なること、および空間的な画素値の滑らかさ拘束の形状が異なることである。なお、本実施形態においても、前記第２実施形態のように、画像中の動きの情報を用いることができる。このとき、各画素の動きの検出は、図１３の構成のときに行う方法と同一の方法で実現できる。
【０１５８】
図１４は、図３に示す画素配列の左半分の画素群を取り出した図であり、いま画像処理によりこれらの画素の値を求めることを考える。本実施形態においては、図中に示される４×４画素の値を一度に求める。このとき、求めるべきＲＧＢ画像をｆとすると、ｆは次式のように表される。
【数６８】
2013223211.tif 000070
【０１５９】
上記（数６８）のうち、長時間露光を求めるために必要なのは、位置（１，１）にあるＲ111およびＲ112、位置（２，１）にあるＧ211およびＧ212、位置（４，１）にあるＧ411およびＧ412、位置（２，２）にあるＢ221およびＧ222、位置（３，２）にあるＧ231およびＧ232、位置（３，３）にあるＲ331およびＲ332、位置（４，３）にあるＧ431およびＧ432、位置（４，４）にあるＢ441およびＧ442である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数６９】
2013223211.tif 000071
【０１６０】
これによれば、長時間露光画像の撮像過程は以下のように定式化される。
【数７０】
2013223211.tif 000072
【０１６１】
次に、短時間露光のサンプリング過程Ｈ2の定式化について、図１４に示す画素配列の場合について考える。
【０１６２】
得られるＲＧＢ画像ｆの要素は、（数６８）の通りであり、このうち短時間露光を求めるために必要なのは、位置（３，１）についてはＲ311およびＲ312、位置（１，２）についてはＧ121およびＧ122、位置（３，２）についてはＧ321およびＧ322、位置（４，２）についてはＢ421およびＢ422、位置（１，３）についてはＲ131およびＲ132、位置（４，１）についてはＧ141およびＧ142、位置（２，４）についてはＧ241およびＧ242、位置（３，４）についてはＧ341およびＧ342である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。
【数７１】
2013223211.tif 000073
【０１６３】
（数７１）の第１〜１６列が時刻ｔ＝１に関し、第１７〜３２列が時刻ｔ＝２に関している。これらによれば、短時間露光画素の撮像過程は以下のように定式化される。
【数７２】
2013223211.tif 000074
【０１６４】
本実施形態においても、各画素値を求める際に空間的な画素値の滑らかさの拘束条件を適用することができる。本実施形態の構成では、ＲＧＢすべての色成分の画素値を一度に求めるが、このときの空間的滑らかさ拘束は、前記第１実施形態のような、各色成分ごとに個別に処理する方法（第１実施形態における（数１９）、（数２０）、（数２５）、（数２８）、（数３４）、（数３５））でも可能であるし、ＲＧＢの３色が張る空間から別の３次元空間に変換し、その空間上で適用することも可能である。以下、ＲＧＢ空間を他の空間に変換したうえで空間的滑らかさ拘束を適用する場合について説明する。
【０１６５】
ＲＧＢ画像ｆの画素値の分布に関する滑らかさの拘束としては、（数７３）もしくは（数７４）の拘束式を用いる。
【数７３】
2013223211.tif 000075
【数７４】
2013223211.tif 000076
この拘束条件Ｑは、評価関数Ｊの一部を構成する。評価関数Ｊは、第１実施形態の（数１）と同様の形であるが、ＲＧＢ全色の画素値を対象とするため、（数１）における評価関数ＪRをＪと記す。
【０１６６】
なお、（数７３）、（数７４）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、前記第１実施形態での説明と同様に、演算量の観点から１または２が望ましい。ここで、Ｃiは以下の式でｆの要素のＲ，Ｇ，Ｂ値を変換したものである。
【数７５】
2013223211.tif 000077
【０１６７】
（数７５）において、Ｃ1、Ｃ2、Ｃ3を一般的な画像におけるＲＧＢの画素値の分布の第１主成分から、第３主成分にすることにより、滑らかさ拘束についての正則化パラメータの調整をＲＧＢ空間で行う場合よりも容易にできる。すなわち、Ｃ1成分は輝度にほぼ等しく、Ｃ2、Ｃ3成分は２つの色成分とみなせ、個別にλciを調整することによって、新たに生成される画像に対する滑らかさ拘束の各項の影響を制御できる。λC1からλC3の値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）が最良となるように決めればよい。
【０１６８】
なお、ＰＳＮＲは（数７６）で定義される。
【数７６】
2013223211.tif 000078
【０１６９】
ここで、ｆmaxは画素値の最大値（例えば、８ビット時２５５、１０ビット時１０２３）であり、σは正解画像と生成画像との差の標準偏差である。
【０１７０】
一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλciを決めればよい。
【０１７１】
なお、上記の偏微分値∂Ｃi／∂ｘ、∂Ｃi／∂ｙ、∂2Ｃi／∂ｘ2、∂2Ｃi／∂ｙ2は、着目画素近傍の画素値による差分展開により、例えば（数７７）により近似計算できる。
【数７７】
2013223211.tif 000079
【０１７２】
差分展開は上記（数７７）に限らず、例えば（数７８）の様に、近傍の他の画素を参照するようにしてもよい。
【数７８】
2013223211.tif 000080
【０１７３】
（数７６）は（数７７）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。
【数７９】
2013223211.tif 000081
【０１７４】
差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数７７）を用いてもよい。
【０１７５】
なお、画像ｆの画素値の分布に関する滑らかさの拘束としては、（数７３）、（数７４）に限らず、例えば、（数８０）に示す２階の方向微分の絶対値のｍ乗を用いても良い。
【数８０】
2013223211.tif 000082
【０１７６】
ここで、ベクトルｎminおよび角度θは１階の方向微分の２乗が最小になる方向であり、下記（数８１）によって与えられる。
【数８１】
2013223211.tif 000083
【０１７７】
さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数８２）から（数８４）のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。なお、こう配とは  画像ｆの画素値の分布関数ｆを位置について１階微分することによって得られる。
【数８２】
2013223211.tif 000084
【数８３】
2013223211.tif 000085
【数８４】
2013223211.tif 000086
【０１７８】
（数８２）から（数８４）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数８５）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化できる。
【数８５】
2013223211.tif 000087
【０１７９】
このような重み関数を導入することにより、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。
【０１８０】
また、（数８５）に示す輝度こう配の成分の２乗和の代わりに、（数８６）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数８６】
2013223211.tif 000088
【０１８１】
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、下記（数８７）によって与えられる。
【数８７】
2013223211.tif 000089
【０１８２】
（数７３）、（数７４）、（数７８）〜（数８４）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入する場合は、前記第１実施形態と同様に、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。
【０１８３】
本実施形態により、（数７５）に示すように各色成分間の相関を画像処理に導入することができ、特に正の色相関が存在する被写体に関して、より高画質の動きぶれの少ない画像を推定し生成することができる。
【０１８４】
以上説明してきたように、本発明の実施形態における撮像処理装置によれは、所定のフレームレートに対応する露出時間で露光して得られた画素信号が読み出される短時間露出画像と比較し、前記短時間露出画像よりもフレームレートが低くより長い露出時間で読み出す画素を配置することにより、撮像時に蓄積する光量を増加し、より高いＳ／Ｎの画像を得ることができる。また、すべての画素を低フレームレート・長時間露出で読み出した画像の動きぶれ除去処理を行う場合に比べ、短時間露出の画素を配置し、読み出し信号に対して画像復元処理を行うことにより、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。
【産業上の利用可能性】
【０１８５】
本発明の撮像装置および処理装置は、低光量時の高解像度撮影や小型画素による撮像に有用である。
【０１８６】
また、本発明は、画像処理プログラムとしても適用が可能である。画像処理プログラムは、例えばコンピュータに画像処理方法のステップを実行させるプログラムであり、例えば一時的でなく有形の記録媒体に記録され得る。
【符号の説明】
【０１８７】
１００  撮像処理装置
１０１  光学系
１０２  単板カラー撮像素子
１０３  読み出し制御部
１０４  制御部
１０５  画像処理部
４０１  画像分離部
４０２  Ｒ画像処理部
４０３  Ｇ画像処理部
４０４  Ｂ画像処理部
【図１】
2013223211.tif 000090
【図２】
2013223211.tif 000091
【図３】
2013223211.tif 000092
【図４】
2013223211.tif 000093
【図５】
2013223211.tif 000094
【図６】
2013223211.tif 000095
【図７】
2013223211.tif 000096
【図８】
2013223211.tif 000097
【図９】
2013223211.tif 000098
【図１０】
2013223211.tif 000099
【図１１】
2013223211.tif 000100
【図１２】
2013223211.tif 000101
【図１３】
2013223211.tif 000102
【図１４】
2013223211.tif 000103
【図１５】
2013223211.tif 000104
【図１６】
2013223211.tif 000105
【図１７】
2013223211.tif 000106
【図１８】
2013223211.tif 000107
【図１９】
2013223211.tif 000108
【図２０】
2013223211.tif 000109
【図２１】
2013223211.tif 000110