【手続補正書】
【提出日】平成24年12月28日(2012.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
受光値を取得する単位である受光単位が、カラー撮像素子が有する水平方向及び垂直方向に隣接する複数の画素毎に設定され、前記受光単位に含まれる複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を備え、
前記記憶部は、
前記受光単位が１画素ずつ順次画素シフトされて取得された、前記受光単位を構成する画素数と同数の前記低解像フレーム画像を記憶し、
前記推定演算部は、
前記受光単位が順次画素シフトされることで得られた複数の前記低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定することを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、
前記推定演算部は、
前記第１、第２のポジションの受光単位の受光値の差分値を求め、
前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、
中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記受光単位の各画素値は、前記受光単位内での画素位置に応じた重み付け係数で重み付け加算されて前記受光単位の受光値として読み出され、
前記推定演算部は、
重み付け加算により得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記受光単位内での前記水平方向の画素位置をｘとし、前記受光単位内での前記垂直方向の画素位置をｙとし、前記受光単位内での前記水平方向の左端及び前記垂直方向の上端の画素位置を（ｘ，ｙ）＝（０，０）とし、前記水平方向の右方向をｘの正方向とし、前記垂直方向の下方向をｙの正方向とし、ｒを１より大きい実数とする場合に、
前記受光単位内での前記画素位置（ｘ，ｙ）に応じた前記重み付け係数Ｃ（ｘ，ｙ）は、Ｃ（ｘ，ｙ）＝１／ｒ（ｘ＋ｙ）であることを特徴とする画像処理装置。
【請求項６】
請求項１乃至４のいずれかにおいて、
前記画素シフトが各フレームで行われ、前記画素シフトにより設定される前記受光単位の各ポジションに対応して時系列に連続する前記低解像フレーム画像が取得される場合に、
補間対象のフレームの前記低解像フレーム画像での欠落したポジションの受光単位の受光値を、前記補間対象のフレームの前後のフレームの前記低解像フレーム画像での、前記欠落したポジションと同じポジションの受光単位の受光値を用いて時間軸補間する補間処理部と、
を備え、
前記推定演算部は、
前記時間軸補間により補間された前記低解像フレーム画像に基づいて、前記各フレームでの前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記画像出力部は、
前記推定演算部により推定された前記各フレームでの前記受光単位の各画素の画素値に基づく各フレームでの前記高解像フレーム画像を、動画として出力することを特徴とする画像処理装置。
【請求項８】
請求項６または７において、
前記補間処理部は、
前記時間軸補間を時間軸補間フィルタにより行うことを特徴とする画像処理装置。
【請求項９】
請求項６または７において、
前記補間処理部は、
前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より小さい場合には、
前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記前後のフレームでの、前記欠落したポジションと同じポジションの受光単位の受光値を用いて補間し、
前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より大きい場合には、前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記補間対象のフレームで取得された受光値を用いて補間することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記受光単位に含まれる画素数は、前記撮像素子により撮像された画像の明るさに応じて設定されることを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記明るさは、前記画像の平均輝度であることを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記受光単位の画素数は、前記平均輝度が所定の閾値よりも小さい場合に増加されることを特徴とする画像処理装置。
【請求項１３】
カラー撮像素子と、
前記カラー撮像素子が有する水平方向及び垂直方向に隣接する複数の画素毎に受光単位を設定し、前記受光単位の複数の画素の画素値を加算して前記受光単位の受光値として読み出し、低解像度フレーム画像を取得する読出制御部と、
前記読出制御部により取得された前記低解像フレーム画像を記憶する記憶部と、
前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を備え、
前記読出制御部は、
前記受光単位を１画素ずつ順次画素シフトし、前記受光単位を構成する画素数と同数の前記低解像フレーム画像を取得し、
前記推定演算部は、
前記受光単位が順次画素シフトされることで得られた複数の前記低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする撮像装置。
【請求項１４】
カラー撮像素子が有する水平方向及び垂直方向に隣接する複数の画素毎に受光単位が設定され、前記受光単位の複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、
前記受光単位が１画素ずつ順次画素シフトされて取得された、前記受光単位を構成する画素数と同数の前記低解像フレーム画像を記憶し、
前記受光単位が順次画素シフトされることで得られた複数の前記低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定し、
推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力することを特徴とする画像処理方法。