【手続補正書】
【提出日】平成26年10月9日(2014.10.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記参照画像生成部で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記画像取得部は、
第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
前記使用フレーム数決定部は、
前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を第１のフレーム数に決定し、
前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を、前記第１のフレーム数よりも多い第２のフレーム数に決定することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記第１のカラーフィルタは、
前記カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであり、
前記第２のカラーフィルタは、
前記カラーフィルタアレイにおいて、前記第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであることを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記補間画像生成部で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記画像取得部は、
第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
前記使用フレーム数決定部は、
前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を第３のフレーム数に決定し、
前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を、前記第３のフレーム数よりも少ない第４のフレーム数に決定することを特徴とする画像処理装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、
前記使用フレーム数決定部は、
前記フレーム相関判定部の判定結果に基づいて、使用フレーム数を決定することを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記参照バンド選択部は、
前記過去フレームにおける前記出力画像において、前記複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを前記参照バンドとして選択することを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記参照バンド選択部は、
前記過去フレームの前記出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、前記参照バンドを選択することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記参照バンド選択部は、
画像を複数の領域に分割した部分領域毎に、前記参照バンドを選択することを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記画像取得部は、
奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、前記第１のカラーフィルタとは異なる位置に配置され、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
前記参照画像生成部は、
前記参照バンド選択部により前記参照バンドが未選択の場合には、前記第１のカラーフィルタの画像データに対して前記補間処理を行うことにより、前記参照画像を生成することを特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記画像取得部は、
分光感度特性が異なる４バンド以上のカラーフィルタが配置された前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得することを特徴とする画像処理装置。
【請求項１３】
請求項１乃至１２のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。
【請求項１４】
複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得し、
取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成し、
出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択し、
前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成し、
前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成することを特徴とする画像処理方法。
【請求項１５】
複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部として、
コンピューターを機能させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明の一態様では、撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、前記使用フレーム数決定部は、前記フレーム相関判定部の判定結果に基づいて、使用フレーム数を決定してもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
本実施形態では、参照画像を用いた補間処理として、ガイデッドフィルタ（Guided Filter、ガイデッドイメージフィルタ）を用い、補間処理前の画像に対して補間処理を行って出力画像を生成する。ガイデッドフィルタでは、出力画像は参照画像の線形変換で表されると考える。そして、下記の式（４）に示すように、画素値を推定したい画素位置周辺での局所領域ｋのコスト関数Ｅ（ａｋ、ｂｋ）を最小化するように、最小二乗法により係数ａｋ及びｂｋが算出される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
【数４】
2014146872.tif 000001
ここで、ｉは画素の番号を、ｋは局所領域の番号を、Ｉｉは参照画像における画素ｉの画素値を、ｐｉは補間処理前の画像における画素ｉの画素値（信号成分）を、ωｋは、補間処理前の画像の局所領域ｋ内において信号成分を有する画素の画素数を、εは所与の平滑化パラメータを、Ｍｉは、画素ｉにおけるバイナリマスクを表す。Ｍｉは、補間処理前の画像において信号成分を有する画素に対しては１となり、信号成分を有しない画素に対しては０となる。また、ａｋ、ｂｋは、下式（５）で用いるために算出されるべき係数パラメータであり、計算開始時には適当な初期値が用いられる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
そして、全局所領域に対する係数ａｋ及びｂｋが算出されると、補間対象となる信号成分を有さない画素に対して式（５）により出力画素値ｑｉが算出される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
【数５】
2014146872.tif 000002
なお、式（５）において、｜ω｜は、局所領域内の全画素数（局所領域数）である。
本実施形態では、ステップＳ４０７で得られた補間画像を参照画像として使用し、参照画像とは異なるバンドを１バンドずつ補間対象の画像として使用する。参照画像を用いた補間処理を行うことで、参照画像の高周波成分を保持した補間画像を生成することが可能である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
また、参照画像とは、参照バンドの画素値のみが、全ての画素に対して求められた画像のことをいう。例えば、図１では画像ＲＩＭが、図９では画像ＲＩＭ９が、図１０では画像ＲＩＭ１０が参照画像である。