(57)【要約】【課題】  被写体の色特性に関わらず、フレームレートを維持したまま、高周波成分を多く含む解像感が高い補間画像を生成することができる画像処理装置等の提供。【解決手段】  画像処理装置は、複数バンドのカラーフィルタを有する撮像素子を用いて撮像された複数フレーム分の撮像データを取得する画像取得部１０１と、複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部１０２と、過去フレームの出力画像において複数バンドの中から参照バンドを選択する参照バンド選択部１０５と、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対し、補間処理を行う参照画像生成部１０３と、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対し、参照画像に基づき補間処理を行う補間画像生成部１０４を含む。【選択図】  図３
2014146872.tif 000002
【特許請求の範囲】
【請求項１】
複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記参照画像生成部で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記画像取得部は、
第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
前記使用フレーム数決定部は、
前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を第１のフレーム数に決定し、
前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を、前記第１のフレーム数よりも多い第２のフレーム数に決定することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記第１のカラーフィルタは、
前記カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであり、
前記第２のカラーフィルタは、
前記カラーフィルタアレイにおいて、前記第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであることを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記補間画像生成部で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記画像取得部は、
第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
前記使用フレーム数決定部は、
前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を第３のフレーム数に決定し、
前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を、前記第３のフレーム数よりも少ない第４のフレーム数に決定することを特徴とする画像処理装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、
前記使用フレーム数決定部は、
前記フレーム相関判定部の判定結果に基づいて、前記使用フレーム数を決定することを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記参照バンド選択部は、
前記過去フレームにおける前記出力画像において、前記複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを前記参照バンドとして選択することを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記参照バンド選択部は、
前記過去フレームの前記出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、前記参照バンドを選択することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記参照バンド選択部は、
画像を複数の領域に分割した部分領域毎に、前記参照バンドを選択することを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記画像取得部は、
奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、前記第１のカラーフィルタとは異なる位置に配置され、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
前記参照画像生成部は、
前記参照バンド選択部により前記参照バンドが未選択の場合には、前記第１のカラーフィルタの画像データに対して前記補間処理を行うことにより、前記参照画像を生成することを特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記画像取得部は、
分光感度特性が異なる４バンド以上のカラーフィルタが配置された前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得することを特徴とする画像処理装置。
【請求項１３】
請求項１乃至１２のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。
【請求項１４】
複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得し、
取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成し、
出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択し、
前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成し、
前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成することを特徴とする画像処理方法。
【請求項１５】
複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部として、
コンピューターを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法及びプログラム等に関係する。
【背景技術】
【０００２】
フルカラー画像を撮像するために、Ｒ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）の３バンドのカラーフィルタを撮像素子前面に設けた撮像装置が知られている。単板撮像素子を有する撮像装置では、高周波成分を多く含む解像感が高い補間画像を生成するために、高周波成分を精度良く取得可能なバンドの情報を参照して、補間画像を生成する手法が有効である。
【０００３】
ここで、高周波成分を取得可能なバンドは、第１に、サンプル密度が高く配置されていることと、第２に、被写体の色特性に強い相関を持っていること、という２つの条件を満たすことが必要である。そこで、特許文献１では補間画像を生成する際に参照するバンドを、被写体の色特性に応じて補間方法を切り替える手法が提案されている。
【０００４】
また、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、複数枚の撮像を行うものや複数台のカメラを使用するものがある。例えば、特許文献２では、４バンド以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いる手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−９４５７７号公報
【特許文献２】特開２００３−８７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した特許文献１で示されている手法では、参照バンドとして使用するバンドのサンプル密度を高くすることは出来ず、３バンドのベイヤー配列においてＧよりもサンプル密度の低いＲやＢを参照バンドとして使用しても、Ｇを参照バンドとして使用する程の高周波成分は再現できない。
【０００７】
さらに、前述した特許文献２で示されているような、３バンド撮像素子よりも各バンドのサンプル密度が低くなってしまうマルチバンド撮像素子においては、被写体の色特性と強い相関を持つとして参照バンドに選択されたバンドがサンプル密度の低いバンドである場合には、高周波成分を再現することがさらに難しくなる。この問題はマルチバンド撮像素子のバンド数が増える程に顕著となる。
【０００８】
また、複数枚を撮像して見掛けの画素密度を向上させる手法では、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能であるが、処理の複雑化、メモリの増大、フレームレートの低下といった問題がある。
【０００９】
本発明の幾つかの態様によれば、被写体の色特性に関わらず、フレームレートを維持したまま、高周波成分を多く含む解像感が高い補間画像を生成することができる画像処理装置、撮像装置、画像処理方法及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部と、を含む画像処理装置に関係する。
【００１１】
本発明の一態様では、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する。そして、取得した複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する。さらに、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する。そして、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する。
【００１２】
よって、サンプル密度が低いバンドでもフレームレートを維持したままサンプル密度の高い情報として使用することができ、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能となる。
【００１３】
また、本発明の一態様では、前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記参照画像生成部で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部を含んでもよい。
【００１４】
これにより、参照バンドの種類に応じて、参照画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。
【００１５】
また、本発明の一態様では、前記画像取得部は、第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、前記使用フレーム数決定部は、前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を第１のフレーム数に決定し、前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を、前記第１のフレーム数よりも多い第２のフレーム数に決定してもよい。
【００１６】
これにより、参照バンドのサンプル密度に応じて、参照画像生成用フレーム数を決定すること等が可能になる。
【００１７】
また、本発明の一態様では、前記第１のカラーフィルタは、前記カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであり、前記第２のカラーフィルタは、前記カラーフィルタアレイにおいて、前記第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであってもよい。
【００１８】
これにより、例えば、市松状に配置されたバンドが参照バンドの場合には、１フレーム分のデータだけでも高精度な参照画像を生成し、市松状に配置されていないバンドが参照バンドの場合にも、複数フレーム分のデータを使用することで高精度な参照画像を生成すること等が可能となる。
【００１９】
また、本発明の一態様では、前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記補間画像生成部で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部を含んでもよい。
【００２０】
これにより、参照バンドの種類に応じて、補間画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。
【００２１】
また、本発明の一態様では、前記画像取得部は、第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、前記使用フレーム数決定部は、前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を第３のフレーム数に決定し、前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を、前記第３のフレーム数よりも少ない第４のフレーム数に決定してもよい。
【００２２】
これにより、参照バンドのサンプル密度に応じて、補間画像生成用フレーム数を決定すること等が可能になる。
【００２３】
また、本発明の一態様では、撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、前記使用フレーム数決定部は、前記フレーム相関判定部の判定結果に基づいて、前記使用フレーム数を決定してもよい。
【００２４】
これにより、例えばシーンが大幅に変わり、フレーム間の相関が無い場合でも、位置合わせ処理の精度低下によるアーティファクト発生を抑えること等が可能となる。
【００２５】
また、本発明の一態様では、前記参照バンド選択部は、前記過去フレームにおける前記出力画像において、前記複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを前記参照バンドとして選択してもよい。
【００２６】
これにより、被写体の色特性に基づいて、補間画像の生成処理等を行うこと等が可能になる。
【００２７】
また、本発明の一態様では、前記参照バンド選択部は、前記過去フレームの前記出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、前記参照バンドを選択してもよい。
【００２８】
これにより、高精度に参照バンドを判別すること等が可能となる。
【００２９】
また、本発明の一態様では、前記参照バンド選択部は、画像を複数の領域に分割した部分領域毎に、前記参照バンドを選択してもよい。
【００３０】
これにより、例えば部分領域毎に異なる参照バンドを使用することで、１つのシーン内で複数種類の色特性の偏った被写体が存在する場合でも、高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
【００３１】
また、本発明の一態様では、前記画像取得部は、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、前記第１のカラーフィルタとは異なる位置に配置され、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、前記参照画像生成部は、前記参照バンド選択部により前記参照バンドが未選択の場合には、前記第１のカラーフィルタの画像データに対して前記補間処理を行うことにより、前記参照画像を生成してもよい。
【００３２】
これにより、例えば、最もサンプル密度が高いバンドを参照バンドとして使用して、他のバンドを参照バンドとして使用するよりも高精度な補間画像を生成すること等が可能となる。
【００３３】
また、本発明の一態様では、前記画像取得部は、分光感度特性が異なる４バンド以上のカラーフィルタが配置された前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得してもよい。
【００３４】
これにより、マルチバンド撮像素子を用いて補間画像を生成する場合においても、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成すること等が可能となる。
【００３５】
また、本発明の他の態様では、前記画像処理装置を含む撮像装置に関係する。
【００３６】
また、本発明の他の態様では、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得し、取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成し、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択し、前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成し、前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する画像処理方法に関係する。
【００３７】
また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。
【図面の簡単な説明】
【００３８】
【図１】補間処理の説明図。
【図２】図２（Ａ）〜図２（Ｈ）は、複数枚撮像技術の説明図。
【図３】第１の実施形態の画像処理装置のシステム構成例。
【図４】第１の実施形態の撮像装置のシステム構成例。
【図５】第１の実施形態の撮像装置の詳細なシステム構成例。
【図６】カラーフィルタアレイの例。
【図７】第１の実施形態の処理の流れを説明するフローチャート。
【図８】第１の実施形態の処理の流れを時系列順に説明するフローチャート。
【図９】１フレームを用いた参照画像生成処理の説明図。
【図１０】２フレームを用いた参照画像生成処理の説明図。
【図１１】分光感度特性の説明図。
【図１２】３バンドのカラーフィルタアレイの説明図。
【図１３】第１の実施形態の画像処理装置の他のシステム構成例。
【図１４】第１の実施形態の他の処理の流れを説明するフローチャート。
【図１５】第２の実施形態の画像処理装置のシステム構成例。
【図１６】第２の実施形態の処理の流れを説明するフローチャート。
【図１７】第２の実施形態の他の処理の流れを説明するフローチャート。
【発明を実施するための形態】
【００３９】
以下、第１の実施形態及び第２の実施形態について説明する。まず、各実施形態の背景の概要をまとめて説明する。次に、実施形態毎にシステム構成例と処理の詳細と変形例を説明する。そして、最後に第１の実施形態と第２の実施形態の手法についてまとめて説明する。なお、以下に説明する各実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また各実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４０】
１．概要
フルカラー画像を撮像するために、Ｒ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）の３バンドのカラーフィルタを撮像素子前面に設けた撮像装置が知られている。単板撮像素子を有する撮像装置では、高周波成分を多く含む解像感が高い補間画像を生成するために、図１に示すように、高周波成分を精度良く取得可能なバンドの情報を参照して、補間画像を生成する手法が有効である。
【００４１】
具体的に、図１に示す手法では、Ｃ１〜Ｃ３の３バンドに対応するカラーフィルタを用いて撮像された撮像画像ＰＩＭから、Ｃ１を参照バンドとして選択して、撮像画像ＰＩＭに対してＣ１の補間処理を行って、参照画像ＲＩＭを生成する。その後に、生成した参照画像ＲＩＭに基づいて、Ｃ２とＣ３のそれぞれについて補間処理を行って、Ｃ２の補間画像ＩＩＭ１とＣ３の補間画像ＩＩＭ２とを生成する。
【００４２】
ここで、高周波成分を取得可能なバンドは、第１に、サンプル密度が高く配置されていることと、第２に、被写体の色特性に強い相関を持っていること、という２つの条件を満たすことが必要である。
【００４３】
そこで、前述した特許文献１では補間画像を生成する際に参照するバンドを、被写体の色特性に応じて補間方法を切り替える手法が提案されている。
【００４４】
しかしながら、前述した特許文献１で示されている手法では、参照バンドとして使用するバンドのサンプル密度を高くすることは出来ない。そのため、例えばサンプル密度の高いバンドが被写体の色特性と相関が低い場合などに、被写体の色特性との相関は高いが、サンプル密度が低いバンドを参照バンドとして使用してしまうと、高周波成分の再現が難しくなる。具体的には、ＲＧＢの３バンドのベイヤー配列においてＧよりもサンプル密度の低いＲやＢを参照バンドとして使用しても、Ｇを参照バンドとして使用する程は、高周波成分の再現を期待できない。
【００４５】
一方で、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、複数枚の撮像を行うものや複数台のカメラを使用するものがある。例えば、前述した特許文献２では、４バンド以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いる手法が提案されている。この手法は、例えば後述する図６に示すようなマルチバンド撮像素子を用いることで、画像を１枚撮像することによりマルチバンド画像を取得可能であり、装置の小型化、フレームレートの保持等のメリットがある。このようなマルチバンド撮像素子を用いた際でも高周波成分を多く含む解像感が高い補間画像を生成するには、高周波成分を精度良く取得可能なバンドの情報を参照画像として使用して、補間画像を生成する手法が有効である。
【００４６】
しかし、３バンド撮像素子よりも各バンドのサンプル密度が低くなってしまう図６に示すようなマルチバンド撮像素子においては、被写体の色特性と強い相関を持つとして参照バンドに選択されたバンドがサンプル密度の低いバンドである場合には、高周波成分を再現することはさらに難しくなる。この問題はマルチバンド撮像素子のバンド数が増える程に顕著となる。
【００４７】
また、複数枚を撮像して見掛けの画素密度を向上させる手法では、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能であるが、処理の複雑化、メモリの増大、フレームレートの低下といった問題がある。例えば、図６に示すマルチバンド撮像素子を用いて補間処理を行わずに全画素位置に全バンドの情報を得るためには、図２（Ａ）〜図２（Ｈ）に示すように８枚の画像を撮像する必要がある。このように補間処理を行わずに見掛けの画素密度を向上させるには、補間処理を行う場合に比べて、より多くの枚数の撮像が必要となってしまう。
【００４８】
以下で説明する第１の実施形態及び第２の実施形態の画像処理装置等では、上記の問題点に鑑み、３バンド以上の異なる分光感度特性を有する単板撮像素子を用いて、被写体の色特性に関わらず、フレームレートを維持したまま、高周波成分を多く含む解像感が高い補間画像の生成を可能にする。
【００４９】
２．第１の実施形態
第１の実施形態では、前フレームの出力画像から参照画像として使用するバンド（参照バンド）を選択し、２フレーム分のＲＡＷデータを補間画像生成に使用する例について説明する。
【００５０】
２．１  システム構成例
次に、本実施形態の画像処理装置の構成例を図３に示す。画像処理装置は、画像取得部１０１と、位置合わせ処理部１０２と、参照画像生成部１０３と、補間画像生成部１０４と、参照バンド選択部１０５と、を含む。
【００５１】
次に各部の接続について説明する。画像取得部１０１は、位置合わせ処理部１０２に接続されている。位置合わせ処理部１０２は、参照画像生成部１０３に接続されている。参照画像生成部１０３は、補間画像生成部１０４に接続されている。補間画像生成部１０４は、参照バンド選択部１０５に接続されている。参照バンド選択部１０５は、参照画像生成部１０３に接続されている。
【００５２】
次に各部で行われる処理について説明する。
【００５３】
まず、画像取得部１０１は、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子１２０を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する。なお、撮像素子１２０については後述する。
【００５４】
次に、位置合わせ処理部１０２は、取得された複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する。
【００５５】
そして、参照画像生成部１０３は、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する。
【００５６】
さらに、補間画像生成部１０４は、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する。
【００５７】
そして、参照バンド選択部１０５は、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する。
【００５８】
なお、画像取得部１０１と、位置合わせ処理部１０２と、参照画像生成部１０３と、補間画像生成部１０４と、参照バンド選択部１０５との機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００５９】
また、図３の画像処理装置のシステム構成を備えた本実施形態の撮像装置の構成例を図４に示す。撮像装置は、前述した画像処理装置を実現するデジタルプロセス回路１００と、撮像素子１２０と、を含む。
【００６０】
さらに、図５は撮像装置の詳細な全体像を例示するものである。図５の撮像装置は、各種レンズ（撮像レンズ）から構成される撮像レンズ系２０２と、撮像レンズ系２０２の伸縮駆動や撮像レンズ系２０２内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構２０３と、レンズ駆動機構２０３を制御するためのレンズドライバ２０４と、撮像レンズ系２０２の絞り及びシャッタ内を制御するための露出制御機構２０５と、露出制御機構２０５を制御するための露出制御ドライバ２０６と、被写体像を光電変換するための３種類以上の異なる分光感度特性を有するカラーフィルタを内蔵した撮像素子１２０と、撮像素子１２０を駆動するための撮像素子ドライバ２０７と、アナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路２０８と、記録画像生成のための色信号処理、圧縮伸張処理、その他各種のデジタル処理を行うためのデジタルプロセス回路１００と、外部の記録媒体であるメモリカード２０９とのインタフェースであるカードインタフェース２１０と、ＬＣＤ画像表示系２１１と、レリーズスイッチ、設定ボタンなど各種スイッチからなる操作スイッチ系２１２と、操作状態及びモード状態等を表示するための操作表示系２１３と、各種設定情報等を設定するための不揮発性メモリ２１４と、各部を統括的に制御するためのシステムコントローラ２１５と、を備えている。
【００６１】
具体的に、図５の撮像装置では、撮像素子１２０から得られた複数フレーム分のＲＡＷデータをメモリ１０６で保持し、位置合わせ処理部１０２では、複数フレーム分のＲＡＷデータの位置合わせ処理を行う。
【００６２】
そして、参照画像生成部１０３では、位置合わせ処理部１０２で生成された複数フレーム分のデータに対して、参照バンド選択部１０５で選択された被写体の色特性と最も強い相関を持つバンド（参照バンド）の補間処理を行い、参照画像を生成する。参照バンド選択部１０５の結果が得られていない最初のフレームの場合には、予め参照画像生成部１０３に記憶しているバンドを参照バンドとして使用する。
【００６３】
さらに、補間画像生成部１０４では、位置合わせ処理部１０２で生成された複数フレーム分のデータに対して、参照画像生成部１０３で生成された参照画像を用いて、参照画像生成部１０３で使用していないバンドの補間処理を行い、補間画像を生成する。
【００６４】
そして、参照バンド選択部１０５では、補間画像生成部１０４で生成された補間画像を用いて、被写体の色特性と最も強い相関を持つバンドを判別し、次のフレームの参照バンドの情報を参照画像生成部１０３へ送る。
【００６５】
また、図５の撮像装置においては、システムコントローラ２１５が全ての制御を統括的に行っている。具体的には、まずレンズドライバ２０４、露出制御ドライバ２０６及び撮像素子ドライバ２０７による撮像素子１２０の駆動を制御して露光（電化蓄積）及び信号の読み出しを行う。そして、読み出した露光及び信号を、プリプロセス回路２０８を介してＡ／Ｄ変換した後に、デジタルプロセス回路１００に取り込み、デジタルプロセス回路１００内の信号処理部２１６で各種信号処理を施して、カードインタフェース２１０を介してメモリカード２０９に記録する。
【００６６】
また、図６は、撮像素子１２０を構成する各画素上に配置される３バンド以上の異なる分光感度特性を有するカラーフィルタアレイの例として、５バンドの分光感度特性を有するカラーフィルタアレイ（以下ＣＦＡ）を示している。ここで、Ｃ１画素は他のバンドの画素に比べてサンプル密度が高く、３バンドベイヤー配列におけるＧ画素と同様に市松状に配置されている。
【００６７】
なお、画像処理装置及びこれを含む撮像装置は、図３、図４及び図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。また、本実施形態の画像処理装置又は撮像装置の一部又は全部の機能は、画像処理装置又は撮像装置と通信により接続されたサーバーにより実現されてもよい。
【００６８】
２．２  処理の詳細
次に、図７のフローチャートを用いて本実施形態の処理の流れを説明する。
【００６９】
まず、撮像素子１２０からメモリ１０６に蓄えられたＲＡＷデータの読み出しフレームを設定し（Ｓ４０１）、メモリ１０６に複数フレーム分のＲＡＷデータが保持されているか否かの判定を行う（Ｓ４０２）。なお、ＲＡＷデータとは、画像処理前の撮像画像のデータのことを指す。
【００７０】
次に、１フレーム分のＲＡＷデータしかない場合には、１フレーム分のＲＡＷデータを読み込み、次のステップへ進む（Ｓ４０３）。
【００７１】
一方で、複数フレーム分のＲＡＷデータを保持している場合には、複数フレームのＲＡＷデータを読み込み（Ｓ４０４）、位置合わせ処理を行った後に次のステップへ進む（Ｓ４０５）。
【００７２】
そして、ステップＳ４０３又はステップＳ４０５の後に、参照バンドとして使用するバンドを選択する（Ｓ４０６）。後述するステップＳ４０９により参照バンド判別結果が得られている場合には、判別結果に基づき参照バンドを選択する。ステップＳ４０９の参照バンド判別結果が得られていない１フレーム目の場合には、ＣＦＡの中で最もサンプル密度の高いバンドとして、参照画像生成部１０３に予め記憶されているＣ１バンドを参照バンドとして選択する。
【００７３】
次に、ステップＳ４０３若しくはステップＳ４０４により得られたＲＡＷデータに対して、ステップＳ４０６で選択された参照バンドの補間処理を行い、参照画像を生成する（Ｓ４０７）。
【００７４】
そして、ステップＳ４０３若しくはステップＳ４０４により得られたＲＡＷデータに対して、ステップＳ４０７で得られた参照画像を用いて、参照バンドとして選択されていないバンドの補間処理を行い、補間画像を生成する（Ｓ４０８）。
【００７５】
さらに、生成した補間画像から被写体の色特性と最も強い相関を持つバンドを判別し、次のフレームの参照バンド判別結果とする（Ｓ４０９）。
【００７６】
次に、図７の処理の流れを、図８のフローチャートを用いて時系列に沿って示す。
【００７７】
１フレーム目は、メモリ１０６に１フレーム分のＲＡＷデータしか保持されておらず、さらに参照バンド判別結果も得られていないために、２フレーム目以降の処理とは異なっている。２フレーム目以降では、複数フレーム分のＲＡＷデータを使用し、さらに前フレームの補間画像から被写体の色特性と最も強い相関を持つバンドと判別されたバンドを参照バンドとして設定する。
【００７８】
次に、各ステップの処理の具体的な内容について詳細に説明する。まず、ステップＳ４０５の位置合わせ処理について説明する。
【００７９】
２枚の画像の位置合わせ処理では、画像間の位置ずれ量（動きベクトル）を算出し、この位置ずれ量をキャンセルするように各画素をシフトしながら基準となる画像の各画素に位置合わせを行う。
【００８０】
本実施形態では、位置ずれ量を求める手法としてブロックマッチング処理を用いる。ブロックマッチング処理では、基準フレーム画像において一定の大きさのブロック（例えば８画素×８ライン）に分割し、このブロック単位で前フレーム画像の一定範囲の画素との差を計算し、この差の絶対値の和（ＳＡＤ：Sum absolute difference）が最小となるブロックを探索する。マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ’において、画素位置をｐ∈Ｉおよびｑ∈Ｉ’、画素レベルをＬｐ、Ｌｑとすると、ＳＡＤは下記の式（１）で定義され、値が小さいほど相関が高いと評価する。なお、ｐ、ｑは２次元の値を持つ量であり、Ｉ及びＩ’は２次元の領域である。また、ｐ∈Ｉは、座標ｐが領域Ｉに含まれていることを示し、ｑ∈Ｉ’は、座標ｑが領域Ｉ’に含まれていることを示す。
【００８１】
【数１】
2014146872.tif 000003
そして、ブロックマッチング処理により得られた位置ずれ量に基づいて、前フレーム画像の位置ずれを補正する。
【００８２】
本実施形態では、ブロックマッチングにより位置ずれ量を算出し、位置合わせ処理を行う例を説明したが、当然この手法に限られるものではない。位相限定相関法や、ＳＩＦＴ等の特徴点マッチングを利用することも可能である。また、評価値もＳＡＤに限られるものではなく、下記の式（２）で表される二乗誤差（ＳＳＤ）や正規化相互相関ＮＣＣ等の他の指標値を用いることも可能であり、サブピクセル精度での処理も可能である。
【００８３】
【数２】
2014146872.tif 000004
次に、ステップＳ４０７の参照画像の生成処理について説明する。
【００８４】
本実施形態では、参照画像の生成処理においてガウシアン補間（ＧＩ）を用いる。ＧＩは、画素値を推定したい画素位置周辺の局所的な情報の重み付き平均として、画素値を推定する方法であり、画素位置ｘｐに対する推定画素値ＳＧＩ（ｘｐ）は下記の式（３）のように表される。
【００８５】
【数３】
2014146872.tif 000005
ここで、Ｎｘｐは画素位置ｘｐの周辺画素の画素位置集合を、ｘｉは画素位置集合Ｎｘｐ内の任意の画素位置を、Ｓ（ｘｉ）は画素位置ｘｉの画素値を、Ｍ（ｘｉ）は画素位置ｘｉのバイナリマスクを、ｋ（ｘｉ−ｘｐ）は画素位置ｘｐからの距離に基づく重みを、ωＧＩ（ｘｐ）は正規化係数、すなわち重みの和を表す。なお、バイナリマスクＭ（ｘｉ）は画素値が存在する場所で１、それ以外で０となる。
【００８６】
例えば、メモリ１０６に保持しているＲＡＷデータが１フレーム分であり、Ｃ１バンドを参照バンドとして選択して、参照画像を生成する例を図６に示す。図６の撮像画像ＰＩＭ９のように、ＲＡＷデータから取得したＣ１バンドの情報は市松状に配置されており、このデータに対して上記の補間処理を行うことにより、全画素位置にＣ１バンドの情報を持った参照画像ＲＩＭ９を生成する。
【００８７】
一方、メモリ１０６に保持しているＲＡＷデータが２フレーム分であり、Ｃ４バンドを参照バンドとして使用する例を図１０に示す。図１０の画像ＰＩＭ１０は、参照画像生成用の２フレームの撮像画像に対して位置合わせ処理を行った結果得られた画像である。そして、図１０の画像ＰＩＭ１０内には、参照バンドとして使用するＣ４バンドを明示的に示している。図６において、Ｃ４画素は画素位置（４、１）、（２、３）、（４、５）の３か所でしか情報を得られていないが、異なる撮像時刻で撮像位置がずれた２フレーム目の撮像画像と位置合わせ処理を行うことで、Ｃ４画素のサンプル密度が高くなっている（太枠で囲んだ画素が増えた画素を表す）。２フレーム分のＲＡＷデータを使用することで増えるＣ４画素が、どの画素位置になるかはステップＳ４０５の位置合わせ処理の結果により異なる。この場合も図９と同様に補間処理により、全画素位置にＣ４バンドの情報を持った参照画像ＲＩＭ１０を生成する。
【００８８】
次に、ステップＳ４０８の補間画像の生成処理について説明する。
【００８９】
本実施形態では、参照画像を用いた補間処理として、ガイデッドフィルタ（ガイデッドイメージフィルタ）を用いる。ガイデッドフィルタでは、出力画像は参照画像の線形変換で表されると考える。そして、下記の式（４）に示すように、画素値を推定したい画素位置ｘｐ周辺での局所領域のコスト関数Ｅ（ａｘｐ、ｂｘｐ）を最小化するように、最小二乗法により係数ａｘｐ及びｂｘｐが算出される。
【００９０】
【数４】
2014146872.tif 000006
ここで、ωｘｐは注目画素周辺に存在する信号成分の要素数を、Ｍｉ（）はバイナリマスクを、ａｘｐ、ｂｘｐは算出されるべき係数パラメータであり、計算開始時には適当な初期値が用いられる。また、Ｉｉは周辺画素に対応する参照画像の画素値を、ｐｉは信号成分の画素値を、εは所定の平滑化パラメータを表す。
【００９１】
そして、全画素に対する係数ａｘｐ及びｂｘｐが算出されると、補間対象となる信号成分を有さない画素に対して式（５）により出力画素値ｑｉが算出される。
【００９２】
【数５】
2014146872.tif 000007
本実施形態では、ステップＳ４０７で得られた補間画像を参照画像として使用し、参照画像とは異なるバンドを１バンドずつ補間対象の画像として使用する。参照画像を用いた補間処理を行うことで、参照画像の高周波成分を保持した補間画像を生成することが可能である。
【００９３】
なお、上記の説明では、参照画像は全てステップＳ４０７で得られた画像であるものとして説明したが、分光感度特性の相関を利用し、参照画像として用いる画像を順々に切り替えながら補間処理を行うことも可能である。例えば、図１１に示す分光感度特性を有するＣＦＡを用いる場合においては、まず参照バンドとしてＣ５バンドを選択している場合には、Ｃ５バンドを参照画像としてＣ４バンドの補間画像を生成し、次にＣ４バンドの補間画像を参照画像としてＣ１バンドの補間画像を生成してもよい。このように、分光感度特性が隣り合うバンドの画像を参照画像として使用して補間処理を行う。この処理により、参照バンドと相関の弱いバンドに対する補間処理においても、高周波成分を保持した補間画像が生成可能である。
【００９４】
次に、ステップＳ４０９の参照バンド判別処理について説明する。
【００９５】
参照バンドの判別には、ステップＳ４０８で得られた補間画像の各バンドの画像毎に高周波成分の検出を行い、最も多く高周波成分を含むバンドを被写体の色特性と最も相関の強いバンドとして判定する。
【００９６】
また、高周波成分の検出にはハイパスフィルタを使用する。ここで、ハイパスフィルタはラプラシアンフィルタであり、ラプラシアン演算の絶対値の総和が評価値として求められる。この処理をバンド毎に行い、評価値が最も高いバンドを選択する。
【００９７】
このように、補間画像から参照バンドを選択することで、ＲＡＷデータから選択するよりも高精度に高周波成分の検出を行うことが可能である。
【００９８】
本実施形態では、参照バンドの判別方法として高周波成分を検出する方法を用いたが、これに限定されるものではない。例えば簡易的な処理として、補間画像の各バンドの画像毎に輝度値の総和、平均値等の評価値を用いて判別することも可能である。被写体の色特性に強い相関を持つバンドの画像は、輝度値が高いことが想定されるため、輝度値による判断も有効である。輝度値により判断する場合であっても、ＲＡＷデータから選択するよりも補間画像から選択することで、高精度に参照バンドを選択することが可能である。
【００９９】
これらの処理により、被写体の色特性に関わらず高周波成分を多く含む解像感が高い補間画像の生成が可能となる。本実施形態では、ＣＦＡにおいてサンプル密度が低いバンドであっても、複数フレームのＲＡＷデータを使用することにより、サンプル密度の高いデータとして使用することができる。その結果、高周波成分を保持した参照画像を用いて補間処理を行うことができ、高精度な補間画像を生成することができる。さらに、参照バンドの判別処理を補間画像から行うことで、被写体の色特性と相関の高いバンドを高精度に選択することが可能となる。
【０１００】
また、本実施形態では、３バンド以上の異なる分光感度特性を有するＣＦＡの例として、図６に示す５バンドの分光感度特性を有するＣＦＡを用いて説明を行ったが、図１２に示す３バンドのベイヤー配列を用いても同様の処理が可能である。
【０１０１】
さらに、本実施形態では、画像全体に対して１つのバンドを参照バンドとして使用したが、画像を複数の部分領域に分割し、部分領域毎に異なるバンドを参照バンドとして選択して、上記の処理を行ってもよい。部分領域毎に異なる参照バンドを使用することで、１つのシーン内で複数種類の色特性の偏った被写体が存在する場合でも、高周波成分を多く含む解像感が高い補間画像を生成することが可能である。本実施形態では、参照バンドの判別を前フレームの補間結果の画像から行うために、ＲＡＷデータの状態で参照バンドを選択する場合に比べて、部分領域内の各バンドのサンプル密度が高くなり、部分領域毎の参照バンドの判別をより正確に行うことが可能である。この効果は撮像素子１２０のバンド数が増える程に顕著となる。
【０１０２】
また、上記では、使用するフレーム数が２フレームである場合について説明したが、当然３フレーム以上を使用して上記の処理を行うことも可能である。
【０１０３】
２．３  変形例
本変形例では、複数フレームの位置合わせ処理の結果、フレーム間に相関が無いと判定された場合には１フレームだけを使用するように補間画像生成処理の内容を切り替える例について説明する。
【０１０４】
本変形例では、第１の実施形態の構成を基本としてデジタルプロセス回路１００内での処理が異なる。具体的には、図１３に示す通り、フレーム相関判定部１０８が新たに追加される。なお、フレーム相関判定部１０８の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【０１０５】
次に、本変形例での補間画像の生成処理の流れを図１４のフローチャートに示す。なお、図７に示す第１の実施形態と同様のステップについては説明を省略する。
【０１０６】
ステップＳ１１０２において、メモリ１０６に複数フレーム分のＲＡＷデータを保持していると判定された場合には、複数フレーム分のＲＡＷデータを読み込み（Ｓ１１０４）、位置合わせ処理を行った後に（Ｓ１１０５）、複数フレーム間に相関があるか否かの判定を行う（Ｓ１１０６）。
【０１０７】
この判定では、ステップＳ１１０５の位置合わせ処理時の位置ずれ量が所定の閾値θ１以上または評価値（ＳＡＤ）が所定の閾値θ２以上であれば、フレーム間には相関がないと判定する。
【０１０８】
フレーム間に相関が無いと判定された場合には、読み込み対象のフレーム以外のフレームの情報を削除し（Ｓ１１０７）、少なくとも１フレーム分のＲＡＷデータを保持したまま次のステップへ進む。
【０１０９】
一方で、フレーム間に相関があると判定された場合には、フレームの削除処理を行わずに（Ｓ１１０７）、参照バンド選択処理を行う（Ｓ１１０８）。
【０１１０】
これら処理により、シーンが大幅に変わり、フレーム間に相関が無い場合でも、位置合わせ処理の精度低下によるアーティファクト発生を抑えることが可能となる。
【０１１１】
３．第２の実施形態
３．１  システム構成例
本実施形態では、参照バンド選択部での判別結果に基づき、使用するフレーム数を切り替える例について説明する。
【０１１２】
本実施形態では、図３に示す第１の実施形態の構成を基本としてデジタルプロセス回路１００内での処理が異なる。具体的には、図１５に示す通り、使用フレーム数決定部１０７が新たに追加される。なお、使用フレーム数決定部１０７の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【０１１３】
３．２  処理の詳細
次に、本実施形態の補間画像の生成処理の流れを図１６のフローチャートを用いて説明する。なお、図７に示す第１の実施形態と同様のステップについては説明を省略する。
【０１１４】
参照バンドを選択する際に、ステップＳ１３１０の参照バンド判別処理の結果が得られていない場合、もしくはステップＳ１３１０の参照バンド判別処理の結果がＣ１バンドだった場合には（Ｓ１３０３）、１フレーム分のＲＡＷデータを読み込み、次のステップへ進む（Ｓ１３０４）。参照バンドがＣ１バンドの場合には、１フレーム分のＲＡＷデータだけでもサンプル密度は高いため、複数フレーム分のＲＡＷデータを使用しなくても高周波成分を多く含む解像感が高い補間画像を生成することが可能である。
【０１１５】
一方、参照バンドがＣ１バンドと異なる場合には、第１の実施形態と同様にメモリに複数フレーム分のＲＡＷデータが保持されているか判定を行い（Ｓ１３０５）、判定結果に応じたフレーム分のＲＡＷデータを読み込み（Ｓ１３０６）、次のステップへ進む。参照バンドがＣ１バンド以外の場合には、１フレーム分のＲＡＷデータだけではサンプル密度が低く、高周波成分を精度良く再現することが難しいために複数フレーム分のＲＡＷデータを使用する。
【０１１６】
これら処理により、前フレームの補間画像から判別された参照バンドの種類に応じて、補間画像生成に必要なフレーム分のＲＡＷデータだけを読み込む処理を行うことが可能となる。一般的な被写体ではＣ１バンドを用いて１フレームで参照画像を生成できるために位置合わせ処理の簡略化、メモリの節約が可能となる。
【０１１７】
３．３  変形例
本変形例では、参照画像生成部１０３で使用するフレーム数と補間画像生成部１０４で使用するフレーム数を独立して設定する例について説明する。
【０１１８】
本変形例では、図１５に示す第２の実施形態と同様のシステム構成をとるが、デジタルプロセス回路１００内での処理が異なる。具体的には、使用フレーム数決定部１０７と補間画像生成部１０４での処理が異なる。
【０１１９】
次に、本変形例での補間画像の生成処理の流れを図１７のフローチャートを用いて説明する。なお、図７に示す第１の実施形態と同様のステップについては説明を省略する。
【０１２０】
まず、メモリ１０６に複数フレーム分のＲＡＷデータが保持されているかの判定を行い（Ｓ１４０３）、メモリ１０６に複数フレーム分のＲＡＷデータが保持されていると判定した場合には、続けて参照バンドがＣ１バンドであるか否かの判定を行う（Ｓ１４０５）。
【０１２１】
そして、参照バンドがＣ１バンドである場合には、参照画像を生成するために複数フレーム分のデータを使用するか否かの判定を行う（Ｓ１４０６）。ここで、予め使用フレーム数決定部１０７に設定されている情報を読み込む。参照バンドがＣ１バンドである場合には、第２の実施形態と同様に、１フレーム分のデータだけで参照画像を生成しても高精度な画像を生成可能である。ただし、複数フレームを使用することで、より高精度な参照画像を生成可能であるため、Ｃ１バンドが参照バンドの場合であっても複数フレーム分のデータを使用することは効果的である。
【０１２２】
ステップＳ１４０６において、参照画像の生成処理で１フレーム分のデータのみを使用すると判定された場合には、続けて、補間画像の生成処理に複数フレーム分のデータを使用するか否かの判定処理を行う（Ｓ１４０７）。ステップＳ１４０７の判定処理では、過去フレームにおいて補間画像を生成するために使用したフレーム数と過去フレームの位置合わせ処理の結果に基づいて判定する。
【０１２３】
例えば、過去フレームにおいて、補間画像を生成するために１フレームを使用していれば注目フレームでも１フレームのみを使用する。この場合には、１フレーム分の入力データを読み込み（Ｓ１４０４）、ステップＳ１４１６〜Ｓ１４１８の処理を行う。また、過去フレームにおいて、補間画像を生成するために複数フレームを使用していた場合には、過去フレームの位置合わせ処理時の情報からフレーム間に相関があるか否かの判定を行い、フレーム間に相関が無い場合には、注目フレームでは１フレームを使用する（Ｓ１４０４）。
【０１２４】
一方、フレーム間に相関がある場合には、補間画像を生成するために注目フレームでも複数フレームを使用する。そして、ステップＳ１４０７で補間画像を生成するために複数フレーム分のデータを使用すると判定した場合には、複数フレーム分のＲＡＷデータを読み込み（Ｓ１４０８）、位置合わせ処理を行い（Ｓ１４０９）、ステップＳ１４１６〜Ｓ１４１８の処理を行う。
【０１２５】
次に、ステップＳ１４０５で参照バンドがＣ１バンド以外である場合、もしくは参照バンドがＣ１バンドであってもステップＳ１４０６で参照画像の生成処理において複数フレーム分のデータを使用するとした場合には、複数フレーム分のＲＡＷデータを読み込み（Ｓ１４１０）、位置合わせ処理を行う（Ｓ１４１１）。
【０１２６】
そして、読み込んだ複数フレーム分のＲＡＷデータに相関があるか否かの判定を行い（Ｓ１４１２）、相関がある場合にはそのまま次のステップへ進み、相関が無い場合には相関の無いフレームを削除してから（Ｓ１４１３）次のステップへ進む。
【０１２７】
さらに、ステップＳ１４１２で複数フレームに相関があると判定された場合には、参照画像生成処理に使用するフレーム数を複数フレームに設定し、ステップＳ１４１２で複数フレームに相関が無いと判定された場合には、参照画像の生成処理に使用するフレーム数を１フレームに設定する（Ｓ１４１４）。
【０１２８】
次に、ステップＳ１４１２で複数フレームに相関があると判定された場合には、予め使用フレーム数決定部１０７に記憶されている情報を読み込み、補間画像の生成処理において使用するフレーム数を１フレーム又は複数フレームのどちらかに設定する（Ｓ１４１５）。複数フレームを使用する方がより高精度な画像が生成可能であるが、処理時間やメモリ等を考慮し、１フレームを使用するように設定しておくことも可能である。一方で、ステップＳ１４１２で複数フレームに相関が無いと判定された場合には、補間画像の生成処理において使用するフレーム数を１フレームに設定する。そして、ステップＳ１４１６〜Ｓ１４１８の処理を行う。
【０１２９】
以上のように、参照バンドがＣ１バンドの場合には、参照画像の生成処理及び補間画像の生成処理に使用するデータが、１フレーム分のデータだけであっても高精度な画像を生成可能である。ただし、補間画像の生成処理に複数フレーム分のデータを使用できる場合には、より高精度な画像を生成可能である。さらに、参照画像の生成において複数フレーム分のＣ１バンドを使用できる場合には、例えば補間画像の生成に使用するデータが１フレーム分のデータだけであっても、高精度な画像を生成可能であり、補間画像の生成にも複数フレーム分のデータを使用すれば、さらに高精度な画像を生成可能である。
【０１３０】
一方で、参照バンドがＣ１バンド以外のバンドである場合には、参照画像の生成処理には複数フレーム分のデータを使用することで高精度な画像を生成可能である。ただし、複数フレーム間に相関が無い場合には、１フレームのみを用いて補間画像の生成処理を行うことで、位置合わせ処理の失敗による画質低下を避けることが可能になる。また、参照画像の生成処理において複数フレームを使用できる場合には、補間画像の生成処理にも複数フレーム分のデータを使用することで高精度な画像を生成可能である。一方、補間画像の生成処理に１フレーム分のデータだけを使用する場合であっても、参照画像の生成および補間画像の生成を１フレーム分のデータだけで行う場合に比べると、高精度な画像を生成可能である。さらに、参照画像を生成した後に過去のフレームのデータを削除することが可能となり、メモリの節約が可能となる。
【０１３１】
これら処理により、前フレームの補間画像から判別された参照バンドの種類と使用するフレーム数に応じて、高精度な補間画像を生成可能となる。
【０１３２】
４．本実施形態の手法
以上の本実施形態の手法について説明する。
【０１３３】
本実施形態の画像処理装置は、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子１２０を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部１０１と、取得された複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部１０２と、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部１０５と、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部１０３と、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部１０４と、を含む。
【０１３４】
本実施形態では、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する。この点が前述した特許文献１に開示されている手法と異なる。
【０１３５】
ここで、参照バンドとは、撮像素子１２０が有するカラーフィルタアレイに配置されるカラーフィルタに対応する複数のバンドのうち、参照画像を生成するために用いられるバンドのことをいう。
【０１３６】
そして、取得した複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する。
【０１３７】
ここで、統合撮像データとは、複数フレーム分の撮像データの位置合わせ処理を行った結果、生成される画像データのことをいう。例えば、前述した図１０の画像ＰＩＭ１０は、２フレーム分の撮像データの位置合わせ処理を行った結果、取得された統合撮像データである。
【０１３８】
さらに、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する。
【０１３９】
ここで、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データとは、例えば前述した図１０の例では、参照バンドがＣ４バンドであるため、画像ＰＩＭ１０中のＣ４バンドの画素値のことを指す。すなわち、図１０の例では、画像ＰＩＭ１０内に明示的に示したＣ４バンドの画素値が求められている画素以外の画素（白い空欄の画素）では、Ｃ４バンドの画素値が欠落した状態であるため、この欠落した画素に対して、Ｃ４バンドの画素値の補間処理を行い、図１０の画像ＲＩＭ１０のような参照画像を生成する。
【０１４０】
また、参照画像とは、参照バンドの画像値のみが、全ての画素に対して求められた画像のことをいう。例えば、図１では画像ＲＩＭが、図９では画像ＲＩＭ９が、図１０では画像ＲＩＭ１０が参照画像である。
【０１４１】
そして、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する。
【０１４２】
ここで、補間画像とは、カラーフィルタアレイに配置されるカラーフィルタに対応する複数のバンドのうち、参照バンド以外の一つのバンドの画素値のみが、全ての画素に対して求められた画像のことをいう。例えば、図１では、画像ＩＩＭ１はＣ２バンドの補間画像であり、画像ＩＩＭ３はＣ３バンドの補間画像である。
【０１４３】
よって、複数フレーム分の情報を使用して補間処理することで、サンプル密度が低いバンドでもフレームレートを維持したままサンプル密度の高い情報として使用することができ、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能となる。
【０１４４】
また、参照バンド選択部１０５により選択された参照バンドの種類に基づいて、参照画像生成部１０３で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部１０７を含んでもよい。
【０１４５】
これにより、参照バンドの種類に応じて、参照画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。例えば、図６のカラーフィルタアレイを用いる場合には、一般的な被写体では、最もサンプル密度の高いＣ１バンドを参照バンドとして用いる。その結果、１フレームで参照画像を生成できるために、位置合わせ処理の簡略化、メモリの節約が可能となる。
【０１４６】
具体的に、参照画像生成用フレーム数を決定する際には、他のバンドに比べてサンプル密度の高いバンドが参照バンドである場合には、サンプル密度の低いバンドが参照バンドである場合に比べて、参照画像の生成時に用いるフレーム数を少なくしても良い。
【０１４７】
すなわち、画像取得部１０１は、第１のカラーフィルタと、第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含むカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。そして、使用フレーム数決定部１０７は、参照バンドが第１のカラーフィルタに対応するバンドである場合には、参照画像生成用フレーム数を第１のフレーム数に決定し、参照バンドが第２のカラーフィルタに対応するバンドである場合には、参照画像生成用フレーム数を、第１のフレーム数よりも多い第２のフレーム数に決定してもよい。
【０１４８】
例えば図６のカラーフィルタアレイを用いる場合には、第１のカラーフィルタはＣ１バンドであり、第２のカラーフィルタはＣ２バンド〜Ｃ５バンドのうちのいずれかのバンドである。
【０１４９】
これにより、参照バンドのサンプル密度に応じて、参照画像生成用フレーム数を決定すること等が可能になる。
【０１５０】
また、第１のカラーフィルタは、カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであってもよい。そして、第２のカラーフィルタは、カラーフィルタアレイにおいて、第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであってもよい。
【０１５１】
すなわち、この場合には、第１のカラーフィルタは図６のＣ１バンドの画素のように市松状に配置され、第２のカラーフィルタはＣ２〜Ｃ５バンドの画素のようにＣ１バンドの画素以外の位置に配置される。
【０１５２】
これにより、例えば、市松状に配置されたバンドが参照バンドの場合には、１フレーム分のデータだけでも高精度な参照画像を生成し、市松状に配置されていないバンドが参照バンドの場合にも、複数フレーム分のデータを使用することで高精度な参照画像を生成すること等が可能となる。
【０１５３】
また、参照バンド選択部１０５により選択された参照バンドの種類に基づいて、補間画像生成部１０４で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部１０７を含んでもよい。
【０１５４】
これにより、参照バンドの種類に応じて、補間画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。
【０１５５】
前述したように補間画像は、参照バンド以外のバンドに対応する画像であるため、参照バンドがサンプル密度の高いバンドである場合には、補間画像はサンプル密度の低いバンドに対応する画像になる。そのため、補間画像生成用フレーム数を決定する際には、他のバンドに比べてサンプル密度の高いバンドが参照バンドである場合には、サンプル密度の低いバンドが参照バンドである場合に比べて、参照画像の生成時とは逆に、補間画像の生成時に用いるフレーム数を多くすることが望ましい。
【０１５６】
すなわち、画像取得部１０１は、第１のカラーフィルタと、第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含むカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。そして、使用フレーム数決定部１０７は、参照バンドが第１のカラーフィルタに対応するバンドである場合には、補間画像生成用フレーム数を第３のフレーム数に決定し、参照バンドが第２のカラーフィルタに対応するバンドである場合には、補間画像生成用フレーム数を、第３のフレーム数よりも少ない第４のフレーム数に決定してもよい。
【０１５７】
なお、第３のフレーム数は前述した第１のフレーム数と同じ数であってもよく、第４のフレーム数は前述した第２のフレーム数と同じ数であってもよい。
【０１５８】
これにより、参照バンドのサンプル密度に応じて、補間画像生成用フレーム数を決定すること等が可能になる。
【０１５９】
以上により、例えば市松状に配置されたバンドが参照バンドである場合に、参照画像を１フレーム分のデータから生成し、補間画像を複数フレーム分のデータから生成することが可能となり、高精度な補間画像が生成可能となる。
【０１６０】
一方で、例えば市松状に配置されていないバンドが参照バンドである場合には、参照画像を複数フレーム分のデータから生成し、補間画像を１フレーム分のデータから生成することが可能となり、参照画像生成・補間画像生成の両方を１フレーム分のデータだけで行うよりも高精度な補間画像が生成可能となる。
【０１６１】
また、撮像データのフレーム間の相関を判定するフレーム相関判定部１０８をさらに含んでもよい。そして、使用フレーム数決定部１０７は、フレーム相関判定部１０８の判定結果に基づいて、使用フレーム数を決定してもよい。
【０１６２】
これにより、例えばシーンが大幅に変わり、フレーム間の相関が無い場合でも、位置合わせ処理の精度低下によるアーティファクト発生を抑えること等が可能となる。
【０１６３】
また、参照バンド選択部１０５は、過去フレームにおける出力画像において、複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを参照バンドとして選択してもよい。
【０１６４】
これにより、被写体の色特性に基づいて、補間画像の生成処理等を行うこと等が可能になる。
【０１６５】
また、参照バンドは高周波成分を保持しているバンドを使う必要がある。
【０１６６】
そこで、参照バンド選択部１０５は、過去フレームの出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、参照バンドを選択してもよい。
【０１６７】
これにより、高精度に参照バンドを判別すること等が可能となる。また、前述したように過去フレームの出力画像により評価することで、ＲＡＷデータで評価するよりも高周波成分の検出をより高精度に行うことが可能となる。
【０１６８】
また、参照バンド選択部１０５は、画像を複数の領域に分割した部分領域毎に、参照バンドを選択してもよい。
【０１６９】
これにより、例えば部分領域毎に異なる参照バンドを使用することで、１つのシーン内で複数種類の色特性の偏った被写体が存在する場合でも、高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
【０１７０】
また、画像取得部１０１は、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、第１のカラーフィルタとは異なる位置に配置され、第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含むカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。そして、参照画像生成部１０３は、参照バンド選択部１０５により参照バンドが未選択の場合には、第１のカラーフィルタの画像データに対して補間処理を行うことにより、参照画像を生成してもよい。
【０１７１】
これにより、例えば、過去フレームの出力画像から参照バンドの情報が得られていない場合であっても、最もサンプル密度が高いバンドを参照バンドとして使用することで、他のバンドを参照バンドとして使用するよりも高精度な補間画像を生成すること等が可能となる。
【０１７２】
また、画像取得部１０１は、分光感度特性が異なる４バンド以上のカラーフィルタが配置されたカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。
【０１７３】
これにより、マルチバンド撮像素子を用いて補間画像を生成する場合においても、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成すること等が可能となる。
【０１７４】
なお、本実施形態の画像処理装置及び撮像装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置及び撮像装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１７５】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置、撮像装置及びプログラムの構成、動作も、第１の実施形態又は第２の実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１７６】
１００  デジタルプロセス回路、１０１  画像取得部、１０２  位置合わせ処理部、
１０３  参照画像生成部、１０４  補間画像生成部、１０５  参照バンド選択部、１０６  メモリ、
１０７  使用フレーム数決定部、１０８  フレーム相関判定部、１２０  撮像素子、
２０２  撮像レンズ系、２０３  レンズ駆動機構、２０４  レンズドライバ、
２０５  露出制御機構、２０６  露出制御ドライバ、２０７  撮像素子ドライバ、
２０８  プリプロセス回路、２０９  メモリカード、２１０  カードインタフェース、
２１１  画像表示系（ＬＣＤ）、２１２  操作スイッチ系、２１３  操作表示系、
２１４  不揮発性メモリ（ＥＥＰＲＯＭ）、２１５  システムコントローラ、
２１６  信号処理部
【図３】
2014146872.tif 000008
【図４】
2014146872.tif 000009
【図５】
2014146872.tif 000010
【図７】
2014146872.tif 000011
【図８】
2014146872.tif 000012
【図９】
2014146872.tif 000013
【図１１】
2014146872.tif 000014
【図１３】
2014146872.tif 000015
【図１４】
2014146872.tif 000016
【図１５】
2014146872.tif 000017
【図１６】
2014146872.tif 000018
【図１７】
2014146872.tif 000019
【図１】
2014146872.tif 000020
【図２】
2014146872.tif 000021
【図６】
2014146872.tif 000022
【図１０】
2014146872.tif 000023
【図１２】
2014146872.tif 000024