(57)【要約】【課題】インパルス応答の畳み込みによる信号劣化を補償するための信号処理の演算量を抑制することが可能な信号処理装置、信号処理方法、およびプログラムを提供する。【解決手段】データ信号からデータを間引く第１の処理部と、第２の処理部によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込む畳み込み部と、前記畳み込み部による畳み込み結果を補間する補間処理部と、を備える信号処理装置。【選択図】図８
2012142747.tif 000002
【特許請求の範囲】
【請求項１】
データ信号からデータを間引く第１の処理部と；
第２の処理部によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込む畳み込み部と；
前記畳み込み部による畳み込み結果を補間する補間処理部と；
を備える、信号処理装置。
【請求項２】
前記第１の処理部は、第１のフィルタ処理部によるフィルタリング後の前記データ信号からデータを間引き、
前記第２の処理部は、第２のフィルタ処理部によるフィルタリング後のインパルス応答からデータを間引き、
前記信号処理装置は、
前記補間処理部による補間結果をフィルタリングする第３のフィルタ処理部をさらに備える、請求項１に記載の信号処理装置。
【請求項３】
前記第２のフィルタ処理部は、前記第１のフィルタ処理部で用いられるフィルタ、および前記第３のフィルタ処理部で用いられるフィルタを用いてフィルタリングを行う、請求項２に記載の信号処理装置。
【請求項４】
前記信号処理装置は、
前記第３のフィルタ処理部によるフィルタリング結果を前記データ信号に加算する加算部をさらに備える、請求項１に記載の信号処理装置。
【請求項５】
前記データ信号は画像信号であり、
前記信号処理装置は、
前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、
前記補間部は、前記調整部による調整後の畳み込み結果を補間する、請求項４に記載の信号処理装置。
【請求項６】
前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整する、請求項５に記載の信号処理装置。
【請求項７】
前記調整部は、前記データ信号における前記領域のエッジ情報、前記畳み込み結果における前記領域のエッジ情報、または、前記第１の処理部による処理後のデータ信号における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整する、請求項６に記載の信号処理装置。
【請求項８】
前記データ信号は、撮像光学系により撮像されたベイヤー配列型の入力画像であり、
前記インパルス応答は前記撮像光学系の点像分布関数であり、
前記第２の処理部はＧ成分の点像分布関数からデータを間引き、
前記第１の処理部はＧ成分の入力画像からデータを間引き、
他の成分に対しては前記第１の処理部および前記第２の処理部によらない処理を行う、請求項７に記載の信号処理装置。
【請求項９】
データ信号から第１の処理部によりデータを間引くステップと；
第２の処理部によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込むステップと；
畳み込み結果を補間するステップと；
を含む、信号処理方法。
【請求項１０】
コンピュータを、
データ信号からデータを間引く第１の処理部と；
第２の処理部によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込む畳み込み部と；
前記畳み込み部による畳み込み結果を補間する補間処理部と；
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近日、ＣＣＤやＣＭＯＳなどの撮像素子を用い、撮像レンズにより撮像素子の受光面上に結像された被写体の光学像を撮像する撮像装置が普及している。このような撮像装置により得られる画像は、受光面上の受光画素数や撮像レンズの解像力に応じた解像度を有する。
【０００３】
このため、撮像装置により得られる画像の解像度を向上するためには、受光画素の数を増大させることや、撮像レンズの解像力を高めることが効果的である。例えば、受光面上の受光画素の密度を高くすると共に、撮像レンズを通して受光面上に投影される点像が１つの受光画素の範囲内に収まるように撮像レンズの解像力を高めることにより、撮像装置により得られる画像の解像度を向上することが可能である。
【０００４】
ここで、撮像素子を構成する受光画素の密度を高めることは近年の技術向上により比較的容易である。一方、撮像レンズの解像力を高めるためには、撮像レンズを構成する各レンズの形状誤差や組立誤差などを低減することが有効であるが、加工、組立および調整制度などの製作精度をさらに高めることの困難性は高い。
【０００５】
また、解像度を高める他のアプローチとして、特許文献１には、撮像装置の撮像により得られた画像を点像分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）に基づいて信号処理することにより解像度を高める方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１４１７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、ベイヤー配列型の撮像素子により得られた画像において、Ｇ成分の画素数はＲＢ成分の画素数の２倍である。このため、撮像素子により得られた画像を信号処理する際に、Ｇ成分に関する演算量が他の成分よりも多くなるという問題がある。また、Ｇ成分に限らず、昨今の画素数の増加により、画像の信号処理のための演算負荷の増大が懸念される。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、インパルス応答の畳み込みによる信号劣化を補償するための信号処理の演算量を抑制することが可能な、新規かつ改良された信号処理装置、信号処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、データ信号からデータを間引く第１の処理部と、第２の処理部によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込む畳み込み部と、前記畳み込み部による畳み込み結果を補間する補間処理部と、を備える信号処理装置が提供される。
【００１０】
前記第１の処理部は、第１のフィルタ処理部によるフィルタリング後の前記データ信号からデータを間引き、前記第２の処理部は、第２のフィルタ処理部によるフィルタリング後のインパルス応答からデータを間引き、前記信号処理装置は、前記補間処理部による補間結果をフィルタリングする第３のフィルタ処理部をさらに備えてもよい。
【００１１】
前記第２のフィルタ処理部は、前記第１のフィルタ処理部で用いられるフィルタ、および前記第３のフィルタ処理部で用いられるフィルタを用いてフィルタリングを行なってもよい。
【００１２】
前記信号処理装置は、前記第３のフィルタ処理部によるフィルタリング結果を前記データ信号に加算する加算部をさらに備えてもよい。
【００１３】
前記データ信号は画像信号であり、前記信号処理装置は、前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、前記補間部は、前記調整部による調整後の畳み込み結果を補間してもよい。
【００１４】
前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整してもよい。
【００１５】
前記調整部は、前記データ信号における前記領域のエッジ情報、前記畳み込み結果における前記領域のエッジ情報、または、前記第１の処理部による処理後のデータ信号における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整してもよい。
【００１６】
前記データ信号は、撮像光学系により撮像されたベイヤー配列型の入力画像であり、前記インパルス応答は前記撮像光学系の点像分布関数であり、前記第２の処理部はＧ成分の点像分布関数からデータを間引き、前記第１の処理部はＧ成分の入力画像からデータを間引き、他の成分に対しては前記第１の処理部および前記第２の処理部によらない処理を行ってもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、データ信号から第１の処理部によりデータを間引くステップと、第２の処理部によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込むステップと、畳み込み結果を補間するステップと、を含む信号処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、データ信号からデータを間引く第１の処理部と、第２の処理部によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込む畳み込み部と、前記畳み込み部による畳み込み結果を補間する補間処理部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、画像解像度を高めるための信号処理の演算量を抑制することが可能である。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態による画像処理装置の構成を示した説明図である。
【図２】ベイヤー配列型のＣＭＯＳ撮像素子の受光面における画素配列を示した説明図である。
【図３】ベイヤー配列画像の周波数帯域の概念を示した説明図である。
【図４】比較例による信号処理部の構成を示した機能ブロック図である。
【図５】比較例による信号処理部の動作を示したフローチャートである。
【図６】比較例による信号処理部において設計される逆フィルタの２次元周波数応答のＹ軸断面を示した説明図である。
【図７】比較例による信号処理部によって復元された画像の２次元周波数応答のＹ軸の断面を示した説明図である。
【図８】本発明の第１の実施形態による信号処理部の構成を示した機能ブロック図である。
【図９】フィルタ処理部および縮小処理部による処理例を示した説明図である。
【図１０】フィルタ処理部および縮小処理部による処理例を示した説明図である。
【図１１】拡大処理部およびフィルタ処理部による処理例を示した説明図である。
【図１２】拡大処理部およびフィルタ処理部による処理例を示した説明図である。
【図１３】本発明の第１の実施形態による動作を示したフローチャートである。
【図１４】本発明の第２の実施形態による信号処理部の構成を示した機能ブロック図である。
【図１５】エッジ情報の算出に利用する画素位置を示した説明図である。
【図１６】エッジ情報とゲインの関係を示した説明図である。
【図１７】本発明の第２の実施形態による動作を示したフローチャートである。
【図１８】入力画像の２次元周波数応答のＹ軸断面を示した説明図である。
【図１９】図１８に示した入力画像の復元結果の２次元周波数応答のＹ軸の断面を示した説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２３】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像処理装置の基本構成
２．比較例による画像処理
３．本発明の第１の実施形態
３−１．第１の実施形態による信号処理部の構成
３−２．第１の実施形態による動作
４．本発明の第２の実施形態
４−１．第２の実施形態による信号処理部の構成
４−２．第２の実施形態による動作
５．まとめ
【００２４】
＜１．画像処理装置の基本構成＞
本発明は、一例として「３．第１の実施形態」および「４．第２の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置（信号処理装置）は、
Ａ．データ信号からデータを間引く第１の処理部（２３０Ａ）と、
Ｂ．第２の処理部（２３０Ｂ）によりデータが間引かれたインパルス応答による信号劣化を補償する補償フィルタを前記第１の処理部による処理後のデータ信号に畳み込む畳み込み部（２５０）と；
前記畳み込み部による畳み込み結果を補間する補間処理部（２６０）と、
を備える。
【００２５】
以下では、まず、このような各実施形態において共通する基本構成について図１〜図３を参照して説明する。
【００２６】
図１は、本発明の実施形態による画像処理装置１の構成を示した説明図である。図１に示したように、本発明の実施形態による画像処理装置１は、撮像光学系１０と、アイリス２と、ＣＭＯＳ撮像素子１４と、Ｓ／Ｈ＿ＡＧＣ１６と、Ａ／Ｄ変換部１８と、ＡＥ検波ブロック２４と、マイクロコンピュータ２６と、アイリスドライバ２８と、を備える。なお、本発明の実施形態による画像処理装置１は、撮像装置、携帯機器、車載機器および医療機器などの多様な機器に適用可能である。
【００２７】
撮像光学系１０は、複数の撮像レンズからなり、アイリス１２を介して被写体の光学像をＣＭＯＳ撮像素子１４の受光面に結像させる。
【００２８】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子１４は、受光面に結像された被写体の光学像を電気信号に変換する。なお、ＣＭＯＳ撮像素子１４は撮像素子の一例に過ぎず、画像処理装置１は、ＣＭＯＳ撮像素子１４に代えて例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像素子を備えてもよい。
【００２９】
Ｓ／Ｈ＿ＡＧＣ１６は、ＣＭＯＳ撮像素子１４からの出力に対してサンプルホールド（Ｓ／Ｈ）およびＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）を施し、Ａ／Ｄ変換部１８は、Ｓ／Ｈ＿ＡＧＣ１６からの出力をデジタル形式に変換する。Ａ／Ｄ変換部１８からのデジタル信号は、信号処理部２０およびＡＥ検波ブロック２４に供給される。
【００３０】
信号処理部２０は、Ａ／Ｄ変換部１８からのデジタル出力に対して各種の信号処理を施し、出力端子２２を介して後段回路に処理後の信号を出力する。例えば、信号処理部２０は、詳細については各実施形態として後述するように、デジタル出力として入力される入力画像の解像度を向上させるための信号処理を行う。
【００３１】
ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）検波ブロック２４は、Ａ／Ｄ変換部１８から入力されるデジタル信号を検波する。マイクロコンピュータ２６は、ＡＥ検波ブロック２４から供給される検波値に基づき、アイリス１２の開度を制御するための制御信号をアイリスドライバ２８に供給する。アイリスドライバ２８は、マイクロコンピュータ２６から供給される制御信号に従ってアイリス１２を駆動する。
【００３２】
（ベイヤー配列）
上述したＣＭＯＳ撮像素子１４は、ベイヤー配列に従って画素が配列されている。以下、図２を参照してベイヤー配列について説明する。
【００３３】
図２は、ベイヤー配列型のＣＭＯＳ撮像素子１４の受光面における画素配列を示した説明図である。図２に示したように、ベイヤー配列においては、水平方向に沿った第１ライン（最上段のライン）にはＢ成分を検知する画素とＧ成分を検知する画素が交互に配置され、第２ラインにはＧ成分を検知する画素とＲ成分を検知する画素とが交互に配置される。以下、垂直方向Ｖには同様の画素配列を有する複数のラインが配置され、各画素において光電変換が行われることにより、ＣＭＯＳ撮像素子１４からカラー画像が出力される。
【００３４】
図３は、ベイヤー配列を有する画像の周波数帯域の概念を示した説明図である。図３に示したように、ベイヤー配列を有する画像は、サンプリングの観点から、Ｇ成分の帯域がＲ、Ｂ成分の帯域の２倍に相当する。
【００３５】
＜２．比較例による画像復元処理＞
以上、本発明の実施形態による画像処理装置の基本構成を説明した。続いて、図４〜図７を参照し、比較例による画像復元処理を説明する。
【００３６】
図４は、比較例による信号処理部８０の構成を示した機能ブロック図である。図４に示したように、比較例による信号処理部８０は、ＰＳＦテーブル８２と、逆フィルタ設計部８４と、畳み込み部８６と、加算部８８と、を有する。
【００３７】
ＰＳＦテーブル８２は、ＲＧＢ成分ごと、および画素ごとに定義される点像分布関数Ｐ（ｚ）を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開２００９−１４１７４２号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。
【００３８】
逆フィルタ設計部８４は、ＲＧＢ成分ごと、および画素ごとに、点像分布関数Ｐ（ｚ）に対する逆フィルタＫ（ｚ）を設計する。例えば、逆フィルタ設計部８４は、特開２００９−１４１７４２号公報に記載の方法や、ウィナーフィルタに基づき入力画像との平均二乗誤差を最小とする方法により逆フィルタＫ（ｚ）を設計する。
【００３９】
具体的には、逆フィルタ設計部８４は、以下の数式１に従って逆フィルタの周波数応答Ｋ（ｗ）を算出し、逆フィルタの周波数応答Ｋ（ω）を逆フーリエ変換することにより逆フィルタＫ（ｗ）を設計することができる。なお、数式１においてＰ（ｗ）はＰＳＦの周波数応答を示し、Ｎ（ｗ）はノイズ成分の周波数応答を示す。
【００４０】
【数１】
2012142747.tif 000003
【００４１】
畳み込み部８６は、ベイヤー配列の入力画像Ｘ（ｚ）のＲ成分、Ｇ成分、Ｂ成分の各々に対し、逆フィルタ設計部８４により算出されたＲ成分向けの逆フィルタＫｒ（ｚ）、Ｇ成分向けの逆フィルタＫｇ（ｚ）、およびＢ成分向けの逆フィルタＫｂ（ｚ）の各々を畳み込む。このような畳み込み部８６による演算を以下の数式２に示す。なお、数式２においてＸｒ（ｚ）は入力画像のＲ成分を示し、Ｘｇ（ｚ）は入力画像のＧ成分を示し、Ｘｂ（ｚ）は入力画像のＢ成分を示す。
【００４２】
【数２】
2012142747.tif 000004
【００４３】
加算部８８は、数式３に示すように畳み込み部８６により得られた畳み込み結果Ｙ（ｚ）をＲＧＢ成分ごとに入力画像に加算する。なお、数式３においてＯｒ（ｚ）は出力画像のＲ成分を示し、Ｏｇ（ｚ）は出力画像のＧ成分を示し、Ｏｂ（ｚ）は出力画像のＢ成分を示す。
【００４４】
【数３】
2012142747.tif 000005
【００４５】
以上、比較例による信号処理部８０の構成を説明した。続いて、図５を参照し、比較例による信号処理部８０の動作を説明する。
【００４６】
‐ステップＳ９４
まず、図５に示したように、逆フィルタ設計部８４が、ＲＧＢ成分ごと、および画素ごとに、例えば数式１に示したように点像分布関数Ｐ（ｚ）に対する逆フィルタＫ（ｚ）を設計する。
【００４７】
‐ステップＳ９６
その後、畳み込み部８６は、ベイヤー配列の入力画像Ｘ（ｚ）のＲ成分、Ｇ成分、Ｂ成分の各々に対し、逆フィルタ設計部８４により算出されたＲ成分向けの逆フィルタＫｒ（ｚ）、Ｇ成分向けの逆フィルタＫｇ（ｚ）、およびＢ成分向けの逆フィルタＫｂ（ｚ）の各々を畳み込む（Ｓ９６）。
【００４８】
‐ステップＳ９８
そして、加算部８８は、畳み込み部８６により得られた畳み込み結果Ｙ（ｚ）を例えば数式３に示したようにＲＧＢ成分ごとに入力画像に加算し、出力画像Ｏ（ｚ）を出力する。
【００４９】
図６は、このような比較例による信号処理部８０において設計される逆フィルタの２次元周波数応答のＹ軸断面を示した説明図である。図７は、比較例による信号処理部８０によって復元された画像の２次元周波数応答のＹ軸の断面を示した説明図である。なお、図面においてはＲ成分を実線で示し、Ｂ成分を破線で示し、Ｇ成分を細線で示す。
【００５０】
（本発明の実施形態に至る経緯）
図６に示したように、比較例によるＧ成分およびＢ成分の逆フィルタでは、ナイキスト周波数を１としたときの０．５以上の周波数も１０ｄＢ以上持ち上げられる。しかし、撮像レンズを通過した高域の周波数成分のほとんどは、画像成分でなくノイズ成分である。このため、比較例による復元方法では、画像の解像度だけでなく、ノイズ成分も増幅してしまうという問題が生じる。
【００５１】
また、図２に示したベイヤー配列型の画像に対して比較例による復元方法を適用すると、Ｇ成分がＲＢ成分に対して２倍の帯域を有するので、色つきが生じる。具体的には、図７に示したように、Ｇ成分とＢ成分は高域まで復元されるが、Ｒ成分は０．４程度の周波数から急激に減少しているので、この復元結果の画像では赤色の色つきが生じる。
【００５２】
さらに、ベイヤー配列型の撮像素子により得られた画像において、Ｇ成分の画素数はＲＢ成分の画素数の２倍である。このため、逆フィルタの設計や畳み込みなどの信号処理に際し、Ｇ成分に関する演算量が他の成分よりも多くなるという問題がある。また、Ｇ成分に限らず、昨今の画素数の増加により、画像の信号処理のための演算負荷の増大が懸念される。
【００５３】
本発明の実施形態は、上記事情を一着眼点にしてなされたものであり、本発明の実施形態によれば、撮像素子の受光面に投影される光学像を撮像して画像を取得し、当該画像の品質を演算量の観点から効率的に向上させることが可能である。以下、このような本発明の各実施形態について詳細に説明する。
【００５４】
＜３．本発明の第１の実施形態＞
［３−１．第１の実施形態による信号処理部の構成］
図８は、本発明の第１の実施形態による信号処理部２０−１の構成を示した機能ブロック図である。図１０に示したように、第１の実施形態による信号処理部２０−１は、ＰＳＦテーブル２１０と、フィルタ処理部２２０Ａ、２２０Ｂおよび２２０Ｃと、縮小処理部２３０Ａおよび２３０Ｂと、逆フィルタ設計部２４０と、畳み込み部２５０と、拡大処理部２６０と、を有する。
【００５５】
なお、以下ではＧ成分に関して縮小および拡大などを含む本実施形態による処理を行い、ＲＢ成分に関しては縮小および拡大を含まない例えば比較例に準ずる処理を行う例を説明するが、ＲＧＢの各成分に対して縮小および拡大などを含む本実施形態による処理を行ってもよい。
【００５６】
ＰＳＦテーブル２１０は、ＲＧＢ成分ごと、および画素ごとに定義される点像分布関数Ｐ（ｚ）を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開２００９−１４１７４２号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。
【００５７】
フィルタ処理部２２０Ａ（第２のフィルタ処理部）は、ベイヤー配列の入力画像Ｘ（ｚ）のＧ成分に対してエイリアジング成分を抑制するために、ローパスフィルタを用いて入力画像Ｘ（ｚ）のＧ成分のフィルタリングを行う。ローパスフィルタのフィルタ特性をＬａ（ｚ）とすると、フィルタ処理部２２０Ａによるフィルタリングは数式４のように表現される。
【００５８】
【数４】
2012142747.tif 000006
【００５９】
縮小処理部２３０Ａは、フィルタ処理部２２０Ａによるフィルタリング後の低域の入力画像Ｘａ（ｚ）からデータを間引くことにより、入力画像Ｘａ（ｚ）を水平方向および垂直方向の各々に関して例えば１／２に縮小する。以下、図９および図１０を参照し、このようなフィルタ処理部２２０Ａおよび縮小処理部２３０Ａによる処理例を具体的に説明する。
【００６０】
図９および図１０は、フィルタ処理部２２０Ａおよび縮小処理部２３０Ａによる処理例を示した説明図である。フィルタ処理部２２０Ａおよび縮小処理部２３０Ａは、水平方向および垂直方向の各々のＧ成分を順次に処理する。例えば、図９の上段に示したようにＧ成分の画素がベイヤー配列に従って分布していた場合を考える。この場合、フィルタ処理部２２０Ａは、まず、水平方向に沿った例えば（１，３，３，３，１）のようなローパスフィルタを用いて入力画像のＧ成分（Ｇ１，１〜Ｇｍ，ｎ）をフィルタリングする。
【００６１】
フィルタ処理部２２０Ａにより図９の中段に示したフィルタリング結果（ｇ１，１〜ｇｍ，ｎ）が得られると、縮小処理部２３０Ａは、フィルタリング結果（ｇ１，１〜ｇｍ，ｎ）の各行からデータを間引く。これにより、図９の下段に示したように、水平方向幅が１／２に縮小された入力画像が得られる。
【００６２】
フィルタ処理部２２０Ａおよび縮小処理部２３０Ａは、この水平方向幅が１／２に縮小された入力画像の垂直方向に対しても同様の処理を行う。例えば、フィルタ処理部２２０Ａは、垂直方向に沿った例えば（１，３，３，３，１）のようなローパスフィルタを用い、水平方向幅が１／２に縮小された入力画像のＧ成分（ｇ１，n-１〜ｇｍ，ｎ-1）をフィルタリングする。
【００６３】
フィルタ処理部２２０Ａにより図１０の中段に示したフィルタリング結果（ｇ’１，n-１〜ｇ’ｍ，ｎ-1）が得られると、縮小処理部２３０Ａは、フィルタリング結果（ｇ’１，n-１〜ｇ’ｍ，ｎ-1）の各列からデータを間引く。これにより、図１０の下段に示したように、水平方向幅および垂直方向幅が１／２に縮小された入力画像が得られる。
【００６４】
フィルタ処理部２２０Ｂ（第１のフィルタ処理部）は、数式５に示すように、点像分布関数Ｐ（ｚ）を、フィルタ処理部２２０Ａにおいて用いられるローパスフィルタＬａ（ｚ）、およびフィルタ処理部２２０Ｃにおいて用いられるローパスフィルタＬｂ（ｚ）を用いてフィルタリングする。これにより、帯域制限された点像分布関数Ｐａ（ｚ）が得られる。
【００６５】
【数５】
2012142747.tif 000007
【００６６】
縮小処理部２３０Ｂは、フィルタ処理部２２０Ｂにより得られた点像分布関数Ｐａ（ｚ）からデータを間引くことにより、点像分布関数Ｐａ（ｚ）を水平方向および垂直方向の各々に関して例えば１／２に縮小する。なお、フィルタ処理部２２０Ｂおよび縮小処理部２３０Ｂは、入力画像に関して図９および図１０を参照して説明したように、水平方向および垂直方向の各々のＧ成分を順次に処理することにより点像分布関数Ｐａ（ｚ）を取得してもよい。
【００６７】
逆フィルタ設計部２４０は、縮小処理部２３０Ｂにより縮小された点像分布関数Ｐａ（ｚ）の逆特性を有する逆フィルタを設計する。具体的には、逆フィルタ設計部２３０は、以下の数式６に従って逆フィルタの周波数応答Ｋａ（ｗ）を算出し、逆フィルタの周波数応答Ｋａ（ω）を逆フーリエ変換することにより逆フィルタＫａ（ｚ）を設計することができる。なお、数式６においてＰａ（ｗ）は縮小処理後の点像分布関数の周波数応答を示し、Ｐ＊ａ（ｗ）はＰａ（ｗ）の複素共役を示し、Ｎ（ｗ）はノイズ成分の周波数応答を示す。また、逆フィルタは、厳密に点像分布関数Ｐａ（ｚ）の逆特性である必要はなく、点像分布関数Ｐａ（ｚ）による信号劣化の少なくとも一部を補償する補償フィルタであればよい。
【００６８】
【数６】
2012142747.tif 000008
【００６９】
畳み込み部２５０は、数式７に示すように、縮小処理部２３０Ａによる縮小処理後の入力画像Ｘａｇ（ｚ）に対して、逆フィルタ設計部２４０によりＧ成分向けに設計された逆フィルタＫａｇ（ｚ）を畳み込む。
【００７０】
【数７】
2012142747.tif 000009
【００７１】
拡大処理部２６０は、畳み込み部２５０による畳み込み結果の水平方向および垂直方向にデータを挿入（例えば、０を補間）することにより、畳み込み結果を入力画像と同じ大きさの画像Ｔ（ｚ）に拡大する。
【００７２】
フィルタ処理部２２０Ｃ（第３のフィルタ処理部）は、数式８に示すように、拡大処理部２６０による拡大後の画像Ｔ（ｚ）を、イメージング成分を抑制するためにローパスフィルタＬｂ（ｚ）を用いてフィルタリングする。これにより、Ｇ成分に関する出力画像Ｏｇ（ｚ）が得られる。
【００７３】
【数８】
2012142747.tif 000010
【００７４】
ここで、図１１および図１２を参照し、拡大処理部２６０およびフィルタ処理部２２０Ｃによる処理例を具体的に説明する。
【００７５】
図１１および図１２は、拡大処理部２６０およびフィルタ処理部２２０Ｃによる処理例を示した説明図である。拡大処理部２６０およびフィルタ処理部２２０Ｃは、水平方向および垂直方向の各々のＧ成分を順次に処理する。例えば、畳み込み部２５０により図１１の上段に示した畳み込み結果（Ｇ１，１〜Ｇｍ−１，ｎ−１）が得られた場合、まず、拡大処理部２６０が畳み込み結果の各行に０を挿入する。これにより、水平方向幅が入力画像と同一である画像が得られる。
【００７６】
拡大処理部２６０により図１１の中段に示した拡大結果が得られると、フィルタ処理部２２０Ｃは、水平方向に沿った例えば（１，３，３，３，１）のようなローパスフィルタを用いて拡大結果をフィルタリングする。
【００７７】
拡大処理部２６０およびフィルタ処理部２２０Ｃは、水平方向幅が入力画像と同一であり、垂直方向幅が入力画像の半分である図１１の下段に示した画像に対しても同様の処理を行う。例えば、拡大処理部２６０は、図１２の中段に示したように、画像の各列に０を挿入する。これにより、水平方向幅および垂直方向幅が入力画像と同一である画像が得られる。
【００７８】
フィルタ処理部２２０Ｃは、この画像を、垂直方向に沿った例えば（１，３，３，３，１）のようなローパスフィルタを用いてフィルタリングする。その結果、図１２の下段に示したようにＧ’１，１〜Ｇ’ｍ，ｎが得られる。このうち、図１２の下段において色を付して示したベイヤー配列に従ったＧ成分値がＧ成分の出力画像として出力される。
【００７９】
［３−２．第１の実施形態による動作］
以上、本発明の第１の実施形態による信号処理部２０−１の構成を説明した。続いて、図１３を参照し、本発明の第１の実施形態による動作を説明する。
【００８０】
図１３は、本発明の第１の実施形態による動作を示したフローチャートである。図１３に示したように、まず、フィルタ処理部２２０Ｂが、点像分布関数Ｐ（ｚ）を、フィルタ処理部２２０Ａにおいて用いられるローパスフィルタＬａ（ｚ）、およびフィルタ処理部２２０Ｃにおいて用いられるローパスフィルタＬｂ（ｚ）を用いてフィルタリングする（Ｓ３００）。
【００８１】
そして、縮小処理部２３０Ｂが、フィルタ処理部２２０Ｂにより得られた点像分布関数Ｐａ（ｚ）からデータを間引くことにより、点像分布関数Ｐａ（ｚ）を水平方向および垂直方向の各々に関して例えば１／２に縮小する（Ｓ３１０）。さらに、逆フィルタ設計部２４０が、縮小処理部２３０Ｂにより縮小された点像分布関数Ｐａ（ｚ）の逆特性を有する逆フィルタＫａ（ｚ）を設計する（Ｓ３２０）。
【００８２】
一方、フィルタ処理部２２０Ａは、ベイヤー配列の入力画像Ｘ（ｚ）のＧ成分に対してエイリアジング成分を抑制するために、ローパスフィルタを用いて入力画像Ｘ（ｚ）のＧ成分のフィルタリングを行う（Ｓ３３０）。縮小処理部２３０Ａは、フィルタ処理部２２０Ａによるフィルタリング後の低域の入力画像Ｘａ（ｚ）からデータを間引くことにより、入力画像Ｘａ（ｚ）を水平方向および垂直方向の各々に関して例えば１／２に縮小する（Ｓ３４０）。
【００８３】
続いて、畳み込み部２５０は、縮小処理部２３０Ａによる縮小処理後の入力画像Ｘａｇ（ｚ）に対して、逆フィルタ設計部２４０によりＧ成分向けに設計された逆フィルタＫａｇ（ｚ）を畳み込む（Ｓ３５０）。
【００８４】
その後、拡大処理部２６０は、畳み込み部２５０による畳み込み結果の水平方向および垂直方向にデータを挿入（例えば、０を補間）することにより、畳み込み結果を入力画像と同じ大きさの画像Ｔ（ｚ）に拡大する（Ｓ３６０）。さらに、フィルタ処理部２２０Ｃが、拡大処理部２６０による拡大後の画像Ｔ（ｚ）を、イメージング成分を抑制するためにローパスフィルタＬｂ（ｚ）を用いてフィルタリングする（Ｓ３７０）。これにより、Ｇ成分に関する出力画像Ｏｇ（ｚ）が得られる。
【００８５】
以上説明したように、本発明の第１の実施形態によれば、縮小処理部２３０Ａにより縮小された入力画像に対して畳み込みが行われるので、畳み込み部２５０における演算負荷を抑制することが可能である。なお、上記では水平方向幅および垂直方向幅の各々を１／２に縮小する例を説明したが、本実施形態はかかる例に限定されない。例えば、水平方向幅または垂直方向幅のいずれかのみを縮小してもよいし、水平方向幅および垂直方向幅を異なる割合で縮小してもよいし、縮小幅を１／２よりもさらに小さくしてもよい。
【００８６】
＜４．本発明の第２の実施形態＞
以上、本発明の第１の実施形態を説明した。続いて、図１４〜図１９を参照し、本発明の第２の実施形態を説明する。
【００８７】
［４−１．第２の実施形態による信号処理部の構成］
図１４は、本発明の第２の実施形態による信号処理部２０−２の構成を示した機能ブロック図である。図１４に示したように、第２の実施形態による信号処理部２０−２は、ＰＳＦテーブル２１０と、フィルタ処理部２２０Ａ、２２０Ｂおよび２２０Ｃと、縮小処理部２３０Ａおよび２３０Ｂと、逆フィルタ設計部２４０’と、畳み込み部２５０と、拡大処理部２６０と、調整部２７０と、加算部２８０と、を有する。
【００８８】
なお、ＰＳＦテーブル２１０、フィルタ処理部２２０Ａおよび２２０Ｂ、縮小処理部２３０Ａおよび２３０Ｂについては、第１の実施形態で説明したので、詳細な説明を省略する。
【００８９】
逆フィルタ設計部２４０’は、縮小処理部２３０Ｂにより縮小された点像分布関数Ｐａ（ｚ）の逆特性を有する逆フィルタを設計する。具体的には、逆フィルタ設計部２４０’は、以下の数式９に従って逆フィルタの周波数応答Ｋａ（ｗ）を算出し、逆フィルタの周波数応答Ｋａ（ω）を逆フーリエ変換することにより逆フィルタＫａ（ｚ）を設計することができる。なお、数式９においてＰａ（ｗ）は縮小処理後の点像分布関数の周波数応答を示し、Ｐ＊ａ（ｗ）はＰａ（ｗ）の複素共役を示し、Ｎ（ｗ）はノイズ成分の周波数応答を示す。
【００９０】
【数９】
2012142747.tif 000011
【００９１】
畳み込み部２５０は、数式１０に示すように、縮小処理部２３０Ａによる縮小処理後の入力画像Ｘａｇ（ｚ）に対して、逆フィルタ設計部２４０によりＧ成分向けに設計された逆フィルタＫａｇ（ｚ）を畳み込む。
【００９２】
【数１０】
2012142747.tif 000012
【００９３】
調整部２７０は、畳み込み部２５０によるある対象画素の畳み込み結果Ｙａ（ｚ）を、対象画素付近のエッジ情報に基づいて調整する。具体的には、調整部２７０は、まず数式１１に示す対象画素付近のエッジ情報Ｄｉｆｆを算出する。数式１１における画素Ａ、Ｂ、Ｃ、およびＤの対象画素Ｐに対する位置は図１５に示した通りである。
【００９４】
【数１１】
2012142747.tif 000013
【００９５】
なお、調整部２５０は、入力画像における対象画素付近のエッジ情報Ｄｉｆｆを算出してもよいし、畳み込み部２５０による畳み込み結果における対象画素付近のエッジ情報Ｄｉｆｆを算出してもよいし、縮小処理部２３０Ａによる縮小処理後の入力画像における対象画素付近のエッジ情報Ｄｉｆｆを算出してもよい。
【００９６】
そして、調整部２７０は、エッジ情報Ｄｉｆｆに応じてゲインＧを算出する。例えば、調整部２７０は、エッジ情報ＤｉｆｆとゲインＧの図１６に示した関係に従ってゲインＧを算出してもよい。図１６に示した関係によれば、エッジ情報Ｄｉｆｆが閾値以下である場合はゲインＧとして１．００を算出され、エッジ情報Ｄｉｆｆが閾値以上になるとゲインＧが段階的に減少する。
【００９７】
さらに、調整部２７０は、数式１２に示すように、畳み込み部２５０による畳み込み結果Ｙａ（ｚ）を、算出したゲインＧに従って調整する。
【００９８】
【数１２】
2012142747.tif 000014
【００９９】
拡大処理部２６０は、調整部２７０による調整後の畳み込み結果の水平方向および垂直方向にデータを挿入（例えば、０を補間）することにより、畳み込み結果を入力画像と同じ大きさの画像Ｔ（ｚ）に拡大する。
【０１００】
フィルタ処理部２２０Ｃは、数式１３に示すように、拡大処理部２６０による拡大後の画像Ｔ（ｚ）を、イメージング成分を抑制するためにローパスフィルタＬｂ（ｚ）を用いてフィルタリングする。これにより、Ｇ成分に関する加算用画像Ｚｂ（ｚ）が得られる。
【０１０１】
【数１３】
2012142747.tif 000015
【０１０２】
加算部２８０は、数式１４に示すように、フィルタ処理部２２０Ｃによるフィルタリング結果である加算用画像Ｚｂ（ｚ）を入力画像Ｘ（ｚ）に加算する。これにより、Ｇ成分に関する出力画像Ｏｇ（ｚ）が得られる。
【０１０３】
【数１４】
2012142747.tif 000016
【０１０４】
［４−２．第２の実施形態による動作］
以上、本発明の第２の実施形態による信号処理部２０−２の構成を説明した。続いて、図１７を参照し、本発明の第２の実施形態による動作を説明する。
【０１０５】
図１７は、本発明の第２の実施形態による動作を示したフローチャートである。図１６に示したように、フィルタ処理部２２０Ｂが、点像分布関数Ｐ（ｚ）を、フィルタ処理部２２０Ａにおいて用いられるローパスフィルタＬａ（ｚ）、およびフィルタ処理部２２０Ｃにおいて用いられるローパスフィルタＬｂ（ｚ）を用いてフィルタリングする（Ｓ３００）。
【０１０６】
そして、縮小処理部２３０Ｂが、フィルタ処理部２２０Ｂにより得られた点像分布関数Ｐａ（ｚ）からデータを間引くことにより、点像分布関数Ｐａ（ｚ）を水平方向および垂直方向の各々に関して例えば１／２に縮小する（Ｓ３１０）。さらに、逆フィルタ設計部２４０が、縮小処理部２３０Ｂにより縮小された点像分布関数Ｐａ（ｚ）の逆特性を有する逆フィルタＫａ（ｚ）を設計する（Ｓ３２０）。
【０１０７】
一方、フィルタ処理部２２０Ａは、ベイヤー配列の入力画像Ｘ（ｚ）のＧ成分に対してエイリアジング成分を抑制するために、ローパスフィルタを用いて入力画像Ｘ（ｚ）のＧ成分のフィルタリングを行う（Ｓ３３０）。縮小処理部２３０Ａは、フィルタ処理部２２０Ａによるフィルタリング後の低域の入力画像Ｘａ（ｚ）からデータを間引くことにより、入力画像Ｘａ（ｚ）を水平方向および垂直方向の各々に関して例えば１／２に縮小する（Ｓ３４０）。
【０１０８】
続いて、畳み込み部２５０は、縮小処理部２３０Ａによる縮小処理後の入力画像Ｘａｇ（ｚ）に対して、逆フィルタ設計部２４０によりＧ成分向けに設計された逆フィルタＫａｇ（ｚ）を畳み込む（Ｓ３５０）。
【０１０９】
そして、調整部２７０は、畳み込み部２５０によるある対象画素の畳み込み結果Ｙａ（ｚ）を、対象画素付近のエッジ情報に基づいて調整する（Ｓ３６０）。その後、拡大処理部２６０は、調整部２７０による調整後の畳み込み結果の水平方向および垂直方向にデータを挿入（例えば、０を補間）することにより、畳み込み結果を入力画像と同じ大きさの画像Ｔ（ｚ）に拡大する（Ｓ３７０）。
【０１１０】
さらに、フィルタ処理部２２０Ｃが、拡大処理部２６０による拡大後の画像Ｔ（ｚ）を、イメージング成分を抑制するためにローパスフィルタＬｂ（ｚ）を用いてフィルタリングする（Ｓ３８０）。その後、加算部２８０が、フィルタ処理部２２０Ｃによるフィルタリング結果である加算用画像Ｚｂ（ｚ）を入力画像Ｘ（ｚ）に加算する。これにより、Ｇ成分に関する出力画像Ｏｇ（ｚ）が得られる。
【０１１１】
ここで、図１８および図１９を参照し、本発明の第２の実施形態による効果を説明する。
【０１１２】
図１９は、図１８に示した入力画像の復元結果の２次元周波数応答のＹ軸の断面を示した説明図である。図１９に示したように、本発明の第２の実施形態によれば、０．４程度までの低域を十分に復元することが可能である。また、本発明の第２の実施形態によれば、図１９に示したように、各色とも０．４程度から落ちているので色つきの問題は解消され、かつ、高域は−１０ｄＢ以上落とされるので高域のノイズ成分は増幅されない。また、調整部２７０によるエッジ情報に基づく調整により、白黒のエッジ部分に起きる画素が黒色に沈む現象も改善することが可能である。
【０１１３】
＜５．まとめ＞
以上説明したように、本発明の実施形態によれば、縮小処理部２３０Ａにより縮小された入力画像に対して畳み込みが行われるので、畳み込み部２５０における演算負荷を抑制することが可能である。また、本発明の実施形態によれば、高域のノイズ成分の増幅を回避しつつ、０．４程度までの低域を十分に復元することが可能である。
【０１１４】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１１５】
例えば、上記では点像分布関数が畳み込まれた入力画像を補償する画像処理装置を説明したが、本発明はかかる例に限定されない。点像分布関数はインパルス応答の一例に過ぎず、入力画像はデータ信号の一例に過ぎず、画像処理装置はインパルス応答が畳み込まれたデータ信号を補償する信号処理装置の一例に過ぎない。本発明は、インパルス応答が畳み込まれたデータ信号を補償する信号処理装置全般に適用可能である。
【０１１６】
また、本明細書の信号処理部２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、信号処理部２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１７】
また、画像処理装置１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した信号処理部２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１１８】
１      画像処理装置
１０    撮像光学系
２０    信号処理部
２１０  ＰＳＦテーブル
２２０  フィルタ処理部
２３０  縮小処理部
２４０、２４０’  逆フィルタ設計部
２５０  畳み込み部
２６０  拡大処理部
２７０  調整部
２８０  加算部
【図１】
2012142747.tif 000017
【図２】
2012142747.tif 000018
【図３】
2012142747.tif 000019
【図４】
2012142747.tif 000020
【図５】
2012142747.tif 000021
【図６】
2012142747.tif 000022
【図７】
2012142747.tif 000023
【図８】
2012142747.tif 000024
【図９】
2012142747.tif 000025
【図１０】
2012142747.tif 000026
【図１１】
2012142747.tif 000027
【図１２】
2012142747.tif 000028
【図１３】
2012142747.tif 000029
【図１４】
2012142747.tif 000030
【図１５】
2012142747.tif 000031
【図１６】
2012142747.tif 000032
【図１７】
2012142747.tif 000033
【図１８】
2012142747.tif 000034
【図１９】
2012142747.tif 000035