(57)【要約】【課題】  画像の合焦部で発生する軸上色収差の補正を行うとともに、画像の非合焦部で発生する軸上色収差の補正も行うことができるようにすること。【解決手段】  軸上色収差を補正する画像処理装置であって、入力した画像信号を、基準となる第１の光周波数帯域の第１の画像信号と、前記第１の光周波数帯域以外の第２の光周波数帯域の第２の画像信号とを少なくとも含む複数の異なる光周波数帯域の画像信号に分離する同時化処理回路（６００）と、前記第２の画像信号に対して、独立成分分析を行う独立成分分析回路（６１４、６１８）と、前記独立成分分析回路による前記第２の画像信号の独立成分分析の結果と、前記第１の画像信号とを合成するＹＣＭＴＸ回路（６１９）とを有する。【選択図】  図２
2010050572.tif 000002
【特許請求の範囲】
【請求項１】
軸上色収差を補正する画像処理装置であって、
入力した画像信号を、基準となる第１の光周波数帯域の第１の画像信号と、前記第１の光周波数帯域以外の第２の光周波数帯域の第２の画像信号とを少なくとも含む複数の異なる光周波数帯域の画像信号に分離する分離手段と、
前記第２の画像信号に対して、独立成分分析を行う分析手段と、
前記分析手段による前記第２の画像信号の独立成分分析の結果と、前記第１の画像信号とを合成する合成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の画像信号から第１の周波数解析値を求める第１の周波数解析手段と、
前記第２の画像信号から第２の周波数解析値を求める第２の周波数解析手段と、
前記第２の周波数解析値に基づいて、有効帯域を決定する有効帯域決定手段と、
前記有効帯域決定手段により決定された前記有効帯域から帯域制限周波数を求めると共に、該帯域制限周波数で、前記第２の周波数解析値を制限する帯域制限周波数算出手段と、
前記帯域制限周波数算出手段で求められた前記帯域制限周波数で、前記第１の周波数解析値を制限する帯域制限手段と、
前記帯域制限周波数により制限された前記第２の周波数解析値と前記第１の周波数解析値との比から、前記第２の周波数解析値の目標値を求める目標周波数算出手段と、
前記目標周波数算出手段で求められた目標値と、前記帯域制限周波数により制限された第２の周波数解析値との比を求める比抽出手段と、
前記比抽出手段で求められた比に応じて、独立成分分析の初期値を選択する選択手段とを更に有し、
前記分析手段は前記選択手段により選択された初期値を用いて独立成分分析を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分析手段による前記第２の画像信号の独立成分分析の結果から第３の周波数解析値を求める第３の周波数解析手段と、
前記第３の周波数解析値と、前記目標周波数算出手段で求められた目標値との比を求める第２の比抽出手段と、
前記第２の比抽出手段で求められた比に応じて、フィルタ係数を選択する第２の選択手段と、
前記第２の選択手段により選択されたフィルタ係数を用いて、前記第２の画像信号の独立成分分析の結果に対して低域通過フィルタ処理を行うフィルタ手段とを更に有し、
前記合成手段は、前記フィルタ処理された前記第２の画像信号の独立成分分析の結果と、前記第１の画像信号とを合成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記分析手段により実行された独立成分分析の回数をカウントするカウンタを更に有し、
前記分析手段は、前記独立成分分析の精度が予め決められたレベルまで収束するか、または、前記カウンタによりカウントされた回数が予め決められた閾値に達するまで、前記第２の画像信号に対して前記独立成分分析を繰り返し実行することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１から第３の周波数解析手段は、アダマール変換を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記第１から第３の周波数解析手段は、離散コサイン変換を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記有効帯域決定手段は、各周波数に応じた周波数解析値が、予め設定された閾値よりも大きい周波数帯域を有効帯域として決定することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記帯域制限周波数は、前記有効帯域の最高周波数であることを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記選択手段は、前記比を複数の領域に分け、該領域のうち比の大きい領域を補正するような係数を初期値として選択することを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記第２の選択手段は、前記第２の比抽出手段で求められた比を複数の領域に分けて、該領域のうち比の大きい領域を補正するようなフィルタ係数を選択することを特徴とする請求項３に記載の画像処理装置。
【請求項１１】
軸上色収差を補正する画像処理方法であって、
入力した画像信号を、基準となる第１の光周波数帯域の第１の画像信号と、前記第１の光周波数帯域以外の第２の光周波数帯域の第２の画像信号とを少なくとも含む複数の異なる光周波数帯域の画像信号に分離する分離工程と、
前記第２の画像信号に対して、独立成分分析を行う分析工程と、
前記分析工程による前記第２の画像信号の独立成分分析の結果と、前記第１の画像信号とを合成する合成工程と
を有することを特徴とする画像処理方法。
【請求項１２】
前記第１の画像信号から第１の周波数解析値を求める第１の周波数解析工程と、
前記第２の画像信号から第２の周波数解析値を求める第２の周波数解析工程と、
前記第２の周波数解析値に基づいて、有効帯域を決定する有効帯域決定工程と、
前記有効帯域決定工程により決定された前記有効帯域から帯域制限周波数を求めると共に、該帯域制限周波数で、前記第２の周波数解析値を制限する帯域制限周波数算出工程と、
前記帯域制限周波数算出工程で求められた前記帯域制限周波数で、前記第１の周波数解析値を制限する帯域制限工程と、
前記帯域制限周波数により制限された前記第２の周波数解析値と前記第１の周波数解析値との比から、前記第２の周波数解析値の目標値を求める目標周波数算出工程と、
前記目標周波数算出工程で求められた目標値と、前記帯域制限周波数により制限された第２の周波数解析値との比を求める比抽出工程と、
前記比抽出工程で求められた比に応じて、独立成分分析の初期値を選択する選択工程とを更に有し、
前記分析工程では前記選択工程により選択された初期値を用いて独立成分分析を行うことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記分析工程による前記第２の画像信号の独立成分分析の結果から第３の周波数解析値を求める第３の周波数解析工程と、
前記第３の周波数解析値と、前記目標周波数算出工程で求められた目標値との比を求める第２の比抽出工程と、
前記第２の比抽出工程で求められた比に応じて、フィルタ係数を選択する第２の選択工程と、
前記第２の選択工程で選択されたフィルタ係数を用いて、前記第２の画像信号の独立成分分析の結果に対して低域通過フィルタ処理を行うフィルタ工程とを更に有し、
前記合成工程は、前記フィルタ処理された前記第２の画像信号の独立成分分析の結果と、前記第１の画像信号とを合成することを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記分析工程により実行された独立成分分析の回数をカウントするカウンタを更に有し、
前記分析工程は、前記独立成分分析の精度が予め決められたレベルまで収束するか、または、前記カウンタによりカウントされた回数が予め決められた閾値に達するまで、前記第２の画像信号に対して前記独立成分分析を繰り返し実行することを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理方法。
【請求項１５】
コンピュータに、請求項１１乃至１４のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、特に、独立成分分析を利用して軸上色収差を補正する画像処理装置及び方法に関する。
【背景技術】
【０００２】
撮像装置のレンズでは、光の波長により屈折率が異なるために生じる色収差が知られている。中でも軸上色収差は、各波長の光の結像位置が軸上で前後にずれる現象で、ある波長の像に合焦させると、他の波長の光による像が非合焦となるため、色のにじみの原因となっていた。
【０００３】
そこで、従来の撮像装置では、レンズ固有の軸上色収差に応じた焦点距離補正値をあらかじめ記憶しておき、各波長の光の画像信号に焦点距離補正値を利用して補正を行う技術がある（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平６−１１３３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、上述した従来の撮像装置では、画像の合焦部で発生する軸上色収差の補正を行うことができるが、画像の非合焦部で発生する軸上色収差の補正を行うことができないという問題があった。
【０００６】
本発明は上記問題点を鑑みてなされたものであり、画像の合焦部で発生する軸上色収差の補正を行うとともに、画像の非合焦部で発生する軸上色収差の補正も行うことができるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、軸上色収差を補正する本発明の画像処理装置は、入力した画像信号を、基準となる第１の光周波数帯域の第１の画像信号と、前記第１の光周波数帯域以外の第２の光周波数帯域の第２の画像信号とを少なくとも含む複数の異なる光周波数帯域の画像信号に分離する分離手段と、前記第２の画像信号に対して、独立成分分析を行う分析手段と、前記分析手段による前記第２の画像信号の独立成分分析の結果と、前記第１の画像信号とを合成する合成手段とを有する。
【０００８】
また、軸上色収差を補正する本発明の画像処理方法は、入力した画像信号を、基準となる第１の光周波数帯域の第１の画像信号と、前記第１の光周波数帯域以外の第２の光周波数帯域の第２の画像信号とを少なくとも含む複数の異なる光周波数帯域の画像信号に分離する分離工程と、前記第２の画像信号に対して、独立成分分析を行う分析工程と、前記分析工程による前記第２の画像信号の独立成分分析の結果と、前記第１の画像信号とを合成する合成工程とを有する。
【発明の効果】
【０００９】
本発明によれば、画像の合焦部で発生する軸上色収差の補正を行うとともに、画像の非合焦部で発生する軸上色収差の補正も行うことができるようにすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１１】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の機能構成例を示すブロック図である。
【００１２】
図１において、１はレンズ、２は絞り、３は撮像素子、４は二重相関サンプリング（ＣＤＳ）回路及びＡ／Ｄ変換器を含むアナログフロントエンド部（ＡＦＥ）、５は、レンズ１、絞り２及び撮像素子３の駆動回路である。
【００１３】
６は撮影した画像データから輝度信号及び色差信号を生成するカメラ信号処理回路である。７は画像データを記憶する画像メモリであり、８はカメラ信号処理回路６により処理された画像データを圧縮符号化する圧縮符号化処理回路である。１０は撮像装置から取り外し可能な記録媒体、９は圧縮符号化された画像データを記録媒体１０に記録する記録処理回路である。
【００１４】
１１は撮像装置全体を制御するシステム制御部、１４はシステム制御部１１と撮像装置内の各ブロックとの通信を行うバスである。１２はシステム制御部１１で実行される制御方法を記載したプログラムと、プログラムを実行する際に使用されるパラメータやテーブル等の制御データとを記憶しておく不揮発性メモリ（ＲＯＭ）である。１３は、不揮発性メモリ１２に記憶されたプログラム及び制御データを転送して記憶しておき、システム制御部１１が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。
【００１５】
システム制御部１１は、バス１４を介して、駆動回路５、カメラ信号処理回路６、圧縮符号化処理回路８、記録処理回路９を制御する。各信号処理回路に必要な制御パラメータや回路を制御するプログラム等の情報は、不揮発性メモリ１２から読み出される。
【００１６】
以下、上記構成を有する撮像装置における撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１１の動作開始時において、不揮発性メモリ１２から必要なプログラム、制御データ及び補正データを揮発性メモリ１３に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１１が撮像装置を制御する際に使用するものとする。さらに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１２から揮発性メモリ１３に転送したり、システム制御部１１が直接不揮発性メモリ１２内のデータを読み出して使用したりする。
【００１７】
まず、システム制御部１１から送られる制御信号により、駆動回路５は絞り２とレンズ１を駆動して、適切な明るさに調節された被写体像を撮像素子３上に結像させる。撮像素子３は、システム制御部１１により制御される駆動回路５からの駆動パルスによって駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。
【００１８】
撮像素子３から出力されたアナログの画像信号は、システム制御部１１により制御される駆動回路５からの動作パルスに従ってＡＦＥ４内部のＣＤＳ回路でクロック同期性ノイズが除去されると共に、ＡＦＥ４内部のＡ／Ｄ変換器でデジタル画像信号に変換される。システム制御部１１により制御されるカメラ信号処理回路６はＡＦＥ４から出力されるデジタル画像信号から、輝度信号及び色差信号（Ｙ、Ｃｂ、Ｃｒ）を生成する。
【００１９】
画像メモリ７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。圧縮符号化処理回路８は、信号処理されたデジタル画像信号を圧縮符号化する。圧縮符号化処理回路８によって符号化された画像データは、記録処理回路９において記録媒体１０に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて記録媒体１０に記録される。
【００２０】
図２は、本第１の実施形態におけるカメラ信号処理回路６の機能構成例を示すブロック図である。
【００２１】
なお、本第１の実施形態では、撮像素子３が、原色フィルタがベイヤー配置された単板の撮像素子である場合について説明する。
【００２２】
ＡＦＥ４の出力として、画素毎に撮像素子３の色フィルタに対応したいずれかの色のデジタル画像データ（以下、「ＲＡＷデータ」と呼ぶ。）が、カメラ信号処理回路６に入力される。このＲＡＷデータの状態では、各画素位置についてＲＧＢいずれかの色フィルタに対応した色の値しか持たない。そのため、同時化処理回路６００では、入力されるＲＡＷデータに対して、ＲＧＢの画素を分離した後、すべての画素位置でＲＧＢの値を持つように補間演算を行う。
【００２３】
同時化処理回路６００で生成されたＲＧＢの画像信号は、それぞれ、直交変換回路６０１（第２の周波数解析手段）、６０２（第１の周波数解析手段）、６０３（第２の周波数解析手段）において、直交変換される。
【００２４】
次に、直交変換回路６０１、６０３において直交変換されたＲとＢ（第１の光周波数帯域以外の第２の光周波数帯域の第２の画像信号）の直交変換係数（第２の周波数解析値）は次のように処理される。即ち、有効帯域決定回路６０４、６０５においてそれぞれノイズ成分の割合が高くなる高周波成分を除いた有効帯域が設定される。有効帯域決定回路６０４、６０５は、ＲとＢのそれぞれの直交変換係数の絶対値が、ある閾値Ｔｈより小さいところすべてを０とし、０となっていない箇所を有効帯域として設定する。閾値Ｔｈをどの値に設定するかは、ノイズ成分の量を検出して実験的に求めればよい。決定された有効帯域は、帯域制限周波数算出回路６０６、６０９に出力される。帯域制限周波数算出回路６０６、６０９では、直交変換係数から有効帯域内の最高周波数（帯域制限周波数）を抽出し、その最高周波数の値を帯域制限処理回路６０７、６０８に出力する。更に、帯域制限周波数算出回路６０６、６０９は、最高周波数より高い周波数成分を表している直交変換係数を０として、目標周波数算出回路６１０、６１１へそれぞれ出力する。
【００２５】
帯域制限処理回路６０７、６０８では、帯域制限周波数算出回路６０６、６０９において抽出された最高周波数を用いて、直交変換回路６０２において直交変換されたＧの直交変換係数に対しても同様の処理を行う。即ち、Ｇ（第１の光周波数帯域の第１の画像信号）の直交変換係数（第１の周波数解析値）の内、最高周波数より高い周波数成分を表している直交変換係数を０として、目標周波数算出回路６１０、６１１へそれぞれ出力する。
【００２６】
目標周波数算出回路６１０、６１１では、例えば以下に示す式（１）を用いた演算によってＲとＢの直交変換係数の目標値を算出する。
【００２７】
2010050572.tif 000003
【００２８】
ここで、i、jは直交変換係数の位置、GxijはＧのi、jの位置の直交変換係数の値、Rexpij、Bexpijは、Ｒ、Ｂのそれぞれの位置の目標値を示す。また、RDC、GDC、BDCは直交変換係数のうちのＤＣ成分の値を示し、Rexpij、Bexpijを比抽出回路６１２、６１３へそれぞれ出力する。
【００２９】
比抽出回路６１２、６１３は、例えば、以下に示す式（２）を用いた演算によって帯域制限周波数算出回路６０６、６０９の出力と目標周波数算出回路６１０、６１１の出力の比を求め、フィルタ係数選択処理回路６１５、６１７へ出力する。
【００３０】
2010050572.tif 000004
【００３１】
ここで、i、jは直交変換係数の位置、Rxij、Bxijはそれぞれの位置の直交変換係数の値、Rexpij、Bexpijは、それぞれの位置の目標値を示す。また、Rdiffij、Bdiffijは、それぞれの位置の直交変換係数の目標値と実際の係数値の比を示す。
【００３２】
フィルタ係数選択処理回路６１５、６１７では、比抽出回路６１２、６１３からの比に応じて、係数テーブル６１６より、フィルタ係数を読み出し、それを独立成分分析回路６１４、６１８へそれぞれ出力する。
【００３３】
独立成分分析回路６１４、６１８では、フィルタ係数選択処理回路６１５、６１７からの出力（フィルタ係数）を初期値として、同時化処理回路６００からのＲ及びＢの画像に対して独立成分分析を行い、それぞれに鮮鋭化処理を行う。
【００３４】
ここで、一般にぼけている画像は、ぼけていない画像とその微分画像の線形和で表現される。
【００３５】
そこで独立成分分析では、ぼけていない画像を取得するために、ぼけている画像信号からぼけていない画像とＮ個の微分画像に分離する分離フィルタを求めており、一般には式（３）によって表される。
【００３６】
2010050572.tif 000005
【００３７】
ここで、X(x,y)はぼけている画像信号、(W1,W2,…WN)は分離フィルタである。また、(y1(x,y),y2(x,y),…yN(x,y))のうち、y1(x,y)をぼけていない画像信号とすると、y2(x,y)…yN(x,y)が微分画像を表す。
【００３８】
そこで本第１の実施形態では、先ず、軸上色収差によって非合焦となってしまったＲまたはＢの画像から、ぼけていないＲまたはＢの画像とＲまたはＢのぼけ成分画像（微分画像）を分離する分離フィルタを独立成分分析により求める。そして、ぼけていないＲまたはＢの画像を取得することで軸上色収差を補正している。
【００３９】
ところで一般的な独立成分分析では、分離フィルタ(W1,W2,…WN)のフィルタ係数の初期値をそれぞれランダムな値とし、フィルタ係数に改良を加えながら画像の分離精度を評価する、いわゆる学習を行うことによって取得している。そのため、学習の回数がある程度増えれば、画像の分離精度はある程度収束するが、入力画像の状態や学習過程によって収束しなかったり、収束に時間がかかったりする。
【００４０】
一方、独立成分分析からは、ぼけていない画像と微分画像が取得できることから、分離フィルタは鮮鋭化フィルタと微分フィルタとで構成されている。
【００４１】
そこで、本第１の実施形態では、フィルタ係数選択処理回路６１５、６１７からの鮮鋭化フィルタと微分フィルタのフィルタ係数を分離フィルタの初期値とすることで、分離精度を確実に収束させ、また、収束までの時間を短縮させることができる構成とした。
【００４２】
ＹＣＭＴＸ回路６１９では、例えば、以下に示す式（４）の演算によって、輝度信号Ｙと色差信号Ｃｂ、Ｃｒに変換し、圧縮符号化処理回路８へ出力する。
【００４３】
2010050572.tif 000006
【００４４】
ここで、Ｒ’は独立成分分析回路６１４からの出力であり、Ｂ’は独立成分分析回路６１８からの出力を示す。
【００４５】
次に、本第１の実施形態の特徴であるカメラ信号処理回路６で行われる軸上色収差補正手順の一例について、図３に示すフローチャートを参照しながら説明する。
【００４６】
まず、ステップＳ１０１において、ＲＧＢの画像信号をそれぞれ７ライン分のラインメモリ（画像メモリ７を用いることができる。）に保持する。そして、同時化処理回路６００によりすべての画素位置でＲＧＢの値を持つように補間演算された画像信号に対して、直交変換回路６０１、６０２、６０３により８×８画素のブロックに分割し、直交変換処理として８×８アダマール変換を行う。ここで、直交変換としては、離散コサイン変換でも良く、また、ブロックサイズも８×８画素に限ったものではない。図４に、直交変換を行った時の係数分布の概念図を示す。画像の周波数成分により、係数の大きくなる領域が異なる。
【００４７】
ステップＳ１０２においては、有効帯域決定回路６０４、６０５は、ＲとＢのそれぞれの直交変換係数の絶対値が、ある閾値Ｔｈより小さいところすべてを０とし、０となっていない箇所を有効帯域とする。次に、ステップＳ１０３において、帯域制限周波数算出回路６０６、６０９は、それぞれの直交変換係数が閾値Ｔｈよりも大きいところと小さいところの境界を最高周波数として抽出する。ここで、例えば図５（ａ）のように、ｆを最高周波数とした時に、係数を０としたところ（図５の無地の部分）、０としていないところ（図５の網掛けの部分）が残った場合には、図５（ｂ）のように０としていないところも０とする。
【００４８】
次に、ステップＳ１０４において、帯域制限処理回路６０７、６０８はＧの直交変換係数のうち、ステップＳ１０３においてそれぞれ抽出した最高周波数よりも高周波の直交変換係数を０とする。
【００４９】
次に、ステップＳ１０５において、目標周波数算出回路６１０、６１１は式（１）を用いてＲとＢそれぞれの直交変換係数の目標値を算出する。更に、ステップＳ１０６において、比抽出回路６１２、６１３は式（２）を用いて、それぞれの直交変換係数の目標値と、実際の係数値との比を求める。
【００５０】
次に、ステップＳ１０７において、フィルタ係数選択処理回路６１５、６１７はステップＳ１０６で求めた比に応じて、フィルタ係数を係数テーブル６１６から読み出す。例えば、図６のように、直交変換係数を領域（ア）〜（ク）に分けた時に、領域（ア）に比が大きく出ていたとする。この場合、ＲまたはＢの画像信号には、水平方向の低〜中域の周波数成分が不足していることから、水平方向の低〜中域の周波数成分を補正するようなフィルタ係数を係数テーブルより読み出し、分離フィルタのうち、鮮鋭化フィルタの初期値とする。一方で、微分フィルタは、例えばラプラシアンフィルタのような、微分するためのフィルタ係数を係数テーブルより読み出し、微分フィルタの初期値とする。なお、直交変換係数の領域分けはこれに限られるものではなく、また、領域に応じたフィルタ係数だけでなく、比の大きさに応じたフィルタ係数も用意しておき、領域と比の大きさに応じて、フィルタ係数を読み出しても良い。
【００５１】
次に、ステップＳ１０８、ステップＳ１０９においては、独立成分分析回路６１４、６１８はステップＳ１０７において求めたフィルタ係数を学習の初期値として、ＲとＢの画像にそれぞれ独立成分分析を適用し、鮮鋭化処理を行う。また、画像の鮮鋭化の精度がある程度収束したかどうかを判定し、収束をしていなければステップＳ１０８へ進み、収束していればステップＳ１１０へ進む。
【００５２】
次に、ステップＳ１１０において、ＹＣＭＴＸ回路６１９はステップＳ１０８、Ｓ１０９で求めた独立成分分析の結果を用いて、上述した式（４）により輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換（合成）する。
【００５３】
以上のように、本第１の実施形態によれば、ＲとＢの画像信号に対して独立成分分析を行うことにより、合焦部、非合焦部に関わらず軸上色収差を補正することができる。また、ＲＧＢそれぞれの画像信号から求めた独立成分分析の分離フィルタの初期値を利用して独立成分分析を行うことにより、独立成分分析の学習回数を減少させ、処理にかかる時間を短縮することができる。
【００５４】
＜第２の実施形態＞
次に、図７と図８を参照しながら、本発明の第２の実施形態について説明する。なお、本第２の実施形態の撮像装置の構成において、第１の実施形態で図１及び図２を参照して説明した撮像装置の構成と同様の構成については、説明を省略する。第１の実施形態と異なっているのは、第１に、カメラ信号処理回路６に直交変換回路６２０、６２１と比抽出回路６２２、６２３、フィルタ６２４、６２７、フィルタ係数選択処理回路６２５、６２６、係数テーブル６２８を追加した点である。第２に、独立成分分析回路６１４、６１８の鮮鋭化処理が過補正となっていた場合に、補正を行う手順を追加した点である。
【００５５】
図７は、本第２の実施形態におけるカメラ信号処理回路６の機能構成例を示すブロック図である。
【００５６】
図７において、直交変換回路６２０、６２１（第３の周波数解析手段）は独立成分分析回路６１４、６１８からの出力を直交変換する。また、比抽出回路６２２、６２３（第２の比抽出手段）は、直交変換回路６２０、６２１からの直交変換係数（第３の周波数解析値）と、目標周波数算出回路６１０、６１１からの出力の比を求める回路である。フィルタ係数選択処理回路６２５、６２６（第２の選択手段）は、比抽出回路６２２、６２３からの出力に応じたフィルタ係数を係数テーブル６２８から読み出す回路である。フィルタ６２４、６２７は、独立成分分析回路６１４、６１８からの出力に対し、フィルタ係数選択処理回路６２５、６２６からのフィルタ係数を用いてフィルタ処理を行う回路である。
【００５７】
次に、本第２の実施形態の特徴であるカメラ信号処理回路６で行われる軸上色収差補正手順の一例について、図８に示すフローチャートに基づいて説明する。なお、ステップＳ１０１〜Ｓ１１０の処理については、第１の実施形態の図３に示すステップＳ１０１〜Ｓ１１０の処理と同様であるため、説明を省略する。
【００５８】
ステップＳ２０１においては、独立成分分析回路６１４、６１８からの出力を、それぞれ７ライン分のラインメモリ（画像メモリ７を用いることができる。）に保持する。そして、直交変換回路６２０、６２１は、８×８のブロックに分割し、直交変換処理として８×８アダマール変換を行う。ここで、直交変換としては、離散コサイン変換でも良く、また、ブロックサイズも８×８画素に限ったものではない。
【００５９】
次に、ステップＳ２０２において、比抽出回路６２２、６２３は、直交変換回路６２０、６２１からの出力と、目標周波数算出回路６１０、６１１からの出力との比を求める。
【００６０】
次に、ステップＳ２０３において、フィルタ係数選択処理回路６２５、６２６はステップＳ２０２で求められた比に応じて、フィルタ係数を係数テーブル６２８から求める。
【００６１】
次に、ステップＳ２０４において、独立成分分析回路６１４、６１８からの出力を、フィルタ係数選択処理回路６２５、６２６からのフィルタ係数を用いてフィルタ６２４、６２７により低域通過フィルタ処理を行う。
【００６２】
以上のように、本第２の実施形態においては、独立成分分析回路６１４、６１８からの出力を直交変換した直交変換係数と、目標周波数算出回路６１０、６１１からの出力の比を求める。そして、その比に応じたフィルタ係数を用いてフィルタ処理を独立成分分析回路６１４、６１８からの出力に対して行うことにより、独立成分分析によって起こる可能性のある過補正を補正することができる。
【００６３】
＜第３の実施形態＞
次に、図９と図１０を参照しながら、本発明の第３の実施形態について説明する。なお、本第３の実施形態の撮像装置の構成において、第１及び第２の実施形態で説明した撮像装置の構成と同様の構成については、説明を省略する。第１及び第２の実施形態と異なっているのは、第１に、カメラ信号処理回路６に、図７に示す構成に加えて学習回数をカウントするカウンタ６２９、６３０を追加した点である。第２に、カメラ信号処理回路６の軸上色収差補正手順に、カウント数が所定の回数に達したか否かを判定し、判定結果に応じて処理を変える手順を追加した点である。
【００６４】
図９は、本第３の実施形態におけるカメラ信号処理回路６の機能構成例を示すブロック図である。
【００６５】
図９において、カウンタ６２９、６３０は、独立成分分析回路６１４、６１８の学習回数をカウントし、カウント数を独立成分分析回路６１４、６１８に出力する。
【００６６】
次に、本第３の実施形態の特徴であるカメラ信号処理回路６で行われる軸上色収差補正手順の一例について、図１０に示すフローチャートを参照して説明する。なお、ステップＳ１０１〜Ｓ１１０の処理については、第１の実施形態の図３に示すステップＳ１０１〜Ｓ１１０の処理と同様であるため、説明を省略する。また、ステップＳ２０１〜Ｓ２０４については、第２の実施形態の図８に示すステップＳ２０１〜Ｓ２０４の処理と同様であるため、説明を省略する。
【００６７】
ステップＳ１０９において、画像の鮮鋭化の精度がある程度（例えば、予め決められたレベルまで）収束したかどうかを判定し、収束をしていなければ、ステップＳ３０１へ進む。
【００６８】
ステップＳ３０１においては、学習回数が予め設定しておいた所定の回数Ｃｎｔ（閾値）に達したか否かの判定を行う。この判定の結果、学習回数が所定の回数に達している場合はステップＳ２０１へ進み、学習回数が所定の回数に達していない場合はステップＳ３０２へ進む。ステップＳ３０２では、カウンタ６２９、６３０を１カウントアップし、ステップＳ１０８へ戻る。
【００６９】
ここで、所定の回数Ｃｎｔはカメラ信号処理回路６内の不図示のメモリに保持していても、外部から設定される構成としても良い。
【００７０】
上記の通り本第３の実施形態によれば、画像の鮮鋭化の精度がある収束していない場合に、独立成分分析回路６１４、６１８の学習回数が所定の回数に達したか否かの判定に応じて、再度学習を行うか、学習をやめて次のステップへ進むか、という処理を変える。これにより、処理時間を短縮することができ、分離精度が収束しないために処理が終わらないといった不都合を防ぐことができる。
【００７１】
なお、上記第１から第３の実施形態においては、ＲとＢの画像に対して軸上色収差補正を行ったが、本発明はこれに限るものではなく、いずれかの色を基準にして、それ以外の色の補正を行うようにしても良い。
【００７２】
また、上記第１から第３の実施形態においては、撮像素子３がベイヤー配列のカラーフィルタにより覆われ、画像信号としてＲＧＢ画像信号が出力される場合の軸上色収差補正について説明した。しかしながら、本発明はＲＧＢ画像信号に限るものではなく、異なる周波数成分の画像信号間で起こる軸上色収差を、同様の手順により補正できることは言うまでもない。
【００７３】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばカメラヘッド、スキャナ、インターフェイス機器、ホストコンピュータなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラなど）に適用してもよい。
【００７４】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の実施形態における撮像装置の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態におけるカメラ信号処理回路の機能構成例を示すブロック図である。
【図３】本発明の第１の実施形態におけるカメラ信号処理回路で行われる軸上色収差補正手順の一例を示すフローチャートである。
【図４】直交変換の係数分布を示す概念図である。
【図５】本発明の第１の実施形態におけるカメラ信号処理回路内の帯域制限周波数算出回路の動作の一例を示す図である。
【図６】本発明の第１の実施形態におけるカメラ信号処理回路内のフィルタ係数選択処理の一例を示す図である。
【図７】本発明の第２の実施形態におけるカメラ信号処理回路の機能構成例を示すブロック図である。
【図８】本発明の第２の実施形態におけるカメラ信号処理回路で行われる軸上色収差補正手順の一例を示すフローチャートである。
【図９】本発明の第３の実施形態におけるカメラ信号処理回路の機能構成例を示すブロック図である。
【図１０】本発明の第３の実施形態におけるカメラ信号処理回路で行われる軸上色収差補正手順の一例を示すフローチャートである。
【符号の説明】
【００７７】
１  レンズ
２  絞り
３  撮像素子
４  アナログフロントエンド部
５  駆動回路
６  カメラ信号処理回路
７  画像メモリ
８  圧縮符号化処理回路
９  記録処理回路
１０  記録媒体
１１  システム制御部
１２  不揮発性メモリ（ＲＯＭ）
１３  揮発性メモリ（ＲＡＭ）
１４  バス
６００  同時化処理回路
６０１、６０２、６０３、６２０、６２１  直交変換回路
６０４、６０５  有効帯域決定回路
６０６、６０９  帯域制限周波数算出回路
６０７、６０８  帯域制限処理回路
６１０、６１１  目標周波数算出回路
６１２、６１３、６２２、６２３  比抽出回路
６１４、６１８  独立成分分析回路
６１５、６１７、６２５、６２６  フィルタ係数選択処理回路
６１６、６２８  係数テーブル
６１９  ＹＣＭＴＸ回路
６２４、６２７  フィルタ
６２９、６３０  カウンタ
【図１】
2010050572.tif 000007
【図２】
2010050572.tif 000008
【図３】
2010050572.tif 000009
【図４】
2010050572.tif 000010
【図５】
2010050572.tif 000011
【図６】
2010050572.tif 000012
【図７】
2010050572.tif 000013
【図８】
2010050572.tif 000014
【図９】
2010050572.tif 000015
【図１０】
2010050572.tif 000016