(57)【特許請求の範囲】
【請求項１】
光学系を介して撮影された画像の倍率色収差による第１色の光に対する第２色の光の色ずれ量を補正する画像処理装置であって、
第１の周波数特性を有し、前記画像の前記第２色の成分について画素間の信号成分を補間する第１の補間処理を用いて前記色ずれ量を補正する第１の補正手段と、
前記第１の補間処理を行った後の前記第２色の信号から前記第１色の信号を減算した色差信号に応じて、前記第１の補間処理と、前記第１の周波数特性よりも緩やかな第２の周波数特性を有する第２の補間処理と、を用いて前記色ずれ量を補正する第２の補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第２の補正手段は、前記第１の補間処理を行った後の前記第２色の信号から前記第１色の信号を減算した色差信号に応じて、前記第１の補間処理の結果を、前記第２の補間処理を用いて前記画素間の信号成分を補間した結果で補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の補正手段は、前記第１の補間処理の結果と前記第２の補間処理の結果とを合成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２の補正手段は、前記第１の補間処理を行った後の前記第２色の信号から前記第１色の信号を減算した色差信号に応じて、前記第１の補間処理の結果と前記第２の補間処理の結果の合成比を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の補正手段は、前記第１の補間処理を行った後の前記第２色の信号から前記第１色の信号を減算した色差信号、および、前記画像のコントラストに応じて、前記合成比を変更することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記色差信号を取得し、該色差信号に応じて所定の数値範囲の中から数値を設定する第１の判定手段と、
前記第１色の信号または前記第２色の信号のコントラスト値を取得し、該コントラスト値に応じて前記所定の数値範囲の中から数値を設定する第２の判定手段と、を有し、
前記第２の補正手段は、前記第１の判定手段が設定した数値と前記第２の判定手段が設定した数値を乗算した数値が大きくなるほど、前記第１の補間処理の結果に対し前記第２の補間処理の結果の割合が大きくなるように、前記合成比を変更することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記色差信号を取得し、該色差信号に応じて所定の数値範囲の中から数値を設定する第１の判定手段と、
前記第１色の信号または前記第２色の信号のコントラスト値を取得し、該コントラスト値に応じて前記所定の数値範囲の中から数値を設定する第２の判定手段と、を有し、
前記第２の補正手段は、前記第１の判定手段が設定した数値と前記第２の判定手段が設定した数値のうち大きい方の数値が大きくなるほど、前記第１の補間処理の結果に対し前記第２の補間処理の結果の割合が大きくなるように、前記合成比を変更することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記第１の判定手段は、前記第１の補間処理を行う前の第２色の信号から前記第１色の信号を減算した第１の色差信号と、前記第１の補間処理を行った後の第２色の信号から前記第１色の信号を減算した第２の色差信号と、前記第１の色差信号から前記第２の色差信号を減算した差分信号と、を取得し、
前記差分信号が大きくなると、前記設定する数値が大きくなるように、前記所定の数値範囲の中から数値を設定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記第１の判定手段は、前記第１の補間処理を行う前の第２色の信号から前記第１色の信号を減算した第１の色差信号と、前記第１の補間処理を行った後の第２色の信号から前記第１色の信号を減算した第２の色差信号と、前記第１の色差信号から前記第２の色差信号を減算した差分信号と、を取得し、
前記第２の色差信号が正の値である場合、前記所定の数値範囲の中から最も小さい数値を設定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項１０】
前記第２の判定手段は、前記第１色の信号または前記第２色の信号の着目画素の周辺のコントラスト値を取得し、
前記コントラスト値が大きくなると、前記設定する数値が大きくなるように、前記所定の数値範囲の中から数値を設定することを特徴とする請求項６ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第１の補間処理はバイキュービック補間処理であり、前記第２の補間処理はバイリニア補間処理であることを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第２の補間処理を用いて前記色ずれ量を補正する第３の補正手段を有することを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
【請求項１３】
光学系により形成される像を撮像する撮像素子と、
前記撮像素子から出力される画像の倍率色収差を補正する請求項１ないし１２のいずれか１項に記載の画像処理装置と、を備えた撮像装置。
【請求項１４】
光学系を介して撮影された画像の倍率色収差による第１色の光に対する第２色の光の色ずれ量を補正する画像処理方法であって、
第１の周波数特性を有し、前記画像の前記第２色の成分について画素間の信号成分を補間する第１の補間処理を用いて前記色ずれ量を補正する第１の補正ステップと、
前記第１の補間処理を行った後の前記第２色の信号から前記第１色の信号を減算した色差信号に応じて、前記第１の補間処理と、前記第１の周波数特性よりも緩やかな第２の周波数特性を有する第２の補間処理と、を用いて前記色ずれ量を補正する第２の補正ステップと、
を有することを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法の各ステップが記述されたコンピュータで実行可能なプログラム。
【請求項１６】
コンピュータに、請求項１４に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、光学系を介して撮影された画像の倍率色収差を補正する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で撮像して得られた画像は、撮像レンズ等の光学系が有する倍率色収差の影響を受ける。この色ずれを補正する方法として、レンズの状態に応じた色ずれ量をあらかじめ記憶しておく方法（例えば、特許文献１参照）がある。
【０００３】
色ずれ量は連続的に変化する値であるため、色ずれ量を画像上で補正するためには、１画素に満たない単位の色ずれ量を補正する必要がある。このような１画素に満たない単位の色ずれ量を補正する方法として、バイリニア補間やバイキュービック補間のような補間アルゴリズムが提案されている。公知のべイヤー配列の場合、Ｇ画素を基準として、Ｒ画素またはＢ画素の色ずれ量を補正するのが一般的である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−２０５１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、Ｇ画素は補間を行わないので、Ｂ画素に対してのみバイリニア補間を行うと、Ｇ画素に対してＢ画素の帯域が消失するという問題点がある。図４（ａ）にバイキュービック補間の周波数特性、図４（ｂ）にバイリニア補間の周波数特性の一例を示す。図４（ａ）のような周波数特性が急峻な特性を持つ補正を行うことで、精度の高い帯域補正を行うことができる。しかしながら、アンダーシュートおよびオーバーシュートが強く発生するという問題点がある。
【０００６】
そこで、本発明は、上記問題を鑑み、倍率色収差の補正に有利な画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、光学系を介して撮影された画像の倍率色収差による第１色の光に対する第２色の光の色ずれ量を補正する画像処理装置であって、第１の周波数特性を有し、前記画像の前記第２色の成分について画素間の信号成分を補間する第１の補間処理を用いて前記色ずれ量を補正する第１の補正手段と、前記第１の補間処理を行った後の前記第２色の信号から前記第１色の信号を減算した色差信号に応じて、前記第１の補間処理と、前記第１の周波数特性よりも緩やかな第２の周波数特性を有する第２の補間処理と、を用いて前記色ずれ量を補正する第２の補正手段と、を有することを特徴とする。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、倍率色収差の補正に有利な画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態にかかる撮像装置の構成を説明するための図である。
【図２】本発明の実施形態にかかる倍率色収差補正部の構成を説明するための図である。
【図３】本発明の実施形態にかかる色差判定部の動作を説明するためのフローチャートである。
【図４】本発明の実施形態にかかるバイキュービック補間とバイリニア補間の周波数特性を説明するための図である。
【図５】本発明の実施形態にかかるバイキュービック倍率補正後およびバイリニア倍率補正後のラインプロファイルを説明するための図である。
【図６】本発明の実施形態にかかるバイキュービック倍率補正後およびバイリニア倍率補正後の色差信号のラインプロファイルを説明するための図である。
【図７】本発明の実施形態にかかるコントラスト判定部の動作を説明するためのフローチャートである。
【図８】本発明の第１の実施形態にかかる合成部および合成比率算出部の動作を説明するためのフローチャートである。
【図９】本発明の実施形態にかかる色差差分信号と判定値Ｖａｌとの関係を説明するための図である。
【図１０】本発明の実施形態にかかるコントラスト値と判定値Ｖａｌとの関係を説明するための図である。
【図１１】本発明の実施形態にかかる合成比率と判定値Ｖａｌとの関係を説明するための図である。
【図１２】本発明の実施形態にかかる着目画素のコントラスト判定を説明するための図である。
【図１３】本発明の第２の実施形態にかかる合成部および合成比率算出部の動作を説明するためのフローチャートである。
【図１４】本発明の実施形態にかかる色補間部の動作を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【実施例１】
【００１２】
図１は、撮像装置の全体を示す構成図である。図１において、撮像部１０１は図示しない撮影レンズ（光学系）、該撮影レンズにより形成される像を撮像する撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換部１０２によってデジタル信号に変換される。Ａ／Ｄ変換部１０２によってデジタル信号に変換された画像信号は、画像処理部１０３に入力される。換言すれば、画像処理部１０３は、撮像素子から出力される撮影画像（画像信号）を取得する。画像処理部１０３は、ＷＢ処理部１０４、色補間部１０５、倍率色収差補正部１０６、信号処理部１０７を含んでおり、システムコントローラ１０８により制御される。ＷＢ処理部１０４では、公知のホワイトバランス（ＷＢ）処理が行われ、ＷＢ処理が行われた画像信号は色補間部１０５に入力される。なお、本実施例では、レンズ一体型の撮像装置を例として挙げているが、本発明はこれに限らずレンズ交換型の撮像装置、いわゆる交換レンズシステムの撮像装置にも適用することができる。
【００１３】
ここで、図１４を用いて色補間部１０５の動作を説明する。図１４（ａ）の公知のベイヤー配列をＲ成分、Ｇ成分、Ｂ成分ごとに分離する。分離した後にない画素位置に関しては０を挿入する（図１４（ｂ））。図１４（ｂ）で生成した各プレーン画像に対して、各成分ごとに公知の色補間処理を行う(図１４（ｃ）)。
【００１４】
再び図１に戻るが、色補間部１０５で公知の色補間が行われた画像信号は、倍率色収差補正部１０６に入力される。詳細は後述するが倍率色収差補正部１０６で補正された倍率色収差補正済みの画像信号は、信号処理部１０７に入力され、公知の輝度信号処理、色信号処理等が行われる。そして、画像処理部１０３で所定の処理を施された信号は、画像処理部１０３から出力され図示しない半導体メモリなどの画像記録媒体に所定のフォーマットで保存される。また、画像処理部１０３から出力された信号は、図示しないディスプレイ（表示部）に表示されてもよい。画像処理部１０３の動作は、システムコントローラ１０８（制御部）によって制御される。システムコントローラ１０８は、撮像装置全体を統括的に制御する。本実施形態では、画像処理部１０３（倍率色収差補正部１０６）とシステムコントローラ１０８とにより、光学系を介して撮影された画像（撮影画像）の倍率色収差を補正する画像処理装置が構成される。なお、本発明の画像処理装置は、撮像装置に搭載されるものに限定されず、撮像装置の外部に設けられるものであってもよい。例えば、撮像装置にインターネットを介して接続されたサーバーから構成されてもよい（クラウドコンピューティング）。もちろん、画像処理装置は画像情報を保存している他のパーソナルコンピュータ（ＰＣ）、携帯電話、ＰＤＡやゲーム機などの専用端末などにネットワークを介して接続されていてもよい。
【００１５】
続いて、図２を用いて倍率色収差補正部１０６の動作を説明する。図２は、倍率色収差補正部１０６の詳細を示す構成図である。ここでは、Ｇ画素に対するＢ画素の倍率色収差の補正を行う場合を例にとって説明する。２０１は色補間部１０５で色補間されたＢ信号、２０２は色補間部１０５で色補間されたＧ信号を示している。Ｂ信号２０１は、バイリニア補間部２０３とバイキュービック補間部２０４にそれぞれ入力される。バイリニア補間部（第３の補正手段）２０３は、周囲のＢ画素を使って公知のバイリニア補間（第２の補間処理）を行い、合成部２０５に入力される。バイリニア補間部２０３は、倍率色収差によって生じる第１色の光（Ｇ光）に対する第２色の光（Ｂ光）の１画素に満たない単位の色ずれ量を補正するためにバイリニア補間処理を行って倍率色収差を補正する。すなわち、撮影画像のＢ光の成分について画素間の信号成分を補間するバイリニア補間処理（第２の補間処理）を用いて色ずれ量を補正する。バイキュービック補間部（第１の補正手段）２０４は、周囲のＢ画素を使って公知のバイキュービック補間（第１の補間処理）を行い、合成部２０５、コントラスト判定部２０６および色差判定部２０７に入力される。バイキュービック補間部２０４は、倍率色収差によって生じる第１色の光（Ｇ光）に対する第２色の光（Ｂ光）の１画素に満たない単位の色ずれ量を補正するためにバイキュービック補間処理を行って倍率色収差を補正する。すなわち、撮影画像のＢ光の成分について画素間の信号成分を補間するバイキュービック補間処理（第１の補間処理）を用いて色ずれ量を補正する。第１の補正手段コントラスト判定部（第２の判定手段）２０６は、Ｇ信号またはＢ信号からコントラスト値（コントラスト情報）を取得し、詳細は後述するが、バイキュービック補間後のＢ信号またはＧ信号から高コントラストエッジであるか否かを判定する。そして、その判定結果は合成比率算出部２０８に入力される。色差判定部（第１の判定手段）２０７は、第１色の信号（Ｇ信号）と第２色の信号（Ｂ信号）の色差信号（色差情報）を取得し、詳細は後述するが、バイキュービック補間前後の色差信号からアンダーシュートを判定する。そして、その判定結果は合成比率算出部２０８に入力される。合成部２０５は、合成比率算出部２０８の出力に基づいて、バイキュービック補間部２０４から出力されるデータ（第１のデータ）とバイリニア補間部２０３から出力されるデータ（第２のデータ）とを合成する。すなわち、合成比率算出部２０８と合成部２０５は、撮影画像に関するコントラスト情報または色差情報の少なくとも一つに基づいて、第１のデータと第２のデータとを合成する合成手段として機能する。
【００１６】
図４〜図６を用いて、バイリニア補間およびバイキュービック補間について説明を行う。図４（ａ）と（ｂ）にバイキュービック補間とバイリニア補間の周波数応答をそれぞれ示す。横軸は周波数、縦軸は振幅を示している。バイリニア補間は、周波数応答特性は緩やかで再現精度の低いぼけた画像となるが、アンダーシュート・オーバーシュートは発生しないという特徴がある。一方、バイキュービック補間は、周波数応答特性はより急峻で再現精度が高くなるが、アンダーシュート／オーバーシュートが発生するという特徴がある。図４に示すように、バイリニア補間処理は、周波数応答の最大傾きで比較するとバイキュービック補間処理よりも緩やかな周波数特性（第２の周波数特性）を有する。また、バイキュービック補間処理は、周波数応答の最大傾きで比較するとバイリニア補間処理よりも急峻な周波数特性（第１の周波数特性）を有する。このように、バイキュービック補間部２０４は、撮影画像に対して、第１の周波数特性を有する第１の補間処理を行って第１のデータを出力する第１の補間手段として機能する。また、バイリニア補間部２０３は、撮影画像に対して、第１の周波数特性よりも緩やかな第２の周波数特性を有する第２の補間処理を行って第２のデータを出力する第２の補間手段として機能する。
【００１７】
図５にエッジがある被写体における倍率色収差補正後のラインプロファイルを示す。横軸は画素位置、縦軸は横軸の画素位置を１として正規化した場合の画素値を示している。５０３はＧ画素のラインプロファイル、５０１はバイリニア補間を行った場合のＢ画素のラインプロファイル、５０２はバイキュービック補間を行った場合のＢ画素のラインプロファイルを示している。Ｂ画素はサブピクセル単位（例えば０．５画素）で補正している。５０１のバイリニア補間を行ったＢ信号は、アンダーシュートおよびオーバーシュートは発生しないが、補間の影響によりＧ信号に対してぼけた信号となる。一方、５０２のバイキュービック補間を行ったＢ信号はＧ信号と同等のエッジを持つ信号（領域２）となるが、領域１でオーバーシュートが領域３でアンダーシュートが発生してしまう。アンダーシュートの影響により、輝度信号が周囲よりも沈んでみえたり、色つきが発生してしまう。以下の説明では、アンダーシュートに着目して説明を続ける。
【００１８】
図６にこのエッジがある被写体における色差信号（Ｂ−Ｇ）のラインプロファイルを示す。６０１がバイリニア補間後のＢ信号とＧ信号の差分信号、６０２がバイキュービック補間後のＢ信号とＧ信号の差分信号を示している。６０２のラインプロファイルで領域３でアンダーシュートが発生していることがわかる。本発明では６０２の領域３のようにアンダーシュートが発生している領域を検出して、アンダーシュート領域に関してはバイリニア補正の重みを強くする（重み付け処理を行う）ことでアンダーシュートの発生を抑制する。
【００１９】
図３のフローチャートを使って、本発明の色差判定部の動作を説明する。ステップＳ３０１で倍率補正前のＢ信号とＧ信号から補正前の色差信号Ｃｂを取得（演算）する。次にステップＳ３０２で進み、バイキュービック倍率補正後のＢ信号とＧ信号から補正後の色差信号Ｃｂ’を取得（演算）する。次に、ステップＳ３０３に進み、Ｃｂ’が負の値である場合はアンダーシュートの可能性があるとして、ステップＳ３０４へ進む。一方、ステップＳ３０３で、Ｃｂ’が負の値でない場合は、アンダーシュートの可能性がないとして、ステップＳ３０９に進む。次にステップＳ３０４で倍率補正前後の色差差分信号ＳｕｂＣｂを取得する。図６のアンダーシュートが発生している領域（領域３）では、この色差差分信号ＳｕｂＣｂが大きな値となっている。そのため、この色差差分信号ＳｕｂＣｂが所定値以上である場合はアンダーシュートであると判定する。次に、ステップＳ３０５に進み、閾値Ｔｈｒｅｓ１と比較してＳｕｂＣｂが小さい場合は、ステップＳ３０９に進み、判定値Ｖａｌ１を０に設定する。一方、ステップＳ３０５において、閾値Ｔｈｒｅｓ１と比較してＳｕｂＣｂが大きい場合は、ステップＳ３０６に進む。ステップＳ３０６において、閾値Ｔｈｒｅｓ２と比較してＳｕｂＣｂが大きい場合は、ステップＳ３０８に進み、判定値Ｖａｌ１を１に設定する。一方、ステップＳ３０６において、閾値Ｔｈｒｅｓ２と比較してＳｕｂＣｂが小さい場合は、ステップＳ３０７に進み、判定値Ｖａｌ１を線形補間により求める。このように、色差判定部（第１の判定手段）２０７は、Ｇ信号とＢ信号の色差信号を取得し、該色差信号に応じて、所定の数値範囲（本実施形態では０〜１）の中から数値を設定する。具体的に、色差判定部２０７は、バイキュービック補間処理を行う前のＢ信号からＧ信号を減算した第１の色差信号と、バイキュービック補間処理を行った後のＢ信号からＧ信号を減算した第２の色差信号を取得する。さらに、第１の色差信号から第２の色差信号を減算した差分信号を取得する。その後、色差判定部２０７は、第２の色差信号が０以上の値（正の値）である場合は、所定の数値範囲０〜１の中から最も小さい数値（すなわち０）を設定する。また、第２の色差信号が負の値である場合は、差分信号が大きくなると、設定する数値が大きくなるように、所定の数値範囲０〜１の中から数値を設定する。図９に上記処理におけるＳｕｂＣｂと閾値Ｔｈｒｅｓ１とＴｈｒｅｓ２と判定値Ｖａｌ１との関係を図示する。図９において、ＳｕｂＣｂがＴｈｒｅｓ１より小さい場合は判定値Ｖａｌ１は０を出力し、ＳｕｂＣｂがＴｈｒｅｓ２より大きい場合は判定値Ｖａｌ１は１を出力する。また、ＳｕｂＣｂが閾値Ｔｈｒｅｓ１と閾値Ｔｈｒｅｓ２との間の場合は、
【００２０】
【数１】
0006632339.tif 000002
【００２１】
となる。
【００２２】
上記説明したように、色差差分信号が大きい場合は、判定値Ｖａｌ１の値が大きくなり、アンダーシュートであると判定する。
【００２３】
続いて、図７のフローチャートを用いて、本発明のコントラスト判定部の動作を説明する。ステップＳ７０１で着目画素周辺のコントラスト値を取得する。図１２を用いて、コントラスト判定の一例を示す。着目画素はＧ１１で周辺画素の最大値と最小値の差分をコントラスト値Ｃｏｎｔとすると、
【００２４】
【数２】
0006632339.tif 000003
【００２５】
となる。
【００２６】
次に、ステップＳ７０２に進み、閾値Ｔｈｒｅｓ３と比較して、コントラスト値Ｃｏｎｔが小さい場合は、ステップＳ７０６に進み、判定値Ｖａｌ２を０に設定する。一方、ステップＳ７０２において、閾値Ｔｈｒｅｓ３と比較して、コントラスト値Ｃｏｎｔが大きい場合は、ステップＳ７０３に進む。ステップＳ７０３において、閾値Ｔｈｒｅｓ４と比較して、コントラスト値Ｃｏｎｔが大きい場合は、ステップＳ７０５に進み、判定値Ｖａｌ２を１に設定する。一方、ステップＳ７０３において、閾値Ｔｈｒｅｓ４と比較して、コントラスト値Ｃｏｎｔが小さい場合は、ステップＳ７０４に進み判定値Ｖａｌ２を線形補間により求める。このように、コントラスト判定部（第２の判定手段）２０６は、着目画素周辺のコントラスト値を取得し、該コントラスト値に応じて、所定の数値範囲（本実施形態では０〜１）の中から数値を設定する。具体的に、コントラスト判定部２０６は、Ｇ信号の着目画素の周辺のコントラスト値を取得し、該コントラスト値が大きくなると、設定する数値が大きくなるように、所定の数値範囲０〜１の中から数値を設定する。図１０に上記処理におけるコントラスト値Ｃｏｎｔと閾値Ｔｈｒｅｓ３とＴｈｒｅｓ４と判定値Ｖａｌ２との関係を図示する。図１０において、ＣｏｎｔがＴｈｒｅｓ３より小さい場合は判定値Ｖａｌ２は０を出力し、ＣｏｎｔがＴｈｒｅｓ３より大きい場合は判定値Ｖａｌ２は１を出力する。また、Ｃｏｎｔが閾値Ｔｈｒｅｓ３と閾値Ｔｈｒｅｓ４との間の場合は、
【００２７】
【数３】
0006632339.tif 000004
【００２８】
となる。
【００２９】
なお、ここではコントラストの判定にＧ画素を用いたが、Ｂ画素やまたは公知のＹ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂの割合で合成したＹ画素を用いてもよい。また、３×３の領域で検出したがこれに限られるものではない。
【００３０】
次に本発明の図２の合成部２０５および合成比率算出部２０８の動作について、図８のフローチャートを用いて説明する。ステップＳ８０１において、コントラスト判定の判定値Ｖａｌ２と色差判定の判定値Ｖａｌ１の結果を乗算した結果Ｖａｌを取得する。次に、ステップＳ８０２に進み、閾値Ｔｈｒｅｓ５と比較し、判定値ｖａｌが小さい場合は、ステップＳ８０６に進み、合成比ＭＩＸをｍｉｎ＿ｔｈｒｅｓに設定する。一方、ステップＳ８０２において、閾値Ｔｈｒｅｓ５と比較し、判定値ｖａｌが大きい場合は、ステップＳ８０３に進む。ステップＳ８０３において、閾値Ｔｈｅｒｓ６と比較し、判定値ｖａｌが大きい場合は、ステップＳ８０５に進み、合成比ＭＩＸをｍａｘ＿ｔｈｒｅｓに設定する。一方、ステップＳ８０３において、閾値Ｔｈｒｅｓ６と比較して、判定値Ｖａｌが小さい場合は、ステップＳ８０６に進み、合成比ＭＩＸを線形補間により求める。図１１に判定値Ｖａｌと合成比ＭＩＸの関係を図示する。図１１において、判定値ＶａｌがＴｈｒｅｓ５より小さい場合は合成比ＭＩＸはｍｉｎ＿ｔｈｒｅｓを出力し、判定値ＶａｌがＴｈｒｅｓ６より大きい場合は合成比ＭＩＸはｍａｘ＿ｔｈｒｅｓを出力する。また、判定値Ｖａｌが閾値Ｔｈｒｅｓ５と閾値Ｔｈｒｅｓ６との間の場合は、
【００３１】
【数４】
0006632339.tif 000005
【００３２】
となる。
【００３３】
再び図８のフローチャートに戻るが、ステップＳ８０４またはステップＳ８０５またはステップＳ８０６で合成比ＭＩＸが求まると、ステップＳ８０７に進み、合成比ＭＩＸに応じて、バイリニア補間後の画素値とバイキュービック補間後の画素値を合成する。
【００３４】
再び図２の図に戻るが、合成比率算出部２０８はコントラスト判定部（エッジ判定部）２０６の判定出力と色差判定部２０７の判定出力から、合成比率を求めて、合成部２０５に入力する。合成部２０５では合成比率算出部２０８の出力に基づいて、バイリニア補間とバイキュービック補間の出力の合成比を決定する。このように、本実施形態において合成比率算出部２０８および合成部２０５は、バイキュービック補間処理（第１の補間処理）と、バイリニア補間処理（第２の補間処理）と、を用いて倍率色収差（色ずれ量）を補正する第２の補正手段として機能する。第２の補正手段は、第１の補間処理と、第２の補間処理と、を用いて、第１の補間処理の結果（出力値）を補正する。具体的には、色差判定部２０７の結果とコントラスト判定部２０６の結果のうち少なくとも１つ（ここでは、その両方）に応じて、第１の補間処理の結果を、第２の補間処理を用いて画素間の信号成分を補間した結果で補正している。より具体的には、第１の補間処理を行った後のＢ信号からＧ信号を減算した色差信号および撮影画像のコントラストに応じて、第１の補間処理の結果（出力値）と第２の補間処理の結果（出力値）を、算出した合成比に基づいて合成する。本実施形態では、第１の補間処理を行った後のＢ信号からＧ信号を減算した色差信号および撮影画像のコントラストに応じて、第１の補間処理の結果（出力値）と第２の補間処理の結果（出力値）の合成比を変更する。具体的には、色差判定部２０７で設定される数値とコントラスト判定部２０６で設定される数値を乗算した数値が大きくなるほど、第１の補間処理の結果に対し第２の補間処理の結果の割合が大きくなるように、合成比を変更する。バイリニア補間後の画素値Ｂ＿ｌｉｎ、バイキュービック補間後の画素値Ｂ＿ｃｕｂとすると合成比率ＭＩＸ（０〜１）とすると、合成後の画素値Ｂ＿ｏｕｔは、
【００３５】
【数５】
0006632339.tif 000006
【００３６】
となる。
【００３７】
上記説明したように、バイキュービック補間を行った倍率色収差補正前後のＢ信号とＧ信号から求めた色差差分信号が大きく、かつ、コントラストが大きいことを検出した場合は、バイリニア補間後の合成比率を強めに設定する（重み付け処理を行う）。換言すれば、補間関数の周波数応答特性を穏やかな設定に変更する。このようにすることで、通常領域のコントラストを維持しながら、アンダーシュートの影響による画質の低下を抑えることが可能となる。
【００３８】
また、本実施例では、Ｂ画素の補正について説明を行ったが、Ｒ画素の補正についても同様であるため、説明を省略する。
【００３９】
本実施形態によれば、Ｂ画素の補間による帯域の消失をなくしながら、アンダーシュートおよびオーバーシュートの発生を抑えることができ、精度の高い倍率色収差の補正を行うことが可能となる。よって、倍率色収差の補正に有利な画像処理装置、撮像装置、画像処理方法を提供することができる。
【実施例２】
【００４０】
以下、本発明の第二の実施形態について図１３のフローチャートを参照して説明する。第二の実施例では、第一の実施例に対して図２の合成比率算出部の動作が異なるのみなので、それ以外の部分については説明を省略する。図１３のステップＳ１３０１において、コントラスト判定の判定値Ｖａｌ２と色差判定の判定値Ｖａｌ１の結果のＭＡＸ値を判定値としてＶａｌを取得する。以下、ステップＳ１３０２以下に関しては、第一の実施例において、図８を用いて説明したものと内容が同等のため、詳細な説明を省略する。すなわち、本実施形態においても合成比率算出部２０８および合成部２０５は、バイキュービック補間処理（第１の補間処理）と、バイリニア補間処理（第２の補間処理）と、を用いて倍率色収差（色ずれ量）を補正する第２の補正手段として機能する。第２の補正手段は、第１の補間処理と、第２の補間処理と、を用いて、第１の補間処理の結果（出力値）を補正する。具体的には、色差判定部２０７の結果とコントラスト判定部２０６の結果のうち少なくとも１つ（ここでは、いずれか大きい方）に応じて、第１の補間処理の結果を、第２の補間処理を用いて画素間の信号成分を補間した結果で補正している。より具体的には、第１の補間処理を行った後のＢ信号からＧ信号を減算した色差信号または撮影画像のコントラストに応じて、第１の補間処理の結果（出力値）と第２の補間処理の結果（出力値）を、算出した合成比に基づいて合成する。本実施形態では、第１の補間処理を行った後のＢ信号からＧ信号を減算した色差信号または撮影画像のコントラストに応じて、第１の補間処理の結果（出力値）と第２の補間処理の結果（出力値）の合成比を変更する。具体的には、色差判定部２０７で設定される数値とコントラスト判定部２０６で設定される数値のうち大きい方の数値が大きくなるほど、第１の補間処理の結果に対し第２の補間処理の結果の割合が大きくなるように、合成比を変更する。
【００４１】
上記説明したように、バイキュービック補間を行った倍率色収差補正前後のＢ信号とＧ信号から求めた色差差分信号が大きい、または、コントラストが大きいことを検出した場合は、バイリニア補間後の合成比率を強めに設定する（重み付け処理を行う）。換言すれば、補間関数の周波数応答特性を穏やかな設定に変更する。このようにすることで、通常領域のコントラストを維持しながら、アンダーシュートの影響による画質の低下を抑えることが可能となる。
【００４２】
このように、本実施形態によれば、Ｂ画素の補間による帯域の消失をなくしながら、アンダーシュートおよびオーバーシュートの発生を抑えることができ、精度の高い倍率色収差の補正を行うことが可能となる。よって、倍率色収差の補正に有利な画像処理装置、撮像装置、画像処理方法を提供することができる。
【００４３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４４】
例えば、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００４５】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。
【００４６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００４７】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【産業上の利用可能性】
【００４８】
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【００４９】
２０４ バイキュービック補間部
２０５ 合成部
２０８ 合成比率算出部
【図１】
0006632339.tif 000007
【図２】
0006632339.tif 000008
【図３】
0006632339.tif 000009
【図４】
0006632339.tif 000010
【図５】
0006632339.tif 000011
【図６】
0006632339.tif 000012
【図７】
0006632339.tif 000013
【図８】
0006632339.tif 000014
【図９】
0006632339.tif 000015
【図１０】
0006632339.tif 000016
【図１１】
0006632339.tif 000017
【図１２】
0006632339.tif 000018
【図１３】
0006632339.tif 000019
【図１４】
0006632339.tif 000020