(57)【要約】【課題】簡易な回路構成によって色収差の低減を可能とする画像処理装置を提供すること。【解決手段】画像データとして入力された元画像を構成する入力画素と、画像データの処理により前記入力画素を基に合成される出力画素と、の位置関係を示す位相情報を生成する位相生成手段である位相生成部１０と、位相生成手段で生成された位相情報に応じた畳み込み演算により、入力画素の画素値から出力画素の画素値を生成する畳み込み演算手段である水平畳み込み演算部１３、垂直畳み込み演算部１４と、を有し、位相生成手段は、元画像のスケーリング処理のためのスケーリング用位相情報に、元画像の色収差を補正するための位相補正量を加算することにより、位相情報を生成する。【選択図】図２
2011040806.tif 000002
【特許請求の範囲】
【請求項１】
画像データとして入力された元画像を構成する入力画素と、前記画像データの処理により前記入力画素を基に合成される出力画素と、の位置関係を示す位相情報を生成する位相生成手段と、
前記位相生成手段で生成された前記位相情報に応じた畳み込み演算により、前記入力画素の画素値から前記出力画素の画素値を生成する畳み込み演算手段と、を有し、
前記位相生成手段は、前記元画像のスケーリング処理のためのスケーリング用位相情報に、前記元画像の色収差を補正するための位相補正量を加算することにより、前記位相情報を生成することを特徴とする画像処理装置。
【請求項２】
前記位相生成手段により生成される前記位相情報には、前記入力画素と前記出力画素との位相差が含まれることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記元画像における前記入力画素の位置に応じて前記位相補正量を算出する色収差補正量算出手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記色収差補正量算出手段は、前記元画像における前記入力画素の位置と前記位相補正量との関数を用いた演算により、前記位相補正量を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記元画像における所定の位置ごとの前記位相補正量の参考値をテーブルとして保持し、
前記色収差補正量算出手段は、前記入力画素の位置に応じて前記参考値を補間処理することにより、前記位相補正量を算出することを特徴とする請求項３に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
撮像装置に使用される光学レンズによって生じる収差の一つとして、色収差が知られている。色収差は、撮像した画像において赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの像面がシフト或いは変形する現象として発生する。その結果、主に画像のエッジに、被写体とは異なる色が現れることとなる。代表的な色収差である軸上色収差、倍率色収差のうち、特に、倍率色収差については光学的な手法により除去することが大変難しいとされている。そこで従来、画像信号の処理によって倍率色収差を低減させるための技術が提案されている（例えば、特許文献１参照）。かかる技術では簡易な回路構成によって倍率色収差を低減させる補正が可能である。しかし、面内で補正量を一定とするため、非球面レンズを用いる場合やレンズ枚数が多くなる場合に生じる複雑な色収差については、十分な補正が困難となるという問題を生じる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４２１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、簡易な回路構成によって色収差の低減を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願発明の一態様によれば、画像データとして入力された元画像を構成する入力画素と、前記画像データの処理により前記入力画素を基に合成される出力画素と、の位置関係を示す位相情報を生成する位相生成手段と、前記位相生成手段で生成された前記位相情報に応じた畳み込み演算により、前記入力画素の画素値から前記出力画素の画素値を生成する畳み込み演算手段と、を有し、前記位相生成手段は、前記元画像のスケーリング処理のためのスケーリング用位相情報に、前記元画像の色収差を補正するための位相補正量を加算することにより、前記位相情報を生成することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００６】
本発明によれば、簡易な回路構成によって色収差を低減させることができるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】実施の形態に係る画像処理装置を備える撮像装置の構成を示すブロック図。
【図２】画像処理装置のうち本実施の形態の特徴的な部分の構成を示すブロック図。
【図３】倍率色収差によって現れる像のシフト量について説明する図。
【図４】スケーリング処理について説明する概念図。
【図５】位相生成部の詳細な構成を示すブロック図。
【図６】画像処理装置におけるスケーリング処理と色収差補正とについて説明する概念図。
【図７】補間処理により位相補正量を算出する場合における元画像の分割について説明する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。
【０００９】
（実施の形態）
図１は、実施の形態に係る画像処理装置４を備える撮像装置の構成を示すブロック図である。撮像レンズ１は、被写体からの光を取り込むための光学系を構成する。ＩＲカットフィルタ２は、撮像レンズ１により取り込まれた光から赤外光を除去する。
【００１０】
イメージセンサ部３は、撮像レンズ１により取り込まれた光を信号電荷に変換することにより、被写体像を撮像する。イメージセンサ部３は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の画素値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、撮像条件に応じたゲインにて順次増幅させる。さらに、イメージセンサ部３は、得られた画像信号をアナログ方式からデジタル方式へ変換させる。画像処理装置４は、イメージセンサ部３から入力されたデジタル画像信号に対して、種々の処理を施す。記録部５は、画像処理装置４から入力された画像データをメモリや記録媒体に記録する。
【００１１】
図２は、画像処理装置４のうち本実施の形態の特徴的な部分の構成を示すブロック図である。本実施の形態は、スケーリング処理のためのスケーリング用位相情報に、色収差補正のための位相補正量を加算することを特徴とする。位相生成部（位相生成手段）１０は、入力画素と出力画素との位置関係を示す位相情報を、水平方向と垂直方向とについて生成する。
【００１２】
入力画素は、画像データとしてイメージセンサ部３から入力された元画像を構成する画素とする。出力画素は、画像データの処理により入力画素を基に合成された画素とする。位相生成部１０により生成される位相情報には、入力画素と出力画素との位相差と、入力画素の位相とが含まれている。水平用係数生成部１１は、水平方向についての位相差を用いて、水平方向についての畳み込み係数を生成する。垂直用係数生成部１２は、垂直方向についての位相差を用いて、垂直方向についての畳み込み係数を生成する。
【００１３】
水平畳み込み演算部１３は、水平方向についての畳み込み係数と、入力画素の位相とに応じた、水平方向についての畳み込み演算により、入力画素の画素値から出力画素の画素値を生成する。垂直畳み込み演算部１４は、垂直方向についての畳み込み係数と、入力画素の位相とに応じた、垂直方向についての畳み込み演算により、入力画素の画素値から出力画素の画素値を生成する。水平畳み込み演算部１３及び垂直畳み込み演算部１４は、畳み込み演算手段として機能する。ラインメモリ１５は、ベイヤー配列に対応する順序で伝達されてくる画像信号のデータを一時的に貯える。出力画素の画素値は、垂直方向について生成された画素値に同期させて、ラインメモリ１５から水平方向について生成された画素値と合わせて出力される。
【００１４】
ここで、図２に示す構成の動作を説明する前に、色収差の補正とスケーリング処理とについて説明する。図３は、倍率色収差によって現れる像のシフト量（偏差）について説明する図である。Ｇについての像を基準とした場合における像のシフト量ｅは、光軸中心からの距離ｒの関数で表される。本来、シフト量ｅは距離ｒとともに増加するが、収差の最大偏差を小さく抑えようとする光学設計により、図中（ａ）に示すように、関数ｅ（ｒ）は距離ｒの高次関数となる。ここで、ｅ＿Ｒ（ｒ）は、Ｇを基準としたＲの偏差、ｅ＿Ｂ（ｒ）は、Ｇを基準としたＢの偏差とする。ｅ＿Ｒ（ｒ）は、収差仕様の上限に収まるような高次関数となる。ｅ＿Ｂ（ｒ）は、収差仕様の下限に収まるような高次関数となる。
【００１５】
本実施の形態では、図中（ｂ）に示すように、光学系のレンズ設計値に対して、ｅ＿Ｒ（ｒ）、ｅ＿Ｂ（ｒ）の近似関数ｆ＿Ｒ（ｒ）、ｆ＿Ｂ（ｒ）を予め求めることとする。近似関数ｆ＿Ｒ（ｒ）、ｆ＿Ｂ（ｒ）は、何らかの方法を用いて偏差を実測し、実測値に対して求めることとしても良い。近似関数ｆ＿Ｒ（ｒ）、ｆ＿Ｂ（ｒ）により、画面中の位置に対応したシフト量を求め、画素を移動させることで、色収差を低減させる補正が可能となる。
【００１６】
図４は、スケーリング処理について説明する概念図である。デジタルズーム等におけるスケーリング（リサイズ）用のアルゴリズムとしては、一般に、バイリニア、バイキュービック等のアルゴリズムが多く使われている。かかるアルゴリズムでは、入力画素と出力画素との位相差を計算し、位相差に応じた畳み込み係数を用いた畳み込み演算によりスケーリングを実行する。ここでは、水平方向について、６つの入力画素から１つの出力画素を合成する畳み込み演算を例として説明する。
【００１７】
畳み込み演算のための関数は、出力画素の位相中心と、入力画素の位相中心との間の距離に応じた減衰関数とする。各入力画素に対する畳み込み係数は、入力画素と出力画素との位相差△ｐ（ｘ）から計算される。入力画素の画素値に畳み込み係数を乗算し、足し合わせた値が、出力画素の画素値となる。このような計算は、垂直方向についても実行される。また、画素数を減少させるダウンスケーリングの場合に限られず、画素数を増大させるアップスケーリングの場合の処理も同様とする。
【００１８】
図２に示した位相生成部１０では、色収差補正の設定、スケーリングの設定がなされる。色収差補正の設定としては、例えば近似関数ｆ＿Ｒ（ｒ）、ｆ＿Ｂ（ｒ）が入力される。スケーリングの設定としては、例えば指示された縮尺などが入力される。
【００１９】
図５は、位相生成部１０の詳細な構成を示すブロック図である。水平位相算出部２１は、元画像における入力画素の位置情報、例えば入力画素座標が入力されると、水平方向について、入力画素と出力画素との位相差（水平位相差）、入力画素の位相（水平入力画素位相）を算出する。水平位相算出部２１は、スケーリング設定に応じて、水平位相差、水平入力画素位相を算出する。垂直位相算出部２２は、垂直方向について、入力画素と出力画素との位相差（垂直位相差）、入力画素の位相（垂直入力画素位相）を算出する。垂直位相算出部２２は、スケーリング設定に応じて、垂直位相差、垂直入力画素位相を算出する。スケーリング用位相情報には、水平位相差、水平入力画素位相、垂直位相差、及び垂直入力画素位相が含まれている。
【００２０】
色収差補正量算出部２３は、元画像における入力画素の位置情報、たとえば入力画素座標が入力されると、水平方向及び垂直方向について、位相補正量を算出する。色収差補正量算出部２３は、色収差補正のために設定された近似関数ｆ＿Ｒ（ｒ）、ｆ＿Ｂ（ｒ）を用いた演算により、位相補正量を算出する。位相生成部１０は、水平位相算出部２１で算出された水平位相差、水平入力画素位相、垂直位相算出部２２で算出された垂直位相差、垂直入力画素位相のそれぞれに、色収差補正量算出部２３で算出された位相補正量を加算して出力する。このようにして、位相生成部１０は、元画像のスケーリング処理のためのスケーリング用位相情報に、元画像の色収差を補正するための位相補正量を加算することにより、位相情報を生成する。
【００２１】
図６は、画像処理装置４におけるスケーリング処理と色収差補正とについて説明する概念図である。水平方向における座標をｘ、垂直方向における座標をｙ、として、ｒ＝（ｘ，ｙ）と定義することとする。近似関数ｆ＿Ｒ（ｒ）の水平成分を△ｑ（ｘ）とすると、スケーリング処理及び色収差補正のための画素のシフト量は、△ｐ（ｘ）＋△ｑ（ｘ）となる。なお、△ｑ（ｘ）は、以下の式（１）により表される。
△ｑ（ｘ）＝ｆ｛（ｘ２＋ｙ２）１／２｝×ｃｏｓ｛ａｒｃｔａｎ（ｙ／ｘ）｝  （１）
【００２２】
垂直方向についても、近似関数ｆ＿Ｒ（ｒ）の垂直成分を△ｑ（ｙ）とすると、スケーリング処理及び色収差補正のための画素のシフト量は、△ｐ（ｙ）＋△ｑ（ｙ）となる。
【００２３】
カメラ用の信号処理回路やソフトウェアには、デジタルズーム等に使われる画像スケーリング用のフィルタが内蔵される場合が多い。本実施の形態に係る画像処理装置４は、スケーリング回路に色収差補正の機能を持たせることにより、簡易な回路構成によって色収差を低減させることが可能となる。また、スケーリング回路に色収差補正の機能を持たせることで、撮像装置の光学系は、色収差補正のためのスペックを緩和させることが可能となる。これにより、光学系の製造性を高め、歩留まりの向上を図れる。色収差のスペックを緩和させることで、近似関数ｆ＿Ｒ（ｒ）、ｆ＿Ｂ（ｒ）は、直線としても良い。
【００２４】
色収差補正量算出部２３は、近似関数ｆ＿Ｒ（ｒ）、ｆ＿Ｂ（ｒ）を用いた演算により位相補正量を算出する場合に限られない。色収差補正量算出部２３は、元画像における所定の位置ごとの位相補正量の参考値をテーブルとして保持し、入力画素の位置に応じて参考値を補間処理することにより、位相補正量を算出することとしても良い。
【００２５】
例えば、元画像の水平ラインから５点を抽出し、各点について算出された位相補正量を参考値とする。かかる参考値は、例えば、水平ラインについてのブランキング期間などにおける演算により、予め求められる。参考値を予め求めた位置同士の間の入力画素に対しては、例えば参考値の直線補間により位相補正量を算出することとする。これにより、各入力画素に対する式（１）のような演算が不要となり、位相生成部１０における演算の簡略化が可能となる。
【００２６】
さらに、例えば、図７に示すように、元画像を水平方向及び垂直方向についてそれぞれ５分割し、各分割領域の中心位置について予め算出された位相補正量を参考値としてテーブルに保持することとしても良い。図示する各分割領域に示した矢印の方角は、色収差の補正のために画素をシフトさせる方角を表し、矢印の長さは、シフト量を表すものとする。参考値を予め求めた位置同士の間の入力画素に対しては、例えばバイリニア等の補間により位相補正量を算出できる。
【符号の説明】
【００２７】
４  画像処理装置、１０  位相生成部、１３  水平畳み込み演算部、１４  垂直畳み込み演算部、２３  色収差補正量算出部。
【図１】
2011040806.tif 000003
【図２】
2011040806.tif 000004
【図３】
2011040806.tif 000005
【図４】
2011040806.tif 000006
【図５】
2011040806.tif 000007
【図６】
2011040806.tif 000008
【図７】
2011040806.tif 000009