(57)【要約】  各画素の色を所定の基準波長成分、第１波長成分および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理装置において、第１波長成分および第２波長成分について、倍率色収差の像高に対応する補正値を用いて、像高における歪曲収差量をそれぞれ補正する第１収差量補正手段と、基準波長の各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分の各画素に対しては、基本式の歪曲収差量を、第１収差量補正手段によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第１位置算出手段とを備える。
2008096534.tif 000002
【特許請求の範囲】
【請求項１】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理装置において、
前記第１波長成分および前記第２波長成分について、倍率色収差の前記像高に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第１収差量補正手段と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および前記第２波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第１収差量補正手段によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第１位置算出手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理装置において、
前記基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の像高に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第２収差量補正手段と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分の各画素に対しては、前記基本式の歪曲収差量を、第２収差量補正手段によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第２位置算出手段と
を備えたことを特徴とする画像処理装置。
【請求項３】
矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第１波長成分または第２波長成分に対応するフィルタが配置された構成の２次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、
前記第１波長成分および第２波長成分に対応するフィルタが配置された画素の前記像高に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第２収差量補正手段と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第２収差量補正手段によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第２位置算出手段と
を備えたことを特徴とする画像処理装置。
【請求項４】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理装置において、
前記第１波長成分および第２波長成分について、倍率色収差の前記像高に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第１変倍率補正手段と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分の各画素に対しては、前記基本式の基準波長についての変倍率を、前記第１変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第３位置算出手段と
を備えたことを特徴とする画像処理装置。
【請求項５】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理装置において、
前記基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第２変倍率補正手段と、
前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第２変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第４位置算出手段と
を備えたことを特徴とする画像処理装置。
【請求項６】
矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第１波長成分または第２波長成分に対応するフィルタが配置された構成の２次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、
前記第１波長成分および第２波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第２変倍率補正手段と、
前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第２変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第４位置算出手段と
を備えたことを特徴とする画像処理装置。
【請求項７】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理方法において、
前記第１波長成分および第２波長成分について、倍率色収差の前記像高に対応する補正値を用いて、像高における歪曲収差量をそれぞれ補正する第１収差量補正手順と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第１収差量補正手順によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差による補正を含んだ歪曲収差による結像位置のずれ量を推定する第１位置算出手順と
を備えたことを特徴とする画像処理方法。
【請求項８】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理方法において、
前記基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の像高に関する倍率色収差に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第２収差量補正手順と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第２収差量補正手順によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第２位置算出手順と
を備えたことを特徴とする画像処理方法。
【請求項９】
矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第１波長成分または第２波長成分に対応するフィルタが配置された構成の２次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、
前記第１波長成分および第２波長成分に対応するフィルタが配置された画素の像高に関する倍率色収差に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第２収差量補正手順と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第２収差量補正手順によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第２位置算出手順と
を備えたことを特徴とする画像処理方法。
【請求項１０】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理方法において、
前記第１波長成分および第２波長成分について、倍率色収差の前記像高に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第１変倍率補正手順と、
前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分の各画素に対しては、前記基本式の基準波長についての変倍率を、第１変倍率補正手順によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第３位置算出手順と
を備えたことを特徴とする画像処理方法。
【請求項１１】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理方法において、
前記基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第２変倍率補正手順と、
前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第２変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差による補正を含んだ歪曲収差による結像位置のずれ量を推定する第４位置算出手順と
を備えたことを特徴とする画像処理方法。
【請求項１２】
矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第１波長成分または第２波長成分に対応するフィルタが配置された構成の２次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、
前記第１波長成分および第２波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第２変倍率補正手順と、
前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第１波長成分および第２波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第２変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差による補正を含んだ歪曲収差による結像位置のずれ量を推定する第４位置算出手順と
を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本発明は、デジタルカメラなどで撮影した画像について、歪曲収差や倍率色収差などの像高に応じて変化する収差を補正する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラやカラーイメージスキャナなどに搭載されている２次元イメージセンサの受光面には、光の３原色に対応する３色のカラーフィルタがイメージセンサにおける画素の配置に従って配置されており、カラーフィルタを透過した成分の光の強度を反映する電気信号が各画素において得られる。【０００３】
一般的な２次元イメージセンサでは、正方形の画素が碁盤の目状に配置されており、Ｒ、Ｇ、Ｂ各成分に対応する分光フィルタがＢａｙｅｒ配列に従って配置されている。このＢａｙｅｒ配列では、輝度成分を反映しているＧ成分に対応する波長の光を透過するフィルタが斜め方向に連続して配置されており、Ｒ成分およびＢ成分に対応する波長の光を透過するフィルタは、行、列ともにそれぞれ一つ飛びで配置されている。【０００４】
上述したようなＢａｙｅｒ配列で分光フィルタが配置されたイメージセンサでは、各画素の画素値は対応する分光フィルタの透過波長に対応する成分の強度のみを示しているので、イメージセンサ上に結像された像の各画素の位置における色は、周囲の画素値をＲ、Ｇ、Ｂ成分それぞれについて補間することによって求められている。【０００５】
このようにして、Ｂａｙｅｒ配列の分光フィルタが配置されたイメージセンサで得られるＢａｙｅｒ画像から各画素の位置における色を示すＲ、Ｇ、Ｂ成分の揃った画像データを求める補間処理は、ｄｅＢａｙｅｒ処理と呼ばれている。【０００６】
２次元イメージセンサによってＢａｙｅｒ画像が得られる場合には、一般に、まず、上述したようなｄｅＢａｙｅｒ処理を行って各画素についてＲ、Ｇ、Ｂ成分の揃った画像データを得た後に、歪曲収差や倍率色収差の補正処理などの様々な画像処理を行う場合が多かった(特許文献１参照)。【０００７】
一方、倍率色収差は、基準波長に対応するＧ成分とＲ、Ｂ成分との各像高における色ずれとして捉えられるので、倍率色収差を補間処理前のＢａｙｅｒ画像の段階で、Ｂａｙｅｒ画像において分布している各Ｒ画素および各Ｂ画素の位置における画素値を線形補間によって求めて補正することにより、倍率色収差の補正に要する計算量の削減を図る技術も提案されている。
【特許文献１】特許３５４９４１３号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１に記載された技法のように、ｄｅＢａｙｅｒ処理後の画像データについて歪曲収差および倍率色収差の補正処理を行う場合には、Ｒ、Ｇ、Ｂ成分それぞれについて１画面分の画像データについて、補正処理のための位置計算処理および補間演算処理を行う必要があり、計算量が膨大である。【０００９】
収差補正処理にかかわる計算量の削減のためには、歪曲収差および倍率色収差を含む像高に依存する収差を、Ｂａｙｅｒ画像の段階で一括して補正する手法が有効であると考えられる。【００１０】
しかしながら、特許文献１に記載された技法では、各画素の位置に対応する像高においてＧ成分について求めた歪曲収差の成分に、Ｒ成分およびＢ成分についての倍率色収差の成分を加算することによって、注目している位置におけるＲ成分およびＢ成分についての補正量を算出しているため、Ｂａｙｅｒ画像段階での収差補正処理を行うメリットを十分に生かすことができない。なぜなら、特許文献１に記載された技法をそのまま適用したのでは、Ｒ画素およびＢ画素についての位置計算においても、これらの画素位置におけるＧ成分についての歪曲収差量を求める必要があるからである。【００１１】
本発明は、２次元イメージセンサを用いて取得された画像データについて、倍率色収差および歪曲収差を含む像高に依存する収差を一括して補正する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した目的は、以下のように構成される画像処理装置によって達成される。【００１３】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理装置において、第１収差量補正手段は、第１波長成分および第２波長成分について、倍率色収差の像高に対応する補正値を用いて、像高における歪曲収差量をそれぞれ補正する。第１位置算出手段は、基準波長の各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれの各画素に対しては、基本式の歪曲収差量を、第１収差量補正手段によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する。【００１４】
上述した目的は、以下のように構成される画像処理装置によって達成される。【００１５】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理装置において、第２収差量補正手段は、基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の像高に対応する補正値を用いて、像高における歪曲収差量をそれぞれ補正する。第２位置算出手段は、基準波長の各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれの各画素に対しては、基本式の歪曲収差量を、第２収差量補正手段によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する。【００１６】
上述した目的は、以下のように構成される画像処理装置によって達成される。【００１７】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理装置において、第１変倍率補正手段は、第１波長成分および第２波長成分について、倍率色収差の像高に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する。第３位置算出手段は、基準波長の各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれの各画素に対しては、基本式の基準波長についての変倍率を、第１変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する。【００１８】
上述した目的は、以下のように構成される画像処理装置によって達成される。【００１９】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理装置において、第２変倍率補正手段は、基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する。第４位置算出手段は、基準波長に対応する各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれに対応する画素については、基本式の基準波長についての変倍率を、第２変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する。【００２０】
上述した目的は、以下のように構成される画像処理方法によって達成される。【００２１】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理方法において、第１収差量補正手順は、第１波長成分および第２波長成分について、倍率色収差の像高に対応する補正値を用いて、像高における歪曲収差量をそれぞれ補正する。第１位置算出手順は、基準波長の各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれの各画素に対しては、基本式の歪曲収差量を、第１収差量補正手順によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差による影響を含んだ歪曲収差による結像位置のずれ量を推定する。【００２２】
上述した目的は、以下のように構成される画像処理方法によって達成される。【００２３】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理方法において、第２収差量補正手順は、基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の像高に関する倍率色収差に対応する補正値を用いて、像高における歪曲収差量をそれぞれ補正する。第２位置算出手順は、基準波長の各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれの各画素に対しては、基本式の歪曲収差量を、第２収差量補正手順によって第１波長成分および第２波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する。【００２４】
上述した目的は、以下のように構成される画像処理方法によって達成される。【００２５】
各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第１波長成分の画素値および第２波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理方法において、第１変倍率補正手順は、第１波長成分および第２波長成分について、倍率色収差の像高に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する。第３位置算出手順は、基準波長の各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれの各画素に対しては、基本式の基準波長についての変倍率を、第１変倍率補正手順によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する。【００２６】
上述した目的は、以下のように構成される画像処理方法によって達成される。【００２７】
正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の２次元イメージセンサによって得られるＢａｙｅｒ画像について像高に依存する収差を補正する処理を行う画像処理方法において、第２変倍率補正手順は、基準波長とは異なる第１波長成分および第２波長成分に対応するフィルタが配置された画素の像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する。第４位置算出手順は、基準波長に対応する各画素に対しては、像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、第１波長成分および第２波長成分それぞれに対応する画素については、基本式の基準波長についての変倍率を、第２変倍率補正手段によって第１波長成分および第２波長成分について求められた補正後の変倍率に置き換えて、倍率色収差による影響を含んだ歪曲収差による結像位置のずれ量を推定する。
【図面の簡単な説明】
【００２８】
【図１】本発明にかかわる画像処理装置の実施形態を示す図である。
【図２】本発明にかかわる画像処理装置の別実施形態を示す図である。
【図３】本発明にかかわる画像処理装置の別実施形態を示す図である。
【発明を実施するための最良の形態】
【００２９】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。【００３０】
図１に、本発明にかかわる画像処理装置の実施形態を示す。【００３１】
図１に示したデジタルカメラにおいて、画像の撮影の際に撮影光学系２１によって撮像素子２２上に結像された光は、この撮像素子２２によってその強度に応じた電気信号に変換され、更に、アナログ／デジタル(Ａ／Ｄ)変換器２３によってデジタルデータに変換されてメモリ２４に保持される。【００３２】
図１に示したメモリ２４は、バスを介して画像処理部２５、記録処理部２６および撮影制御部２８に接続されている。上述したようにしてメモリ２４に格納されたデジタルデータについて、画像処理部２５により、符号化処理を含む画像処理が行われ、この画像処理結果として得られた圧縮画像データがバスを介して記録処理部２６に渡されて、記憶媒体２７に記録される。また、これらの各部、図示しないオートフォーカス制御部およびストロボの光源を駆動するストロボ駆動回路の動作は、操作パネル(図示せず)を介して利用者が入力した指示に従って撮影制御部２８によって制御される。【００３３】
図１に示した撮像素子２２として、Ｂａｙｅｒ配列に従って分光フィルタが配置された２次元ＣＣＤイメージセンサが備えられている場合には、アナログ・デジタル変換器２３によって得られたＢａｙｅｒ画像データが、メモリ２４を介して画像処理部２５による処理に供される。【００３４】
この画像処理部２５において、収差補正部３１は、Ｂａｙｅｒ画像から上述した２次元イメージセンサを構成する各画素についてＲ、Ｇ、Ｂ成分が揃った画像データを生成するために補間処理部３２によって行われるｄｅＢａｙｅｒ処理に先立って、歪曲収差および倍率色収差を補正する処理とともにこれに伴う変倍処理を行う。また、補間処理部３２によって得られた画像データは、符号化処理部３３において圧縮符号化され、記録処理部２６に渡される。【００３５】
図１に示した収差補正部３１により、例えば、歪曲収差を補正する場合には、まず、位置計算部３５により、歪曲収差補正のための座標位置の計算を行った後に、画素値算出部３６で前記座標位置の画素値が求められる。【００３６】
歪曲収差の補正のための位置計算では、一般に、２次元ＣＣＤイメージセンサにおける画素の配置に従って表す座標系における位置を表す座標値(ｘＣＣＤ、ｙＣＣＤ)と歪曲収差が補正された画像における座標(ｘｏ、ｙｏ)との関係を、２次元イメージセンサの中心Ｓｃを示す座標値(ｘｃ、ｙｃ)と像高比ｒにおける歪曲収差量Ｄ(ｒ)および歪曲補正後の画像のトリミングするための変倍率Ｄαとを用いて結ぶ式(１)で表すことで、座標(ｘｏ、ｙｏ)が求められる。【００３７】
【数１】
2008096534.tif 000003
【００３８】
ここで、基準波長であるＧ成分に比べて波長の長いＲ成分および逆に波長の短いＢ成分の光は、撮像光学系において、Ｇ成分の光とはわずかに異なる光路を通って結像するため、Ｂａｙｅｒ画像を構成するＲ画素およびＢ画素については、上述した歪曲収差に加えて、倍率色収差を補正する必要がある。【００３９】
この倍率色収差は、Ｇ画素について適用する変倍率Ｄαと、Ｒ画素およびＢ画素について歪曲収差を補正するための位置計算において適用すべき変倍率との差異として捉えることができる。【００４０】
したがって、像高比ｒにおけるＲ成分およびＢ成分の倍率色収差による変倍率の変動量を示すδＤＲ(ｒ)、δＤＢ(ｒ)を用いて、式(１)の変倍率を補正することにより、式(２)、(３)に示すように、Ｒ成分およびＢ成分に関する歪曲収差補正のための位置計算式を得ることができる。【００４１】
【数２】
2008096534.tif 000004
【００４２】
図１に示した位置計算部３５は、Ｂａｙｅｒ画像を構成するＧ画素については式(１)を適用し、Ｒ画素およびＢ画素については、それぞれ式(２)、(３)を適用して、それぞれの画素位置に関する位置計算を行う。このとき、位置計算部３５は、撮像光学系に関する設計データと撮影制御部２８から渡される撮影条件(焦点距離、焦点位置、絞りなど)とに基づいて、上述した歪曲収差量Ｄ(ｒ)および変倍率の変動量δＤＲ(ｒ)、δＤＢ(ｒ)を、注目画素に関する像高比ｒについて求め、位置計算処理に適用する。【００４３】
このようにしてＲ画素およびＢ画素について得られた座標値(ｘｏ、ｙｏ)には、倍率色収差による変倍率の変動量を示すδＤＲ(ｒ)、δＤＢ(ｒ)が適切に反映されている。【００４４】
したがって、位置計算部３５によって算出された座標値(ｘｏ、ｙｏ)を図１に示した画素値算出部３６に渡し、この座標値(ｘｏ、ｙｏ)で示される位置の近傍の対応する成分の画素値を用いた補間処理に供することにより、注目している画素について像高に依存する収差が補正された画素値を高い精度で求めることができる。【００４５】
この画素値算出部３６によって、Ｂａｙｅｒ画像を構成するＲ画素、Ｇ画素およびＢ画素それぞれについて補正後の画素値を求め、この補正後の画素値を用いてメモリ２４に格納されたＢａｙｅｒ画像の対応する画素値を書き換えることにより、歪曲収差と倍率色収差とが一括して補正されたＢａｙｅｒ画像を得ることができる。【００４６】
このようにして歪曲収差および倍率色収差が補正されたＢａｙｅｒ画像を補間処理部３２によるｄｅＢａｙｅｒ処理に供することにより、歪曲収差および倍率色収差が高速に補正された画像データを得ることができる。【００４７】
Ｂａｙｅｒ画像では、Ｒ画素、Ｇ画素およびＢ画素の画素数の総和が２次元イメージセンサの画素数であるので、上述した手法により、Ｂａｙｅｒ画像の段階でＲ、Ｇ、Ｂ画素について独立に歪曲収差および倍率色収差を補正することにより、Ｒ、Ｇ、Ｂ成分が全て揃った画像データについて収差補正のための計算を行う場合に比べて、位置計算処理および画素値算出処理の対象となる画素数を大幅に削減し、計算量の抑制を図ることができる。【００４８】
また、一般に倍率色収差による変倍率の変動量を示すδＤＲ(ｒ)、δＤＢ(ｒ)は歪曲収差量Ｄ(ｒ)に比べて十分小さいため、上述した式(２)および式(３)は、それぞれ式(４)および式(５)のように表されるＲ成分およびＢ成分について倍率色収差を含んだ歪曲収差量ＤＲ(ｒ)、ＤＢ(ｒ)を用いて、式(６)および式(７)のように近似することができる。【００４９】
【数３】
2008096534.tif 000005
【００５０】
式(４)および式(５)で示したように、Ｒ成分およびＢ成分について倍率色収差を含んだ歪曲収差量ＤＲ(ｒ)、ＤＢ(ｒ)は、Ｇ成分についての歪曲収差量Ｄ(ｒ)を倍率色収差による変倍率の変動量を示すδＤＲ(ｒ)、δＤＢ(ｒ)をそれぞれ用いて補正した値とみることができる。【００５１】
すなわち、倍率色収差による変倍率の変動量を示すδＤＲ(ｒ)、δＤＢ(ｒ)を用いてＲ成分およびＢ成分について倍率色収差を含んだ歪曲収差量ＤＲ(ｒ)、ＤＢ(ｒ)をそれぞれ表し、これらによって基本式である式(１)の歪曲収差Ｄ(ｒ)を置き換えた式(６)および式(７)を用いた近似計算を位置計算部３５において行うことにより、倍率色収差を含む像高に依存する収差にかかわる位置計算を行い、十分な精度の座標値を求めることができる。【００５２】
なお、図２に示すように、補間処理部３２によるｄｅＢａｙｅｒ処理の完了後に、Ｒ、Ｇ、Ｂ成分が揃った画像データを位置計算部３５および画素値算出部３６の処理に供し、それぞれ一画面分のＲ，Ｇ，Ｂ画素値について、歪曲収差および倍率色収差の補正を行うことも可能である。【００５３】
また、図３に示すように、位置計算部３５および画素値算出部３６において行われる処理のための画像処理ソフトウェアをパーソナルコンピュータ４０のＣＰＵ４１によって実行することによって、収差補正部３１を実現することも可能である。【００５４】
図３に示した画像入力装置５０は、例えば、Ｂａｙｅｒ配列で分光フィルタが配列された２次元ＣＣＤイメージセンサを備え、取得したＢａｙｅｒ画像を出力する機能を持つデジタルカメラやカラースキャナであり、この画像入力装置５０から渡されたＢａｙｅｒ画像は、パーソナルコンピュータ４０のメモリ４２に格納される。【００５５】
図３に示した収差補正部３１は、画像入力装置５０から渡される歪曲収差および倍率色収差に関する情報に基づいて、上述したデジタルカメラに関する実施形態において説明したようにして、収差補正処理を行う。このとき、画素値算出部３６によって算出したＢａｙｅｒ画像を構成する各色成分の画素値を用いて、メモリ４２に格納されたＢａｙｅｒ画像を書き換えることにより、歪曲収差および倍率色収差が補正されたＢａｙｅｒ画像が得られる。【００５６】
この歪曲収差補正後のＢａｙｅｒ画像は、図３に示した補間処理部３２によってメモリ４２から読み出され、この補間処理部３２によるｄｅＢａｙｅｒ処理によって、画像入力装置５０に備えられた２次元ＣＣＤイメージセンサの全ての画素についてＲＧＢ成分が揃った画像データが得られる。【００５７】
このようにして得られた画像データは、表示処理部４４および表示部４５による表示処理に供される他、更に、様々な画像処理に供される。【００５８】
このように、本発明にかかわる画像処理装置は、デジタルカメラなどに備えられたＢａｙｅｒ画像を出力する機能とパーソナルコンピュータの高い処理能力とを組み合わせることにより、例えば、画像入力装置５０に備えられた光学系に関する歪曲収差についてより詳細な情報をパーソナルコンピュータ４０に保持しておき、この詳細な情報を用いて高精度の収差補正を実現することができる。
【産業上の利用可能性】
【００５９】
本発明にかかわる画像処理装置は、デジタルカメラやカラースキャナなどの画像入力装置に組み込むことにより、歪曲収差および倍率色収差を含む像高に依存する収差を一括して高精度に補正することができる。【００６０】
また、本発明にかかわる画像処理装置および画像処理方法によれば、倍率色収差および歪曲収差を含む像高に依存する収差による結像位置のずれ量が１度の処理で計算可能になり、画像データを構成する各色成分についてそれぞれ独立に計算することができる。【００６１】
特に、Ｂａｙｅｒ画像段階において、倍率色収差と歪曲収差との一括補正を実現することにより、収差補正処理の高速化を図ることもできる。【００６２】
したがって、デジタルカメラやカラースキャナなどの画像入力装置の分野においても、また、画像入力装置によって取得された画像データについて様々な処理を行う画像処理装置分野においても極めて有効である。
【図１】
2008096534.tif 000006
【図２】
2008096534.tif 000007
【図３】
2008096534.tif 000008
【国際調査報告】
2008096534.tif 000009
2008096534.tif 000010
2008096534.tif 000011