(57)【要約】【課題】  画像信号処理によって精度良く歪みを補正するために３次以上の多項式近似を用いることが多いため、演算コスト、回路規模の点で不利である。【解決手段】  画像内の位置に応じた補正を行うことで、多項式近似よりも演算コストの低い線形補間を利用して補間を行い、基準点に対する歪みの対称性を利用することで画像補正用メモリや設定用レジスタを削減可能となる。【選択図】  図１
2011151511.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影するための撮像部と
撮影した画像から歪み情報を生成するための歪み情報記憶部と、
歪み情報を用いて画素を補間するための画像補正部を有する画像処理装置であって、
前記撮像部は、撮影した被写体を画像信号として出力し、
前記歪み情報記憶部は、歪みを軽減した画像における画素位置と撮像部から出力された画像における画素位置の差分を歪み情報として生成し、
前記画像補正部は、補正対象画素付近の歪み情報と、補正対象画素と基準点との位置関係に応じて、補正対象画素を補間することで、画像全体の歪みを軽減すること
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像補正部は，1つ以上の歪みの特性を持つ近似関数を保持しておき、補正対象画素の位置に応じて、近似関数を選択もしくは近似関数同士をブレンディングして導出した特性に応じた補間処理を行うこと
を特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記歪み情報生成部歪み情報記憶部は、歪み量に応じて画像の特徴点のサンプリングの間隔を変えて歪み情報を生成すること
を特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。例えば、画像歪を修正する装置に関わる。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開平７−２００７８０号公報（特許文献１）がある。該公報には「［目的］検出器の視野端までの範囲を正確な位置関係で高い空間分解能で撮影することが可能な画像歪補正方法および装置を提供すること。［構成］既知の位置を有する複数個の対象を撮影し（３１）、該撮影により得られた画像（３２）における上記複数の対象各々に対して座標を求め、該座標を用いて視野外に設定した仮想対象の座標を演算により決定し（３３）、上記対象および上記仮想対象の座標が歪のない画像上のどの座標に対応するかを同定し、上記対象および上記仮想対象の座標を用いて少なくとも視野内の全ての画素の座標に対して対応する歪画像上の座標を演算により求め（３４）、歪のない画素の各々の座標に対して歪画像上の座標を対応づける変換テーブルを作成し（３５）、該変換テーブルを用いて別途撮影された画像を変換する（３６）。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２００７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラのような撮像装置では、レンズを通過した光が撮像素子上に結像され、画像信号に変換される。このような撮像系において撮影した画像には、レンズの中心から周辺に向かって実際の被写体より膨らんでしまう樽型歪みや、逆に中心に向かって凹んでしまう糸巻き型歪み、またはその両方が組み合わさって発生してしまう場合がある。
【０００５】
このようにレンズに起因して発生する歪みに対して、次のような対策が挙げられる。１つは、対称型レンズや非球面レンズ等を用いることで、撮像素子面上に発生する歪みを光学的に抑制する手法である。もう１つは、歪みが発生した画像に対して、画像信号処理による補正を行うことで抑制する手法である。
【０００６】
しかしながら、監視カメラや車載カメラのような製品の場合には、魚眼レンズ等を用いた広角な視野が求められるため、歪みによる画像の歪みが大きく、また光学系を選択する幅も少ないため、前者のような手法を適用することはできない場合が多い。また後者の手法では、例えば特開平７−２００７８０号公報において「格子の垂直線に沿ったホールの列（即ちｘが一定のホールの列）の歪画像上でのｘ座標(ｘ')はｙの４次式、ｙ座標(ｙ')はｙの３次式でフィッティングし、格子の水平線に沿ったホールの列（即ちｙが一定のホールの列）の歪画像上でのｘ座標(ｘ')はｘの３次式、ｙ座標(ｙ')はｘの４次式でフィッティングする。ｘが一定のホール列のｘ'とｙが一定のホール列のｙ'は、理論的には上記（４）式および（５）式から明らかなように２次式でフィッティング可能であるが、実際には複雑な歪が加わっているため、４次式でのフィッティングとする。」（段落００２０）と記載されている通り、精度良く歪みを補正するために３次以上の多項式近似を用いることが多いため、演算コストが高くなってしまう。
【課題を解決するための手段】
【０００７】
上記課題は特許請求の範囲に示した発明にて解決される。
【発明の効果】
【０００８】
本発明によれば、例えば、撮像系に依存することなく、簡易的な事前調整処理を行うことでレンズに起因する画像の歪みを単純な補間処理によって補正することができるので、単純な回路で構成でき、回路規模や消費電力面で有利となる。
【０００９】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
【図１】本発明の基本構成例を示した図
【図２】特徴点のサンプリング方法を示した図
【図３】補正量の調整方法を示した図
【図４】基本特性gbと補正係数Ｄの関係を示した図
【図５】基本特性gbの一例を示した図
【図６】歪みの対称性を示した図
【図７】画素補正部１０３の構成を示した図
【発明を実施するための形態】
【００１１】
以下に本発明を実施するための形態を図と合わせて示す。
【実施例１】
【００１２】
図１は本発明で説明する歪み補正処理を行う画像処理装置における基本構成を示す図となっており、レンズと撮像素子を用いて被写体を撮影して画像信号として出力するための撮像部１０１と、撮影部１０１の歪み情報を記憶するための歪み情報記憶部１０２と、歪み情報を用いて画像を補正するための画像補正部１０３とから構成されている。
【００１３】
撮像部１０１はレンズの歪みの影響を受けた像を画像信号として出力する。歪み情報記憶部１０２は、撮影した画像上での画素の座標を補正後の理想座標（レンズのひずみがない場合の写っているべき座標）と対応付けて歪み情報として記憶しておく。
【００１４】
次に画像補正部１０３は、歪み情報記憶部１０２の歪み情報と補正対象画素の位置に基づいて撮像部１０１から出力される画像信号に対して補正処理を行い、歪みを軽減した画像を出力する。
【００１５】
図２は、歪み情報記憶部の歪み情報を作成するための事前調整処理における特徴点のサンプリング方法を表した図である。図２(a)、図２(b)共に被写体は画面全体に一様な格子状のパターンを持つチャートである。格子点上の黒点は歪み情報記憶部１０２に記憶するための特徴点としてサンプリングする位置を表しており、黒点の数だけ歪み情報記憶部１０２の記憶領域が必要となることを意味している。図２(a)では格子点を一律にサンプリングする方法を示しており、図２(b)では中心に近いほど粗くサンプリングする方法を示している。図２(a)に示す様にサンプリングすることで、画面全域において歪みの影響を一律に捉えることが可能となる。一般的な1枚のレンズで撮影された画像においては基準点から離れた位置を通った光ほど大きく歪む。基準点とは撮像部１０１（図1）から出力される歪みが発生した画像において、最も歪みの少ない画素の位置とし、一般的な1枚のレンズで撮影された画像であればその中心付近に位置する。そのため、図２(b)に示すように基準点付近の歪みの影響が小さい領域では粗くサンプリングし、基準点から離れた歪みの影響が大きい領域では密にサンプリングする事で、コストを抑制して効率良く歪み情報を得ることができる。
【００１６】
図３は基準点Fとの位置関係に応じた補正量の調整方法を示した図である。図３(a)は撮像部１０１（図1）から出力される歪みが発生した画像の中の一部の領域の状態を表している。点Fは前述の基準点を表しており、画像平面上において基準点F方向の軸をf軸、f軸に対して法線方向の軸をｈ軸としている。また直線f1、f2、f3は各直線上に存在する画素を補正する際のf軸をそれぞれ表している。点c1〜c4は補正対象画素を囲む近辺の特徴点を表している。点ibは補正対象画素の歪んだ後の位置を表しており、点icは点c1〜c4から単純な線形補間によって補正対象画素を補間した場合の位置を表している。図３(b)はf軸方向の位置ifと後述する補正領域内において線形補間によって算出された参照画素の位置をｆ軸方向に調整するための補正係数Gの関係を表したグラフであり、特性g1、g2、g3はそれぞれf1、f2、f3上に画素を補正する場合の特性を表す。図３(c)はh軸方向の位置ihとｈ軸方向の位置に応じて補正係数Ｇを調整するための補正値Sの関係を表したグラフである。
【００１７】
図３(a)では樽型歪みを想定しているため、基準点Fから離れる程に被写体は基準点F側に近づいて撮像される。しかし単純に線形補間によって補正を行うと点ibの画素を点icの位置に補間してしまうため、誤差が生じる。そのため図３(b)におけるg1に示すように、f軸方向に基準点Fから離れる程、補正係数を上げることで外側の画素を参照し、線形補間による誤差を軽減する。線形補間後の補正対象画素のf軸方向における座標をifc、基準点Fのf軸方向における座標をiff、補正対象画素における補正係数Gの値をgとすると、補正後のf軸方向における座標ifdは以下の(式１)のように示される。
【００１８】
ifd ＝ iff + (ifc − iff) ＊ g  …(式１)
以上の補正処理は図３(a)における特徴点と直線に囲まれた画素の領域毎に行うものとし、以後この領域を補正領域と定義する。線形補間は補正領域内で処理が完結し、特徴点の位置に制限されることがないため、特徴点をサンプリングするための被写体は、被写体における特徴点の位置と撮影した画像における特徴点の位置の対応が取れる状態であれば、格子パターンに限定されるものではない。補正領域の境界線上では、前述した線形補間による誤差が発生しないので、補正係数がかからないように設定を行う必要がある。そのため、補正対象画素のh軸方向の座標をih、h軸がihである補正対象画素における補正値Sの値をS(ih)、さらに後述する補正係数Gを設定するための基準となる基本特性をgbと定義すると、補正係数gは以下の(式２)のように調整される。
【００１９】
g ＝ gb − S(ih)  …(式２)
以上の式で示されるように、図３(c)のグラフで示すようにh軸方向の位置に応じて補正値Sを変化させることで、図３(b)におけるg2やg3のように補正係数Ｇを設定することが可能となり、補正領域内における線形補間による誤差に基づく画像の歪みを抑制することができる。
【００２０】
図４は、基本特性gbと、基本特性gbを基準点Fからの距離に応じて調整することで画面全体の歪みを調整するための補正係数Ｄの関係を示している。補正係数Gの図４(a)は基準点Fからの距離ｄと補正係数Ｄの関係を表すグラフである。また図４(b)は補正係数Ｄによって調整された基本特性gbの一例を表している。おり、基本特性gbとはレンズの歪み方に応じて補正係数Gを設定するための特性であり、値が１より大きい程補正領域内の補正において参照画素を基準点に対して外側から参照し、小さいと内側から参照する。そのため樽型歪みが発生している場合は図４(b)に示すように値が大きくなるように設定し、糸巻き型歪みが発生している場合は小さく設定することで歪みを補正することが可能となる。図４(a)中に示される距離d1、d2、d3における基本特性gbはgb1、gb2、gb3にそれぞれ対応付けして示してある。前述の通り、歪みの量は基準点Fからの距離ｄに比例して大きくなる依存するため、補正係数Dは図４(a)に示すように距離ｄに応じて大きくなるように設定し、補正量の基準となる基本特性gbは、以下の(式３)のように調整される。尚、式中のgb0は、基本特性gbを設定するための設定値であり、レンズ特性に合わせて設定するものとする。またD(d)は図４(a)に示す距離ｄにおける補正係数Dの値を表している。
【００２１】
gb ＝ １ + gb0 ＊ D(d)  …（式３）
以上のような補正を行うことで、補正領域をまたがる範囲のエッジが波打つような画面全体における画像の破綻を抑制することが可能となる。
【００２２】
図５は基本特性gbの一例を示している。撮像機器の中にはレンズの枚数が1枚ではなく複数枚使用されていることもあるため、歪みの特性が一律ではなく、例えば画像の中央付近では樽型歪みが発生し、外側に近づくと糸巻き型の歪みが発生していることもある。このような一律でない歪みを補正する場合には、画像の中央付近を補正する際には図３（b）で示すような樽型または糸巻き型に対応した補正係数Gを設定し、歪みが変化する部分では図５で示すような樽型から糸巻き型へ変化するような特性を持つ基本特性gbに基づいて補正係数Gを設定する事で、歪みの特性が一律でない場合でも線形補間による誤差を軽減することができる。そのため、複数の異なる特性を持った基本特性gbを、レンズ特性やズーム位置といった撮像部１０１(図１)の条件と補正対象画素の位置に応じて適宜切り替えまたは複数の特性をブレンディングすることで、撮像部１０１(図１)に使用するレンズまたはレンズ郡に広く対応することが可能となる。
【００２３】
図６は格子パターンを撮影した補正前の入力画像を表しており、樽型の歪みが発生しているものとする。破線は基準点Fを中心にx軸方向とy軸方向に区切った線である。区切られた範囲をそれぞれ象限Ａ〜Ｄとして表している。前述している通り、歪みの特性は基準点Fとの位置関係に依存するが、撮像機器に使用される一般的なレンズにおいて基準点Fに対して点対称な座標位置もしくは基準点Fを含む直線に対して線対称な座標位置にあれば、歪みの特性はほぼ一致する。そのため、象限Ｂと象限Ｃは基準点Ｆを含む直線に対して象限Ａと線対称な位置関係にあるので、補正対象画素の座標を破線で示したｘ軸またはｙ軸に対称になるように反転してから象限Ａと同じ補正処理を行い、処理後に元の象限へ戻るように座標を反転させることで歪みを補正することができる。また象限Ｄは象限Ａと基準点Ｆに対して点対称な位置関係にあるので、象限Ａを補正する場合とｘ軸、ｙ軸両方に対して対称な処理を行うことで補正することができる。
【００２４】
以上のような補正処理を行うための画素補正部１０３(図１)の構成を図７に示す。画素補正部１０３(図１)は、補正対象画素の座標を変換するための座標変換部７０１と、座標値から補正係数Dを算出するための距離算出部７０２と、距離に応じて基本特性gbを調整するための基本特性調整部７０３と、基本特性に応じて補正係数Gを設定するための補正係数設定部７０４と、歪み情報と補正対象画素の座標値と補正係数に応じて参照画素の位置を設定する参照座標設定部７０５と、補間に必要な画素を記憶しておくための画像補正用メモリ７０６と、参照画素から補正対象画素の画素値を補間するための画素補間部７０７とから構成されている。まず座標変換部７０１は、補正対象画素をカウントして画像内における画素の座標位置を把握し、属する象限に応じて基準点を中心として水平または垂直もしくはその両方に座標を反転させる。距離算出部７０２は算出した補正対象画素の座標から基準点との距離ｄを算出し、対応する補正係数Ｄを算出する。基本特性調整部７０３は、補正係数Dに応じて式３のように基本特性ｇｂを調整する。補正係数設定部７０４は、補正対象画素の座標値からf軸とh軸の位置を算出し、基本特性ｇｂに対して式１と式２に示す調整を行うことで補正係数Gを設定する。次に参照座標設定部７０５は、補正対象画素の座標と、歪み情報に記憶されている理想座標を比較し、補正対象画素が含まれる補正領域を構成する特徴点を特定する。次に特定した特徴点の理想座標と対応付けて記憶してある歪んだ後の座標を参照して入力画像から参照画素の位置を設定する。参照画素の座標を算出するための演算を整数単位で行うと半画素単位の誤差が発生してしまう。そのため、参照画素の座標設定時は小数点以下の値も演算しておき、最近傍の1画素ではなく近傍の数画素を参照画素として画像補正用メモリ７０６から読み出すこととする。画像補正用メモリ７０６は参照座標設定部で設定された座標に基づいて入力画像内の対応する画素を出力する。画素補間部７０７は、補正対象画素の近傍の画素を、参照座標設定時に算出しておいた小数点以下の精度を持つ座標情報を元にブレンディングして補正対象画素の画素値として出力する。
【００２５】
以上のような処理を行うことで、補正に必要な歪み情報記憶部１０２の記憶領域や設定値用のレジスタを象限Ａの分だけ確保すればよいため、回路が削減できる。また、補正処理時に参照する入力画像も1/4で済むため、画像補正用メモリ７０６のサイズも削減できる。
【００２６】
以上のような補正処理を行うことで、歪み情報のサンプリング方法に依存することなく、また演算コストを抑えたまま、線形補間によって発生する誤差の軽減した歪み補正を実現できる。
【００２７】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００２８】
１０１…撮像部
１０２…歪み情報記憶部
１０３…画像補正部
７０１…座標変換部
７０２…距離算出部
７０３…基本特性調整部
７０４…補正係数設定部
７０５…参照座標設定部
７０６…画像補正用メモリ
７０７…画像補間部
【図１】
2011151511.tif 000003
【図２】
2011151511.tif 000004
【図３】
2011151511.tif 000005
【図４】
2011151511.tif 000006
【図５】
2011151511.tif 000007
【図６】
2011151511.tif 000008
【図７】
2011151511.tif 000009