(57)【要約】【課題】画像の歪みを高精度に補正し、かつ高速に画像処理を行うことが可能な画像処理装置及び画像処理方法を提供することを課題とする。【解決手段】画像処理装置１には、光学レンズにより取得した画像データの歪を補正する歪補正部２が設けられている。歪補正部２には、入力ラインバッファ８に格納された濃度データに対応する補間関係を用いることにより補間演算する補間関係生成部１２が設けられている。この補間演算により生成された濃度データは、補正後の座標における濃度データである。【選択図】図１
2007079708.tif 000002
【特許請求の範囲】
【請求項１】
レンズを介して撮像された画像データを格納するバッファと、前記画像データより前記レンズによる歪を補正した歪補正画像データを生成する歪補正部とを設けた画像処理装置において、
前記歪補正部は、前記格納された前記画像データから生成可能な前記歪補正画像データを生成することを特徴とする画像処理装置。
【請求項２】
前記歪補正部は、前記画像データと前記画像データから生成可能な前記歪補正画像データとの対応関係を格納している歪補正テーブルを備え、前記画像データがバッファに格納されると前記対応関係を用いて前記歪補正画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記歪補正テーブルは、前記画像データを構成する画素と、前記画像データを構成する画素から生成可能な前記歪補正画像データを構成する画素との対応関係を格納していることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記歪補正部は、前記バッファに格納された前記画像データから前記歪補正画像データを複数生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記歪補正部は、前記歪補正画像データを構成する画素を生成する演算部を複数備えたことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記バッファは、前記画像データをライン単位で格納する入力ラインバッファであることを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記歪補正画像データをライン単位で格納する出力ラインバッファを設けたことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
レンズを介して撮像された画像データに画像処理を施して前記レンズによる歪を補正した歪補正画像データを生成する画像処理方法において、
前記画像データをバッファに格納し、
前記格納された画像データから生成可能な前記歪補正画像データが存在するか否かをを判断し、
前記生成可能な歪補正画像データが存在すると判断したときに、前記格納された画像データから前記歪補正画像データを生成することを特徴とする画像処理方法。
【請求項９】
前記生成可能な前記歪補正データが存在するか否かは、画素単位で判断することを特徴とする請求項８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に係り、詳細には、画像の歪みを補正する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
一般にデジタルカメラ等のカメラは、光学レンズを用いて物体の像を形成してその像を記録するため、得られた画像には収差が存在していることが知られている。この収差には、画像の鮮明さに関わる収差である球面収差、コマ収差などや、得られた画像が歪む収差である歪曲収差がある。歪曲収差には、糸巻き型と樽型とがあり、いずれも光学レンズの倍率が像高によって一定でないために生じるものである。
【０００３】
このような歪曲収差を補正する画像処理技術として、画像データを複数のブロックに分割し、各ブロック毎にデータを取得してフレームバッファに格納することにより、バスの衝突を削減してバス転送の効率化を図る技術が公開されている（例えば、特許文献１参照）。
【０００４】
また、フレームバッファに格納した画像データを複数のブロックに分割し、同じブロック内の画像データに対して同じ補正量を用いて補正をすることにより、画像処理時間を短縮する技術が公開されている（例えば、特許文献２参照）。
【０００５】
また、ＳＤＲＡＭ等のランダムアクセスメモリに格納した画像データを、格納された順番と異なるが、本来の画像データの座標に基づく順番で読み出すことによって、画像の歪みを補正する技術が公開されている（例えば、特許文献３参照）。
【０００６】
さらに、２次元で構成される画像データに対してどちらか一方の１次元方向の画像データを補正することにより、必要なフレームバッファの容量を低減し、高速に画像処理を行う技術が公開されている（例えば、特許文献４参照）。
【特許文献１】特開２００５−４５５１４
【特許文献２】特開平１１−２５０２３８
【特許文献３】特開平１０−２２４６９５
【特許文献４】特開平７−３７０７９
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のように画像データを取得してフレームバッファに格納してから画像処理をする手段においては、１つの画像をフレームバッファに格納する必要が生じるため、フレームバッファの容量が必要となるという問題や、画像データの格納時間を画像処理時間から削減できない問題を有している。
【０００８】
また、特許文献２のように画像データをフレームバッファに格納し、複数のブロックに分割して画像処理を行う手段においては、画像処理を開始するまでに時間がかかるという問題や、フレームバッファの容量や画像データの格納時間が必要になるという問題を有している。
【０００９】
また、特許文献３のようにランダムアクセスメモリから補正後の画像データの座標に基づく順番で画像データを読み出す手段においては、メモリからデータを不連続に読み出すため、ハードウェアによる画像処理の効率が低下し、よって画像処理時間が長くなる問題を有している。
【００１０】
さらに、特許文献４のように２次元の画像データに対してどちらか片方の１次元方向の画像データを補正をする手段は、もう一方の１次元方向の画像データには補正をしないため、正確な歪み補正を行うことができず、よって高精度な画像が得られない問題を有している。
【００１１】
本発明は、前記した点に鑑みてなされたもので、画像の歪みを高精度に補正し、かつ高速に画像処理を行うことが可能な画像処理装置及び画像処理方法を提供することを課題とするものである。
【課題を解決するための手段】
【００１２】
このような課題を解決するために、請求項１に記載の発明は、
レンズを介して撮像された画像データを格納するバッファと、前記画像データより前記レンズによる歪を補正した歪補正画像データを生成する歪補正部とを設けた画像処理装置において、
前記歪補正部は、前記歪補正画像データの生成に必要な前記画像データがバッファに格納されると前記歪補正画像データを生成することを特徴とする画像処理装置である。
【００１３】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記歪補正部は、前記歪補正データと前記歪補正データの生成に必要な画像データとの対応関係が格納されている歪補正テーブルを備え、前記歪補正画像データの生成に必要な前記画像データがバッファに格納されると前記対応関係を用いて前記画像データを生成することを特徴とする。
【００１４】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記歪補正テーブルは、前記歪補正データを構成する画素と、前記歪補正データを構成する画素の生成に必要な前記画像データとの対応関係が格納されていることを特徴とする。
【００１５】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記歪補正部は、前記歪補正データを構成する画素の生成に必要な前記画像データが格納されると、前記格納された前記画像データから生成することが可能な前記歪補正データを構成する画素を複数生成することを特徴とする。
【００１６】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記歪補正部は、前記歪補正データを構成する画素を生成する演算部を複数備えたことを特徴とする。
【００１７】
請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の画像処理装置において、前記バッファは、前記画像データをライン単位で格納する入力ラインバッファであることを特徴とする。
【００１８】
請求項７に記載の発明は、請求項１から請求項６のいずれか一項に記載の画像処理装置において、前記歪補正画像データをライン単位で格納する出力ラインバッファを設けたことを特徴とする。
【００１９】
請求項８に記載の発明は、
レンズを介して撮像された画像データに画像処理を施して前記レンズによる歪を補正した歪補正画像データを生成する画像処理方法において、
前記画像データをバッファに格納し、
前記歪補正画像データの生成に必要な画像データが前記バッファに格納されたか否かを判断し、
前記歪補正画像データの生成に必要な画像データが格納されたと判断したときに、前記格納された画像データから前記歪補正画像データを生成することを特徴とする画像処理方法である。
【００２０】
請求項９に記載の発明は、請求項８に記載の画像処理方法において、前記歪補正データを構成する画素の生成に必要な前記画像データが前記バッファに格納されたか否かを判断することを特徴とする。
【発明の効果】
【００２１】
請求項１に記載の発明によれば、歪補正画像データを生成することができる画像データが格納されると、歪補正画像データを生成することができるので、画像データを取得してから画像処理が終了するまでの時間を短縮することができる効果を奏する。
【００２２】
請求項２に記載の発明によれば、画像データと歪補正データとの対応関係が予め歪補正テーブルに格納されているため、この画像データと歪補正データとの対応関係との算出時間を削減して歪補正データを生成することが可能となり、画像処理時間を短縮させることができる効果を奏する。
【００２３】
請求項３に記載の発明によれば、歪補正データが画素単位で画像データと対応付けられているので、歪補正データを画素単位で生成することが可能となり、画像を取得してから画像処理を開始するまでの時間を短縮することが可能となる効果を奏する。
【００２４】
請求項４に記載の発明によれば、歪補正データの一つの画素を生成する画像データを用いて、複数の歪補正画像データの画素を生成することができるので、画像処理時間を短縮することができる効果を奏する。
【００２５】
請求項５に記載の発明によれば、画素単位で歪補正データを生成する複数の演算部を備えているので、同時に複数の画素の歪補正データを生成することができ、画像処理時間を短縮することができる効果を奏する。
【００２６】
請求項６に記載の発明によれば、画像データをライン単位で格納することができるので、画像データを格納する時間を削減し、画像データを取得してから画像処理を開始するまでの時間を短縮することができる効果を奏する。
【００２７】
請求項７に記載の発明によれば、出力ラインバッファに歪補正画像データを格納することによって、画像データを演算した画素の順番と歪補正部から出力する画素の順番とを変更することができるので、適切な順番で歪補正画像データを歪補正部から出力することができる効果を奏する。
【００２８】
請求項８に記載の発明によれば、歪補正画像データを生成することができる画像データが格納されると、歪補正画像データを生成することができるので、画像データを取得してから画像処理が終了するまでの時間を短縮することができる効果を奏する。
【００２９】
請求項９に記載の発明によれば、歪補正データの一つの画素を生成する画像データを用いて、複数の歪補正画像データの画素を生成することができるので、画像処理時間を短縮することができる効果を奏する。
【発明を実施するための最良の形態】
【００３０】
以下、図を参照しながら本発明に係る画像処理装置の実施形態について説明する。ただし、発明の範囲は図示例に限定されない。
【００３１】
画像処理装置１には、図１に示すように、光学レンズにより取得した画像データの歪を補正する歪補正部２と、歪補正された画像データに例えば色補正など更にその他の画像処理を行う後段画像処理部３とが設けられている。
【００３２】
歪補正部２には、画像を撮像して画像データを生成する撮像装置４が接続されている。撮像装置４には、ガラスやプラスチック等からなる撮像レンズ５が設けられており、この撮像レンズ５を用いて画像を撮像するようになっている。撮像レンズ５の光路上には、受光素子である撮像素子６が画素に対応して複数配列されており、各撮像素子６の受光量に応じて画像データを生成し、歪補正部２に出力するようになっている。この画像データは、画素単位で生成されたものであり、画素の座標を示す座標データと、画素の濃度を示す濃度データとから構成されている。
この撮像素子６としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）、ＭＯＳ（Metal Oxide Semiconductor）等を用いることができる。
【００３３】
歪補正部２には、歪補正部２全体の制御をする制御部７が設けられており、歪補正部２を構成する各部と接続されている。
【００３４】
また、歪補正部２には、撮像装置４から出力された画像データのうち濃度データを一時的に格納する入力ラインバッファ８が設けられている。この入力ラインバッファ８には、後述する補間関係を生成するために必要なライン数分の濃度値が最低限格納できるようになっている。このライン数は、用いる濃度データの補間法によって異なるものである。本実施形態では、濃度データの補間を行う画素の周囲に存在する４つの画素の濃度データを用いて線形補間を行う線形補間法を用いている。このため入力ラインバッファ８には、２ライン分の画素の濃度データが最低限格納できるようになっている。
【００３５】
また、歪補正部２には、画像データを入力ラインバッファ８に格納するときにカウントをする入力カウンタ９が、入力ラインバッファ８に対応して設けられている。入力カウンタ９は、入力ラインバッファ８のｘ位置をカウントする入力ｘカウンタ１０と入力ラインバッファのｙ位置をカウントする入力ｙカウンタ１１とにより構成されている。これらのカウンタを用いることにより、個々の濃度データを入力ラインバッファ８の適切な位置に格納することができるようになっている。
【００３６】
入力ラインバッファ８には、入力ラインバッファ８に格納された濃度データに対応する補間関係を用いることにより補間演算する補間関係生成部１２が接続されている。この補間演算により生成された濃度データは、補正後の座標における濃度データであり、歪補正画像データとなる。
【００３７】
補間関係生成部１２には、補間演算をするときに用いる補間関係が予め格納された歪補正テーブル１３が接続されている。この補間関係は、図２に示すように、補間を行う画素の濃度データとその周囲に存在する４つの画素の濃度データとの関係であり、本実施形態では、次の演算式（１）を用いて演算するようになっている。
ａ（ｘ，ｙ）＝ｐ１（ｎ＋１，ｍ＋１）（１−α）（１−β）＋ｐ２（ｎ＋２，ｍ＋１）α（１−β）＋ｐ３（ｎ＋１，ｍ＋２）（１−α）β＋ｐ４（ｎ＋２，ｍ＋２）αβ・・・（１）
ここで、
ａ（ｘ，ｙ）は、座標（ｘ，ｙ）の濃度データ
ｐ１（ｎ＋１，ｍ＋１）は、座標（ｎ＋１，ｍ＋１）の濃度データ
ｐ２（ｎ＋２，ｍ＋１）は、座標（ｎ＋２，ｍ＋１）の濃度データ
ｐ３（ｎ＋１，ｍ＋２）は、座標（ｎ＋１，ｍ＋２）の濃度データ
ｐ４（ｎ＋２，ｍ＋２）は、座標（ｎ＋２，ｍ＋２）の濃度データ
αは、ｘと（ｎ＋１）との差であり、ｘ方向の重み付け
βは、ｙと（ｍ＋１）との差であり、ｙ方向の重み付け
である。
この歪補正テーブル１３には、補間を行う画素に用いる演算式と用いる濃度データの座標と重み付けとが予め算出され、対応付けられたものが格納されている。また、この歪補正テーブル１３には、補間演算する座標（以下、歪補正前の座標と称す）と、歪補正後の座標とを対応付けたものが、格納されている。
【００３８】
補間関係生成部１２には、入力ラインバッファ８に格納された濃度データと、歪補正テーブル１３に格納された演算式や重み付けとを用いて補間演算する補間演算部１４が、設けられている。この補間演算部１４は、周囲の４画素の濃度データにより演算することができる歪補正前の画素の最大数に対応して設けられており、本実施形態では３つ設けられている。この補間演算部１４の数は、レンズや撮像系による歪や、補間に用いる線形補間法により異なり、予め補正前の座標と補正後の座標や、取得する画素の座標とにより予め算出されるものである。
本実施形態では、図３に示すように、本来ａ１（ｎ，ｍ）、ｂ１（ｎ＋１，ｍ）、ｃ１（ｎ，ｍ＋１）に位置する画素（以下、補正後の画素と称す）が、レンズや撮像系の歪のため、それぞれａ２、ｂ２、ｃ２に位置して（以下、補正前の画素と称す）画像データが取得されるものであり、また、撮像装置４により取得された画像データは、それぞれ格子の交点に位置する画像データ、例えば、ｐ１（ｎ＋１，ｍ＋１）、ｐ２（ｎ＋２，ｍ＋１）、ｐ３（ｎ＋１，ｍ＋２）、ｐ４（ｎ＋２，ｍ＋２）、であるとする。これにより、周囲の４画素ｐ１、ｐ２、ｐ３、ｐ４により演算できる歪補正前の画素は、ａ２、ｂ２、ｃ２の３画素となる。なお、ｐ１、ｐ２、ｐ３、ｐ４は、それぞれの濃度データを示す値でもある。
【００３９】
補間関係生成部１２には、補間演算部にて演算している濃度データの歪補正前の座標を管理している補間カウンタ１５が、補間関係生成部１２に対応して設けられている。補間カウンタ１５には、補間演算部にて演算している濃度データのｘ座標を管理する補間ｘカウンタ１６と、同じく補間演算している画素のｙ座標を管理する補間ｙカウンタ１７とにより構成されており、これらのカウンタにより歪補正前の座標と歪補正後の座標とが対応付けられるようになっている。
【００４０】
補間演算部１４には、補間演算後の濃度データを一時的に格納する出力ラインバッファ１８が接続されている。この出力ラインバッファ１８には、最低限入力ラインバッファ８と同数のライン数の濃度データが格納できるようになっている。
【００４１】
出力ラインバッファ１８には、歪補正データを出力ラインバッファ１８に格納するときにカウントをする出力カウンタ１９が、出力ラインバッファ１８に対応して設けられている。この出力側カウンタは、出力ラインバッファ１８のｘ位置をカウントする出力ｘカウンタ２０と、出力ラインバッファ１８のｙ位置をカウントする出力ｙカウンタ２１とにより構成されている。これらのカウンタを用いることにより、個々の歪補正濃度データを出力ラインバッファ１８の適切な位置に格納することができるようになっており、また、歪補正部２から効率良く歪補正濃度データを出力できるように格納することができるようになっている。
【００４２】
次に、本実施形態に係る画像処理装置の作用について説明する。
【００４３】
撮像装置４の撮像レンズ５を用いて画像が撮像されると、撮像レンズ５の光路上にある撮像素子６がその受光量に応じて画像データに変換するので、画像データが生成される。
【００４４】
歪補正部２の制御部７は、撮像装置４によって画像データが生成されると、画像データを構成する濃度データを、入力ラインバッファ８に一旦格納する。そして、制御部７は、入力ラインバッファ８に格納された濃度データから補間演算できる歪補正前の画素を算出する。また、制御部７は、その算出する画素に用いる補間演算式や重み付けなどを歪補正テーブル１３から補間関係生成部１２に出力させる。そして、それと同時に制御部７は、補間カウンタ１５に、補間関係生成部で演算する濃度データの補正前の座標を管理させる。
【００４５】
詳細には、入力ラインバッファ８に濃度データ、ｐ１、ｐ２、ｐ３、ｐ４が格納されると、制御部７は、これらの濃度データを用いて補間演算できる歪補正前の画素がａ２、ｂ２、ｃ２であることを算出し、それぞれの画素の補間演算式や重み付けなどを歪補正テーブル１３から補間演算部１４に出力して補間演算を行い、歪補正濃度データを生成する。例えば、ａ２の補間演算は以下のような演算式（２）を用いて行われ、歪補正後の画素の歪補正濃度データを演算する。
ａ２＝（１−α１）（１−β１）ｐ１＋α１（１−β１）ｐ２＋（１−α１）β１ｐ３＋α１β１ｐ４・・・（２）
ここで、
ａ２は、座標ａ２の濃度データ
ｐ１は、座標ｐ１の濃度データ
ｐ２は、座標ｐ２の濃度データ
ｐ３は、座標ｐ３の濃度データ
ｐ４は、座標ｐ４の濃度データ
α１及びβ２は、ａ２の重み付け
である。
【００４６】
同様に、各補間演算部１４にて、ｂ２及びｃ２の補間演算が行われて、ｂ２及びｃ２の歪補正後の画素の歪補正濃度データがそれぞれ算出される。
【００４７】
制御部７は、補間演算により算出された歪補正後の画素の濃度データを、出力ラインバッファ１８に一旦格納する。そして、制御部７は、出力ラインバッファ１８に格納された濃度データを、後段画像処理部３に出力し、更に色補正などの画像処理を行う。
【００４８】
以上のように、本実施形態によれば、フレームバッファを用いずに、入力ラインバッファ８に濃度データを格納するようになっているので、バッファに濃度データを格納する時間と、撮像装置４から歪補正部２に濃度データを入力してから補間演算する時間とを短縮して、画像を撮像してから画像処理が終了するまでの時間を短縮することができる。
また、入力ラインバッファ８に格納された濃度データから補間演算することのできる画素を算出し、補間演算部１４にて補正前の濃度データからすぐに補正後の歪補正濃度データを演算することができるようになっているので、歪補正濃度データを演算する時間を短縮することができ、さらに画像処理に要する時間を短縮することができる。
【００４９】
なお、本実施形態では、補間演算部１４が一度に演算することのできる歪補正前の画素の最大数に対応して設けられた例を示したが、これに限定されず、一つの補間演算部にて順次、補間演算を行うような構成であってもよい。
【００５０】
また、本実施形態では、出力ラインバッファ１８を設けた例を示したが、これに限定されず、出力ラインバッファ１８を設けず、補間演算部が後段画像処理部３と直接接続されているような構成であってもよい。
【図面の簡単な説明】
【００５１】
【図１】本実施形態における画像処理装置の概略構成を示す図である。
【図２】本実施形態における補間演算をする画素と周囲の画素との関係を示す図である。
【図３】本実施形態における歪補正前の画素と歪補正後の画素との対応関係を示す図である。
【符号の説明】
【００５２】
１     画像処理装置
２     歪補正部
３     後段画像処理部
４     撮像装置
５     撮像レンズ
７     制御部
８     入力ラインバッファ
９     入力カウンタ
１２   補間関係生成部
１３   歪補正テーブル
１４   補間演算部
１５   補間カウンタ
１８   出力ラインバッファ
１９   出力カウンタ
【図１】
2007079708.tif 000003
【図２】
2007079708.tif 000004
【図３】
2007079708.tif 000005