(57)【要約】【課題】複数の撮像装置により得た画像を効率良くかつ高速に画像処理を行うことが可能な画像処理装置及び画像処理方法を提供することを課題とする。【解決手段】画像処理部２には、主撮像装置４及び副撮像装置５により取得されたそれぞれの画像に平行化の画像処理を行う画像平行化部９が、主撮像装置４及び副撮像装置５のそれぞれに１対１に対応して設けられている。この画像平行化部９には、撮像により取得した画像データを用いて平行化の画像処理を行った後の画素の座標データと、この補正後の画素に対応する画像処理を行う前の画素の座標データとの対応関係が格納された補正テーブル１０が設けられている。【選択図】図２
2007114923.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置で同一物体を撮像して取得した画像データを格納するバッファと、
前記各撮像装置が取得した画像データを処理して補正画像データを形成する画像処理部とを備えた画像処理装置において、
前記画像処理部は、前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されると、前記画像データを平行化して前記補正画像データを形成する処理を開始することを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記画像データと前記画像データから形成可能な前記補正画像データとの対応関係を格納する補正テーブルを備え、前記補正テーブルに格納された対応関係を用いて前記バッファに格納された前記画像データから前記補正画像データを形成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正テーブルは、前記画像データと前記画像データから形成可能な複数の前記補正画像データとの対応関係を格納していることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記バッファに格納された前記画像データから前記補正画像データを形成する演算部を複数備えていることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記最小単位は、ライン単位であり、
前記バッファは、前記補正画像データを形成可能な最低ライン数の前記画像データを格納することができる入力ラインバッファであることを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記各撮像装置の前記補正画像データをライン単位で格納する出力バッファを備え、前記各出力バッファから前記同一物体の前記補正画像データをライン単位で同時に出力することを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
複数の撮像装置で同一物体を撮像して取得した画像データを処理して補正画像データを形成する画像処理方法において、
前記画像データをバッファに格納し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたか否かを判断し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたと判断するときに、前記格納された画像データを平行化して前記補正画像データを形成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に係り、詳細には、複数の撮像装置を用いた画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
一般に画像を用いた立体認識の方法は、１枚の画像から立体を認識する方法と、複数の画像から立体を認識する方法とに大別される。前者の方法は、１枚の画像のみでは画像の奥行きのデータが失われているため、何らかの方法でそれを補う必要がある。また、後者の方法は、１枚の画像を用いる場合に比べて、より詳細に３次元データを復元することができる。この後者の代表的な方法として、異なる場所に設置した２台以上の撮像装置によって同一物体を撮影したステレオ画像を用いて立体を認識する方法が知られている。
【０００３】
このようなステレオ画像を用いて立体を認識する方法では、複数の撮像装置で同一物体を撮影し、撮影により取得したそれぞれの画像で同一物体の対応する点を決定することによって、画像中の各点の３次元座標を求めることができる。
【０００４】
上記のように同一物件の対応する点を決定する方法としては、複数台のカメラで撮影された画像をそれぞれ同一平面上に再投影し、各カメラの画像を同一の画像に補正することにより画像を処理する技術が公開されている（例えば、特許文献１参照）。この技術は、カメラによる撮像面像の画像と再投影する画像との画素位置を対応付ける変換パラメータを算出し、この変換パラメータを用いて補正した画像を形成する手法である。
【０００５】
また、複数台のカメラで撮影された複数の画像を互いに対応付けるために必要なエピポーラ線を、簡単な演算により効率良く算出する技術が公開されている（例えば、特許文献２参照）。
【０００６】
更に、複数台のカメラで撮影された複数の画像に特定のテストパターンが存在していなくても、エピポーラ線を合わせるために用いる修正条件を検出することができる技術が公開されている（例えば、特許文献３参照）。
【０００７】
また、複数のカメラにより撮影された画像のうち一方の画像を様々な条件で修正し、その修正した画像ともう一方の画像との対応関係を検出することによって、エピポーラ線を合わせる技術が公開されている（例えば、特許文献４参照）。
【特許文献１】特開平７−２９４２１５号公報
【特許文献２】特開平６−４２９４１号公報
【特許文献３】特開平９−１５３１４８号公報
【特許文献４】特開平１１−２０３４７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１は、撮影により得た画像を平行化する手段について提案しているが、画像処理をする手段は従来と同様であるため、処理時間を短縮することができない問題を有している。
【０００９】
また、特許文献２、特許文献３及び特許文献４は、エピポーラ線を検出する手段について提案しているが、画像を平行化する手段は従来と同様であるため、高精度な画像処理を行うことができない問題を有している。
【００１０】
本発明は、前記した点に鑑みてなされたもので、複数の撮像装置により得た画像を効率良くかつ高速に画像処理を行うことが可能な画像処理装置及び画像処理方法を提供することを課題とするものである。
【課題を解決するための手段】
【００１１】
このような課題を解決するために、請求項１に記載の発明は、
複数の撮像装置で同一物体を撮像して取得した画像データを格納するバッファと、
前記各撮像装置が取得した画像データを処理して補正画像データを形成する画像処理部とを備えた画像処理装置において、
前記画像処理部は、前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されると、前記画像データを平行化して前記補正画像データを形成する処理を開始することを特徴とする。
【００１２】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記画像処理部は、前記画像データと前記画像データから形成可能な前記補正画像データとの対応関係を格納する補正テーブルを備え、前記補正テーブルに格納された対応関係を用いて前記バッファに格納された前記画像データから前記補正画像データを形成することを特徴とする。
【００１３】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記画像データと前記画像データから形成可能な複数の前記補正画像データとの対応関係を格納していることを特徴とする。
【００１４】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記バッファに格納された前記画像データから前記補正画像データを形成する演算部を複数備えていることを特徴とする。
【００１５】
請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の画像処理装置において、
前記最小単位は、ライン単位であり、
前記バッファは、前記補正画像データを形成可能な最低ライン数の前記画像データを格納することができる入力ラインバッファであることを特徴とする。
【００１６】
請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の画像処理装置において、前記画像処理装置は、前記各撮像装置の前記補正画像データをライン単位で格納する出力バッファを備え、前記各出力バッファから前記同一物体の前記補正画像データをライン単位で同時に出力することを特徴とする。
【００１７】
請求項７に記載の発明は、
複数の撮像装置で同一物体を撮像して取得した画像データを処理して補正画像データを形成する画像処理方法において、
前記画像データをバッファに格納し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたか否かを判断し、
前記補正画像データを形成可能な最小単位の前記画像データがバッファに格納されたと判断するときに、前記格納された画像データを平行化して前記補正画像データを形成することを特徴とする。
【発明の効果】
【００１８】
請求項１に記載の発明によれば、補正画像データを形成することが可能な画像データがバッファに格納されると、画像データから平行化の画像処理をした補正画像データの形成を開始するので、バッファに濃度データを格納する時間と、撮像装置から画像処理部に画像データを入力してから補間演算をするまでの時間を短縮することができ、画像を撮影して画像データを取得してから補正画像データを形成する画像処理が終了するまでの画像処理時間を短縮することができる効果を奏する。
【００１９】
請求項２に記載の発明によれば、画像データと、その画像データから形成可能な補正画像データとの対応関係が予め補正テーブルに格納されているため、画像データと補正画像データとの対応関係との算出時間を削減して補正画像データを形成することが可能となり、画像処理時間を短縮させることができる効果を奏する。
【００２０】
請求項３に記載の発明によれば、ある補正画像データを形成することが可能な画像データを用いて、複数の補正画像データを形成することができるので、画像処理時間を短縮することができる効果を奏する。
【００２１】
請求項４に記載の発明によれば、補正画像データを形成する演算部を複数備えているので、同時に複数の補正画像データを形成して画像処理時間を短縮することができる効果を奏する。
【００２２】
請求項５に記載の発明によれば、画像データをフレームバッファではなくバッファにライン単位で格納することができるので、画像データを格納する時間を削減し、画像データを取得してから画像処理を開始するまでの時間を短縮することができる効果を奏する。
【００２３】
請求項６に記載の発明によれば、出力ラインバッファにライン単位で補正画像データを格納することができるので、主撮像装置と副撮像装置とから同じタイミングで、同一物体の同一箇所の補正画像データをライン単位で出力することができる効果を奏する。
【００２４】
請求項７に記載の発明によれば、補正画像データを形成することが可能な画像データがバッファに格納されると、画像データから平行化の画像処理をした補正データの形成を開始するので、バッファに濃度データを格納する時間と、撮像装置から画像処理部に画像データを入力してから補間演算をするまでの時間を短縮することができ、画像を撮影して画像データを取得してから補正画像データを形成する画像処理が終了するまでの画像処理時間を短縮することができる効果を奏する。
【発明を実施するための最良の形態】
【００２５】
以下、図を参照しながら本発明に係る画像処理装置の実施形態について説明する。ただし、発明の範囲は図示例に限定されない。
【００２６】
画像処理装置１には、図１に示すように、主撮像装置４及び副撮像装置５の複数の撮像装置を用いて取得した画像データを処理して補正画像データを形成する画像処理部２と、画像処理部２により形成された補正画像データを処理し、例えば物体を認識する画像データを形成する後段画像処理部３とが設けられている。
【００２７】
画像処理部２には、同一物体を撮像して画像データを形成する主撮像装置４及び副撮像装置５が、設置されている。この主撮像装置４により取得した画像データは、ステレオ画像を得るための基準画像データであり、また、副撮像装置５により撮像された画像データは、主撮像装置４により取得された基準画像データに対する参照画像データである。
【００２８】
主撮像装置４及び副撮像装置５には、ガラスやプラスチック等からなる撮像レンズ６がそれぞれ設けられており、この撮像レンズ６を用いて同一物体を撮像するようになっている。撮像レンズ６の光路上には、受光素子である撮像素子７が画素に対応して複数配列されており、各撮像素子７の受光量に応じて画像データを生成し、画像処理部２に出力するようになっている。この画像データは、画素単位で生成されたものであり、画素の座標を示す座標データと、画素の濃度を示す濃度データとにより構成されている。
【００２９】
この撮像素子７としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等を用いることができる。
【００３０】
画像処理部２には、図２に示すように、画像処理部２全体の制御をする制御部８が、画像処理部２を構成する各部と接続して設けられている。
【００３１】
また、画像処理部２には、主撮像装置４及び副撮像装置５により取得されたそれぞれの画像データに平行化の画像処理をして補正画像データを形成する画像平行化部９が、主撮像装置４及び副撮像装置５のそれぞれと１対１に対応して設けられている。ここで、平行化とは、主撮像装置４及び副撮像装置５により取得された画像データを、主撮像装置４及び副撮像装置５とが完全に平行に設置して撮影したときに取得する画像データに並び換えることをいう。また、補正画像データは、平行化の画像処理を行った画素の座標データと濃度データとにより構成されている。
【００３２】
以下、主撮像装置４に対応して設けられた画像平行化部９の詳細について説明するが、副撮像装置５に対応して設けられた画像平行化部９の詳細も、特に記載が無い限り同様である。
【００３３】
この画像平行化部９には、主撮像装置４により取得した画像データを用いて平行化の画像処理を行った後の画素（以下、補正後の画素と称す）の座標データと、この補正後の画素に平行化の画像処理をする前の画素（以下、補正前の画素と称す）の座標データとの対応関係が格納された補正テーブル１０が設けられている。この対応関係は、主撮像装置４が取得した画像データとその画像データに平行化の画像処理をした補正画像データとにより予め検出され、補正テーブル１０に格納されるようになっている。この補正前の画素の座標データや補正後の画素の座標データは、撮像により取得した画像データの座標データと必ずしも一致しないので、撮像により取得した画像データの座標データと、補正前の画素の座標データや補正後の画素の座標データとの対応関係が予め検出され、補正テーブル１０に格納されている。これらの座標データの対応関係は、主撮像装置４及び副撮像装置５の位置関係や、補間に用いる補間法により異なるものである。また、主撮像装置４が有する撮像レンズ６により取得した画像データに歪が存在する場合は、この補正テーブル１０には、補正前の画素の座標データと、補正前の画素に平行化の画像処理及び歪を補正した補正後の画素の座標データとの対応関係が、予め算出して格納されるようになっている。
【００３４】
また、補正前の画素の座標データが撮像により取得した画素の座標データと一致しないときには、補正前の画素の周囲に位置し、撮像により取得した画素の濃度データを用いることにより、補正前の画素の濃度データを算出する補間関係のデータが、予め検出されて補正テーブル１０に格納されている。この補間関係により求めた補正前の画素の濃度データが、補正後の画素の濃度データとなる。
【００３５】
ここでいう補間関係とは、例えば図３に示すように、補正前の画素ａの濃度データと、その周囲に存在して撮像により取得された４つの画素ｐ１、ｐ２、ｐ３、ｐ４の濃度データとの関係である。本実施形態では、主撮像装置４の撮像により取得した画素は、例えばｐ１、ｐ２、ｐ３、ｐ４のように、Ｘ、Ｙ軸共に整数値で交差する位置に存在するようになっている。また、本実施形態では、画素ａの濃度データが、次の演算式（１）を用いた補間演算により算出されるようになっている。
ａ（ｘ，ｙ）＝ｐ１（ｎ＋１，ｍ＋１）（１−α）（１−β）＋ｐ２（ｎ＋２，ｍ＋１）α（１−β）＋ｐ３（ｎ＋１，ｍ＋２）（１−α）β＋ｐ４（ｎ＋２，ｍ＋２）αβ・・・（１）
ここで、
ａ（ｘ，ｙ）は、座標（ｘ，ｙ）の濃度データ
ｐ１（ｎ＋１，ｍ＋１）は、座標（ｎ＋１，ｍ＋１）の濃度データ
ｐ２（ｎ＋２，ｍ＋１）は、座標（ｎ＋２，ｍ＋１）の濃度データ
ｐ３（ｎ＋１，ｍ＋２）は、座標（ｎ＋１，ｍ＋２）の濃度データ
ｐ４（ｎ＋２，ｍ＋２）は、座標（ｎ＋２，ｍ＋２）の濃度データ
αは、ｘと（ｎ＋１）との差であり、ｘ方向の重み付け
βは、ｙと（ｍ＋１）との差であり、ｙ方向の重み付け
である。
【００３６】
本実施形態における補正画像データと補正テーブル１０との関係の具体例を以下に説明する。
例えば、図４に示すように、座標（ｎ，ｍ）、座標（ｎ＋１，ｍ）、座標（ｎ，ｍ＋１）に位置する補正後の画素ａ１、ｂ１、ｃ１は、それぞれ、座標（ｎ＋１＋α１，ｍ＋１＋β１）、座標（ｎ＋１＋α２，ｍ＋１＋β２）、座標（ｎ＋１＋α３，ｍ＋１＋β３）に位置する補正前の画素ａ２、ｂ２、ｃ２に対応することを予め検出したとする。この補正前の画素の座標データと補正後の画素の座標データとの対応関係、補間演算に用いる演算式、及び、個々の補正前の画素が有する重み付けα１〜α３、β１〜β３が、補正テーブル１０に格納されるようになっている。
そして、演算式（１）を用いて補間演算した補正前の画素の濃度データは、この補正前の画素に対応する補正後の画素の濃度データとなる。例えば、画素ａ２の濃度データａ２（ｎ＋１＋α１，ｍ＋１＋β１）の濃度データは、演算式（１）を用いた補間演算により算出され、その濃度データは、画素ａ１の濃度データａ１（ｎ，ｍ）となる。
【００３７】
また、図２に戻り、画像平行化部９には、主撮像装置４から出力された画像データのうち濃度データをライン単位で一時的に格納する入力ラインバッファ１１が設けられている。このライン単位とは、画像データを処理して補正画像データを形成するときに、補正画像データを形成することが可能な最小単位である。この入力ラインバッファ１１には、後述する補間関係を形成するために必要なライン数分の濃度値が最低限格納できるようになっている。この必要なライン数は、用いる濃度データの補間法によって異なるものである。本実施形態では、濃度データの補間を行う画素の周囲に存在する４つの画素の濃度データを用いて線形補間を行う線形補間法を用いているため、入力ラインバッファ１１には、２ライン分の画素の濃度データを最低限格納できるようになっている。
【００３８】
また、入力ラインバッファ１１には、画像データを入力ラインバッファ１１に格納するときにカウントする入力カウンタ１２が、入力ラインバッファ１１に接続して設けられている。入力カウンタ１２は、入力ラインバッファ１１のｘ位置をカウントする入力ｘカウンタ１３と、入力ラインバッファのｙ位置をカウントする入力ｙカウンタ１４とによって構成されている。この入力ｘカウンタ１３及び入力ｙカウンタ１４を用いることにより、個々の濃度データを入力ラインバッファ１１の適切な位置に格納することができるようになっている。
【００３９】
さらに、入力ラインバッファ１１には、補正テーブル１０に格納された補間関係を用いて入力ラインバッファに格納された画素の濃度データの補間演算をする補間関係生成部１５が、接続されている。
【００４０】
この補間関係生成部１５には、入力ラインバッファ１１に格納された濃度データと、補正テーブル１０に格納された演算式や重み付けとを用いて補間演算をし、個々の画素の濃度データを算出する補間演算部１６が、設けられている。
この補間演算部１６は、例えば図４におけるｐ１、ｐ２、ｐ３、ｐ４の４つの画素で囲まれたａ２、ｂ２、ｃ２のように、周囲の４画素の濃度データにより演算することができる歪補正前の画素の最大数に対応して設けられており、本実施形態では３つ設けられている。この補間演算部１６の数は、レンズや撮像系による歪や、補間に用いる補間法により異なり、補正前の座標データと補正後の座標データとの対応関係及び取得する画素の座標データにより予め算出される。
【００４１】
補間関係生成部１５には、補間演算部１６にて補間演算している画素の補正前の座標データを管理している補間カウンタ１７が、補間関係生成部１５に対応して設けられている。補間カウンタ１７には、補間演算部１６にて補間演算している画素の補正前のｘ座標を管理する補間ｘカウンタ１８と、同じく補間演算している画素の補正前のｙ座標を管理する補間ｙカウンタ１９とにより構成されている。
【００４２】
補間演算部１６には、補間演算により形成された濃度データを一時的に格納し、後段画像処理部３に格納した濃度データをライン単位で出力する出力ラインバッファ２０が接続されている。この出力ラインバッファ２０は、主撮像装置４及び副撮像装置５にそれぞれ対応して設けられており、主撮像装置４により撮像された基準画像データが後段画像処理部３に出力されるタイミングと、副撮像装置５により撮像され、基準画像データに対応する参照画像データが後段画像処理部３に出力されるタイミングとが一致するようになっている。
また、出力ラインバッファ２０には、入力ラインバッファ１１と同数のライン数の濃度データを最低格納することができるようになっている。そして、基準画像データが出力するタイミングよりも基準画像データに対応する参照画像データが出力するタイミングのほうが遅い場合、主撮像装置４に対応して設けられた出力ラインバッファ２０には、入力ラインバッファ１１と同数のライン数の濃度データに加え、出力が遅れるライン数分の濃度データを格納することができるようになっている。
【００４３】
出力ラインバッファ２０には、補間演算部１６により形成された濃度データを出力ラインバッファ２０に格納したり、出力ラインバッファ２０から後段画像処理部３に出力したりするときにカウントをする出力カウンタ２１が、出力ラインバッファ２０に対応して設けられている。この出力カウンタ２１は、出力ラインバッファ２０のｘ位置をカウントする出力ｘカウンタ２２と、出力ラインバッファ２０のｙ位置をカウントする出力ｙカウンタ２３とにより構成されている。
【００４４】
次に、本実施形態に係る画像処理装置１の作用について説明する。
【００４５】
主撮像装置４及び副撮像装置５を用いて画像を撮影すると、主撮像装置４及び副撮像装置５の撮像レンズ６の光路上にある撮像素子７がその受光量に応じて画像データに変換するので、主撮像装置４及び副撮像装置５による画像データがそれぞれ生成される。
【００４６】
主撮像装置４及び副撮像装置５によって生成された画像データが主撮像装置４及び副撮像装置５に接続された画像平行化部９に入力されると、制御部８は、画像データを構成するデータのうち濃度データを、入力ラインバッファ１１に一旦格納する。そして、制御部８は、補正テーブル１０を参照し、入力ラインバッファ１１に格納された濃度データから補間演算をすることができる補正前の画素を検出する。そして、制御部８は、その補正前の画素に対応する補間演算式や重み付けなどを、補正テーブル１０から補間関係生成部１５に出力させる。同時に制御部８は、補間関係生成部１５で演算する画像データの対応関係を補正テーブル１０から検出し、補間演算をする補正前の画素の座標データを補間カウンタ１７に管理させる。
【００４７】
詳細には、入力ラインバッファ１１に取得した画像データを構成する濃度データ、ｐ１、ｐ２、ｐ３、ｐ４が格納されると、制御部８は、これらの濃度データを用いて補間演算できる補正前の画素がａ２、ｂ２、ｃ２であることを補正テーブル１０の対応関係から検出し、それぞれの画素に用いる補間演算式や重み付けなどを補正テーブル１０から補間関係生成部１５に出力する。そして、補間演算部１６にて、それぞれの画素に対応して補間演算を行い、濃度データを形成する。
【００４８】
例えば、ａ２の補間演算は以下のような演算式（２）を用いて行われ、補正後の画素の濃度データを算出する。
ａ２＝（１−α１）（１−β１）ｐ１＋α１（１−β１）ｐ２＋（１−α１）β１ｐ３＋α１β１ｐ４・・・（２）
ここで、
ａ２は、座標ａ２の濃度データ
ｐ１は、座標ｐ１の濃度データ
ｐ２は、座標ｐ２の濃度データ
ｐ３は、座標ｐ３の濃度データ
ｐ４は、座標ｐ４の濃度データ
α１及びβ２は、ａ２の重み付け
である。
【００４９】
このａ２の濃度データを算出しているとき、制御部８は、画素ａ２の座標データ（ｎ＋１＋α１，ｍ＋１＋β１）のうち、ｘ座標を示す（ｎ＋１＋α１）を補間ｘカウンタ１８に管理させ、また、ｙ座標を示す（ｍ＋１＋β１）を補間ｙカウンタ１９に管理させる。
【００５０】
同様に、各補間演算部１６にてｂ２及びｃ２の補間演算が行われ、ｂ２及びｃ２の補正後の画素の濃度データがそれぞれ算出される。この算出されたａ２、ｂ２、ｃ２のそれぞれの濃度データは、平行化の補正をした後の画素（補正後の画素）の濃度データ、ａ１、ｂ１、ｃ１のそれぞれの濃度データとなる。
【００５１】
制御部８は、補間演算により算出された補正後の画素の濃度データを、出力カウンタ２１を用いて、出力ラインバッファ２０の適切な位置に一旦格納する。この適切な位置とは、主撮像装置４及び副撮像装置５とが完全に平行に設置されたときに取得する画像データの並びである平行化処理がされた画像データに並び換えた位置であり、主撮像装置４及び副撮像装置５の有する撮像レンズ６が歪を有する場合は、歪の補正をした後の画像データの位置でもある。
また、制御部８は、補間演算部１６から出力される補正後の画素の濃度データに対応する補正後の画素の座標データを補正テーブルから検出し、その座標データのｘ座標を出力ｘカウンタ２２に管理させ、また、その座標データのｙ座標を出力ｙカウンタ２３に管理させる。そして制御部８は、出力カウンタ２１を制御して、補正後の画素の濃度データを、補正後の画素の座標データに対応させた出力ラインバッファ２０の位置に出力させ、格納する。
【００５２】
更に、制御部８は、主撮像装置４及び副撮像装置５のそれぞれに接続された出力ラインバッファ２０に格納された濃度データを、出力カウンタ２１を用いて後段画像処理部３にライン単位で出力する。このとき、制御部８は、基準画像データが出力するタイミングと、基準画像データに対応する参照画像データが出力するタイミングとが一致するように制御する。
【００５３】
そして、制御部８は、後段画像処理部３で、補正画像データを処理して例えば物体を認識する画像データを形成する。
【００５４】
以上のように、本実施形態によれば、補正画像データを形成することが可能な画像データが入力ラインバッファ１１に格納されると、画像データから平行化の画像処理をした補正画像データの形成を開始するので、入力ラインバッファ１１に濃度データを格納する時間と、画像データと補正画像データとの対応関係との算出時間とを削減して補正画像データを形成することが可能となり、画像処理時間を短縮させることができる。
【００５５】
なお、本実施形態では、画像平行化部９に、補正後の画素の座標データと補正前の画素の座標データとの対応関係が格納されている補正テーブル１０を設けた例を示したが、これに限定されず、画像処理部に補正テーブルを設けず、補正後の画素の座標データと補正前の画素の座標データとの対応関係を検出するようにしてもよい。
【００５６】
また、本実施形態では、ライン単位を補正画像データの形成可能な最小単位とした例を示したが、これに限定されず、画素単位や画像単位であってもよい。
これに対応して、本実施形態では、濃度データをライン単位で格納する入力ラインバッファ１１を設けた例を示したが、これに限定されず、濃度データを画素単位や画像単位で格納する入力ラインバッファを設けてもよい。
さらに、本実施形態では、格納した濃度データをライン単位で出力する出力ラインバッファ２０を設けた例を示したが、これに限定されず、入力ラインバッファの最小単位と対応させ、濃度データを画素単位や画像単位で格納する出力ラインバッファを設けてもよい。
【００５７】
さらに、本実施形態では、単数の副撮像装置５を設けた例を示したが、これに限定されず、複数の副撮像装置を設けるような構成であってもよい。
【００５８】
また、本実施形態では、補間演算部１６が一度に演算することのできる補正前の濃度データの最大数に対応して設けられた例を示したが、これに限定されず、一つの補間演算部にて順次、補間演算を行うような構成であってもよい。
【図面の簡単な説明】
【００５９】
【図１】本実施形態における画像処理装置の全体構成を示す概略図である。
【図２】本実施形態における画像平行化部の構成を示す概略図である。
【図３】本実施形態における補間演算をする画素と周囲の画素との関係を示す図である。
【図４】本実施形態における歪補正前の画素と歪補正後の画素との対応関係を示す図である。
【符号の説明】
【００６０】
１     画像処理装置
２     画像処理部
３     後段画像処理部
４     主撮像装置
５     副撮像装置
６     撮像レンズ
７     撮像素子
８     制御部
９     画像平行化部
１０   補正テーブル
１１   入力ラインバッファ
１２   入力カウンタ
１５   補間関係生成部
１６   補間演算部
１７   補間カウンタ
２０   出力ラインバッファ
２１   出力カウンタ
【図１】
2007114923.tif 000003
【図２】
2007114923.tif 000004
【図３】
2007114923.tif 000005
【図４】
2007114923.tif 000006