(57)【要約】【課題】歪み補正に必要な変換情報テーブルの作成時間の短縮、画像の歪み補正に要する時間の短縮を図る。【解決手段】この画像処理装置は、演算処理回路が、カメラの撮像領域を区分する複数の第１の領域について、予め決められた１以上の第１の領域を除く１以上の第１の領域のそれぞれについて、当該第１の領域毎の画像の歪み補正のための１以上の変換情報を生成し、生成した１以上の変換情報を画像の歪み補正の対象である第１の領域を識別する識別情報と対応付けて記憶部に記憶する。【選択図】図４
2018129742.tif 000002
【特許請求の範囲】
【請求項１】
演算処理回路と記憶部とを有し、
前記演算処理回路は、
カメラの撮像領域を区分する複数の第１の領域について、
予め決められた１以上の前記第１の領域を除く１以上の前記第１の領域のそれぞれについて、当該第１の領域毎の画像の歪み補正のための１以上の変換情報を生成し、
前記生成した１以上の変換情報を前記画像の歪み補正の対象である前記第１の領域を識別する識別情報と対応付けて前記記憶部に記憶するように構成された
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記演算処理回路は、
前記予め決められた１以上の前記第１の領域のそれぞれについて、当該第１の領域の画像をそのまま歪み補正結果として出力することを指示する変換情報を当該第１の領域を識別する識別情報と対応付けて前記記憶部に記憶させるように構成された
画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、
前記演算処理回路は、
区分線が印刷されたキャリブレーションボードをカメラで撮像して得られた撮影画像に含まれる前記区分線の像の理想的な歪み補正結果である理想区分線の前記カメラの撮像領域に対する設定をユーザより受け付け、
前記区分線の像により前記カメラの撮像領域を区分した複数の前記第１の領域と、前記理想区分線により前記カメラの撮像領域を区分した複数の第２の領域との空間的な対応関係の設定をユーザより受け付け、
予め決められた１以上の前記第１の領域以外の１以上の前記第１の領域のそれぞれについて、当該第１の領域を代表する複数の点の座標と、当該第１の領域に空間的に対応付けられた前記第２の領域を代表する複数の点の座標をもとに前記変換情報を生成するように構成された
画像処理装置。
【請求項４】
演算処理回路と記憶部とを有し、
前記記憶部は、
カメラの撮像領域を区分する複数の第１の領域について、前記第１の領域毎の画像の歪み補正のための複数の変換情報を当該第１の領域を識別する識別情報と対応付けて記憶し、
前記演算処理回路は、
前記カメラにより撮像された撮影画像に対する前記変換情報に基づく歪み補正を、予め決められた１以上の前記第１の領域を除いて選択的に行うように構成された
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記記憶部は、
すべての前記第１の領域のうち、前記予め決められた１以上の前記第１の領域を除く１以上の前記第１の領域に対する１以上の前記変換情報を記憶する
画像処理装置。
【請求項６】
請求項４または５に記載の画像処理装置であって、
前記演算処理回路は、
区分線が印刷されたキャリブレーションボードをカメラで撮像して得られた撮影画像に含まれる前記区分線の像の理想的な歪み補正結果である理想区分線の前記カメラの撮像領域に対する設定をユーザより受け付け、
前記区分線の像により前記カメラの撮像領域を区分した複数の前記第１の領域と、前記理想区分線により前記カメラの撮像領域を区分した複数の第２の領域との空間的な対応関係の設定をユーザより受け付け、
前記予め決められた１以上の前記第１の領域を除く１以上の前記第１の領域のそれぞれについて、当該第１の領域を代表する複数の点の座標と、当該第１の領域に空間的に対応付けられた前記第２の領域を代表する複数の点の座標をもとに前記変換情報を生成するように構成された
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによる撮影画像に生じる歪みを補正する画像処理装置に関する。
【背景技術】
【０００２】
カメラにおいてはカメラレンズのもつ歪曲収差などにより撮影画像に歪みが生じ、特にステレオカメラなどに用いられることが多い広画角のカメラでは歪みが大きくなる。そのため、撮像された画像に対して歪み補正が行われる。
【０００３】
画像の歪み補正方法としては、入力映像を複数の領域に分割し、領域毎に画像の歪みを検出して歪みを近似する関数モデルなどの歪み情報を作成し、これら領域毎の歪み情報を用いて各領域の画像の歪みを補正する技術が開示される（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０４９７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、歪み近似関数式や係数などの歪み情報の算出には複雑な計算が伴うため、画像を分割するすべての領域について歪み情報を算出するとなると、非常に長い計算時間がかかる。
【０００６】
また、分割したすべての領域の画像に対して歪み補正を行うとなると、それだけ補正時間もかかる。このため、例えば、車載ステレオカメラなどのように、撮影された２つの画像から差分画像を生成し、この差分画像から前方の路面状態や歩行者や障害物などの物体の検出などの複雑な画像処理を時間的な制限下で行われる必要がある場合には、高速なＣＰＵなど、高価なハードウェアが必要となり、大型化や価格上昇を招くおそれがある。
【０００７】
以上のような事情に鑑み、本発明の目的は、像の歪み補正に必要な変換情報の作成時間の短縮および画像の歪み補正に要する時間の短縮を図ることのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る画像処理装置は、
演算処理回路と記憶部とを有し、
前記演算処理回路は、
カメラの撮像領域を区分する複数の第１の領域について、
予め決められた１以上の前記第１の領域を除く１以上の前記第１の領域のそれぞれについて、当該第１の領域毎の画像の歪み補正のための１以上の変換情報を生成し、
前記生成した１以上の変換情報を前記画像の歪み補正の対象である前記第１の領域を識別する識別情報と対応付けて前記記憶部に記憶するように構成される。
【０００９】
本発明では、例えば、撮影画像を区分する複数の第１の領域において、歪みが比較的少ない中央部分や、精度が要求されない部分などの１以上の第１の領域を除く１以上の第１の領域のそれぞれに絞って画像の歪み補正のための変換情報を生成することによって、画像の歪み補正に用いられる変換情報の作成時間を短縮することができる。
【００１０】
また、前記演算処理回路は、前記予め決められた１以上の前記第１の領域のそれぞれについて、当該第１の領域の画像をそのまま歪み補正結果として出力する変換情報を当該第１の領域を識別する識別情報と対応付けて前記記憶部に記憶させるように構成されてもよい。
【００１１】
これにより、歪み補正が必要な第１の領域と不要な第１の領域とを管理するための情報を別途設ける必要がない。
【００１２】
さらに、前記演算処理回路は、区分線が印刷されたキャリブレーションボードをカメラで撮像して得られた撮影画像に含まれる前記区分線の像の理想的な歪み補正結果である理想区分線の前記カメラの撮像領域に対する設定をユーザより受け付け、前記区分線の像により前記カメラの撮像領域を区分した複数の前記第１の領域と、前記理想区分線により前記カメラの撮像領域を区分した複数の第２の領域との空間的な対応関係の設定をユーザより受け付け、予め決められた１以上の前記第１の領域以外の１以上の前記第１の領域のそれぞれについて、当該第１の領域を代表する複数の点の座標と、当該第１の領域に空間的に対応付けられた前記第２の領域を代表する複数の点の座標をもとに前記変換情報を生成するように構成されたものであってよい。
【００１３】
また、本発明の他の形態に係る画像処理装置は、
演算処理回路と記憶部とを有し、
前記記憶部は、
カメラの撮像領域を区分する複数の第１の領域について、前記第１の領域毎の画像の歪み補正のための複数の変換情報を当該第１の領域を識別する識別情報と対応付けて記憶し、
前記演算処理回路は、
前記カメラにより撮像された撮影画像に対する前記変換情報に基づく歪み補正を、予め決められた１以上の前記第１の領域を除いて選択的に行うように構成されたものである。
【００１４】
本発明では、例えば、撮影画像を区分する複数の領域において、歪みが比較的少ない中央部分や、精度が要求されない部分などを除いて、画像の歪み補正を行うことによって、高速なＣＰＵなどの高価なハードウェアを用いることなく、画像１枚の歪み補正に要する時間を短縮することができる。
【００１５】
また、本発明の他の形態に係る画像処理装置において、前記記憶部は、すべての前記第１の領域のうち、前記予め決められた１以上の前記第１の領域を除く１以上の前記第１の領域に対する１以上の前記変換情報を記憶するものであってよい。
【００１６】
また、本発明の他の形態に係る画像処理装置において、前記演算処理回路は、区分線が印刷されたキャリブレーションボードをカメラで撮像して得られた撮影画像に含まれる前記区分線の像の理想的な歪み補正結果である理想区分線の前記カメラの撮像領域に対する設定をユーザより受け付け、前記区分線の像により前記カメラの撮像領域を区分した複数の前記第１の領域と、前記理想区分線により前記カメラの撮像領域を区分した複数の第２の領域との空間的な対応関係の設定をユーザより受け付け、前記予め決められた１以上の前記第１の領域を除く１以上の前記第１の領域のそれぞれについて、当該第１の領域を代表する複数の点の座標と、当該第１の領域に空間的に対応付けられた前記第２の領域を代表する複数の点の座標をもとに前記変換情報を生成するように構成されたものであってよい。
【発明の効果】
【００１７】
本発明によれば、歪み補正に必要な変換情報テーブルの作成時間の短縮および画像の歪み補正に要する時間の短縮を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る画像処理装置を用いた一実施形態であるステレオカメラシステムの構成を示すブロック図である。
【図２】セルマッピング画像の例を示す図である。
【図３】歪曲収差に起因する歪みをもつ撮影画像における歪み補正不要領域の例を示す図である。
【図４】変換情報テーブルの作成方法の手順を示すフローチャートである。
【図５】キャリブレーションボードの格子印刷面の格子線を示す図である。
【図６】キャリブレーションボードの格子印刷面に印刷される格子線の他の形状を示す図である。
【図７】図５のキャリブレーションボードの格子印刷面の撮影画像と、この撮影画像を区分するセルを示す図である。
【図８】図７のキャリブレーションボードの格子印刷面の撮影画像における各格子点への格子点ＩＤの付与について説明するための図である。
【図９】図７のキャリブレーションボードの格子印刷面の撮影画像に理想格子線を重ねて描画した様子を示す図である。
【図１０】図９の理想格子線を抜き出して示す図である。
【図１１】カメラによって撮影された実際の画像に対して、変換情報テーブルに基づく画像歪み補正を行う手順を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら、本発明の一実施形態を説明する。
本実施形態は、例えばステレオカメラシステムなどに本発明に係る画像処理装置を採用したものである。そこで、まずステレオカメラシステムの全体的な構成から説明する。
【００２０】
［ステレオカメラシステムの構成］
図１はステレオカメラシステム１の全体構成を示すブロック図である。
同図に示すように、このステレオカメラシステム１は、ステレオカメラ１０と、演算処理回路２０と、メモリー３０とを備える。なお、メモリー３０は演算処理回路２０内に設けられていてもよい。演算処理回路２０とメモリー３０はパーソナルコンピュータであってもよい。また、このステレオカメラシステム１には、キャリブレーションボードなどの撮影画像および理想格子線などを表示するディスプレイＤ、さらには演算処理回路２０に各種のデータやコマンドを入力することが可能な入力装置Ｋが設けられる。
【００２１】
ステレオカメラ１０は、２つのカメラ１０Ｒ、１０Ｌを有する。２つのカメラ１０Ｒ、１０Ｌは、車両前方を撮像範囲とし、視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。
【００２２】
カメラ１０Ｒ、１０Ｌは、撮像用のレンズと、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ｒ、１０Ｌにより各々得られた撮像信号は演算処理回路２０に供給される。
【００２３】
演算処理回路２０は、画像の歪み補正、視差算出および路面変位検出などのための演算処理を行うデバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。
【００２４】
演算処理回路２０は、機能的には、画像処理部２１、路面変位算出部２２および障害物検出部２３などを有する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像（カメラ１０Ｒの画像）を基準画像、他方の画像（カメラ１０Ｌの画像）を参照画像として各々の画像の対応関係を探索して、２つの画像の視差情報を生成する。
【００２５】
路面変位算出部２２は、画像処理部２１により求められた視差情報を用いて、路面上の検出対象点のステレオカメラ１０からの距離および路面の高さなどの算出を行う。路面変位算出部２２は、算出した距離および高さの情報からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成して、サスペンションシステム６０に供給する。障害物検出部２３は、画像処理部２１により求められた視差情報を用いて車両前方の障害物の検出などを行う。
【００２６】
このステレオカメラシステム１では、ステレオカメラ１０によって得られる視差画像の精度を高めるために、個々のカメラ１０Ｒ、１０Ｌの撮像用のレンズがもつ歪曲収差などに起因する画像歪みを補正することが行われる。
【００２７】
画像処理部２１は、撮像素子の全体の撮像領域を格子状に区分する領域（「セル」と呼ぶ。）毎に画像の歪みを補正する。セル毎の画像の歪みを補正するために、メモリー３０には、撮像素子の撮像領域に複数のセルを割り当てるための情報であるセルＩＤマッピング画像３２と、セルＩＤと例えば変換係数などの変換情報とが対応付けて登録された変換情報テーブル３１とが格納される。
【００２８】
セルＩＤマッピング画像３２は、例えば図２に示すように、メモリー３０において撮影画像が展開される領域相当のサイズを有する画像であり、変換情報テーブル３１を作成する際に使用される後述のキャリブレーションボードの格子線に対応する格子状の複数の領域がそれぞれセルに相当する領域として、例えば色分けや線などによって描かれた画像である。セルＩＤマッピング画像３２は、撮像素子の撮像領域に複数のセルをセルＩＤとともに割り当てるために演算処理回路２０によって読み込まれる。
【００２９】
本明細書では、歪み補正対象のセルを制限することによって、変換情報テーブル３１の作成に要する時間を短縮したり、画像１枚あたりの歪み補正処理に要する時間を短縮したりする技術について詳述する。
【００３０】
［歪み補正対象のセル制限］
画像１枚あたりの歪み補正処理に要する時間の短縮を実現するために、本実施形態では、例えば、撮影画像において歪みが比較的少ない部分を歪み補正対象から外すこととしている。例えば、図３に示すように、撮影画像４３において歪曲収差に起因する歪みが比較的少ない部分は中央部分である。このように撮影画像４３において歪みが比較的少ない部分に属する１以上のセルを包含する歪み補正不要領域７０を指定することによって、この歪み補正不要領域７０以外のセルを対象に歪み補正を行うことができる。
【００３１】
あるいは、精度が要求されない部分に属するセル群を歪み補正対象から外してもよい。精度が要求されない部分とは、例えば、路面高さの検出や障害物検出などの検出の対象外とされる領域などであり、より具体的には、撮像領域の下部や上部、あるいは撮像領域の左右の両端部などである。
【００３２】
演算処理回路２０は、画像の歪み補正を行う際、歪み補正不要領域７０に属する１以上のセルに対する歪み補正を、例えばスキップするように動作することによって、撮影画像１枚の歪み補正処理に要する時間が短縮される。
【００３３】
演算処理回路２０は、予めメモリー３０に記憶された歪み補正対象のセルＩＤあるいは歪み補正対象外のセルＩＤをもとに、画像の歪み補正をスキップするセルを判定することができる。
【００３４】
あるいは、変換情報テーブル３１に歪み補正対象外のセルＩＤに対応付けて、画像をそのまま歪み補正結果として出力する変換情報が登録されてもよい。この方式の場合には、画像の歪み補正をスキップするセルを判定する処理が不要となり、高速化が図れる。
【００３５】
［変換情報テーブル３１の作成手順］
次に、変換情報テーブル３１の作成手順を説明する。
なお、ステレオカメラ１０の場合、２つのカメラの１０Ｒ、１０Ｌのそれぞれについて変換情報テーブル３１が作成されるが、それぞれの変換情報テーブル３１の作成手順は同じであるので、以降、１つのカメラ用の変換情報テーブル３１の作成についてのみ説明する。
【００３６】
図４は、変換情報テーブル３１の作成方法の手順を示すフローチャートである。
本実施形態の変換情報テーブル３１の作成手順では、キャリブレーションボードが予め準備される。
【００３７】
図５はキャリブレーションボード４０の格子印刷面を示す図である。
このキャリブレーションボード４０の格子印刷面には格子線４１（区分線）が印刷されている。本実施形態では、格子線４１として、縦横に均等な間隔で引かれた複数の直線で形成される格子線を用いたが、本発明は限定されない。例えば、図６に示すように、外周部ほど、直線の間隔を狭くした格子線４２が用いられてもよい。これにより、歪み量の大きい外周部ほど、格子の目に相当する領域（歪み補正が行われる領域）のサイズが小さくなるので、歪み補正の精度を高くすることができる。
【００３８】
キャリブレーションボード４０の撮影に関しては、まず、カメラの撮像素子の撮像領域の中心とキャリブレーションボード４０の格子印刷面の中心（格子線４０の中心）とを合わせ、かつ撮像領域にキャリブレーションボード４０の格子印刷面の格子線４１が収まるように、キャリブレーションボード４０とカメラとの位置関係を合わせてキャリブレーションボード４０の格子印刷面の撮像が行われる（ステップＳ１０１）。
【００３９】
図７はキャリブレーションボード４０の格子印刷面の撮影画像４３を示す図である。このように、カメラレンズの歪曲収差の影響により生じる画像の歪みは外周部ほど大きい。
【００４０】
次に、演算処理回路２０は、図８に示すように、キャリブレーションボード４０の格子印刷面の撮影画像における格子線４１の像のすべての交点（格子点）を抽出し、各々の格子点に格子点ＩＤを付与する（ステップＳ１０２）。この格子点ＩＤの付与は、演算処理回路２０が撮影画像を分析して自動的に行うことが可能であるが、入力装置Ｋを使ってユーザにより行われてもよい。
【００４１】
格子点ＩＤの付与は、例えば次のようにして行われる。左上端の格子点を始点の格子点として、この始点の格子点のＩＤを"００"とし、その一つ右側の格子点に"０１"が付与される。また、始点の格子点の１つ下の格子点に"１０"、その一つ右側の格子点に"１１"が付与される。同様に他の格子点にも格子点ＩＤが付与される。
【００４２】
このキャリブレーションボード４０の格子印刷面の撮影画像４３において、格子線４１の像によって区切られた一つ一つの領域がセルＣ（第１の領域）である。
【００４３】
次に、演算処理回路２０は、図９に示すように、キャリブレーションボード４０の格子印刷面の撮影画像の上に、この撮影画像の格子線４１の像に対する理想的な歪み補正結果である理想格子線（図中点線で示す。）を描画する（ステップＳ１０３）。
【００４４】
この際、演算処理回路２０が理想格子線のモデルを自動描画し、この理想格子線のモデルを、ユーザが入力装置Ｋを使って編集して最終的な理想格子線を決めてもよい。
【００４５】
次に、演算処理回路２０は、図１０に示すように、理想格子線のすべての交点（理想格子点）を検出し、各々の理想格子点に理想格子点ＩＤを付与する（ステップＳ１０４）。なお、図１０は図９から理想格子線を抜き出して示す図である。この理想格子点ＩＤの付与は、演算処理回路２０が理想格子線を分析して自動的に行うことが可能であるが、入力装置Ｋを使ってユーザにより行われてもよい。理想格子点ＩＤの付与は、上記の格子点ＩＤと同様に、次のようにして行われる。左上端の理想格子点を始点の理想格子点として、この始点の理想格子点のＩＤを"００"とし、その一つ右側の理想格子点に"０１"が付与される。また、始点の理想格子点の１つ下の理想格子点に"１０"、その一つ右側の理想格子点に"１１"が付与される。同様に他の理想格子点にも理想格子点ＩＤが付与される。
【００４６】
次に、ユーザは、入力装置Ｋを操作して、格子線４１の像により区分される複数の領域（第１の領域）と、理想格子線により区分される複数の領域（第２の領域）との一対一の空間的な対応関係を設定する（ステップＳ１０５）。
なお、第１の領域と第２の領域との空間的な対応関係の設定は、演算処理回路２０が自動的に行ってもよい。
【００４７】
次に、演算処理回路２０は、第１の領域および第２の領域にセルＩＤを付与する。より具体的には、演算処理回路２０は、第１の領域の４つの頂点にあたる４つの格子点ＩＤをもとに第１の領域のセルＩＤを生成し、第２の領域の４つの頂点にあたる４つの理想格子点ＩＤをもとに第２の領域のセルＩＤを生成する方法などが挙げられる（ステップＳ１０６）。図７および図１０に示すように、対応関係を有する第１の領域および第２の領域に共通のセルＩＤが割り当てられる。なお、セルＩＤの付与は、入力装置Ｋを使ってユーザにより行われてもよい。
【００４８】
さらに、演算処理回路２０は、第１の領域の４つの頂点にあたる４つの格子点の格子点ＩＤと、その第１の領域と対応関係を有する第２の領域の４つの頂点にあたる４つの理想格子点の理想格子点ＩＤを、セルＩＤと紐付けてメモリー３０に保存する（ステップＳ１０７）。また、この際、各々の格子点の座標データが格子点ＩＤと対応付けてメモリー３０に保存されるとともに、各々の理想格子点の座標データが理想格子点ＩＤと対応付けてメモリー３０に保存される。
【００４９】
次に、演算処理回路２０は、すべての第２の領域に割り当てられたセルＩＤを用いて、上記のセルＩＤマッピング画像３２（図２）を生成し、メモリー３０に保存する（ステップＳ１０８）。なお、このセルＩＤマッピング画像３２の生成は、必ずしも変換情報テーブル３１の作成と同時に行われる必要はない。例えば、変換情報テーブル３１の作成後、別途作成してもかまわない。
【００５０】
この後、ユーザは歪み補正対象のセル制限を設定したい場合には、図３に示したように、歪み補正不要領域７０または歪み補正必要領域を選択する（ステップＳ１０９のＹＥＳ）。この選択は、歪み補正不要領域７０または歪み補正必要領域に属するセルのセルＩＤをユーザが指定することによっても行うことが可能である。歪み補正不要領域７０に属する１以上のセルのそれぞれのセルＩＤは歪み補正不要セルＩＤとしてメモリー３０に記憶される。歪み補正対象のセル制限を設定しない場合にはこの処理はスキップされる（ステップＳ１０９のＮＯ）。
【００５１】
次に、演算処理回路２０は、歪み補正不要セルＩＤ以外のセルＩＤが付与された１以上のセルについて、そのセルの画像の歪み補正のための変換情報を算出する。より詳細には、演算処理回路２０は、セルＩＤが共通の第１の領域と第２の領域とのペアについて、第１の領域の４つの格子点（第１の領域を代表する複数の点）の座標データと、第２の領域の４つの理想格子点（第２の領域を代表する複数の点）の座標データから、そのセルの画像の歪み補正のための変換情報を算出する。このように算出された変換情報は、この変換情報による歪み補正対象であるセルのセルＩＤと対応付けられて変換情報テーブル３１として作成される（ステップＳ１１０）。作成された変換情報テーブル３１はファイル化されてメモリー３０、あるいは他の記憶部に保存される。
【００５２】
このように、歪み補正が不要なセルに対する変換情報の算出をスキップすることにより、変換情報テーブル３１の作成時間を短縮することができる。
【００５３】
［変換情報テーブル３１に基づく画像歪み補正の手順］
図１１は、カメラによって撮影された実際の画像に対して、変換情報テーブル３１に基づく画像歪み補正を行う手順を示すフローチャートである。
【００５４】
まず、演算処理回路２０は、変換情報テーブル３１のファイルを読み込む（ステップＳ２０１）。
次に、演算処理回路２０は、セルＩＤマッピング画像３２を読み込んで、撮像素子の撮像領域に画素位置単位でセルＩＤを対応付ける（ステップＳ２０２）。この処理は、次のように行われる。演算処理回路２０は、読み込んだセルＩＤマッピング画像３２における個々の格子状の領域の頂点あるいは格子線の交点を格子点として検出し、各々の格子点に格子点ＩＤを付与する。格子点ＩＤを付与する方法は、キャリブレーションボード４０の格子印刷面の撮影画像から格子線の各交点に格子点ＩＤを付与する場合と同様である。次に、演算処理回路２０は、セルＩＤマッピング画像３２の格子状の各領域について、個々の領域の４つの頂点にあたる４つの格子点ＩＤをもとにセルＩＤを生成し、このセルＩＤを当該格子状の領域の位置情報と対応付ける。なお、セルＩＤの付与は、入力装置Ｋを使ってユーザにより行われてもよい。
【００５５】
次に、演算処理回路２０は、カメラによって撮影された画像を取得する（ステップＳ２０３）。演算処理回路２０は、予めメモリー３０に記憶された歪み補正対象のセルＩＤあるいは歪み補正対象外のセルＩＤをもとに歪み補正対象の１以上のセルを判定する（ステップＳ２０４）。続いて、演算処理回路２０は、その歪み補正対象の１以上のセルについて、それぞれ、各画素位置に対応付けられたセルＩＤを判断し、さらに変換情報テーブル３１から、そのセルＩＤに対応する変換情報を参照して、歪み補正対象の１以上のセルの歪み補正をそれぞれ行う（ステップＳ２０５）。
【００５６】
なお、歪み補正対象のセルＩＤあるいは歪み補正対象外のセルＩＤがメモリー３０に記憶されず、歪み補正対象外のセルＩＤに対応して、画像をそのまま歪み補正結果として出力する変換情報が変換情報テーブル３１に登録される方法の場合には、すべてのセルに対して一律に変換情報テーブル３１の変換情報による歪み補正を行えばよく、高速化が図れる。
【００５７】
また、変換情報テーブル３１には歪み補正対象のセルについてのみ、そのセルの画像の歪み補正のために必要な変換情報を算出してセルＩＤと対応付けて登録することとしたが、すべてのセルについてセルの画像の歪み補正のために必要な変換情報を算出してセルＩＤと対応付けて変換情報テーブル３１に登録しておき、メモリー３０に記憶された歪み補正対象のセルＩＤあるいは歪み補正対象外のセルＩＤをもとに、演算処理回路２０が、歪み補正対象のセルに対してのみ、変換情報テーブル３１の変換情報による歪み補正を行うようにしてもよい。
【００５８】
以上、カメラレンズの歪曲収差による画像の歪み補正について述べたが、本発明は、その他の光学系の収差による歪み補正にも適用可能である。
【００５９】
また、本発明は、ステレオカメラのみならず、様々な分野のカメラにより撮像された画像の歪み補正に適用可能である。
【００６０】
さらに、本明細書で説明した画像歪み補正技術は、ステレオカメラあるいはカメラを車内に配置し、フロントガラスを通して車外を撮像する場合においても好適である。この場合、カメラレンズのもつ歪曲収差による像の歪みに加えてフロントガラスによる像の歪みの同時補正が可能になる。
【００６１】
ガラスなどの透過性物質を通して撮像する場合にも、透過性物質とカメラとの位置関係が固定されているならば、カメラレンズのもつ歪曲収差による歪みと透過性物質による歪みの同時補正が可能である。
【００６２】
さらに、上記の実施形態では、変換情報テーブルを作成する演算処理回路と画像歪み補正を行う演算処理回路が同じ回路である場合を想定したが、変換情報テーブルの作成は、より高速な演算処理回路をカメラに接続して行うようにしてもよい。
【符号の説明】
【００６３】
１…ステレオカメラシステム
１０…ステレオカメラ
１０Ｒ、１０Ｌ…カメラ
２０…演算処理回路
２１…画像処理部
３０…メモリー
３１…変換情報テーブル
４０…キャリブレーションボード
４１…格子線
４２…理想格子線
４３…撮影画像
７０…歪み補正不要領域
【図１】
2018129742.tif 000003
【図２】
2018129742.tif 000004
【図３】
2018129742.tif 000005
【図４】
2018129742.tif 000006
【図５】
2018129742.tif 000007
【図６】
2018129742.tif 000008
【図７】
2018129742.tif 000009
【図８】
2018129742.tif 000010
【図９】
2018129742.tif 000011
【図１０】
2018129742.tif 000012
【図１１】
2018129742.tif 000013