(57)【要約】      （修正有）【課題】ステレオカメラを構成する左右カメラの撮像面（センサ）の相対的な傾きに起因する画像内の縦横のずれを、縦ずれを検出するだけで補正することができる方法および画像処理装置。【解決手段】ステレオカメラを構成する左右カメラで撮像された撮像画像を処理する画像処理装置は、該左右カメラ１０１，１０２の撮像画像の相対的な縦ずれを検出する縦ずれ検出手段１１０、該検出された縦ずれから、左右カメラの撮像面の相対的な傾き角を算出する傾き角算出手段１２０、該算出された傾き角に応じて、左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正する縦横ずれ補正手段１３０を有する。【選択図】図２
2014010100.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラを構成する左右カメラで撮像された撮像画像を処理する画像処理装置であって、
前記左右カメラの撮像画像の相対的な縦ずれを検出する縦ずれ検出手段と、
前記検出された縦ずれから、前記左右カメラの撮像面の相対的な傾き角を算出する傾き角算出手段と、
前記算出された傾き角に応じて、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正する縦横ずれ補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記縦横ずれ補正手段は、前記算出された傾き角に応じて、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換して、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記縦横ずれ補正手段は、下記の座標変換式
【数１】
2014010100.tif 000017
φ        ；傾き角
ｃ        ；任意の定数
ｘ0，ｙ0  ；変換前の座標値
ｘ1，ｙ1  ；変換後の座標値
により、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ステレオカメラを構成する左右カメラで撮像された撮像画像を処理する画像処理方法であって、
前記左右カメラの撮像画像の相対的な縦ずれを検出する縦ずれ検出ステップと、
前記検出された縦ずれから、前記左右カメラの撮像面の相対的な傾き角を算出する傾き角算出ステップと、
前記算出された傾き角に応じて、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正する縦横ずれ補正ステップと、
を有することを特徴とする画像処理方法。
【請求項５】
前記縦横ずれ補正ステップは、前記算出された傾き角に応じて、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換して、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記縦横ずれ補正ステップは、下記の座標変換式
【数２】
2014010100.tif 000018
φ        ；傾き角
ｃ        ；任意の定数
ｘ0，ｙ0  ；変換前の座標値
ｘ1，ｙ1  ；変換後の座標値
により、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
左右カメラからなるステレオカメラと、
請求項１乃至３のいずれか１項に記載の画像処理装置と、
を備えていることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラの撮像画像を処理する画像処理装置及び方法、並びに、該画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、２つ１組の左右カメラからなるステレオカメラを自動車などの移動体に搭載して、該ステレオカメラにて移動体前方等を撮影し、該撮影したステレオ画像から対象物までの距離を測定し、その測定結果に応じて衝突防止のために運転者に警告を行ったり、車間距離維持のためにブレーキ、ステアリングなどの制御を行う運転支援システムが実用化されている。
【０００３】
このような運転支援システムでは、ステレオカメラを構成する左右カメラで同一対象物を撮影して得られたステレオ画像の一方を基準画像、他方を参照画像として、ブロックマッチングによる対応点探索を行って対応点の位置ずれ（視差）を検出し、三角測量の原理により対象物までの距離を計算している。
【０００４】
ところで、ステレオカメラを構成する左右カメラの撮像面（センサ）が相対的に傾いていると、これら左右カメラで撮像された画像間には縦横のずれが生じ、画像も相対的に歪んだものとなり、正しく視差を検出することができない。正しく視差が検出されないと、測距精度が低下し、運転支援システムの信頼性や安全性が損なわれてしまう。そのため、視差検出に先立って、左右カメラで撮像された画像間の縦横のずれを補正する必要がある。
【０００５】
例えば、特許文献１には、ステレオカメラを構成する２つのカメラのレンズ焦点距離の不揃いやレンズ歪み等に起因する視差検出誤差を補正する技術が記載されているが、２つのカメラの撮像面（センサ）の相対的な傾きに起因する画像間の縦横のズレを補正することは考慮されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、ステレオカメラを構成する左右カメラの撮像面（センサ）が相対的に傾いている場合、これら左右カメラで撮像されたそれぞれの画像について、理想の撮像位置に対する実際の撮像位置のずれを調べ、それぞれずれを補正していた。また、縦ずれを補正するには縦ずれを、横ずれを補正するには横ずれを、それぞれ調べる必要があった。
【０００７】
本発明の課題は、ステレオカメラを構成する左右カメラで撮像されたそれぞれの画像について、理想の撮像位置に対する実際の撮像位置のずれを調べることなく、また、縦横両方のずれを調べることなく、左右カメラの撮像面（センサ）が相対的に傾いていることに起因する画像間の縦横のズレを補正することにある。
【課題を解決するための手段】
【０００８】
本発明は、ステレオカメラを構成する左右カメラで撮像された撮像画像を処理する画像処理装置において、前記左右カメラの撮像画像の相対的な縦ずれを検出する縦ずれ検出手段と、前記検出された縦ずれから、前記左右カメラの撮像面の相対的な傾き角を算出する傾き角算出手段と、前記算出された傾き角に応じて、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正する縦横ずれ補正手段とを有することを主要な特徴とする。
【発明の効果】
【０００９】
本発明によれば、ステレオカメラを構成する左右カメラの撮像面の相対的な傾きに起因する画像内の縦横のずれを、縦ずれを検出するだけで補正することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るハードウエア構成図である。
【図２】本発明の一実施形態に係る機能ブロック図である。
【図３】左右カメラの撮像面の相対的な傾きを示す図である。
【図４】左右カメラの撮像画像を示す図である。
【図５】左右カメラの撮像画像の縦ずれ検出の具体例を示す図である。
【図６】傾き角の算出を説明する図である。
【図７】平面から平面への透視変換を説明する図である。
【図８】平面と平面上の座標系の指定を説明する図である。
【図９】透視変換の手順を説明する図である。
【図１０】左右カメラの撮像面を三次元空間の座標系で定義した図である。
【図１１】縦横ずれ補正処理の具体例を示した図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態について説明する。
【００１２】
図１は、本発明の画像処理装置及び撮像装置を実現するための一実施形態のハードウエア構成図である。図１において、ＣＰＵ１０、ＲＯＭ２０、ＲＡＭ３０、カメラインタフェース回路（カメラＩ／Ｆ）４０、画像メモリ５０等は、互いにバス６０で接続されている。また、カメラＩ／Ｆ４０にはステレオカメラ７０が接続されている。
【００１３】
ＣＰＵ１０は、全体の動作を制御すると共に、種々の処理を実行する。本発明に関して云えば、ステレオカメラ７０を構成する左右カメラ７１，７２の撮像面（センサ）が相対的に傾いていることは起因する画像間のずれを補正する処理を実行する。ＲＯＭ２０は、ＣＰＵ１０で実行するプログラムや各種パラメータ等を格納している。ＲＡＭ３０は作業用メモリであり、ＣＰＵ１０で実行するプログラムがＲＯＭ２０から読み出されて格納されたり、ＣＰＵ１０での処理途中のデータ等が格納される。
【００１４】
ステレオカメラ７０を構成する左カメラ７１と右カメラ７２は、両者の光軸が平行に所定の間隔（基線長）で配置され、ＣＰＵ１０の制御下で互いに同期して動作して、それぞれ異なる視点から被写体を撮影し、その光学像をアナログ電気信号に変換し、更にデジタル信号に変換して画像データとして出力する。画像データは、例えば８ビット／画素からなる。
【００１５】
カメラＩ／Ｆ４０は、ＣＰＵ１０の制御下で、ステレオカメラ７０を構成する左カメラ７１と右カメラ７２から出力される画像データを取り込んで画像メモリ５０へ転送する。画像メモリ５０は、カメラＩ／Ｆ４０から転送された左右カメラ７１，７２の画像データを保持する。さらに、画像メモリ５０は、ＣＰＵ１０での処理後の画像データも保持する。
【００１６】
図２は、本発明の一実施形態に係る画像処理装置の機能ブロック図である。本画像処理装置は、縦ずれ検出部１１０、傾き角算出部１２０、縦横ずれ補正部１３０からなる。実際には、図１のＣＰＵ１０がＲＯＭ２０に保持されたプログムをＲＡＭ３０に読み出して実行することで、図２の各部の処理機能が実現される。なお、本発明の画像処理方法は、図２の各部をステップと読み替えればよい。
【００１７】
以下、図２の各部１１０〜１３０の処理動作を説明する。なお、画像データは単に画像と略称する。また、以下では、左カメラ７１の撮像画像を基準として、それに右カメラ７２の撮像画像を合わせるとするが、逆でもよい。
【００１８】
縦ずれ検出部１１０は、左カメラ７１の撮像画像１０１及び右カメラ７２の撮像画像１０２を入力して、該撮像画像１０１，１０２の相対的な縦ずれを検出する。
【００１９】
図３は、撮像装置をピンホールカメラと仮定し、左右カメラ７１，７２の撮像面（センサ）の相対的な傾きの関係を示した図である。便宜上、図３では、左カメラ７１は撮像面に傾きがなく（撮像面が光軸と直交）、右カメラ７２が、撮像面に傾きがあると想定している。左右カメラ７１，７２の撮像面の相対的な傾きは、角度φで示される。
【００２０】
図３に示すように、左カメラ７１は撮像面に傾きが無く（撮像面が光軸と直交）、右カメラ７２が、その撮像面が光軸と直交する面から傾いている場合、左右カメラ７１，７２の撮像画像１０１，１０２は、図４のようになる。便宜上、被写体は矩形図形とする。すなわち、左カメラ７１の撮像画像１０１は被写体と同じ矩形となるが、右カメラ７２の撮像画像１０２は台形の形に歪み、しかも、傾きがない場合の理想位置から縦横にずれる。ここで、縦方向のずれａ，ｂが傾き角φに関係する。逆に、縦方向のずれａ，ｂが分かれば、傾き角φが求まる。傾き角φが分かれば、右カメラ７２の撮像画像も補正可能である。すなわち、図４（ｂ）の点線で示す矩形に戻すことができ、図４（ａ）の左カメラ１１の撮像画像１０１の矩形とは、被写体からの距離に応じた差分だけ横方向にずれた画像とすることができる。
【００２１】
縦ずれ検出部１１０では、左右カメラ７１，７２の撮像画像１０１，１０２について、一方を基準画像（ここでは、撮像画像１０１）他方を参照画像（撮像画像１０２）として、基準画像から特徴点を抽出し、周知のブロックマッチング手法等により、参照画像から同一特徴点を探索し、基準画像の特徴点と参照画像の同一特徴点の位置関係から、撮像画像１０１，１０２の相対的な縦ずれを検出する。
【００２２】
図５は、縦ずれ検出の具体的イメージを示した図である。すなわち、図５では、左右カメラ７１，７２で前方車両を撮像するとし、左カメラ７１の撮像画像１０１、右カメラ７２の撮像画像１０２から前方車両の右上角ｍ，ｍ’及び左テールランプ位置ｎ，ｎ’を特徴点として抽出して、縦ずれａ，ｂを検出する。
【００２３】
傾き角算出部１２０は、縦ずれ検出部１１０で検出された縦ずれから、左右カメラ７１，７２の撮像面（センサ）の相対的傾き角φを算出する。
【００２４】
ここで、左右カメラ７１，７２の撮像面（センサ）の相対的な傾きの関係が、図３の如くとする。この場合、図６から次式（１），（２）が成立する。
ｈ’＝ｈ×cos（θ）÷cos（θ＋φ）          （１）
ｈ”＝ｈ×cos（θ）÷cos（θ−φ）          （２）
ここで、θ＝ａｒｃｔａｎ（ｈ／ｆ）である。
【００２５】
すなわち、ｈ，ｈ’，ｈ”，θが分かれば、左右カメラ７１，７２の撮像面（センサ）の相対的な傾き角φが求まる。ｈとｈ’とｈとｈ”の差が縦ずれａ，ｂである。
【００２６】
傾き角算出部１２０では、縦ずれ検出部１１０で検出された縦ずれの値により、式（１）あるいは式（２）のいずれかを適用して、左右カメラ７１，７２の撮像面（センサ）の相対的な傾き角φを計算する。なお、式（１）あるいは（２）のいずれを適用するかは任意である。いずれの式を適用しても、結果は同じである。
【００２７】
縦横ずれ補正部１３０は、傾き角算出部１２０で求まった傾き角φをもとに、あらかじめ導出しておいたずれ補正式（座標変換式）を用いて、参照画像（ここでは、右カメラ７２の撮像画像）について縦ずれ及び横ずれを補正する。ずれ補正式（座標変換式）は、左右カメラ７１，７２の撮像面の相対的な傾き角と、縦ずれ補正値及び横ずれ補正値との関係を表わした式であり、例えば、非特許文献１に記載の透視変換（射影変換）の手法を適用して以下のようにして導出される。
【００２８】
図７に示すように、３次元空間内のある点（Ｅ）を投影中心として、ひとつの平面（Π0）上の点（Ｐ）を、別の平面（Π1）上の点（Ｑ）へ投影する透視変換を考える。まず、３次元空間内での投影中心と二つの平面、および二つの平面上での座標系が与えられた時に、平面Π０上の２次元空間Ｒ０上の座標（ｓ0，ｔ0）から、平面Π1上の２次元空間Ｒ1上の座標（ｓ1，ｔ1）への透視変換行列を決定する手順を説明する。なお、斉次座標、射影空間内の平面などの概念は非特許文献１を参照する。また、非特許文献１に倣い行ベクトルの斉次座標表現を用いる。
【００２９】
３次元空間内の平面は、参照点（ｐ）と法線ベクトル（ｎ）で指定する。点ｐ＝（ｐｘ，ｐｙ，ｐｚ）を含み、ベクトルｎ＝（ｎｘ，ｎｙ，ｎｚ）を法線とする平面方程式は、
ｎｘ（ｘ−ｐｘ）＋ｎｙ（ｙ−ｐｙ）＋ｎｚ（ｚ−ｐｚ）＝０          （３）
であり、この平面の斉次座標は、
［μ0,μ1,μ2,μ3］＝［ｎｘ,ｎｙ,ｎｚ,−ｎｘｐｘ−ｎｙｐｙ−ｎｚｐｚ］
（４）
となる。
【００３０】
この平面上の座標系は、参照点ｐと、互いに直交する平面上の二つの単位ベクトルｕ，ｖにより指定する。つまり、平面上で点ｐを原点、ｕに向きを横（ｓ）方向、ｖを縦（ｔ）方向とする。
【００３１】
このように、参照点：ｐ、法線ベクトル：ｎ、縦横方向単位ベクトル：ｕ，ｖにより、３次元空間中の平面、および平面上の座標系が指定できる。図８はこれを示したものである。
【００３２】
目的とする変換は、元の２次元空間（Ｒ０）上の座標から、変換先の２次元空間（Ｒ１）の座標への変換であるが、これを図９に示すように、３段階に分けて考える。
【００３３】
まず、２次元空間Ｒ０の２次元座標（ｓ0，ｔ0）から、３次元空間内の平面Π０上の３次元座標（ｘ0，ｙ0，ｚ0）へ変換する（ステップ１）。これを斉次座標表現で３×４行列：Ａで表す。
【００３４】
この変換は、平面Π0とその上の座標系だけによって決まる。平面Π0の参照点をｐ0＝［ｐ0ｘ，ｐ0ｙ，ｐ0ｚ］、縦横単位ベクトルをｕ0＝［ｕ0ｘ，ｕ0ｙ，ｕ0ｚ］，ｖ０＝［ｖ0ｘ，ｖ0ｙ，ｖ0ｚ］とすると、行列Ａは、
【００３５】
【数１】
2014010100.tif 000003
となる。
次に、３次元空間内の（平面Π０上の）３次元座標（ｘ0，ｙ0，ｚ0）から、同じ３次元空間内の平面Π１上の３次元座標（ｘ1，ｙ1，ｚ1）への、Ｅを投影中心とした透視変換を行う（ステップ２）。これを４×４行列：Ｂで表す。
【００３６】
行列Ｂは、投影中心（Ｅ）と、投影先平面（Π1）から決まる（行列Ｂは３次元空間内の全ての点から平面Π1への投影を表すので、Π0は関係しない）。
【００３７】
投影中心Ｅと平面Π1をそれぞれ斉次座標表現で、ｅ＝［ｅ1，ｅ2，ｅ3，ｅ4］，μ＝［μ1，μ2，μ3，μ4］とすると、投影行列Ｂは、
【００３８】
【数２】
2014010100.tif 000004
と書ける。ただし、（ｘ・ｙ）はベクトルｘとｙの通常の内積を表す。
【００３９】
次に、３次元空間内の平面Π１上の３次元座標（ｘ1，ｙ1，ｚ1）から２次元空間Ｒ１の２次元座標（ｓ1，ｔ1）へ変換を行う（ステップ３）。これを４×３行列：Ｃで表す。
【００４０】
行列Ｃは、平面Π1についてのステップ１の変換の逆変換と考えられる。まず、平面Π1について、Ｃと逆方向の変換を表す行列Ａ１を考える。これは平面Π1の参照点と縦横単位ベクトルを使って、
【００４１】
【数３】
2014010100.tif 000005
と書ける。
【００４２】
求める行列Ｃは、このＡ1の一般化右逆行列、
【００４３】
【数４】
2014010100.tif 000006
として求められる。
【００４４】
最終的に求める［ｓ0，ｔ0］から［ｓ1，ｔ1］への透視変換を表す３×３行列：Ｍは、単純に行列Ａ，Ｂ，Ｃの積をとれば求められる（座標が列ベクトルなので右から順にかける）。すなわち、
Ｍ＝ＡＢＣ                              （10）
として求められる。
【００４５】
さて、図３に示した左右カメラ７１，７２の撮像面（センサ）を３次元空間の座標系ＸＹＺ上で重ねた場合、図１０のように表わすことができる。ここで、平面Π1が左カメラ７１の撮像面１０１、平面Π0が右カメラ７２の撮像面１０２である。右カメラ７２の撮像画像の縦ずれ及び横ずれを補正することは、透視変換では、平面Π0上の２次元空間Ｒ0上の座標［ｓ0，ｔ0］を平面Π1上の２次元空間Ｒ1上の座標［ｓ1，ｔ1］に変換することに相当する。
【００４６】
透視変換に必要なパラメータは、
（１）投影中心点Ｅ（ｘ，ｙ，ｚ）
（２）Π0における参照点ｐ0（ｘ，ｙ，ｚ）
（３）Π1における参照点ｐ1（ｘ，ｙ，ｚ）
（４）Π1の横方向を表すベクトルｕ1（ｘ，ｙ，ｚ）
（５）Π1の縦方向を表すベクトルｖ1（ｘ，ｙ，ｚ）
（６）Π0の横方向を表すベクトルｕ0（ｘ，ｙ，ｚ）
（７）Π0の縦方向を表すベクトルｖ0（ｘ，ｙ，ｚ）
である。
【００４７】
図１０で、投影中心点Ｅは（０，０，１０）である。また、Π0およびΠ1における参照点は両平面の中心で共通点であり、ｐ0＝ｐ1＝（０，０，０）である。
【００４８】
Π1はｚ＝０の平面とし、センサ上向きをＹ軸の正方向、センサ右向きをＸ軸の正方向と定めることで、Π1の横方向を表わすベクトルとΠ1の縦方向を表わすベクトルは、ｕ1＝（１，０，０）、ｖ1＝（０，１，０）となる。Π１の横方向を表すベクトルは、Ｘ軸回転であれば、Π0の横方向と一致する。したがって、ｕ0＝ｕ1＝（１，０，０）となる。
【００４９】
Π0の縦方向を表すベクトルは、Ｘ軸まわりのセンサ回転量φに依存する。Π0の縦方向は、図１０に示す太線のベクトル方向である。したがって、ｖ0＝（０，cos（φ），-sin（φ））となる。
【００５０】
以上のように、（１）〜（７）のパラメータ値が決まると、式（１０）の変換行列Ｍ＝ＡＢＣは以下のように求まる。なお、ここではΠ0からΠ1への変換を考えるので、先の変換（Π1からΠ0への変換）とは逆の変換となっている。
【００５１】
【数５】
2014010100.tif 000007
投影中心点Ｅ＝［０  ０  １０］の斉次座標表現ｅ＝［０  ０  １０  １］、平面Π1の斉次座標表現μ＝［０  ０  １  ０］であることから、
【００５２】
【数６】
2014010100.tif 000008
【００５３】
【数７】
2014010100.tif 000009
【００５４】
【数８】
2014010100.tif 000010
【００５５】
【数９】
2014010100.tif 000011
よって、
【００５６】
【数１０】
2014010100.tif 000012
以上より、
【００５７】
【数１１】
2014010100.tif 000013
となる。
【００５８】
この変換行列Ｍを使って、Π0上の点（ｘ0，ｙ0）（斉次表現では（ｘ0，ｙ0，１））からΠ1上の点（ｘ1，ｙ1）（斉次表現では（ｘ1，ｙ1，１））への変換は、以下のように計算される。
【００５９】
【数１２】
2014010100.tif 000014
ここで斉次表現ではない２次元平面上の座標に変換するため、ｗ1＝１となるように全体を割る、つまり、
【００６０】
【数１３】
2014010100.tif 000015
とする。
【００６１】
なお、図１０では、投影中心点Ｅ（ｘ，ｙ，ｚ）を（０，０，１０）と仮想したが、一般にｚは任意でよく、Ｅ＝（０，０，ｃ）とすることができる。ここで、ｃは任意の定数である。すると、式（１１）は、
【００６２】
【数１４】
2014010100.tif 000016
となる。
【００６３】
縦横ずれ補正部１３０では、傾き角算出部１２０で求まった傾き角φをもとに、式（１２）により、右カメラ７２の撮像画像１０２について、座標（ｘ0，ｙ0）の画素を座標（ｘ1，1）の位置に変換する。これを右カメラ７２の撮像画像の各画素について実施することで、左右カメラ７１，７２の撮像面（センサ）の相対的な傾きに起因する左右カメラ７１，７２の撮像画像１０１，１０２の間の相対的な縦ずれ及び横ずれが補正される。
【００６４】
図１１は、図４に示した左右カメラ７１，７２の撮像画像１０１，１０２について、縦横ずれ補正部１３０の具体的処理イメージを示した図である。図４と同様に、図１１（ａ）は左カメラ７１の撮像画像１０１、図１１（ｂ）は右カメラ７２の撮像画像１０２を示している。ここで、左カメラ７１の撮像画像１０１はそのままである。一方、右カメラ７１の撮像画像１０２は、図１１（ｂ）に矢印で示すように、各画素位置を補正する。これにより、補正前の台形図形が、左カメラ７１の撮像画像１０１と同様の矩形図形に戻される。すなわち、左右カメラ７１，７２の撮像画像１０１，１０２は、被写体からの距離に応じた差分（視差；ｄ−ｃ）だけ横方向にずれた同じ矩形図形となる。
【００６５】
したがって、左カメラ７１の撮像画像１０１と補正後の右カメラ７２の撮像画像１０２について、周知のブロックマッチングを適用することで、高精度に視差を検出することが可能になる。そして、この検出された視差を用いて、被写体までの距離を高精度に算出することが可能になる。
【００６６】
なお、被写体までの距離Ｚは、視差を用いて、三角測量の原理に基づき、次式により求まる。
Ｚ＝Ｂ×ｆ／ｄ                                （１３）
式（１２）において、Ｂはステレオカメラ７０を構成する左右カメラ７１，７２の光軸間の距離（基線長）、ｆはカメラの焦点距離、ｄは視差である。
【００６７】
以上、実施形態では、左カメラ７１は、撮像面（センサ）が光軸と直交していると仮定したが、左右カメラ７１，７２とも、撮像面が光軸と直交していない場合でも、透視変換の原理により、縦横ずれ補正部１３０で使用するずれ補正式（座標変換式）は、左右カメラ７１，７２の撮像面の相対的な傾き角φに依存する式となる。
【００６８】
また、実施形態では、右カメラ７２の撮像画像１０２について縦ずれ及び横ずれを補正するとしたが、左カメラ７１の撮像画像１０１について補正処理することでもよい。一般に左右カメラのいずれの撮像画像を補正処理の対象とするかは任意である。例えば、撮像面（センサ）の傾きが大きい方のカメラの撮像画像を補正処理の対象とすればよい。
【符号の説明】
【００６９】
７０    ステレオカメラ
７１    左カメラ
７２    右カメラ
１０１    左カメラ画像
１０２    右カメラ画像
１１０    縦ずれ検出部
１２０    傾き角検出部
１３０    縦横ずれ補正部
【先行技術文献】
【特許文献】
【００７０】
【特許文献１】特許第３２６１１１５号公報
【非特許文献】
【００７１】
【非特許文献１】出口光一郎著，センシング／認識シリーズ第５巻，「画像と空間」（コンピュータビジョンの幾何学），（株）昭晃堂，１９９１年，ｐ９９〜１１９
【図１】
2014010100.tif 000019
【図２】
2014010100.tif 000020
【図３】
2014010100.tif 000021
【図４】
2014010100.tif 000022
【図５】
2014010100.tif 000023
【図６】
2014010100.tif 000024
【図７】
2014010100.tif 000025
【図８】
2014010100.tif 000026
【図９】
2014010100.tif 000027
【図１０】
2014010100.tif 000028
【図１１】
2014010100.tif 000029