(57)【要約】【課題】（８×８）画素のブロックにした場合であっても、一致度判定処理に長時間を要することのないステレオカメラ装置を提供する。【解決手段】右側カメラ４ａ、及び左側カメラ４ｂで撮影された画像データをアフィン変換回路６ａでアフィン変換し、アフィン変換された右側画像データの複数画素列で構成される１ライン分のデータと、アフィン変換された左側画像列データの複数画素で構成される１ライン分のデータとのマッチング処理を、ステレオマッチング演算部６ｂにて行う。そして、マッチング処理に用いる１ライン分の画素列データは、前回のマッチング処理に用いる１ライン分の画素列データの一部が、今回のマッチング処理に用いる１ライン分の画素列データと重複するように設定され、重複する画素列データは、前回の処理でアフィン変換された画像データを記憶し、今回の処理で使用する。【選択図】      図１
2005009883.tif 000002
【特許請求の範囲】
【請求項１】
右側撮影手段と左側撮影手段を備え、前記右側撮影手段で撮影された画像と前記左側撮影手段で撮影された画像に基づいて、撮影対象物までの距離を測定するステレオカメラ装置において、
前記右側撮影手段、及び左側撮影手段で撮影された画像データをアフィン変換するアフィン変換手段と、
前記アフィン変換手段にてアフィン変換された右側画像データの複数画素列で構成される１ライン分のデータと、前記アフィン変換手段にてアフィン変換された左側画像列データの複数画素で構成される１ライン分のデータとのマッチング処理を行うマッチング処理手段と、を備え、
前記マッチング処理手段にて、マッチング処理に用いる１ライン分の画素列データは、前回のマッチング処理に用いる１ライン分の画素列データの一部が、今回のマッチング処理に用いる１ライン分の画素列データと重複するように設定され、
重複する画素列データは、前回の処理でアフィン変換された画像データを一旦記憶し、今回の処理では、記憶されている重複画素列データを読み出してマッチング処理に使用することを特徴とするステレオカメラ装置。
【請求項２】
前記１ライン分のデータは、８個の画素列から構成され、このうち４個の画素列を重複させることを特徴とする請求項１に記載のステレオカメラ装置。
【請求項３】
前記右側撮影手段、及び左側撮影手段は、車両前方の映像を撮影するカメラであり、前記マッチング処理にて、車両前方に存在する障害物までの距離を測定することを特徴とする請求項１または請求項２のいずれかに記載のステレオカメラ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２つのカメラを用いて前方物体を撮影し、この前方物体の存在位置を求めるステレオカメラ装置に係り、特に、画像処理時間を短縮する技術に関する。
【０００２】
【従来の技術】
例えば、走行中の車両の前方に存在する障害物を検出する手段として、従来よりステレオカメラが用いられている。ステレオカメラは、左側カメラ、及び右側カメラの２つのカメラを備え、各カメラを用いて車両前方の障害物を撮影するものであり、撮影された画像を処理することにより、この障害物までの距離を求めることができるので、自車両と前方障害物との距離に応じた適切な制御を行う上で極めて有用である。
【０００３】
このようなステレオカメラでは、右側カメラで撮影された画像（以下、右画像という）、及び左側カメラで撮影された画像（以下、左画像という）を、それぞれ（４×４）画素を１ブロックとして複数のブロックに分割し、右画像より得られる各ブロックと、左画像の各ブロックとの間のマッチング処理を行うことにより、両画像の一致する部分を検出する処理が行われる。
【０００４】
例えば、図５に示すように、右画像を（１２８×５０）のブロックに分割し、図６に示すように、左画像を（１６８×５０）のブロックに分割し、右画像の１ラインと左画像の１ラインを走査しながらマッチング処理を行う。
【０００５】
そして、この処理を第０ラインから第５０ラインまで繰り返すことにより、画像全体のマッチング処理が行われる。つまり、図５の第０ラインのブロックＢＲ０〜ＢＲ１２８と、同図（ｂ）のブロックＢＬ０〜ＢＬ１２８のマッチング処理を行い、次いで、ブロックＢＲ０〜ＢＲ１２８と、ブロックＢＬ１〜ＢＬ１２９のマッチング処理を行い、以下、左画像を１ブロックずつ移動させながら、ＢＬ１６８までのマッチング処理を行う。
【０００６】
その後、次のライン（第０ラインの１つ上となる第１ライン）についても同様の処理を行い、これを第５０ラインまで繰り返す。
【０００７】
そして、両画像で一致する部分が検出された場合には、この画像に映し出された対象物は同一物体であるもの判断し、同一であると判断された対象物が映し出された左画像のブロックの位置、及び右画像のブロックの位置に基づいて、この対象物までの距離を測定する。
【０００８】
図７は、各ブロック毎の一致度を判定する判定回路を示す説明図である。同図に示すように、この判定回路は、ラインメモリ２１と、各レジスタ２２と、４つの減算器２３−１〜２３−４と、３つの加算器２４−１〜２４−３を備えている。そして、４つの演算ライン（Ｉ）〜（ＩＶ）は、（４×４）画素を有する１ブロックの、４つの横方向のラインの演算を行う。
【０００９】
一例として、演算ライン（Ｉ）について説明する。いま、右画像が図８（ａ）に示すように、Ｒ００〜Ｒ３３の１６（４×４）画素からなるブロックを有し、左画像が同図（ｂ）に示すように、Ｌ００〜Ｌ３３の１６（４×４）画素からなるブロックを有する場合には、図７の減算器２３−１にて、（Ｒ０３−Ｌ０３）の絶対値を求める演算が行われ、減算器２３−２にて、（Ｒ０２−Ｌ０２）の絶対値を求める演算が行われ、減算器２３−３にて、（Ｒ０１−Ｌ０１）の絶対値を求める演算が行われ、減算器２３−４にて、（Ｒ００−Ｌ００）の絶対値を求める演算が行われる。
【００１０】
その後、各減算器２３−１〜２３−４で求められた絶対値のデータは、一旦レジスタ２２に記憶された後、加算器２４−１、２４−２で加算され、更に、２つの加算器２４−１、及び加算器２４−２の加算結果が加算器２４−３で加算される。上記と同様の処理が（ＩＩ）〜（ＩＶ）の演算ラインにおいても実行され、加算器２４−４、２４−５、２４−６で加算されて、（４×４）画素についての最終的な加算結果Ｈｎが求められる。
【００１１】
ここで、図８（ａ）に示した右画像と、同図（ｂ）に示した左画像の一致度が高ければ、加算結果Ｈｎの値は小さい値となり、一致度が低ければ、加算結果Ｈｎの値は大きい値となる。従って、加算結果Ｈｎの大きさを検出することにより、各ブロックどうしの一致度を判定することができる。
【００１２】
図９は、各ブロック毎の画素を比較することにより得られた加算結果Ｈｎに基づき、各ブロックの一致度が有効であるかどうかを判定する一致度有効判定回路を示す説明図である。
【００１３】
同図に示すように、この一致度有効判定回路は、複数の比較器２５−１〜２５−４と、最大値記憶部２６ａと、最小値記憶部２６ｂと、各レジスタ２７と、減算器２８を備えている。そして、上述したＨｎが算出されると、このＨｎの最大値が最大値記憶部２６ａに記憶保存され、最小値が最小値記憶部２６ｂに記憶保存される。
【００１４】
つまり、比較器２５−１にて、最大値記憶部２６ａに記憶されているＨｎの最大値（入力Ｂ）と、新たに入力されるＨｎ（入力Ａ）とが比較され、新たな入力の方が大きい場合には、最大値記憶部２６ａの記憶内容がこの値に書き換えられる処理が行われる。同様に、比較器２５−２にて、最小値記憶部２６ｂに記憶されているＨｎの最小値（入力Ａ）と新たに入力されるＨｎ（入力Ｂ）とが比較され、新たな入力の方が小さい場合には、最小値記憶部２６ｂの記憶内容がこの値に書き換えられる処理が行われる。
【００１５】
そして、減算器２８では、Ｈｎの最大値と、Ｈｎの最小値との減算が行われ、この減算結果は一旦レジスタ２７に格納された後、比較器２５−３で第１の有効判定値と比較される。その結果、減算結果の方が第１の有効判定値よりも大きいと判定された場合には、比較器２５−３の出力信号αは「１」となり、小さいと判定された場合には、「０」となる。
【００１６】
また、比較器２５−４では、Ｈｎの最小値と、第２の有効判定値との比較が行われ、Ｈｎの最小値の方が小さい場合には、比較器２５−４の出力信号βは「１」となり、大きい場合には、「０」となる。そして、各比較器２５−３、２５−４の出力信号α、βが共に「１」である場合に、図７に示した左画像と右画像との比較が有効であるものと判断し、減算器２８で求められたＨｎの最大値とＨｎの最小値との差分値が極小となる部分が、左画像と右画像とが一致した部位であると判定する。
【００１７】
こうして、左画像と右画像との間の一致点を見い出すことができるので、一致した画像の画素位置に基づいて、撮影対象物までの距離を求めることができる。
【００１８】
【特許文献１】
特開２００１−２７３４８８号号公報
【００１９】
【発明が解決しようとする課題】
ところで、昨今においては、マッチングの精度を向上させる目的で、左画像及び右画像を（８×８）画素毎にブロックを形成して、両者を比較し、画像の一致度を判定する方法が採用されつつある。この方法では、（８×８）の６４画素からなるブロックを生成し、且つ、スキャン時には、縦方向に４画素ずつ移動させて、左画像と右画像との一致度を判定する。
【００２０】
つまり、スキャン時には、縦方向の４画素分は、前回の処理で用いた画素と同一の画素を用いていることになる。
【００２１】
従来においては、各ライン処理毎に、カメラで撮影された画像をアフィン変換し、ディジタル画像に変換した後に、一致度の判定を行うようにしていたので、処理に長時間を要するという問題が生じていた。
【００２２】
この発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、（８×８）画素のブロックにした場合であっても、一致度判定処理に長時間を要することのないステレオカメラ装置を提供することにある。
【００２３】
【課題を解決するための手段】
上記目的を達成するため、本願請求項１に記載の発明は、右側撮影手段と左側撮影手段を備え、前記右側撮影手段で撮影された画像と前記左側撮影手段で撮影された画像に基づいて、撮影対象物までの距離を測定するステレオカメラ装置において、前記右側撮影手段、及び左側撮影手段で撮影された画像データをアフィン変換するアフィン変換手段と、前記アフィン変換手段にてアフィン変換された右側画像データの複数画素列で構成される１ライン分のデータと、前記アフィン変換手段にてアフィン変換された左側画像列データの複数画素で構成される１ライン分のデータとのマッチング処理を行うマッチング処理手段と、を備え、前記マッチング処理手段にて、マッチング処理に用いる１ライン分の画素列データは、前回のマッチング処理に用いる１ライン分の画素列データの一部が、今回のマッチング処理に用いる１ライン分の画素列データと重複するように設定され、重複する画素列データは、前回の処理でアフィン変換された画像データを一旦記憶し、今回の処理では、記憶されている重複画素列データを読み出してマッチング処理に使用することを特徴とする。
【００２４】
請求項２に記載の発明は、前記１ライン分のデータは、８個の画素列から構成され、このうち４個の画素列を重複させることを特徴とする。
【００２５】
請求項３に記載の発明は、前記右側撮影手段、及び左側撮影手段は、車両前方の映像を撮影するカメラであり、前記マッチング処理にて、車両前方に存在する障害物までの距離を測定することを特徴とする。
【００２６】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係るステレオカメラ装置の構成を示すブロック図である。同図に示すように、このステレオカメラ装置１は、車両に搭載され、車両前方の映像を撮影するカメラユニット２と、該カメラユニット２で撮影された画像を処理して、車両前方に存在する白線、或いは先行車両、障害物等の立体物を認識するコントロールユニット３に大別して構成されている。
【００２７】
カメラユニット２は、車両前方に搭載される右側カメラ４ａ、及び左側カメラ４ｂと、各カメラ４ａ，４ｂの駆動を制御するカメラＣＰＵ５を備えている。
【００２８】
コントロールユニット３は、ＡＳＩＣ６と、右側カメラ４ａ、及び左側カメラ４ｂより出力される映像信号を増幅し且つディジタル化するＡ／Ｄ変換部７ａ，７ｂと、ディジタル化された原画像データを記憶する原画像メモリ８と、ＡＳＩＣ６における処理プログラムが記憶されるテーブルメモリ９と、システムを総括的に制御するシステム制御ＣＰＵ１０とを備えている。
【００２９】
また、コントロールユニット３は、車両前方に存在する白線を認識する白線認識ＣＰＵ１３と、白線認識に必要な画像データ及び認識された白線画像データを記憶するＳＲＡＭ１１と、白線認識処理のプログラムが記憶されるＦＰＲＯＭ１２とを備えている。更に、車両前方に存在する立体物を認識する立体物認識ＣＰＵ１６と、立体物の認識に必要な画像データ及び認識された立体物の画像データを記憶するＳＲＡＭ１４と、立体物認識処理のプログラムが記憶されるＦＰＲＯＭ１５とを備えている。
【００３０】
図２は、ＡＳＩＣ６の内部構成を示す機能ブロック図であり、該ＡＳＩＣ６は、右側カメラ４ａ及び左側カメラ４ｂにて撮影され、Ａ／Ｄ変換部７ａ，７ｂでディジタル化された各画像データをアフィン変換するアフィン変換回路６ａと、各画像データをステレオ画像処理することにより、撮影対象物までの距離を算出するステレオマッチング演算回路６ｂと、ステレオマッチング演算回路６ｂで求められる撮影対象物までの距離のデータ及び演算に用いた元画像データをＳＲＡＭ１１，１４に転送すると共に、原画像メモリ８に記憶されている原画像データを入力するＤＭＡ（ダイレクト・メモリ・アクセス）転送回路６ｃとを備えている。
【００３１】
次に、上述のように構成された本実施形態に係るステレオカメラ装置１の動作を、図３に示すフローチャートを参照しながら説明する。
【００３２】
まず、前回のＤＭＡ転送処理が終了すると、ＡＳＩＣ６では、ステレオマッチング演算回路６ｂに書き込む元画像データのアドレスをインクリメントする（ステップＳＴ１）。
【００３３】
次いで、アフィン変換回路６ａでは、元画像データのアドレスに基づいたアフィン補正量を演算する（ステップＳＴ２）。その後、アフィン変換回路６ａでは、原画像メモリ８より原画像データを読み出す際の、原画像読み出しアドレスを生成し（ステップＳＴ３）、このアドレスに対応する原画像データを、原画像メモリ８から読み出す（ステップＳＴ４）。
【００３４】
そして、原画像メモリ８より読み出した原画像データに対して、前述したアフィン補正量に基づいて、アフィン補間演算を行い、演算後の画像データ（これを、元画像と称する）をステレオマッチング演算回路６ｂに出力する（ステップＳＴ５）。
【００３５】
その後、ステレオマッチング演算回路６ｂでは、アフィン変換回路６ａより出力された元画像データを、当該ステレオマッチング演算回路６ｂが有するラインメモリに書き込み、同時に、この元画像データを原画像メモリ８に書き込む処理を行う（ステップＳＴ６）。
【００３６】
更に、ステレオマッチング演算回路６ｂは、前回の処理で原画像メモリ８に書き込まれた４ライン前の元画像データを、原画像メモリ８から読み出し、ステレオマッチング演算回路６ｂのラインメモリに書き込む処理を行う（ステップＳＴ７）。
【００３７】
そして、新たに得られる４ライン分の元画像データ、及び原画像メモリ８から読み出した前回の４ライン分の元画像データの変換処理が終了したら（ステップＳＴ８でＹＥＳ）、ＳＲＡＭ１１，ＳＲＡＭ１４へのＤＭＡ転送を開始する。
【００３８】
これにより、右側カメラ４ａで撮影された画像と、左側カメラ４ｂで撮影された画像でのマッチング処理が行われ、このマッチング処理の結果に基づいて、対象物までの距離を求めることができるのである。
【００３９】
図４（ａ）は、マッチング処理を行う際の、右画像に設定するブロックを示す説明図であり、横方向８画素、縦方向８画素の（８×８）画素が１ブロックとして設定されている。そして、マッチング処理を行う際には、図４（ａ）に示す右画像の第１ラインＬＲ１と、同図（ｂ）に示す右画像の第１ラインＬＬ１との間でマッチング処理を行い、次回の処理では、第１ラインとは縦方向の４画素分ｘが重複した右画像の第２ラインＬＲ２と、同様に第１ラインとは縦方向の４画素分ｙが重複した左画像の第２ラインＬＬ２との間でマッチング処理が行われる。
【００４０】
以下、同様に、前回の処理で用いた縦方向の４画素分が、今回の処理で重複して用いられることになる。本実施形態では、既に前回の処理で元画像データが演算されている縦方向４画素分のデータを、一旦原画像メモリ８に格納しておき、これを読み出すことにより、再利用するので、元画像演算に要する時間を短縮化することができる。
【００４１】
なお、右画像データと左画像データとの間のマッチング処理については、従来例の図７で説明した方法と同様の方法で、左右の画像の一致度を判定し、この判定結果に基づいて、撮影対象物までの距離を求めることができる。
【００４２】
このようにして、本実施形態に係るステレオカメラ装置１では、右画像と左画像との間で、元画像の８画素分をマッチング処理する際に、前回の処理で用いた元画像データのうちの４画素分を再度使用するので、新たな元画像処理は、残りの４画素分のみとなり、画像処理に要する時間を著しく短縮化することができる。
【００４３】
以上、本発明のステレオカメラ装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。例えば、上述した実施形態では、車両に搭載されるステレオカメラについて説明したが、本発明はこれに限定されるものではなく、船舶、或いはプラント用等の、他の用途として用いる場合についても適用することができる。
【００４４】
【発明の効果】
以上説明したように、本発明に係るステレオカメラ装置によれば、一度アフィン変換された画像データは、ステレオマッチング処理に用いられる共に、次回の処理で再度用いる画像データは記憶保存され、時間のステレオマッチング処理時には、この記憶保存された画像データを用いるので、今回のステレオマッチング処理、及び次回のステレオマッチング処理に重複して用いられる画素列データをその都度アフィン変換する必要がなくなるので、画像処理に所要する時間を著しく短縮することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るステレオカメラ装置の構成を示すブロック図である。
【図２】図１に示すＡＳＩＣの内部構成を示す機能ブロック図である。
【図３】本発明の一実施形態に係るステレオカメラ装置の処理動作を示すフローチャートである。
【図４】ステレオマッチング演算を実行する際に、画像を（８×８）画素からなるブロックに分割する際の説明図であり、（ａ）は右画像、（ｂ）は左画像を示す。
【図５】ステレオマッチング演算を実行する際に、右画像を（４×４）画素からなるブロックに分割する際の説明図である。
【図６】ステレオマッチング演算を実行する際に、左画像を（４×４）画素からなるブロックに分割する際の説明図である。
【図７】一致度判定回路の一例を示す説明図である。
【図８】（ａ）は、右画像の１ブロックの画素データ、（ｂ）は、左画像の１ブロックの画素データを示す。
【図９】一致度有効判定回路の一例を示す説明図である。
【符号の説明】
１  ステレオカメラ装置
２  カメラユニット
３  コントロールユニット
４ａ  右側カメラ
４ｂ  左側カメラ
５  カメラＣＰＵ
６  ＡＳＩＣ
６ａ  アフィン変換回路
６ｂ  ステレオマッチング演算回路
６ｃ  ＤＭＡ転送回路
７ａ，７ｂ  Ａ／Ｄ変換部
８  原画像メモリ
９  テーブルメモリ
１０  システム制御ＣＰＵ
１１  ＳＲＡＭ
１２  ＦＰＲＯＭ
１３  白線認識ＣＰＵ
１４  ＳＲＡＭ
１５  ＦＰＲＯＭ
１６  立体物認識ＣＰＵ
２１  ラインメモリ
２２  レジスタ
２３−１〜２３−４  減算器
２４−１〜２４−６  加算器
２５−１〜２５−４  比較器
２６ａ  最大値記憶部
２６ｂ  最小値記憶部
２７  レジスタ
２８  減算器
【図１】
2005009883.tif 000003
【図２】
2005009883.tif 000004
【図３】
2005009883.tif 000005
【図４】
2005009883.tif 000006
【図５】
2005009883.tif 000007
【図６】
2005009883.tif 000008
【図７】
2005009883.tif 000009
【図８】
2005009883.tif 000010
【図９】
2005009883.tif 000011