(57)【要約】【課題】本発明は、ステレオカメラ装置において、路上の障害物や先行車両を早期に検知するために、正確な進行方向の画像位置を決定することを目的とする。【解決手段】複数のカメラで撮影された画像から立体物の距離を計測するステレオカメラ装置において、前記画像の一部を切り出す広角画像切り出し部と、前記画像の一部を切り出して拡大する遠方画像切り出し部と、走行中の道路の勾配情報を含む道路形状を判定する道路形状判定部と、前記道路形状判定部で求めた所定の距離における道路形状に基づき、前記遠方画像切り出し部の切り出し位置と範囲の少なくともいずれか一つを決定することを特徴とする。【選択図】  図１
2019149071.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮影された画像から立体物の距離を計測するステレオカメラ装置において、
前記画像の一部を切り出す広角画像切り出し部と、
前記画像の一部を切り出して拡大する遠方画像切り出し部と、
走行中の道路の勾配情報を含む道路形状を判定する道路形状判定部と、
前記道路形状判定部で求めた所定の距離における道路形状に基づき、前記遠方画像切り出し部の切り出し位置と範囲の少なくともいずれか一つを決定することを特徴とするステレオカメラ装置。
【請求項２】
請求項１に記載のステレオカメラ装置において、
前記道路形状判定部は、前記広角画像切り出し部により切り出された広角画像から生成された視差情報を用いて走行中の路面の形状を判定することを特徴とするステレオカメラ装置。
【請求項３】
請求項１に記載のステレオカメラ装置において、
前記道路形状は、地図情報を用いた道路の形状と勾配の情報とすることを特徴とするステレオカメラ装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載のステレオカメラ装置において、
自車の走行経路を記憶した経路データと、
前記遠方画像切り出し部は、前記経路データの経路情報を用いて進行路における前記遠方画像を生成することを特徴としたステレオカメラ装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載のステレオカメラ装置において、
前記遠方画像切り出し部は、前記道路形状判定部で求めた道路のカーブの方向を広くした前記遠方画像を生成することを特徴としたステレオカメラ装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載のステレオカメラ装置において、
前記遠方画像切り出し部は、自車速度に応じて前記遠方画像のサイズまたは解像度を変更することを特徴としたステレオカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて車外の障害物の認識を行う車載ステレオカメラ装置に関する。
【背景技術】
【０００２】
車両の走行安全性を向上させるために、車両に搭載したカメラで前方の障害物を検知して、その障害物に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムが研究されている。
【０００３】
車両の前方を監視するセンサとして、ミリ波レーダー、レーザレーダ、カメラなどがある。カメラの種類としては、単眼カメラと、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔の２つのカメラで撮影された重複領域の視差を利用して、撮影された物体までの距離を計測することができる。このため、前方の物体までの衝突危険度を的確に把握することができる。
【０００４】
ステレオカメラは、２つのカメラで撮影された画像の視差を求めて、その視差を距離に変換する。計測距離が遠方になるにつれ、視差が小さくなるという特徴がある。測距範囲を遠方に広げるために、中心部分の画像を拡大する方法が特許文献１に提案されている。また、走行中の車両のハンドルの舵角や路面の白線により進行方向の画像を切り出して視差演算を行う方法が特許文献２に提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１９８０７７号公報
【特許文献２】特開２０１７−６２６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、カメラが撮影した画像の中心付近の一部を拡大して視差演算を行うとしている。しかし、進行路の先がカーブして進行方向が画像の中心部から外れている場合は、進行先は拡大されないという課題がある。
【０００７】
このために、拡大処理する画像位置の判定方法として特許文献２の方法を適用した場合は、ハンドルの舵角に基づいた画像位置となるために、カーブ進入前の直線部分でハンドルがまだ正面を向いている状態では、カーブの先の道路は処理できないという課題がある。また、白線に基づいて道路形状を決定する方法では、白線が無い道路には適用できない。更に、白線があっても道路の勾配を正確に判定できないという課題がある。
【０００８】
本発明は、ステレオカメラ装置において、路上の障害物や先行車両を早期に検知するために、正確な進行方向の画像位置を決定することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため本発明は、複数のカメラで撮影された画像から立体物の距離を計測するステレオカメラ装置において、前記画像の一部を切り出す広角画像切り出し部と、前記画像の一部を切り出して拡大する遠方画像切り出し部と、走行中の道路の勾配情報を含む道路形状を判定する道路形状判定部と、前記道路形状判定部で求めた所定の距離における道路形状に基づき、前記遠方画像切り出し部の切り出し位置と範囲の少なくともいずれか一つを決定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、道路の形状と勾配情報により正確な進行方向の画像位置を決定することが可能となり、進行路上の遠方の障害物や先行車両を検知することができる効果がある。
【図面の簡単な説明】
【００１１】
【図１】ステレオカメラ装置の機能ブロック図
【図２】広角画像と遠方画像の切り出し例を示す図
【図３】遠方部分が左にカーブしている場合の遠方画像の切り出し例を示す図
【図４】視差演算処理の説明図
【図５】遠方画像の切り出し位置を決定するフローチャート
【図６】視差情報から道路形状を判定して遠方画像切り出し位置を決定する説明図
【図７】遠方で進行路が分岐しているときの経路に従った遠方画像切り出しの図
【図８】地図データと経路データを用いた遠方画像切り出し位置を決定する機能ブロック図
【図９】地図データと経路データを用いた遠方画像切り出し位置を決定するフローチャート
【図１０】道路形状に合わせて遠方画像の切り出し幅を変更した図
【発明を実施するための形態】
【００１２】
以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
【実施例１】
【００１３】
図１は、ステレオカメラ装置１０の機能ブロック図を示したものである。撮影部２０は、右カメラ２２と左カメラ２１の２つのカメラに接続される。撮影部２０は、左カメラ２１、右カメラ２２が撮影したそれぞれの画像の輝度補正やノイズ除去、歪み補正を行った後、広角画像切り出し部３０に画像を転送する。広角画像切り出し部３０は、前記撮影部２０から送られた左右の画像を縮小して特定の範囲の画像を広角画像として切り出す。この切り出し範囲は、広角エリアをカバーするために広い範囲の画像を切り出す。また、縮小処理における縮小率は、広角画像から近距離の視差画像が生成できる範囲で縮小する。この例では、近距離の範囲を３０ｍ、縮小率を１／２とする。このようにして生成された左右の広角画像は選択部３０１で選択されたあと、視差演算部３０３で視差データが生成される。その広角画像の視差データにより、走行中の路面を抽出し、その路面の所定の距離だけ前方の勾配情報を含む３次元形状を判定する。その路面形状に従って、遠方画像の切り出し位置を決定する。
【００１４】
この遠方画像の所定の距離はステレオカメラで測距可能な距離である必要があり、この例では１５０ｍとする。このようにして決定された遠方画像の切り出し位置に従って、遠方画像切り出し部５０が、撮影部２０の左右の画像から遠方画像を切り出す。遠方画像は、測距性能を向上させるために画像を拡大する。拡大率は２倍とする。この拡大された遠方画像は選択部３０１で選択され、視差演算部３０３に送られ、遠方画像の視差データが生成される。障害物検知部３０４は、これらの画像と視差データを用いて、道路上の障害物や前方車両の検知を行う。
【００１５】
図２は、広角画像と遠方画像の切り出し例を示したものである。広角画像１００の中に、道路１２０と前方車両２００が撮影されている。遠方画像１１０は道路１２０の前方１５０ｍ先の部分を切り出している。ステレオカメラは遠方の測定可能な距離に限界があり、この例では、その限界距離を１５０ｍとしている。従って、遠方画像の切り出し位置は、１５０ｍ先の路上部分とする必要がある。この遠方画像１１０は２倍に拡大されて視差演算が行われる。
【００１６】
図３は、道路１２０の遠方部分が左にカーブしている場合の遠方画像１１０の切り出しの例を示したものである。道路形状判定部３０２が、広角画像１００から生成された視差画像を用いて道路１２０の路面形状を判定し、遠方画像１１０の切り出し位置を決定する。図３は道路１２０のカーブ形状に合わせて、遠方画像１１０の切り出し位置を図２よりも左側にずらしている。このようにすることで、遠方画像１１０の中に、走行中の道路１２０を入れることが可能となり、その道路１２０を走行中の前方車両２００の検知が可能となる。
【００１７】
図４は、視差演算部３０３の視差演算処理を示したものである。右カメラ２２が撮影した画像を基準画像とし、例えば８画素×８画素のような基準ブロック画像２２１を定義する。ブロック画像のサイズはこの例に限るものではない。一方、左カメラ２１が撮影した画像の中で、前記基準ブロック画像２２１と同じ縦位置（Ｙ座標）と横位置（Ｘ座標）を基準として、探索幅（例えば１２８画素）の参照画像２１２を選択する。その後、前記基準ブロック画像２２１と前記参照画像との差分を計算する。この差分計算はＳＡＤと呼ばれ、次の計算を行う。
【００１８】
【数１】
2019149071.tif 000003
但し、Ｉは前記参照画像の中の画像ブロック（例：８×８画素）、Ｔは前記基準ブロック画像２２１の画像データであり、ｉ、ｊは画像ブロック内の座標である。１つの視差を算出するために、前記参照画像の参照位置を１画素ずつずらしながら前記探索幅の分だけ演算を行い、最もＳＡＤ値が小さくなる位置を探索する。
【００１９】
図２に示す、車両の前方窓から見た実際の風景２３０には、前方車両２００がある。右カメラ２２で撮影した右画像２２１０と、左カメラ２１で撮影した左画像２１１０がある時、前方車両２００の一部２０１は、右画像２２１０では位置２２１の位置に撮影され、左画像２１１０では位置２１１の位置に撮影される。この結果、基準ブロック画像２２１の位置と参照ブロック画像２１１には視差ｄが生じる。この視差ｄは、前方車両２００がステレオカメラ装置１０に近い場合は大きい値となり、遠いものは小さい値となる。このように求めた視差を、画像全体で求める。この視差ｄを用いて、三角測量の原理でステレオカメラ装置１０までの距離を測定することが出来る。視差ｄから距離Ｚは次の式で求められる。
Ｚ ＝ （ｆ × Ｂ） ／ ｄ  ・・・式（２）
但し、ｆは右及び左カメラの焦点距離、Ｂは右カメラ２２と左カメラ２１の距離（基線長）である。
【００２０】
図５は、遠方画像１１０の切り出し処理のフローチャートを示したものである。最初に、撮影部２０が、右カメラ２２と左カメラ２１により撮影された画像のノイズ除去や歪み補正を行った後の画像を広角画像切り出し部３０で切り出し、それを画像縮小部４０で縮小して広角画像１００を生成する（Ｓ１００）。その広角画像１００を用いて視差演算部３０３が視差データを生成する（Ｓ１１０）。その視差データにより、道路形状判定部３０２が路面の形状を判定する（Ｓ１２０）。その判定結果によって、遠方画像切り出し部５０が、撮影部２０から送られてくる画像を切り出す（Ｓ１３０）。その切り出された画像は画像拡大部６０により所定の倍率に拡大され遠方画像１１０が生成される（Ｓ１４０）。
【００２１】
その後、視差演算部３０３によって、遠方画像１１０の視差データが生成される。次に自車両の走行速度に応じて処理を変える。自車両の速度が所定値（例えば４０ｋｍ／ｈ）以上であるかどうかを判定する（Ｓ１６０）。速度が４０ｋｍ／ｈ以上であれば、遠方の先行車両や障害物を検知する必要があると判定する。このため遠方画像１１０の視差データを用いて、障害物検知部３０４が前方車両や障害物を検知する（Ｓ１７０）。次に広角画像の視差データを用いて障害物検知部３０４が前方車両や障害物の検知を行う（Ｓ１８０）。速度が４０ｋｍ／ｈ未満なら広角画像のみによる障害物及び前方車両の検知となる。広角画像による障害物検知は、路外からの歩行者や自転車などの飛び出しも検知する。検知処理の結果、必要に応じて車両のアクセルやブレーキなどを制御する（Ｓ１８０）。
【００２２】
図６は、道路形状判定部３０２の処理で、視差情報から道路形状を判定して遠方画像の切り出し位置を決定する方式を示したものである。まず、広角画像１００で撮影されている道路１２０の路面の領域を判定する。そのために、路面上のどこか１画素の視差データを抽出する。路面は平面であることを前提とすれば、前記１画素の水平方向について、同じ視差値の部分は路面と考えることが出来る。路肩のブロックや草地、溝などがあれば、その部分で視差値が前記１画素と閾値以上に異なる。閾値は路面と判断するための視差値の変化許容範囲を設定しておく。このようにして、路面の左右の境界地点を知ることが出来る。前記１画素を上に１つずつずらしながら同じ処理を行えば路面の境界が検知できる。この境界を用いて画像の左右位置を決定する。また、遠方画像として、この例ではステレオカメラ装置１０の遠方の測距限界距離である１５０ｍ先の部分を切り出す必要があるので、その画像上の上下位置を決める必要がある。画像中の垂直方向（例えば矢印１２１）の路面の視差データは、式（２）により、距離と視差データの関係は反比例となる。画像上のＹ座標は、消失点に向かって大きくなる。この視差データを画像上のＹ座標と距離の次式の関係により、所定の距離１５０ｍの部分を含む上下位置を決定する。
路面Ｙ座標＝消失点位置Ｙ座標 − 路面からのカメラ高さ／（距離 × Ｋ） ・・・式（３）
但しＫは、カメラの１画素の縦サイズ／焦点距離である。
【００２３】
以上の実施例によれば、ステレオカメラの遠方測距の限界位置付近の遠方画像の切り出し位置を道路形状と勾配に基づいて正確に切り出すことができる効果がある。
【実施例２】
【００２４】
図７は、進行路が左側道路１２０と右側道路１２１の分岐している場合の、遠方画像切り出しの方法について示す。道路が分岐している場合は、道路形状の認識だけでは、どちらの方向に自車両が進むのか不明である。この場合は、地図データと経路１２２を使用して遠方画像１１０の切り出し位置を決定する。
【００２５】
図８は、地図データと経路データを用いて遠方画像を切り出すシステムの構成を示したものである。図１との違いは、地図データ３０５、ＧＰＳデータ３０６、経路データ３０７をシステムに含むことである。地図データ３０５は、道路の種別、形状、勾配情報などの道路の形状を示す情報と、緯度・経度情報に基づく位置情報を持つ。ＧＰＳデータは、衛星情報による自車位置の測位結果を緯度・経度、走行方向の情報として逐次更新する。経路データは、目的地までの経路を示すデータで、走行する道路、分岐位置と方向などの情報を持つ。
【００２６】
図９に、地図データと経路データによる遠方地図切り出しの処理フローを示す。ＧＰＳデータ３０６による自車の測位結果により現在地の緯度・経度を取得する（Ｓ２００）。その測位結果に基づき、地図データ３０５の中から、走行中の道路を特定し道路データを読み出す（Ｓ２１０）。経路データに基づき、進行方向の分岐方向を特定する（Ｓ２２０）。次に自車位置と走行中の向きにより、自車の前方の道路形状と勾配データを取得する（Ｓ２３０）。このようにして取得した道路形状と勾配情報により、遠方画像１１０を切り出すための広角画像１００の中の上下左右位置を判定する。
【００２７】
以上の実施例によれば、走行中の道路が分岐している場合でも、正確に遠方画像の切り出し位置を決定することができる効果がある。
【実施例３】
【００２８】
図１０に、進行路１２０のカーブに合わせて遠方画像１１０の切り出し幅を変更する例を示す。遠方画像１１０は広角画像１００の中心部分から道路の遠方部分にかけて遠方画像を切り出す。遠方画像の横幅が増えることで視差演算の処理時間が増える場合は、縦方向を狭くして、遠方画像の面積が増えないようにしても良い。更に、自車速度に応じて切り出した画像を拡大してサイズと解像度を変更しても良い。自車速度が速くなるほど遠方の解像度を上げることにより、高速走行時に遠方の障害物の検知が容易になり安全性を向上することができる。
【００２９】
以上の実施例によれば、進行路の遠方部分と画像の中心部の遠方の両方を計測できるため、より広範囲な遠方の障害物の検知が可能となる。
【００３０】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００３１】
１０：ステレオカメラ装置
２０：撮影部
２１：左カメラ
２２：右カメラ
４０：画像縮小部
５０：遠方画像切り出し部
６０：画像拡大部
１００：広角画像
１１０：遠方画像
３０１：選択部
３０２：道路形状判定部
３０３：視差演算部
３０４：障害物検知部
３０５：地図データ
３０６：ＧＰＳデータ
３０７：経路データ
２１１０：左画像
２２１０：右画像
【図１】
2019149071.tif 000004
【図２】
2019149071.tif 000005
【図３】
2019149071.tif 000006
【図４】
2019149071.tif 000007
【図５】
2019149071.tif 000008
【図６】
2019149071.tif 000009
【図７】
2019149071.tif 000010
【図８】
2019149071.tif 000011
【図９】
2019149071.tif 000012
【図１０】
2019149071.tif 000013