(57)【要約】【課題】障害物を見つける処理を簡略化でき、処理時間を短縮できると共に、ハードウェア構成を簡略化できる障害物検出装置を提供する。【解決手段】視差演算部２１によって、まず、第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている第２画像中の対応ブロックを探索し、次に、第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている第２画像中の対応ブロックを探索するときに、第１画像像のブロックのＹ座標と同じＹ座標で、かつ、第１画像のブロックの直下の探索済みブロックに対応する第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、第１画像のブロックと同一または類似の物体が写っている第２画像中の対応ブロックを探索する。【選択図】図１
2014164318.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラと、
上記ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部と、
上記視差演算部により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部と
を備え、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算部は、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めることを特徴とする障害物検出装置。
【請求項２】
請求項１に記載の障害物検出装置において、
上記視差演算部は、
上記ステレオカメラの垂直画角,俯角およびカメラ高さに基づいて、上記第１画像の最下行のブロックに写っている路面までの距離を算出し、
上記第１画像の最下行のブロックに写る上記路面までの距離に基づいて、上記第１画像の最下行のブロックに写る上記路面と上記第２画像に写っているであろう上記路面との視差を算出して、
上記第１画像の最下行のブロックのＹ座標と同じＹ座標で、かつ、そのブロックのＸ座標から上記視差を減算したＸ座標を中心とする上記Ｘ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索することを特徴とする障害物検出装置。
【請求項３】
請求項１に記載の障害物検出装置において、
上記ステレオカメラから上記視差演算部に上記第１,第２画像データが下の行から上に向かって１行ずつ転送され、
上記視差演算部は、
上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする障害物検出装置。
【請求項４】
請求項１に記載の障害物検出装置において、
上記ステレオカメラから上記視差演算部に上記第１,第２画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
上記視差演算部は、
上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索することを特徴とする障害物検出装置。
【請求項５】
ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部により求める視差演算ステップと、
上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを障害物検出部により検出する障害物検出ステップと
を有する障害物検出方法であって、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算ステップは、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
を有することを特徴とする障害物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、障害物検出装置および障害物検出方法に関し、詳しくは、ステレオカメラを用いて撮像した画像から路面の凹凸や障害物を検出する障害物検出装置および障害物検出方法に関する。
【背景技術】
【０００２】
最近では、自動車に搭載したカメラ等により車外の対象風景を撮像し、この撮像した画像を画像処理して自動車から対象物までの距離を求める計測技術が有力な手段として採用されるようになった(例えば、特開平５−１１４０９９号公報(特許文献１)参照)。
【０００３】
この画像による距離計測技術は、単眼視像からカメラ位置との関係を用いて対象物までの距離を推定する技術と、複数のカメラにより撮影した複数画像から、三角測量の原理を用いて対象物までの距離を求める技術とに大別される。
【０００４】
このうち、複数の画像から三角測量の原理を用いて距離を求める計測技術は、左右画像における同一物体の位置の相対的なずれから距離を求めるので、正確な距離を求めることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１１４０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような画像による距離計測技術を用いて自動車から対象物までの距離を求め、前方車両やガードレールなどとの衝突の危険を予測して、車両にブレーキをかけるなどの制御を行う方法が実用化されている。
【０００７】
一方、法令で定められた制限の元で歩行者と看做される車両として、シニアカーや電動車椅子があり、社会の高齢化に伴い、今後走行台数の増加が予測される。これらのシニアカーや電動車椅子は、運転者が高齢であったり、障害を持っていたりするという点で、より安全に配慮されたものでなければならない。したがって、シニアカー用や電動車椅子用に、自動車用にあるようなカメラを用いた危険予測を行う方法の開発が急務である。
【０００８】
上記電動車椅子では、ガードレールや壁などの障害物に衝突するのはもちろん、路面の小さな段差で転倒したりする事故が報告されており、それを防止するためには、前方の障害物だけではなく、路面の小さな障害物や段差も検出する必要がある。
【０００９】
上記画像による距離計測技術では、ステレオカメラで障害物までの距離を求める場合、左画像に写っている障害物が右画像のどこに写っているかを探索し、左右画像に写っている座標の差から視差を求め、その視差から距離を算出する。ここで、路面上にある５ｃｍほどの大きさの障害物を判別するためには、最低でも６４０×４８０ピクセルの画素数のカメラが必要である。この画素数のステレオカメラで２ｍ先の障害物を撮影した場合、その障害物の左右カメラでの視差は約６０ピクセルとなるため、障害物が写った左画像のブロックに対して、右画像で最低でも視差が０〜６０ピクセルの位置を探索して同一の障害物が写っているブロックを探さねばならない。障害物がより近くにある場合は、視差が大きくなるため、さらに広い範囲を探索せねばならず、処理時間やハードウェア規模が大きくなってしまう。
【００１０】
そこで、この発明の課題は、障害物を見つける処理を簡略化でき、処理時間を短縮できると共に、ハードウェア構成を簡略化できる障害物検出装置および障害物検出方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、この発明の障害物検出装置は、
ステレオカメラと、
上記ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部と、
上記視差演算部により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部と
を備え、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算部は、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めることを特徴とする。
【００１２】
ここで、第１画像のマトリックス状に配列された複数のブロックは、横方向に並んだ複数のブロックを１行とし、縦方向に並んだ複数のブロックを１列とする。
【００１３】
また、一実施形態の障害物検出装置では、
上記視差演算部は、
上記ステレオカメラの垂直画角,俯角およびカメラ高さに基づいて、上記第１画像の最下行のブロックに写っている路面までの距離を算出し、
上記第１画像の最下行のブロックに写る上記路面までの距離に基づいて、上記第１画像の最下行のブロックに写る上記路面と上記第２画像に写っているであろう上記路面との視差を算出して、
上記第１画像の最下行のブロックのＹ座標と同じＹ座標で、かつ、そのブロックのＸ座標から上記視差を減算したＸ座標を中心とする上記Ｘ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する。
【００１４】
また、一実施形態の障害物検出装置では、
上記ステレオカメラから上記視差演算部に上記第１,第２画像データが下の行から上に向かって１行ずつ転送され、
上記視差演算部は、
上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索する。
【００１５】
また、一実施形態の障害物検出装置では、
上記ステレオカメラから上記視差演算部に上記第１,第２画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
上記視差演算部は、
上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索する。
【００１６】
また、この発明の障害物検出方法では、
ステレオカメラで撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部により求める視差演算ステップと、
上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを障害物検出部により検出する障害物検出ステップと
を有する障害物検出方法であって、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算ステップは、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
を有することを特徴とする。
【発明の効果】
【００１７】
以上より明らかなように、この発明によれば、視差演算部によって、まず、第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている第２画像中の対応ブロックを探索し、次に、第１画像の探索済みブロックから順次上のブロックに対して、そのブロックに同一または類似の物体が写っている第２画像中の対応ブロックを探索するときに、第１画像のブロックのＹ座標と同じＹ座標で、かつ、第１画像のブロックの直下の探索済みブロックに対応する第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、第１画像のブロックと同一または類似の物体が写っている第２画像中の対応ブロックを探索することによって、狭い範囲を探索するだけで視差が大きい場所にある障害物を見つけることができるため、障害物を見つけるときの処理時間が短くなると共に、探索処理を行うハードウェアの規模も小さくなる。
【図面の簡単な説明】
【００１８】
【図１】図１はこの発明の第１実施形態の障害物検出装置のブロック図である。
【図２】図２は上記障害物検出装置のカメラ部を上方から見た図である。
【図３】図３は上記障害物検出装置のカメラ部を側方から見た図である。
【図４】図４は上記カメラ部により撮像されたステレオ画像のうちの左画像(第１画像)の一例を示す図である。
【図５】図５は上記ステレオ画像のうちの右画像(第２画像)の一例を示す図である。
【図６】図６は上記障害物検出装置の演算部の動作を説明するためのフローチャートである。
【図７】図７は小さい障害物の第１画像の一例を示す図である。
【図８】図８は小さい障害物の第２画像の一例を示す図である。
【図９】図９はこの発明の第２実施形態の障害物検出装置の距離算出方法を説明するための図である。
【図１０】図１０はこの発明の第３実施形態の障害物検出装置のカメラ部により撮像された画像データの転送順序を示す模式図である。
【発明を実施するための形態】
【００１９】
以下、この発明の障害物検出装置および障害物検出方法を図示の実施の形態により詳細に説明する。
【００２０】
〔第1実施形態〕
図１はこの発明の第１実施形態の障害物検出装置のブロック図を示している。
【００２１】
この第１実施形態の障害物検出装置は、図１に示すように、ステレオカメラの一例としてのカメラ部１と、演算部２と、演算部２の演算結果を出力する出力装置３とを備えている。カメラ部１は、左右に所定の間隔をあけて光軸を平行にして配置された２つのカメラ１１,１２を有する。また、演算部２は、２つのカメラ１１,１２で撮影されたステレオ画像の画像データが入力され、ステレオ画像中の各箇所の視差を求める視差演算部２１と、視差演算部２１により得られた視差に基づいて障害物や段差を検出する障害物検出部２２を有する。上記障害物検出部２２は、視差に基づいて算出した距離が一定距離以下になると、障害物があると判断する。
【００２２】
図２は上記障害物検出装置のカメラ部１を上方から見た図であり、図３は上記障害物検出装置のカメラ部１を側方から見た図である。
【００２３】
図２,図３に示す２つのカメラ１１,１２は、図示しないシニアカーや電動車椅子の前方部の左右に設置する。左右のカメラ１１,１２の光軸の間隔を「カメラ間隔Ｗ」とする。カメラ１１,１２を取付けた路面からの高さを「取付高Ｈ」(カメラ高さ)とし、カメラ１１,１２を下向きにつけた場合の水平面に対する角度を「俯角β」とする。また、カメラ１１,１２の水平画角をθＨとし、垂直画角θＶとする。
【００２４】
カメラ１１,１２の「水平画角θＨ」や「垂直画角θＶ」が大きすぎると、障害物や段差が小さく写ってしまうため、精度が悪くなるが、逆に「水平画角θＨ」や「垂直画角θＶ」が小さすぎると、障害物や段差を検出できる範囲が狭くなるため、適切に設定する必要がある。また、「俯角β」はシニアカーや電動車椅子の近くが視野に入るように設定する。
【００２５】
図２,図３では、２つのカメラ１１,１２を左右に離して取付けているが、上下や斜め方向に離して取付けてもかまわない。以降では、２つのカメラ１１,１２は左右に離して取付けている例について説明するが、上下や斜めでも基本的には同じである。
【００２６】
図４,図５は２つのカメラ１１,１２(図２,図３に示す)で撮影された左右画像の一例である。カメラ１１,１２が左右に離れているため、被写体に向かって左側のカメラ１１と被写体に向かって右側のカメラ１２の画像は異なっている。左側のカメラ１１で撮像した左画像(第１画像)をマトリックス状に配列された複数のブロックに分割し、各ブロックに写っている画像が、右側のカメラ１２で撮像した右画像(第２画像)のどこに写っているかを求めるのが第一の目的となる。
【００２７】
上記左画像(第１画像)を分割するブロックの大きさは、任意の大きさでかまわないが、小さすぎると似た異なる場所と間違えてしまう可能性が大きくなり、精度が落ちてしまう。逆に、ブロックの大きさが大きすぎると、ブロック内に異なる距離にある複数の物体が写ってしまう場合があり、こちらも精度が落ちる原因となる。６４０×４８０の画像サイズの場合、およそ６４×３２ピクセルや３２×３２ピクセルとするのが適切である。
【００２８】
ここで、左画像(第１画像)は、Ｎ行(Ｎは２以上の整数)×Ｍ列(Ｍは２以上の整数)のマトリックス状に配列された複数のブロックに分割される。
【００２９】
図４,図５のとおり、図４に示す左画像(第１画像)は左下のブロックをＬ(０,０)とし、右にｍ個(ｍ＝０,１,２,…,Ｍ)、上にｎ個(ｎ＝０,１,２,…,Ｎ)の位置のブロックをブロックＬ(ｍ,ｎ)とする。この左画像(第１画像)のブロックＬ(ｍ,ｎ)に写っている物体と同一または類似の物体が写っている図５に示す右画像(第２画像)の矩形領域を対応ブロックＲ(ｍ,ｎ)とする。
【００３０】
この実施の形態では、図４に示す左画像(第１画像)を基準として図５に示す右画像(第２画像)の対応ブロックのＸＹ座標を求めるが、逆に右画像を基準の第１画像として左画像を第２画像として対応ブロックのＸＹ座標を求めてもよい。
【００３１】
なお、上記第１,第２画像の横方向をＸ座標とし、第１,第２画像の縦方向をＹ座標とする。また、第１,第２画像の各ブロックの位置を表すＸＹ座標は、矩形のブロックの中心位置の座標でもよいし、矩形のブロックの左下の角部の座標などでもよい。
【００３２】
そして、図４,図５示す左右一対の画像(ステレオ画像)が図１に示す演算部２に送られる。
【００３３】
図６は図１に示す演算部２の処理の動作を説明するためのフローチャートであり、左画像(第１画像)の各ブロックに対応する右画像(第２画像)の対応ブロックを探索して視差を求める。ここで、視差演算部２１は、ステップＳ１〜Ｓ９で図４の左画像(第１画像)の各列ｍが０からＭについて順に実行する。
【００３４】
〔ステップＳ１〕
ｍ＝０とする。
【００３５】
〔ステップＳ２〕  (視差演算ステップの第１のステップ)
次に、左画像(第１画像)のｍ列の一番下のブロックＬ(ｍ,０)について、同一または類似の物体が写っている右画像(第２画像)の対応ブロックＲ(ｍ,０)を探索する。
【００３６】
ここで、ステレオカメラ(カメラ１１,１２)で撮影した左右画像(第１,第２画像)は、左右方向にのみずれているため、対応ブロックＲ(ｍ,０)のＹ座標はブロックＬ(ｍ,０)のＹ座標と同じである。よって、対応ブロックＲ(ｍ,０)のＸ座標のみを求めればよい。これには、右画像(第２画像)の０行の各Ｘ座標の位置のブロックを切り出し、ブロックＬ(ｍ,０)と比較し、画像が最も似ている右画像(第２画像)の対応ブロックを見つける。
【００３７】
左画像(第１画像)と右画像(第２画像)のブロックの比較は、左右ブロック内の各点について、ピクセル値を比較し、その絶対値の和を取る方法などがあるが、どのような方法を用いてもよい。
【００３８】
〔ステップＳ３〕
次に、ｎ＝１とする。
【００３９】
〔ステップＳ４〕  (視差演算ステップの第２のステップ)
次に、ブロックＬ(ｍ,ｎ)に対応する対応ブロックＲ(ｍ,ｎ)を対応ブロックＲ(ｍ,０)のＸ座標を中心としてＸ座標設定範囲で探索する。
【００４０】
このとき、対応ブロックＲ(ｍ,ｎ)のＹ座標はブロックＬ(ｍ,ｎ)のＹ座標と同じである。また、対応ブロックＲ(ｍ,ｎ)のＸ座標としては、ステップＳ１で求めた対応ブロックＲ(ｍ,ｎ−１)のＸ座標の近辺を探索すればよく、この実施形態では、探索済みのブロックＬ(ｍ,ｎ−１)に対応する対応ブロックＲ(ｍ,ｎ−１)のＸ座標を中心とする所定のＸ座標設定範囲を探索する。
【００４１】
左右画像の下部はシニアカーや電動車椅子の近くであるため、路面(床面などを含む)が写っているが、路面への距離は連続的に変化するため、対応ブロックＲ(ｍ,０)と対応ブロックＲ(ｍ,１)のＸ座標は大きく変化しない。よって、６４０×４８０ピクセルの画像の場合、例えば、±１６ピクセルの範囲を探索すれば十分である。
【００４２】
また、図５では、対応ブロックＲ(ｍ,０)から対応ブロックＲ(ｍ,４)までは路面が写っているため、Ｘ座標が徐々に変化している。対応ブロックＲ(ｍ,５)より上は障害物が写っているが、障害物が路面と接する位置では、障害物の視差は路面の視差と等しいので、障害物の左右画像(第１,第２画像)での視差が大きくても小さくても限定された範囲を探索するだけで視差を求めることが可能となる。
【００４３】
〔ステップＳ５〕
ｍ列について、一番上まで繰り返したか否かを判定する(ｎ＝Ｎか否かを判定)。そして、一番上まで繰り返していない(ｎ＜Ｎ)と判定すると、ステップＳ６に進む一方、一番上まで繰り返した(ｎ＝Ｎ)と判定すると、ステップＳ７に進む。
【００４４】
〔ステップＳ６〕
ｎをインクリメントしてステップＳ４に戻り、ステップＳ４,Ｓ５を繰り返す。
〔ステップＳ７〕
全ての列で繰り返したか否かを判定する(ｍ＝Ｍか否かを判定)。そして、全ての列で繰り返していない(ｍ＜Ｍ)と判定すると、ステップＳ８に進む一方、全ての列で繰り返した(ｍ＝Ｍ)と判定すると、この処理を終了する。
【００４５】
〔ステップＳ８〕
ｍをインクリメントしてステップＳ２に戻り、ステップＳ２〜Ｓ８を繰り返す。
【００４６】
以上で、左画像(第１画像)の各ブロックＬ(ｍ,ｎ)について、対応する右画像(第２画像)の対応ブロックＲ(ｍ,ｎ)のＸＹ座標がわかる。
【００４７】
〔ステップＳ９〕  (視差演算ステップの第３のステップ)
次に、左右画像(第１,第２画像)の各ブロックの視差を演算する。この左右画像(第１,第２画像)各ブロックの視差は、Ｌ(ｍ,ｎ)のＸ座標とＲ(ｍ,ｎ)のＸ座標の差として求まる。物体の視差と物体への距離の関係は、単純な比例関係であり、比例係数は、カメラの画角とピクセル数から求まるが、物体の視差と物体への距離の関係を実測して、比例係数を求めてもよい。
【００４８】
〔ステップＳ１０〕  (障害物検出ステップ)
そして、ステップＳ９で視差演算部により求めた左右画像(第１,第２画像)の各ブロックの視差に基づいて、障害物検出部２２によって、物体までの距離を求めて、その物体が障害物か否かを検出する。
【００４９】
図６のフローチャートに示す障害物検出方法では、１列ずつ処理を行うようにしているが、下の１行を全部処理し、次に上の行を順に処理するというように、１行ずつ処理をしてもよい。
【００５０】
図７,図８に示すような背の低い障害物がある場合、図７に示す左画像(第１画像)の障害物の上のブロックＬ(ｍ,８)に対応する図８に示す右画像(第２画像)の対応ブロックＲ(ｍ,８)を探索するとき、ブロックＬ(ｍ,７)のＸ座標と同じＸ座標の近傍を探しても対応する場所が見つからない場合がある。このときは、手前側にすでに障害物が見つかっているので、それより奥側の障害物を検出する必要は特にないので、探索を打ち切ってもよい。
【００５１】
しかしながら、もし正しく対応ブロックＲ(ｍ,８)を見つけたい場合には、Ｒ(ｍ,８)が路面であるならば、同じく路面である対応ブロックＲ(ｍ,０)〜Ｒ(ｍ,４)のＸ座標の延長線Ｌ上を探索すれば正しい対応ブロックＲ(ｍ,８)を見つけることができる。対応ブロックＲ(ｍ,０)〜Ｒ(ｍ,４)が路面かどうかは、それらのＸ座標が一定の傾きの直線上であれば路面上であると推定できる。
【００５２】
上記構成の障害物検出装置および障害物検出方法よれば、視差演算部２１によって、まず、左画像(第１画像)の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている第２画像中の対応ブロックを探索し、次に、左画像(第１画像)の探索済みブロックから順次上のブロックに対して、そのブロックに同一または類似の物体が写っている右画像(第２画像)中の対応ブロックを探索するときに、左画像(第１画像)像のブロックのＹ座標と同じＹ座標で、かつ、左画像(第１画像)のブロックの直下の探索済みブロックに対応する右画像(第２画像)の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、左画像(第１画像)のブロックと同一または類似の物体が写っている右画像(第２画像)中の対応ブロックを探索することによって、障害物を見つける処理を簡略化でき、処理時間の短縮化とハードウェア構成の簡略化ができる。
【００５３】
〔第２実施形態〕
また、この発明の第２実施形態の障害物検出装置は、視差演算部２１の動作を除いて第１実施形態の障害物検出装置と同一の構成をしており、図１を援用する。
【００５４】
上記第１実施形態の図６に示すステップＳ２では、対応ブロックＲ(ｍ,０)は右画像(第２画像)の全Ｘ座標について探索したが、この第２実施形態の障害物検出装置では、カメラ１１,１２の取り付け俯角と高さと垂直画角からおおよその視差を求め、その付近を探索する。
【００５５】
詳しくは、図９に示すように、カメラ１１,１２の垂直画角の半分をθ、カメラ１１,１２の俯角をβ、カメラ高さをｈｃとすると、画面の一番下に写っている路面（点Ｐ）までの距離ｄは、
ｄ ＝ ｈｃ ／ ｓｉｎ(β＋θ)
で表される。
【００５６】
そして、上記路面（点Ｐ）までの距離ｄに基づいて、左右画像(第１,第２画像)の視差を求め、ブロックＬ(ｍ,０)のＸ座標から視差を差し引いた座標の付近のＸ座標設定範囲(例えば±１６ピクセル)を探索すれば、短時間で対応ブロックＲ(ｍ,０)の座標を求めることができる。
【００５７】
上記第２実施形態の障害物検出装置は、第１実施形態の障害物検出装置と同様の効果を有する。
【００５８】
〔第３実施形態〕
また、この発明の第３実施形態の障害物検出装置は、カメラ１１,１２の取付向きと視差演算部２１の動作を除いて第１実施形態の障害物検出装置と同一の構成をしており、図１を援用する。
【００５９】
この第３実施形態の障害物検出装置では、カメラ１１,１２の夫々の取付向きを変えるが、カメラ１１,１２の配置方向は横方向で変わらない。
【００６０】
通常のカメラは、図１０(a)のように画面の左上端から右上端の１行ずつ、上から下の行に向けてデータを転送するようになっている。
【００６１】
したがって、上記第１実施形態の障害物検出装置のように、下の行のブロックから順に視差演算の処理を行う場合には、１画面全ての画像をメモリに記憶してからしか処理を開始することができない。
【００６２】
これに対して、この第３実施形態の障害物検出装置では、カメラ１１,１２の夫々を光軸に対して直角な平面に沿って時計方向に１８０度回転させて取り付けると、図１０(b)のように、まず画面の右下から左下の１行、下から上に向かって順に１行ずつ画像データがカメラ１１,１２から視差演算部２１に転送される。これにより、左右画像(第１,第２画像)の下の行のブロックの画像データが揃い次第、順に視差演算の処理を開始することが可能となる。
【００６３】
上記カメラ１１,１２から視差演算部２１に左右画像(第１,第２画像)が下の行から上に向かって１行ずつ転送される構成では、画像データの転送に従って順次右画像(第２画像)の対応ブロックを探索でき、障害物の検出時間を短縮できる。
【００６４】
また、図１０(c)のように、カメラ１１,１２を反時計方向に９０度回転して取り付けると、画像の左から右方向に１列ずつデータを転送することも可能である。また、図１０(d)のように、カメラ１１,１２を時計方向に９０度回転して取り付けると、画像の右から左方向に１列ずつデータを転送することも可能である。この場合、左または右の１列のブロックの画像データが揃い次第、処理を開始することが可能となる。
【００６５】
上記カメラ１１,１２から視差演算部２１に左右画像(第１,第２画像)が右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送される構成において、画像データの転送に従って順次右画像(第２画像)の対応ブロックを探索でき、障害物の検出時間を短縮できる。
【００６６】
上記第３実施形態の障害物検出装置は、第１実施形態の障害物検出装置と同様の効果を有する。
【００６７】
上記第１〜第３実施の形態では、シニアカーや電動車椅子に用いられる障害物検出装置について説明したが、障害物検出装置は運搬車などの他の移動手段などに適用してもよい。
【００６８】
この発明の具体的な実施の形態について説明したが、この発明は上記第１〜第３実施形態に限定されるものではなく、この発明の範囲内で種々変更して実施することができる。
【００６９】
この発明の障害物検出装置は、
ステレオカメラ(１１,１２)と、
上記ステレオカメラ(１１,１２)で撮影された第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を求める視差演算部２１と、
上記視差演算部２１により求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物か否かを検出する障害物検出部２２と
を備え、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算部２１は、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索し、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索して、
上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求めることを特徴とする。
【００７０】
ここで、第１画像のマトリックス状に配列された複数のブロックは、横方向に並んだ複数のブロックを１行とし、縦方向に並んだ複数のブロックを１列とする。
【００７１】
上記構成によれば、障害物を見つける処理を簡略化でき、処理時間の短縮化とハードウェア構成の簡略化ができる。
【００７２】
また、一実施形態の障害物検出装置では、
上記視差演算部２１は、
上記ステレオカメラの垂直画角,俯角およびカメラ高さに基づいて、上記第１画像の最下行のブロックに写っている路面までの距離を算出し、
上記第１画像の最下行のブロックに写る上記路面までの距離に基づいて、上記第１画像の最下行のブロックに写る上記路面と上記第２画像に写っているであろう上記路面との視差を算出して、
上記第１画像の最下行のブロックのＹ座標と同じＹ座標で、かつ、そのブロックのＸ座標から上記視差を減算したＸ座標を中心とする上記Ｘ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する。
【００７３】
上記実施形態によれば、１画像の最下行のブロックに写る路面と第２画像に写っているであろう路面との視差を簡単に算出でき、より短時間で障害物を検出できる。
【００７４】
また、一実施形態の障害物検出装置では、
上記ステレオカメラ(１１,１２)から上記視差演算部２１に上記第１,第２画像データが下の行から上に向かって１行ずつ転送され、
上記視差演算部２１は、
上記第１画像の１行のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索する。
【００７５】
上記実施形態によれば、ステレオカメラ(１１,１２)から視差演算部２１に第１,第２画像データが下の行から上に向かって１行ずつ転送される構成において、画像データの転送に従って順次第２画像の対応ブロックを探索でき、障害物の検出時間を短縮できる。
【００７６】
また、一実施形態の障害物検出装置では、
上記ステレオカメラ(１１,１２)から上記視差演算部２１に上記第１,第２画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送され、
上記視差演算部２１は、
上記第１画像の複数列のブロックに含まれる画像データとその画像データに対応する上記第２画像の画像データとが揃った時点で、上記第１画像のブロックに写っている物体と同一または類似の物体が写っている上記第２画像の対応ブロックを探索する。
【００７７】
上記実施形態によれば、ステレオカメラ(１１,１２)から視差演算部２１に第１,第２画像データが右の列から左に向かって１列ずつ、または、左の列から右に向かって１列ずつ転送される構成において、画像データの転送に従って順次第２画像の対応ブロックを探索でき、障害物の検出時間を短縮できる。
【００７８】
また、この発明の障害物検出方法では、
ステレオカメラ(１１,１２)で撮影した視差を有する２枚の第１画像と第２画像に基づいて、上記第１,第２画像に写る物体の視差を視差演算部２１により求める視差演算ステップと、
上記視差演算ステップで求めた上記第１,第２画像に写る物体の視差に基づいて、上記物体までの距離を求めて、上記物体が障害物となるか否かを障害物検出部２２により検出する障害物検出ステップと
を有する障害物検出方法であって、
上記第１,第２画像の横方向をＸ座標とし、上記第１,第２画像の縦方向をＹ座標とすると共に、上記第１画像をマトリックス状に配列された複数のブロックに分割し、
上記視差演算ステップは、
上記第１画像の最下行のブロックに対して、そのブロックのＹ座標と同じＹ座標で、かつ、そのブロックに写っている物体と同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第１のステップと、
次に、上記第１画像の探索済みブロックから順次上のブロックに対して、そのブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索するときに、上記第１画像のブロックのＹ座標と同じＹ座標で、かつ、上記第１画像のブロックの直下の探索済みブロックに対応する上記第２画像の対応ブロックのＸ座標を中心とするＸ座標設定範囲において、上記第１画像のブロックと同一または類似の物体が写っている上記第２画像中の対応ブロックを探索する第２のステップと、
上記第１,第２のステップで得られた上記第１画像のブロックのＸ座標とそのブロックに対応する上記第２画像の対応ブロックのＸ座標との差から上記第１,第２画像に写る物体の視差を求める第３のステップと
を有することを特徴とする。
【００７９】
上記構成によれば、障害物を見つける処理を簡略化でき、処理時間の短縮化とハードウェア構成の簡略化ができる。
【符号の説明】
【００８０】
１…カメラ部
２…演算部
３…出力装置
１１,１２…カメラ
２１…視差演算部
２２…障害物検出部
【図１】
2014164318.tif 000003
【図２】
2014164318.tif 000004
【図３】
2014164318.tif 000005
【図４】
2014164318.tif 000006
【図５】
2014164318.tif 000007
【図６】
2014164318.tif 000008
【図７】
2014164318.tif 000009
【図８】
2014164318.tif 000010
【図９】
2014164318.tif 000011
【図１０】
2014164318.tif 000012