(57)【要約】【課題】２つの白色の直線の間に輪止めなどの立体物が設けられた構成の駐車場が車両の周辺に存在するか否かを判定することができる画像処理装置及び駐車場判定方法を提供する。【解決手段】カメラが撮像した画像を取得し、Ｔｏｐｖｉｅｗ変換により俯瞰方向の画像に変換し、２値化により白線を抽出する。２値化した画像をハフ変換し、ハフ変換による画像の各点に対応するハフ曲線が多く交わる点を抽出することにより、直線の抽出を行い、逆ハフ変換を行って抽出した直線を取得する。また、カメラから取得した画像に写された対象物への距離を算出し、算出結果を基に立体物の検出を行う。抽出した２つの直線の間に立体物が存在する場合には、車両の周辺に駐車場が存在すると判定する。【選択図】図９
2007310591.tif 000002
【特許請求の範囲】
【請求項１】
車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置において、
画像から直線を抽出する抽出手段と、
画像から立体物を検出する検出手段と、
前記抽出手段が抽出した２つの直線の間に、前記検出手段が検出した立体物が存在するか否かに基づいて、駐車場の有無を判定する判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像手段は、視野の中央部よりも端部にて撮像する画像の湾曲度合いを大きくしてあり、
前記撮像手段が撮像した画像の湾曲部分を補正して、俯瞰方向の画像に変換する変換手段を備え、
前記抽出手段は、前記変換手段が変換した画像から２つの直線を抽出するようにしてある請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、画像から白色の直線をハフ変換により抽出するようにしてある請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記撮像手段により得られた画像の各画素について、各画素に写された対象物までの距離をそれぞれ算出する算出手段を備え、
前記検出手段は、隣り合う画素について前記算出手段がそれぞれ算出した前記距離の差に応じて、画像から立体物を検出するようにしてある請求項１乃至請求項３のいずれか１つに記載の画像処理装置。
【請求項５】
前記撮像手段は複数であり、複数の撮像手段は異なる位置から同一の対象物を撮像することが可能にしてあり、
前記算出手段は、複数の前記撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてある請求項４に記載の画像処理装置。
【請求項６】
前記算出手段は、前記撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてある請求項４に記載の画像処理装置。
【請求項７】
車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置を用いて、
画像から直線を抽出し、
画像から立体物を検出し、
抽出した２つの直線の間に、検出した立体物が存在するか否かに基づいて、駐車場の有無を判定すること
を特徴とする駐車場判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラにより撮像された画像から、車両の近傍に駐車場が存在するか否かを判定することができる画像処理装置及び駐車場判定方法に関する。
【背景技術】
【０００２】
従来から、車両の前側、後側又は左右側にカメラを搭載し、カメラが撮像した画像を基に運転者へ種々の情報を提供するシステムが実用化されている。例えば、車両の運転席から死角となる部分を撮像するカメラを搭載することによって、運転者が直接に目視できない部分を車内のディスプレイに表示することができる。また、カメラが撮像した画像から白色の直線を認識することによって、車両が走行車線から逸脱した場合に警告を発する機能、又は駐車場へ車両を導く駐車アシスト機能等を実現することが可能である。
【０００３】
カメラが撮像した画像から白色の直線を認識するための方法として、従来からハフ変換（Ｈｏｕｇｈ変換）が用いられている。ハフ変換は、画像の各点（ｘ、ｙ）をｘｙ平面からρθ平面上でρ＝ｘｃｏｓθ＋ｙｓｉｎθというハフ曲線に変換し、これらの曲線が最も多く交わる点（ρ、θ）に対応するｘｙ平面上での直線を検出する方法である。なお、ρは原点から直線へ下ろした垂線の長さに対応し、θは垂線及びｘ軸のなす角に対応する。ハフ変換では、直線が実線であっても破線であっても直線を検出することができ、直線の太さにばらつきがあっても直線を検出することができるため、誤検出が少ないという利点がある。
【０００４】
特許文献１においては、カメラが撮像した画像から路面の種類を判別して、路面上に白線が設けられている場合には白線に基づいて車両の目標駐車区画を設定し、路面上に白線が設けられていない場合には障害物に基づいて車両の目標駐車区画を設定することにより、駐車場へ車両を導く場合の目印を高精度に検出することができる画像処理装置が提案されている。この画像処理装置では、路面上に白線が設けられているか否かを判定する場合にハフ変換が利用されている。
【０００５】
特許文献２においては、車両の前方を撮像するカメラと、車両の前方・左右側方を撮像するカメラと、車両の左右側方及び後方の距離情報を各画素毎に取得する赤外線レーザカメラとを備えて、各カメラからの画像情報と赤外線レーザカメラからの距離情報とに基づいて駐車位置を自動的に検出して駐車支援情報を提供できる駐車支援システムが提案されている。
【特許文献１】特開２００４−３４９４６号公報
【特許文献２】特開２００６−９６３１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の画像処理装置は、路面上に白線が設けられている場合に、白線で囲まれた領域を目標駐車区画として設定するものであり、車線又は横断歩道等の白線と駐車場の白線とを区別することができない。よって、この画像処理装置は、運転者が車両を駐車場の直近まで移動させた後に使用することが前提であり、限られた用途にしか使用することができない。また、特許文献２に記載の駐車支援システムは、距離情報を取得するために赤外線レーザカメラを車両に搭載する必要があるため、高コストであるという問題がある。
【０００７】
近年、車両の前後を走行する他車両との車間を自動的に調整する機能、又は夜間の歩行者を検出して運転者へ警告を発する機能等の走行中の事故を抑制するための種々の機能を車両に搭載し、車両走行時の安全性を高める努力がなされている。駐車場の近傍には歩行者が存在する可能性が高く、駐車場の近傍を車両が高速走行することは危険であるため、駐車場の近傍にて車両の速度を自動的に調整できることが望ましい。このためには、車両を駐車場の直近まで移動させた後でなくとも、車両の近傍に駐車場が存在しているか否かを判定する必要がある。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、撮像手段が撮像した画像から２つの直線を抽出すると共に立体物を検出し、２つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する構成とすることにより、２つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができる画像処理装置を提供することにある。
【０００９】
また本発明の他の目的とするところは、視野の中央部よりも端部において撮像する画像の湾曲度合いを大きくした撮像手段により車両の周辺を撮像し、画像の湾曲部分を補正して俯瞰方向の画像に変換する構成とすることにより、車両の周辺を広範囲に亘って撮像でき、駐車場の有無を判定することができる画像処理装置を提供することにある。
【００１０】
また本発明の他の目的とするところは、撮像した画像からハフ変換により２つの白色の直線を抽出する構成とすることにより、白色の直線の誤抽出が起こりにくく、確実に駐車場の有無を判定することができる画像処理装置を提供することにある。
【００１１】
また本発明の他の目的とするところは、撮像された画像の各画素に写された対象物までの距離をそれぞれ算出し、隣り合う画素に写された対象物までの距離の差に応じて、画像から立体物を検出する構成とすることにより、２次元の画像から３次元の立体物を確実に検出することができ、確実に駐車場の有無を判定することができる画像処理装置を提供することにある。
【００１２】
また本発明の他の目的とするところは、車両に撮像手段を複数搭載し、複数の撮像手段が異なる位置から同一の対象物を撮像することが可能である場合に、複数の撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に算出することができ、撮像した画像からの立体物の検出を確実に行うことができる画像処理装置を提供することにある。
【００１３】
また本発明の他の目的とするところは、撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に且つ安価に算出することができる画像処理装置を提供することにある。
【００１４】
また本発明の他の目的とするところは、撮像手段を有する画像処理装置を用いて、撮像した画像から２つの直線を抽出すると共に立体物を検出し、２つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定することにより、２つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができる駐車場判定方法を提供することにある。
【課題を解決するための手段】
【００１５】
第１発明に係る画像処理装置は、車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置において、画像から直線を抽出する抽出手段と、画像から立体物を検出する検出手段と、前記抽出手段が抽出した２つの直線の間に、前記検出手段が検出した立体物が存在するか否かに基づいて、駐車場の有無を判定する判定手段とを備えることを特徴とする。
【００１６】
本発明においては、撮像手段が撮像した画像から２つの直線を抽出すると共に立体物を検出し、２つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する。駐車場は２つの白色の直線の間に１つ又は２つの直方体状の輪止めが設けられた構成であることが多く、２つの直線と直線間の立体物とが画像の中に存在するか否かにより、駐車場の有無を判定することが可能である。また、車線又は横断歩道等の白色の直線の間には立体物が存在することは少ないため、これらの白色の直線を駐車場と誤判定することがなく、車両が駐車場の直近に移動しなくとも、駐車場の有無を判定できる。
【００１７】
また、第２発明に係る画像処理装置は、前記撮像手段が、視野の中央部よりも端部にて撮像する画像の湾曲度合いを大きくしてあり、前記撮像手段が撮像した画像の湾曲部分を補正して、俯瞰方向の画像に変換する変換手段を備え、前記抽出手段は、前記変換手段が変換した画像から２つの直線を抽出するようにしてあることを特徴とする。
【００１８】
本発明においては、視野の中央部よりも端部において撮像する画像の湾曲度合いを大きくした撮像手段、例えば魚眼レンズ又は広角レンズ等を有するカメラなどにより車両の周辺を撮像し、車両の周辺をより広範囲に亘って撮像する。また、撮像した画像の湾曲部分を補正して俯瞰方向の画像に変換することによって、駐車場の有無を判定するための２つの直線の抽出を確実に行う。
【００１９】
また、第３発明に係る画像処理装置は、前記抽出手段が、画像から白色の直線をハフ変換により抽出するようにしてあることを特徴とする。
【００２０】
本発明においては、撮像した画像からハフ変換により白色の直線を抽出する。ハフ変換では、実線であっても破線であっても直線を検出することができ、また、直線の太さにばらつきがあっても直線を検出することができるため、例えば白色の直線が劣化して一部破損している場合などであっても、確実に白色の直線を抽出することができ、誤抽出が起こりにくい。
【００２１】
また、第４発明に係る画像処理装置は、前記撮像手段により得られた画像の各画素について、各画素に写された対象物までの距離をそれぞれ算出する算出手段を備え、前記検出手段は、隣り合う画素について前記算出手段がそれぞれ算出した前記距離の差に応じて、画像から立体物を検出するようにしてあることを特徴とする。
【００２２】
本発明においては、撮像された画像の各画素に写された対象物までの距離をそれぞれ算出し、隣り合う画素に写された対象物までの距離の差に応じて、画像から立体物を検出する。例えば、路面上に立体物が存在しない場合、撮像された路面と車両とは一定の距離で徐々に遠ざかるが、路面上に立体物が存在する場合、立体物が存在する位置では一定の距離で路面と車両とが遠ざからないため、立体物の存在を検出できる。
【００２３】
また、第５発明に係る画像処理装置は、前記撮像手段は複数であり、複数の撮像手段は異なる位置から同一の対象物を撮像することが可能にしてあり、前記算出手段は、複数の前記撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてあることを特徴とする。
【００２４】
本発明においては、異なる位置から同一の対象物を撮像することができるように、車両に複数の撮像手段を搭載する。異なる位置から同一の対象物を撮像した場合、各撮像手段によりそれぞれ取得した画像上での同一の対象物の撮像位置が異なるため、撮像位置の差を基に対象物までの距離を算出できる。撮像手段のみで対象物までの距離を算出できるため、電磁波又は超音波等を対象物へ向けて発して反射波を測定することで距離を算出するレーダーのような装置を備える必要がない。
【００２５】
また、第６発明に係る画像処理装置は、前記算出手段が、前記撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてあることを特徴とする。
【００２６】
本発明においては、撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する。車両が走行しているときに、異なる時点に撮像を行って得られる複数の画像を比較した場合、各画像には同一の対象物が撮像位置を徐々に移動して写されるため、移動距離を考慮することで、複数の撮像手段を搭載した場合と同様に、撮像位置の差を基に対象物までの距離を算出できる。撮像手段を複数搭載する必要がないため、画像処理装置のコストを低減できる。
【００２７】
また、第７発明に係る駐車場判定方法は、車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置を用いて、画像から直線を抽出し、画像から立体物を検出し、抽出した２つの直線の間に、検出した立体物が存在するか否かに基づいて、駐車場の有無を判定することを特徴とする。
【００２８】
本発明においては、撮像手段を有する画像処理装置を用いて、撮像した画像から直線を抽出すると共に立体物を検出し、２つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する。駐車場は２つの白色の直線の間に１つ又は２つの直方体状の輪止めが設けられた構成であることが多く、２つの直線と直線間の立体物とが画像の中に存在するか否かにより、駐車場の有無を判定することが可能であり、車両が駐車場の直近まで移動した後でなくとも、駐車場の有無を判定できる。
【発明の効果】
【００２９】
第１発明による場合は、撮像手段が撮像した画像から２つの直線を抽出すると共に立体物を検出し、２つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する構成とすることにより、２つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができるため、車両が駐車場の直近まで移動した後でなくとも、誤判定することなく駐車場の有無を判定できる。これにより、駐車場の近傍にて車両の速度を調整するなどの制御を行うことができるようになるため、車両の走行時の安全性を高めることが可能となる。
【００３０】
また、第２発明による場合は、視野の中央部よりも端部において撮像する画像の湾曲度合いを大きくした撮像手段により車両の周辺を撮像する構成とすることにより、車両の周辺を広範囲に亘って撮像することができる。また、撮像した画像の湾曲部分を補正して俯瞰方向の画像に変換する構成とすることにより、端部の湾曲度合いの大きい撮像手段を用いる場合であっても、２つの直線の抽出を確実に行うことができる。よって、駐車場の有無をより確実に判定することができ、判定結果を用いて駐車場の近傍にて車両の速度を調整するなどの制御を行った場合には、車両の走行時の安全性をより高めることが可能となる。
【００３１】
また、第３発明による場合は、撮像した画像からハフ変換により２つの白色の直線を抽出する構成とすることにより、例えば白色の直線が劣化して一部破損している場合などであっても、確実に白色の直線を抽出することができ、誤抽出が起こりにくいため、駐車場の有無をより確実に判定することができる。よって、判定結果を用いて駐車場の近傍にて車両の速度を調整するなどの制御を行った場合には、車両の走行時の安全性をより高めることが可能となる。
【００３２】
また、第４発明による場合は、撮像された画像の各画素に写された対象物までの距離をそれぞれ算出し、隣り合う画素に写された対象物までの距離の差に応じて、画像から立体物を検出する構成とすることにより、路面上に立体物が存在する場合には、２次元の画像から３次元の立体物を確実に検出することができる。よって、駐車場の有無を確実に判定することができ、判定結果を用いて駐車場の近傍にて車両の速度を調整するなどの制御を行った場合には、車両の走行時の安全性を高めることが可能となる。
【００３３】
また、第５発明による場合は、異なる位置から同一の対象物を撮像することができるように、車両に複数の撮像手段を搭載し、複数の撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に算出することができる。よって、撮像した画像から立体物の検出を確実に行うことができ、駐車場の有無を確実に判定することができる。また、撮像手段のみで対象物までの距離を算出でき、電磁波又は超音波等を対象物へ向けて発して反射波を測定することで距離を算出するレーダーなどの装置を備える必要がないため、駐車場の有無を判定する機能を備えることによる画像処理装置のコストの増加を抑えることができる。
【００３４】
また、第６発明による場合は、撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に算出することができるため、立体物の検出を確実に行うことができ、駐車場の有無を確実に判定することができる。また、撮像手段を複数搭載する必要がないため、駐車場の有無を判定する機能を備えることによる画像処理装置のコストの増加をより抑えることができる。
【００３５】
また、第７発明による場合は、撮像手段を有する画像処理装置を用いて、撮像した画像から直線を抽出すると共に立体物を検出し、２つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定することにより、２つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができるため、車両が駐車場の直近まで移動した後でなくとも、誤判定することなく駐車場の有無を判定できる。これにより、この駐車場判定方法による判定結果を用いて、駐車場の近傍にて車両の速度を調整するなどの制御を行うことができるようになるため、車両の走行時の安全性を高めることが可能となる。
【発明を実施するための最良の形態】
【００３６】
（実施の形態１）
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図において１は車両に搭載されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）であり、カメラ２０Ｒ、２０Ｌが撮像した画像を取得し、表示用の画像に変換してディスプレイ２５へ与える処理を主として行うものである。カメラ２０Ｒ、２０Ｌ及びＥＣＵ１と、ＥＣＵ１及びディスプレイ２５とは、それぞれ接続ケーブル又はネットワークケーブル等により接続されている。
【００３７】
カメラ２０Ｒ及び２０Ｌは、ＣＣＤ又はＣＭＯＳ等によるイメージセンサをそれぞれ備え、イメージセンサが出力するアナログ信号をデジタルデータの画像に変換してＥＣＵ１へそれぞれ与えるようにしてある。また、カメラ２０Ｒの光軸とカメラ２０Ｌの光軸とが略平行となるように、且つ、路面からカメラ２０Ｒまでの距離と路面からカメラ２０Ｌまでの距離とが略等しくなるように、カメラ２０Ｒが車両の右側前部に搭載され、カメラ２０Ｌが左側前部に搭載されている。カメラ２０Ｒ及び２０Ｌが備えるレンズは、広角レンズ又は魚眼レンズ等の画角が９０°以上のレンズであり、一定の距離を隔てて配されたカメラ２０Ｒ及び２０Ｌのそれぞれの撮像範囲の一部又は全部が重複するようにしてある。
【００３８】
ＥＣＵ１は、カメラ２０Ｒ及び２０Ｌから与えられる画像を基にして種々の画像処理を行う画像処理部１０を備えており、画像処理部１０には、画像を一時的に蓄積するための画像メモリ１１、及び正面から撮像された画像を俯瞰方向の画像に変換するＴｏｐｖｉｅｗ変換（後述する）などに用いられる変換テーブルを記憶する変換テーブル用メモリ１２が接続されている。また、画像処理部１０にはディスプレイ２５が接続されており、カメラ２０Ｒ及び２０Ｌから与えられた画像に画像処理を施して、ディスプレイ２５に表示することができるようにしてある。
【００３９】
カメラ２０Ｒ及び２０Ｌは、広角レンズ又は魚眼レンズ等のレンズにより撮像を行うため、撮像される画像は中央から端部へ向けて徐々に湾曲度合いが大きくなる。よって、画像処理部１０は、カメラ２０Ｒ又は２０Ｌが撮像した画像をディスプレイ２５に表示する場合には、画像の湾曲部分を補正して表示するようにしてある。更に、画像処理部１０は、例えば駐車の際に、カメラ２０Ｒ及び２０Ｌが撮像した画像を俯瞰方向、即ち上から見た画像に変換してディスプレイ２５に表示することができるようにしてある。
【００４０】
また、ＥＣＵ１は、車両に搭載された図示しない車速センサ又は加速度センサ等のセンサから得られる検出結果及び画像処理部１０の処理結果等を基にして、車両に搭載された電子機器及び画像処理部１０等の制御を行うＣＰＵ１４を備えており、ＣＰＵ１４にはＲＯＭ１３及びＲＡＭ１５が接続されている。ＲＯＭ１３には、ＣＰＵ１４にて実行される種々の制御プログラムが記憶されており、マスクＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ等の不揮発性のメモリ素子により構成されている。ＲＡＭ１５は、ＣＰＵ１４が制御処理又は演算処理等を行う際に生じる一時的なデータを記憶するものであり、ＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリ等の書き換え可能なメモリ素子により構成されている。ＣＰＵ１４は、ＲＯＭ１３から制御プログラムを読み出して実行することにより、例えばＡＢＳ（Ａｎｔｉｒｏｃｋ  Ｂｒａｋｅ  Ｓｙｓｔｅｍ）又はＴＣＳ（Ｔｒａｃｔｉｏｎ  Ｃｏｎｔｒｏｌ  Ｓｙｓｔｅｍ）等の車両の電気的な制御を行うようにしてあり、また、前方を走行する車両との車間を測定するレーダーが搭載されている場合には、車間に応じて車速の調整を行うなどの処理を行うことも可能である。
【００４１】
更に、本実施の形態に係る画像処理装置は、カメラ２０Ｒ及び２０Ｌが撮像して得られた画像を基に、車両の周辺に駐車場が存在するか否かを判定する機能を備えている。この機能により、例えばディスプレイ２５に駐車場の位置を表示して運転者に報知することができ、また、車両の周辺に駐車場が存在する場合にはＣＰＵ１４が車速の調整を行うことができるなど、運転者の運転を手助けする処理を実現することが可能となる。
【００４２】
駐車場の有無を判定するために、画像処理部１０は、カメラ２０Ｒ及び２０Ｌから与えられた画像から駐車場の枠をなす可能性のある白色の直線を抽出する処理と、与えられた画像から立体物の有無を検出する処理とを行うようにしてあり、この２つの処理結果を基に、駐車場の有無を判定するようにしてある。また、立体物を検出するために、与えられた画像に撮像された対象物と車両（又は、カメラ２０Ｒ及び２０Ｌ）との距離を、レーダーを用いることなく画像処理によって、測定する処理を行うようにしてある。
【００４３】
なお、本実施の形態に係る画像処理装置が有無を判定する駐車場は、路面に略平行に描かれた２つの白色の直線の間、又は２つの白色の直線の延長線の間に、輪止めなどの立体物が配され、２つの白色の直線と立体物とにより三方を囲まれた略矩形の構成の駐車場を想定しているが、２つの白色の直線の延長線上に壁などが存在している駐車場などについても判定することが可能である。以下、それぞれの処理について詳細を説明する。
【００４４】
図２乃至図４は、本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図であり、（ａ）から（ｅ）にアルファベット順で処理を時系列に図示してある。なお、カメラ２０Ｒが撮像した画像から白色の直線を抽出する場合を例に説明を行うが、カメラ２０Ｌが撮像した画像から白色の直線を抽出する場合も同様である。
【００４５】
カメラ２０Ｒは、広角レンズ又は魚眼レンズ等のレンズを用いて撮像を行うため９０°以上の画角を有しており、車両の周辺を広範囲に亘って撮像することが可能であるが、得られる画像は端部が大きく湾曲した画像となる（図２（ａ）参照）。例えば、図２（ａ）に示す画像では、画像の端部に撮像された路面の白線及び建物の屋根等が湾曲している。このような画像では、本来は直線であっても画像の端部では湾曲して撮像され、直線として抽出することができないため、画像処理部１０は、まず、カメラ２０Ｒから与えられた画像の湾曲部分を補正し、俯瞰方向の画像に変換するＴｏｐｖｉｅｗ変換を行うようにしてある。
【００４６】
Ｔｏｐｖｉｅｗ変換は、変換テーブル用メモリ１２に予め記憶された変換テーブルを用いて行われる。画像処理部１０は、カメラ２０Ｒから与えられた画像の各画素を予め定められた位置に移動させることによって、正面から撮像され、端部が湾曲した画像を、俯瞰方向の画像に変換するようにしてあり、変換テーブルには各画素の移動先の位置が記憶されている。画像処理部１０が変換テーブル用メモリ１２から変換テーブルを読み出してＴｏｐｖｉｅｗ変換を行うことによって、図２（ａ）に示した画像を、図２（ｂ）に示すような路面を上から見下ろした画像、即ち俯瞰方向の画像に変換することができる。例えば、図２（ｂ）は、略平行に並べられた６つの白色の直線５１、５１…と、２つの直方体状の立体物（輪止め）５５、５５とが路面上に配された画像を、Ｔｏｐｖｉｅｗ変換により取得した例である。
【００４７】
次いで、画像処理部１０は、Ｔｏｐｖｉｅｗ変換後の画像の２値化を行う。２値化は、画像の各画素の輝度が予め定められた閾値より大きいか否かを判定し、各画素の輝度を最高輝度又は最低輝度に変換する処理である。即ち、画素の輝度が２５６階調で定められている場合に、処理対象の画素の輝度が閾値より大きい場合にはこの画素の輝度を２５５とし、閾値より小さい場合にはこの画素の輝度を０とすることにより２値化を行うことができる。図２（ｂ）を２値化したものが図３（ｃ）である。閾値を適正に定めることによって、２値化により画像から白線のみを抽出することができる。
【００４８】
画像の２値化を行った後、画像処理部１０は、ハフ変換により得られた画像から直線の抽出処理を行う。ハフ変換は、画像の各点（ｘ、ｙ）をｘｙ平面からρθ平面上でρ＝ｘｃｏｓθ＋ｙｓｉｎθというハフ曲線に変換する処理である。画像の全ての点についてこの処理を行った後、ρθ平面でハフ曲線が多く交わる点（ρ、θ）を抽出することによって、直線の抽出を行うことができる。図３（ｄ）は、図３（ｃ）の画像をハフ変換し、ハフ曲線が多く交わる６つの点５２、５２…を抽出したものであり、ρθ平面を図示したものである。なお、ρθ平面で抽出した各点の間の距離は、ｘｙ平面での直線間の距離に相当するため、駐車場の枠として想定される白色の直線間の距離と比較して適当でないものについては、以後の処理の対象外とすることも可能である。
【００４９】
次いで、ρθ平面で抽出した各点を、逆ハフ変換によりｘｙ平面の直線に変換する。逆ハフ変換は、各点のρの値をｘｙ平面の原点から下ろした垂線の長さとし、θの値をこの垂線とｘ軸とのなす角とした直線にρθ平面の各点を変換する処理である。図４（ｅ）は、図３（ｄ）に示したρθ平面の６つの点５２、５２…を逆ハフ変換によりｘｙ平面の６つの直線５３、５３…に変換したものであり、図３（ｃ）の６つの白色の直線５１、５１…が抽出されている。なお、図３（ｃ）の６つの白色の直線５１、５１…には終端部分が存在するが、ハフ変換を利用して抽出した直線５３、５３…は終端部分の存在しない直線となる。
【００５０】
以上の図２乃至図４に示した処理により、カメラ２０Ｒが撮像した画像から白色の直線を抽出することができる。画像処理部１０は、直線の抽出処理と前後して又は平行して、カメラ２０Ｒ及び２０Ｌが撮像した画像から立体物の検出処理を行うようにしてある。立体物の検出処理は、カメラ２０Ｒ及び２０Ｌがそれぞれ撮像した２つの画像を基に、撮像された対象物までの距離を算出し、距離の算出結果を基に立体物の有無を検出するようにしてある。
【００５１】
図５は、本発明の実施の形態１に係る画像処理装置が行う距離算出の方法を説明するための模式図である。画像処理部１０は、２つのカメラ２０Ｒ及び２０Ｌで同時に撮像された同一の対象物が、それぞれのカメラ２０Ｒ及び２０Ｌで得られた画像上に写る位置の違い、即ち視差に応じて対象物までの距離を算出するようにしてあり、所謂ステレオ測距方式の距離算出を行うようにしてある。
【００５２】
２つのカメラ２０Ｒ及び２０Ｌは、所定の距離ｂを隔てて、それぞれの撮像方向、即ち光軸が略平行となるように、且つ、路面からの距離が略等しくなるように車両に搭載してある。図５においては、カメラ２０Ｒの搭載位置を原点Ｏとし、カメラ２０Ｒの撮像方向をＺ方向とし、カメラ２０Ｌからカメラ２０Ｒへ向かう方向をＸ方向とし、Ｚ方向及びＸ方向に垂直な方向をＹ方向とした場合に、原点Ｏに対する撮像の対象物Ｐの位置を（ｘP 、ｙP 、ｚP ）で表してある。なお、Ｚ方向とＸ方向とが直交するようにカメラ２０Ｒ及び２０Ｌは車両に搭載してある。また、カメラ２０Ｒの撮像面を２１Ｒとして図示してあり、撮像面２１Ｒにはカメラ２０Ｒの光軸との交点を原点とした２次元座標系（ｘ1 −ｙ1 座標系）が図示してある。なお、撮像面２１Ｒはカメラ２０Ｒから焦点距離ｆを隔てた距離に位置している。同様に、カメラ２０Ｌの撮像面を２１Ｌとして図示してあり、撮像面２１Ｌにはカメラ２０Ｌの光軸との交点を原点とした２次元座標系（ｘ2 −ｙ2 座標系）が図示してある。なお、撮像面２１Ｌはカメラ２０Ｌから焦点距離ｆを隔てた距離に位置しており、カメラ２０Ｒ及び２０Ｌの焦点距離ｆは略等しくしてある。また、撮像面２１Ｒ及び２１Ｌは、カメラ２０Ｒ及び２０Ｌによる撮像で得られる画像と等価である。
【００５３】
カメラ２０Ｒ及び２０Ｌによる撮像を行い、対象物Ｐが撮像面２１Ｒ上のｍR （ｘR 、ｙR ）に撮像され、撮像面２１Ｌ上のｍL （ｘL 、ｙL ）に撮像された場合（ただし、ｘR 及びｙR はｘ1 −ｙ1 座標系の値であり、ｘL 及びｙL はｘ2 −ｙ2 座標系の値である）、対象物Ｐの位置（ｘP 、ｙP 、ｚP ）は以下の（１）〜（３）式から算出することができる。
【００５４】
【数１】
2007310591.tif 000003
【００５５】
ただし、画像処理部１０が行う立体物の検出処理では、対象物ＰのＺ方向の距離のみを必要とするため、上記の（１）式による算出を行い、（２）式及び（３）式による算出は行わない。なお、カメラ２０Ｒ及び２０Ｌは、広角レンズ又は魚眼レンズ等のレンズを用いて撮像を行うものであり、撮像により得られる画像は図２（ａ）に示したような端部が大きく湾曲した画像となるため、上述の距離算出を行う前に画像の湾曲部分の補正を行う必要がある。湾曲部分の補正の処理については詳細な説明を省略するが、Ｔｏｐｖｉｅｗ変換と同様に、変換テーブル用メモリ１２に予め記憶された変換テーブルを用いて画像の各画素を移動させることにより行うことができる。
【００５６】
図６乃至図８は、本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図であり、図６（ａ）には路面上に立体物が存在しない場合の画像例を示し、図６（ｂ）には路面上に立体物として輪止め５５が存在する場合の画像例を示してある。また、図７は、図６（ａ）の場合の距離算出結果を図示したものであり、図８は、図６（ｂ）の場合の距離算出結果を図示したものである。なお、図７及び図８においては、算出した距離を色の濃淡により模式的に図示してあり、色の濃い部分は距離が近く、淡い部分は距離が遠いことを示している。
【００５７】
画像処理部１０は、カメラ２０Ｒ及び２０Ｌにて撮像して得られた画像に写る全ての対象物について、即ち得られた画像の全画素に対して、上記の（１）式による距離の算出を繰り返し行うようにしてある。例えば図６（ａ）に示すように路面に立体物が存在しない場合には、図７に示すように得られた画像に写る対象物までの距離は、画像の下から上へ徐々に遠くなり、距離算出の結果は連続的に変化する。これに対して図６（ｂ）に示すように路面に輪止め５５が存在する場合には、図８に示すように距離算出の結果が変化しない領域５５ａ（図８にて黒線で囲む領域）が存在する。このため、画像処理部１０は、得られた画像の各画素について、隣り合う画素同士の距離を比較し、距離が変化しない又は他の部分より変化量が少ない領域を探索することによって、路面上の立体物を検出することができる。また、画像処理部１０は、立体物を検出した場合には、距離の算出結果を基に、立体物の位置を特定するようにしてある。
【００５８】
図９は、本発明に係る画像処理装置が行う駐車場判定処理の手順を示すフローチャートである。まず、画像処理部１０は、カメラ２０Ｒ及び２０Ｌが撮像した画像を取得し（ステップＳ１）、変換テーブル用メモリ１２から変換テーブルを読み出して、取得した画像をＴｏｐｖｉｅｗ変換する（ステップＳ２）。次いで、Ｔｏｐｖｉｅｗ変換した画像を２値化し（ステップＳ３）、２値化した画像をハフ変換して（ステップＳ４）、画像の各点をｘｙ平面からρθ平面のハフ曲線に変換する。画像の各点を変換したハフ曲線が多く交わる点を抽出する（ステップＳ５）ことによって、直線を抽出し、抽出した各点を逆ハフ変換して（ステップＳ６）、抽出した各点を直線に変換する。ステップＳ２〜Ｓ６の処理は、上述の図２〜４に示した処理であり、この処理を行うことによって路面上に描かれた白色の直線を抽出することができ、白色の直線の位置を取得することができる。
【００５９】
白色の直線の抽出を行った後、画像処理部１０は、ステップＳ１にてカメラ２０Ｒ及び２０Ｌから取得した画像を基に、画像に写された対象物の距離を算出する（ステップＳ７）。距離の算出は（１）式による算出処理であり、これにより図７又は図８に示すような距離の算出結果を取得することができる。次いで、距離の算出結果を基に、路面上の立体物の検出を行う（ステップＳ８）。上述の通り、立体物の検出は、カメラ２０Ｒ及び２０Ｌから取得した画像に写された対象物への距離の変化量を調べることにより行うようにしてある。
【００６０】
ステップＳ２〜Ｓ６にて行った白色の直線の抽出結果と、ステップＳ７〜Ｓ８にて行った立体物の検出結果とを基に、画像処理部１０は、２つの直線の間に立体物が存在するか否かを調べる（ステップＳ９）。画像処理部１０は、２つの直線の間に立体物が存在する場合（Ｓ９：ＹＥＳ）、車両の近傍に駐車場が存在すると判定し（ステップＳ１０）、駐車場判定処理を終了する。また、２つの直線の間に立体物が存在しない場合（Ｓ９：ＮＯ）、車両の近傍に駐車場が存在しないと判定し（ステップＳ１１）、駐車場判定処理を終了する。
【００６１】
画像処理部１０は、車両の走行中には常にステップＳ１〜Ｓ１１の処理を繰り返し行っており、駐車場の有無の判定結果はＣＰＵ１４へ与えられて車両の制御に利用されると共に、画像処理部１０が判定結果に応じてディスプレイ２５に表示する映像の切り替えを行うようにしてある。
【００６２】
以上の構成の画像処理装置においては、カメラ２０Ｒ及び２０Ｌが撮像した画像から白色の直線を抽出すると共に立体物を検出し、２つの直線の間に立体物が存在するか否かに応じて駐車場が存在するか否かを判定する構成とすることによって、車両が駐車場の直近まで移動した後でなくとも、駐車場の判定を行うことができる。また、カメラ２０Ｒ及び２０Ｌが撮像した画像のみで簡単に駐車場の有無を判定できるため、既にカメラ２０Ｒ及び２０Ｌを搭載した車両であれば、他のハードウェアを追加することなく駐車場の判定を行うことができ、この機能を備えることによるコストの増加を抑えることができる。また、駐車場の有無の判定結果を利用して、駐車場の周辺では車両の速度を自動的に調整するなどの制御を行うことができ、このような制御を行うことによって車両の走行時の安全性を高めることができる。
【００６３】
なお、本実施の形態においては、カメラ２０Ｒ及び２０Ｌを車両の前方を撮像するカメラとしたが、これに限るものではなく、車両の後方又は側方等を撮像するカメラであってもよい。また、カメラ２０Ｒ及び２０Ｌが広角レンズ又は魚眼レンズ等を備える構成としたが、これに限るものではなく、他のレンズを備える構成であってもよい。また、路面上に存在する立体物として輪止めを例に説明を行ったが、これに限るものではなく、他の立体物も同様に検出することができる。また、輪止めの形状も図示のものに限らない。また、輪止めの検出精度を向上するために、輪止めの形状パターンを予め記憶しておき、検出した立体物の形状と比較を行う処理を更に行ってもよい。
【００６４】
また、図９に示すフローチャートにおいては、ステップＳ２〜Ｓ６の直線の抽出処理を行った後に、ステップＳ７〜Ｓ８の立体物の検出処理を行う構成としたが、これに限るものではなく、立体物の検出処理を行った後で直線の抽出処理を行う構成であってもよく、また、２つの処理を同時的に行う構成であってもよい。また、駐車場の有無の判定結果を画像処理部１０がＣＰＵ１４へ与えて車両の制御に利用すると共に、画像処理部１０が判定結果に応じてディスプレイ２５に表示する映像の切り替えを行う構成としたが、判定結果をどのような処理に利用するかは限定しない。
【００６５】
（実施の形態２）
図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。実施の形態１に係る画像処理装置は、２つのカメラ２０Ｒ及び２０Ｌを備える構成としたが、実施の形態２に係る画像処理装置はカメラ１２０を１つ備えるのみである。よって、実施の形態２に係る画像処理装置の画像処理部１０は、カメラ１２０から取得した画像に写された対象物への距離の算出方法が、図５に示した実施の形態１の場合と異なるが、その他の処理は実施の形態１の場合と同じである。
【００６６】
図１１は、本発明の実施の形態２に係る画像処理装置が行う距離算出の方法を説明するための模式図である。実施の形態２に係る画像処理装置は、時刻ｔ1 にてカメラ１２０が撮像した画像と、時刻ｔ1 から所定の時間を経過した時刻ｔ2 にてカメラ１２０が撮像した画像との２つの画像を基に距離の算出を行うようにしてある。時刻ｔ1 から時刻ｔ2 の間に車両が速度ｖで移動した場合、カメラ１２０による撮像位置Ｌは以下の（４）式で算出できる。
Ｌ＝ｖ＊（ｔ2 −ｔ1 ）      …（４）
【００６７】
時刻ｔ1 に撮像した画像と時刻ｔ2 に撮像した画像とを、擬似的に２つのカメラで撮像した画像として扱うことができるため、（１）式中の２つのカメラの距離ｂを（４）式の移動距離Ｌでｂ＝Ｌと近似し、（１）式及び（４）式により対象物Ｐまでの距離を算出することができる。
【００６８】
以上の構成の実施の形態２に係る画像処理装置は、実施の形態１に係る画像処理装置と比較して、車両に搭載するカメラが少なくてよいため、コストを削減できるという利点がある。
【００６９】
なお、実施の形態２に係る画像処理装置のその他の構成は、実施の形態１に係る画像処理装置の構成と同様であるため、対応する箇所には同じ符号を付して詳細な説明を省略する。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図である。
【図３】本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図である。
【図４】本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図である。
【図５】本発明の実施の形態１に係る画像処理装置が行う距離算出の方法を説明するための模式図である。
【図６】本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図である。
【図７】本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図である。
【図８】本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図である。
【図９】本発明に係る画像処理装置が行う駐車場判定処理の手順を示すフローチャートである。
【図１０】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１１】本発明の実施の形態２に係る画像処理装置が行う距離算出の方法を説明するための模式図である。
【符号の説明】
【００７１】
１  ＥＣＵ
１０  画像処理部（抽出手段、検出手段、判定手段、変換手段、算出手段）
１１  画像メモリ
１２  変換テーブル用メモリ
１３  ＲＯＭ
１４  ＣＰＵ
１５  ＲＡＭ
２０Ｒ、２０Ｌ  カメラ（撮像手段）
２５  ディスプレイ
１２０  カメラ（撮像手段）
【図１】
2007310591.tif 000004
【図２】
2007310591.tif 000005
【図３】
2007310591.tif 000006
【図４】
2007310591.tif 000007
【図５】
2007310591.tif 000008
【図６】
2007310591.tif 000009
【図７】
2007310591.tif 000010
【図８】
2007310591.tif 000011
【図９】
2007310591.tif 000012
【図１０】
2007310591.tif 000013
【図１１】
2007310591.tif 000014