(57)【要約】【課題】車速センサを用いることなく、車両が移動を検出することができる画像処理装置を提供する。【解決手段】車両に４つのカメラ５〜８を搭載して前後左右方向の撮像を行う。各カメラ５〜８が異なる時点でそれぞれ撮像して取得した２つの画像から、画像に写された対象物の動きベクトルをそれぞれ取得し、カメラ５〜８毎に車両が移動しているか否かの判定を行う。全てのカメラ５〜８について、車両が移動していると判定された場合にのみ、最終的に車両の移動を検出する。また、車両の移動が検出されておらず、車両の周辺に移動物体が存在する場合には、これを撮像して取得した画像を液晶ディスプレイ２０に表示する。【選択図】図２
2008042759.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、該車両の外界を撮像して画像を取得する撮像手段と、該撮像手段が撮像して取得した画像を基に、前記車両の移動を検出する検出手段とを備える画像処理装置において、
前記撮像手段は複数であり、複数の撮像手段は撮像方向が異なり、
前記撮像手段が異なる時点でそれぞれ撮像して取得した複数の画像を基に、画像に写された対象物の画像内での変化を前記撮像手段毎に取得する取得手段と、
該取得手段が取得した前記変化を基に、前記撮像手段毎に前記車両が移動したか否かを判定する判定手段と
を備え、
前記検出手段は、前記判定手段が全ての前記撮像手段について前記車両が移動したと判定した場合に、前記車両の移動を検出するようにしてあること
を特徴とする画像処理装置。
【請求項２】
前記取得手段は、画像に写された対象物の画像内での変化を動きベクトルとして取得するようにしてあり、
前記判定手段は、前記取得手段が取得した動きベクトルが所定のパターンであるか否かに応じて、前記車両が移動したか否かを前記撮像手段毎に判定するようにしてある請求項１に記載の画像処理装置。
【請求項３】
複数の撮像手段には、前記車両の前方又は後方を撮像する撮像手段を含み、
前記判定手段は、前記撮像手段が撮像して取得した画像から前記取得手段が取得した動きベクトルが、所定位置から放射状に拡散するか、又は所定位置へ収束する場合に、前記車両が移動したと判定するようにしてある請求項２に記載の画像処理装置。
【請求項４】
複数の撮像手段には、前記車両の側方を撮像する撮像手段を含み、
前記判定手段は、前記撮像手段が撮像して取得した画像から前記取得手段が取得した動きベクトルが、前記車両の前方又は後方へ向かう場合に、前記車両が移動したと判定するようにしてある請求項２に記載の画像処理装置。
【請求項５】
前記撮像手段は、視野の中央部よりも端部にて結像する像の湾曲度合いが大きいレンズを有し、
前記撮像手段が撮像した画像の湾曲部分を補正する補正手段を備え、
前記取得手段は、前記補正手段による補正後の画像から動きベクトルを取得するようにしてある請求項２乃至請求項４のいずれか１つに記載の画像処理装置。
【請求項６】
前記撮像手段が撮像して取得した画像を表示する表示手段と、
前記検出手段が前記車両の移動を検出していない場合に、前記撮像手段毎に取得した前記変化を基に、複数の前記撮像手段が撮像して取得した複数の画像から、前記表示手段に表示する画像を選択する選択手段と
を備える請求項１乃至請求項５のいずれか１つに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラにより外界を撮像し、得られた画像を基に車両が移動しているか否かを検出することができる画像処理装置に関する。
【背景技術】
【０００２】
従来、車両の前側、後側又は左右側にカメラを搭載して車両の外界を撮像し、撮像により取得した画像を車内に設けられたディスプレイに表示することによって、運転者へ種々の情報を提供するシステムが実用化されている。例えば、車両の運転席から死角となる部分を撮像するカメラを搭載することによって、運転者が直接に目視できない部分をディスプレイに表示することができるため、事故を未然に防ぐことが可能となる。
【０００３】
特許文献１においては、撮像手段によって自車両の後方を所定周期で撮像し、得られた複数の画像からオプティカルフローを算出して自車両に接近する物体を検出するオプティカルフロー式後方情報検出装置が提案されている。この装置では、自車両に接近する物体に対応するオプティカルフローの大きさの平均値を演算し、平均値に基づいて物体の接近の危険度を判定することにより、危険度に関する情報を安定して運転者へ与えることができる。
【０００４】
オプティカルフローとは、カメラで撮像して得られた画像中の物体の動きをベクトル値で表現したものであり、異なる時刻に撮像された現在の画像及び以前の画像の２つの画像を比較し、以前の画像に写された物体の現在の画像中での対応位置を探索することで得ることができる。車両に搭載されたカメラが撮像して取得した画像を基に動きベクトルの算出を行うことで、車両の周辺に人又は他車両等の移動する物体が存在するか否かを判定することができ、移動する物体の存在を運転者へ通知することで事故を未然に防ぐことが可能となる。特に駐車場などに停車した車両を発進させる場合などにおいて、車両の周辺を移動する物体の存在を通知することは事故防止の効果が高い。
【特許文献１】特開平１１−２５９６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、車両に搭載されたカメラが撮像して得られた画像を基にオプティカルフローを算出して移動する物体の存在を判定する場合、画像中に写された物体が移動したのか、又は車両が移動したのかを判断することが難しいという問題がある。特許文献１に記載のオプティカルフロー式後方情報検出装置についても同様である。車両には車速を検知する車速センサが搭載されているため、車速センサの出力に応じて車両が移動したことを判断することができるが、車両が約３ｋｍ／ｈ以下の低速で移動しているときには車速センサが車速を検知することができない場合も多く、誤判定が発生する虞があった。駐車場などでは車両が低速で移動する可能性が高く、車両の周辺に人が存在する可能性が高いため、このような状況での事故を確実に防止するために、車速センサを用いることなく、車両が移動しているか否かを正確に判断することが求められている。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、複数の撮像手段により車両の周辺の異なる方向を撮像し、各撮像手段で得られた画像に写された対象物の画像内での変化をそれぞれ取得し、取得した変化を基に車両が移動したか否かを撮像手段毎にそれぞれ判定し、全ての撮像手段について車両が移動したと判定した場合に、車両の移動を検出する構成とすることにより、複数の方向の情報から車両の移動を正確に検出することができる画像処理装置を提供することにある。
【０００７】
また本発明の他の目的とするところは、撮像手段が異なる時点で撮像した複数の画像から、画像に写された対象物の動きベクトルを取得し、この動きベクトルが所定のパターンであるか否かに応じて車両が移動したか否かを判定する構成とすることにより、一の方向について撮像して取得した画像から車両が移動したか否かを正確に判定でき、車両の移動をより正確に検出することができる画像処理装置を提供することにある。
【０００８】
また本発明の他の目的とするところは、車両の前方又は後方を撮像する撮像手段については、取得した動きベクトルが所定位置から放射状に拡散するか、又は所定位置へ収束する場合に車両が移動したと判定する構成とすることにより、車両の前方又は後方を撮像する撮像手段を用いて正確に判定でき、車両の前進又は後退をより正確に検出することができる画像処理装置を提供することにある。
【０００９】
また本発明の他の目的とするところは、車両の側方を撮像する撮像手段については、取得した動きベクトルが車両の前方又は後方へ向かう場合に、車両が移動したと判定する構成とすることにより、車両の側方を撮像する撮像手段を用いて正確に判定でき、車両の前進又は後退をより正確に検出することができる画像処理装置を提供することにある。
【００１０】
また本発明の他の目的とするところは、視野の中央部よりも端部において結像する像の湾曲度合いが大きいレンズを有する撮像手段により車両の周辺を撮像し、画像の湾曲部分を補正して動きベクトルを取得する構成とすることにより、車両の周辺を広範囲に亘って撮像でき、撮像手段を利用してより正確に車両の移動を検出することができる画像処理装置を提供することにある。
【００１１】
また本発明の他の目的とするところは、車両の移動を検出していない場合に、画像に写された対象物の画像内での変化を基に、複数の撮像手段が撮像して取得した複数の画像から、一又は複数の画像を選択して表示する構成とすることにより、車両周辺にて移動する物体を表示して運転者に通知することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
第１発明に係る画像処理装置は、車両に搭載され、該車両の外界を撮像して画像を取得する撮像手段と、該撮像手段が撮像して取得した画像を基に、前記車両の移動を検出する検出手段とを備える画像処理装置において、前記撮像手段は複数であり、複数の撮像手段は撮像方向が異なり、前記撮像手段が異なる時点でそれぞれ撮像して取得した複数の画像を基に、画像に写された対象物の画像内での変化を前記撮像手段毎に取得する取得手段と、該取得手段が取得した前記変化を基に、前記撮像手段毎に前記車両が移動したか否かを判定する判定手段とを備え、前記検出手段は、前記判定手段が全ての前記撮像手段について前記車両が移動したと判定した場合に、前記車両の移動を検出するようにしてあることを特徴とする。
【００１３】
本発明においては、車両に複数の撮像手段を搭載して異なる方向の撮像を行う。各撮像手段が異なる時点で撮像して取得した画像から、画像に写された対象物の画像内での変化を取得し、この変化を基に車両が移動したか否かの判定を撮像手段毎に行う。全ての撮像手段について車両が移動したと判定された場合に、車両の移動を検出する。いずれかの撮像手段でのみ車両が移動したと判定され、残りの撮像手段では車両が移動していないと判定された場合には、車両の移動は検出しない。車両が移動したか否かを複数の方向について判定するため、いずれかの方向について誤判定が生じた場合であっても、最終的に車両の移動を誤検出することがない。
【００１４】
また、第２発明に係る画像処理装置は、前記取得手段が、画像に写された対象物の画像内での変化を動きベクトルとして取得するようにしてあり、前記判定手段は、前記取得手段が取得した動きベクトルが所定のパターンであるか否かに応じて、前記車両が移動したか否かを前記撮像手段毎に判定するようにしてあることを特徴とする。
【００１５】
本発明においては、撮像手段が異なる時点で撮像した複数の画像から、画像に写された対象物の移動先を探索することによって、動きベクトルを取得する。車両が移動したか否かの判定は、取得した動きベクトルが所定のパターンであるか否かに応じて行う。撮像手段による撮像方向が定まれば、例えば車両が前進又は後退する場合の動きベクトルのパターンは予め調べて記憶しておくことが可能であるため、取得したパターンと記憶したパターンとを比較することで、車両が移動したか否かを判定することができる。
【００１６】
また、第３発明に係る画像処理装置は、複数の撮像手段には、前記車両の前方又は後方を撮像する撮像手段を含み、前記判定手段は、前記撮像手段が撮像して取得した画像から前記取得手段が取得した動きベクトルが、所定位置から放射状に拡散するか、又は所定位置へ収束する場合に、前記車両が移動したと判定するようにしてあることを特徴とする。
【００１７】
本発明においては、撮像手段により車両の前方又は後方を撮像する。この撮像手段が撮像して取得した画像から、上述の動きベクトルを取得した場合には、動きベクトルが所定位置、所謂消失点を中心に放射状に拡散するか、又は消失点へ収束する場合に、車両が移動したと判定する。例えば車両の前方を撮像する撮像手段では、車両が前進した場合に画像から取得できる動きベクトルが消失点を中心に放射状に拡散することが知られている。よって、取得した動きベクトルがこのパターンを示しているか否かにより車両が移動したか否かを判定することが可能である。
【００１８】
また、第４発明に係る画像処理装置は、複数の撮像手段には、前記車両の側方を撮像する撮像手段を含み、前記判定手段は、前記撮像手段が撮像して取得した画像から前記取得手段が取得した動きベクトルが、前記車両の前方又は後方へ向かう場合に、前記車両が移動したと判定するようにしてあることを特徴とする。
【００１９】
本発明においては、撮像手段により車両の側方を撮像する。この撮像手段が撮像して取得した画像から、動きベクトルを取得した場合には、動きベクトルが前方又は後方へ向かう場合に、車両が移動したと判定する。例えば車両の右側方を撮像する撮像手段では、車両が前進した場合に、車両の前方から後方へ、即ち撮像した画像の左から右へ無限遠の消失点へ向けて、動きベクトルが略平行となることが知られている。よって、取得した動きベクトルがこのパターンを示しているか否かにより車両が移動したか否かを判定することができる。
【００２０】
また、第５発明に係る画像処理装置は、前記撮像手段が、視野の中央部よりも端部にて結像する像の湾曲度合いが大きいレンズを有し、前記撮像手段が撮像した画像の湾曲部分を補正する補正手段を備え、前記取得手段は、前記補正手段による補正後の画像から動きベクトルを取得するようにしてあることを特徴とする。
【００２１】
本発明においては、視野の中央部よりも端部において結像する像の湾曲度合いが大きいレンズを有する撮像手段、例えば魚眼レンズ又は広角レンズ等を有するカメラなどにより車両の周辺を撮像する。これにより、車両の周辺をより広範囲に亘って撮像することができる。また、撮像した画像の湾曲部分を補正し、補正した画像から動きベクトルを取得する。湾曲部分を補正していない画像から動きベクトルを取得した場合、上述のようなパターンと動きベクトルとが一致するか否かを判定することが困難であるため、補正した画像から取得した動きベクトルを用いて判定を行う。
【００２２】
また、第６発明に係る画像処理装置は、前記撮像手段が撮像して取得した画像を表示する表示手段と、前記検出手段が前記車両の移動を検出していない場合に、前記撮像手段毎に取得した前記変化を基に、複数の前記撮像手段が撮像して取得した複数の画像から、前記表示手段に表示する画像を選択する選択手段とを備えることを特徴とする。
【００２３】
本発明においては、撮像手段が撮像して取得した画像を表示する液晶ディスプレイなどの表示手段を備える。車両の移動を検出していない場合には、複数の撮像手段が撮像して取得した複数の画像から、一又は複数の画像を選択して表示を行う。このとき、画像の選択は、各撮像手段が異なる時点で撮像して取得した画像を基に画像に写された対象物の変化を取得し、変化がある画像又は変化が大きい画像を選択する。これにより、表示手段に車両の周辺の移動する対象物を表示することができる。
【発明の効果】
【００２４】
第１発明による場合は、車両に複数の撮像手段を搭載して異なる方向を撮像し、各撮像手段で得られた画像に写された対象物の画像内での変化をそれぞれ取得し、取得した変化を基に車両が移動したか否かを撮像手段毎にそれぞれ判定し、全ての撮像手段について車両が移動したと判定した場合に、車両の移動を検出する構成とすることにより、いずれかの方向について誤判定が生じた場合であっても、最終的に車両の移動を誤検出することがないため、車両の移動を正確に検出することができ、また、車速センサを用いることなく車両の移動を検出することができるため、車両が低速で移動している場合であっても移動を検出することができ、画像処理装置の車両の移動検出における信頼性を向上できる。
【００２５】
また、第２発明による場合は、撮像手段が異なる時点で撮像した複数の画像から、画像に写された対象物の移動先を探索することによって、動きベクトルを取得し、この動きベクトルが所定のパターンであるか否かに応じて車両が移動したか否かを判定する構成とすることにより、撮像手段毎の車両の移動判定をより正確に行うことができるため、車両の移動をより正確に検出することができ、画像処理装置の車両の移動検出における信頼性をより向上できる。
【００２６】
また、第３発明による場合は、撮像手段により車両の前方又は後方を撮像し、取得した動きベクトルが所定位置から放射状に拡散するか、又は所定位置へ収束する場合に車両が移動したと判定する構成とすることにより、撮像手段が撮像して取得した画像から車両が前進又は後退したことを正確に検出することができるため、画像処理装置の車両の移動検出における信頼性をより向上できる。
【００２７】
また、第４発明による場合は、撮像手段により車両の側方を撮像し、取得した動きベクトルが車両の前方又は後方へ向かう場合に、車両が移動したと判定する構成とすることにより、撮像手段が撮像して取得した画像から車両が前進又は後退したことを正確に検出することができるため、画像処理装置の車両の移動検出における信頼性をより向上できる。
【００２８】
また、第５発明による場合は、視野の中央部よりも端部において結像する像の湾曲度合いが大きいレンズを有する撮像手段により車両の周辺を撮像し、画像の湾曲部分を補正して動きベクトルを取得する構成とすることにより、車両の周辺をより広範囲に亘って撮像することができ、動きベクトルに基づく車両の移動判定をより正確に行うことができるため、画像処理装置の車両の移動検出における信頼性をより向上できる。
【００２９】
また、第６発明による場合は、車両の移動を検出していない場合には、画像に写された対象物の画像内での変化を基に、複数の撮像手段が撮像して取得した複数の画像から、一又は複数の画像を選択して表示する構成とすることにより、車両周辺にて移動する物体を液晶ディスプレイなどに表示して運転者に警告を与えることができるため、車両の運転の安全性を高めることができ、事故などの発生を防止することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る画像処理装置を搭載した車両の構成を示す模式的平面図である。図において１は車両であり、車両１は周辺を撮像するための４つのカメラ５〜８を備えている。なお、図１においてはカメラ５〜８の撮像範囲を破線で囲む領域として図示してある。
【００３１】
車両１の前部には前方を撮像するカメラ５が搭載してあり、後部には後方を撮像するカメラ６が搭載してある。また、車両１の左右のドアミラーには、車両１の左右側を撮像するカメラ７及び８が搭載してある。カメラ５〜８は、１８０°又はそれ以上の画角を有するカメラであり、４つのカメラ５〜８を車両１の四方に搭載することによって、車両１の水平方向の周囲を３６０°に亘って撮像することができるようにしてある。これらのカメラ５〜８を用いることにより、例えば、撮像した画像を車両１の運転席近傍に配設されたディスプレイに表示し、運転者が車両１周辺の死角となる部分を間接的に目視して運転を行うことができるようにしてある。
【００３２】
図２は、本発明に係る画像処理装置の構成を示すブロック図である。車両１に搭載される画像処理装置は、カメラ５〜８を有する撮像部９と、カメラ５〜８により撮像された画像を表示用の画像に変換する処理を主として行うＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１０と、車両１の運転席近傍に設けられてＥＣＵ１０から与えられた画像を表示する液晶ディスプレイ２０とを備えている。撮像部９のカメラ５〜８及びＥＣＵ１０と、ＥＣＵ１０及び液晶ディスプレイ２０とは、それぞれ接続ケーブル又はネットワークケーブル等により接続してある。
【００３３】
撮像部９のカメラ５〜８は、ＣＣＤ又はＣＭＯＳによるイメージセンサがマトリクス状に配設された撮像素子と、この撮像素子へ光を集光する一又は複数のレンズとをそれぞれ有しており、レンズが集光した光を撮像素子のイメージセンサが検知することによって、１秒間に３０回程度の頻度で撮像を行う装置である。カメラ５〜８のレンズには、広角レンズ又は魚眼レンズ等の画角が広いレンズが用いられる。カメラ５〜８は車両１の周辺をそれぞれ撮像して画像を取得し、取得した画像をＥＣＵ１０へそれぞれ与えるようにしてある。
【００３４】
ＥＣＵ１０は、撮像部９のカメラ５〜８からの画像が与えられ、与えられた画像に対して種々の画像処理を行う画像処理部１１を備えている。また、画像処理部１１には、カメラ５〜８から与えられた画像及び画像処理後の画像等の種々の画像を一時的に蓄積するための画像メモリ１２と、カメラ５〜８から与えられた画像の補正を行うための補正テーブルが記憶された補正テーブル用メモリ１３とが接続してある。画像メモリ１２は、ＳＲＡＭ又はＤＲＡＭ等の書き換え可能なメモリ素子により構成してあり、補正テーブル用メモリ１３は、マスクＲＯＭ又はＥＥＰＲＯＭ等の不揮発性のメモリ素子により構成してある。また、画像処理部１１には液晶ディスプレイ２０が接続してあり、カメラ５〜８から与えられた画像に画像処理を施して、液晶ディスプレイ２０へ表示することができるようにしてある。
【００３５】
撮像部９のカメラ５〜８は、広角レンズ又は魚眼レンズ等のレンズにより撮像を行うため、撮像された画像は中央から端部へ向けて徐々に湾曲度合いが大きくなる。よって、画像処理部１１は、カメラ５〜８が撮像して取得した画像の湾曲部分を補正し、補正後の画像を液晶ディスプレイ２０へ表示するようにしてある。湾曲部分の補正は、補正テーブル用メモリ１３に予め記憶した補正テーブルを用いて行うようにしてある。画像処理部１１は、カメラ５〜８から与えられた画像の各画素を補正テーブルにて定められた位置に移動させることによって、画像の湾曲部分を補正するようにしてあり、補正テーブルには各画素の移動先が記憶してある。
【００３６】
また、ＥＣＵ１０は、車両１に搭載された図示しない車速センサ、加速度センサ又は舵角センサ等のセンサから得られる検出結果、及び画像処理部１１の処理結果等を基にして、車両１に搭載された電子機器及び画像処理部１１等の制御を行うＣＰＵ１５を備えており、ＣＰＵ１５にはＲＯＭ１４及びＲＡＭ１６が接続してある。ＲＯＭ１４は、ＣＰＵ１５にて実行される種々の制御プログラムを予め記憶しており、マスクＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ等の不揮発性のメモリ素子により構成してある。ＲＡＭ１６は、ＣＰＵ１５が制御処理又は演算処理等を行う際に生じる一時的なデータを記憶するものであり、ＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリ等の書き換え可能なメモリ素子により構成してある。ＣＰＵ１５は、ＲＯＭ１４から制御プログラムを読み出して実行することにより、例えばＡＢＳ（Ａｎｔｉｒｏｃｋ  Ｂｒａｋｅ  Ｓｙｓｔｅｍ）又はＴＣＳ（Ｔｒａｃｔｉｏｎ  Ｃｏｎｔｒｏｌ  Ｓｙｓｔｅｍ）等の車両１の電気的な制御を行うようにしてある。
【００３７】
また、本発明に係る画像処理装置は、車両１が停車しているときにカメラ５〜８にて車両１の周辺を撮像し、車両１の周辺に人又は他車両等の移動物体が存在する場合には、この移動物体を液晶ディスプレイ２０に表示して運転者に警告を与える処理を行うようにしてある。まず、画像処理装置は車速センサが検出する車速の情報を基に車両１が移動しているか又は停車しているかを判断するようにしてあるが、車両１が約３ｋｍ／ｈ以下の低速では車速を検出することができないため、更に、カメラ５〜８が周辺を撮像して取得した画像を基に車両１の移動を検出するようにしてある。
【００３８】
車両１の移動検出は、各カメラ５〜８が撮像して取得した画像を基にカメラ５〜８毎に車両１が移動したか否かを判定し、４つのカメラ５〜８から得られる４つの判定結果を総合して行うようにしてある。図３乃至図５は、一のカメラが撮像して取得した画像から車両１の移動を判定する方法を説明するための模式図であり、一例として車両１の前方を撮像するカメラ５の場合を図示してある。
【００３９】
車両１の移動判定は、カメラ５が異なる時点で撮像して取得した２つの画像を基に行うようにしてある。図３（ａ）がカメラ５が時刻ｔに撮像して取得した画像であり、図３（ｂ）が時刻ｔから所定時間Δｔ経過後、即ち時刻ｔ＋Δｔにカメラ５が撮像して取得した画像である。カメラ５は、広角レンズ又は魚眼レンズ等のレンズを用いて撮像を行うため、撮像により得られる画像は端部が大きく湾曲した画像となる。このような画像では、画像に写された対象物の移動距離及び移動方向等が判別しにくいため、本発明に係る画像処理装置では、画像処理部１１にて画像の歪みを取り除く補正処理を行うようにしてある。
【００４０】
画像の補正処理は、上述の通り、補正テーブル用メモリ１３に予め記憶された補正テーブルを読み出して、画像の各画素を所定の位置に移動させることで行うことができる。図４（ａ）が時刻ｔにカメラ５が撮像して取得した画像を補正した画像であり、図４（ｂ）が時刻ｔ＋Δｔにカメラ５が撮像して取得した画像を補正した画像である。
【００４１】
次いで、画像処理装置は２つの補正後の画像を基に、時刻ｔの画像に写された対象物の時刻ｔ＋Δｔの画像での移動先を探索することによって、対象物の移動方向及び移動量を動きベクトルとして取得するようにしてある。動きベクトルの取得は画像中の全画素について行ってもよいが、時刻ｔの画像からいくつかの注目画素を抽出し、抽出した注目画素についてのみ動きベクトルの取得を行ってもよい。時刻ｔ及び時刻ｔ＋Δｔの２つの画像から複数の動きベクトルを取得することができ、この動きベクトルが所謂オプティカルフローである。図５が時刻ｔ＋Δｔの画像に複数の動きベクトルを重ねて図示した画像である。
【００４２】
なお、画像に写された対象物の移動先の探索方法は既知の技術であるため詳細については省略するが、時刻ｔの画像から注目画素を抽出して、この注目画素を中心とした所定の大きさの画像領域を抽出し、時刻ｔ＋Δｔの画像にて同じ大きさの画像領域毎に画像領域の同一性を調べることで行うようにしてある。画像領域の同一性は、例えば、画像領域に含まれる各画素の輝度値の差の総和を算出することで調べることができる。
【００４３】
時刻ｔの画像及び時刻ｔ＋Δｔの画像を基に動きベクトルを取得した後、画像処理装置は動きベクトルのパターンを調べることによって、車両１が移動したか否かを判定するようにしてある。車両１が前進した場合、前方を撮像するカメラ５では画像に写された全対象物が車両１に近づくため、図５に示すように、画像全体の動きベクトルが、画像の１点（消失点）を中心に放射状に拡散するパターンとなる。これに対して、例えば車両１の前方を人が移動した場合（図示は省略する）には、画像中の人が写された部分に関してのみ人の移動方向に動きベクトルが存在し、その他の部分には動きベクトルが存在しない。よって、本発明に係る画像処理装置では、取得した動きベクトルが消失点を中心に放射状に拡散する場合に、車両１が移動（前進）したと判定するようにしてある。
【００４４】
なお、図示は省略するが車両１が後退した場合には、動きベクトルが消失点へ向けて収束するパターンとなるため、これを判定することができる。また、車両１の後方を撮像するカメラ６に関しても同様であり、車両１が前進した場合には動きベクトルが消失点へ向けて収束し、車両１が後退した場合には動きベクトルが消失点を中心に放射状に拡散するため、これを判定することができる。
【００４５】
図６及び図７は、一のカメラが撮像して取得した画像から車両１の移動を判定する方法を説明するための模式図であり、一例として車両１の右側方を撮像するカメラ８の場合を図示してある。ただし、図６にはカメラ８が撮像して取得した画像の端部の歪みを補正した後の画像を図示してあり、補正前の画像については図示を省略してある。
【００４６】
本発明に係る画像処理装置は、右側方を撮像するカメラ８についても前方を撮像するカメラ５と同様に、時刻ｔに取得して補正した画像（図６（ａ）参照）と、時刻ｔ＋Δｔに取得して補正した画像（図６（ｂ）参照）とを基に、動きベクトルを取得して（図７参照）、車両１が移動したか否かを判定するようにしてある。車両１が前進した場合には、図７に示すように、画像全体の動きベクトルが車両１の進行方向、即ち画像の左から右へ向かう略平行なパターン（無限遠点の消失点へ収束するパターン）となる。また、車両１が後退した場合には画像全体の動きベクトルが車両１の後退方向、即ち画像の右から左へ向かう略平行なパターンとなる。よって、画像処理装置は、カメラ８が撮像して取得した画像に関しては、動きベクトルがこのような略平行なパターンであるか否かによって、車両１が移動したか否かを判定することができる。
【００４７】
なお、図示は省略するが、車両１の左側方を撮像するカメラ７に関しても同様であり、車両１が前進した場合には動きベクトルが画像の右から左へ向かう略平行なパターンとなり、車両１が後退した場合には動きベクトルは画像の左から右へ向かう略平行なパターンとなるため、これを判定することができる。
【００４８】
また、車両１が旋回移動する場合であっても、２つの画像の時間間隔Δｔが微小な時間であれば、車両１の旋回移動を前進又は後退移動で近似することができるため、上述の方法と同じ方法で車両１の移動を判定することが可能である。なお、車両の前方又は後方を撮像するカメラ５、６に関しては、ステアリングの舵角に応じて消失点が左右に移動し、移動した消失点から動きベクトルが放射状に拡散又は収束するため、舵角に応じて判定を行うことが可能である。
【００４９】
このように、本発明に係る画像処理装置は４つのカメラ５〜８が撮像して取得した画像を基に、車両１の前後左右の各方向について車両１が移動したか否かの判定を行うようにしてある。もし、１つのカメラが撮像して取得した画像のみから判定を行う場合、例えば車両１の前方を撮像するカメラ５が撮像して取得した画像のみから判定を行う場合に、カメラ５へ向かって他車両が近づいたときの動きベクトルは放射状に拡散するため、車両１が移動したと誤判定する可能性がある。そこで、本発明に係る画像処理装置では、４つのカメラ５〜８についてそれぞれ行った判定の結果を集計し、全てのカメラ５〜８にて車両１が移動したと判定された場合にのみ、最終的に車両１の移動を検出するようにしてある。よって、４つのカメラ５〜８のいずれかで誤判定が発生した場合であっても、最終的な検出結果に影響を与えることがないため、車両１の移動をより正確に検出することが可能である。
【００５０】
また、本発明に係る画像処理装置は、上述の方法にて車両１の移動を検出しなかった場合には車両１が停車していると判断し、車両１の停車中にカメラ５〜８にて人又は他車両等の移動物体が撮像された場合には、この画像を液晶ディスプレイ２０に表示して、運転者に警告を与えるようにしてある。カメラ５〜８に移動物体が撮像されたか否かは、上述と同様の方法で動きベクトルを取得することで判断することが可能である。
【００５１】
図８は、本発明に係る画像処理装置が行う車両周辺の移動物体表示処理の手順を示すフローチャートであり、ＣＰＵ１５がＲＯＭ１４に予め記憶された制御プログラムを読み出して実行し、画像処理部１１を制御することによって行う処理である。まず、画像処理装置はカメラ５〜８により車両１の周辺の撮像を行い（ステップＳ１）、図３及び図４に示すように、取得した画像の端部の歪みを補正する画像補正を行って（ステップＳ２）、補正後の画像を画像メモリ１２に記憶する（ステップＳ３）。
【００５２】
次いで、図示しない車速センサから車両１の車速を取得し（ステップＳ４）、車両１が移動中であるか否かを調べる（ステップＳ５）。車両１が移動中の場合（Ｓ５：ＹＥＳ）、ステップＳ１へ戻り、車両１が停車するまでカメラ５〜８による撮像を繰り返し行う。車両１が移動中でない場合、即ち停車中の場合（Ｓ５：ＮＯ）、カメラ５〜８が撮像して取得した画像を基に車両１の移動を検出する車両移動検出処理を行う（ステップＳ６）。
【００５３】
図９及び図１０は、本発明に係る画像処理装置が行う車両移動検出処理の手順を示すフローチャートであり、図８に示すフローチャートのステップＳ６にて行う処理である。車両移動検出処理では、まず、４つのカメラ５〜８のうちの一のカメラを処理対象のカメラとして選択する（ステップＳ２１）。選択したカメラにて撮像した最新の画像（時刻ｔ＋Δｔの画像）を画像メモリ１２から読出し（ステップＳ２２）、所定時間Δｔ前の画像（時刻ｔの画像）を画像メモリ１２から読み出して（ステップＳ２３）、読み出した２つの画像を基に、上述の方法で動きベクトルを取得する（ステップＳ２４）。
【００５４】
次いで、ステップＳ２１にて選択した処理対象のカメラが左側方を撮像するカメラ７又は右側方を撮像するカメラ８の側方用のカメラであるか否かを調べる（ステップＳ２５）。側方用のカメラでない場合、即ち前方を撮像するカメラ５又は後方を撮像するカメラ６の場合（Ｓ２５：ＮＯ）、ステップＳ２４にて取得した動きベクトルが消失点から放射状に拡散するパターンであるか否かを調べ（ステップＳ２６）、消失点から放射状に拡散するパターンの場合（Ｓ２６：ＹＥＳ）、このカメラで撮像して取得した画像からは車両１が移動していると判定する（ステップＳ２９）。
【００５５】
また、動きベクトルが消失点から放射状に拡散するパターンでない場合（Ｓ２６：ＮＯ）、更に動きベクトルが消失点へ収束するパターンであるか否かを調べる（ステップＳ２７）。動きベクトルが消失点へ収束するパターンである場合（Ｓ２７：ＹＥＳ）、このカメラで撮像して取得した画像からは車両１が移動していると判定する（ステップＳ２９）。動きベクトルが消失点へ収束するパターンでない場合（Ｓ２７：ＮＯ）、このカメラで撮像して取得した画像からは車両１が停車していると判定する（ステップＳ３０）。
【００５６】
また、処理対象として選択したカメラが側方用のカメラの場合（Ｓ２５：ＹＥＳ）、ステップＳ２４にて取得した動きベクトルが車両１の進行方向又は後退方向、即ち画像の左又は右方向へ向かう平行なパターンであるか否かを調べる（ステップＳ２８）。動きベクトルが平行なパターンである場合（Ｓ２８：ＹＥＳ）、このカメラで撮像して取得した画像からは車両１が移動していると判定する（ステップＳ２９）。動きベクトルが平行なパターンでない場合（Ｓ２８：ＮＯ）、このカメラで撮像して取得した画像からは車両１が停車していると判定する（ステップＳ３０）。
【００５７】
ステップＳ２９又はＳ３０にて、車両１の移動又は停車を判定した後、４つのカメラ５〜８の全てについて判定を終了したか否かを調べる（ステップＳ３１）。全てのカメラ５〜８の判定を終了していない場合（Ｓ３１：ＮＯ）、ステップＳ２１へ戻り、未選択のカメラを処理対象のカメラとして選択し、上述の判定を全てのカメラ５〜８について行う。全てのカメラ５〜８について判定を終了した場合（Ｓ３１：ＹＥＳ）、全てのカメラ５〜８にて、ステップＳ２９の移動判定がなされたか否かを調べる（ステップＳ３２）。全てのカメラ５〜８にて移動判定がなされた場合（Ｓ３２：ＹＥＳ）、車両１の移動を検出して（ステップＳ３３）、車両移動検出処理を終了し、図８に示すフローチャートへ戻る。全てのカメラ５〜８にて移動判定がなされていない場合、即ち少なくともいずれか１つのカメラにてステップＳ３０の停車判定がなされた場合（Ｓ３２：ＮＯ）、車両１の移動を検出せずに、車両１周辺の物体が移動していると検出して（ステップＳ３４）、車両移動検出処理を終了し、図８に示すフローチャートへ戻る。
【００５８】
車両移動検出処理の終了後、検出結果から車両１が移動中であるか否かを調べる（ステップＳ７）。車両１が移動中の場合（Ｓ７：ＹＥＳ）、ステップＳ１へ戻り、車両１が停車するまでカメラ５〜８による撮像を繰り返し行う。車両１が移動中でない場合、即ち停車中の場合（Ｓ７：ＮＯ）、カメラ５〜８が撮像して取得した画像から、車両１の周辺に人又は他車両等の移動物体が存在するか否かを調べる（ステップＳ８）。車両１の周辺に移動物体が存在するか否かは、ステップＳ６の車両移動検出処理にて取得した動きベクトルを基に調べることが可能である。車両１の周辺に移動物体が存在する場合（Ｓ８：ＹＥＳ）、４つのカメラ５〜８からこの移動物体を撮像したカメラを選択し（ステップＳ９）、選択したカメラが撮像して取得した画像を液晶ディスプレイ２０に表示する（ステップＳ１０）。このとき、車両１の周辺に移動物体が複数存在し、移動物体を撮像したカメラが複数存在する場合には、複数のカメラが撮像して取得した画像を液晶ディスプレイ２０に分割表示してもよく、予め定められた優先順位に基づいて一のカメラを選択して表示を行ってもよい。また、車両１の周辺に移動物体が存在しない場合（Ｓ８：ＮＯ）、又はステップＳ１０にて画像表示を行った後、運転者から移動物体表示処理の終了指示が与えられたか否かを調べ（ステップＳ１１）、終了指示が与えられていない場合には（Ｓ１１：ＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返し行い、終了指示が与えられた場合には（Ｓ１１：ＹＥＳ）、画像処理装置は移動物体表示処理を終了する。
【００５９】
以上の構成の画像処理装置においては、４つのカメラ５〜８にて撮像して取得した画像から動きベクトルをそれぞれ取得し、動きベクトルに基づいて車両１が移動したか否かをカメラ５〜８毎にそれぞれ判定し、全てのカメラ５〜８にて車両１の移動判定がなされた場合にのみ、最終的な車両１の移動を検出する構成とすることにより、車両１の移動検出をより高精度に行うことができ、車両１が停車しているときに確実に液晶ディスプレイ２０への移動物体の表示を行うことができる。また、車両１の前方を撮像するカメラ５及び後方を撮像するカメラ６については、取得した動きベクトルが消失点から放射状に拡散するパターン、又は消失点へ収束するパターンの場合に車両１が移動していると判定する構成とすることにより、車両１が前進又は後退した場合に確実に車両１の移動を判定することができる。また、車両１の左側方を撮像するカメラ７及び右側方を撮像するカメラ８については、取得した動きベクトルが車両１の進行方向又は後退方向、即ち画像の右又は左へ向かう平行なパターンの場合に車両１が移動していると判定する構成とすることにより、車両１が前進又は後退した場合に確実に車両１の移動を判定することができる。
【００６０】
なお、本実施の形態においては、車両１に４つのカメラ５〜８を搭載する構成としたが、これに限るものではなく、少なくとも２つ以上のカメラを搭載していればよい。また、各カメラ５〜８が時刻ｔ及び時刻ｔ＋Δｔにて撮像して取得した２つの画像から動きベクトルを取得して判定を行う構成としたが、これに限るものではなく、２つの画像に変化があるか否かのみを判定し、全てのカメラ５〜８について２つの画像に変化がある場合に、車両１が移動していると検出する構成としてもよい。また、カメラ５〜８は１８０°又はそれ以上の画角を有するカメラとしたが、これに限るものではなく、画角が１８０°以内のカメラであってもよい。
【図面の簡単な説明】
【００６１】
【図１】本発明に係る画像処理装置を搭載した車両の構成を示す模式的平面図である。
【図２】本発明に係る画像処理装置の構成を示すブロック図である。
【図３】一のカメラが撮像して取得した画像から車両の移動を判定する方法を説明するための模式図である。
【図４】一のカメラが撮像して取得した画像から車両の移動を判定する方法を説明するための模式図である。
【図５】一のカメラが撮像して取得した画像から車両の移動を判定する方法を説明するための模式図である。
【図６】一のカメラが撮像して取得した画像から車両の移動を判定する方法を説明するための模式図である。
【図７】一のカメラが撮像して取得した画像から車両の移動を判定する方法を説明するための模式図である。
【図８】本発明に係る画像処理装置が行う車両周辺の移動物体表示処理の手順を示すフローチャートである。
【図９】本発明に係る画像処理装置が行う車両移動検出処理の手順を示すフローチャートである。
【図１０】本発明に係る画像処理装置が行う車両移動検出処理の手順を示すフローチャートである。
【符号の説明】
【００６２】
１  車両
５、６、７、８  カメラ（撮像手段）
９  撮像部
１０  ＥＣＵ（検出手段、取得手段、判定手段、補正手段、選択手段）
１１  画像処理部
１２  画像メモリ
１３  補正テーブル用メモリ
１４  ＲＯＭ
１５  ＣＰＵ
１６  ＲＡＭ
２０  液晶ディスプレイ（表示手段）
【図１】
2008042759.tif 000003
【図２】
2008042759.tif 000004
【図３】
2008042759.tif 000005
【図４】
2008042759.tif 000006
【図５】
2008042759.tif 000007
【図６】
2008042759.tif 000008
【図７】
2008042759.tif 000009
【図８】
2008042759.tif 000010
【図９】
2008042759.tif 000011
【図１０】
2008042759.tif 000012