(57)【要約】【課題】ピッチングの発生などによる視軸補正を精度良く行うことができる画像処理装置を提供する。【解決手段】車両に搭載され、車外を撮像する撮像手段であるカメラ１と、車両の走行状態を計測する車両挙動検出手段である車両センサ２と、カメラ１により撮像された画像中の特徴点を抽出する特徴点抽出手段と、特徴点のｘ座標変位量と、車両センサ２により検出された自車両移動量から、自車両の移動によるｙ座標変位量を算出するｙ座標変位量算出手段と、ｙ座標変位量算出手段により算出された自車両の移動によるｙ座標変位量と、特徴点のｙ座標変位量から、視軸変化によるｙ座標変位量を算出する視軸補正量算出手段と、視軸補正量算出手段により算出された視軸変化によるｙ座標変位量から視軸変化を補正する視軸変化補正手段とを有する。【選択図】　　図１
2004134919.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、車外を撮像する撮像手段と、
前記車両の走行状態を計測する車両挙動検出手段と、
前記撮像手段により撮像された画像中の特徴点を抽出する特徴点抽出手段と、
前記特徴点のｘ座標変位量と、前記車両挙動検出手段により検出された自車両移動量から、自車両の移動によるｙ座標変位量を算出するｙ座標変位量算出手段と、
前記ｙ座標変位量算出手段により算出された前記自車両の移動によるｙ座標変位量と、前記特徴点のｙ座標変位量から、視軸変化によるｙ座標変位量を算出する視軸補正量算出手段と、
前記視軸補正量算出手段により算出された前記視軸変化によるｙ座標変位量から視軸変化を補正する視軸変化補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記特徴点抽出手段において、画像中の縦エッジの最下点を特徴点として抽出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記車両挙動検出手段は、前記車両の車輪の直線走行に対する回転軸の角度を検知する装置を有し、
前記ｙ座標変位量算出手段において、自車両の回転によるｘ座標変位量補正を行うことを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に搭載され、車両近傍の障害物を検出する画像処理装置に関する。
【０００２】
【従来の技術】
【特許文献】特開２００１−８４４９７号公報（第３−５頁、図３、４）。
【０００３】
従来より、車両にセンサを搭載し、車両近傍の障害物を検出する障害物検出技術が開発されている。
特に、車載センサとして電子式のカメラを用いた装置の場合には、ピッチング（縦に揺れる動き）などの車両挙動により、カメラの視軸変化が生じた場合でも安定して検出できることが重要となる。
そこで、カメラで撮像した画像から画像処理により視軸変化量を算出し、補正する方法が多く研究されている。このように画像処理を用いて視軸補正を行う方法として、上記特許文献に記載されたものがある。
【０００４】
車載カメラで外界を撮影している場合、ピッチングなどによりカメラの視軸変化が発生すると、全対象物において同量のｙ座標位置変位が発生する。上記特許文献では、この特徴を用いることで、画像から複数の対象物を抽出し、該複数の対象物のｙ方向の位置の位置変位量の平均値によりピッチング量を補正するというものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特許文献に記載された従来の技術においては、対象物のｙ座標変位量を用いてピッチングなどの視軸補正を行うため、ピッチングなどの視軸変化によらないｙ座標の位置が変化した場合、視軸変化が発生したと誤って判断し、間違った視軸補正をしてしまうという問題があった。例えば、自車両の移動により、対象物までの距離が変化した場合は、対象物までの距離に応じたｙ座標位置変位が発生する。したがって、自車両が移動すると、ピッチングが発生していない場合でも、誤ってピッチング補正を行ってしまう。
【０００６】
本発明の目的は、ピッチングの発生などによる視軸補正を精度良く行うことができる画像処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、車外の撮像手段と、車両挙動検出手段と、撮像された画像中の特徴点抽出手段と、特徴点のｘ座標変位量と自車両移動量から自車両の移動によるｙ座標変位量を算出するｙ座標変位量算出手段と、算出された自車両の移動によるｙ座標変位量と、特徴点のｙ座標変位量から視軸変化によるｙ座標変位量を算出する視軸補正量算出手段と、算出された視軸変化によるｙ座標変位量から視軸変化を補正する視軸変化補正手段とを有することを特徴とする。
【０００８】
【発明の効果】
本発明によれば、ピッチングの発生などによる視軸補正を精度良く行うことができる画像処理装置を提供することができる。
【０００９】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の実施の形態の画像処理装置の構成を示すブロック図が示されている。
図１に示すように、電子式のカメラ１、車両センサ２、画像メモリ部３、マイコン４、ディスプレイ５、補正画像メモリ部６が接続されて、本実施の形態の画像処理装置が構成されている。
【００１０】
カメラ１は、車両前部に設置され、車両前方を撮像する。
車両センサ２は、車両の車輪の回転数を計測する。
画像メモリ部３は、カメラ１で撮像された画像をデジタル値に変換し、複数フレームの画像をデジタル画像として保持する。
マイコン４は、画像メモリ部３に保持されたデジタル画像と、車両センサ２から入力される車輪回転数を入力し、視軸変化に基づく画像補正を行い、視軸補正を行った画像を補正画像メモリ部６に出力する。
また、マイコン４は、補正画像メモリ部６に出力する画像をディスプレイ５にも出力する。
【００１１】
図２、図３には、本実施の形態の画像処理装置において、撮像手段であるカメラ１の画像に、車両挙動検出手段である車両センサ２の情報を用いることで、ピッチングの発生などによるカメラ１の視軸変化の影響を補正する基本原理が示されている。
【００１２】
図２は、対象物のｘ座標位置と、自車両挙動から、自車両と対象物との実空間における位置関係を算出する方法を示す図である。
図２（ａ）は、上方から見たカメラ１（図１）の撮像素子面７と対象物１１との関係を示す。８はｘ方向の撮像素子面サイズ、９はカメラ１の視軸、１０はカメラ１の焦点距離である。
【００１３】
（ｂ）は、（ａ）で撮像した撮影画像１２における対象物１１とｘ座標との関係を示す。１３はｘ方向の画像サイズ、１４はｘ方向の画像中心位置、Ｐｘはｘ方向の画像中心位置１４から対象物１１（の中心）までのｘ座標位置である。
【００１４】
（ｃ）は、上方から見た実空間における自車両１５と対象物１１との位置関係を示す。１６は自車両移動距離、１７は自車両１４と対象物１１との位置関係における縦位置、１８は横位置、ｔ１、ｔ２は時刻であり、ｔ２は時刻ｔ１＋Δｔの時刻、θｘは対象物１１の実空間における視軸９からの方位角、θｘ（ｔ１）は時刻ｔ１における方位角、θｘ（ｔ２）は時刻ｔ２における方位角である。
【００１５】
（ｄ）は、（ｃ）に示す時刻ｔ１における撮影画像１９を示す。Ｐｘ（ｔ１）は時刻ｔ１における画像中心位置１３から対象物１１までのｘ座標位置である。
【００１６】
（ｅ）は、（ｃ）に示す時刻ｔ２（＝ｔ１＋Δｔ）における撮影画像２０を示す。Ｐｘ（ｔ２）は時刻ｔ２における画像中心位置１４から対象物１１までのｘ座標位置である。
【００１７】
図２（ａ）、（ｂ）から、撮像素子面サイズ８、焦点距離１０および画像サイズ１３が既知であるため、画像中心位置１４から対象物１１までのｘ座標位置Ｐｘを用いて、対象物１１の実空間における視軸９からの方位角θｘが一意に決まることがわかる。
【００１８】
すなわち、θｘ＝ｆ（Ｐｘ）
したがって、（ｄ）、（ｅ）に示されたＰｘ（ｔ１）およびＰｘ（ｔ２）から、（ｃ）に示すθｘ（ｔ１）およびθｘ（ｔ２）が算出できる。このことから、（ｃ）に示すように、車両センサ２（図１）を用いて計測した自車両１５の移動量と、時刻ｔ１およびｔ２におけるｘ座標位置Ｐｘから算出された方位角θｘ（ｔ１）およびθｘ（ｔ２）は既知となり、幾何学的に対象物１１の実空間における位置が算出される。
【００１９】
図３は、自車両１４と対象物１１の空間的位置配置と自車両挙動から自車両１４が移動することによって生じる対象物１４のｙ座標変位量を算出する方法を示す図である。
【００２０】
図３（ａ）は、側方から見たカメラ１（図１）の撮像素子面７と対象物１１との関係を示す。２１はｙ方向の撮像素子面サイズである。
【００２１】
（ｂ）は、（ａ）で撮像した撮影画像２２における対象物１１とｙ座標との関係を示す。２３はｙ方向の画像サイズ、Ｐｙはｙ方向の画像中心位置２４から対象物１１（の中心）までのｙ座標位置である。
【００２２】
（ｃ）は、側方から見た実空間における自車両１４および対象物１１との位置関係を示す。θｙは対象物１１の実空間における視軸９からの仰角、θｙ（ｔ１）は時刻ｔ１における仰角、θｙ（ｔ２）は時刻ｔ２における仰角である。
【００２３】
（ｄ）は、（ｃ）に示す時刻ｔ１における撮影画像２５を示す。Ｐｙ（ｔ１）は時刻ｔ１における画像中心位置２３から対象物１１までのｙ座標位置である。
【００２４】
（ｅ）は、（ｃ）に示す時刻ｔ２（＝ｔ１＋Δｔ）における撮影画像２６を示す。Ｐｙ（ｔ２）は時刻ｔ２における画像中心位置２３から対象物１１までのｙ座標位置である。
【００２５】
図３（ａ）、（ｂ）から、撮像素子面サイズ２１、焦点距離１０および画像サイズ２３が既知であるため、画像中心位置２４から対象物１１までのｙ座標位置Ｐｙを用いて、対象物１１の実空間における視軸９からの仰角θｙが一意に決まることがわかる。
【００２６】
すなわち、θｙ＝ｇ（Ｐｙ）
したがって、（ｄ）、（ｅ）に示されたＰｙ（ｔ１）およびＰｙ（ｔ２）から、（ｃ）に示すθｙ（ｔ１）およびθｙ（ｔ２）が算出できる。このことから、（ｃ）に示すように、車両センサ２（図１）を用いて計測した自車両１５の移動量と、時刻ｔ１およびｔ２におけるｙ座標位置Ｐｙから算出された仰角θｙ（ｔ１）およびθｙ（ｔ２）は既知となり、さらに前述した手法で算出した対象物１１までの縦位置１７を加えることで、幾何学的に自車両１５の移動のみによるｙ座標変位量が算出できる。
【００２７】
すなわち、画像中から抽出された特徴点のｘ座標変位量と、自車両１５の移動量から自車両１５の移動によるｙ座標変位量がわかる。そこで、特徴点のｙ座標変位量の発生要因である自車両移動と、視軸変化の一方の影響がわかるため、視軸変化によるｙ座標変位量が算出でき、視軸補正が可能となる。
【００２８】
すなわち、視軸変化によるｙ座標変位量＝全ｙ座標変位量―自車両移動によるｙ座標変位量
図４に、以上述べた基本原理に従って、ピッチングなどが生じた場合に、視軸補正を実施する処理フローを示す。
【００２９】
Ｓ１００は、カメラ１（図１）で撮像し、入力画像メモリ部３に保持されている（デジタル）画像情報を、マイコン４に取り込む処理である。
【００３０】
Ｓ１０１は、Ｓ１００で取り込んだ画像情報にマイコン４により画像処理フィルタ処理を行い、縦エッジ画像を算出する処理である。
【００３１】
Ｓ１０２は、Ｓ１０１で算出された縦エッジ画像において、輝度値が一定値以上で、かつ、長さが一定値以上の縦エッジの最下点をマイコン４により特徴点として抽出する処理である。
【００３２】
Ｓ１０３は、Ｓ１０２により抽出された特徴点について、連続するフレーム間で、距離を基準に時間的に異なる画像から同一の特徴点をマイコン４により同定処理する処理である。
【００３３】
Ｓ１０４は、車両センサ２から各４輪の車輪速をマイコン４に入力する処理である。
【００３４】
Ｓ１０５は、Ｓ１０４により入力された車輪速情報から車両移動量と車両回転角をマイコン４により算出する処理である。
【００３５】
Ｓ１０６は、Ｓ１０５より算出された車両移動量、回転角を用い、Ｓ１０２で抽出された各特徴点の位置をマイコン４により算出する処理である。
【００３６】
Ｓ１０７は、Ｓ１０２で抽出された全特徴点において、一定以上のフレームの間検出され、空間位置が特定されたものを観測点としてマイコン４により抽出する処理である。
【００３７】
Ｓ１０８は、Ｓ１０７で抽出された全観測点に対し、自車両の移動によるｙ座標変位量を算出し、それを引くことでピッチングによるｙ座標変位量をマイコン４により算出し、その値の平均値を視軸補正量とする処理である。
【００３８】
Ｓ１０９は、Ｓ１０８で算出された視軸補正量を用い、画面位置を上下に移動させ、カメラ視軸変化に対する補正をマイコン４により実施する処理である。
【００３９】
以上のように、本実施の形態では、車両に搭載され、車外を撮像する撮像手段であるカメラ１と、車両の走行状態を計測する車両挙動検出手段である車両センサ２と、カメラ１により撮像された画像中の特徴点を抽出する特徴点抽出手段と、特徴点のｘ座標変位量と、車両センサ２により検出された自車両移動量から、自車両の移動によるｙ座標変位量を算出するｙ座標変位量算出手段と、ｙ座標変位量算出手段により算出された自車両の移動によるｙ座標変位量と、特徴点のｙ座標変位量から、視軸変化によるｙ座標変位量を算出する視軸補正量算出手段と、視軸補正量算出手段により算出された視軸変化によるｙ座標変位量から視軸変化を補正する視軸変化補正手段とを有する。このような構成により、画像上のｘ座標変位量と自車両移動量に着目することで、自車両が移動することによる座標変位量が計測できるため、ｙ座標変位量の視軸変化によるものと自車両の移動によるものとの分離ができ、自車両が近接することによりｙ座標変位が発生した場合でも精度よくピッチングの発生などによる視軸補正が可能となる。なお、請求項１の特徴点抽出手段は、図１のマイコン４と図４のＳ１０２に対応し、ｙ座標変位量算出手段は、図１のマイコン４と図４のＳ１０８に対応し、視軸補正量算出手段は、図１のマイコン４と図４のＳ１０８に対応し、視軸変化補正手段は、図１のマイコン４と図４のＳ１０９に対応する。
【００４０】
また、特徴点抽出手段において、画像中の縦エッジの最下点を特徴点として抽出する。このような構成により、画像フィルタ演算により算出された縦エッジ情報を用いて視軸補正するため、画像処理演算の前段で補正することができ、対象物を検出対象がない場合や検出できていない場合でも視軸補正が可能となる。
【００４１】
また、車両挙動検出手段は、車両の車輪の直線走行に対する回転軸の角度を検知する装置、例えばステアリング角度検知装置を有し、ｙ座標変位量算出手段において、自車両の回転によるｘ座標変位量補正を行う。このような構成により、自車両の回転挙動、すなわち、回転位置変位量を用いてｘ座標変位量を補正するため、自車両が曲線路を走行している場合でも視軸補正が可能となる。
【００４２】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態の画像処理装置の基本原理を示す図である。
【図３】本発明の実施の形態の画像処理装置の基本原理を示す図である。
【図４】本発明の実施の形態の画像処理装置の動作の流れを示すフローチャートである。
【符号の説明】
１…カメラ
２…車両センサ
３…入力画像メモリ部
４…マイコン
５…ディスプレイ
６…補正画像メモリ部
７…撮像素子面
８…撮像素子面サイズ
９…視軸
１０…焦点距離
１１…対象物
１２…撮影画像
１３…画像サイズ
１４…画像中心位置
１５…自車両
１６…自車両移動距離
１７…縦位置
１８…横位置
１９…撮影画像
２０…撮影画像
２１…撮像素子面サイズ
２２…撮影画像
２３…画像サイズ
２４…画像中心位置
２５…撮影画像
２６…撮影画像
【図１】
2004134919.tif 000003
【図２】
2004134919.tif 000004
【図３】
2004134919.tif 000005
【図４】
2004134919.tif 000006