(57)【要約】  車両に備えられた撮像部の撮像角度をより少ない演算負荷で推定する。車両（１）に備えられる車載用画像認識装置は、車両（１）周辺の走路を撮像するカメラ（１０）の撮像画像から車両（１）が走行する走行レーンのレーン形状を認識する。また、認識したレーン形状からカメラ（１０）の撮像角度を求める。そして、認識したレーン形状に対する偏りの有無を判定し、偏りが無いと判定された時の撮像角度を用いてカメラ（１０）の撮像角度を補正する。また、偏りが無いと判定された時の撮像角度の標準偏差を算出し、この算出した標準偏差に応じてカメラ（１０）の撮像角度を補正する。また、車両（１）の速度と操舵角を検出して車両（１）の挙動を認識し、この車両（１）の挙動に対する偏りの有無を判定することで、カメラ（１０）の撮像角度を補正する。
2012172713.tif 000002
【特許請求の範囲】
【請求項１】
前記車両周辺を撮像する撮像部と、
前記撮像部が撮像した撮像画像に基づき前記車両が走行する走行レーンのレーン形状を認識するレーン形状認識部と、
自車両が走行路と平行に走行していることを判定する平行走行判定部と、
前記レーン形状認識部が認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りを判定する交点偏り判定部と、
前記交点偏り判定部において前記交点の偏りが予め設定した閾値以下と判定したときに直線路と判定する直線路判定部と、
を備えることを特徴とする道路形状判定装置。
【請求項２】
請求項１に記載の道路形状判定装置と、
前記道路形状判定装置が直進路と判定したときに、前記撮像部の撮像角度を補正する撮像角度補正部と、
を備えることを特徴とする車載用画像認識装置。
【請求項３】
前記レーン形状認識部が認識したレーン形状から前記撮像部の撮像角度を求める撮像角度導出部を更に備え、
前記撮像角度補正部は、前記道路形状判定装置が直進路と判定したときの前記撮像角度導出部が求めた撮像角度を用いて前記撮像部の撮像角度を補正する請求項２に記載の車載用画像認識装置。
【請求項４】
前記交点偏り判定部において交点の偏りが予め設定した閾値以下と判定されたときの前記撮像角度導出部が求めた前記撮像角度の標準偏差を算出する標準偏差算出部をさらに備え、
前記撮像角度補正部は、前記標準偏差算出部が算出した標準偏差に応じて前記撮像部の撮像角度を補正することを特徴とする請求項３に記載の車載用画像認識装置。
【請求項５】
前記標準偏差算出部が算出した標準偏差が予め定められた値未満である場合には、前記撮像角度の補正を終了させることを特徴とする請求項４に記載の車載用画像認識装置。
【請求項６】
前記レーン形状認識部で認識される道路曲率を用いて認識したレーン形状に対する偏りから走行路の形状を判定する認識偏り判定部を更に備え、
前記撮像角度補正部は、前記交点偏り判定部において前記交点の偏りが予め設定した閾値以下と判定し、且つ前記認識偏り判定部において直進路と判定したときに、前記撮像部の撮像角度を補正することを特徴とする請求項２から５のいずれか一項に記載の車載用画像認識装置。
【請求項７】
前記認識偏り判定部は、前記レーン形状認識部が認識したレーン形状に対する偏りの絶対値が予め定められた閾値よりも小さく、かつ、前記偏りの総和が前記閾値よりも小さい場合に直進路と判定することを特徴とする請求項６に記載の車載用画像認識装置。
【請求項８】
前記車両の車速を検出する車速検出部と、
前記車両の操舵角を検出する操舵角検出部と、
前記車速検出部が検出した車速と、前記操舵角検出部が検出した操舵角から、車両の挙動を認識する車両挙動認識部と、を更に有し、
前記撮像角度補正部は、更に、前記車両挙動認識部が認識した車両の挙動に対する偏りが予め設定した設定閾値以下と判定したときに、前記撮像部の撮像角度を補正することを特徴とする請求項２から７のいずれか一項に記載の車載用画像認識装置。
【請求項９】
前記車両挙動認識部にて認識された前記車両の挙動は、前記車両の車幅方向の並進挙動に関する情報であることを特徴とする請求項８に記載の車載用画像認識装置。
【請求項１０】
前記車両挙動認識部にて認識された前記車両の挙動は、前記車両の車幅方向の回転挙動に関する情報であることを特徴とする請求項８に記載の車載用画像認識装置。
【請求項１１】
前記車両挙動認識部は、前記レーン形状認識部にて認識された前記走行レーンに対する前記車両の車幅方向の位置もしくはヨー角度の時間変化から前記車両の挙動を認識することを特徴とする請求項８に記載の車載用画像認識装置。
【請求項１２】
車両に備えられた撮像部の撮像軸を自動調整する撮像軸調整装置であって、
道路曲率に関するパラメータを検出するパラメータ検出部と、
前記道路曲率に関するパラメータの値が、予め定められた範囲以内に収束していることを判定する収束判定部と、
前記収束判定部が判定した時点から所定時間内のパラメータ値を積算する積算部と、
前記積算部が積算した積算値が、予め定められた値以内であることを判定することで、前記車両の直線走行状態を判定する直線走行状態判定部と、
前記直線走行状態判定部が直線走行状態であると判定した場合には、エーミング処理を行なうエーミング実行部と、
を備えることを特徴とする撮像軸調整装置。
【請求項１３】
車両に備えられた撮像部で前記車両周辺を撮像し、その撮像した撮像画像から前記車両が走行する走行レーンのレーン形状を認識し、その認識したレーン形状から前記撮像部の撮像角度を求め、
前記認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りが、予め設定した閾値以下と判定したときの前記検出した撮像角度を用いて前記撮像部の撮像角度を補正することを特徴とするレーン認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されるカメラによって車両が走行するレーン形状などを認識する技術に関する。
【背景技術】
【０００２】
特許文献１に記載の白線認識装置では、カメラで撮像した結果から、車両が走行している走行レーンにおける左右のレーンマーカを画像認識する。そして、認識した左右のレーンマーカからその延長線の交点を求め、それを集めて平均化することでカメラ取付け角度誤差を求める。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２４２８９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の白線認識技術では、車両挙動（ヨーレートや横速度など）や道路形状（曲率など）の変化はカメラの撮像角度を求める際の誤差要因となる場合が多い。よって、特許文献１の白線認識技術では、これらの誤差要因による影響を低減するためには車両挙動や道路形状の変化が起こり難い直線路を多く走行する必要がある。しかし、一般的な高速道路では、直線路のようでも実際には緩い曲率を有する場合が多いことから、長距離を走行して大量のデータを集める必要がある。【０００５】
また、この場合、大量のデータを演算するため、車載用のプロセッサにとってはリアルタイム処理を行う為に演算負荷がかかるといった問題が生じる。
本発明は、上記課題に鑑みてなされたものであり、車両に備えられた撮像部の撮像角度をより少ない演算負荷で直進路か否かを判定することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一態様は、車両に備えられた撮像部で前記車両周辺を撮像し、その撮像画像から前記車両が走行する走行レーンのレーン形状を認識する。また、本発明の一態様は、前記認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りが、予め設定した閾値以下と判定すると直線路と判定する。
【発明の効果】
【０００７】
本発明によれば、より少ない演算負荷で直線路の判定をすることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る車載用画像認識装置を搭載した車両の一例を示す図である。
【図２】本発明の第１実施形態に係る車載用画像認識装置の構成の一例を示す機能ブロック図である。
【図３】レーン形状認識部１０２の構成の一例を示す機能ブロック図である。
【図４】レーン形状認識部１０２における処理の概念を示す模式図である。
【図５】近傍領域と遠方領域とを区分してレーン認識処理を行う場合の概念を示す模式図である。
【図６】本発明の第１実施形態に係る車載用画像認識装置における処理の一例を示すフロー図である。
【図７】本発明の第２実施形態に係る車載用画像認識装置の構成の一例を示す機能ブロック図である。
【図８】本発明の第２実施形態に係る車載用画像認識装置における処理の一例を示すフロー図である。
【図９】本発明の第３実施形態に係る車載用画像認識装置の構成の一例を示す機能ブロック図である。
【図１０】本発明の第３実施形態に係る車載用画像認識装置における処理の一例を示すフロー図である。
【図１１】本発明の第３実施形態に係る車載用画像認識装置の効果を説明する図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示す。
（第１実施形態）
（車載用画像認識装置の構成）
図１は、本実施形態に係る車載用画像認識装置を搭載した車両の一例を示す図である。本実施形態に係る車載用画像認識装置は、車両に備えられ、車載カメラが撮像した画像から車両が走行するレーン認識を行うための装置である。車両１は、画像処理装置１０ａを内蔵するカメラ１０と、車速検出装置２０と、操舵角検出装置３０と、操舵角制御装置４０と、操舵角アクチュエータ５０とを備える。
【００１０】
カメラ１０は、車両１前方の画像を撮影する。
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたデジタルカメラである。より具体的には、カメラ１０は、高速に撮像するプログレッシブスキャン式の３ＣＭＯＳカメラである。
【００１１】
なお、カメラ１０は、例えば、車両１の室内における天井の前方中央部に車両１の前方を撮像するように設置してあり、フロントガラスを通して車両１の前方の走行路を撮像するようになっている。ただし、このような設置態様の他、自車両１の走行路を撮像するカメラであれば、他の設置態様とすることができる。例えば、バックビューカメラのように車両１の後方にカメラ１０を取り付けることや、バンパ等の車両１の前端に取り付けることもでき、またカメラ１０の視野内に消失点が映らない設置態様とすることもできる。いずれの場合においても、レーンマーカのエッジの検出および近似直線の算出を行うことにより、仮想消失点を算出することができる。
【００１２】
また、画像処理装置１０ａは、本実施形態に係るレーン認識処理が実行する装置である。つまり、図１の画像処理装置１０ａを内蔵するカメラ１０は、本実施形態に係る車載用画像認識装置に該当する。
画像処理装置１０ａ、車速検出装置２０、および操舵角検出装置３０から出力される情報は操舵角制御装置４０へ入力される。そして、操舵角制御装置４０は、目標とする操舵を実現するための信号を操舵角アクチュエータ５０へ出力する。
【００１３】
また、カメラ１０や操舵角制御装置４０は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。以上のようなハードウェア構成によって、本実施形態に係るレーン認識処理が実現される。
画像処理装置１０ａを内蔵するカメラ１０は、機能的には、図２に示すように、撮像部１０１、レーン形状認識部１０２、車両挙動認識部１０３、撮像角度導出部１０４、情報偏り判定部１０５、撮像角度補正部１０６を備える。
【００１４】
撮像部１０１は、車両１の周辺を撮像する。
レーン形状認識部１０２は、撮像部１０１の撮像した撮像画像から車両１が走行する走行レーンのレーン形状を認識する。走行レーンの検出方法としては、例えば、特開２００４−２５２８２７号公報に記載されている公知の方法を採用すればよい。また、走行レーンの形状や車両１の位置や姿勢などの算出方法としては、例えば、特開２００４−３１８６１８号公報に記載されている公知の方法を採用すればよい。
【００１５】
また、レーン形状認識部１０２は、このようにして認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。例えば、以下のような方法によって、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。
すなわち、レーン形状認識部１０２は、撮像部１０１の撮影画像を解析し、車両１のヨー角Ｃ、車両１のピッチ角Ｄ、路面からの撮像部１０１の高さＨ、レーン中心からの横変位Ａおよび走行レーンの曲率Ｂを算出する演算装置を備えている。なお、レーン形状認識部１０２は、この演算装置によって算出した車両１のヨー角Ｃ、車線中心からの横変位Ａおよび走行車線の曲率Ｂを、操舵角制御装置４０に出力する。これにより、例えば車両１の自動操舵等が実現される。
【００１６】
図３は、レーン形状認識部１０２の構成例を示す図である。また、図４は、レーン形状認識部１０２における処理の概念を示す模式図である。
図３において、レーン形状認識部１０２は、白線候補点検出部２００と、レーン認識処理部３００と、光軸補正部４００とを含む。
白線候補点検出部２００は、撮像部１０１が撮影した画像データに基づいて、車線区分線となる白線の候補点を検出する。
【００１７】
白線候補点検出部２００では、図４に示すように、撮像部１０１から自車両１の走行路を撮像した画像を取得し、画像処理を行うことで白線エッジＥｄを検出する。本実施形態における画像処理では、取得した撮像画像の左右に位置する車線区分線（白線）に対し、後述する道路パラメータ（道路形状およびこの道路に対する車両姿勢）を基に画像処理枠Ｆの位置を設定する。次に、設定した画像処理枠Ｆに対して、例えばＳｏｂｅｌフィルタによる一次空間微分を施して、白線と路面との境界のエッジを強調した後、白線エッジＥｄを抽出する。
【００１８】
レーン認識処理部３００は、道路形状を直線近似する道路形状算出部３１０と、道路形状および道路に対する車両姿勢を推定する道路パラメータ推定部３２０とを含んでいる。
道路形状算出部３１０は、図４に示すように、白線候補点検出部２００によって抽出した白線エッジＥｄの強度が予め設定した閾値Ｅｄｔｈ以上の画素を、予め設定した画素数Ｐｔｈ以上通過し、かつ検出領域の上辺の１点と下辺の１点を結ぶ直線を、ハフ変換により抽出することにより道路形状の近似直線Ｒｆを算出する。本実施形態においては、撮影して得た道路の画像データを遠方と近傍と２つの領域に分けて、それぞれの領域で道路形状を直線近似する（図５参照）。
道路パラメータ推定部３２０は、道路形状算出部３１０によって検出した道路形状の近似直線Ｒｆから、次式（１）を用いて、道路モデル式として道路パラメータ（道路形状および道路に対する車両姿勢）を推定する。
【００１９】
【数１】
2012172713.tif 000003
【００２０】
ここで、（１）式におけるパラメータ、Ａ，Ｂ，Ｃ，Ｄ，Ｈは、道路パラメータ推定部３２０において推定する道路パラメータおよび車両状態量となる。そして、パラメータ、Ａ，Ｂ，Ｃ，Ｄ，Ｈは、それぞれ、車両１の車線に対する横変位（Ａ）、道路曲率（Ｂ）、自車両１の車線に対するヨー角（Ｃ）、車両１のピッチ角（Ｄ）、および路面からの撮像部１０１の高さ（Ｈ）である。
【００２１】
また、Ｗは車線幅（実際の道路上における左右白線内側間の距離）を示す定数、ｆはカメラ透視変換定数、ｊは左右の白線を区別するパラメータであり、左白線のときｊ＝０、右白線のときｊ＝１とする。また、（ｘ，ｙ）は、左または右白線の車線内側端部上の任意の点の道路画像上の座標であり、道路画像左上を原点に取り、右方向がｘ軸正方向、下方向がｙ軸正方向とする。
【００２２】
光軸補正部４００は、自車両１の走行路が直線路であることを判定する直線路判定部４１０と、自車両１が走行路と平行に走行していることを判定する平行走行判定部４２０と、道路形状の近似直線Ｒｆから仮想消失点を算出する仮想消失点算出部４３０とを含んでいる。
直線路判定部４１０は、道路形状算出部３１０によって算出した遠方と近傍の道路形状の近似直線Ｒｆについて、直線式の傾きと切片の値の一致度合いを比較することで、自車両１の走行路が直線路であるか否かを判定する。
【００２３】
平行走行判定部４２０は、道路パラメータ推定部３２０によって推定した自車両１の走行路に対する車両姿勢から、自車両１が走行路と平行に走行していることを判定する。具体的には、平行走行判定部４２０は、道路パラメータ推定部３２０によって推定した車両状態量の１つである車線に対する自車両１の横変位Ａを用いて、現在値と過去値との差分から自車両１の車線に対する横速度（横変位Ａの微分値）を算出する。そして、算出した横速度が予め設定した閾値以下である場合に、自車両１が走行路と平行に走行していると判定する。自車両１が走行路と平行に走行しているとは、走行路が直線路の場合には、自車両１が直進走行していることを示す。
【００２４】
仮想消失点算出部４３０は、直線路判定部４１０と平行走行判定部４２０とによる判定が、自車両１の走行路が直線路かつ、自車両１が自車両１の走行路と平行に走行している状態となっている場合に、道路形状の左右近似直線Ｒｆの交点を仮想消失点として算出する。
【００２５】
図５は、近傍領域と遠方領域とを区分してレーン認識処理を行う場合の概念を示す模式図である。なお、図５においては、比較的半径の大きい曲線路を例として示している。
図５に示すように、レーン形状認識部１０２は、撮像部１０１が撮影した画像データを近傍領域（画像下部）と遠方領域（画像中央部）とに区分し、それぞれの領域において、白線候補点検出部２００およびレーン認識処理部３００が白線エッジＥｄおよび近似直線Ｒｆの検出を行う。さらに、それらの一致度合いを基に、直線路判定部４１０が、走行路が直線であるか否かを判定する。例えば、直線路判定部４１０は、近傍領域と遠方領域とにおける近似直線Ｒｆそれぞれの傾きおよび切片が予め設定した閾値以内の差である場合に、これらの近似直線Ｒｆが一致しているものと判定し、走行路が直線であると判定する。
【００２６】
以上のようにして求められた近傍領域における交点座標と遠方領域における交点座標を、以下においては、それぞれ、(Pn_x, Pn_y)、(Pf_x,Pf_y)、と定義する。
図２に戻り、車両挙動認識部１０３は、撮像部１０１が備えられている車両１の挙動を認識する。具体的には、車両挙動認識部１０３は、車速検出装置２０が検出する車両１の車速（走行速度）、操舵角検出装置３０が検出する操舵角度、図示しない加速度センサが検出する車両の前後および車幅方向の加速度、ヨーレートセンサが検出するヨーレート値、などによって車両１の挙動を判断する。
【００２７】
撮像角度導出部１０４は、レーン形状認識部１０２のレーン形状の認識から撮像部１０１の撮像角度を求める。
情報偏り判定部１０５は、レーン形状認識部１０２および車両挙動認識部１０３の少なくとも一方に対する偏りの有無を判定する。
撮像角度補正部１０６は、情報偏り判定部１０５において偏り予め設定した閾値以下と判定したときの撮像角度導出部１０４の出力した撮像角度を用いて撮像部１０１の撮像角度を補正する。
【００２８】
（車載用画像認識装置における処理フロー）
以下、図６に示すフローチャートを参照して、本実施形態に係る車載用画像認識装置における処理について説明する。なお、図６の車載用画像認識装置の処理は、予め設定された時間間隔（例えば５０ｍｓ（ミリ秒））ごとに繰り返し行われる。
ステップＳ１０１において、レーン形状認識部１０２は、撮像部１０１が撮像した車両１の前方の画像を読み込む。また、ステップＳ１０２において、車両挙動認識部１０３は、車速検出装置２０が検出した車両１の車速や、操舵角検出装置３０が検出した操舵角などを読み込む。
【００２９】
ステップＳ１０３において、レーン形状認識部１０２は、ステップＳ１０１で読み込んだ撮像部１０１の撮像画像を処理して、車両１が走行中の走行レーンを認識するとともに、走行レーンに対する車両１の位置や車両姿勢などを算出する。
また、ステップＳ１０４では、レーン形状認識部１０２は、ステップＳ１０３で認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。なお、上述したように、本ステップにおいてレーン形状認識部１０２で求められる近傍領域の交点座標を(Pn_x, Pn_y)と定義し、遠方領域の交点座標を（Pf_x，Pf_y）と定義する。
【００３０】
ステップＳ１０５において、直線路判定部４１０は、ステップＳ１０４で求めた遠方領域と近傍領域のそれぞれの交点座標から次式により直線路か否かを判定する。次式を満たす場合にはステップＳ１０６へ移行する。それ以外の場合にはステップＳ１１０へ移行する。
abs（Pn_x-Pf_x）  ≦  TH_Px      (0-1)
【００３１】
上記式（０−１）式において、ａｂｓ（Ａ）はＡの絶対値を返す関数である。又、ＨＰ＿Ｐｘの値は、例えば１．０などの予め設定した正の値である。なお、上記式（０−１）を満たすということは、カメラ撮像画面の近傍だけの領域から検出した左右レーンマーカの延長上の交点座標と、遠方領域から検出した左右レーンマーカの延長上の交点座標が、近接していることである。つまり、この条件が成り立つことは、遠方から近傍までの同じ方向の直線であることを意味している。
【００３２】
ステップＳ１０６において、平行走行判定部４２０はステップＳ１０３で求めた自車線に対する自車両の横方向オフセット位置（レーンマーカまでの左右方向の距離）Ｙを入力として次式の伝達関数により擬似的に時間微分し、自車両の横方向速度Ｙdotを算出する。そして、次式（０−４）を満足する場合にはステップＳ１０７へ移行し、そうでない場合にはステップＳ１１０へ移行する。
G(Z-1)=(c-cZ―2)/(1-aZ-1+bZ-2)     (0-2)
Ydot =G(Z-1)Y                   (0-3)
abs(Ydot) ≦ TH_Ydot           (0-4)
【００３３】
ここで、Ｚ−１は遅れ演算子であり、係数ａ，ｂ，ｃはいずれも正数であって、これらは予め設定した周波数特性を有するようにサンプリング周期５０ｍｓで離散化されたものである。またＴＨ＿Ｙdotの値は、例えば０．０３などの予め設定した正の値であって、車速の高さに応じた大きな値にしても良い。なお、上記式（０−４）を満たすということは、自車がレーンマーカに対して横方向に移動していない。つまり、レーンマーカに沿って左右にふらつくことが無い状態で走行していることを意味している。更に、上記式（０−１）と（０−４）とを同時に満たす場合には、真っ直ぐな道路を真っ直ぐ走行していることを意味している。
【００３４】
ステップＳ１０７では、直線路判定部４１０は、ステップＳ１０３で求めた道路曲率Rowが次式の条件を全て充足するか否かを判断する。道路曲率Rowが次式の条件を全て充足する場合にはステップＳ１０８へ、それ以外の場合にはステップＳ１１０へ、それぞれ進む。
abs( Row ) < TH_ROW                    (1-1)
abs( SumTotalRow + Row ) < TH_ROW      (1-2)
【００３５】
上記式（１−１）、（１−２）において、abs( A )はAの絶対値を返す関数である。また、SumTotalRowは道路曲率Rowの総和値である。また、TH_ROWは走行レーンを直線路であるとみなす場合の閾値である。情報偏り判定部１０５は、道路曲率Rowの絶対値およびその総和SumTotalRow + Rowの絶対値がTH_ROW未満である場合には、走行レーンは直線路であると判定する。なお、TH_ROWの値は、例えば0.0003などの予め設定した正の値である。
【００３６】
つまり、ステップＳ１０５７及びステップＳ１０７においてレーン形状認識部１０２で認識された走行レーンが直線路であると認められる場合に、ステップＳ１０８以降において撮像部１０１の撮像角度の補正を行う。このように撮像部１０１の撮像角度を補正するのを直線路に相当するシーンに限る理由は、直線路の場合、直線路の無限遠地点が画像処理を行う際の画像上、中心座標となるからである。つまり、一般的に、カーブ路にて推定曲率値から補正して中心座標を求める場合よりも直線路にて認識した左右一対のマーカの延長線上交点から中心座標を求めた方が高精度になるからである。
【００３７】
次に、ステップＳ１０８では、次式により道路曲線の総和値SumTotalRowの更新を行う。
SumTotalRow = SumTotalRow + Row                (1-3)
ステップＳ１０９では、撮像角度補正部１０６は、次式により撮像部１０１の撮像角度を補正し、補正後の撮像部１０１の撮像角度として決定する。
FOE_X_est = 0.9 * FOE_X_est + 0.1 * Pn_x       (1-4)
FOE_Y_est = 0.9 * FOE_Y_est + 0.1 * Pn_y       (1-5)
【００３８】
なお、FOE_X_estとFOE_Y_estは、撮像部１０１の撮像角度に相当する車両１の正面の撮像画像上の座標であって、その初期値は工場などで初期調整（工場エーミングなどと呼ばれる取付け誤差のキャリブレーション）として実施された、固定ターゲットに対するカメラ取付け誤差（カメラ撮像角度誤差とも呼ぶ）の測定値である。上記式（１−４）、（１−５）で算出された座標は、以降のステップＳ１０３のレーン認識処理を行う際の原点座標として用いられる。ここで、エーミングとは光軸調整を指す。
ステップＳ１１０では、フィルターなどで使う過去値やタイマーなどで使うカウンター値を更新して終了する。
なお、図６の処理フローを実行する前に、SumTotalRowの値は“０”に初期化しておく。
【００３９】
（まとめ）
上記説明した車載用画像認識装置は、車両１周辺の走路を撮像する撮像部１０１の撮像画像から車両１が走行する走行レーンのレーン形状を認識する。また、認識したレーン形状から撮像部１０１の撮像角度を求める。そして、認識したレーン形状の認識したレーン形状に対する偏りの有無を判定し、偏りが無いと判定された時の撮像角度を用いて撮像部１０１の撮像角度を補正する。
【００４０】
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度の誤差を、より少ない処理負荷で、正確に補正することが出来る。
なお、本実施形態では標準偏差算出部を有しないが、偏りが無い状態で、直線路を直進するという特定の状態を狙った結果を入力として、上記（１−４）（１−５）で補正しても良い。この場合、入力値は正規分布になる傾向が強くなるため、補正精度も高い状態となる。
【００４１】
（第１実施形態の効果）
本実施形態は、次のような効果を奏する。
（１）本実施形態の車載用画像認識装置は、車両１に備えられる車載用画像認識装置である。撮像部１０１は車両１周辺を撮像する。レーン形状認識部１０２は撮像部１０１の撮像画像から車両１が走行する走行レーンのレーン形状を認識する。撮像角度導出部１０４はレーン形状認識部１０２の認識したレーン形状から撮像部１０１の撮像角度を求める。直線路判定部４１０は、前記レーン形状認識部が認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りを判定する。撮像角度補正部１０６は直線路判定部４１０において偏りが閾値以内と判定したときの撮像角度導出部１０４の求めた撮像角度を用いて撮像部１０１の撮像角度を補正する。
【００４２】
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度を、より少ない演算負荷で推定することができる。
また、交点の偏りを利用することで、より精度良く直進路の判定をすることができる。
【００４３】
（２）直線路判定部４１０は、レーン形状認識部１０２が認識したレーン形状の認識したレーン形状を示す値の絶対値が予め定められた閾値よりも小さく、かつ、レーン形状を示す値の総和が閾値よりも小さい場合に偏りが閾値以内と判定する。また、情報偏り判定部１０５は、レーン形状認識部１０２で認識される道路曲率を用いて偏りを判定する。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度の推定を、より少ない演算負荷で行なうことができる。
【００４４】
（３）車速検出装置２０は、車両１の車速を検出する。操舵角検出装置３０は、車両１の操舵角を検出する。車両挙動認識部１０３は、車速検出装置２０が検出した車速と、操舵角検出部３０が検出した操舵角から、車両１の挙動を認識する。車両挙動認識部１０３が認識した車両１の挙動に対する偏りが閾値以内と判定すると、撮像部１０１の撮像角度を補正する。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度を、より少ない演算負荷で推定することができる。
【００４５】
（４）レーン形状認識部１０２は、道路曲率に関するパラメータを検出する。情報偏り判定部１０５は、道路曲率に関するパラメータの値が、予め定められた範囲以内に収束していることを判定する。情報偏り判定部１０５は、前記収束の判定をした時点から予め設定した時間内のパラメータ値を積算する。情報偏り判定部１０５は、積算した積算値が、予め定められた値以内であることを判定することで、車両の直線走行状態を判定する。そして、画像認識装置は、情報偏り判定部１０５が直線走行状態であると判定した場合には、エーミング処理を行なう。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度を、より少ない演算負荷で推定することができる。
【００４６】
（第２実施形態）
次に、第２実施形態について図面を参照して説明する。なお、上記第１実施形態と同様な構成について同一の符号を付して説明する。
（車載用画像認識装置の構成）
本実施形態の基本構成は、上記第１実施形態と同様である。ただし、本実施形態の車載用画像認識装置は、標準偏差算出部をさらに備える点が異なる。
【００４７】
図７は、本実施形態に係る車載用画像認識装置の構成の一例を示す図である。本実施形態に係る車載用画像認識装置は、撮像部１０１、レーン形状認識部１０２、車両挙動認識部１０３、撮像角度導出部１０４、情報偏り判定部１０５、撮像角度補正部１０６、標準偏差算出部１０７を備える。
標準偏差算出部１０７は、情報偏り判定部１０５において偏りが無いと判定された時の撮像角度導出部１０４が求めた撮像角度の標準偏差を算出する。
また、撮像角度補正部１０６は、標準偏差算出部１０７で算出した標準偏差に応じて撮像部１０１の撮像角度を補正する。
【００４８】
（車載用画像認識装置における処理フロー）
以下、図８に示すフローチャートを参照して、本実施形態に係る車載用画像認識装置における処理について説明する。なお、図８の車載用画像認識装置の処理は、予め設定された時間間隔（例えば５０ｍｓ（ミリ秒））ごとに繰り返し行われる。
ステップＳ２０１において、レーン形状認識部１０２は、撮像部１０１が撮像した車両１の前方の画像を読み込む。また、ステップＳ２０２において、車両挙動認識部１０３は、車速検出装置２０が検出した車両１の車速、操舵角検出装置３０が検出した操舵角、加速度センサにより検出される前後方向の加速度、ヨーレートセンサからのヨーレート値をそれぞれ読み込む。
【００４９】
ステップＳ２０３において、レーン形状認識部１０２は、ステップＳ２０１で読み込んだ撮像部１０１の撮像画像を処理して、車両１が走行中の走行レーンを認識するとともに、走行レーンに対する車両１の位置や車両姿勢などを算出する。また、ステップＳ２０４では、レーン形状認識部１０２は、ステップＳ２０３で認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。なお、上述したように、本ステップにおいてレーン形状認識部１０２で求められる近傍領域の交点座標を(Pn_x, Pn_y)、遠方領域の交点座標を(Pf_x, Pf_y)と定義する。
【００５０】
ステップＳ２０５において、直線路判定部４１０はステップＳ２０４で求めた遠方領域と近傍領域とのそれぞれの交点座標から次式により直線路か否かを判断する。次式をすべて満たす場合にはステップＳ２０６へ移行し、それ以外の場合にはステップＳ２１３へ移行する。この処理は第１実施形態のステップＳ１０５と同様な処理である。
abs( Pn_x  − Pf_x  ) < TH_PX       (2-1)
abs( Pn_ｙ − Pf_ｙ ) < TH_PY       (2-2)
【００５１】
上記式において、TH_PXは撮像画面の水平方向における遠方領域と近傍領域の交点座標の違いについての閾値である。TH_PYは撮像画面の鉛直方向における遠方領域と近傍領域の交点座標の違いについての閾値である。
ステップＳ２０６において、平行走行判定部４２０はステップＳ２０３で求めた自車線に対する自車両の横方向オフセット位置（レーンマーカまでの左右方向の距離）Ｙを入力として、上記式（０−２）（０−３）の伝達関数によりに擬似的に時間微分し、自車両の横方向速度Ｙdotを算出する。そして、上記式（０−４）を満足する場合にはステップＳ２０７へ移行し、そうでない場合にはステップＳ２１３へ移行する。
【００５２】
ステップＳ２０７において、情報偏り判定部１０５は、次式の条件を全て充足するか否かを判断する。次式の条件を全て充足する場合にはステップＳ２０８へ、それ以外の場合にはステップＳ２１３へ、それぞれ進む。
abs( SumTotalPx + Pn_x − Pf_x ) < TH_PX       (2-3)
abs( SumTotalPy + Pn_y − Pf_y ) < TH_PY       (2-4)
abs( YawRate ) < TH_YR                         (2-5)
abs( SumTotalYR + YawRate ) < TH_YR            (2-6)
abs( VspDot ) < TH_VD                          (2-7)
abs( SumTotalVD + VspDot ) < TH_VD             (2-8)
【００５３】
また、YawRateは車両１の回転方向の速度を表すヨーレート値である。SumTotalYRはYawRateの総和値である。また、TH_YRは車両１が直進しているとみなす場合の閾値であって、YawRateの絶対値およびYawRateの総和値SumTotalYRがTH_YR未満である場合には、車両１は直進しているとみなす（式（２−５）、（２−６））。
また、VspDotは車両１の前後方向の加速度である。また、TH_VDは車両１が一定速度で走行をしているとみなす場合の閾値であって、VspDotの絶対値がTH_VD未満である場合には、車両１は一定速度で走行しているとみなす。また、SumTotalVDはVspDotの総和値である。
【００５４】
つまり、車両挙動認識部１０３およびレーン形状認識部１０２で認識したレーン形状から車両１が直線路を直進走行していると認められる場合（ステップＳ２０５とＳ２０６の条件をともに満足する場合）で、かつ、走行路に偏りが無く（上記式（２−３）と（２−４）を満足し）、かつ、走行に偏りが無い（上記式（２−５）〜（２−８）をすべて満足する）場合に、ステップＳ２０８以降において撮像部１０１の撮像角度の補正を行う。このように、撮像部１０１の撮像角度を補正するのを車両１が直線路を直進走行しているシーンで、かつ、走行路と走行に偏りが無い場合に限定している理由は、以下の通りである。
【００５５】
すなわち、撮像部１０１の撮像画像の取り込み等のハードウェア面での時間遅れや、画像処理などのソフトウェア面での時間遅れは必ず生じるものであるが、その場合でも、車両１の挙動による外乱の影響を受け難くして、撮像部１０１の撮像角度に相当する交点座標を高精度に算出するためであり、さらに、右カーブと左カーブの遭遇頻度の差が大きい場合でもカメラの取付け角度誤差を正しく求めることが出来る。
【００５６】
次に、ステップＳ２０８では、次式により、SumTotalPx、SumTotalPy、SumTotalYR、SumTotalVD、SumCountの更新、および、近傍交点の座標データの収集用メモリへの格納を行う。
SumTotalPx = SumTotalPx + Pn_x − Pf_x       (2-9)
SumTotalPy = SumTotalPy + Pn_y − Pf_y       (2-10)
SumTotalYR = SumTotalYR + YawRate            (2-11)
SumTotalVD = SumTotalVD + VspDot             (2-12)
FOE_X_DataRcd[ SumCount ] = Pn_x             (2-13)
FOE_Y_DataRcd[ SumCount ] = Pn_y             (2-14)
SumCount = SumCount + 1                      (2-15)
【００５７】
上記式において、FOE_X_DataRcd[ ] は車両１の進行方向の正面の撮像画像上の水平方向座標を格納するパラメータであり、FOE_Y_DataRcd[ ] は車両１の進行方向の正面の撮像画像上の鉛直座標を格納するパラメータである。これらのパラメータは、図示しないＲＡＭメモリ等に記憶される。
なお、SumCountは収集された近傍交点の座標データの個数をカウントするカウンターであって、初期値は“０”とする。なお、SumCountの初期化は図８の処理フローを実行する前に行われる。
【００５８】
ステップＳ２０９では、収集された近傍交点の座標データの個数が５０個以上であるか否かを判断する。具体的には、次式の条件を満足する場合（近傍交点の座標データの個数が５０個以上である場合）にはステップＳ２１０へ、それ以外の場合にはステップＳ２１３へ、それぞれ進む。
SumCount >= 50              (2-16)
【００５９】
ステップＳ２１０では、撮像角度導出部１０４は、次式（２−１７）、（２−１８）により撮像部１０１の撮像角度の算出を行う。また、標準偏差算出部１０７は、次式（２−１９）、（２−２０）により撮像部１０１の撮像角度の標準偏差の算出を行う。
FOE_X_e_tmp = Σ FOE_X_DataRcd ／ SumCount       (2-17)
FOE_Y_e_tmp = Σ FOE_Y_DataRcd ／ SumCount       (2-18)
FOE_X_stdev = √Σ ( FOE_X_e_tmp − FOE_X_DataRcd ) 2 ／ SumCount
(2-19)
FOE_Y_stdev = √Σ ( FOE_Y_e_tmp − FOE_Y_DataRcd ) 2 ／ SumCount
(2-20)
ここで、上記式におけるΣとは、SumCountで表される近傍交点の座標データの個数分の総和を求める演算子である。
【００６０】
次に、ステップＳ２１１では、撮像角度導出部１０４で求められた撮像部１０１の撮像角度の候補のばらつきを判断する。具体的には、次式の条件をすべて満たせばステップＳ２１２へ、そうでなければステップＳ２１３へ、それぞれ進む。
FOE_X_stdev < TH_STDEV       (2-21)
FOE_Y_stdev < TH_STDEV       (2-22)
【００６１】
TH_STDEVは、撮像角度導出部１０４で求められた撮像部１０１の撮像角度の候補に対して許容するばらつきを示す閾値を表す。TH_STDEVは、例えば1.0pixなどの正の値をとる。すなわち、ステップＳ２１０で求めた標準偏差FOE_X_stdev、FOE_Y_stdevの各値がTH_STDEVよりも小さい場合には、撮像角度導出部１０４で求められた撮像部１０１の撮像角度の候補のばらつきが小さいと判断し、ステップＳ２１２において撮像部１０１の撮像角度の補正を行う。
【００６２】
このように、求めた標準偏差からバラツキが小さい場合に限定して補正を行うことで、第１実施形態よりも補正精度を高めることが出来る。更に、工場エーミング後に行う、本発明に基づく撮像角度の補正精度を具体的な値に規定することができる。
【００６３】
ステップＳ２１２では、撮像角度補正部１０６は、次式により補正後の撮像部１０１の撮像角度を決定する。また、これらの座標は、以降のステップＳ２０３のレーン認識処理を行う際の原点座標として用いられる。
FOE_X_est = FOE_X_e_tmp       (2-23)
FOE_Y_est = FOE_Y_e_tmp       (2-24)
ステップＳ２１３では、フィルターなどで使う過去値やタイマーなどで使うカウンター値を更新して終了する。
なお、図８の処理フローを実行する前に、SumCountの各値は“０”に初期化しておく。
【００６４】
（まとめ）
本実施形態の車載用画像認識装置は、標準偏差算出部１０７以外の構成については、第１実施形態と同様である。
本実施形態の車載用画像認識装置は、標準偏差算出部１０７が、偏りが無いと判定された時の撮像部１０１の撮像角度の標準偏差を算出する。そして、この算出した標準偏差に応じて撮像部１０１の撮像角度を補正する。
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。
【００６５】
（第２実施形態の効果）
本実施形態は、第１実施形態の効果に加えて、次の効果を奏する。
（１）標準偏差算出部１０７は、情報偏り判定部１０５において偏りが閾値以内と判定されたときの撮像角度導出部１０４が求めた撮像角度の標準偏差を算出する。また、撮像角度補正部１０６は、標準偏差算出部１０７で算出した標準偏差に応じて撮像部１０１の撮像角度を補正する。
【００６６】
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。また、情報偏り判定部１０５にて情報の偏りの有無を判定し、偏りがないと判定された情報のみを収集して標準偏差を算出しているため、少ないデータ数（例えば５０のデータ数だけ）でも正規分布となる傾向が強くなり、ばらつき度合いの正しい判定を少ない演算負荷で実現できる。
【００６７】
（２）本実施形態においては、車両挙動認識部１０３にて認識された車両１の挙動は、車両１の車幅方向の回転挙動に関する情報である。また、車両挙動認識部１０３は、レーン形状認識部１０２にて認識された走行レーンに対する車両１の車幅方向の位置もしくはヨー角度の時間変化から車両１の挙動を認識する。
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。
【００６８】
（第３実施形態）
次に、第３実施形態について図面を参照して説明する。なお、上記第１実施形態および第２実施形態と同様な構成について同一の符号を付して説明する。
（車載用画像認識装置の構成）
本実施形態の基本構成は、上記第２実施形態と同様である。ただし、本実施形態の車載用画像認識装置は、終了部をさらに備える点が異なる。
【００６９】
図９は、本実施形態に係る車載用画像認識装置の構成の一例を示す図である。本実施形態に係る車載用画像認識装置は、撮像部１０１、レーン形状認識部１０２、車両挙動認識部１０３、撮像角度導出部１０４、情報偏り判定部１０５、撮像角度補正部１０６、標準偏差算出部１０７、終了部１０８を備える。
終了部１０８は、標準偏差算出部１０７で算出した標準偏差が予め定められた値未満である場合には、撮像角度の補正を終了させる。
【００７０】
（車載用画像認識装置における処理フロー）
以下、図１０に示すフローチャートを参照して、本実施形態に係る車載用画像認識装置における処理について説明する。なお、図１０の車載用画像認識装置の処理は、予め設定された時間間隔（例えば５０ｍｓ（ミリ秒））ごとに繰り返し行われる。
ステップＳ３０１において、レーン形状認識部１０２は、撮像部１０１が撮像した車両１の前方の画像を読み込む。また、ステップＳ３０２において、車両挙動認識部１０３は、車速検出装置２０が検出した車両１の車幅方向の速度、操舵角検出装置３０が検出した操舵角、加速度センサにより検出される前後方向の加速度、ヨーレートセンサからのヨーレート値をそれぞれ読み込む。
【００７１】
ステップＳ３０３において、レーン形状認識部１０２は、ステップＳ３０１で読み込んだ撮像部１０１の撮像画像を処理して、車両１が走行中の走行レーンを認識するとともに、走行レーンに対する車両１の位置や車両姿勢などを算出する。
ステップＳ３０４では、終了部１０８において撮像部１０１の撮像角度の補正処理が完了しているか判断する。完了している場合にはステップＳ３０５へ進み、完了していない場合にはステップＳ３１４へ進む。具体的には、次式の条件を満足すればステップＳ３０５へ、そうでなければステップＳ３１４へ、それぞれ進む。
FlgAimComplt < 1       (3-1)
【００７２】
上記式（３−１）において、FlgAimComplt は撮像部１０１の撮像角度の補正処理が完了しているか否かを示すフラグであり、FlgAimComplt = “０”である場合には撮像部１０１の撮像角度の補正処理は完了していないことを意味し、FlgAimComplt = “1”である場合には撮像部１０１の撮像角度の補正処理は完了していることを意味する。また、FlgAimCompltの初期値は“０”とする。
【００７３】
ステップＳ３０５では、レーン形状認識部１０２は、ステップＳ３０３で認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。なお、上述したように、本ステップにおいてレーン形状認識部１０２で求められる近傍領域の交点座標を(Pn_x, Pn_y)、遠方領域の交点座標を(Pf_x, Pf_y)と定義する。
【００７４】
ステップＳ３０６において、直線路判定部４１０は、ステップＳ３０５で求めた遠方領域と近傍領域とのそれぞれの交点座標から次式により直線路か否かを判断する。上記式（２−１）（２−２）をすべて満たす場合にはステップＳ３０７へ移行し、それ以外の場合にはステップＳ３１４へ移行する。この処理は第２実施形態のステップＳ２０５と同様な処理である。
【００７５】
ステップＳ３０７において、平行走行判定部４２０はステップＳ３０３で求めた自車線に対する自車両の横方向オフセット位置（レーンマーカまでの左右方向の距離）Ｙを入力として、上記式（０−２）（０−３）の伝達関数によりに擬似的に時間微分し、自車両の横方向速度Ｙdotを算出する。そして、上記式（０−４）を満足する場合にはステップＳ３０８へ移行し、そうでない場合にはステップＳ３１４へ移行する。この処理は第２実施形態のステップＳ２０６と同様な処理である。
【００７６】
ステップＳ３０８において、情報偏り判定部１０５は、次式の条件を全て充足するか否かを判断する。次式の条件を全て充足する場合にはステップＳ３０９へ、それ以外の場合にはステップＳ３１４へ、それぞれ進む。
abs( Row ) < TH_ROW                     (3-2)
abs( SumTotalRow + Row ) < TH_ROW       (3-3)
abs( ysoku ) < TH_YS                    (3-4)
abs( SumTotalYsoku + ysoku ) < TH_YS    (3-5)
abs( YawRate ) < TH_YR                  (3-6)
abs( SumTotalYR + YawRate ) < TH_YR     (3-7)
abs( VspDot ) < TH_VD                   (3-8)
abs( SumTotalVD + VspDot ) < TH_VD      (3-9)
【００７７】
上記式において、ysokuは車両１の車幅方向における速度を示すパラメータである。Ysokuの値としては、ステップＳ３０３のレーン認識処理で用いるレーン認識用カルマンフィルタの状態変数の車幅方向速度をそのまま用いてもよいし、走行レーンまでの車幅方向の位置を時間微分しても等価である。また、SumTotalYsokuはysokuの総和値である。TH_YSは車両１が直進走行しているとみなす場合の閾値であり、式（３−４）、（３−５）に示されるように、車幅方向速度ysokuの絶対値およびその総和SumTotalYsoku + ysokuの絶対値がTH_YS未満である場合には、車両１が直進走行していると判定する。
【００７８】
同様に、上記式（３−６）と（３−７）における車両１のヨーレート値YawRateは、ステップＳ３０３のレーン認識処理で用いるレーン認識用カルマンフィルタの状態変数のヨーレートをそのまま用いてもよいし、レーンに対するヨー角度を時間微分してもよい。
なお、式（３−４）、（３−５）以外の式の意味については、第１実施形態および第２実施形態と同様である。
【００７９】
次に、ステップＳ３０９では、次式によりSumTotalRow、SumTotalYsoku、SumTotalYR、SumTotalVD、SumCountの更新、および、近傍交点の座標データの収集用メモリへの格納を行う。
SumTotalRow = SumTotalRow + Row             (3-10)
SumTotalYsoku = SumTotalYsoku + ysoku       (3-11)
SumTotalYR = SumTotalYR + YawRate           (3-12)
SumTotalVD = SumTotalVD + VspDot            (3-13)
FOE_X_DataRcd[ SumCount ] = Pn_x            (3-14)
FOE_Y_DataRcd[ SumCount ] = Pn_y            (3-15)
SumCount = SumCount + 1                     (3-16)
【００８０】
また、ステップＳ３１０からＳ３１２における処理は、図８のステップＳ２０９からＳ２１１における処理と同様である。
そして、ステップＳ３１３では、撮像角度補正部１０６は、次式により、撮像部１０１の撮像角度の推定処理の完了フラグFlgAimCompltを立てるとともに、撮像部１０１の撮像角度を決定する。また、これらの座標は、以降のステップＳ３０３のレーン認識処理を行う際の原点座標として用いられる。
FlgAimComplt = 1              (3-17）
FOE_X_est = FOE_X_e_tmp       (3-18）
FOE_Y_est = FOE_Y_e_tmp       (3-19）
ステップＳ３１４では、フィルターなどで使う過去値やタイマーなどで使うカウンター値を更新して終了する。
なお、図１０の処理フローを実行する前に、FlgAimComplt、SumTotalRowの各値は“０”に初期化しておく。
【００８１】
（まとめ）
本実施形態の車載用画像認識装置は、終了部１０８以外の構成については、第２実施形態と同様である。
本実施形態の車載用画像認識装置は、終了部１０８が、算出された標準偏差が予め定められた値未満である場合には、撮像角度の補正を終了させる。
これにより、一旦、撮像部１０１の撮像角度候補のばらつきが小さいと判断された場合には、撮像角度を補正するための処理を完了させることができるため、車載用画像認識装置の処理負荷を軽減することができる。
【００８２】
図１１は、本実施形態の車載用画像認識装置が奏する効果について示す図である。図１１に示されるグラフは、高速道路の緩いカーブが多い場面で、本実施形態に係るレーン認識処理を実行した結果である。
図１１において、丸で囲まれた範囲７０のデータは、ステップＳ３０５で算出されるPn_xの結果を示すデータである。また範囲７１のデータは、ステップＳ３０７で収集されるPn_xの結果である。
【００８３】
図１１の結果によれば、破線８０と破線８１で示されるそれぞれの最悪値が約10画素分、真値120.0画素に近づいている。また、標準偏差からも、ばらつきがほぼ半減（約４４％減）することも確認された。さらに、データ数が８０００から５０に減り、標準偏差の処理負荷も低減された。
【００８４】
（第３実施形態の効果）
本実施形態は、第１実施形態および第２実施形態の効果に加えて、次の効果を奏する。（１）終了部１０８は、標準偏差算出部１０７で算出した標準偏差が予め定められた値未満である場合には、撮像角度の補正を終了させる。
これにより、一旦、撮像部１０１の撮像角度候補のばらつきが小さいと判断された場合には、撮像角度を補正するための処理を完了させることができるため、車載用画像認識装置の処理負荷を軽減することができる。
【００８５】
（２）本実施形態においては、車両挙動認識部１０３にて認識された車両１の挙動は、車両１の車幅方向の並進挙動に関する情報である。また、車両挙動認識部１０３は、レーン形状認識部１０２にて認識された走行レーンに対する車両１の車幅方向の位置もしくはヨー角度の時間変化から車両１の挙動を認識する。
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。
【００８６】
ここで、上記説明において、車速検出装置２０は車速検出部を構成する。操舵角検出装置３０は操舵角検出部を構成する。レーン形状認識部１０２はパラメータ検出部を構成する。車両挙動認識部１０３、もしくは、車速検出装置２０と操舵角検出装置３０と操舵角制御装置４０は、パラメータ検出部を構成する。直線路判定部４１０は、交点偏り判定部、認識偏り判定部を構成する。情報偏り判定部１０５は、収束判定部、積算部、および直線走行状態判定部を構成する。撮像角度導出部１０４および撮像角度補正部１０６は、エーミング実行部を構成する。
【００８７】
以上、本願が優先権を主張する日本国特許出願２０１１−１３１２２２（２０１１年６月１３日出願）の全内容はここに引用例として包含される。
ここでは、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく各実施形態の改変は当業者にとって自明な事である。
【符号の説明】
【００８８】
１  車両
１０  カメラ
１０ａ  画像処理装置
２０  車速検出装置
３０  操舵角検出装置
４０  操舵角制御装置
５０  操舵角アクチュエータ
１０１  撮像部
１０２  レーン形状認識部
１０３  車両挙動認識部
１０４  撮像角度導出部
１０５  判定部
１０６  撮像角度補正部
１０７  標準偏差算出部
１０８  終了部
２００  白線候補点検出部
３００  レーン認識処理部
３１０  道路形状算出部
３２０  道路パラメータ推定部
４００  光軸補正部
４１０  直線路判定部
４２０  平行走行判定部
４３０  仮想消失点算出部
【図１】
2012172713.tif 000004
【図２】
2012172713.tif 000005
【図３】
2012172713.tif 000006
【図４】
2012172713.tif 000007
【図５】
2012172713.tif 000008
【図６】
2012172713.tif 000009
【図７】
2012172713.tif 000010
【図８】
2012172713.tif 000011
【図９】
2012172713.tif 000012
【図１０】
2012172713.tif 000013
【図１１】
2012172713.tif 000014
【手続補正書】
【提出日】平成24年8月8日(2012.8.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
前記車両周辺を撮像する撮像部と、
前記撮像部が撮像した撮像画像に基づき前記車両が走行する走行レーンのレーン形状を認識するレーン形状認識部と、
前記レーン形状認識部が認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りを判定する交点偏り判定部と、
前記交点偏り判定部において前記交点の偏りが予め設定した閾値以下と判定したときに直線路と判定する直線路判定部と、
を備えることを特徴とする道路形状判定装置。
【請求項２】
請求項１に記載の道路形状判定装置と、
前記道路形状判定装置が直進路と判定したときに、前記撮像部の撮像角度を補正する撮像角度補正部と、
を備えることを特徴とする車載用画像認識装置。
【請求項３】
前記レーン形状認識部が認識したレーン形状から前記撮像部の撮像角度を求める撮像角度導出部を更に備え、
前記撮像角度補正部は、前記道路形状判定装置が直進路と判定したときの前記撮像角度導出部が求めた撮像角度を用いて前記撮像部の撮像角度を補正する請求項２に記載の車載用画像認識装置。
【請求項４】
前記交点偏り判定部において交点の偏りが予め設定した閾値以下と判定されたときの前記撮像角度導出部が求めた前記撮像角度の標準偏差を算出する標準偏差算出部をさらに備え、
前記撮像角度補正部は、前記標準偏差算出部が算出した標準偏差に応して前記撮像部の撮像角度を補正することを特徴とする請求項３に記載の車載用画像認識装置。
【請求項５】
前記標準偏差算出部が算出した標準偏差が予め定められた値未満である場合には、前記撮像角度の補正を終了させることを特徴とする請求項４に記載の車載用画像認識装置。
【請求項６】
前記レーン形状認識部で認識される道路曲率を用いて認識したレーン形状に対する偏りから走行路の形状を判定する認識偏り判定部を更に備え、
前記撮像角度補正部は、前記交点偏り判定部において前記交点の偏りが予め設定した閾値以下と判定し、且つ前記認識偏り判定部において直進路と判定したときに、前記撮像部の撮像角度を補正することを特徴とする請求項２から５のいずれか一項に記載の車載用画像認識装置。
【請求項７】
前記認識偏り判定部は、前記レーン形状認識部が認識したレーン形状に対する偏りの絶対値が予め定められた閾値よりも小さく、かつ、前記偏りの総和が前記閾値よりも小さい場合に直進路と判定することを特徴とする請求項６に記載の車載用画像認識装置。
【請求項８】
前記車両の車速を検出する車速検出部と、
前記車両の操舵角を検出する操舵角検出部と、
前記車速検出部が検出した車速と、前記操舵角検出部が検出した操舵角から、車両の挙動を認識する車両挙動認識部と、を更に有し、
前記撮像角度補正部は、更に、前記車両挙動認識部が認識した車両の挙動に対する偏りが予め設定した設定閾値以下と判定したときに、前記撮像部の撮像角度を補正することを特徴とする請求項２から７のいずれか一項に記載の車載用画像認識装置。
【請求項９】
前記車両挙動認識部にて認識された前記車両の挙動は、前記車両の車幅方向の並進挙動に関する情報であることを特徴とする請求項８に記載の車載用画像認識装置。
【請求項１０】
前記車両挙動認識部にて認識された前記車両の挙動は、前記車両の車幅方向の回転挙動に関する情報であることを特徴とする請求項８に記載の車載用画像認識装置。
【請求項１１】
前記車両挙動認識部は、前記レーン形状認識部にて認識された前記走行レーンに対する前記車両の車幅方向の位置もしくはヨー角度の時間変化から前記車両の挙動を認識することを特徴とする請求項８に記載の車載用画像認識装置。
【請求項１２】
車両に備えられた撮像部の撮像軸を自動調整する撮像軸調整装置であって、
道路曲率に関するパラメータを検出するパラメータ検出部と、
前記道路曲率に関するパラメータの値が、予め定められた範囲以内に収束していることを判定する収束判定部と、
前記収束判定部が判定した時点から所定時間内のパラメータ値を積算する積算部と、
前記積算部が積算した積算値が、予め定められた値以内であることを判定することで、前記車両の直線走行状態を判定する直線走行状態判定部と、
前記直線走行状態判定部が直線走行状態であると判定した場合には、エーミング処理を行なうエーミング実行部と、
を備えることを特徴とする撮像軸調整装置。
【請求項１３】
車両に備えられた撮像部で前記車両周辺を撮像し、その撮像した撮像画像から前記車両が走行する走行レーンのレーン形状を認識し、その認識したレーン形状から前記撮像部の撮像角度を求め、
前記認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りが、予め設定した閾値以下と判定したときの前記検出した撮像角度を用いて前記撮像部の撮像角度を補正することを特徴とするレーン認識方法。
【国際調査報告】
2012172713.tif 000015
2012172713.tif 000016
2012172713.tif 000017
2012172713.tif 000018