(57)【要約】【課題】より簡易な構成で、車両がレーンマーカに沿って走行しているかを正確に判定できる画像処理装置を提供すること。【解決手段】画像処理装置１００は、走行中の車両からの撮影により、レーンマーカを含む道路の画像である路面画像を取得する画像取得部１０１と、路面画像の部分領域において、レーンマーカとレーンマーカ以外の境界領域に発生するモーションブラーの幅を算出するモーションブラー算出部１０２と、モーションブラーの幅がしきい値より小さいとき、車両がレーンマーカに沿って走行していることを判定する走行状態判定部１０３とを有する。【選択図】図１
2015001812.tif 000002
【特許請求の範囲】
【請求項１】
走行中の車両からの撮影により、レーンマーカを含む道路の画像である第１の路面画像を取得する画像取得部と、
前記第１の路面画像から、前記レーンマーカに基づいて発生するモーションブラーの幅を算出するモーションブラー算出部と、
前記モーションブラーの幅がしきい値より小さいとき、前記車両が前記レーンマーカに沿って走行していると判定する走行状態判定部と、
を有する画像処理装置。
【請求項２】
前記画像取得部は、前記第１の路面画像を撮影するときの第１の露光時間を前記走行状態判定部へ通知し、
前記走行状態判定部は、前記画像取得部から通知された第１の露光時間に基づいて、前記しきい値を選択する、
請求項１記載の画像処理装置。
【請求項３】
前記車両の車速に基づいて前記第１の路面画像を撮影するときの第１の露光時間を決定し、前記画像取得部および前記走行状態判定部へ通知する撮像制御部をさらに有し、
前記画像取得部は、前記撮像制御部から通知された第１の露光時間に基づいて、前記第１の路面画像を取得し、
前記走行状態判定部は、前記撮像制御部から通知された第１の露光時間に基づいて、前記しきい値を選択する、
請求項１記載の画像処理装置。
【請求項４】
前記車両の車速を取得し、前記撮像制御部および前記走行状態判定部へ通知する車速取得部をさらに有し、
前記撮像制御部は、前記車速取得部から通知された車速に基づいて、前記第１の路面画像を撮影するときの第１の露光時間を決定し、
前記走行状態判定部は、前記車速取得部から通知された車速および前記撮像制御部から通知された第１の露光時間に基づいて、前記しきい値を選択する、
請求項３記載の画像処理装置。
【請求項５】
前記モーションブラー算出部は、前記モーションブラーの幅を前記撮像制御部へ通知し、
前記撮像制御部は、前記第１の露光時間と、前記モーションブラー算出部から通知されたモーションブラーの幅に基づいて、前記車両の車速を推定し、前記車両の車速に基づいて第２の路面画像を撮影するときの第２の露光時間を決定し、前記車速および前記第２の露光時間を前記走行状態判定部へ通知し、第２の露光時間を前記画像取得部へ通知し、
前記画像取得部は、前記撮像制御部から通知された第２の露光時間に基づいて、前記第２の路面画像を取得し、
前記モーションブラー算出部は、第２のモーションブラーの幅を前記走行状態判定部へ通知し、
前記走行状態判定部は、前記第２のモーションブラーの幅に対し、前記撮像制御部から通知された車速および第２の露光時間に基づいて、前記しきい値を選択する、
請求項３記載の画像処理装置。
【請求項６】
前記車両の車体のピッチ変動があるか否かを判定する車両姿勢判定部をさらに有し、
前記モーションブラー算出部は、前記路面画像の複数の部分領域ごとに複数のモーションブラーの幅を算出し、前記複数のモーションブラーの幅を前記車両姿勢判定部へ通知し、
前記車両姿勢判定部は、前記複数のモーションブラーの幅に基づいて、前記車両のピッチ変動があるか否かを判定し、前記車両のピッチ変動があるか否かを示す車両姿勢を前記車両走行状態判定部へ通知し、
前記走行状態判定部は、前記車両姿勢が前記車両のピッチ変動がない姿勢の場合、前記複数のモーションブラーの幅の少なくとも１つが前記しきい値より小さいとき、前記車両が前記レーンマーカに沿って走行していると判定する、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
所定の画像処理を行う画像処理部をさらに有し、
前記走行状態判定部は、前記車両が前記レーンマーカに沿って走行しているか否かを示す走行状態を前記画像処理部へ通知し、
前記画像処理部は、前記走行状態判定部から通知された前記走行状態が、前記車両が前記レーンマーカに沿って走行している状態である場合、前記画像処理に応じた第３の露光時間を決定し、前記第３の露光時間を前記撮像制御部へ通知し、
前記画像取得部は、前記画像処理部によって決定された第３の露光時間に基づいて前記路面画像を取得し、前記画像処理部へ送り、
前記画像処理部は、前記画像取得部から受け取った路面画像に対して所定の画像処理を施す、
請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
走行中の車両からの撮影により、レーンマーカを含む道路の画像である路面画像を取得するステップと、
前記路面画像から、前記レーンマーカに基づいて発生するモーションブラーの幅を算出するステップと、
前記モーションブラーの幅がしきい値より小さいとき、前記車両が前記レーンマーカに沿って走行していると判定するステップと、
を含む画像処理方法。
【請求項９】
走行中の車両からの撮影により、レーンマーカを含む道路の画像である路面画像を取得する処理と、
前記路面画像から、前記レーンマーカに基づいて発生するモーションブラーの幅を算出する処理と、
前記モーションブラーの幅がしきい値より小さいとき、前記車両が前記レーンマーカに沿って走行していると判定する処理と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラのキャリブレーションや、カーナビゲーションシステムにおける自車両の位置・姿勢表示、安全画像処理システムにおける車線逸脱警報（Ｌａｎｅ  Ｄｅｐａｒｔｕｒｅ  Ｗａｒｎｉｎｇ）や車線維持支援（Ｌａｎｅ  Ｋｅｅｐｉｎｇ  Ａｓｓｉｓｔ）、自動運転システムにおける操舵制御、自動運転・隊列走行システムにおける隊列形成、操舵制御において、車両が白線等のレーンマーカに沿って走行していることを正確に判定する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来の画像処理装置として、車両が直進する間に車載カメラ画像を積算し、積算画像から抽出する輝度エッジに基づいて決定する直線群の交点を消失点として特定し、消失点座標と基準座標からカメラパラメータが適切な値か判定するため、舵角センサを用いて車両が直進していることを判定しているものが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１０／１４６６９５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術は、車両が直進していることを判定するために舵角センサが必要となるため、構成が複雑になるという課題がある。
【０００５】
本発明の目的は、より簡易な構成で、車両がレーンマーカに沿って走行していることを正確に判定できる画像処理装置、画像処理方法、および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、走行中の車両からの撮影により、レーンマーカを含む道路の画像である第１の路面画像を取得する画像取得部と、前記第１の路面画像から、前記レーンマーカに基づいて発生するモーションブラーの幅を算出するモーションブラー算出部と、前記モーションブラーの幅がしきい値より小さいとき、前記車両が前記レーンマーカに沿って走行していると判定する走行状態判定部と、を有する構成を採る。
【０００７】
本発明の一態様に係る画像処理方法は、走行中の車両からの撮影により、レーンマーカを含む道路の画像である路面画像を取得するステップと、前記路面画像から、前記レーンマーカに基づいて発生するモーションブラーの幅を算出するステップと、前記モーションブラーの幅がしきい値より小さいとき、前記車両が前記レーンマーカに沿って走行していると判定するステップと、を含む。
【０００８】
本発明の一態様に係る画像処理プログラムは、走行中の車両からの撮影により、レーンマーカを含む道路の画像である路面画像を取得する処理と、前記路面画像から、前記レーンマーカに基づいて発生するモーションブラーの幅を算出する処理と、前記モーションブラーの幅がしきい値より小さいとき、前記車両が前記レーンマーカに沿って走行していると判定する処理と、をコンピュータに実行させる。
【発明の効果】
【０００９】
本発明は、より簡易な構成で、車両がレーンマーカに沿って走行していることを正確に判定できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図
【図２Ａ】本発明の実施の形態１に係る車両がレーンマーカに沿って走行している走行状態の例を示す上面図
【図２Ｂ】本発明の実施の形態１に係る車両がレーンマーカに沿わずに走行している走行状態の例を示す上面図
【図３】本発明の実施の形態１に係る画像処理装置の動作例を示すフローチャート
【図４Ａ】本発明の実施の形態１に係る車両がレーンマーカに沿って走行しているときに撮影された画像とその拡大画像の例をそれぞれ示す図
【図４Ｂ】本発明の実施の形態１に係る車両がレーンマーカに沿わずに走行しているときに撮影された画像とその拡大画像の例をそれぞれ示す図
【図５】本発明の実施の形態１に係る画像処理装置が算出しうる画素ごとの輝度値を示すグラフ
【図６】本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図
【図７】本発明の実施の形態２に係る画像処理装置の動作例を示すフローチャート
【図８】本発明の実施の形態２に係る画像処理装置が算出しうる画素ごとの輝度値を示すグラフ
【図９】本発明の実施の形態３に係る画像処理装置の構成例を示すブロック図
【図１０】本発明の実施の形態３に係る画像処理装置の動作例を示すフローチャート
【図１１】本発明の実施の形態３に係る画像処理装置が算出しうる画素ごとの輝度値を示すグラフ
【図１２】本発明の実施の形態４に係る画像処理装置の構成例を示すブロック図
【図１３】本発明の実施の形態４に係る画像処理装置の動作例を示すフローチャート
【図１４】本発明の実施の形態５に係る画像処理装置の構成例を示すブロック図
【図１５】本発明の実施の形態５に係る画像処理装置の動作例を示すフローチャート
【図１６Ａ】本発明の実施の形態５に係る車両がピッチ角変動なく走行している走行状態の例を示す側面図
【図１６Ｂ】本発明の実施の形態５に係る車両がピッチ角−１度変動しながら走行している走行状態の例を示す側面図
【図１６Ｃ】本発明の実施の形態５に係る車両がピッチ角＋１度変動しながら走行している走行状態の例を示す側面図
【図１７Ａ】本発明の実施の形態５に係る車両がピッチ角変動なく走行しているときに撮影された画像とその拡大画像の例をそれぞれ示す図
【図１７Ｂ】本発明の実施の形態５に係る車両がピッチ角−１度変動しながら走行しているときに撮影された画像とその拡大画像の例をそれぞれ示す図
【図１７Ｃ】本発明の実施の形態５に係る車両がピッチ角＋１度変動しながら走行しているときに撮影された画像とその拡大画像の例をそれぞれ示す図
【図１８】本発明の実施の形態５に係る画像処理装置が算出しうる画素ごとの輝度値を示すグラフ
【図１９】本発明の実施の形態５に係る画像処理装置が算出しうる画素ごとの輝度値を示すグラフ
【図２０】本発明の実施の形態６に係る画像処理装置の構成例を示すブロック図
【図２１】本発明の実施の形態６に係る画像処理装置の動作例を示すフローチャート
【図２２】本発明の実施の形態６に係る画像処理装置が撮影する対象となる画像および撮影された画像および画像処理された画像の例を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１２】
（実施の形態１）
本発明の実施の形態１に係る画像処理装置について説明する。
【００１３】
まず、本実施の形態の画像処理装置１００の構成について説明する。図１は、本実施の形態の画像処理装置１００の構成例を示すブロック図である。
【００１４】
図１において、画像処理装置１００は、画像取得部１０１、モーションブラー算出部１０２、および走行状態判定部１０３を有する。
【００１５】
画像取得部１０１は、車載カメラ（以下、適宜「カメラ」ともいう）で撮影された路面画像を取得する。路面画像は、レーンマーカを含む道路の画像である。本明細書でいうレーンマーカは、レーン（車線）を特定可能な表示または物体を意味し、例えば、白線、ボッツドッツ、ポール、ガードレールなどが挙げられる。以下では、レーンマーカが白線である場合を例に挙げて説明する。
【００１６】
モーションブラー算出部１０２は、路面画像の部分領域において、白線と白線以外の境界領域に発生するモーションブラーの幅を算出する。本来のモーションブラーは、動いている被写体を動かないカメラで撮影したときに生じる被写体ぶれである。本実施の形態では、モーションブラーを、カメラが、動いていない被写体である白線に沿って移動する場合に、撮影された路面画像において、カメラが動かず白線が動いているものととらえ、白線に対して発生する被写体ぶれ、と定義する。
【００１７】
レーンマーカに沿って走行している車両が車載カメラにより白線を被写体として撮影した場合、その白線のモーションブラーは、車両の走行方向である白線の延長線方向に発生する。そのため、白線の輝度成分は、白線領域内に重畳され、白線の延長方向以外に広がることはない。つまり、白線領域と白線が塗布されていないアスファルト領域の境界領域における、路面画像の水平方向の輝度変化は急峻になり、白線領域とアスファルト領域の境界にモーションブラーは発生しない。
【００１８】
一方、レーンマーカに沿わずに走行している車両が車載カメラにより白線を被写体として撮影した場合、その白線のモーションブラーは、車両の走行方向に発生するため、白線の延長線方向とずれる。そのため、白線の輝度成分は、白線領域外に重畳され、白線の延長方向以外に広がる。つまり、白線領域とアスファルト領域の境界における、路面画像の水平方向の輝度変化はなだらかになり、白線領域とアスファルト領域の境界にモーションブラーが発生する。
【００１９】
走行状態判定部１０３は、モーションブラー算出部１０２が算出したモーションブラーの幅が予め定められたしきい値より小さいときに、車両の走行状態すなわち、車両がレーンマーカに沿って走行していると判定する。
【００２０】
次に、本実施の形態の画像処理装置１００を搭載した車両の走行状態の例について説明する。図２は、車両が道路上を走行している様子を示す上面図である。
【００２１】
図２Ａおよび図２Ｂにおいて、車両２０２は、その後部に車載カメラ（図示せず）を搭載しており、道路２０１上の白線２０３と白線２０４の間を直進している。白線２０３と白線２０４は、レーンマーカの一例である。白線２０３は、車両２０２の進行方向向かって左側に位置し、白線２０４は、車両２０２の進行方向向かって右側に位置し、白線２０３と白線２０は並行であるとする。基準直線２０５は、白線２０３と白線２０４の中心線である。ベクトル２０６は、車両２０２の進行方向を示す。撮影範囲２０７は、車両２０２の車載カメラの撮影範囲である。線分２０８は、白線２０４を横切りベクトル２０６と直交する線分である。
【００２２】
なお、本実施の形態では、車載カメラは、車両２０２の後部に搭載され、車両２０２の後方を撮影する例として説明するが、車両２０２の前方に搭載され、車両２０２の前方を撮影する例であってもよい。ただし、車載カメラにより撮影する路面画像は、車両２０２により近い画像である方が精度の高い判定ができる。そのため、より好適な実施の形態として、より車両２０２に近い路面画像を撮影できるように、車載カメラを、車両２０２の後部に設置し、進行方向向かって後方の路面画像を撮影する例で説明する。
【００２３】
図２Ａにおいて、ベクトル２０６は基準直線２０５と一致している。このとき、車両２０２は、白線２０３、２０４に沿って走行している。一方、図２Ｂにおいて、ベクトル２０６は基準直線２０５から白線２０４方向へ例えば１度ずれている。このとき、車両２０２は、白線２０３、２０４に沿って走行していない。
【００２４】
次に、本実施の形態の画像処理装置１００の動作について説明する。図３は、本実施の形態の画像処理装置１００の動作例を示すフローチャートである。
【００２５】
ステップＳ３０１において、画像取得部１０１は、カメラの露光時間（以下、適宜「露光時間」ともいう）を、例えばＮＴＳＣ方式のカメラの露光時間１６ミリ秒より長い３００ミリ秒に設定する。ここで露光時間はフレーム周波数の約１／２とし、露光時間の決定および設定、設定された露光時間での画像の取得は、それぞれフレーム周波数の決定および設定、設定されたフレーム周波数での画像取得としてよい。具体的には、露光時間１６ミリ秒で撮影するために、フレーム周波数を秒３０フレーム（一フレームの継続時間３３ミリ秒）とする。
【００２６】
ステップＳ３０２において、画像取得部１０１は、カメラから路面画像を取得する。
【００２７】
ここで、画像取得部１０１が取得する路面画像（以下、適宜「画像」ともいう）の例について説明する。なお、以下に説明する画像は、カメラにて撮影されたそのままの画像であるものとして説明するが、カメラにて撮影された画像に対して画像取得部１０１が所定の処理を施した画像であってもよい。
【００２８】
図４Ａは、図２Ａの走行状態のときに車載カメラで撮影された路面画像と、その路面画像の一部を拡大した画像の例を示す図である。図４Ｂは、図２Ｂの走行状態のときに車載カメラで撮影された路面画像と、その路面画像の一部を拡大した画像の例を示す図である。
【００２９】
図４Ａおよび図４Ｂにおいて、路面画像４０７ａ、４０７ｂは、時速６０ｋｍで走行する車両２０２の車載カメラにより、撮影範囲２０７を露光時間３００ミリ秒（以下、「ｍｓ」ともいう）で撮影した画像である。路面画像４０７ａ、４０７ｂは、道路２０１の撮影画像であるアスファルト領域４０１、白線２０３の撮影画像である白線領域４０３、白線２０４の撮影画像である白線領域４０４を含む。なお、アスファルト領域４０１は、道路上において白線が塗布されていない領域（例えば、白線のないアスファルト部分）の撮影画像である。
【００３０】
また、図４Ａおよび図４Ｂにおいて、矩形領域４０５ａ、４０５ｂは、路面画像４０７ａ、４０７ｂの一部分である矩形の領域であり、白線領域４０４の一部分とアスファルト領域４０１の一部分を含む。線分領域４０８ａ、４０８ｂは、矩形領域４０５ａ、４０５ｂの一部分であり、白線領域４０４の一部分とアスファルト領域４０１の一部分を含む線分の領域である。線分領域４０８ａ、４０８ｂは、白線２０４を横切りベクトル２０６と直交する線分２０８の領域である。
【００３１】
路面画像４０７ａ、４０７ｂおよび矩形領域４０５ａ、４０５ｂにおいて、ｘ軸およびｙ軸を定義している。各軸に示す数値は、画素の座標を示している。線分領域４０８ａ、４０８ｂは、ｙ軸の３５０番目の画素のラインにおいて、ｘ軸の９０番目から１９０番目までの画素で構成される領域であり、路面画像４０７ａのｘ軸方向と平行である。
【００３２】
なお、本実施の形態では、路面画像４０７ａ、４０７ｂから抽出される線分領域は、ｙ軸の３５０番目の画素のラインとしたが、これに限定されない。上述したとおり、路面画像は車両により近い位置で撮影されたものが好ましいため、線分領域は、例えば、ｙ軸の３５０番目以下の画素のラインにて抽出される画像であってもよい。
【００３３】
ステップＳ３０２において、画像取得部１０１は、さらに、取得した路面画像４０７ａ（または４０７ｂ）から、白線領域４０４の一部を含む線分領域４０８ａ（または４０８ｂ）を抽出する。
【００３４】
ステップＳ３０３において、モーションブラー算出部１０２は、画像取得部１０１が取得した線分領域４０８ａ（または４０８ｂ）から、モーションブラーの幅を算出する。ここではまず、モーションブラー算出部１０２は、線分領域４０８ａまたは４０８ｂにおいて、ｘ軸における９０番目の画素から１９０番目の画素まで順番に輝度値を算出する。この輝度値の算出結果の例を図５に示す。
【００３５】
図５は、モーションブラー算出部１０２により算出された画素ごとの輝度値の変化を示すグラフである。図５において、横軸は、図４における線分領域４０８ａまたは４０８ｂのｘ軸の画素番号を示し、縦軸は、各画素番号の画素の輝度値を示している。グラフ５０１は、車速が時速６０ｋｍのときに露光時間３００ｍｓで撮影された線分領域４０８ａに含まれる画素の輝度値を○でプロットしたグラフである。グラフ５０２は、車速が時速６０ｋｍのときに露光時間３００ｍｓで撮影された線分領域４０８ｂに含まれる画素の輝度値を△でプロットしたグラフである。
【００３６】
グラフ５０１の場合、モーションブラー算出部１０２は、最大輝度値２５０（白線領域４０４の輝度値）と最小輝度値１５０（アスファルト領域４０１の輝度値）との間の画素数を算出し、モーションブラーの幅とする。具体的には、横軸の１３０番目付近または１８０番目付近の３画素（○の数）をモーションブラーの幅とする。
【００３７】
グラフ５０２の場合も同様である。モーションブラー算出部１０２は、最大輝度値２５０（白線領域
０４の輝度値）と最小輝度値１５０（アスファルト領域４０１の輝度値）との間の画素数を算出し、モーションブラーの幅とする。具体的には、横軸の１１０番目付近から１３０番目付近または１５０番目付近の画素から１８０番目付近までの２７画素（△の数）をモーションブラーの幅とする。
【００３８】
以上のようにして、モーションブラー算出部１０２は、線分領域４０８ａまたは４０８ｂに含まれる画素ごとに輝度値を算出し、その輝度値の最大値から最小値まで変化する間の横軸の画素数をモーションブラーの幅とする。
【００３９】
ステップＳ３０４において、走行状態判定部１０３は、モーションブラー算出部１０２が算出したモーションブラーの幅と、予め定められたしきい値とに基づいて、車両の走行状態を判定する。この走行状態判定処理の一例について以下に説明する。
【００４０】
ステップＳ３０４において、走行状態判定部１０３は、モーションブラーの幅がしきい値未満であるか否かを判定する。モーションブラーの幅がしきい値未満である場合（ステップＳ３０４：ＹＥＳ）、フローはステップＳ３０５に進む。一方、モーションブラーの幅がしきい値以上の場合（ステップＳ３０４：ＮＯ）、フローはステップＳ３０６に進む。
【００４１】
ステップＳ３０５において、走行状態判定部１０３は、車両２０２が基準直線２０５に沿って走行している状態（図２Ａに示すように、ベクトル２０６が基準直線２０５と一致している状態）であると判定する。よって、この場合、車両２０２は、白線２０３、２０４に沿って走行していると判定される。
【００４２】
ステップＳ３０６において、走行状態判定部１０３は、車両２０２が基準直線２０５からずれて走行している状態（図２Ｂに示すように、ベクトル２０６が基準直線２０５と一致していない状態）であると判定する。よって、この場合、車両２０２は、白線２０３、２０４に沿って走行していないと判定される。
【００４３】
以上のように、本実施の形態の画像処理装置１００は、上述した白線領域とアスファルト領域の境界におけるモーションブラーの発生を利用することにより、より簡易な構成（車載カメラから取得した路面画像のみ）で、車両が白線に沿って走行していることを正確に判定できる。
【００４４】
具体的には、画像処理装置１００は、図２Ａに示すように車両が白線に沿って走行しているか、または、図２Ｂに示すように車両が白線に沿って走行していないかを判定できる。
【００４５】
（実施の形態２）
本発明の実施の形態２に係る画像処理装置について説明する。
【００４６】
本実施の形態の画像処理装置６００の構成について説明する。図６は、本実施の形態の画像処理装置６００の構成例を示すブロック図である。なお、図６において、実施の形態１と同様の構成については同一符号を付し、その詳細な説明は省略する。
【００４７】
画像取得部１０１は、設定したカメラの露光時間を、走行状態判定部６０３へ通知する。
【００４８】
カメラの露光時間が異なるとモーションブラーの幅も異なる。具体的には、露光時間が２倍長くなると、同じ車速の場合、露光している間に被写体である白線がぶれる量も２倍となり、撮影した画像に積算されるモーションブラーの幅も２倍になる。
【００４９】
走行状態判定部６０３は、露光時間としきい値とが紐付けられたデータを有する。このデータは、例えば、露光時間が長くなるほど、しきい値が大きくなるように設定されている。そして、走行状態判定部６０３は、画像取得部１０１から露光時間の通知を受けると、その露光時間に紐付けられたしきい値を選択する。そして、走行状態判定部６０３は、選択したしきい値と、モーションブラー算出部１０２が算出したモーションブラーの幅とに基づいて、車両の走行状態を判定する。
【００５０】
次に、本実施の形態の画像処理装置６００の動作について説明する。図７は、本実施の形態の画像処理装置６００の動作例を示すフローチャートである。なお、図７において、実施の形態１と同様の動作については同一符号を付し、その詳細な説明は省略する。
【００５１】
ステップＳ７０１において、画像取得部１０１は、カメラの露光時間を設定する。ここで設定される値は、例えば、１００ｍｓ、３００ｍｓ、５００ｍｓのいずれかが挙げられる。そして、画像取得部１０１は取得した路面画像をモーションブラー算出部１０２へ送り、設定したカメラの露光時間を走行状態判定部６０３へ通知する。
【００５２】
ステップＳ３０２〜Ｓ３０３の説明は省略する。
【００５３】
ステップＳ７０２において、走行状態判定部６０３は、判定に用いるしきい値を選択する。すなわち、走行状態判定部６０３は、画像取得部１０１から通知された露光時間に該当するしきい値を、予め定められた露光時間としきい値とが紐付けられたデータから選択する。例えば、しきい値は、露光時間がＮｍｓの場合、Ｎ／２０とする。具体的には、露光時間が１００ｍｓの場合は５、露光時間が３００ｍｓの場合は１５、露光時間が５００ｍｓの場合は２５とする。
【００５４】
ステップＳ３０４において、走行状態判定部６０３は、モーションブラー算出部１０２が算出したモーションブラーの幅と、しきい値とに基づいて、車両の走行状態を判定する。この走行状態判定処理の一例について以下に説明する。
【００５５】
ステップＳ３０４におけるモーションブラー算出部１０２による輝度値の算出結果の例を図８に示す。
【００５６】
図８は、モーションブラー算出部１０２により算出された画素ごとの輝度値の変化を示すグラフである。図８の横軸および縦軸は、図５と同じである。また、図８において、グラフ５０１およびグラフ５０２は、図５と同じである。グラフ８０３は、車速が時速６０ｋｍのときに露光時間１００ｍｓで撮影された線分領域４０８ｂに含まれる画素の輝度値を＋でプロットしたグラフである。グラフ８０４は、車速時速６０ｋｍのときに露光時間５００ｍｓで撮影された線分領域４０８ｂに含まれる画素の輝度値を×でプロットしたグラフである。
【００５７】
走行状態判定部６０３は、グラフ５０１の場合、グラフ５０１のモーションブラーの幅３に対し、露光時間が３００ｍｓであるためしきい値１５を設定し、モーションブラーの幅がしきい値未満であることから、白線に沿って走行していると判定する。また、走行状態判定部６０３は、グラフ５０２の場合、グラフ５０２のモーションブラーの幅２７に対し、露光時間が３００ｍｓであるためしきい値１５を設定し、モーションブラーの幅がしきい値以上であることから、白線に沿って走行していないと判定する。同様に、走行状態判定部６０３は、グラフ８０３の場合、グラフ８０３のモーションブラーの幅１０に対し、露光時間が１００ｍｓであるためしきい値５を設定し、モーションブラーの幅がしきい値以上であることから、白線に沿って走行していないと判定する。同様に、走行状態判定部６０３は、グラフ８０４の場合、グラフ８０４のモーションブラーの幅４１に対し、露光時間が５００ｍｓであるためしきい値２５を設定し、モーションブラーの幅がしきい値以上であることから、白線に沿って走行していないと判定する。
【００５８】
ステップＳ３０５〜Ｓ３０６の説明は省略する。
【００５９】
以上のように、本実施の形態の画像処理装置６００によれば、実施の形態１の特徴に加え、カメラの露光時間に応じてしきい値を選択することを特徴とする。よって、画像処理装置６００は、より簡易な構成で、任意の露光時間に応じて、車両が白線に沿って走行しているか否かを正確に判定できる。
【００６０】
（実施の形態３）
本発明の実施の形態３に係る画像処理装置について説明する。
【００６１】
まず、本実施の形態の画像処理装置９００の構成について説明する。図９は、本実施の形態の画像処理装置９００の構成例を示すブロック図である。なお、図９において、実施の形態１と同様の構成については同一符号を付し、その詳細な説明は省略する。
【００６２】
車速取得部９０５は、走行中の車両の車速を取得する。そして、車速取得部９０５は、取得した車速を、撮像制御部９０４と走行状態判定部９０３へ通知する。
【００６３】
車速が異なるとモーションブラーの幅も異なる。具体的には、車速が２倍速くなると、同じ露光時間の場合、露光している間に被写体である白線がぶれる量も２倍となり、撮影した画像に積算されるモーションブラーの幅も２倍になる。また、車速が２倍になり、露光時間を１／２にすると、モーションブラーの幅は同じになる。
【００６４】
撮像制御部９０４は、車速取得部９０５で取得された車速に応じて、カメラの露光時間を決定する。例えば、撮像制御部９０４は、車速が速いほど、カメラの露光時間が短くなるように決定する。そして、撮像制御部９０４は、決定した露光時間を、画像取得部９０１と走行状態判定部９０３へ通知する。
【００６５】
画像取得部９０１は、車載カメラで、撮像制御部９０４から通知された露光時間撮影された路面画像を取得する。
【００６６】
走行状態判定部９０３は、予め車速および露光時間としきい値とが紐付けられたデータを有する。このデータは、例えば、車速が速くなるほど、また露光時間が長くなるほど、しきい値が大きくなるように設定されている。そして、走行状態判定部９０３は、車速取得部９０５から車速の通知を受け、かつ、撮像制御部９０４から露光時間の通知を受けると、その車速および露光時間に紐付けられたしきい値を選択する。そして、走行状態判定部９０３は、選択したしきい値と、モーションブラー算出部１０２が算出したモーションブラーの幅とに基づいて、車両の走行状態を判定する。
【００６７】
次に、本実施の形態の画像処理装置９００の動作について説明する。図１０は、本実施の形態の画像処理装置９００の動作例を示すフローチャートである。なお、図１０において、実施の形態１と同様の動作については同一符号を付し、その詳細な説明は省略する。
【００６８】
ステップＳ１０００において、車速取得部９０５は、走行中の車両の車速を取得し、撮像制御部９０４および走行状態判定部９０３へ通知する。
【００６９】
ステップＳ１００１において、撮像制御部９０４は、車速取得部９０５から通知された車速に基づいて、カメラの露光時間を決定し、画像取得部９０１と走行状態判定部９０３へ通知する。画像取得部９０１は、撮像制御部９０４から通知されたカメラの露光時間を設定する。
【００７０】
ステップＳ３０２〜Ｓ３０３の説明は省略する。
【００７１】
ステップＳ１００２において、走行状態判定部９０３は、判定に用いるしきい値を選択する。すなわち、走行状態判定部９０３は、車速取得部９０５から通知された車速および撮像制御部９０４から通知された露光時間に該当するしきい値を、予め定められた車速および露光時間としきい値とが紐付けられたデータから選択する。例えば、しきい値は、露光時間がＮｍｓ、車速が時速Ｍｋｍの場合、Ｎ／２０・Ｍ／６０とする。具体的には、露光時間が３００ｍｓで車速が時速４０ｋｍの場合は１０、露光時間が３００ｍｓで車速が時速６０ｋｍの場合は１５、露光時間が３００ｍｓで車速が時速１００ｋｍの場合は２５とする。
【００７２】
ステップＳ３０４において、走行状態判定部９０３は、モーションブラー算出部１０２が算出したモーションブラーの幅と、予め定められたしきい値とに基づいて、車両の走行状態を判定する。この走行状態判定処理の一例について以下に説明する。
【００７３】
ステップＳ３０４におけるモーションブラー算出部１０２による輝度値の算出結果の例を図１１に示す。
【００７４】
図１１は、モーションブラー算出部１０２により算出された画素ごとの輝度値の変化を示すグラフである。図１１の横軸および縦軸は、図５と同じである。また、図１１において、グラフ５０１およびグラフ５０２は、図５と同じである。グラフ１１０３は、車速が時速４０ｋｍのときに露光時間３００ｍｓで撮影された線分領域４０８ｂに含まれる画素の輝度値を＋でプロットしたグラフである。グラフ１１０４は、車速が時速１００ｋｍのときに露光時間３００ｍｓで撮影された線分領域４０８ｂに含まれる画素の輝度値を×でプロットしたグラフである。
【００７５】
走行状態判定部９０３は、グラフ５０１の場合、グラフ５０１のモーションブラーの幅３に対し、露光時間が３００ｍｓで時速６０ｋｍであるためしきい値１５を設定し、モーションブラーの幅がしきい値未満であることから、白線に沿って走行していると判定する。また、走行状態判定部９０３は、グラフ５０２の場合、グラフ５０２のモーションブラーの幅２７に対し、露光時間が３００ｍｓで時速６０ｋｍであるためしきい値１５を設定し、モーションブラーの幅がしきい値以上であることから、白線に沿って走行していないと判定する。同様に、走行状態判定部９０３は、グラフ１１０３の場合、グラフ１１０３のモーションブラーの幅２０に対し、露光時間が３００ｍｓで時速４０ｋｍであるためしきい値１０を設定し、モーションブラーの幅がしきい値以上であることから、白線に沿って走行していないと判定する。同様に、走行状態判定部９０３は、グラフ１１０４の場合、グラフ１１０４のモーションブラーの幅３６に対し、露光時間が３００ｍｓで時速１００ｋｍであるためしきい値２５を設定し、モーションブラーの幅がしきい値以上であることから、白線に沿って走行していないと判定する。
【００７６】
ステップＳ３０５〜Ｓ３０６の説明は省略する。
【００７７】
以上のように、本実施の形態の画像処理装置９００によれば、実施の形態１の特徴に加え、車速およびカメラの露光時間に応じてしきい値を選択することを特徴とする。よって、画像処理装置９００は、より簡易な構成で、任意の車速および露光時間に応じて、車両が白線に沿って走行していることを正確に判定できる。
【００７８】
（実施の形態４）
本発明の実施の形態４に係る画像処理装置について説明する。
【００７９】
まず、本実施の形態の画像処理装置１２００の構成について説明する。図１２は、本実施の形態の画像処理装置１２００の構成例を示すブロック図である。なお、図１２において、実施の形態３と同様の構成については同一符号を付し、その詳細な説明は省略する。
【００８０】
モーションブラー算出部１０２は、算出したモーションブラーを、走行状態判定部９０３だけでなく、撮像制御部１２０４にも通知する。
【００８１】
撮像制御部１２０４は、モーションブラー算出部１０２が算出したモーションブラーに基づいて、車速を推定する。そして、撮像制御部１２０４は、推定した車速に応じてカメラの露光時間を決定する。そして、撮像制御部１２０４は、画像取得部９０１に対して露光時間を通知し、走行状態判定部９０３に対して車速および露光時間を通知する。
【００８２】
次に、本実施の形態の画像処理装置１２００の動作について説明する。図１３は、本実施の形態の画像処理装置１２００の動作例を示すフローチャートである。なお、図１３において、実施の形態３と同様の動作については同一符号を付し、その詳細な説明は省略する。
【００８３】
ステップＳ１００１において、撮像制御部１２０４は、デフォルト値として第１の露光時間を設定し、画像取得部９０１に対して第１の露光時間を通知する。
【００８４】
ステップＳ３０２において、画像取得部９０１は、撮像制御部１２０４から通知された第１の露光時間を設定し、第１の露光時間で撮影された第１の路面画像を取得し、第１の路面画像をモーションブラー算出部１０２へ送る。
【００８５】
ステップＳ３０３において、モーションブラー算出部１０２は、第１の露光時間で撮影された第１の路面画像から算出した第１のモーションブラーの幅を、撮像制御部１２０４へ通知する。
【００８６】
ステップＳ１３００において、撮像制御部１２０４は、第１の露光時間と、モーションブラー算出部１０２から通知された第１のモーションブラーの幅に基づいて、走行中の車両の車速を推定する。
【００８７】
ステップＳ１００１において、撮像制御部１２０４は、推定した車速に基づいて、第２の露光時間を設定する。具体的には、実測する複数の時速とモーションブラーの幅との組から近似多項式を求める。例えば、車両が基準直線から１度ずれていて、時速４０ｋｍのときのモーションブラーの幅が２０、時速６０ｋｍのときのモーションブラーの幅が２７、時速１００ｋｍのときのモーションブラーの幅が３６、かつ時速０ｋｍのときのモーションブラーの幅が０となる近似多項式は、推定する時速をｙ、算出するモーションブラーの幅をｘとするとき、ｙ＝０．００１９ｘ３−０．０５６ｘ２＋２．３７７ｘとなる。次に、求めた近似多項式に、算出した第１のモーションブラーの幅を代入して車速を求める。例えば、モーションブラーの幅２０を代入して車速時速４０．２ｋｍを求める。続いて、走行中の車両が基準直線からずれている度合い、つまり車両進行方向と基準直線（白線の方向）のなす角度、を算出する。例えば、撮像制御部１２０４は、モーションブラー算出部１０２により算出されたモーションブラーの幅をｄとし、車両が１度ずれて走行する場合のモーションブラーの幅をΔｄとするとき、ステップＳ１３００において、車両が基準直線からずれている度合いｄ／Δｄを算出する。具体的には、Δｄを２５画素とした場合、図１１において、グラフ５０２が輝度値２５０から降下し始め１５０へ降下し終わるまでの横軸の値は、１５０から１７５まで２５となり、車両が基準直線からずれている度合いｄ／Δｄは１度と算出される。近似多項式を求めた際の車両が基準直線からずれている度合いが、算出した車両が基準直線からずれている度合いとほぼ同じである場合、推定した車速を有効な推定値とする。
【００８８】
ステップＳ１００１において、撮像制御部１２０４は、画像取得部９０１に対して第２の露光時間を通知し、走行状態判定部９０３に対して車速および第２の露光時間を通知する。
【００８９】
ステップＳ３０２において、画像取得部９０１は、撮像制御部１２０４から通知された第２の露光時間を設定して第２の路面画像を取得し、第２の路面画像をモーションブラー算出部１０２へ送る。
【００９０】
ステップＳ３０３において、モーションブラー算出部１０２は、第２の路面画像から第２のモーションブラーの幅を算出し、第２のモーションブラーの幅を撮像制御部１２０４と走行状態判定部９０３へ通知する。撮像制御部１２０４へ通知された第２のモーションブラーの幅は、次の処理サイクルにおける車速の推定に用いられる。
【００９１】
ステップＳ１００２、Ｓ３０４〜Ｓ３０６の説明は省略する。
【００９２】
以上のように、本実施の形態の画像処理装置１２００によれば、実施の形態３の特徴に加え、露光時間およびモーションブラーの幅に基づいて車速を推定することを特徴とする。よって、画像処理装置１２００は、車速取得部９０５を備える必要がないため、実施の形態３よりも簡易な構成で、任意の車速および露光時間に応じて、車両が白線に沿って走行していることを正確に判定できる。
【００９３】
（実施の形態５）
本発明の実施の形態５に係る画像処理装置について説明する。
【００９４】
まず、本実施の形態の画像処理装置１４００の構成について説明する。図１４は、本実施の形態の画像処理装置１４００の構成例を示すブロック図である。なお、図１４において、実施の形態３と同様の構成については同一符号を付し、その詳細な説明は省略する。
【００９５】
モーションブラー算出部１４０２は、画像取得部９０１が取得した路面画像から、２つの線分領域のそれぞれについてモーションブラーの幅を算出する。そして、モーションブラー算出部１４０２は、算出した２つのモーションブラーの幅を、走行状態判定部９０３と車両姿勢判定部１４０６へ通知する。
【００９６】
車両姿勢判定部１４０６は、車両の姿勢にピッチ角方向の姿勢変動（以降、「ピッチ角変動」という）があるか否かを判定し、走行状態判定部９０３へ通知する。
【００９７】
走行状態判定部９０３は、車両姿勢判定部１４０６から通知された車両のピッチ角変動がない場合にのみ、モーションブラー算出部１４０２から通知された２つのモーションブラーの幅の少なくともいずれかひとつに基づいて、車両の走行状態の判定を行う。
【００９８】
ここで、本実施の形態に係る車両の姿勢の例について説明する。図１６は、車両が道路上を走行している様子を示す側面図である。なお、図１６において、図２と共通する部分には、同一の符号を付している。
【００９９】
図１６Ａは、車両の姿勢変動がない状態を示している。図１６Ａにおいて、車両２０２の進行方向を示すベクトル２０６は道路２０１の面と平行である。図１６Ａは、車両２０２が、図１６Ａの状態から、図１６Ａの状態へ時系列で変化している状態を示しており、車両２０２の進行方向を示すベクトル２０６は、道路２０１の面と平行の状態から、同様に道路２０１面と平行の状態へ変化し、ベクトル２０６と道路２０１の面とが成す角度の変動であるピッチ角変動は、０度である。
【０１００】
図１６Ｂは、車両の姿勢変動がある第１の状態を示している。図１６Ｂにおいて、ベクトル２０６は道路２０１の面に対して、進行方向に向かって下方へ１度ずれている。図１６Ｂは、車両２０２が、図１６Ａの状態から、図１６Ｂの状態へ時系列で変化している状態を示しており、車両２０２の進行方向を示すベクトル２０６は、道路２０１の面と平行の状態から、道路２０１面と進行方向に向かって下方へ１度ずれた状態へ変化し、ベクトル２０６と道路２０１の面とが成す角度の変動であるピッチ角変動は、−１度である。
【０１０１】
図１６Ｃは、車両の姿勢変動がある第２の状態を示している。図１６Ｃにおいて、ベクトル２０６は道路２０１の面に対して進行方向に向かって上方へ１度ずれている。図１６Ｃは、車両２０２が、図１６Ａの状態から、図１６Ｃの状態へ時系列で変化している状態を示しており、車両２０２の進行方向を示すベクトル２０６は、道路２０１の面と平行の状態から、道路２０１面と進行方向に向かって上方へ１度ずれた状態へ変化し、ベクトル２０６と道路２０１の面とが成す角度の変動であるピッチ角変動は、＋１度である。
【０１０２】
次に、図１６Ａ〜Ｃのそれぞれにおいて撮影された画像の例について説明する。図１７Ａは、図１６Ａの姿勢変動がない状態のときに撮影された路面画像と、その一部を拡大した画像の例を示す図である。図１７Ｂは、図１６Ｂの姿勢変動がある第１の状態のときに撮影された路面画像と、その一部を拡大した画像の例を示す図である。図１７Ｃは、図１６Ｃの姿勢変動がある第２の状態のときに撮影された路面画像と、その一部を拡大した画像の例を示す図である。なお、図１７Ａ〜Ｃに示す各画像は、カメラにて撮影された画像そのままとして説明するが、カメラにて撮影された画像に対して画像取得部９０１が所定の処理を施した画像であってもよい。
【０１０３】
図１７Ａ〜Ｃに示す路面画像は、例として、車両２０２が時速６０ｋｍにて白線２０３、２０４に沿って走行しているときに露光時間３００ｍｓで撮影された画像とする。
【０１０４】
図１７Ａにおいて、路面画像１７０７ａは、アスファルト領域４０１、白線領域４０３、および白線領域４０４を含む。矩形領域１７０５ａは、路面画像１７０７ａの一部分である矩形の領域であり、白線領域４０４の一部分とアスファルト領域１７０１ａの一部分とを含む。一方、矩形領域１７０６ａは、路面画像１７０７ａの一部分である矩形の領域であり、白線領域３０３の一部分とアスファルト領域１７０１ａの一部分とを含む。また、線分領域１７０８ａは、矩形領域１７０５ａの一部分である線分の領域であり、白線領域４０４の一部分とアスファルト領域１７０１ａの一部分とを含む。一方、線分領域１７０９ａは、矩形領域１７０６ａの一部分である線分の領域であり、白線領域４０３の一部分とアスファルト領域１７０１ａの一部分とを含む。
【０１０５】
また、路面画像１７０７ａおよび矩形領域１７０５ａ、１７０６ａにおいて、ｘ軸およびｙ軸を定義している。各軸に示す数値は、画素の座標を示している。線分領域１７０８ａは、ｙ軸の２７０番目の画素のラインにおいて、ｘ軸の４０番目から１３０番目までの画素で構成される領域である。一方、線分領域１７０９ａは、ｙ軸の２７０番目の画素のラインにおいて、ｘ軸の５９０番目から６８０番目までの画素で構成される領域である。
【０１０６】
また、矩形領域１７０５ａおよび線分領域１７０８ａと、矩形領域１７０６ａおよび線分領域１７０９ａとは、ｘ軸の中央の画素ラインＸ１を基準として左右対称の位置関係（規定の位置関係の一例）にある。このように本実施の形態では、モーションブラー算出部１４０２によって、線分領域１７０８ａと線分領域１７０９ａとが抽出され、それぞれのモーションブラーの幅が算出される。
【０１０７】
なお、本実施の形態では、路面画像１７０７ａから抽出される線分領域は、ｙ軸の２７０番目の画素のラインとしたが、これに限定されない。上述したとおり、路面画像は車両により近い位置で撮影されたものが好ましいため、線分領域は、例えば、ｙ軸の２７０番目以下の画素のラインにて抽出される画像であってもよい。
【０１０８】
図１７Ｂおよび図１７Ｃの構成は、上述した図１７Ａと同様であるので、ここでの説明は省略する。なお、図１７Ｂ、図１７Ｃでは、図１７Ａに示す画素ラインＸ１の図示を省略しているが、線分領域１７０８ｂと線分領域１７０９ｂ、および、線分領域１７０８ｃと線分領域１７０９ｃは、それぞれ、画素ラインｘ１を基準として左右対称の位置関係にある。
【０１０９】
図１７Ｂおよび図１７Ｃからは、車両２０２が白線２０３、２０４に沿って走行している場合でも、車両２０２のピッチ角変動があれば、路面画像にモーションブラーが発生することがわかる。これは、露光時間の間に、ピッチ角変動により撮影画像が上下方向にぶれるため、被写体である白線の領域が、白線の延長線方向（撮像画面上では斜め方向）ではなく、撮影画像の上下方向へぶれて露光されるため（被写体ぶれではなく、カメラぶれによる影響が発生するため）である。よって、車両のピッチ角変動がある場合、車両２０２が白線２０３、２０４に沿って走行しているにもかかわらず、白線２０３、２０４に沿って走行していないと誤判定されるおそれがある。また、白線の位置がずれることにより、消失点などを求めて用いる画像処理を行う際には不具合が生じる。
【０１１０】
そこで、本実施の形態の画像処理装置１４００は、上記誤判定や不具合を防ぐため、車両のピッチ角変動がない場合にのみ走行状態判定を行うように動作する。以下、本実施の形態の画像処理装置１４００の動作について説明する。図１５は、本実施の形態の画像処理装置１４００の動作例を示すフローチャートである。なお、図１５において、実施の形態３と同様の動作については同一符号を付し、その詳細な説明は省略する。
【０１１１】
ステップＳ１０００〜Ｓ１００２、Ｓ３０２、Ｓ３０５〜Ｓ３０６の説明は省略する。
【０１１２】
ステップＳ１５０３において、モーションブラー算出部１４０２は、画像取得部９０１が取得した路面画像から、白線領域を含む領域を抽出する。例えば、路面画像１７０７ａの場合、モーションブラー算出部１４０２は、線分領域１７０８ａ、１７０９ａを抽出する。なお、路面画像１７０７ｂの場合または路面画像１７０７ｃの場合も同様に、２つの線分領域が抽出される。
【０１１３】
モーションブラー算出部１４０２は、抽出した領域から、それぞれ、モーションブラーの幅を算出する。ここではまず、モーションブラー算出部１４０２は、線分領域１７０８ａにおいて、１３０番目の画素から４０番目の画素まで順番に輝度値を算出する。また、モーションブラー算出部１４０２は、線分領域１７０９ａにおいて、６８０番目の画素から５９０番目の画素まで順番に輝度値を算出する。この輝度値の算出結果の例を図１８に示す。
【０１１４】
図１８は、モーションブラー算出部１４０２により算出された画素ごとの輝度値の変化を示すグラフである。図１８において、横軸は、図１７における線分領域１７０８ａおよび１７０９ａのｘ軸の画素番号を示し、縦軸は、各画素番号の画素の輝度値を示している。グラフ１８０１Ｒは線分領域１７０８ａに含まれる画素の輝度値を、また、グラフ１８０１Ｌは線分領域１７０９ａに含まれる画素の輝度値を、それぞれ、○でプロットしたグラフである。グラフ１８０２Ｒは線分領域１７０８ｂに含まれる画素の輝度値を、また、グラフ１８０２Ｌは線分領域１７０９ｂに含まれる画素の輝度値を、それぞれ、△でプロットしたグラフである。グラフ１８０３Ｒは線分領域１７０８ｃに含まれる画素の輝度値を、また、グラフ１８０３Ｌは線分領域１７０９ｃに含まれる画素の輝度値を、それぞれ、＋でプロットしたグラフである。各グラフに基づくモーションブラーの幅の算出方法は、実施の形態１で説明したので、ここでの説明は省略する。
【０１１５】
そして、モーションブラー算出部１４０２は、線分領域ごとに算出した画素ごとの輝度値の変化を、車両姿勢判定部１４０６へ通知し、線分領域ごとに算出したモーションブラーの幅（第１のモーションブラーの幅、第２のモーションブラーの幅）の少なくともいずれか１つを、走行状態判定部９０３へ通知する。
【０１１６】
なお、本実施の形態では、車両がレーンマーカに沿って走行しているときの例として図１８を用いて説明したが、車両がレーンマーカに沿って走行していないときの例を、図１９に示す。図１９は、車両がレーンマーカに沿って走行していないときにおいて、モーションブラー算出部１４０２が２つの線分領域の輝度値を算出した結果を示すグラフである。
【０１１７】
図１９において、横軸は、図１７における線分領域１７０８ａおよび１７０９ａのｘ軸の画素番号を示し、縦軸は、各画素番号の画素の輝度値を示している。グラフ１９０１Ｒは線分領域１７０８ａに含まれる画素の輝度値を、また、グラフ１９０１Ｌは線分領域１７０９ａに含まれる画素の輝度値を、それぞれ、○でプロットしたグラフである。グラフ１９０２Ｒは線分領域１７０８ｂに含まれる画素の輝度値を、また、グラフ１９０２Ｌは線分領域１７０９ｂに含まれる画素の輝度値を、それぞれ、△でプロットしたグラフである。グラフ１９０３Ｒは線分領域１７０８ｃに含まれる画素の輝度値を、また、グラフ１９０３Ｌは線分領域１７０９ｃに含まれる画素の輝度値を、それぞれ、＋でプロットしたグラフである。各グラフに基づくモーションブラーの幅の算出方法は、実施の形態１で説明したので、ここでの説明は省略する。
【０１１８】
ステップＳ１５０１において、車両姿勢判定部１４０６は、線分領域ごとに算出した画素ごとの輝度値の変化から、第１の線分領域１８０１Ｌ、１８０２Ｌ．１８０３Ｌにおいて輝度値が最大値を継続する範囲（以降、「ピーク範囲」という）と、第２の線分領域１８０１Ｒ、１８０２Ｒ、１８０３Ｒのピーク範囲とのそれぞれの差分（以降、「ピーク範囲間距離」という）を求め、ピーク範囲間距離が所定距離に近似であるか否か（すなわち、所定距離を基準として±ｎの範囲内にあるか否か）を判定する。ピーク範囲間距離は、２つの線分領域において左右対称の位置関係にある２つの画素間の距離である。２つの画素は、例えば図１８において、グラフ１８０１Ｒのうち、ピーク範囲の中央（中間）である座標値８５にある画素と、グラフ１８０１Ｌのうち、ピーク範囲の中央である座標値６３５にある画素である。この場合、座標値６３５と座標値８５の差分５５０が、ピーク範囲間距離となる。所定距離は、例えば、５５０である。よって、グラフ１８０２Ｒ、１８０２Ｌの場合、それら２つのグラフは、グラフ１８０１Ｒ、１８０１Ｌと比べて互いに遠ざかっているので、ピーク範囲間距離は所定距離より長くなり、所定距離に近似ではないことになる。また、グラフ１８０３Ｒ、１８０３Ｌの場合、それら２つのグラフはグラフ１８０１Ｒ、１８０１Ｌと比べて互いに近づいているので、ピーク範囲間距離は所定距離より短くなり、所定距離に近似ではないことになる。
【０１１９】
ステップＳ１５０１の判定の結果、ピーク範囲間距離が所定距離に近似ではない場合（ステップＳ１５０１：ＮＯ）、フローはステップＳ１０００へ戻る。一方、ステップＳ１５０１の判定の結果、ピーク範囲間距離が所定距離に近似である場合（ステップＳ１５０１：ＹＥＳ）、フローはステップＳ１５０２へ進む。
【０１２０】
ステップＳ１５０２において、車両姿勢判定部１４０６は、第１の線分領域の輝度値の変化のグラフ形状と、第２の線分領域の輝度値の変化のグラフ形状とが、近似であるか否かを判定する。例えば、図１９において、グラフ１９０１Ｌとグラフ１９０１Ｒの中央値を重ねて輝度値の差分面積が所定面積値より小さいことから、形状が近似であるとする。また、グラフ１９０２Ｌとグラフ１９０２Ｒの中央値を重ねて輝度値の差分面積が所定面積値より大きいことから、形状が近似でないとする。同様に、グラフ１９０３Ｌとグラフ１９０３Ｒの中央値を重ねて輝度値の差分面積が所定面積値より大きいことから、形状が近似でないとする。
【０１２１】
判定の結果、形状が近似ではない場合（ステップＳ１５０２：ＮＯ）、フローはステップＳ１０００へ戻る。一方、判定の結果、形状が近似である場合（ステップＳ１５０２：ＹＥＳ）、フローはステップＳ１００２へ進む。このように、本実施の形態では、ピーク範囲間距離が所定距離に近似であり（ステップＳ１５０１：ＹＥＳ）、かつ、２つの線分領域の輝度値の変化のグラフ形状が近似である場合（ステップＳ１５０２：ＹＥＳ）、車両姿勢判定部１４０６は、車両のピッチ角変動がないと判定する。そして、車両のピッチ角変動がないと判定した場合のみ、ステップＳ１００２以降の走行状態判定へ進む。
【０１２２】
ステップＳ３０４において、走行状態判定部９０３は、モーションブラー算出部１４０２が算出した２つのモーションブラーの幅の少なくとも１つと、しきい値とに基づいて、車両の走行状態を判定する。
【０１２３】
以上のように、本実施の形態の画像処理装置１４００によれば、実施の形態３の特徴に加え、車両のピッチ角変動があるか否かを判定し、車両のピッチ角変動がない場合のみ走行状態判定を実行することを特徴とする。よって、画像処理装置１４００は、車両のピッチ角変動により発生するカメラぶれの影響を受けたモーションブラーの幅に基づいて走行状態判定を行うことを防止できる。
【０１２４】
なお、上述した実施の形態１〜５において、画像処理装置の走行状態判定部１０３、６０３および９０３は、以下のように動作してもよい。すなわち、走行状態判定部１０３、６０３および９０３は、走行中の車両が基準直線からずれている度合い、つまり車両進行方向と基準直線（白線の方向）のなす角度、を判定（算出）してもよい。例えば、走行状態判定部１０３、６０３および９０３は、モーションブラー算出部１４０２により算出されたモーションブラーの幅をｄとし、車両が１度ずれて走行する場合のモーションブラーの幅をΔｄとするとき、ステップＳ３０４において、車両が基準直線からｄ／Δｄ度ずれていると判定する。具体的には、Δｄを２５画素とした場合、図８において、グラフ５０１が輝度値２５０から１５０へ降下し始めるｘ軸の値１７５に対し、グラフ５０２が輝度値２５０から１５０へ降下し始めるｘ軸の値１５０となり、ｘ軸の値の差分２５から進行方向と白線とのずれが１度と算出する。これにより、画像処理装置は、車両がレーンマーカに沿って走行しているかの判定に加えて、車両が基準直線（レーンマーカと言ってもよい）に対して何度ずれて走行しているかも判定できる。
【０１２５】
（実施の形態６）
本発明の実施の形態６に係る画像処理装置について説明する。
【０１２６】
まず、本実施の形態の画像処理装置２０００の構成について説明する。図２０は、本実施の形態の画像処理装置２０００の構成例を示すブロック図である。なお、図２０において、実施の形態５と同様の構成については同一符号を付し、その詳細な説明は省略する。
【０１２７】
走行状態判定部９０３は、上述したように、車両が基準直線からｎ度ずれているかを判定する。そして、走行状態判定部９０３は、判定したずれの度合いを、レーンマーカ検出部２００７へ通知する。
【０１２８】
レーンマーカ検出部２００７は、走行状態判定部９０３から通知されたずれの度合いが、所定範囲内であるかを判定する。この判定の結果、ずれの度合いが所定範囲内である場合、レーンマーカ検出部２００７は、ずれの度合いに基づいてカメラの露光時間を決定し、撮像制御部９０４へ通知する。また、レーンマーカ検出部２００７は、画像取得部９０１から路面画像を取得し、レーンマーカを検出する。
【０１２９】
なお、図２０では、レーンマーカ検出部２００７が画像処理装置２０００に含まれない例としたが、これに限定されない。すなわち、レーンマーカ検出部２００７は、画像処理装置２０００の内部に備えられる装置であってもよい。
【０１３０】
撮像制御部９０４は、レーンマーカ検出部２００７から露光時間の通知を受けると、その露光時間を設定するように画像取得部９０１を制御する。
【０１３１】
画像取得部９０１は、撮像制御部９０４の制御により露光時間を設定する。また、画像取得部９０１は、路面画像および／または設定中の露光時間をレーンマーカ検出部２００７へ通知する。
【０１３２】
次に、本実施の形態の画像処理装置２０００の動作について説明する。図２１は、本実施の形態の画像処理装置２０００の動作例を示すフローチャートである。図２１は、実施の形態５の図１５のフローの後に実行されるフローである。
【０１３３】
また、図２２は、本実施の形態の画像処理装置２０００の動作を説明するための路面画像の例である。図２２において、２２０１は、レーンマーカである白線がかすれている状態において、通常の撮影における路面画像の例である。２２０２は、本実施の形態の画像処理装置２０００の画像取得部９０１が取得する撮影された路面画像の例である。２２０３は、本実施の形態の画像処理装置２０００のレーンマーカ検出部２００７が、路面画像からレーンマーカを検出する処理の前処理としてコントラストおよび明るさの補正処理を行った路面画像である。
【０１３４】
ステップＳ２１０１において、レーンマーカ検出部２００７は、走行状態判定部９０３からずれの度合いを取得する。
【０１３５】
ステップＳ２１０２において、レーンマーカ検出部２００７は、ずれの度合いが所定範囲内であるか否かを判定する。判定の結果、ずれの度合いが所定範囲内ではない場合（ステップＳ２１０２：ＮＯ）、フローはステップＳ２１０１へ戻る。一方、判定の結果、ずれの度合いが所定範囲である場合（ステップＳ２１０２：ＹＥＳ）、フローはステップＳ２１０３へ進む。
【０１３６】
ステップＳ２１０３において、レーンマーカ検出部２００７は、ずれの度合いに基づいて、カメラの露光時間を、画像取得部９０１から通知された露光時間よりも短い露光時間に決定する。例えば、レーンマーカ検出部２００７は、露光時間を５０ｍｓに決定する。そして、レーンマーカ検出部２００７は、決定した露光時間を撮像制御部９０４へ通知する。撮像制御部９０４は、レーンマーカ検出部２００７から通知された露光時間を設定するように、画像取得部９０１を制御する。
【０１３７】
ステップＳ２１０４において、画像取得部９０１は、撮像制御部９０４の制御により設定した露光時間で路面画像２２０２を取得する。そして、画像取得部９０１は、取得した路面画像２２０２をレーンマーカ検出部２００７へ通知する。路面画像２２０２は、本来の路面画像２２０１に比べ、かすれた白線領域のモーションブラーが重畳されることにより、レーンマーカが検出しやすい画像となっている。
【０１３８】
ステップＳ２１０５において、レーンマーカ検出部２００７は、画像取得部９０１から取得した路面画像２２０２に対して、さらに、コントラストおよび明るさ補正を行った路面画像２２０３を生成し、路面画像２２０３から輝度エッジを検出し、輝度エッジで囲まれた画像領域をレーンマーカとして検出する。
【０１３９】
以上のように、本実施の形態の画像処理装置２０００によれば、実施の形態５の効果に加え、ずれの度合いがレーンマーカ検出に求められる精度に対し所定範囲内である場合に、レーンマーカ検出に適したカメラの露光時間を設定し、その露光時間で取得した路面画像に対してレーンマーカ検出を行うことができる。
【０１４０】
（実施の形態における変形例）
以上、本発明の各実施の形態について説明したが、上記説明は一例であり、種々の変形が可能である。以下、幾つかの変形例を説明する。
【０１４１】
例えば、実施の形態５において、車両の姿勢を判定するためのパラメータとして、２つの線分領域にそれぞれ対応する２つのピーク範囲間距離を用いたが、２つ以上のピーク範囲を用いてもよい。または、車両姿勢を判定するためのパラメータは、ピーク範囲間距離ではなく、輝度値の変化のグラフ形状の違い、または、輝度値を示すグラフの占める面積の違いなどを用いるようにしてもよい。
【０１４２】
例えば、実施の形態５において、車両の姿勢を判定するためのパラメータとして、２つの線分領域にそれぞれ対応する２つの輝度値の変化グラフの面積の差分を用いたが、隣の画素の輝度値との差分グラフの形状や最大値と最小値の差分としてもよく、またこれら以外であってもよい。
【０１４３】
例えば、実施の形態５において、車両の姿勢を判定するためのパラメータとして、２つの線分領域にそれぞれ対応する２つの「ｘ軸の中央の座標値」の差分（距離）を用いたが、２つ以上の「横軸の中央の座標値」を用いてもよい。または、車両姿勢を判定するためのパラメータは、横軸の中央の座標値の差分以外であってもよい。
【０１４４】
例えば、実施の形態５、６において、画像処理装置は、車速取得部９０５を備えない構成としてもよい。すなわち、画像処理装置は、実施の形態４の画像処理装置１２００のように、撮像制御部１２０４において、モーションブラー算出部１０２からのモーションブラーの幅に基づいて、車速を推定するようにしてもよい。また、実施の形態４、５、６において、車速を推定する近似式は、白線に対して１度ずれている場合に限定されず、任意度数ずれている場合、所定範囲の度数ずれている場合や白線に沿って走行している場合、つまり白線に対してずれていない場合であってもよい。また、近似式は３次の多項式としたが、これ以外であってもよい。
【０１４５】
例えば、実施の形態１〜５において、通常のカメラの露光時間を１６ｍｓとし、画像取得部１０１、９０１が設定する露光時間を３００ｍｓとしたが、これらの値に限定されない。また、実施の形態６において、画像取得部９０１が設定する露光時間を５０ｍｓとしたが、この値に限定されない。
【０１４６】
例えば、実施の形態１〜６において、カメラにより撮影される路面画像は、図４Ａ、図４Ｂ、図１７Ａ、図１７Ｂ、図１７Ｃ、図２２に示す画像に限定されない。
【０１４７】
例えば、実施の形態１〜６において、線分領域の抽出方法は、上記実施の形態で説明した方法に限定されず、また、複数の方法を組み合せた方法であってもよい。
【０１４８】
例えば、実施の形態１〜６において、線分領域は、上記実施の形態で説明した領域に限定されない。例えば、線分領域は、二次元の画像領域としてもよいし、または、画素空間とは異なる空間領域（例えば、周波数変換した画像領域）としてもよい。
【０１４９】
例えば、実施の形態１〜６において、車両が基準直線からずれる度合いは右方向に１度としたが、ずれの度合いおよびずれる方向は、これに限定されない。
【０１５０】
例えば、実施の形態１〜６において、モーションブラーの幅は輝度値の最大定常ピークと最低定常ピークの間の横軸上の画素数（距離）としたが、これに限定されない。例えば、モーションブラーの幅は、輝度値の最大定常ピークと最低定常ピーク間の傾き（縦軸上の距離／横軸上の距離）であってもよいし、または、車両が直進している場合の輝度値の変化のグラフ形状の差分領域の面積などでもよい。
【０１５１】
例えば、実施の形態１〜６において、モーションブラー算出部１０２、１４０２は、路面画像のｘ軸において座標値が小さい方から大きい方へ順に画素の輝度値を算出したが、これに限定されない。例えば、モーションブラー算出部１０２は、路面画像のｘ軸において座標値が大きい方から小さい方へ順に画素の輝度値を算出してもよいし、または、白線の周辺画素から順次算出してもよい。
【０１５２】
例えば、実施の形態１〜４において、モーションブラーの幅の算出にあたり、白線領域４０４の一部分を含む線分領域のみを用いたが、これに限定されない。例えば、モーションブラー算出部１０２は、白線領域４０３の一部分を含む線分領域を用いてもよい。または、モーションブラー算出部１０２は、白線領域４０３の一部分および白線領域４０４の一部分の両方を用いてもよい。
【０１５３】
例えば、実施の形態１〜６において、モーションブラーの幅の算出にあたり、部分領域の一例として線分領域を用いたが、部分領域は線分に限定されない。
【０１５４】
例えば、実施の形態１〜６において、しきい値、しきい値を導出する式、所定距離、所定範囲は、上記実施の形態で説明した値に限定されない。
【０１５５】
例えば、実施の形態１〜６において、走行状態判定部１０３、６０３、９０３は、図２に示すように直線の道路を走行する車両の走行状態を判定するとしたが、一定の曲率を持つカーブの道路を走行する車両の走行状態も判定できる。また、走行状態判定部１０３、６０３，９０３は、一定の曲率を持つカーブの道路を走行する車両のずれの度合い（曲率を有する白線に対して何Ｒずれているか）を判定してもよい。
【０１５６】
例えば、実施の形態６において、レーンマーカ検出部は、車両検出部、車両認識部、歩行者検出部、歩行者認識部、交通標識検出部、交通標識認識部、路面状態検出部やその他の画像処理部であってもよい。また、露光時間は、５０ｍｓとしたが、それぞれの検出部や認識部において適切な露光時間であってよい。レーンマーカ検出部において、路面画像のコントラストおよび明るさ補正を行ったが、行わなくても良い、またその他の補正処理、変換処理、画像処理を行っても良い。
【０１５７】
例えば、実施の形態５および６において、車両姿勢判定部１４０６は、車両のピッチ角変動の有無を判定したが、車両のロール角変動の有無を判定してもよく、車両のピッチ角変動とロール角変動の両方の有無を判定してもよい。
【０１５８】
例えば、実施の形態５および６において、ピーク範囲間距離が所定距離に近似であり、かつ、２つの線分領域の輝度値の変化のグラフ形状が近似である場合、車両姿勢判定部１４０６は、車両のピッチ角変動がないと判定するとしたが、ピーク範囲間距離が所定距離に近似である場合、または、２つの線分領域の輝度値の変化のグラフ形状が近似である場合、どちらか一方の判定のみで車両姿勢判定部１４０６が、車両のピッチ角変動がないと判定するとしてもよい。
【産業上の利用可能性】
【０１５９】
本発明は、例えば、車両の走行中に車載カメラで撮影した路面画像に基づいて車両の運転を支援する技術全般、車載カメラのキャリブレーション、自動運転および隊列走行に関するシステムに適用することができる。
【符号の説明】
【０１６０】
１００、６００、９００、１２００、１４００、２０００  画像処理装置
１０１、９０１  画像取得部
１０２、１４０２  モーションブラー算出部
１０３、６０３、９０３  走行状態判定部
９０４、１２０４  撮像制御部
９０５  車速取得部
１４０６  車両姿勢判定部
２００７  レーンマーカ検出部
【図１】
2015001812.tif 000003
【図２Ａ】
2015001812.tif 000004
【図２Ｂ】
2015001812.tif 000005
【図３】
2015001812.tif 000006
【図５】
2015001812.tif 000007
【図６】
2015001812.tif 000008
【図７】
2015001812.tif 000009
【図８】
2015001812.tif 000010
【図９】
2015001812.tif 000011
【図１０】
2015001812.tif 000012
【図１１】
2015001812.tif 000013
【図１２】
2015001812.tif 000014
【図１３】
2015001812.tif 000015
【図１４】
2015001812.tif 000016
【図１５】
2015001812.tif 000017
【図１６Ａ】
2015001812.tif 000018
【図１６Ｂ】
2015001812.tif 000019
【図１６Ｃ】
2015001812.tif 000020
【図１８】
2015001812.tif 000021
【図１９】
2015001812.tif 000022
【図２０】
2015001812.tif 000023
【図２１】
2015001812.tif 000024
【図４Ａ】
2015001812.tif 000025
【図４Ｂ】
2015001812.tif 000026
【図１７Ａ】
2015001812.tif 000027
【図１７Ｂ】
2015001812.tif 000028
【図１７Ｃ】
2015001812.tif 000029
【図２２】
2015001812.tif 000030