(57)【特許請求の範囲】
【請求項１】
車載カメラで撮影された車両外部の画像フレームの各々から特徴点を算出する特徴点算出部と、
車両情報を取得する車両情報取得部と、
前記車両情報が前記車載カメラの画像には歪みが生じないことを示しているときの画像フレームを歪み無しフレームと見做して保存し、前記特徴点から各画像フレーム中の平面物体を抽出して各平面物体とその特徴点との関連付けを行うとともに、前記歪み無しフレームと前記特徴点とを対応付け、これらの対応付けられた特徴点の数が予め決められた閾値を越える各平面物体について、前記歪み無しフレームの平面物体に対する歪み量を求め、各画像フレームを前記歪み量に応じて画像補正する判定部とを備えた
車両画像処理装置。
【請求項２】
前記判定部は、前記車両情報として、エンジンＯＮ／ＯＦＦ状態、自車の車速、及び姿勢の少なくともいずれか一つを含む
請求項１に記載の車両画像処理装置。
【請求項３】
前記判定部は、前記歪み無し画像フレームの代わりに、予め登録された歪み無し画像フレームにおける平面物体を使用する
請求項１に記載の車両画像処理装置。
【請求項４】
前記判定部は、前記歪み量が予め決めた閾値を越える回数を加算し、この加算値が予め決めた回数を超えたとき、外部にカメラ固定状態異常を通知する通知制御部をさらに含む
請求項１に記載の車両画像処理装置。
【請求項５】
前記判定部は、前記歪み量が予め決めた閾値を越えなかったとき、前記加算値を減算する
請求項４に記載の車両画像処理装置。
【請求項６】
前記判定部は、前記歪み量に応じて補正を行った後、形状が既知の物体を認識できるか否かで前記画像補正の正否確認を行う
請求項１に記載の車両画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両画像処理装置に関し、特に車両に搭載したカメラで車外を撮影した画像の処理装置に関するものである。
【背景技術】
【０００２】
車両に搭載されたカメラによって撮影した周辺障害物の画像は所定の画像処理をすることによって当該障害物を認識することで、車両の走行制御に活用されている。
車載カメラとして単眼カメラを用いた場合、撮影した人物画像や車両画像の認識には、ＨＯＧ（Histogram  of  Oriented  Gradients）が使用されることが多いが、ＨＯＧは画像の回転やスケール変化に弱く、画像の歪みの影響を受け易い。
【０００３】
また、単眼カメラに使用される撮像素子にはローリングシャッター方式のものが使用されることが多く、ローリングシャッター特有の歪みが発生することで、対象物のアスペクト比が変化したり、特有の歪みが発生したりすることがある。これによって検出率の低下を招くことがあるが、検出率の低下を防止するキャリブレーション方法は提案されていない。
一方、カメラ画像から特定の校正用指標を検出することでカメラの外部パラメータを調整しキャリブレーションを行う方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１５５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１のキャリブレーション方法は、カメラの動的な歪みの校正について考慮していないので走行中の車載カメラの画像が歪むという課題があった。
本発明は、上記の課題を解決するためになされたもので、その目的は、車両の運転動作に起因するカメラ映像の歪みを動的に補正することが可能な車両画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本発明に係る車両画像処理装置は、車載カメラで撮影された車両外部の画像フレームの各々から特徴点を算出する特徴点算出部と、車両情報を取得する車両情報取得部と、前記車両情報が前記車載カメラの画像には歪みが生じないことを示しているときの画像フレームを歪み無しフレームと見做して保存し、前記特徴点から各画像フレーム中の平面物体を抽出して各平面物体とその特徴点との関連付けを行うとともに、前記歪み無しフレームと前記特徴点とを対応付け、これらの対応付けられた特徴点の数が予め決められた閾値を越える各平面物体について、前記歪み無しフレームの平面物体に対する歪み量を求め、各画像フレームを前記歪み量に応じて画像補正する判定部とを備えている。
【発明の効果】
【０００７】
このように本発明に係る車両画像処理装置は、過去に撮影した時系列画像と現在の画像の特徴点の比較を行うことで、カメラの動的な歪みを軽減しているので、走行中の車両においても、動的な歪みの無い車載カメラ画像を得ることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１による車両画像処理装置を示すブロック図である。
【図２】図１における車両画像処理装置内の判定部で実行される処理を示すフローチャートである。
【図３】本発明の実施の形態１による車両画像処理装置への入力画像例を示した図である。
【図４】図３の入力画像例において抽出された特徴点を示した図である。
【図５】図３の入力画像例において抽出された平面物体を示した図である。
【図６】図１における車両画像処理装置内の判定部で取得される認識結果を示す図表である。
【図７】本発明の実施の形態１による歪み無しフレームと歪み有りフレームの比較例を示した図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１に示す本発明の実施の形態１による車両画像処理装置１は、ヒューマン・マシン・インタフェース（Human Machine Interface、以下、ＨＭＩと略称する。）装置２、車載カメラ３、及びカーナビゲーション装置４と接続されており、これらは皆、車両に搭載されている。車両画像処理装置１は、特徴点算出部１０１、判定部１０２、通知制御部１０３、及び車両情報取得部１０４で構成される。
【００１０】
ＨＭＩ装置２は、ドライバーに車載カメラ３の異常を通知するための映像装置やスピーカである。車載カメラ３は、車両の外部を撮影するように取り付けられたカメラである。カーナビゲーション装置４は、地図情報、ロケータ情報、データ保存領域などを有し、車両画像処理装置１に提供している。なお、ロケータ情報とは、位置情報やＵＲＬ情報を含むものである。
【００１１】
特徴点算出部１０１は、車載カメラ３から画像を取得し、画像上の特徴量から特徴点を算出して判定部１０２に通知する。特徴点ついては、例えばSiftやSurfに代表されるキーポイント特徴点でも良いし、Harrisなどに代表されるコーナー特徴点でもよい。または、路面に引かれた白線などをエッジ検出などにより検出した結果でもよい。
【００１２】
判定部１０２は、特徴点算出部１０１から通知された特徴点情報、及び車両情報取得部１０４から取得した車両情報を使って画像の歪みを判定し補正する。また、判定部１０２は、カメラ３の歪み画像からカメラ３の固定状態の異常を検知したとき、それを通知制御部１０３に通知する。通知制御部１０３は、判定部１０２から情報が通知された場合に、それをユーザーが認識できるようにＨＭＩ装置２に通知する。また、カーナビゲーション装置４は、判定部１０２に地図情報やロケータ情報を時々刻々通知する。
【００１３】
車両情報取得部１０４は、自車両の電源をモニターしてエンジンの状態を取得する。また、タイヤの回転数などから自車両の速度を取得する。さらに、車両の前後にＧセンサを配置することで車両のチルト状態を検出したり、ジャイロセンサーによりヨーレートを算出したりすることで、自車両の姿勢を取得する。車両情報取得部１０４は、これら取得した情報を判定部１０２に通知する。
【００１４】
次に、本発明に用いる車両画像処理装置１の判定部１０２の動作を、図２のフローチャート並びに図３〜７を参照して説明する。
判定部１０２は、車両情報取得部１０４から種々の情報を取得する。
まず、ステップＳ２０１でエンジンのＯＮ／ＯＦＦ情報を取得する。エンジンがＯＦＦ状態であればカメラ３が動くことはないため、撮影されている映像は動きの影響により歪むことはない。
【００１５】
続いて、ステップＳ２０２で自車の車速を取得する。エンジン動作状態において車速が０であれば、カメラ３はエンジンの振動の影響を受けて動くのみであるため、カメラ３の動きは縦に動作する単純な動きで定義することができる。
【００１６】
ステップＳ２０３では、自車の姿勢情報を取得する。一定間隔で取得した時系列的な姿勢変化から車両の動作を算出する。例えば、カメラ３の動作は姿勢変化の微分で表わされるため、カメラ３の動作をおおよそ定義することが可能である。
【００１７】
これらエンジンＯＮ／ＯＦＦ状態、車速、及び姿勢はその時の画像フレームに対応して記憶する。図６に示す例では、フレーム番号“１”において、エンジン＝停止、速度＝０、姿勢＝変化なしが保存される。これらの状態では、ほぼ間違いなく車載カメラの画像には歪みが生じないことを示している判断できるが、少なくともこれらのいずれか一つがあれば同様の判断は可能である。
【００１８】
この後、ステップＳ２０４にて特徴点算出部１０１によって算出された特徴点を取得する。図３に示すような入力画像の場合に、特徴点算出部１０１によって抽出された特徴点の例を図４に小さい○印で示す。ここでは、特徴点の例として例えばコーナーを検出するものとする。図４の例では標識などのコーナーや文字の部分に特徴点が出ていることを想定している。
【００１９】
続いてステップＳ２０５においては、ステップＳ２０４で抽出した特徴点より、平面物体の認識を行う。認識された結果の一例を図５に示す。この認識結果は、図６のような形で判定部１０２の内部に保存される。
【００２０】
平面物体の認識方法としては、例えば単眼ステレオ法による距離計算によって、静止物体の距離を検出し距離が一定であれば平面物体と見做す方法などが考えられる。それ以外にも、エッジで囲われた部分を抽出し、色の濃淡からラベリングを行うことで同一の平面物体と見做すことも可能である。平面物体の検知結果は時系列的に保存して信頼性を上げるようにしても良い。
【００２１】
ステップＳ２０６においては、図５に示した平面物体の認識結果から、平面物体と特徴点を関連付けて図６に示すような形で保存する。これらの情報に、さらに、ステップＳ２０１〜ステップＳ２０３で取得したカメラ３の動作情報も関連付けて保存する。カメラの動作情報から、カメラの動作が著しく少ないものであればカメラの動的な歪みは小さいものとして、歪み無フレームとして保存する。さらにそれらの時系列的な情報や特徴点の数などから認識結果の信頼度を関連付けて保存する。
【００２２】
すなわち、図６の例では、フレーム番号“１”のフレームにおいて、このフレームの歪みの有無と、エンジン状態と、速度と、姿勢とが保存され、さらに２個の平面物体が抽出されたこと、そしてそれぞれの特徴点が８個であることが保存される。また、各平面物体の特徴点は特徴量によって記述される。
なお、車両情報がその後に歪み無フレームであることを示すときには、最新のフレームを歪み無フレームとしてもよい。
【００２３】
なお、図６の例に示すように、歪みが無く一定以上信頼性の高い認識結果は、更にロケータ情報も関連付けてカーナビゲーション装置４に登録しておくことで今後同じ道路を走行する際に利用することが可能となる。
【００２４】
続いてステップＳ２０７においては、図６の例のように保存された認識結果の中から歪み無フレームの検知結果の有無を検索する。すなわち、比較の基準となる画像フレームを決定するものであり、図６の例ではフレーム番号“１”が歪み無フレームとなる。
【００２５】
なお、検索条件を一定フレーム以内とすることで古過ぎる情報を使うことを避けることができる。或いは、上記のようにロケータ情報に関連付けられて登録されたフレームが無いか否かをカーナビゲーション装置４に問い合わせて登録物体の有無を確認してもよい。どちらかの認識結果があれば、ＹＥＳとする。また、両方ある場合は信頼性の高い方を採用する。どちらも無い場合は、ＮＯとなり歪み補正処理は行わずに終了する。
また、ステップＳ２０７は、ステップＳ２０４の前で実行してもよい。
【００２６】
ステップＳ２０７でＹＥＳとなった場合、ステップＳ２０８で歪み無フレーム、またはカーナビゲーション装置４に登録されている歪み無フレームとの特徴点の対応付けを行う。特徴点の対応付けについては、同一平面物体内の特徴点において特徴量の一致率を確認し、一致率が一定値以上のものを対応点とするようにしても良い。また、画像的な最近傍を取る方法を採っても良い。或いは、画素値を特徴とするのであればブロックマッチングなどを用いてマッチングを行っても良い。さらには、これらの複数の方法を組み合わせて使用しても良い。フレームと特徴点との対応付けを行った結果例は図６に示すとおりである。
【００２７】
ステップＳ２０９において、同一平面物体上の対応特徴点が一定の閾値Ｎ個以上あるか否かを判定する。対応特徴点数＜Ｎ個の場合はＮＯとなり、歪みの有無の判断を行うには十分ではないため物体認識処理ステップＳ２１７に進んで歪み補正処理を終了する。対応点数≧Ｎ個で特徴点数が多い場合はＹＥＳとなりステップＳ２１０の処理に進む。図６の例では、対応点数＝８＞Ｎとし、ステップＳ２１０に進む。
【００２８】
ステップＳ２１０において、同一平面物体上の特徴点の位置関係から画像の歪みを算出する。例えば、単純にアスペクト比のみを考えた場合は、歪みの無い画像のアスペクト比を１と想定し、歪みの有る画像の対応特徴点から縦に伸びているか横に伸びているかを判別しアスペクト比を算出すればよい。
【００２９】
すなわち、図６に示すフレーム番号“１”の歪み無フレームは、図７（ａ）のフレームに相当し、その歪み量としてアスペクト比＝１であり、その他のフレームのアスペクト比を計算する。図７（ｂ）に示すフレーム番号“２”の歪み有フレームは、歪み量としてのアスペクト比は、図６に示すように、１．２である。
【００３０】
図７の例の場合、同図（ａ）の歪み無しフレームに比べて同図（ｂ）のフレームは縦方向に画像が伸びたように歪んでいる。これは撮像中にカメラ３の向きが上から下に傾いた場合に発生する。この場合、各特徴点の横の幅は変わらないが、縦の幅が相対的に長くなっている。従って、縦方向に伸びるような歪みが発生していることが分かる。なお、この場合の歪み量は対応付けられた特徴点の相対的な位置の変化量を全て加算したものとしても良いし、アスペクト比の値をそのまま使っても良い。
【００３１】
ステップＳ２１１では、ステップＳ２１０で算出した歪み量と姿勢の変化から予測される歪み量との差が一定の閾値以上であるか否かを判別する。歪み量が著しく大きくなることは、カメラの姿勢が大きく変わったことを意味する。車両のセンサから取得した姿勢から予測した歪み量と比較して大きく数字が違わなければＹＥＳ、歪み量の差が一定閾値以上であればＮＯとなる。すなわち、図７の例では、アスペクト比が１．２−１＝０．２であり、歪み異常とは言えない程度の歪みであると見做してよい。
【００３２】
ステップＳ２１１でＮＯの場合、歪みが異常に大きくなっているので、歪み異常回数を＋１する。さらにステップＳ２１５で歪み異常回数が一定回数以上大きくなった場合はＹＥＳとなり、ステップＳ２１６でカメラ３の固定状態が異常であると判断し通知制御部１０３に固定異常を通知する。歪み異常回数が一定回数以下であれば、ステップＳ２０１に進んでそのまま処理を終了する。
【００３３】
ステップＳ２１１で歪み量≧一定閾値であればＹＥＳとなり、歪み異常回数が１以上であれば−１する。想定範囲内の歪みで推移した場合は常にステップＳ２１１でＹＥＳとなるため、歪み異常回数は常に０となる。
ステップＳ２１３で算出した歪みに応じて歪みの補正処理を行う。図７（ｂ）の場合であれば現フレームの画像全体が縦に縮小されるように補正される。
【００３４】
歪み補正処理が完了後、若しくは歪み補正処理を行わなかった場合でもステップＳ２１７の物体認識処理を行う。ここで、例えば円形の標識や三角形の標識など、既知の形状を特徴とする物体の検知を行い正常に検知された場合、その形状の歪みを算出することが可能になる。円形の物体を検出した場合であれば、その真円度を計算し縦長や横長になっていないかを確認すればよい。この結果を認識結果の信頼度にフィードバックすることで信頼度の値を更新することができる。
【００３５】
また、この認識結果は通知制御部１０３を介してＨＭＩ装置２に出力することも可能である。
これらの処理を画像のフレームを取得する度に繰り返すことで歪みの補正を動的に行う。
【符号の説明】
【００３６】
１  車両画像処理装置、２  ＨＭＩ（ヒューマン・マシン・インタフェース）装置、３  車載カメラ、４  カーナビゲーション装置、１０１  特徴点算出部、１０２  判定部、１０３  通知制御部、１０４  車両情報取得部。
【要約】
【課題】カメラの動的な歪みを軽減できる車両画像処理装置を提供する。
【解決手段】車両情報が前記車載カメラの画像には歪みが生じないことを示しているときの画像フレームを歪み無しフレームと見做し、前記特徴点から各画像フレーム中の平面物体を抽出して各平面物体とその特徴点との対応付けを行う。これらの対応付けられた特徴点の数が予め決められた閾値を越える各平面物体について、前記歪み無しフレームの平面物体に対する歪み量を求め、各画像フレームを前記歪み量に応じて画像補正を行う。
【選択図】図１【図１】
0005901812.tif 000002
【図２】
0005901812.tif 000003
【図３】
0005901812.tif 000004
【図４】
0005901812.tif 000005
【図５】
0005901812.tif 000006
【図６】
0005901812.tif 000007
【図７】
0005901812.tif 000008