(57)【要約】  車載カメラ２０の撮像画像について、測定用領域Ｅaを複数の測定単位領域Ｄ0〜ＤNに分割して、各測定単位領域内の画素の輝度値の平均を各測定単位領域の参照値ｒｅ(0,t)，ｒｅ(1,t)，…，ｒｅ(N,1)として算出して、各参照値の垂直方向の分布態様を示す垂直輝度ベクトルＶＥＣ(t)を設定する参照値算出部１２と、ｔ1での撮像画像の垂直輝度ベクトルＶＥＣ(t1)と、ｔ2での撮像画像の垂直輝度ベクトルＶＥＣ(t2)との相関度を、垂直輝度ベクトルＶＥＣ(t2)を垂直方向（ｙ方向）にシフトさせて算出し、相関度が最も高くなったときのシフト量に基づいて、ｔ1〜ｔ2におけるカメラ２０の変位量を求めるカメラ変位量算出部１３とを備える。
2012066999.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラによる撮像画像について、所定の測定用領域を実空間上の鉛直方向に相当する特定方向の所定画素数の幅を有する複数の測定単位領域に分割して、各測定単位領域内の画素の輝度値又は彩度値の総和又は平均を各測定単位領域の参照値として算出する参照値算出部と、
前記カメラにより撮像された第１画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第１分布態様と、前記カメラにより該第１画像とは異なる時点で撮像された第２画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第２分布態様との間で、該第１分布態様又は該第２分布態様を前記特定方向にシフトさせて相関度を算出し、相関度が最も高くなったときのシフト量に基づいて、前記第１画像の撮像時から第２画像の撮像時までの前記カメラの変位量を算出するカメラ変位量算出部と
を備えたことを特徴とする車載カメラの変位量検出装置。
【請求項２】
請求項１記載の車載カメラの変位量検出装置において、
前記カメラは、前記カメラが搭載された車両の前方の道路を撮像範囲に含み、
前記測定用領域は、前記カメラの撮像画像における道路の画像部分の位置に応じて設定されていることを特徴とする車載カメラの変位量検出装置。
【請求項３】
請求項２記載の車載カメラの変位量検出装置において、
前記測定用領域を、前記カメラの撮像画像における道路の画像部分の位置又は、道路の周囲の物体の画像部分の位置に応じて変更する測定用領域変更部を備えたことを特徴とする車載カメラの変位量検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラの撮像画像に基づいて、車載カメラの変位量を検出する装置に関する。
【背景技術】
【０００２】
カメラの変位量を検出する手法として、例えば、カメラの揺動による画面のゆれを補正するために、カメラの撮像画面にゆれ検出エリアを設定して、時系列の各撮像画像のゆれ検出エリア内の明るさの重心位置を検出し、この重心位置の変化により揺動によるカメラの変化量を求める手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−２８７５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に記載された手法により、車載カメラの変位量を検出する場合、車両の走行時には、特に車両の縦揺れ（ピッチング）の影響を受けて、カメラの時系列の各撮像画像におけるゆれ検出エリア内の撮像対象が相違するものとなる。【０００５】
そして、この場合に、各撮像画像でのゆれ検出エリアの明るさの重心位置が、異なる物体の撮像部分に対応したものになると、カメラの変位量を精度良く検出することができなくなるという不都合がある。【０００６】
本発明はかかる背景を鑑みてなされたものであり、車載カメラの撮像画像から、車載カメラの変位量を精度良く検出する車載カメラの変位量検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、車載カメラによる撮像画像について、所定の測定用領域を実空間上の鉛直方向に相当する特定方向の所定画素数の幅を有する複数の測定単位領域に分割して、各測定単位領域内の画素の輝度値又は彩度値の総和又は平均を各測定単位領域の参照値として算出する参照値算出部と、前記カメラにより撮像された第１画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第１分布態様と、前記カメラにより該第１画像とは異なる時点で撮像された第２画像について、前記参照値算出部により算出された各参照値の前記特定方向の分布態様である第２分布態様との間で、該第１分布態様又は該第２分布態様を前記特定方向にシフトさせて相関度を算出し、相関度が最も高くなったときのシフト量に基づいて、前記第１画像の撮像時から第２画像の撮像時までの前記カメラの変位量を算出するカメラ変位量算出部とを備えたことを特徴とする（第１発明）。【０００８】
第１発明によれば、前記参照値算出部により、前記カメラの撮像画像について、前記測定用領域の前記各測定単位領域の参照値が算出される。この参照値は各測定単位領域の輝度又彩度の全体的な傾向を示すものであり、各測定単位領域は、前記特定方向の幅を有して前記測定用領域を分割したものであるため、各参照値の前記特定方向の分布態様は、前記測定用領域における前記特定方向の輝度又は彩度の全体的な分布状態を示すものとなる。【０００９】
そして、前記カメラ変位量算出部は、異なる時点で撮像された前記第１画像及び前記第２画像に対して算出された、前記第１画像についての前記第１分布態様と前記第２画像についての前記第２分布態様との相関度を、前記第１分布態様又は前記第２分布態様を前記特定方向にシフトさせて算出する。さらに、前記カメラ変位量算出部は、相関度が最も高くなったときのシフト量に基づいて、前記カメラの変位量を算出する。【００１０】
この場合、前記第１分布態様と前記第２分布態様は、前記測定用領域内の全体的な輝度又は彩度の分布状態を示すものである。そのため、前記カメラ変位量算出部は、前記カメラの変位による前記第１画像と前記第２画像間での前記測定用領域の撮像対象の変更分の影響を軽減させて、前記測定領域内の撮像物の前記特定方向のシフト量を算出することができる。そして、前記特定方向は実空間上の鉛直方向に相当するため、前記カメラ変位量算出部は、このシフト量に基づいて前記カメラの鉛直方向の変位量を精度良く算出することができる。【００１１】
また、第１発明において、前記カメラは、前記カメラが搭載された車両の前方の道路を撮像範囲に含み、前記測定用領域は、前記カメラの撮像画像における道路の画像部分の位置に応じて設定されていることを特徴とする（第２発明）。【００１２】
第２発明によれば、輝度又は彩度の分布が安定している道路の画像部分を含む前記測定用領域を設定することで、前記カメラ変位量算出部により算出される前記カメラの変位量の精度を高めることができる。【００１３】
また、第２発明において、前記測定用領域を、前記カメラの撮像画像における道路の画像部分の位置又は、道路の周囲の所在物の画像部分の位置に応じて変更する測定用領域変更部を備えたことを特徴とする（第３発明）。【００１４】
第３発明によれば、前記測定用領域変更部により、前記カメラの撮像画像における道路の画像部分の位置又は、道路の周囲の所在物の画像部分の位置に応じて、前記測定用領域内で道路の画像部分が占める割合が大きくなるように前記測定用領域を変更する、或いは、他車両の画像部分を除いて前記測定用領域を変更する等の処理が行われる。そして、このように前記測定用領域を変更することにより、道路の画像部分以外の画像部分の影響によって、前記カメラ変位量算出部により算出される前記カメラの変位量の精度が低下することを抑制することができる。
【図面の簡単な説明】
【００１５】
【図１】カメラ及び車両走行支援装置の車両への取付態様の説明図。
【図２】車両走行支援装置の構成図。
【図３】車両走行支援装置における垂直輝度ベクトルの算出処理のフローチャート。
【図４】垂直輝度ベクトルの説明図。
【図５】時系列画像における垂直輝度ベクトルの相関度により、カメラの変位量を算出する処理の説明図。
【図６】測定用領域を変更する例の説明図。
【発明を実施するための形態】
【００１６】
本発明の実施形態について、図１〜図５を参照して説明する。図１を参照して、本実施形態において、本発明の車載カメラの変位量検出装置は、車両１（自車両）に搭載された車両走行支援装置１０の機能の一部として構成されている。車両１には、カメラ２０（車載カメラ）と車両走行支援装置１０とが搭載されている。
【００１７】
カメラ２０は、車両１の前方を、フロントウィンドウ越しに撮像するように車内に取り付けられており、カメラ２０の取付部を原点として、車両１の左右方向（車幅方向）をＸ軸、上下方向（鉛直方向）をＹ軸、前後方向（進行方向）をＺ軸とした実空間座標系が定義されている。
【００１８】
図２を参照して、車両１には、車両走行支援装置１０の他に、速度センサ２１、加速度センサ２２、ヨーレートセンサ２３、操舵装置３０、及び制動装置３１が備えられている。速度センサ２１は車両１の速度の検出信号を出力し、加速度センサ２２は車両１の加速度の検出信号を出力し、ヨーレートセンサ２３は車両１のヨーレートの検出信号を出力する。
【００１９】
車両走行支援装置１０は、ＣＰＵ、メモリ等により構成された電子ユニットであり、カメラ２０の映像信号及び各センサ２１，２２，２３の検出信号が入力される。車両走行支援装置１０は、車両１の上下方向の揺動に伴うカメラ２０のＹ軸方向の変位量を検出して、カメラ２０の撮像画像のずれを補正（ピッチ補正）する機能を有しており、この変位量を検出する構成が本発明の車載カメラの変位量検出装置に相当する。
【００２０】
車両走行支援装置１０は、メモリに保持された車両走行支援用の制御プログラムをＣＰＵに実行させることによって、ピッチ補正を行うための構成である、測定用領域変更部１１、参照値算出部１２、カメラ変位量算出部１３、及びピッチ補正部１４として機能する。車両走行支援装置１０は、カメラ２０の撮像画像に対してピッチ補正を行い、ピッチ補正後の撮像画像から道路に設けられたレーンマークを検出して、車両１の走行レーンを認識する。
【００２１】
車両１には、さらに、操舵装置３０と制動装置３１が搭載され、車両走行支援装置１０は、操舵装置３０と制動装置３１の一方又は両方の作動を制御することにより、車両１が走行レーンから逸脱しないようにする走行支援制御を実行する。
【００２２】
次に、図３に示したフローチャートに従って、参照値算出部１２による処理について説明する。車両走行支援装置１０は、ＳＴＥＰ１０でカメラ２０により撮像された画像（カラー画像）を入力すると、ＳＴＥＰ２０で、カメラ２０の画素の出力をデモザイキングして、各画素のＲＧＢカラーのデータを算出する。なお、本実施形態のカメラ２０は、ベイヤ（Ｂａｙｅｒ）配列の単板方式の撮像素子を用いているため、ＳＴＥＰ２０のデモザイキングを行ったが、３板方式のＲＧＢ独立型の撮像素子を用いたカメラの場合には、デモザイキングの処理は不要である。
【００２３】
ＳＴＥＰ３０〜ＳＴＥＰ５０は、参照値算出部１２による処理である。カメラ２０により撮像される画像は、図４に示したように垂直座標（ｙ座標）が０〜Ｎ（画素）、水平座標（ｘ座標）が０〜Ｍ（画素）である（Ｎ＋１）×（Ｍ＋１）画素の画像Ｉmである。なお、ｙ軸方向は実空間上の鉛直方向に相当する本発明の特定方向に相当する。
【００２４】
参照値算出部１２は、ＳＴＥＰ３０のループ１を実行して、ＳＴＥＰ３１により、画像Ｉmの各座標（ｘ，ｙ）（ｘ＝0,1,2,…,M、y=0,1,2,…,N）の画素のＲ，Ｇ，Ｂのデータを輝度値に変換して、各画素の輝度値Ｉ(x,y,t)（ｔは撮像時点を示す）とする。なお、各画素のＲ，Ｇ，Ｂデータのうちの一つを選択して各画素の輝度値の代替としてもよい。
【００２５】
次のＳＴＥＰ４０のループで、参照値算出部１２は、画像Ｉmをｙ座標が同一であってｘ座標が０〜Ｍである１×（Ｍ＋１）分の画素を持ったＮ＋１個の測定単位領域Ｄ0〜ＤNに分割する。なお、測定単位領域のｙ軸方向の幅を１画素（１ライン）ではなく、複数画素としてもよい。
【００２６】
そして、参照値算出部１２は、以下の式（１）により、各測定単位領域の画素の輝度値の平均値を、各測定単位領域の参照値ｒｅ(y,t)（ｙ＝0,1,…,N、ｔは画像Ｉmの撮像時点）として算出する。
【００２７】
【数１】
2012066999.tif 000003
【００２８】
次のＳＴＥＰ５０で、参照値算出部１２は、各測定単位領域の参照値ｒｅ(y,t)（y＝0,1,2,…,N）のうち、少なくとも、後述するシフト量（例えば、最大３０画素）分はＮよりも狭い範囲（ｓ〜ｓ＋ｗ、１＜ｓ，ｗ＜Ｎ、）を成分とする以下の式（２）の垂直輝度ベクトルＶＥＣ(t)を設定し、ＳＴＥＰ６０に進んで処理を終了する。
【００２９】
【数２】
2012066999.tif 000004
【００３０】
以上説明した処理により、参照値算出部１２は、カメラ２０により順次（例えば、33msec毎）撮像される画像Ｉmに対して、垂直輝度ベクトルＶＥＣ(t)を設定する。なお、垂直輝度ベクトルＶＥＣ(t)は、参照値ｒｅ(y,t)の垂直方向（ｙ方向）のｙ＝ｓ〜ｓ＋ｗの範囲での分布態様を示すものである。
【００３１】
そして、カメラ変位量算出部１３は、図５に示したように、異なる時点ｔ1，ｔ2（＝ｔ1＋33msec）で撮像された画像Ｉm1とＩm2について算出された、画像Ｉm1の輝度ベクトルＶＥＣ(ｔ1)と画像Ｉm2の輝度ベクトルＶＥＣ(ｔ2)との相関度を、輝度ベクトルＶＥＣ(ｔ2)の成分をｙ方向にシフトしながら求めることによって、カメラ２０の垂直方向（Ｙ方向）の変位量を求める。
【００３２】
図５において、ＶＥＣ(ｔ2)の成分の分布は、ＶＥＣ(ｔ1)の成分の分布を上方向にシフトした傾向を持つものとなっており、ｔ2でのカメラ２０の位置が、ｔ1での位置に対して下向に変位したと推定することができる。
【００３３】
カメラ変位量算出部１３は、以下の式（３）に示したように、輝度ベクトルＶＥＣ(ｔ2)を上下方向にシフトした輝度ベクトルＶＥＣ(ｔ2,ｉ)（ｉはシフト値、ｉ＝±1，±2，…、＋は上シフト、−は下シフト）を所定のシフト範囲内で順次求めて、輝度ベクトルＶＥＣ(ｔ1)との相関度を算出する。
【００３４】
【数３】
2012066999.tif 000005
【００３５】
図５では、下方向に１画素分シフトした輝度ベクトルＶＥＣ(ｔ2,-1)を例示している。カメラ変位量算出部１３は、このようにして、第２画像Ｉm2の輝度ベクトルＶＥＣ(t2)を上下にｉだけシフトさせたＶＥＣ(t2,i)を順次算出して、第１画像Ｉm1の輝度ベクトルＶＥＣ(t1)との相関度を算出する。
【００３６】
そして、カメラ変位量算出部１３は、第１画像Ｉm1の輝度ベクトルＶＥＣ(t1)との相関度が最も高くなったときのシフト値ｉに基づいて、ｔ1とｔ2間におけるカメラ２０の垂直方向の変位量Δｙを算出する。カメラ２０の変位量Δｙはシフト値ｉに比例したものとなる。
【００３７】
ピッチ補正部１４は、第２画像Ｉm2についてカメラ２０の変位量Δｙを相殺する分だけシフトする補正（ピッチ補正）を行い、対象物検知部１４は、このピッチ補正を行った後の第２画像Ｉm2に対して、レーンマークの物体の画像部分の検出処理を行う。これにより、車両１のピッチング（鉛直方向の揺動）の影響によって、第１画像と第２画像間でのレーンマークの検出位置の推移が、本来の位置からずれたものとなることを防止することができる。そして、このずれにより、レーンマークの位置の認識精度が低下することを防止することができる。
【００３８】
なお、本実施形態では、図４に示したように、カメラ２０の撮像画像Ｉmの全体を測定用領域として、測定単位領域Ｄ（Ｄ0〜ＤN）を設定したが、測定用領域変更部１１により、図６（ａ）に示したように、道路の画像部分に合わせた台形形状の測定用領域Ｅa1を設定してもよい。
【００３９】
このように測定用領域Ｅa1を設定することによって、道路の周囲に所在する標識や建造物等の影響を避けて、輝度ベクトルＶＥＣを求めることができる。
【００４０】
また、カメラ２０のピッチ量を求める際に、車両１に近い物体の画像部分を用いると、車両１のわずかなピッチングに対しても画像部分の変位が大きくなるため、カメラ２０の変位量検出の誤差が大きくなる場合がある。そこで、車両１から遠く離れた地平線付近が含まれるように測定用領域Ｅa1を設定することで、カメラ２０の変位量の検出精度を高めることができる。
【００４１】
また、図６（ｂ）に示したように、カメラ２０の撮像画像Ｉmに、他車両の画像部分５０，５１が含まれることが検出されたときには、測定領域変更部１１により、これらの画像部分が除かれる測定用領域Ｅa2に変更してもよい。
【００４２】
また、本実施の形態では、カメラ２０の撮像画像Ｉmの各画素の輝度を用いて輝度ベクトルＶＥＣを算出したが、撮像画像Ｉmの各画素の彩度を用いて彩度のベクトルを算出し、異なる時点での撮像画像の彩度ベクトル間の相関度を算出して、カメラの変位量を求めてもよい。
【００４３】
また、本実施の形態では、上記式（１）により、各測定単位領域の画素の輝度値の平均値を各測定単位領域の参照値としたが、各測定単位領域の画素の輝度値の合計値を各測定単位領域の参照値としてもよい。
【００４４】
さらに、平均値と合計値を測定用領域の中で使い分けてもよい。例えば、測定用領域の上半分は合計値を用いて参照値を算出し、測定用領域の下半分は平均値を用いて参照値を算出するようにしてもよい。また、平均値を用いた参照値と合計値を用いた参照値の双方を算出して、特徴量が多くなる方（輝度ベクトルによる輝度プロファイルのピークが大きくなる方）を採用してもよい。
【００４５】
また、本実施の形態において、カメラ変位量算出部１３は、異なる時点で撮像された画像の輝度ベクトル間の相関度を算出する際に、輝度ベクトルを１画素単位で上下方向にシフトしたが、１未満の単位（例えば０．１画素単位）でシフトさせることによって、変位量の算出精度を向上させることができる。この場合は、上記式（２）の離散的な関数をスプライン補間等の技術により連続化（サブピクセル化）する処理を行う。
【００４６】
また、本実施の形態では、カラーカメラ２０を用いた例を示したが、白黒のカメラを用いてもよい。白黒カメラを用いた場合には、図３のＳＴＥＰ２０，ＳＴＥＰ３０のループ１により、カラー成分を輝度値に変換する処理は不要である。
【産業上の利用可能性】
【００４７】
以上のように、本発明の車載カメラの変位量検出装置によれば、車載カメラの撮像画像から、車載カメラの変位量を精度良く検出することができるため、車載カメラの撮像画像に対してピッチ補正を行うために有用である。
【符号の説明】
【００４８】
１…車両、１０…車両走行支援装置、１１…測定領域変更部、１２…参照値算出部、１３…カメラ変位量算出部、１４…ピッチ補正部、２０…カメラ、２１…速度センサ、２２…加速度センサ、２３…ヨーレートセンサ、３０…操舵装置、３１…制動装置。
【図１】
2012066999.tif 000006
【図２】
2012066999.tif 000007
【図３】
2012066999.tif 000008
【図４】
2012066999.tif 000009
【図５】
2012066999.tif 000010
【図６】
2012066999.tif 000011
【国際調査報告】
2012066999.tif 000012
2012066999.tif 000013