(57)【要約】【課題】低い演算負荷にて正確に他車両を検出することができなかった。【解決手段】自車両の進入先の車線を含む画像を取得し、前記自車両の進行方向と前記進入先の車線との角度を取得し、前記画像を俯瞰画像に変換するにあたり、前記角度に基づいて前記進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定し、この変換処理によって俯瞰画像を取得する。【選択図】図１
2008040799.tif 000002
【特許請求の範囲】
【請求項１】
自車両の進入先の車線を含む画像を取得する画像取得手段と、
前記自車両の進行方向と前記進入先の車線との角度を取得する角度取得手段と、
前記画像を俯瞰画像に変換する俯瞰変換手段であって、前記角度に基づいて前記進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定し、この変換処理によって俯瞰画像を取得する俯瞰変換手段と、
を備える画像変換装置。
【請求項２】
前記変換処理は、前記俯瞰画像の座標を規定する直交軸のいずれかに平行な方向に前記進入先の車線を向ける処理である、
請求項１に記載の画像変換装置。
【請求項３】
前記俯瞰画像に変換する前の画像の座標と前記俯瞰画像の座標とを対応付けた座標対応データを複数の角度毎に記憶する座標対応データ記憶手段を備え、
前記俯瞰変換手段は、前記角度取得手段にて取得した角度に対応した座標対応データを参照して前記変換処理を行う、
請求項１または請求項２のいずれかに記載の画像変換装置。
【請求項４】
前記変換処理は、前記自車両の進行方向に平行な方向と前記画像取得手段における光軸との角度に基づいて画像の向きを補正する補正処理を含み、前記俯瞰変換手段は、前記自車両の進行方向と前記進入先の車線との角度に基づいて当該補正処理における補正量を調整して前記進入先の車線を前記俯瞰画像内で特定の方向に向ける、
請求項１〜請求項３のいずれかに記載の画像変換装置。
【請求項５】
前記自車両の挙動に対応した情報を取得する挙動情報取得手段を備え、
前記俯瞰変換手段は、前記挙動に対応した情報に基づいて自車両の挙動による画像の変化を相殺して前記画像を前記俯瞰画像に変換する、
請求項１〜請求項４のいずれかに記載の画像変換装置。
【請求項６】
自車両の進入先の車線を含む画像を取得する画像取得工程と、
前記自車両の進行方向と前記進入先の車線との角度を取得する角度取得工程と、
前記画像を俯瞰画像に変換する俯瞰変換工程であって、前記角度に基づいて前記進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定し、この変換処理によって俯瞰画像を取得する俯瞰変換工程と、
を含む画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の周囲に存在する他車両を検出する画像変換装置および方法に関する。
【背景技術】
【０００２】
従来、自車両に搭載されたカメラにて道路を撮影し、撮影した画像を俯瞰変換して当該俯瞰変換後の画像から車両の特徴を抽出し、自車両の周囲に存在する他車両を検出する技術が知られている。例えば、特許文献１には、俯瞰変換後の画像からエッジを抽出し、当該エッジに基づいて他車両が存在することを検出する技術が開示されている。
【特許文献１】特開平４−１６３２４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の技術においては、低い演算負荷にて正確に他車両を検出することができなかった。すなわち、上述の従来技術においては車線が延びる方向を考慮せずに俯瞰変換を行っているため、俯瞰画像に含まれる車線の向きが一定にはならない。例えば、自車両の走行車線と自車両が進入する進入先車線との角度が一定でない道路（高速道路の合流部など）においては、俯瞰画像において進入先車線の向きは様々な方向を向く。
【０００４】
この場合、進入先車線における他車両の位置や他車両までの距離などを正確に検出するためには、車線の傾きを考慮した演算が必要になり、演算負荷が増大するとともに正確な演算を行うことが困難であった。
本発明は、上記課題にかんがみてなされたもので、低い演算負荷にて正確に他車両を検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、本発明においては、自車両の進行方向と当該自車両の進入先の車線との角度に基づいて、前記進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定する。そして、この変換処理によって俯瞰画像を取得する。この結果、前記俯瞰画像においては、前記進入先の車線が予め決められた方向に常に向いていることになり、低い演算負荷にて正確に他車両を検出可能な俯瞰画像を取得することが可能になる。
【０００６】
すなわち、自車両が走行する道路において、自車両の進行方向と当該自車両の進入先の車線とが平行ではない場合、個々の道路の敷設状況や車線上での自車両の位置等によって自車両から見た進入先の車線の方向は変動し得る。従って、自車両に固定された画像取得手段にて取得した画像を単に俯瞰画像に変換した場合、俯瞰画像内で前記進入先の車線の方向は一定にならない。
【０００７】
一方、俯瞰画像に含まれる進入先の車線の画像に基づいて他車両の位置（自車両と他車両との相対関係）等を検出するためには、前記進入先の車線の画像の向きを特定する必要がある。一般に、画像内で車線の向きを正確に特定することは困難であるとともに、画像内での車線の向きを特定するための処理が必要になる。従って、この場合には演算負荷が増大し、他車両を正確に検出することができない。
【０００８】
しかし、本発明によれば、前記進入先の車線の方向が俯瞰画像内で常に一定の方向を向いているので、当該進入先の車線上の画像に基づいて他車両の位置を極めて容易に決定することができる。すなわち、俯瞰画像上の位置と実際の位置とを予め正確に対応づけることができるので、俯瞰画像内に含まれる像の位置によってその像の位置を正確に特定することができる。このため、低い演算負荷にて正確に他車両を検出することが可能になる。
【０００９】
また、以上のように俯瞰画像において進入先の車線を特定の方向に向ける変換処理によれば、自車両に搭載されたナビゲーション装置等にて使用して好ましい俯瞰画像を取得することができる。すなわち、当該俯瞰画像をナビゲーション装置等で出力すれば、進入先の車線が常に特定の方向であることにより進入先の車線を直感的に容易に把握することが可能である。さらに、進入先の車線を表示装置の中央に配置することで、最も重要な部分を中央に配置することが可能である。
【００１０】
なお、画像取得手段は、他車両の検出領域が含まれる画像を取得することができればよく、自車両に搭載されたカメラによって自車両が進入する進入先の車線を撮影する構成等、種々の構成を採用可能である。角度取得手段においては、自車両の進行方向と前記進入先の車線が延びる方向とを取得し、互いの延長方向が交わる角度を取得することができればよく、種々の構成を採用可能である。
【００１１】
例えば、自車両の挙動を取得するセンサによって自車の向きや走行軌跡等を取得して自車両の進行方向を把握しても良いし、予め記憶媒体に記憶してある地図データベースに基づいて自車両が走行している車線を特定し、当該車線が延びる方向を自車両の進行方向としても良い。進入先の車線が延びる方向も同様であり、地図データベースに基づいて自車両が走行している車線が接続された進入先の車線を特定し、当該車線が延びる方向を取得する構成等を採用可能である。
【００１２】
むろん、以上のような構成の他、画像取得手段にて取得した画像から自車両が走行する車線の画像と前記進入先の車線の画像とを取得し、両画像に基づいて車線が延びる方向を特定することで前記角度を取得しても良い。なお、本発明においては、前記進入先の車線を常に特定の方向に向けるため、角度取得手段においては、前記画像取得手段において画像を取得するたびに前記角度を取得し、各画像について適正な変換処理を実施できるようにすることが好ましい。
【００１３】
俯瞰変換手段においては、前記進入先の車線を含む画像を上方から見た俯瞰画像に変換することができればよく、俯瞰変換前の画像の各画素値を俯瞰画像の画素値に変換する座標変換等を採用可能である。当該俯瞰変換処理は視点変換処理であるが、回転処理を伴う変換を行うことによって前記進入先の車線を俯瞰画像内で特定の方向に向けることが可能である。
【００１４】
従って、視点変換に伴う回転処理の回転角を実質的に特定することにより所望の回転角での回転を伴う変換処理を特定することが可能である。また、前記自車両の進行方向と前記進入先の車線との角度は、俯瞰変換前の画像に含まれる前記進入先の車線の向きに一対一に対応している。そこで、本発明においては、前記角度に基づいて視点変換に伴う回転処理の回転角を実質的に特定する。この結果、進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定することが可能である。
【００１５】
さらに、前記変換処理は、進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理であればよいが、前記俯瞰画像の座標を規定する直交軸のいずれかに平行な方向を前記特定の方向としてもよい。この構成によれば、前記進入先の車線が常に画像の上下方向あるいは左右方向に向くように俯瞰画像を取得することができる。従って、俯瞰画像内の上下あるいは左右方向の各位置に存在する画像と自車両との相対関係を予め決めておくことにより、俯瞰画像内の他車両の位置を極めて容易かつ正確に特定することが可能になる。また、この俯瞰画像をナビゲーション装置等で出力すれば、進入先の車線を直感的に容易に把握することが可能である。
【００１６】
さらに、俯瞰変換処理としては、変換前後の座標の対応関係を規定したテーブルを予め定義しておき、このテーブルを参照する構成を採用しても良いし、画像内の画素毎に変換後の座標を演算する構成を採用しても良い。
【００１７】
例えば、前者の例としては、所定の記憶媒体に俯瞰変換前後の座標の対応関係を規定した座標対応データを複数の角度毎に記憶する構成を採用すればよい。すなわち、前記角度取得手段によって取得する角度毎に前記進入先の車線を特定の方向に向ける座標変換を行うテーブルデータを予め用意しておく。この構成によれば、角度取得手段にて取得した角度に対応した座標対応データを参照することによって俯瞰変換処理を行うことが可能になり、極めて低い演算負荷によって俯瞰変換を行うことができる。
【００１８】
後者の例としては、前記自車両の進行方向に平行な方向と前記画像取得手段における光軸との角度に基づいて画像の向きを補正する補正処理を前記俯瞰変換とともに実施する構成において、その補正量を調整する構成を採用すればよい。すなわち、前記補正処理によれば、自車両の進行方向を基準にして光軸を相対的に回転させる回転処理を実質的に行うことが可能である。そこで、前記自車両の進行方向と前記進入先の車線との角度を参照すれば、前記進入先の車線を前記俯瞰画像内で特定の方向に向けるために必要な回転処理の角度（補正量）を特定することができる。この構成によれば、俯瞰変換前の画像における前記進入先の車線の向きがどのような向きであったとしても当該進入先の車線を正確に特定の向きに向けることができる。
【００１９】
さらに、自車両の挙動による画像への影響を補正する構成を採用しても良い。例えば、自車両の挙動に対応した情報を取得する各種のセンサ等を備える構成とし、当該挙動に対応した情報に基づいて自車両の挙動による画像の変化を相殺しながら俯瞰変換を行う構成を採用可能である。この構成によれば、自車両がどのように挙動したとしても常に前記進入先の車線を前記俯瞰画像内で特定の方向に向けることが可能である。なお、自車両の挙動を取得するためのセンサとしては、自車両のヨー、ロール、ピッチ等を検出する３軸加速度センサであってもよいし、自車両の方位を検出するセンサであってもよく、種々のセンサを採用可能である。
【００２０】
さらに、本発明のように自車両の進行方向と当該自車両の進入先の車線との角度に基づいて俯瞰画像内で進入先の車線を特定の方向に向ける手法は、プログラムや方法としても適用可能である。また、以上のような画像変換装置、プログラム、方法は、単独の画像変換装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような画像変換装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、画像変換装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【発明を実施するための最良の形態】
【００２１】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーション装置の構成：
（２）案内処理：
（３）座標対応データの作成：
（４）他の実施形態：
【００２２】
（１）ナビゲーション装置の構成：
図１は、本発明にかかる画像変換装置を含むナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０と記憶媒体３０とを備えており、記憶媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム２１を実施可能であり、当該ナビゲーションプログラム２１はその機能の一つとして自車両を進入先の車線に進入させるための案内を行う機能を備えている。なお、この案内を行うために画像変換処理を実行する。すなわち、変換後の画像にて前記進入先の車線を示し、また、変換後の画像に基づいて当該進入先の車線に他車両が存在するか否かを検出する。
【００２３】
自車両（ナビゲーション装置１０が搭載された車両）には、ナビゲーションプログラム２１を実現するためにカメラ４０とＧＰＳ受信部４１と車速センサ４２と舵角センサ４３と３軸加速度センサ４４と方位センサ４５とスピーカー４６と表示部４７とが備えられており、これらの各部と制御部２０との信号の授受は図示しないインタフェースによって実現されている。
【００２４】
カメラ４０は、自車両の後方の道路を視野に含むように自車両に対して取り付けられており、撮影した画像を示す画像データを出力する。制御部２０は、図示しないインタフェースを介してこの画像データを取得して画像変換し、他車両の検出や各種の案内に利用する。ＧＰＳ受信部４１は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して自車両の現在位置を取得する。
【００２５】
車速センサ４２は、自車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、車輪毎に速度（路面と車輪との相対速度）を取得する。舵角センサ４３は自車両のステアリングの回転角に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、ステアリングの回転角を示す情報を取得する。
【００２６】
３軸加速度センサ４４は、直交する３方向の加速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の挙動（ヨー、ロール、ピッチ）に対応した情報を取得する。方位センサ４５は、自車両の進行方向に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の進行方向を特定可能である。むろん、以上のセンサは各種の態様を採用可能であり、自車両の姿勢制御に利用するセンサを流用しても良い。
【００２７】
制御部２０は、ナビゲーションプログラム２１を実行することにより、上述のようにして取得した各種情報に基づいて自車両の後方における他車両の存在や目的地までの経路等を示す情報を出力して自車両を案内する。すなわち、制御部２０は、音声によって各種の案内を行うための制御信号をスピーカー４６に出力し、スピーカー４６から案内情報としての音声を出力する。また、制御部２０は、画像によって各種の案内を行うための制御信号を表示部４７に出力し、表示部４７にその画像を表示する。
【００２８】
本実施形態においては、以上のナビゲーションプログラム２１の機能の一部として画像を俯瞰画像に変換し、俯瞰画像に基づいて他車両を検出して進入先車線への進入を案内する機能を有しており、ナビゲーション装置１０はこの処理によって本発明にかかるナビゲーション装置として機能する。この処理を行うため、ナビゲーションプログラム２１は、画像変換部２２と案内部２３とを備えており、画像変換部２２は、さらに画像取得部２２ａと角度取得部２２ｂと挙動情報取得部２２ｃと俯瞰変換部２２ｄとを備えている。また、記憶媒体３０には、ナビゲーションプログラム２１による案内を実施するため地図情報３０ａが記憶され、画像変換を行うために座標対応データ３０ｂが記憶されている。
【００２９】
地図情報３０ａは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ、目標物を示すデータ等を含み、自車両の位置の特定や目的地への案内に利用される。なお、本実施形態において地図情報３０ａは、自車両が走行する走行車線と当該自車両が進入する進入先車線との角度を取得する際にも利用される。
【００３０】
座標対応データ３０ｂは、前記カメラ４０にて取得した画像を俯瞰画像に変換するためのデータであり、変換前の画像における各画素の座標と俯瞰変換後の画像における各画素の座標とを対応づけたテーブルデータである。当該座標対応データ３０ｂは、変換前後の画像の座標を対応づけていればよく、画像として必要な全ての座標値について対応関係を規定しておいても良いし、代表的な座標値について対応関係を規定しておき代表的な座標値の間については補間処理によって算出しても良い。
【００３１】
さらに、本実施形態において、座標対応データ３０ｂは、複数のカメラパラメータのそれぞれに対応したデータを含んでおり、カメラパラメータ毎にカメラ４０の光軸に対する回転角が異なるように設定されている。すなわち、カメラパラメータは前記走行車線と前記進入先車線との角度や自車両の挙動に対応したパラメータであり、座標対応データ３０ｂは各カメラパラメータに対応した前記角度および前記挙動において撮影した画像を俯瞰変換したときに進入先車線が画像の上下方向に平行に向くように設定されている。なお、カメラパラメータの詳細および座標対応データ３０ｂの作成については後述する。
【００３２】
一方、画像取得部２２ａは、カメラ４０から画像データを取得するモジュールであり、取得したデータは俯瞰変換部２２ｄに受け渡される。角度取得部２２ｂは、自車両の進行方向と進入先車線との角度を取得するモジュールであり、本実施形態においては、地図情報３０ａを参照して現在の自車両の位置を特定し、この位置における車線の延長線の交差角を前記角度としている。
【００３３】
すなわち、角度取得部２２ｂは、ＧＰＳ受信部４１からの信号に基づいて自車両の位置を特定し、地図情報３０ａを参照して自車両が走行している走行車線の延長方向を取得する。さらに、当該走行車線の隣の進入先車線の延長方向を取得する。そして、両車線の延長方向が交差する角度を取得する。この角度は、上述のカメラパラメータの一部となり得る。
【００３４】
挙動情報取得部２２ｃは、舵角センサ４３および方位センサ４５からの信号に基づいて自車両が向いている方位を示す情報を取得し、３軸加速度センサ４４からの信号に基づいて自車両のヨー、ピッチ、ロールを示す情報を取得する。これらの情報は、自車両の挙動を示す挙動情報であり、上述のカメラパラメータの一部となり得る。
【００３５】
俯瞰変換部２２ｄは、前記進入先車線を上下方向に向けながらカメラ４０による撮影画像を俯瞰画像に変換するモジュールである。すなわち、上述の角度や挙動情報に基づいてカメラパラメータを特定し、当該カメラパラメータに対応づけられている座標対応データ３０ｂを参照して座標変換を行う。変換後の俯瞰画像は、案内部２３に受け渡され、案内に利用される。
【００３６】
すなわち、案内部２３は、俯瞰画像に基づいて進入先車線上の他車両を検出し、他車両が存在しない位置に自車両が進入できるように案内するモジュールであり、案内情報をスピーカー４６や表示部４７に対して出力する。他車両の検出に際しては、画像内からエッジや特徴量（輝度分布等）を抽出し、車両のエッジや特徴量が抽出されたときに他車両の存在を検出する構成など、種々の構成を採用可能である。
【００３７】
他車両を検出したときには、俯瞰画像内の位置によって他車両と自車両との相対関係（距離）を取得し、他車両が存在しない状態で進入先車線に進入するように案内情報を出力する。本実施形態においては、前記俯瞰画像を表示部４７に表示し、また、他車両が存在しない位置に自車両を移動させるために自車両で必要な加減速の案内を行い、自車両の横に他車両が存在しないときに車線変更を促す案内を行い、自車両に対して接近する他車両を通知する。
【００３８】
（２）案内処理：
次に、以上の構成においてナビゲーション装置１０が実施する案内処理を説明する。図２は、本実施形態におけるナビゲーションプログラム２１の処理を示すフローチャートである。本実施形態において、ナビゲーションプログラム２１は目的地への案内等を行っており、ウインカーのスイッチがＯＮになったときやＧＰＳ受信部４１の情報に基づいて高速道路の本線に自車両が合流しようとしていること等を判定し、図２に示す処理を開始する。
【００３９】
この処理が開始されると、画像取得部２２ａはカメラ４０から画像データを取得する（ステップＳ１００）。図３は、画像の例を示しており、図３Ａはカメラ４０にて取得した画像、図３Ｂ，図３Ｃは俯瞰変換後の画像を示している。なお、本実施形態においてカメラ４０は自車両のバックミラーに取り付けられており、自車両が走行する走行車線の隣に位置する進入先車線を視野の中心にとらえるように光軸が向けられている。また、この例では右隣の車線を進入先車線とする例を示している。従って、図３Ａにおいて中央に位置する車線が進入先車線Ｌ2であり、右下に位置する車線が走行車線Ｌ1である。
【００４０】
また、図３Ｂ，図３Ｃにおいては、俯瞰変換後の画像の一部を示しており、図３Ｂは走行車線Ｌ1が常に画像の上下方向（画像の座標を規定する直交軸のうち、縦方向に平行な方向）を向くように俯瞰変換した状態を示し、図３Ｃは進入先車線Ｌ2が常に画像の上下方向を向くように俯瞰変換した状態を示している。走行車線Ｌ1と自車両のように両者の相対関係がほぼ一定であれば、既定の俯瞰変換処理によって図３Ｂのような変換を行うことができる。しかし、上述のように、走行車線Ｌ1と進入先車線Ｌ2との角度は一定ではない。
【００４１】
そこで、本実施形態においては、進入先車線Ｌ2を常に画像の上下方向に向けるため、角度取得部２２ｂが走行車線Ｌ1と進入先車線Ｌ2との角度を取得し（ステップＳ１１０）、挙動情報取得部２２ｃが自車両の挙動情報を取得する（ステップＳ１２０）。すなわち、角度取得部２２ｂはＧＰＳ受信部４１からの信号に基づいて自車両の位置を特定し、この位置において走行車線Ｌ1と進入先車線Ｌ2とが延びる方向を特定して両者の角度を取得する。
【００４２】
挙動情報取得部２２ｃは舵角センサ４３および方位センサ４５からの信号に基づいて自車両が向いている方位と走行車線Ｌ1との角度を取得し、３軸加速度センサ４４からの信号に基づいて自車両のヨー、ピッチ、ロールの角度を取得する。そして、俯瞰変換部２２ｄはこれらの角度に対応した情報に基づいてカメラパラメータを決定する（ステップＳ１３０）。なお、本実施形態において、カメラパラメータは、カメラ４０の基準の姿勢と実際の姿勢とのずれに対応したパラメータである。
【００４３】
本実施形態においては、上述のように複数のカメラパラメータに対応する座標対応データ３０ｂが記憶媒体３０に記憶されており、各カメラパラメータに対応した座標対応データ３０ｂを参照すれば、各カメラパラメータに対応した車線の向きや自車両の挙動の状態にて撮影した画像に基づいて進入先車線Ｌ2を画像の上下方向に向ける俯瞰変換を実施可能である。そこで、俯瞰変換部２２ｄは、ステップＳ１３０にて取得したカメラパラメータに対応した座標対応データ３０ｂを特定し（ステップＳ１４０）、この座標対応データ３０ｂを参照して座標変換を行うことによって俯瞰変換を実施する（ステップＳ１５０）。
【００４４】
以上の俯瞰変換によって、車線の角度および自車両の挙動によらず、常に進入先車線Ｌ2が画像の上下方向を向いた図３Ｃのような画像が得られる。そこで、案内部２３は、当該俯瞰変換後の画像に基づいて進入先車線Ｌ2内で他車両の有無を検出し、他車両が存在しない位置に自車両が進入するように案内を行う。本実施形態においては、進入先車線Ｌ2内に複数の検出領域を設定し、検出領域毎に他車両の有無を検出する処理を行っており、このために俯瞰画像内で進入先車線Ｌ2に所定の大きさの検出領域Ｒを設定し、間隔ｒ毎に一定方向にずらしながら複数の検出領域を設定する（ステップＳ１６０）。図３Ｃには、検出領域Ｒの例を実線の矩形で示しており、ある検出領域Ｒと異なる位置に設定される検出領域を破線にて示している。
【００４５】
案内部２３は、これらの検出領域内の各画素の輝度を取得してヒストグラムを生成し、他車両の画像の特徴に相当する分布が当該ヒストグラムに現れているか否かを判定して他車両を検出する（ステップＳ１７０）。例えば、他車両の画像において特定の輝度範囲に特定の幅のピークが現れるときにはこのピークに類似している分布が前記ヒストグラムに現れているか否かによって他車両を検出する。
【００４６】
以上の検出によれば、検出領域毎に他車両の有無を特定することができるので、当該他車両の有無に基づいて自車両に必要な加速、車線変更タイミング等が判明する。そこで、案内部２３は、図３Ｃに示す俯瞰画像を表示部４７に表示し、また、前記自車両に必要な加速、車線変更タイミング等を示す案内情報をスピーカー４６や表示部４７に出力する（ステップＳ１８０）。この結果、自車両の運転者は、容易に進入先車線Ｌ2への進入タイミングや必要な運転操作を把握し、進入を行うことが可能である。
【００４７】
なお、本実施形態においては、以上のように俯瞰画像において進入先車線Ｌ2が常に上下方向を向くように変換を行っているので、他車両の検出精度を上げることができる。すなわち、他車両を検出したときには、俯瞰画像内での検出領域の位置によって他車両が存在する位置を特定するが、本実施形態における俯瞰画像は図３Ｃのように進入先車線Ｌ2が常に上下方向を向くので、俯瞰画像内の位置と他車両の位置とを予め対応づけておくことにより極めて簡単に特定することができる。
【００４８】
一方、図３Ｂのように、進入先車線Ｌ2が傾いており、また、この傾斜角が一定でない場合には、逐次車線の傾斜角を算出し、画像内の車線の位置が自車両とどのような関係にあるのかを傾斜角毎に演算する必要がある。従って、本実施形態と比較してこれらの演算精度が低下し、正確に他車両の位置を検出することができない。また、必ず、車線の傾斜角と位置の演算を行う必要があり、本実施形態と比較して高い演算負荷が要求される。このため、本実施形態によれば、低い演算負荷にて高い演算精度の検出を行うことができる。
【００４９】
また、上述のように、検出領域を設定する際に、本実施形態においては、上下方向に一定の間隔ｒだけ枠をずらせることで極めて容易に検出領域を設定することができるが、図３Ｂのように傾いた車線内で車線に平行な方向に検出領域を一定間隔で設定するためには傾斜角の演算など煩雑な処理が必要になり、演算負荷が高くなる。なお、図３Ｂのように傾いた車線内で画像の上下方向に垂直な方向で検出領域を区切る場合、車両の進行方向に垂直な方向と検出領域の辺の向きとが異なるため、他車両を検出する際の位置精度が低下しやすい。さらに、表示部４７にて図３Ｃのような表示を行うと、図３Ｂのような表示と比較して重要な部分が中央に配置され、ゼブラゾーンの画像など、不要な部分が画像の中央に配置されることを防止することができる。
【００５０】
（３）座標対応データの作成：
次に、上述の座標対応データ３０ｂの作成およびカメラパラメータの例を詳述する。座標対応データ３０ｂは、３次元座標系とカメラ４０にて取得した画像（以下カメラ画像と呼ぶ）の座標系とにおける対応関係を定義したデータであればよく、本実施形態においては、座標系の変換によってこの対応関係を取得する。
【００５１】
図４は、座標対応データ３０ｂを作成する際に設定する座標系の例を示す図であり、図４Ａは３次元座標系とカメラ４０の姿勢との関係を示しており、図４Ｂはカメラ４０の光軸と俯瞰画像およびカメラ画像の座標系との関係を示している。すなわち、図４Ａに示す例では、鉛直上方を向くＺ軸と車両の後方を向くＸ軸と車両の右方向を向くＹ軸とによって３次元座標系を定義しており、この３次元座標系においてはＺ軸方向で地面の高さを原点としている。
【００５２】
また、カメラ４０の光軸Ｏを破線で示しており、カメラ４０のレンズ中心を３次元座標系における座標（Ｘ0，Ｙ0，Ｚ0）とする。さらに、本実施形態においては、光軸ＯをＸＺ平面に投影したときの投影直線とＹ＝０，Ｚ＝Ｚ0の直線との角度をチルト角θT、光軸ＯをＸＺ平面に投影したときの投影直線と光軸Ｏとの角度をパン角θP、光軸ＯをＸＹ平面に投影したときの投影直線とＸ軸との角度を角度θX、光軸ＯをＹＺ平面に投影したときの投影直線とＺ軸との角度を角度θYとして定義している。
【００５３】
一方、図４Ｂに示す例では、光軸Ｏに平行な方向にＷ軸、カメラ画像面に平行な平面上にＵ軸およびＶ軸を持つ直交座標系を設定しており、Ｗ軸は光軸Ｏがカメラ４０からカメラ外に延びる方向を向き、Ｖ軸は車両の右方、Ｕ軸は車両の略上方を向くように設定されている。このＵＶＷ座標系における原点はカメラ４０のレンズ中心である。また、図４Ｂにおいては、カメラ画像面を平面Ｐ0として模式的に示している。カメラ画像においては平面Ｐ0上にＵ軸、Ｖ軸に対して平行に設定された軸で定義される座標系（以下、画像座標系と呼ぶ）で各画素の位置を定義しており、座標対応データ３０ｂにおいては、当該画像座標系における座標と３次元座標系のＸ，Ｙ座標とを対応づければよい。
【００５４】
そこで、本実施形態においては、座標（Ｘ0，Ｙ0，Ｚ0）からみた３次元座標系の座標について座標変換によってＵＶＷ座標系で表現し、仮想平面Ｐ1（Ｗ軸に対して直交する平面であって、その原点が光軸ＯとＸ−Ｙ平面との交点に一致する平面）へ投影し、その座標を変換して画像座標系との対応関係を取得する。
【００５５】
より具体的には、３次元座標系（ＸＹＺ座標系）とＵＶＷ座標系との回転角度をＵ軸周りの回転角α、Ｖ軸周りの回転角β、Ｗ軸周りの回転角γとしたとき、両者の座標変換は以下の式（１）（２）にて表現される。
【数１】
2008040799.tif 000003
【数２】
2008040799.tif 000004
なお、ここで、Ｕp，Ｖp，Ｗpは、ＸＹＺ座標系における座標（Ｘ，Ｙ，Ｚ）をＵＶＷ座標系にて表現した場合の座標である。
【００５６】
以上のようにして、ＸＹＺ座標系における座標（Ｘ，Ｙ，Ｚ）をＵＶＷ座標系で表現した場合のＵＶＷ座標が判明したら、その座標を仮想平面Ｐ1に投影した場合の座標Ｕc，Ｖcを以下の式（３）（４）にて求めることができる。
【数３】
2008040799.tif 000005
【数４】
2008040799.tif 000006
なお、ここで、ＬcはＵＶＷ座標系の原点と仮想平面Ｐ1の原点との距離である。
【００５７】
これらの式（３）（４）および（１）によれば仮想平面上の座標Ｕc，ＶcとＸＹＺ座標系の座標とを対応づけることができる。さらに、仮想平面Ｐ1とカメラ画像面である平面Ｐ0との対応関係は、レンズを通る光の進行特性等を予め解析しておくことによって定義することができるので、この対応関係に基づいてカメラ画像面の座標とＸＹＺ座標系の座標Ｘ，Ｙとの対応関係を示すデータを作成すれば、座標対応データ３０ｂを取得することができる。
【００５８】
本実施形態においては、自車両と進入先車線Ｌ2との関係や自車両の挙動の状態によらず、常に進入先車線Ｌ2が上下方向を向くように俯瞰変換を行うため、カメラ４０の姿勢および高さに基づいて上述の回転角α、β、γおよび距離Ｌｃを定義する。例えば、上述の回転角α、βおよび距離Ｌｃは、前記チルト角θT、パン角θP、カメラ４０の高さＨに基づいてそれぞれ式（５）（６）（７）にて定義される。
【数５】
2008040799.tif 000007
【数６】
2008040799.tif 000008
【数７】
2008040799.tif 000009
なお、ここでは、光軸Ｏ周りの変動が無視できるとしてその回転角を０としたが、むろん、光軸Ｏ周りの変動を考慮した変換を行っても良い。
【００５９】
以上の式に対して、自車両が静止しているときのカメラ４０のチルト角θT、パン角θP、高さＨを代入すれば、自車両の前後方向（Ｘ軸）が画像の上下方向に向く俯瞰変換がなされる。そこで、自車両が走行しているときのカメラ４０の姿勢および高さに基づいて前記チルト角θT、パン角θP、高さＨを補正すればカメラ４０の姿勢および高さがどのようなものであっても正確に進入先車線Ｌ2を画像の上下方向に向ける俯瞰変換を実施可能である。
【００６０】
図５は、この補正の例を示しており、図５Ａは、前記ＸＹＺ座標系のＺ軸周りの回転に基づいて補正する様子を示し、図５Ｂは、前記ＸＹＺ座標系のＹ軸周りの回転に基づいて補正する様子を示し、図５Ｃは、前記ＸＹＺ座標系のＸ軸周りの回転に基づいて補正する様子を示している。
【００６１】
図５Ａにおいて、カメラの光軸ＯとＸ軸との角度は前記図４Ａに示した角度θXであり、進入先車線Ｌ2の向きが矢印Ｌであるとしたとき、Ｘ軸と進入先車線Ｌ2との角度はΔθXとなる。一方、前記図４Ａに示す角度の関係からtanθX＝tanθP／cosθTであるので、補正後のパン角θP’を式（８）のように定義すれば、自車両の進行方向がＸ軸に平行であるとしたときにはこの角度のずれΔθXを相殺して進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことが可能である。
【数８】
2008040799.tif 000010
むろん、前記挙動情報として取得した自車両の方位に基づいて自車両の向きと走行車線Ｌ1の向きとが一致していないことが判明しているときには両者の角度のずれも同様にして補正する。
【００６２】
図５Ｂにおいて、カメラの光軸ＯとＸ軸に平行な直線Ｓとの角度は前記図４Ａに示したチルト角θTであり、自車両にピッチングが発生してカメラ４０がＹ軸周りに角度ΔθPだけ回転したとき、補正後のチルト角θT’を式（９）、補正後のカメラ４０の高さＨ’を式（10）のように定義すれば、この角度のずれΔθPを相殺して進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことが可能である。
【数９】
2008040799.tif 000011
【数１０】
2008040799.tif 000012
なお、ここでは、自車両の挙動に応じて前記カメラ４０が回転するときの回転中心位置を座標（Ｘ1，Ｙ1，Ｚ1）としている（図６Ａ参照）。
【００６３】
図５Ｃにおいて、カメラの光軸ＯとＺ軸との角度は前記図４Ａに示した角度θYであり、自車両にローリングが発生してカメラ４０がＸ軸周りに角度ΔθYだけ回転したとき、補正後のパン角θP’を式（11）、補正後のカメラ４０の高さＨ’を式（12）のように定義すれば、この角度のずれΔθYを相殺して進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことが可能である。
【数１１】
2008040799.tif 000013
【数１２】
2008040799.tif 000014
なお、ここでは、自車両の挙動に応じて前記カメラ４０が回転するときの回転中心位置を座標（Ｘ2，Ｙ2，Ｚ2）としている（図６Ｂ参照）。
【００６４】
以上のような俯瞰変換によって進入先車線Ｌ2の向きを調整可能であることから、カメラ４０の姿勢に対応した角度ΔθX，ΔθP，ΔθYによって式（８）〜(12）を算出し、その結果を式（５）〜（７）に代入した結果を式（１）（３）（４）に代入すれば、これらの角度に対応した座標対応データ３０ｂを定義することができる。そこで、本実施形態においては、角度ΔθX，ΔθP，ΔθYをカメラパラメータとし、それぞれのカメラパラメータに対応した座標対応データ３０ｂを予め作成して記憶媒体３０に記憶しておく。
【００６５】
一方、これらの角度ΔθX，ΔθP，ΔθYは、上述の角度取得部２２ｂや挙動情報取得部２２ｃにて取得した角度に基づいて算出することができる。従って、本実施形態においては、当該取得した角度に基づいて上述のステップＳ１３０にてカメラパラメータを算出し、そのカメラパラメータに対応した座標対応データ３０ｂを参照することにより常に進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことができる。なお、座標対応データ３０ｂによる変換では、座標対応データ３０ｂを参照して単に座標変換を行うことで俯瞰変換を実施することができるので、極めて低い演算負荷によって俯瞰変換を行うことが可能である。
【００６６】
（４）他の実施形態：
以上の実施形態は、本発明を実施するための一例であり、自車両の進行方向と進入先の車線との角度に基づいて当該車線を俯瞰画像内で特定の方向に向けることができる限りにおいて、他にも種々の実施形態を採用可能である。例えば、上述の実施形態においては、各検出領域の一部が重なるように検出領域を車線上で設定していたが、検出領域の一部を重ねることが必須というわけではない。また、他車両の検出は、検出領域内の画像の特徴量に基づいて実施することが必須というわけではなく、エッジ検出等を利用してもよい。また、カメラ４０は他車両の存在を検出すべき道路を視野にして撮影を行うことができればよく、自車両のいずれの位置に取り付けられていても良いし、カメラの台数は特に限定されない。
【００６７】
さらに、角度取得部２２ｂにおいては自車両の進行方向と進入先の車線との角度を取得することができればよいので、自車両の進行方向を特定する際に地図情報３０ａを参照することが必須というわけではない。例えば、自車両に搭載された方位センサ等のセンサによって自車両の進行方向を特定しても良い。さらに、上述の特定の方向は、画像の上下方向に限られず、例えば、進入先車線が画像の左右方向に平行に向くように設定されていてもよい。
【００６８】
さらに、上述の例においては、自車両の走行車線と進入先車線との角度と自車両の挙動とに基づいて進入先車線の向きを調整するように構成していたが、自車両の挙動が画像に与える影響が小さい場合には、自車両の挙動を考慮することなく、車線の角度に基づいて進入先車線の向きを調整する俯瞰変換を行っても良い。また、上述のカメラパラメータはカメラ４０における基準の姿勢と実際の姿勢とのずれに対応したパラメータであったが、むろん、カメラパラメータとしては種々のパラメータを採用可能であり、例えば、上述の角度α等であっても良い。
【００６９】
さらに、上述の俯瞰変換においては、座標対応データ３０ｂに基づいて前記進入先の車線を俯瞰画像内で特定の方向に向ける変換処理を行っていたが、むろん、カメラパラメータに基づいて逐一演算を行っても良い。すなわち、前記角度取得部２２ｂと挙動情報取得部２２ｃとによってカメラ４０の姿勢に対応した角度ΔθX，ΔθP，ΔθYを取得すれば、式（８）〜(12）を算出し、その結果を式（５）〜（７）に代入した結果を式（１）（３）（４）に代入することで３次元座標に対応したカメラ画像の座標を取得することができる。
【００７０】
そこで、この変換の逆変換に相当する関数であって、角度ΔθX，ΔθP，ΔθYをパラメータとした関数を予め求めておけば、カメラ画像の座標を３次元座標系のＸ−Ｙ座標（すなわち俯瞰画像）に変換することが可能である。以上の構成においては、上述の実施形態より高速な制御部が必要とされるが、座標対応データ３０ｂを記憶しておく必要がないので、メモリ消費を抑えることができる。また、任意の角度についての演算が可能であり、正確に俯瞰画像内での進入先車線の向きを調整可能である。
【図面の簡単な説明】
【００７１】
【図１】画像変換装置を含むナビゲーション装置のブロック図である。
【図２】案内処理を示すフローチャートである。
【図３】俯瞰変換前後の画像の例を示す模式図である。
【図４】座標系の例を示す図であり、（４Ａ）は３次元座標系とカメラの姿勢との関係、（４Ｂ）はカメラの光軸と俯瞰画像およびカメラ画像の座標系との関係を示している。
【図５】補正の例を示しており、（５Ａ）はＺ軸周りの回転に基づく補正を示し、（５Ｂ）はＹ軸周りの回転に基づく補正を示し、（５Ｃ）はＸ軸周りの回転に基づく補正を示している。
【図６】カメラの回転中心の例を示しており、（６Ａ）は自車両にピッチングが生じているときの回転中心、（６Ｂ）は自車両のローリングが生じているときの回転中心を示している。
【符号の説明】
【００７２】
１０…ナビゲーション装置、２０…制御部、２１…ナビゲーションプログラム、２２…画像変換部、２２ａ…画像取得部、２２ｂ…角度取得部、２２ｃ…挙動情報取得部、２２ｄ…俯瞰変換部、２３…案内部、３０…記憶媒体、３０ａ…地図情報、３０ｂ…座標対応データ、４０…カメラ、４１…ＧＰＳ受信部、４２…車速センサ、４３…舵角センサ、４４…３軸加速度センサ、４５…方位センサ、４６…スピーカー、４７…表示部
【図１】
2008040799.tif 000015
【図２】
2008040799.tif 000016
【図３】
2008040799.tif 000017
【図４】
2008040799.tif 000018
【図５】
2008040799.tif 000019
【図６】
2008040799.tif 000020