(57)【特許請求の範囲】
【請求項１】
道路状況を検出するためのカメラの撮像画像の画像処理領域決定方法であって、
標識を備えた車両を道路に走行させ、
前記車両の、道路中心に設置されている磁気ネイルからの道路横断方向におけるずれ量を前記磁気ネイルに対する電磁波の送受信に基づいて検出し、
前記ずれ量に基づいて前記車両の道路座標系位置を求め記録し、
同時に、道路を走行する前記車両を前記カメラによって撮像し、画像処理することにより前記車両の画像座標系位置を算出し、
前記車両の画像座標系位置を記録し、
前記車両の道路座標系位置と画像座標系位置に基づいて、磁気ネイルの画像座標系位置を算出し、
予め記憶されている磁気ネイルの位置情報と道路横方向の道路大きさ情報を読み出し対応付け、
前記道路横方向の道路大きさ情報に基づいて、画像処理領域を決定することを特徴とする画像処理領域決定方法。
【請求項２】
請求項１において、画像処理領域は、車線の領域であることを特徴とする画像処理領域決定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、道路脇に設置したカメラによって道路を撮像し、撮像した画像を画像処理することにより、交通量、速度、突発事象などの道路状況を検出するために利用される画像処理領域の決定方法に関する。
【０００２】
【従来の技術】
自動運転用の道路では、走行支援道路システム（ＡＨＳシステム）は道路に設置された磁気ネイルや道路脇に設置されたＣＣＴＶカメラなどにより車両への走行支援を行っている。磁気ネイルは車線中央上で車両進行方向に等間隔に極性が反転するよう多数設置されている。この道路を走行する車両に搭載された磁気センサにより磁気ネイルからのずれ量を計測することにより、車線中央に対する自車の位置を計測することができる。走行支援道路システムはその位置情報に基づいて車線中央へ車両を誘導などする。また、ＣＣＴＶカメラは、落下物等の障害物の検出、車両挙動把握など道路状況把握で重要な役割を果たす。
【０００３】
ＣＣＴＶカメラを使用した車両挙動把握はＣＣＴＶからの画像を画像処理することにより、通行している車両の挙動（道路に対する位置、速度、加速度）、落下物などの障害物などを検出するもので、事故や停止、渋滞などの交通異常を検出することができる。さらに、路車間通信などでＡＨＳ車両（ＡＨＳシステムにおいて自動運転が可能な車両のこと）へ、その情報を伝達することにより安全運転を実現する。また、ＡＨＳシステム導入過渡期においてのＡＨＳ車両、非ＡＨＳ車両混在での車両挙動状況把握でも重要な役割を果たす。そこで、ＣＣＴＶカメラから得られた画像を画像処理することにより道路上の車両や障害物の位置を算出する場合、画像上の座標と実際の道路上の座標との関係を求める必要がある。この関係を求めることによって、走行支援道路システムは画像上の道路領域すなわち画像処理領域を知ることができ、道路を走行している車両が車線上の位置、速度、加速度などを検出することができる。
【０００４】
ＣＣＴＶカメラは道路脇に固定されて設置してあるので、道路に対する位置（路肩からの距離や設置高さ）や光学的条件（画角、集点距離など）は既知である。しかし、ＣＣＴＶカメラの３次元空間における撮像方向は計測して初めて得られる場合が多い。画像処理対象の道路が直線道路で、勾配変化などの道路形状の変化が無い場合、画像処理により道路路内部の白線を検出し、その白線同士の間隔（白線同士の間隔は予めわかっているものとする。）から画面上に表示される位置関係を算出することができる。
【０００５】
しかし、一般に多くの道路は、曲がっていたり、その勾配が変化したりしている。このため、画面上の白線から画像処理領域を算出することができない。そこでこのような道路の場合、実際の道路線形（車線境界線）に沿って、画像処理用の目印としてカラーコーンなどを設置し、その道路上の位置及び画像上の位置を計測することにより、画像上における実際の道路の座標と実際の道路での座標との対応関係を取得し、画像処理領域を設定する。
【０００６】
【発明が解決しようとする課題】
しかしながら、道路が曲がっていたり、その勾配が変化していたりした場合に、前述のカラーコーンを設置する作業は、車両が走行している道路など容易に人が近づけず、危険な作業であるという課題が存在した。
この発明は、このような状況に鑑みてなされたものであり、道路での人間による直接の作業なしに、画像処理用の画像処理領域を決定することができる画像処理領域の決定方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、請求項１に記載の発明は、道路状況を検出するためのカメラの撮像画像の画像処理領域決定方法であって、標識を備えた車両を道路に走行させ、前記車両の、道路中心に設置されている磁気ネイルからの道路横断方向におけるずれ量を前記磁気ネイルに対する電磁波の送受信に基づいて検出し、前記ずれ量に基づいて前記車両の道路座標系位置を求め記録し、同時に、道路を走行する前記車両を前記カメラによって撮像し、画像処理することにより前記車両の画像座標系位置を算出し、前記車両の画像座標系位置を記録し、前記車両の道路座標系位置と画像座標系位置に基づいて、磁気ネイルの画像座標系位置を算出し、予め記憶されている磁気ネイルの位置情報と道路横方向の道路大きさ情報を読み出し対応付け、前記道路横方向の道路大きさ情報に基づいて、画像処理領域を決定することを特徴とする。
【０００８】
請求項２の発明は、請求項１において、画像処理領域は、車線の領域であることを特徴とする。これにより、車線を走行している車両が、車線からどれだけ外れているかを知ることができる。
【０００９】
【発明の実施の形態】
この発明の一実施の形態について、添付図面を参照して説明する。図１はこの発明が適用される道路やカメラなどの外観を示す。ＣＣＴＶカメラ２は道路４を走行する車両１を撮像する。撮像された画像は画像処理装置３において車両の位置、速度、加速度などが検出され、これらの情報が道路管理センターやこの撮像された車両１へ送信される。これらの構成要素からなるシステムを走行支援道路システムと呼ぶ。道路４の各車線中央には磁気ネイル５が車両進行方向に所定の距離間隔で多数設置されている。この実施の形態においては、図中の左側の車線について説明する。自動走行する車両は、この磁気ネイル５に沿って道路を走行する。曲がり角でも、この磁気ネイル５に沿って走行することことにより車線からはみ出してしまうことはない。車両１が磁気ネイル５を検出する原理については、後述する。なお、図中、白抜き矢印は車両１の進行方向を表す。白線１０は各車線を区切っている。道路４は２車線である。なお、図１において磁気ネイル５が可視的にはっきりと図示されているが、これは説明のためである。実際に道路に設置される磁気ネイルは撮像画像上においては、可視的には道路と区別が困難で、図１にような撮像画像を取得した場合には、撮像画像上において、磁気ネイルは可視的ではない。
【００１０】
図２は画像座標系１２と道路座標系１３との関係を示す。取得画像１１内に道路４が撮像されている。取得画像１１の左上に画像座標系１２の原点０ＩＪが設定されている。この原点０ＩＪから右方向にＩ座標系が設けられ、下方向にＪ座標系が設けられている。一方、道路座標系１３のＸＹは道路４に沿って設けられている。道路進行方向にＸ座標系が設けられ、Ｘ座標系に直行する方向にＹ座標系が設けられている。道路座標系１３の原点０ＸＹは図２の下側ほぼ中央に設けられている。図２のような場合において、画像処理領域決定方法は画像処理領域として、画像座標系１２における道路４の領域を決定することを目的としている。
【００１１】
図３は図２の道路座標系１３の詳細を示す。道路座標系１３のＸ軸は図３において、白抜きの白線１０で示される車両進行方向に沿って設定されている。そして、Ｘ軸に直行するようにＹ軸が設定されている。すなわち、Ｘ軸の任意の座標位置におけるＸ軸の法線方向にＹ軸が設定されている。
【００１２】
図４は磁気ネイル５からのずれ量を検出して記録する車載器のブロック図および車両１の概観図である。車両１には車載器１４が搭載されている。車載器１４は磁気センサ１６、車両位置計測（算出）部１７、時計１８、記録部１９、道路基準位置検出部１３から構成されている。磁気センサ１６は道路上に設置されている磁気ネイル５の有無に基づいた電気信号を出力する。この電気信号に基づいて、車両位置計測部１７は車両進行方向の法線方向である道路横断方向に対して磁気ネイル５からどれだけずれているかを示すずれ量を算出する。ずれ量検出原理については後述する。
【００１３】
一方、道路基準位置検出部１３は道路上に設置されている基準タグ１２の有無を検出する。例えば、道路基準位置検出部１３から所定の周波数の電磁波を道路面に向けて送信することによって、その電磁波に共振することによって発生する基準タグ１２の反射波の有無で基準タグ１２の存在の有無を検出する。磁気ネイル５は道路上に所定の間隔で設置されているので、車両位置計測部１７は基準タグ１２を検出した後に、磁気ネイル５を検出した数を積算することによって、基準タグ１２からの磁気センサ１６が検出した磁気ネイル５までの走行距離を算出する。ここで、車両位置計測部１７が算出した車両走行距離およびずれ量をあわせて車両位置と呼ぶ。車両位置が算出される度に算出された車両位置は時計１８から出力される検出時刻とともに、記録部１９に記録される。車両１の後部に画像処理用標識１５が取り付けられている。ＣＣＴＶカメラ２がこの標識１５を含む画像を取得することによって、ＣＣＴＶカメラ２で取得した取得画像１１における車両１の基準位置が算出される。そして、標識１５と磁気センサ１６との距離は既知であり、その距離を車長補正量１ｃと呼ぶ。
【００１４】
図５は車両１を正面から見たときの車両１に搭載されている磁気センサ１６と道路４上に設置されている磁気ネイル５との位置関係を示す図である。磁気センサ１６における磁気ネイル５の検出素子である磁性薄膜４２は図に示されるように、道路４面に対して道路横断方向に複数設けられている。磁気センサ１６は磁気ネイル５の上を通過するときに各磁性薄膜４２から発生する電気信号の変化量を出力する。そしてこの変化量に応じて磁気ネイル５からの道路横断方向のずれ量を算出する。
【００１５】
図６は磁気センサ１６のブロック図を示す。磁気センサ１６は車両１の幅方向に渡って複数の磁性薄膜４２を備えている。高周波回路４１から各磁性薄膜４２に対して、高周波が供給されている。そして、各電圧計４３は各磁性薄膜４２の電圧を計測する。磁性薄膜４２が磁気ネイル５の付近を通過すると、各磁性薄膜４２の電圧に変化が生じる。その変化を各変化量抽出回路４４が各電圧計４３から抽出する。抽出された各変化量を車両位置計測部１７に出力する。車両位置計測部１７はこれらの変化量の大小に基づいて磁気センサ１６の磁気ネイル５からのずれ量を算出する。
【００１６】
図７に記録部１９に記憶された検出結果の具体例を示す。各検出時刻（単位：秒）毎に、車両１の進行位置（単位：ｍ）および道路横断方向の位置（単位：ｍ）の検出結果が記録されている。道路横断方向の位置で、正の値は車両進行方向に向かって左側にずれていることを示し、負の値は車両進行方向に向かって左側にずれていることを示している。道路基準位置検出部１３で検出された基準位置は時刻０ｓ（秒）のときの進行距離０ｍである。時刻１ｓ以降の位置は磁気センサ１６によって検出されたものである。
【００１７】
次に、図８に概要が示されている路側処理装置について説明する。路側処理装置はＣＣＴＶカメラ２および画像処理装置３から構成されている。画像処理装置３はＡ／Ｄ変換部２１、メモリ２２、標識位置抽出部（ターゲット抽出処理部）２４、時計２３、記録部２５から構成されている。ＣＣＴＶカメラ２は道路４の所定の領域を撮像する。ＣＣＴＶカメラ２からの撮像信号はＡ／Ｄ変換部２１に出力され、アナログ信号からデジタル信号、すなわち画像データに変換される。変換された画像データがメモリ２２に撮像時刻とともに記憶される。なお、撮像時刻は時計２３から取得される。そして、記憶された画像データに基づいて標識位置抽出部２４は画像座標系１２における標識１５の位置を抽出する。なお、時計２３は車両１に搭載されている時計１８と時刻が一致するよう時刻合わせがなされている。
【００１８】
図９に標識１５を取り付けた車両１の外観を示す。これは車両の後方から外観した図である。車両１には標識１５が３つ（１５ａ、１５ｂ、１５ｃ）取り付けられている。標識位置抽出部２４は画像処理によって、３つの標識１５の画像座標系１２における位置を抽出する。
【００１９】
この抽出結果を図１０に示す。各時刻（単位：秒）毎に、画像座標系１２における各標識（１５ａ、１５ｂ、１５ｃ）の位置が記録されている。表の見出しのＩはＩ座標における位置を示し、表の見出しのＪはＪ座標における位置を示している。そして、標識位置抽出部２４はこの３つの標識１５の標識位置抽出結果および撮像時刻を記録部２５に出力する。記録部２５は標識位置抽出結果および撮像時刻を記録する。次に、磁気ネイル５の検出に基づく車両１の位置算出結果、およびＣＣＴＶカメラ２で得られた画像を画像処理し、車両１の位置を算出した結果に基づいて画像処理領域を決定する方法について説明する。
【００２０】
図１１は画像処理領域決定処理の概要を示す。
ステップＳ１において、ＣＣＴＶカメラ２で撮像した画像に基づく車両位置が記録された記録部２５から画像座標系車両位置データおよび時刻データを読み出す。ステップＳ２において、磁気ネイル５の検出結果に基づく車両位置が記録された記録部１９から道路座標系車両位置データおよび時刻データを読み出す。ステップＳ３において、読み出した各時刻を基準として画像座標系車両位置データと道路座標系車両位置データとを対応付ける。ステップＳ４において、対応付けられた画像座標系車両位置データと道路座標系車両位置データとから画像座標系１２における磁気ネイル５の画像座標系１２における位置を算出する。この位置の算出方法について図１２を用いて説明する。
【００２１】
図１２は道路４および磁気ネイル５と標識１５との関係を示したものである。ここには磁気センサ１６によって検出された一つ目の磁気ネイル５が図示されている。図中における記号の下付文字の数字は検出時刻または撮像時刻を意味する。図１２は時刻１ｓにおいて検出および撮像された位置関係を示す。磁気ネイル５は道路中心線３３上に存在する。道路中心線３３が道路座標系１３のＸ軸に相当する。磁気ネイル５の位置は点Ｎ１で示される。中央の標識１５ｂは点Ｐ１ｃで示される。左右の標識１５ａ、１５ｃはそれぞれ点Ｐ１Ｌ、点Ｐ１Ｒで示される。磁気センサ１６から得られた道路座標系１３におけるずれ量はＤｃ１で示される。標識１５ａと１５ｂとの道路座標系１３における距離はＤで示される。また、標識１５ｂと標識１５ｃとの距離も同じくＤで示される。この距離Ｄは既知である。もちろん、磁気センサ１６の位置と標識１５の位置は異なるので、前述した車長補正量１ｃなどの値を使用して、画像上の車両１の基準位置と車両１に搭載されている磁気センサ１６の基準位置とを一致させる。
【００２２】
一方、画像から抽出された標識１５ａと１５ｂとの画像座標系１２における距離はａ１で示される。また、標識１５ｂと標識１５ｃとの距離も同じくａ１で示される。これは既知ではなく、画像上で標識位置抽出部２４で抽出された各標識１５の位置に基づいて算出する。よって、画像座標系１２におけるずれ量ｅ１は（ａ×Ｄｃ１／Ｄ）で算出される。このずれ量ｅ１だけ、画像座標系１２における標識１５ｂの位置Ｐ１ｃを補正することによって、画像座標系１２における道路中位置Ｉｃ１を算出する。このようにして、各時刻毎に画像座標系１２における道路中心位置を求める。
【００２３】
したがって、ＣＣＴＶカメラ２で車両１が写っている画像を撮像したとき、画像座標系１２における道路中心位置を基準としてその車両１が道路４のどの位置を走行しているのかを知ることができる。さらに、図１１のステップＳ３において、道路幅データベースから車線の中心からの車線境界位置までの幅情報を読み出すことによって、ステップＳ４において車線の境界線までの領域を算出する。道路幅データベースには道路座標系１３における車線中心位置、道路座標系１３における車線中心位置からの車線左側の境界線３１までの幅Ｗ１Ｌと、道路座標系１３における車線中心位置からの車線右側の境界線３２までの幅Ｗ１Ｒが記憶されている。よって、画像座標系１２における道路中心位置Ｉ１ｃから車線の左側境界までの幅ｗ１ＬはＷ１Ｌ×ａ１／Ｄによって算出され、道路中心位置Ｉ１ｃから車線の右側境界までの幅ｗ１ＲはＷ１Ｒ×ａ１／Ｄによって算出される。これらの位置情報と幅情報とから、撮像画像における画像座標系１２における道路領域に相当する画像処理領域を決定する。
【００２４】
図１３において、取得画像１１において決定された画像処理領域３５が点線で示されている。画像処理領域を決定することで、道路４を走行している車両１が、ＣＣＴＶカメラ２から得られた画像内の情報から道路４のどの位置を走行しているかを知ることができる。この画像処理領域は、撮像画像に写っている道路４の車線の領域と一致する。
【００２５】
【発明の効果】
この発明によれば、画像上の道路の基準位置に対して道路を走行する車両位置を知ることができ、その結果、従来のような道路での人間による直接の作業なしに、画像処理用の画像処理領域を決定することができるという優れた効果が期待できる。
【図面の簡単な説明】
【図１】この発明の一実施の形態の道路やカメラなどの外観を示す図である。
【図２】画像座標系と道路座標系との関係を示す図である。
【図３】図２の道路座標系の詳細を示す図である。
【図４】磁気ネイルからのずれ量を検出し記録する車載器のブロック図である。
【図５】磁気センサと磁気ネイルとの位置関係を示す図である。
【図６】磁気センサのブロック図である。
【図７】車載器の記録部に記録されるデータの具体例を示す図である。
【図８】路側処理装置のブロック図である。
【図９】車両の後方に取り付けられている標識の外観を示す図である。
【図１０】路側処理装置の記録部に記録されるデータの具体例を示す図である。
【図１１】画像処理領域決定処理の概要図である。
【図１２】画像処理領域決定を説明する図である。
【図１３】決定された画像処理領域を示す図である。
【符号の説明】
１  車両
２  カメラ
３  画像処理装置
４  道路
５  磁気ネイル
１５  標識
１６  磁気センサ
１７  車両位置計測部
１８  時計
１９  記録部
２１  Ａ／Ｄ変換部
２２  メモリ
２３  時計
２４  標識位置抽出部
２５  記録部
【図１】
0003551313.tif 000002
【図２】
0003551313.tif 000003
【図３】
0003551313.tif 000004
【図４】
0003551313.tif 000005
【図５】
0003551313.tif 000006
【図６】
0003551313.tif 000007
【図７】
0003551313.tif 000008
【図８】
0003551313.tif 000009
【図９】
0003551313.tif 000010
【図１０】
0003551313.tif 000011
【図１１】
0003551313.tif 000012
【図１２】
0003551313.tif 000013
【図１３】
0003551313.tif 000014