(57)【特許請求の範囲】
【請求項１】
道路や周辺の状況情報を、車両の乗員に対して提供する状況情報提供装置であって、
交差点の各道路やその周辺を俯角をもってそれぞれ撮影装置によって撮影する撮像手段と、
前記撮影された複数の透視投影の見通し画像を前記各撮影装置の撮影位置、撮影角度、レンズの焦点距離に基づいて平面投影画像にそれぞれ変換する変換手段と、
前記複数の平面投影画像を前記複数の撮影装置の撮影位置、撮影角度、レンズの焦点距離に基づいて一つの画像に合成する合成手段と、
前記車両の進行方向に対する左右の位置と、前記合成した画像の左右方向とが一致するように、前記合成した画像を回転させる回転手段と、
前記回転した合成画像を前記車両の乗員に対して呈示する呈示手段と、
を有する
ことを特徴とする状況情報提供装置。
【請求項２】
指向性を持った無線の信号伝達手段を有し、この信号伝達手段を用いて指向性の範囲内に位置する車両に対して、前記撮影した画像情報を送信する情報送信手段と、
前記車両に搭載され、前記情報送信手段が送信する画像情報を受信し、前記呈示手段に出力する情報受信手段と、
を有する
ことを特徴とする請求項１記載の状況情報提供装置。
【請求項３】
道路上の特定の位置に車両が存在することを検出する車両検出手段と、
前記車両検出手段が車両を検出した時にだけ前記撮影した画像情報を送信する情報送信手段と、
前記車両に搭載され、前記情報送信手段が送信する画像情報を受信し、前記呈示手段に出力する情報受信手段と、
を有する
ことを特徴とする請求項１記載の状況情報提供装置。
【請求項４】
前記情報受信手段に、前記変換手段と前記合成手段と前記回転手段が含まれる
ことを特徴とする請求項２または請求項３記載の状況情報提供装置。
【請求項５】
前記情報受信手段は、周辺の地図を含む外部情報が入力する外部情報入力手段をさらに含み、
前記合成手段は、前記合成画像と前記周辺の地図とを合成して新たに合成画像を生成する
ことを特徴とする請求項４記載の状況情報提供装置。
【請求項６】
前記情報送信手段に、前記変換手段と前記合成手段と前記回転手段が含まれる
ことを特徴とする請求項２または請求項３記載の状況情報提供装置。
【請求項７】
道路や周辺の状況情報を、車両の乗員に対して提供する状況情報提供方法であって、
交差点の各道路やその周辺を俯角をもってそれぞれ撮影装置によって撮影する撮像ステップと、
前記撮影された複数の透視投影の見通し画像を前記各撮影装置の撮影位置、撮影角度、レンズの焦点距離に基づいて平面投影画像にそれぞれ変換する変換ステップと、
前記複数の平面投影画像を前記複数の撮影装置の撮影位置、撮影角度、レンズの焦点距離に基づいて一つの画像に合成する合成ステップと、
前記車両の進行方向に対する左右の位置と、前記合成した画像の左右方向とが一致するように、前記合成した画像を回転させる回転ステップと、
前記回転した合成画像を前記車両の乗員に対して呈示する呈示ステップと、
を有する
ことを特徴とする状況情報提供方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、交差点や渋滞道路など、物理的に視界が制限される状況下で、車両の位置とは異なる位置から交通状況を撮影することで得られる画像を、車両の乗員に対して呈示することで、周辺の交通状況の情報を提供する技術に掛り、特に、前記画像の呈示装置及び方法を工夫し、車両の位置とは異なる位置から撮影した画像を車両の乗員が直感的に理解しやすくすることで、交通の安全確認の内容を向上させる安全確認装置、及びその方法に関する。
【０００２】
【従来の技術】
交差点など、物理的に視界が制限される状況での安全確認を考えた場合に次のような従来技術がある。
【０００３】
第１の従来技術は、カーブミラーによる鏡像を利用した安全確認が挙げられる。
【０００４】
しかしながら、カーブミラーには鏡像による錯覚、天候や時間帯による視認性の低下、鏡面反射の原理による視点と確認対象の位置関係の制限などの問題点が存在する。
【０００５】
第２の従来技術は、車両の各部分に撮像装置を取付けて車外の画像を撮影し、これを乗員に呈示する技術（特開平６−６４４７８号「車載用左右確認装置」）がある。
【０００６】
しかしながら、この技術は、車体そのものによって発生する死角を補完する目的で設けられるものであり、撮像装置の位置は車両の位置に依存するため、車両全体から見ることの出来ない範囲の状況は、やはり確認することが出来ない。
【０００７】
第３の従来技術は、複数の地点に設置した撮像装置で得られた画像から障害物を検出し、道路監視者や車両の乗員に警告を発するものがある（特開平１０−９１８９９号：「道路監視システム」）。これは画像処理によって障害物を検出し、車両の乗員や道路の管理者に対して警報を出力するものである。
【０００８】
しかしながら、障害物として認識されるためには静止物体である必要があるなど制約条件があり、交通状況の把握に必要な情報を全て得る手段として十分であるとは言えない。
【０００９】
【発明が解決しようとする課題】
以上のように、見通しの悪い交差点や渋滞道路など、物理的に視界が制限される状況では、車両の乗員が十分に安全確認を行えないが、前記に述べた通り、車両の乗員に対して外部から補助的に情報を与えることで、車両の通行に十分な交通状況の確認を行うという解決手段がある。
【００１０】
しかし、第１の従来技術において、カーブミラーは鏡面反射を利用することによる物理的な制約が存在し、渋滞道路の前方視野確保などの用途には使えなかった。
【００１１】
また、第２の従来技術において、車両の各部分に撮像装置を取りつけて車外の画像を撮影し、これを乗員に対して呈示する方法では、車両そのものから死角になる場所に対しては、やはり視野確保の目的を達成することは出来ない。
【００１２】
さらに、第３の従来技術において、撮像装置を利用して道路監視を行うシステムでは、障害物の自動検知が主な目的であることから警報装置の機能しか実現されておらず、車両の乗員が交通状況を把握するための手段としては不十分である。
【００１３】
そこで本発明は、以上の問題点を鑑みて成されたものであり、その目的とするところは、車両の乗員とは異なる位置から撮影された画像を乗員に呈示することにより、死角にあたる周囲の状況を確認する手段を提供することはもちろんのこと、特にその画像の呈示方法に工夫をこらし、乗員が直観的に理解できるようすることで、前記で述べた問題を全て解決する交通の安全を確認する装置及びその方法を提供することである。
【００１４】
【課題を解決するための手段】
本発明は、道路や周辺の状況情報を、車両の乗員に対して提供する状況情報提供装置であって、交差点の各道路やその周辺を俯角をもってそれぞれ撮影装置によって撮影する撮像手段と、前記撮影された複数の透視投影の見通し画像を前記各撮影装置の撮影位置、撮影角度、レンズの焦点距離に基づいて平面投影画像にそれぞれ変換する変換手段と、前記複数の平面投影画像を前記複数の撮影装置の撮影位置、撮影角度、レンズの焦点距離に基づいて一つの画像に合成する合成手段と、前記車両の進行方向に対する左右の位置と、前記合成した画像の左右方向とが一致するように、前記合成した画像を回転させる回転手段と、前記回転した合成画像を前記車両の乗員に対して呈示する呈示手段と、を有することを特徴とする状況情報提供装置である。
【００１５】
これにより、車両の乗員とは異なる位置から撮影された画像を乗員に呈示することにより、死角にあたる周囲の状況を確認する手段を提供できる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態の実施例について図面を参照して説明する。
【００２７】
（実施例１）
図１は、本発明の第１の実施例を示すブロック図である。
【００２８】
撮像装置１０１０は、ＣＣＤやＣ−ＭＯＳイメージセンサによって実現される単数または複数の画像撮影手段であり、道路や周辺状況を撮影している。
【００２９】
信号送信装置１０２０は、前記撮像装置１０１０で撮影された画像を無線等の手段で外部に送信する単数または複数の装置であり、本例では赤外線による光通信としている。
【００３０】
撮像装置１０１０及び信号送信装置１０２０の具体的な配置の一例を図６に示す。
【００３１】
信号受信装置１１１０は、車両１０００に搭載され、信号送信装置１０２０が発する信号を受信する受信手段からなる装置である。
【００３２】
信号送信装置１０２０が発する信号は指向性を持っているので、信号送信装置１０２０と信号受信装置１１１０との間で通信経路が確立されるためには、車両１０００が特定の位置に存在する必要がある。
【００３３】
このことにより、ある特定の範囲内に存在する車両に対して、ある特定の画像情報を送信することが可能となる。
【００３４】
具体的には、交差点に対して一方の道路から近づいてくる車両に対して、交差点の手前の地点で、直交する左右の道路の画像を送信することができる。
【００３５】
呈示装置１１２０は車両１０００に搭載され、例えば液晶ディスプレイやヘッドマウントディスプレイ、フロントガラス埋め込み型ディスプレイなどによって、前記手段によって得られた道路の画像を車両の乗員が知覚可能な形で出力する。
【００３６】
以上のように、車両の乗員の位置から確認することが困難な場所の画像を、遠隔地点に設置した撮像装置を利用して撮影し、これを乗員に対して呈示することで、従来では不可能であった範囲に対する状況情報提供が可能となる。
【００３７】
また、本実施例はそれだけにとどまらず、該車両と撮像装置が特定の位置関係にあるときにのみ画像を送信することで、撮影されている対象内容と該車両との関係を直観的に理解できるようになり、安全確認の内容を向上させることができる。
【００３８】
（実施例２）
図２は、本発明の第２の実施例を示すブロック図である。
【００３９】
撮像装置２０１０はＣＣＤやＣ−ＭＯＳイメージセンサによって実現される単数または複数の画像撮影手段であり、道路や周辺状況を撮影している。
【００４０】
信号送信装置２０２０は、前記撮像装置２０１０で撮影された画像を無線等の手段で外部に送信する単数または複数の装置であり、本例ではＵＨＦ電波による無線通信としている。
【００４１】
車両検出装置２０３０は、信号送信装置２０２０が信号を送出するのに適切な範囲内に車両が存在するかどうかを検知する単数または複数の装置であり、本例では超音波の反射測定による車両検出装置としている。
【００４２】
撮像装置２０１０、信号送信装置２０２０及び車両検出装置２０３０の具体的な配置の一例を図７に示す。
【００４３】
信号受信装置２１１０は車両２０００に搭載され、信号送信装置２０２０が発する信号を受信する受信手段からなる装置である。
【００４４】
信号送信装置２０２０は、車両検出装置２０３０が車両を検知したときにのみ信号を発するので、信号送信装置２０２０と信号受信装置２１１０との間で通信経路が確立されるためには、車両２０００が車両検出装置２０３０によってその存在を検知される位置に存在する必要がある。
【００４５】
このことにより、ある特定の範囲内に存在する車両に対して、ある特定の画像情報を送信することが可能となる。
【００４６】
具体的には、交差点に対して一方の道路から近づいてくる車両に対して、交差点の手前の地点で、直交する左右の道路の画像を送信することができる。
【００４７】
呈示装置２１２０は車両２０００に搭載され、例えば液晶ディスプレイやヘッドマウントディスプレイ、フロントガラス埋め込み型ディスプレイなどによって、前記手段によって得られた道路の画像を車両の乗員が知覚可能な形で出力する。
【００４８】
以上のように、車両の乗員の位置から確認することが困難な場所の画像を、遠隔地点に設置した撮像装置を利用して撮影し、これを乗員に対して呈示することで、従来では不可能であった範囲に対する状況情報提供が可能となる。
【００４９】
また、本実施例はそれだけにとどまらず、該車両と撮像装置が特定の位置関係にあるときにのみ画像を送信することで、撮影されている対象内容と該車両との関係を直観的に理解できるようになり、安全確認の内容を向上させることができる。
【００５０】
（実施例３）
図３は、本発明の第３の実施例を示すブロック図である。
【００５１】
第３の実施例は、第１の実施例及び第２の実施例の構成において、信号受信装置の構成を変更したものである。
【００５２】
信号受信装置３１１０は、信号送信装置１０２０，２０２０から送信される画像信号を受信する信号受信手段３１１１と、画像信号を変換加工処理する情報処理手段３１１２と、から構成される。
【００５３】
情報処理手段３１１２はマイクロコンピュータなどによって実現される装置で、信号受信手段３１１１経由で得られた画像に対して変換加工処理を施す。
【００５４】
変換加工処理の具体的な内容は、俯角をもって撮影された透視投影の見通し画像を平面投影画像に変換し、さらにこれを車両の乗員の視野と天地左右が一致するように回転したり、前記平面投影画像を任意の視点からの鳥瞰図に変換したりするものである。
【００５５】
また、複数の撮像装置で撮影された画像に対して前記変換加工を施したり、前記変換後の画像を合成したりすることも可能である。
【００５６】
以上の変換加工処理は、信号受信手段３１１１経由で得られた撮像装置に関する個別の撮影位置、撮影角度、レンズの焦点距離などの情報を参照することで実現される。
【００５７】
見通し画像から平面投影図を作成する手順の一例を図８に示す。
【００５８】
ステップ８０１０において、交差道路左側画像が入力し、ステップ８１１０において、交差道路左側画像を左側の平面投影画像を作成する。また、ステップ８０２０において、交差道路右側画像が入力し、ステップ８１２０において、交差道路右側画像を右側の平面投影画像を作成する。そして、ステップ８２１０において、右側の平面投影画像と左側の平面投影画像とを合成し、交差道路が左右方向になるように回転処理を施した画像を作成する。
【００５９】
以上のように、車両の乗員の位置から確認することが困難な場所の画像を、遠隔地点に設置した撮像装置を利用して撮影し、これを乗員に対して呈示することで、従来では不可能であった範囲に対する状況情報提供が可能となり、安全確認の内容を向上させることができる。
【００６０】
しかし、本実施例の効果はそれだけにとどまらず、車両と撮像装置が特定の位置関係にあるときにのみ画像を送信し、なおかつ、呈示する画像を加工してその内容を工夫することで、呈示される画像内容と、撮影されている対象内容との関係を直観的に理解できるようになり、交差点や渋滞道路の通行時における安全確認の内容を著しく向上させることが可能となる。
【００６１】
（実施例４）
図４は、本発明の第４の実施例を示すブロック図である。
【００６２】
第４の実施例は、第１の実施例及び第２の実施例の構成において、信号受信装置及び呈示装置の構成を変更したものである。
【００６３】
信号受信装置４１１０は、信号送信装置１０２０，２０２０から送信される画像信号を受信する信号受信手段４１１１と、画像信号を変換加工処理する情報処理手段４１１２と、外部システムからの様々な情報を統合する外部情報入力手段４１１３と、から構成される。
【００６４】
情報処理手段４１１２は、例えばマイクロコンピュータなどによって実現される装置で、信号受信手段４１１１経由で得られた画像を変換加工処理する。
【００６５】
外部情報入力手段４１１３には、例えば衛星からの電波を利用して位置を測定するＧＰＳであるナビゲーション装置が接続され、現在の車両の位置や進行方向、周辺の地図情報等の情報が入力される。
【００６６】
前記情報処理手段４１１２は、前記外部情報入力手段４１１３経由で得られた車両の位置情報や車両周辺の地図情報を参照し、現在得られている画像情報の内容と、地図座標との対応づけなどを行ったり、前記外部情報入力手段４１１３経由で得られた地図画面と前記画像の合成などを行う。
【００６７】
具体的には、俯角をもって撮影された透視投影の見通し画像を平面投影画像に変換し、さらにこれを前記外部情報入力手段４１１３経由で得られた地図画面と天地左右が一致するように回転変換する。
【００６８】
以上の変換加工処理は、信号受信手段４１１１経由で得られた撮像装置に関する個別の撮影位置、撮影角度、レンズの焦点距離などの情報、及び前記外部情報入力手段４１１３経由で得られた車両の位置情報や車両周辺の地図情報を参照することで実現される。
【００６９】
呈示装置４１２０は車両４０００に搭載され、例えば液晶ディスプレイやヘッドマウントディスプレイ、フロントガラス埋め込み型ディスプレイ、スピーカーなどによって構成され、前記情報処理手段４１１２によって得られた道路の画像とともに、前記外部情報入力手段４１１３経由で得られた文字や図形、音声、警告音などの情報も一緒に、車両の乗員が知覚可能な形で出力する。
【００７０】
以上のように、車両の乗員の位置から確認することが困難な場所の画像を、遠隔地点に設置した撮像装置を利用して撮影し、これを乗員に対して呈示することで、従来では不可能であった範囲に対する状況情報提供が可能となり、安全確認の内容を向上させることができる。
【００７１】
しかし、本実施例の効果はそれだけにとどまらず、車両と撮像装置が特定の位置関係にあるときにのみ画像を送信し、なおかつ、呈示する画像を加工してその内容を工夫することで、呈示される画像内容と、撮影されている対象内容との関係を直観的に理解できるようになり、交差点や渋滞道路の通行時における安全確認の内容を著しく向上させることが可能となる。
【００７２】
（実施例５）
図５は、本発明の第５の実施例を示すブロック図である。
【００７３】
第５の実施例は、第１〜第４の実施例の構成において、信号送信装置の構成を変更したものである。
【００７４】
信号送信装置５０２０は、撮像装置によって撮影された画像を変換加工処理する情報処理手段５０２１と、前記変換加工処理された画像を送信する信号送信手段５０２２と、から構成される。
【００７５】
情報処理手段５０２１はマイクロコンピュータなどによって実現される装置で、撮像装置で得られた画像に対して変換加工処理を施す。
【００７６】
変換加工処理の具体的な内容は、例えば曲面鏡や魚眼レンズを使用して撮影された全方位の湾曲画像を平面投影画像に変換したり、通常の透視投影の見通し画像に変換したりするものである。
【００７７】
以上の変換加工処理は、情報処理手段５０２１内部や撮像装置内部にあらかじめ記憶させておいた、撮像装置に関する個別の撮影位置、撮影角度、レンズの焦点距離、曲面鏡の曲率などの情報を参照することで実現される。
【００７８】
全方位画像から平面投影図を作成する手順の一例を図９に示す。
【００７９】
ステップ９０１０において、全方位撮像画像を入力し、ステップ９０２０において、全方位撮像画像を平面投影変換画像に変換し、ステップ９０２０において、平面投影変換画像を直交道路が左右方向になるように回転した画像を作成する。
【００８０】
以上のように、車両の乗員の位置から確認することが困難な場所の画像を、遠隔地点に設置した撮像装置を利用して撮影し、これを乗員に対して呈示することで、従来では不可能であった範囲に対する状況情報提供が可能となるが、車両と撮像装置が特定の位置関係にあるときにのみ画像を送信することで、撮影されている対象内容と自車両との関係を直観的に理解できるようになり、安全確認の内容を向上させることができる。
【００８１】
しかし、本実施例はそれだけにとどまらず、信号送信装置内部で画像を加工することにより、全方位撮像装置など、特殊な撮像系を持つ撮像装置を使用しても、車両の乗員が直観的に理解できるような画像を送出することが可能となり、交差点や渋滞道路の通行時における安全確認の内容を著しく向上させることが可能となる。
【００８２】
【発明の効果】
本発明によれば、交差点や渋滞道路など物理的に視界が制限される状況下で、車両周辺の交通状況の情報を車両の乗員に対して提供することで安全確認の内容を改善するが、特に、車両の乗員が、車両とは異なる位置から撮影した画像を直感的に理解しやすくなるという効果から、呈示情報の理解にかかる乗員の負担を軽減し、交通の安全確認の内容を著しく向上させることができるなど、この実用的効果は多大である。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図である。
【図２】本発明の第２の実施例を示すブロック図である。
【図３】本発明の第３の実施例を示すブロック図である。
【図４】本発明の第４の実施例を示すブロック図である。
【図５】本発明の第５の実施例を示すブロック図である。
【図６】撮像装置１０１０及び信号送信装置１０２０の具体的な配置の一例を示す図である。
【図７】撮像装置２０１０、信号送信装置２０２０及び車両検出装置２０３０の具体的な配置の一例を示す図である。
【図８】見通し画像から平面投影図を作成する手順の一例を示す図である。
【図９】全方位画像から平面投影図を作成する手順の一例を示す図である。
【符号の説明】
１０００    車両
１０１０    撮像装置
１０２０    信号送信装置
１１１０    信号受信装置
１１２０    呈示装置
【図１】
0003655119.tif 000002
【図２】
0003655119.tif 000003
【図３】
0003655119.tif 000004
【図４】
0003655119.tif 000005
【図５】
0003655119.tif 000006
【図６】
0003655119.tif 000007
【図７】
0003655119.tif 000008
【図８】
0003655119.tif 000009
【図９】
0003655119.tif 000010