(57)【特許請求の範囲】
【請求項１】
撮像し映像信号を出力するｎ個（ｎ≧１）の第１の撮像手段と、
外部装置が備えるｍ個（ｍ≧１）の第２の撮像手段であって、該第２の撮像手段のうち少なくとも１つの撮像手段の撮像範囲と、該第１の撮像手段のうち少なくとも１つの撮像手段の撮像範囲で、共通の撮像領域が存在する該ｍ個の第２の撮像手段から出力される映像信号を受信する受信手段と、
該ｎ個の第１の撮像手段から出力された映像信号および該ｍ個の第２の撮像手段から出力され受信された映像信号のうちｋ個（ｎ＋ｍ＞ｋ≧１）の映像信号を選択する選択手段と、
該ｎ個の第１の撮像手段および該ｍ個の第２の撮像手段の位置と向きと視野角と移動速度とのうち１つ以上の情報を用いて、該選択手段による映像信号の選択を制御する制御手段と、を備え、
障害物により該第１の撮像手段で撮像できない死角となる撮影範囲について、該第２の撮像手段で撮像した映像信号を選択し、
該制御手段は、該ｎ個の第１の撮像手段および該ｍ個の第２の撮像手段の位置と向きと視野角と移動速度の情報を用いて、該第１及び第２の撮像手段の撮像範囲の共通部分に存在する特定の被写体が該共通部分から逸脱する時間を演算し、該時間までに、他の外部装置が備えるｐ個（ｐ≧１）の第３の撮像手段であって、該特定の被写体が該第１および第３の撮像手段の撮像範囲の共通部分に存在するような該ｐ個の第３の撮像手段の映像信号のうち１つ以上を選択するように、映像信号の選択を切り替えるように該選択手段を制御すること、
を特徴とする撮像装置。
【請求項２】
ｎ個（ｎ≧１）の第１のカメラと該第１のカメラで撮像した映像を表示するモニタを備えた自動車であって、
自車が備えないｍ個（ｍ≧１）の第２のカメラであって、該第２のカメラのうち少なくとも１つのカメラの撮像範囲の一部が該第１のカメラのうち少なくとも１つのカメラの撮像範囲の一部と共通である該ｍ個の第２のカメラから出力される映像信号を受信する受信手段と、
該ｎ個の第１のカメラから出力された映像信号および該ｍ個の第２のカメラから出力され受信された映像信号のうちｋ個（ｎ＋ｍ＞ｋ≧１）の映像信号を選択する選択手段と、
該ｎ個の第１のカメラおよび該ｍ個の第２のカメラの位置と向きと視野角と移動速度とのうち１つ以上の情報を用いて、該選択手段による映像信号の選択を制御する制御手段と、
を備え、
障害物により該第１のカメラで撮像できない運転者の死角となる撮影範囲について、該第２のカメラで撮像した映像信号を選択し、該モニタに表示し、
該制御手段は、該ｎ個の第１のカメラおよび該ｍ個の第２のカメラの位置と向きと視野角と移動速度の情報を用いて、該第１及び第２のカメラの撮像範囲の共通部分に存在する特定の被写体が該共通部分から逸脱する時間を演算し、該時間までに、他の外部装置が備えるｐ個（ｐ≧１）の第３のカメラであって、該特定の被写体が該第１および第３のカメラの撮像範囲の共通部分に存在するような該ｐ個の第３のカメラの映像信号のうち１つ以上を選択するように、映像信号の選択を切り替えるように該選択手段を制御すること
を特徴とする自動車。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置により撮像された複数の映像信号を用いる運転支援システムに係り、これら複数の映像信号の選択方法に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００５−１５７５８１号公報（特許文献１）がある。該公報には、「本発明の目的は、高速道路等において、ユーザがより多くのポイントにおける映像を容易に見ることができる映像情報配信システムを提供することである。」と記載され、この解決手段として、「本発明は、所定エリア内の映像を撮影して、当該所定エリア外を移動する移動端末６に当該映像の情報を配信するシステムである。具体的には、複数の監視端末１は、所定エリア内の異なるポイントにおいて映像を撮影して、当該映像の情報を生成し、当該映像の情報を出力する。中継装置２は、複数の監視端末１が出力した複数の映像の情報を取得し、複数の当該映像の情報の内、いずれか一つの映像の情報を選択して、所定エリア外に送信する。複数の転送装置４は、所定エリア外に離間した状態で配置され、中継装置２から転送されてきた映像の情報を、移動端末６に対して無線電波の形式で送信する。そして、中継装置２は、選択する映像の情報を順次的かつ定期的に変化させる。」と記載されている。
【０００３】
また、他の背景技術として、例えば、特開２００１−１０１５６６号公報（特許文献２）がある。該公報には、課題として「運転手が障害物によって交差する道路（死角となる道路）を把握できない交差点において、交差する道路を迅速かつ確実に把握すること。」と記載され、この解決手段として、「交差点付近にカメラ１２を設置して死角となる道路を撮像し、自動車（先行車１）のバンパーに埋め込んだカメラ１５で障害物となる民家の壁を撮像する。そして、これらの撮像画像を重畳して、交差点に進入しようとしている自動車（後行車２）の半透過型の液晶モニタにより形成されたサイドウインドーに表示する。これにより、後行車２の運転手は、あたかも障害物を透過して死角となる道路が見えるようになり、安全確認を迅速かつ確実に行なうことができる。」と記載されている。
【０００４】
【特許文献１】特開２００５−１５７５８１号公報
【特許文献２】特開２００１−１０１５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、運転者に対して道路映像を定期的に更新して提供するシステムが開示されているが、運転者の死角となり得る部分の映像を提供するためには、道路上に多くの撮像ポイントを設ける必要があり、それだけの撮像装置も必要となる。また、定点カメラは撮像位置を変えることができないため、定点カメラと撮像すべき領域との間に他車等の障害物がある場合には、運転者に対する死角領域の映像提供ができなくなってしまう。
【０００６】
上記特許文献２では、定点で撮像された映像に加え、他車に搭載されたカメラで撮像された映像を利用することにより、運転者に対して死角となる領域の情報を提供している。しかしながら、他車の移動に伴い、運転者に提供される死角領域の映像は変化し、時間の経過と共に他車のカメラの撮像範囲から外れてしまう。
【０００７】
そこで、時々刻々と変化する自車と他車の位置を考慮し、各車に搭載されたカメラの位置・向き・視野角・移動速度に応じた映像信号の選択を行い、運転者の死角となる領域の情報を、映像や音声によりリアルタイムに提供することが、運転支援システムの使い勝手上、重要となる。
【０００８】
本発明は、運転支援システムの使い勝手向上を目的とする。
【課題を解決するための手段】
【０００９】
上記目的は、特許請求項の範囲に記載の発明により達成できる。
【発明の効果】
【００１０】
本発明によれば、運転支援システムの使い勝手が向上する。
【発明を実施するための最良の形態】
【００１１】
以下、図面を用いて本発明の一実施の形態を説明する。
【実施例１】
【００１２】
図1は、本発明による複数の映像信号の選択方法の第１実施例に係る運転支援システムを示すブロック図である。図１において、１は自車、２＿１〜２＿ｉ（ｉ＝１、２、３、…）はｉ台の他車を示している。また、３＿１〜３＿ａ（ａ＝１、２、３、…）は自車に搭載されたａ個の撮像装置、４＿１〜４＿ｂ（ｂ＝１、２、３、…）は他車２＿１に搭載されたｂ個の撮像装置、５＿１〜５＿ｃ（ｃ＝１、２、３、…）は他車２＿ｉに搭載されたｃ個の撮像装置、６＿１〜６＿ｉ（ｉ＝１、２、３、…）はｉ台の他車に搭載された送信部、７は受信部、８は信号選択部、９は自車情報取得部、１０は表示部、１１は送信部、１２＿１〜１２＿ｊはｊ台の他車である。
【００１３】
運転支援システムにおいて、他車２＿１〜２＿ｉより、各車に搭載されたカメラで撮像された映像信号および、各カメラの位置・向き・視野角・移動速度といった情報がCDMA・FDMA・TDMA、あるいは光通信などにより送られてくる。自車では、これらの情報を受信部７で受信、自車に搭載されたカメラ３＿１〜３＿ａによる映像信号も含め、信号選択部８において運転者に提供する映像の選択を行い、表示部１０へと送信する。このとき、選択される映像は複数枚であってもよく、表示部１０において、順次表示あるいは画面分割表示を行う。また、他車２＿１〜２＿ｉが映像信号およびカメラ情報を送信するように、自車も、自車に搭載されたカメラ３＿１〜３＿ａにより撮像された映像信号および自車情報取得部９から得られる自車のカメラ情報を、他車１２＿１〜１２＿ｊへと送信する。
【００１４】
図２は、本発明の第１実施例に係る運転支援システムを適用する状況の一例を示す図である。図２において、１３は自車、１４は他車、１５は人物、１６は障害物、１７は他車である。図２（ａ）において、人物１５は障害物１６によって遮られているため、自車１３の運転者からは見ることができない。そこで、後述の方法により、人物１５を撮像できるカメラの検出を行う。図２（ａ）の場合の検出結果として、対向してくる他車１４に搭載されたカメラが得られたとすると、信号選択部８では他車１４に搭載されたカメラで撮像された映像を選択、表示部１０へと出力する。これにより、運転者は死角となる領域の映像を見ることが可能となり、事前に危険予測が可能となる。
【００１５】
また、図２（ａ）から一定時間経過後の状況を図２（ｂ）に示す。図２（ｂ）において、依然、人物１５は自車１３の運転者から見えない位置にいる。この死角領域の映像を他車から取得するのだが、他車１４は時間の経過と共に人物１５を撮像できない位置に移動してしまっている。運転者に対し、常に死角領域の映像を提供するためには、死角領域を撮像するカメラの位置・向き・視野角・移動速度を考慮し、撮像可能な範囲から死角領域が外れる前に別のカメラによる撮像へと動的に切換えを行っていく必要がある。
【００１６】
ここで、他車１４に搭載されたカメラによる人物１５の撮像可能条件について、図３により説明する。図３では、人物１５を撮像するカメラとして、他車１４のフロント部分に搭載され、車の進行方向を向いたカメラを考える。また、他車１４から見て、カメラの右半分の視野角をθとし、カメラの視野角の中心線と人物１５との距離をｘとする。まず初期状態として、図３（ａ）のような状態を考える。他車１４から人物１５までの距離（車の進行方向距離）をｙ０とする。ｘおよびｙ０といったパラメータは、例えば自車から１０ｍ前方の領域に死角領域があると仮定し、自車および他車の位置情報をＧＰＳ等で取得することによって決定することができる。図３（ａ）は、人物１５が他車１４に搭載されたカメラの撮像可能領域にいる状態である。この状態から時刻ｔだけ経過し、他車１４に搭載されたカメラで人物１５を撮像できなくなった状態が図３（ｂ）である。このときの他車１４から人物１５までの距離（車の進行方向距離）をｙｔとする。ここで、他車１４の移動速度をｖとすると、他車１４に搭載されたカメラで人物１５を撮像できる時間ｔについて、
ｙ０―ｙｔ ＞ ｖｔ    ・・・（１）
が成り立つ。これを変形すると、
(ｙ０― (ｘ／tanθ）)／ｖ ＞ ｔ    ・・・（２）
となる。上式（２）において、ｙ０は他車１４から人物１５までの距離（車の進行方向距離）、ｘはカメラの視野角の中心線と人物１５との距離であるから、他車から自車に送信されるカメラの位置情報から得られる。同様に、θはカメラの右半分の視野角であり、他車から自車に送信されるカメラの向き情報として得られる。そして、ｖは他車１４の移動速度であるから、他車から自車に送信されるカメラの移動速度に相当する。従って、他車１４に搭載されたカメラで人物１５を撮像できる時間ｔというのは、他車から自車に送信されるカメラ情報により計算が可能である。この時間ｔを超える前に、別のカメラによる撮像へと切換えを行うことで、運転者に対して死角領域の映像を途切れることなく提供することが可能となる。図２（ｂ）の場合には、上記の計算により、他車１４に搭載されたカメラの撮像可能領域から人物１５が外れてしまう前に、他車１４の後方を走行中の他車１７に搭載されたカメラの映像へと切換えを行うことで、運転者に対して死角となる領域の映像を提供し続ける。なお、切換えを行うカメラは他車に搭載されたカメラだけではなく、道路に設置された定点カメラであってもよく、上記移動速度ｖを０とすれば同様に扱える。
【００１７】
このように本実施例によれば、時間の経過と共に絶えず変化する運転者の死角領域に対し、自車の周囲を走行中の他車に搭載されたカメラの位置・向き・視野角・移動速度の検出を常時行うことで、運転者の死角領域を最も良い条件下で撮像できるカメラの選択を行い、運転者に対して死角領域の映像を途切れることなくリアルタイムに提供することが可能となる。
【実施例２】
【００１８】
図４は、本発明による複数の映像信号の選択方法の第２実施例に係る運転支援システムを示すブロック図である。図４は本発明の第１実施例のブロック図である図１と比較して、信号合成部１８、メモリ１９を持つ。信号合成部１８は、信号選択部８により選択された複数の映像信号の重畳あるいは合成処理を行い、生成された映像信号を表示部１０へ出力する。なお、メモリ１９は処理の際に画像データを一時的に蓄えておくバッファである。
【００１９】
第１実施例では、他車に搭載されたカメラの位置・向き・視野角・移動速度の情報をもとに、運転者の死角領域を常に撮像できるカメラを選択、動的に切換えを行うことにより、運転者に対して死角領域の映像を途切れることなく提供する方法を示した。本実施例では、運転者の死角となる領域の映像として、複数のカメラで撮像された複数の映像を重畳あるいは合成表示したものを提供する。
【００２０】
例えば、信号選択部８では、運転者の死角領域の映像を最適な位置で撮像できるカメラの選択を行うが、障害物などの影響により死角領域全域を撮像できるカメラがない場合もあり得る。このような場合、複数台のカメラの映像を利用し、信号合成部１８において、それぞれの映像を重畳あるいは合成表示することにより、運転者への死角領域映像の提供を行うことが可能となる。
【００２１】
また、運転者へ提供する映像は、他車に搭載されたカメラで撮像された映像を、自車に搭載されたカメラで撮像した映像に重畳あるいは合成表示したものを提供しても良い。例えば、図２に示した状況にある場合、自車１３の死角領域にいる人物１５の情報は、他車１４および１７に搭載されたカメラによって撮像された映像から取得することができる。実施例１では、映像を運転者に提供する際、撮像された映像自体を提供する方法を示したが、信号合成部１８を用いることにより運転者にとってより分かりやすい情報提供が可能になる。図５（ａ）は、図２において自車１３に搭載されたカメラで車両前方を撮像したときの映像である。勿論、人物１５は障害物１６の影にいるため映っていない。また、図５（ｂ）は、図２において他車１４に搭載されたカメラで車両前方を撮像したときの映像である。信号合成部１８において、図５（ａ）の映像と、図５（ｂ）の人物１５付近の映像を左右反転させた映像を合成処理することにより、図５（ｃ）の映像を得ることが可能となる。図５（ｃ）の映像を運転者に提供することで、運転者は自分の視点であたかも障害物の裏側が見えているかのような状態の映像を見ることができる。
【００２２】
このように本実施例によれば、単体のカメラでは運転者の死角領域の映像を完全に撮像できないような場合においても、自車の周囲を走行中の他車に搭載されたカメラのうち、複数台のカメラにより撮像された映像を重畳あるいは合成表示することで、運転者に対する死角領域の映像提供が可能となる。また、自車に搭載されたカメラで撮像された映像に、他車に搭載されたカメラにより撮像された運転者の死角領域の映像を合成表示することにより、運転者の視点であたかも障害物の裏側が見えているかのような映像の提供が可能となる。
【実施例３】
【００２３】
図６は、本発明による複数の映像信号の選択方法の第３実施例に係る運転支援システムを示すブロック図である。図６は本発明の第２実施例のブロック図である図４と比較して、信号処理部２０を持つ。信号処理部２０は、信号選択部８により選択された映像信号について物体認識を行う。
【００２４】
本発明による複数の映像信号の選択方法の第３実施例に係る物体認識の一例を図７により説明する。図７において、２１および２２はカメラを搭載した車、２３は車２１に搭載されたカメラ、２４および２５は、車２２に搭載されたカメラ、２６は車２１および車２２の前方にいる人物である。人物２６を認識しようとする場合、信号選択部８において、カメラ２３〜２５で撮像される映像信号の中から１つを選択した場合には、単眼での人物認識を行うことが可能であるし、２つ以上の映像信号を選択した場合には、ステレオ撮像による精度の高い人物認識を行うことが可能となる。
【００２５】
ここで、ステレオ撮像を行う場合を考える。人物２６を認識するため、各カメラの位置・向き・視野角・移動速度の情報をもとに、どのカメラを選択すればよいかを信号選択部８において決定する。仮に、カメラ２４とカメラ２５が選択され場合、これら２つのカメラによりステレオ撮像を行い、人物２６の認識を行うことになる。しかし、人物２６が車２２から見て左方向に移動していく場合、時間の経過とともに、カメラ２５で撮像可能な領域から外れてしまう。しかし、信号選択部８では常に人物２６を撮像できるカメラの検出を行っているため、人物２６がカメラ２３の撮像可能領域に入ってくれば、カメラ２３およびカメラ２４によるステレオ撮像に移行することで人物認識を続けることが可能である。この時、もし１つのカメラでしか人物２６を撮像できない状況があったとしても、一時的に単眼の認識に切換えることにより、時間的に途切れることなく人物認識を行うことができる。
【００２６】
実施例１において、他車に搭載されたカメラにより運転者の死角領域を撮像する場合の、他車カメラの撮像可能条件について述べた。同実施例では、自車から一定の距離に死角領域があると仮定した処理を例に挙げたが、上記のステレオ撮像を行うことにより、死角領域を作り出している障害物を認識し、その障害物までの距離の計算をすることが可能となる。これにより、自車から一定の距離に死角領域があると仮定した撮像を行うのではなく、ステレオ撮像により障害物が認識された場合に、そこに死角領域が存在すると判断して、その障害物までの距離を計算、その死角領域を撮像できるカメラを選択するという処理が可能となる。
【００２７】
本実施例では、自車あるいは他車に搭載されたカメラにより撮像された映像信号について、信号処理部２０において物体認識を行う構成を示したが、物体認識を各カメラにて行う構成にしてもよい。この場合、図１および図４に示した運転支援システムにて実現が可能である。各カメラにおいて撮像および認識処理を行い、信号選択部８では、運転者の必要とする認識対象が得られている映像信号の選択を行う。物体認識をカメラ側で行う利点として、信号選択部８において認識結果映像も考慮した選択が可能であるということが挙げられる。例えば、各カメラの位置・向き・視野角・移動速度の情報から、認識対象を最も良い状況下で撮像できるカメラを選択するが、そのカメラにより撮像された映像がブレてしまっていたり、カメラの前に予期せぬ障害物が現れるといった場合などもあり得る。カメラ側で物体認識を行わない場合、このような状況下で撮像された映像に対して物体認識を行っても、期待される結果を得ることはできない。しかし、カメラ側で物体認識を行った場合、期待される結果が得られていない映像信号については信号選択部８にて選択を行わない。そして、別のカメラからの映像信号に切換え、期待される認識結果が得られているものを選択するということが可能となる。
【００２８】
ここで、物体認識の結果を運転者に提供する場合の表示方法の一例を示す。自車あるいは他車に搭載されたカメラにより撮像された映像信号について物体認識を行った結果、運転者の死角となる領域に人物などが検出された場合、運転者に対して情報の提供を行う。実施例２で示したように、自車に搭載されたカメラにより撮像された映像に、運転者に対して死角となる領域の映像を重畳あるいは合成表示する方法もあるが、本実施例ではこれと異なる形態での表示方法について示す。図８は、自車１３が見通しの悪い交差点に近づいている状況で、運転者の死角領域に人物がいる場合における情報表示の一例である。ここでは、自車１３の右前方の壁の死角となっている部分に人物がいる場合を想定している。この人物に関しては、自車１３が進入しようとしている突き当りの通りを走行中の他車に搭載されたカメラにより撮像された映像信号から認識が可能である。この認識結果を運転者の視点で表示し、背面に人物が隠れている壁に色をつけて表示した例が図８（ａ）である。また、自車１３を真上から見下ろしたマップを表示し、運転者の死角領域に認識された人物の位置にマーク２７を表示した例が図８（ｂ）である。このように、運転者の死角領域の映像を、自車に搭載されたカメラで撮像した映像に重畳あるいは合成表示するのではなく、危険要素の潜んでいる箇所に色をつけて表示することにより、運転者に対して簡易かつ明示的な表示を行うことが可能である。また、運転者に対して映像による情報提供をするだけではなく、認識結果をもとに「次の交差点では右方向から人が歩いてきています」というように音声による情報提供をしてもよい。
【００２９】
このように本実施例によれば、車に搭載されたカメラを用いることで単眼あるいはステレオ撮像による物体認識が可能となる。物体認識中、認識対象が移動することにより、カメラの撮像可能領域から外れてしまう場合があるが、使用するカメラを動的に切換えていくことでことにより、途切れのない物体認識が可能となる。また、撮像部において物体認識を行うことにより、各カメラから送信される認識結果映像を考慮した映像選択が可能となるため、これを各カメラの位置・向き・視野角・移動速度の情報に基づいたカメラ選択方法と併せることで、運転者の必要とする認識対象が確実に得られている映像を選択することが可能となる。認識結果については、運転者の死角となる領域に危険要因が潜んでいる場合には、色をつけて簡易かつ明示的な表示を行うことにより、運転者にわかり易い情報提示が可能となる。また、認識結果をもとにした音声による情報の提供も可能となる。
【産業上の利用可能性】
【００３０】
本発明は、交通システムや運転支援装置への利用が可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１実施例に係る運転支援システムを示すブロック図である。
【図２】本発明の第１実施例に係る運転支援システムを適用する状況の一例を示す図である。
【図３】本発明の第１実施例に係る運転支援システムにおけるカメラ切換について説明する図である。
【図４】本発明の第２実施例に係る運転支援システムを示すブロック図である。
【図５】本発明の第２実施例に係る運転支援システムにおける合成表示の一例を示す図である。
【図６】本発明の第３実施例に係る運転支援システムを示すブロック図である。
【図７】本発明の第３実施例に係る運転支援システムにおける物体認識について説明する図である。
【図８】本発明の第３実施例に係る運転支援システムにおける表示方法の一例を示す図である。
【符号の説明】
【００３２】
１  自車
２_１〜２_ｉ  他車
３_１〜３_ａ  自車に搭載された撮像装置
４_１〜４_ｂ他車に搭載された撮像装置
５_１〜５_ｃ  他車に搭載された撮像装置
６_１〜６_ｉ  送信部
７  受信部
８  信号選択部
９  自車情報取得部
１０  表示部
１１  送信部
１２_１〜１２_ｉ  他車
１３  自車
１４  他車
１５  人物
１６  障害物
１７  他車
１８  信号合成部
１９  メモリ
２０  信号処理部
２１〜２２  車
２３〜２５  カメラ
２６  人物
２７  危険要因を示すマーク
【図１】
0004752486.tif 000002
【図２】
0004752486.tif 000003
【図３】
0004752486.tif 000004
【図４】
0004752486.tif 000005
【図５】
0004752486.tif 000006
【図６】
0004752486.tif 000007
【図７】
0004752486.tif 000008
【図８】
0004752486.tif 000009