(57)【要約】【課題】状況の推定精度を向上させることが可能なセンサシステムを提供する。【解決手段】センサシステムは、センサ１と、発光部３と、センサ１および発光部３を制御するセンサ制御部２と、カメラ４と、カメラ４が撮像した画像とセンサ１が取得した情報とを用いて状況を推定する推定部２、５と、を備える。センサ制御部２は、センサ１に作動指示を出すと同時に発光部３に発光指示を出し、推定部２、５は、カメラ４が撮像した画像から発光部３の発光が検出されたとき、該発光が検出された時刻を基準に選択された画像と、センサ１が取得した情報とを用いて状況を推定する。【選択図】図１
2019095385.tif 000002
【特許請求の範囲】
【請求項１】
カメラ（４）が撮像した画像とセンサ（１）が取得した情報とを用いて状況を推定するセンサシステムであって、
発光部（３）と、
前記センサおよび前記発光部を制御するセンサ制御部（２）と、
前記カメラが撮像した画像と前記センサが取得した情報とを用いて状況を推定する推定部（２、５）と、を備え、
前記センサ制御部は、前記センサに作動指示を出すと同時に前記発光部に発光指示を出し、
前記推定部は、前記カメラが撮像した画像から前記発光部の発光が検出されたとき、該発光が検出された時刻を基準に選択された画像と、前記センサが取得した情報とを用いて状況を推定するセンサシステム。
【請求項２】
前記センサ制御部は、前記センサに作動指示を複数回出すとともに、作動指示ごとに前記発光部を異なるパターンで発光させ、
前記推定部は、前記センサ制御部が出した発光指示のパターンと、前記カメラが撮像した画像から検出された発光パターンとが一致したとき、前記カメラが撮像した画像および前記センサが取得した情報とを用いて状況を推定する請求項１に記載のセンサシステム。
【請求項３】
前記センサは、超音波の送受信によって物体との距離を測定する超音波センサである請求項１または２に記載のセンサシステム。
【請求項４】
車両に搭載され、
前記カメラが撮像した画像と前記センサが測定した距離とを用いて前記車両の外部の物体を検知する請求項３に記載のセンサシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを備えるセンサシステムに関するものである。
【背景技術】
【０００２】
この種のセンサシステムとしては、例えば、車両に搭載されたカメラと超音波センサとを備え、カメラが撮像した画像から得られた情報と、超音波の送受信により得られた物体までの距離に関する情報とに基づいて障害物を検知するセンサシステムが提案されている。
【０００３】
このようなセンサシステムでは、通常、カメラが撮像した画像の収集および処理と、超音波センサが行った超音波の送受信の結果の収集および処理は、別々のＥＣＵで行われる。そして、これらの処理により得られた画像情報および距離情報は、１つのＥＣＵに集められ、このＥＣＵにて障害物の検知が行われる。
【０００４】
障害物を正確に検知するためには、画像情報および距離情報の取得時刻が一致していることが望ましい。しかしながら、画像処理およびＥＣＵ間の通信の周期などによって、障害物検知用のＥＣＵに集められる情報の取得時刻が一致しない場合がある。
【０００５】
複数の制御部の同期について、例えば特許文献１では、２つのコントローラ間でメッセージを送信し、メッセージが往復するのに要した時間を測定して２つのコントローラの同期をとる方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１７−５１７０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の方法では、割り込み処理が入ると同期の精度が低下するため、この方法を上記のような構成のセンサシステムに適用した場合には、障害物の検知精度が低下する。
【０００８】
また、カメラの画像情報と、超音波センサ以外のセンサが取得した情報とに基づいて状況を推定するセンサシステムにおいても、２つの情報が取得された時刻のずれによって、同様に状況の推定精度が低下する。
【０００９】
本発明は上記点に鑑みて、状況の推定精度を向上させることが可能なセンサシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、請求項１に記載の発明では、カメラ（４）が撮像した画像とセンサ（１）が取得した情報とを用いて状況を推定するセンサシステムであって、発光部（３）と、センサおよび発光部を制御するセンサ制御部（２）と、カメラが撮像した画像とセンサが取得した情報とを用いて状況を推定する推定部（２、５）と、を備え、センサ制御部は、センサに作動指示を出すと同時に発光部に発光指示を出し、推定部は、カメラが撮像した画像から発光部の発光が検出されたとき、該発光が検出された時刻を基準に選択された画像と、センサが取得した情報とを用いて状況を推定する。
【００１１】
このように、センサへの作動指示と同時に発光部への発光指示を出すことで、センサによる情報の取得と発光部の発光がほぼ同時に行われる。すなわち、カメラが撮像した画像のうち、発光部の発光が検出された画像は、センサが情報を取得するのとほぼ同時に撮像されたものである。
【００１２】
したがって、カメラが撮像した画像から発光部の発光が検出されたときには、ほぼ同時に取得された画像情報とセンサ情報の組み合わせを得ることが可能であり、このときに状況を推定することにより、推定精度が向上する。
【００１３】
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係の一例を示すものである。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態にかかるセンサシステムの構成を示す図である。
【図２】カメラＥＣＵが実行する処理のフローチャートである。
【図３】センサＥＣＵが実行する処理のフローチャートである。
【図４】超音波の送受信の第１パターンを示す図である。
【図５】超音波の送受信の第２パターンを示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。
【００１６】
（第１実施形態）
第１実施形態について説明する。本実施形態のセンサシステムは、カメラが撮像した画像とセンサが取得した情報とを用いて状況を推定するものである。ここでは、車両に搭載され、車外の物体を検知するセンサシステムについて説明する。
【００１７】
図１に示すように、センサシステムは、超音波センサ１と、センサＥＣＵ２と、発光部３と、カメラ４と、カメラＥＣＵ５と、時間マスタＥＣＵ６と、車内ＬＡＮ７とを備える。
【００１８】
超音波センサ１は、超音波の送受信により物体との距離を測定するものであり、車両の外表面に面して配置されている。超音波センサ１は、センサＥＣＵ２からの測定指示に従って超音波の送受信を行い、送受信の結果をセンサＥＣＵ２に送信する。なお、図１では超音波センサ１を１つのみ図示しているが、センサシステムが超音波センサ１を１つのみ備えていてもよいし、複数備えていてもよい。
【００１９】
発光部３は、可視光または赤外線を発生させる図示しない光源を備えており、センサＥＣＵ２からの発光指示に従って発光する。
【００２０】
センサＥＣＵ２は、超音波センサ１および発光部３を制御するものであり、センサ制御部に相当する。センサＥＣＵ２は、超音波センサ１に作動指示を出すと同時に発光部３に発光指示を出す。例えば、図１に示すように超音波センサ１が接続されているバス上に発光部３を接続することで、センサＥＣＵ２が出力した信号が発光部３および超音波センサ１に同時に入力され、超音波センサ１による超音波の送信と発光部３の発光がほぼ同時に行われる。
【００２１】
また、センサＥＣＵ２は、カメラ４が撮像した画像と超音波センサ１が取得した情報とを用いて状況を推定するものであり、推定部に相当する。本実施形態では、センサＥＣＵ２は、カメラ４が撮像した画像と超音波センサ１が測定した距離とを用いて車両の外部の物体を検知する。そして、センサＥＣＵ２は、検知した物体の位置に応じて運転者への報知等を行う。
【００２２】
カメラ４は、車両の周囲を撮像するものである。カメラ４は、カメラＥＣＵ５からの撮像指示に従って撮像を行い、撮像画像をカメラＥＣＵ５に送信する。なお、図１ではカメラ４を１つのみ図示しているが、センサシステムがカメラ４を１つのみ備えていてもよいし、複数備えていてもよい。カメラ４は、撮像される範囲に発光部３が含まれるように設置されている。
【００２３】
カメラＥＣＵ５は、カメラ４を制御する制御部であり、カメラ４が撮像した画像の収集および処理を行うものである。カメラＥＣＵ５は、周期的にカメラ４に撮像指示を出し、これにより、カメラ４による撮像および撮像画像のカメラＥＣＵ５への送信が周期的に行われる。そして、カメラＥＣＵ５は、撮像画像を解析して発光部３の発光が撮像されているか否かを調べ、発光を検出すると、撮像画像および撮像が行われた時刻をセンサＥＣＵ２に送信する。
【００２４】
なお、カメラＥＣＵ５は、カメラ４の複数の撮像画像の中から、発光部３の発光が検出された時刻を基準に１つの画像を選択し、この画像をセンサＥＣＵ２に送信する。例えば、発光部３の発光が撮像された画像、あるいは、発光が撮像された画像よりも所定時間前に撮像された画像等がセンサＥＣＵ２に送信される。発光が検出された時刻を基準とした画像の選択方法を適切に設定することにより、センサＥＣＵ２において物体の検知に用いられる画像情報と距離情報が、ほぼ同時に取得されたものとなる。
【００２５】
また、センサＥＣＵ２およびカメラＥＣＵ５には、時間マスタＥＣＵ６から周期的に時刻情報が送信されており、カメラＥＣＵ５は、この時刻情報から、センサＥＣＵ２に送信する画像が撮像された時刻を取得し、画像と共にセンサＥＣＵ２に送信する。
【００２６】
センサＥＣＵ２は、受信した画像情報と、受信した時刻情報に対応する時刻の距離情報とに基づいて、物体を検知する。
【００２７】
なお、各ＥＣＵは、車内ＬＡＮ７を介して接続されており、時間マスタＥＣＵ６からセンサＥＣＵ２およびカメラＥＣＵ５への時刻情報の送信と、カメラＥＣＵ５からセンサＥＣＵ２への画像情報および時刻情報の送信は、車内ＬＡＮ７を介して行われる。
【００２８】
センサシステムの作動について説明する。本実施形態では、カメラＥＣＵ５およびセンサＥＣＵ２がそれぞれ図２、図３に示す処理を繰り返し実行する。
【００２９】
カメラＥＣＵ５は、図２に示すステップＳ１１〜Ｓ１３によって画像の収集等を行う。ステップＳ１１では、カメラＥＣＵ５は、カメラ４に撮像指示を出す。これにより、カメラ４によって車両の周囲が撮像され、撮像画像がカメラＥＣＵ５に送信される。また、カメラＥＣＵ５は、時間マスタＥＣＵ６からの時刻情報を取得し、カメラ４に撮像指示を出した時刻を記憶する。
【００３０】
カメラＥＣＵ５は、ステップＳ１１からステップＳ１２に進み、カメラ４から送信された画像を解析し、発光部３の発光が撮像されているか否かを判定する。発光部３の発光が撮像されていると判定すると、カメラＥＣＵ５はステップＳ１３に進み、画像情報をセンサＥＣＵ２に送信する。
【００３１】
前述したように、カメラＥＣＵ５は、発光部３の発光が検出された時刻を基準に選択された画像をセンサＥＣＵ２に送信する。また、カメラＥＣＵ５は、この画像を撮像するときにステップＳ１１にて記憶した時刻をセンサＥＣＵ２に送信する。
【００３２】
一方、ステップＳ１２にて発光部３の発光が撮像されていないと判定すると、カメラＥＣＵ５は処理を終了する。
【００３３】
センサＥＣＵ２は、図３に示すステップＳ２１〜Ｓ２４によって距離の測定および物体の検知を行う。ステップＳ２１では、センサＥＣＵ２は、超音波センサ１に作動指示を出すと同時に発光部３に発光指示を出し、超音波センサ１に超音波を送信させるとともに、発光部３を発光させる。また、センサＥＣＵ２は、時間マスタＥＣＵ６からの時刻情報を取得し、超音波センサ１および発光部３に指示を出した時刻を記憶する。
【００３４】
センサＥＣＵ２は、ステップＳ２１からステップＳ２２に進み、受波処理を行う。具体的には、超音波センサ１が受信した超音波の振幅等に基づいて、車外の物体との距離を算出する。センサＥＣＵ２は、算出した距離情報を記憶する。なお、センサＥＣＵ２は、ステップＳ２１、Ｓ２２を実行する度に、時刻および距離情報の記憶を蓄積する。
【００３５】
センサＥＣＵ２は、ステップＳ２２からステップＳ２３に進み、カメラＥＣＵ５からの画像を受信したか否かを判定する。画像を受信したと判定すると、センサＥＣＵ２は、ステップＳ２４にて、物体の検知を行う。
【００３６】
具体的には、センサＥＣＵ２は、ステップＳ２１、Ｓ２２にて蓄積された情報の中から、カメラＥＣＵ５から送信された時刻情報に対応するものを選択する。そして、センサＥＣＵ２は、画像中の物体の位置と選択された距離情報とに基づいて、車外の空間における物体の位置を算出し、例えば、物体が車両と接触する可能性があれば運転者への報知等を行う。
【００３７】
一方、ステップＳ２３にて画像を受信していないと判定すると、センサＥＣＵ２は、処理を終了する。
【００３８】
このように、本実施形態では、センサＥＣＵ２が、超音波センサ１への作動指示と同時に発光部３への発光指示を出し、超音波センサ１による超音波の送受信と発光部３の発光がほぼ同時に行われる。すなわち、カメラ４が撮像した画像のうち、発光部３の発光が検出された画像は、超音波センサ１が超音波の送受信を行うのとほぼ同時に撮像されたものである。
【００３９】
したがって、カメラ４が撮像した画像から発光部３の発光が検出されたときには、ほぼ同時に取得された画像情報と距離情報の組み合わせを得ることが可能であり、このときに物体を検知することにより、検知精度が向上する。
【００４０】
特許文献１に記載の方法を用いると、割り込み処理によってＥＣＵ間の同期精度が低下し、物体の検知精度が低下するが、発光の検出時刻を基準に画像情報を選択する本実施形態では、割り込み処理による検知精度の低下を抑制することができる。
【００４１】
また、各情報の取得時刻のずれを低減する方法として、例えば、カメラ４の画像情報および超音波センサ１の距離情報の収集と、これらを用いた物体の検知とを１つのＥＣＵで行う方法が考えられる。しかしながら、このような構成では画像系の内部処理で時間がかかる。
【００４２】
これに対して、本実施形態では、画像処理を専用のカメラＥＣＵ５で行っているため、画像処理と距離情報の収集等を１つのＥＣＵで行う場合に比べて、内部処理にかかる時間を短縮することができる。
【００４３】
（第２実施形態）
第２実施形態について説明する。本実施形態は、第１実施形態に対して発光部３の作動を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。
【００４４】
本実施形態のセンサＥＣＵ２は、超音波センサ１に複数パターンの作動指示を出す。具体的には、センサシステムは車両の外表面に沿って並んだ複数の超音波センサ１を備えており、例えば、センサＥＣＵ２は、車両の前側に４つの超音波センサ１が配置された場合に、各超音波センサ１を図４、図５に示す２つのパターンで作動させる。すなわち、第１パターンでは、車両１０の前側の外表面に沿って並んだ４つの超音波センサ１のうち両端の２つが超音波を送信し、第２パターンでは、他の２つが超音波を送信する。
【００４５】
また、センサＥＣＵ２は、作動指示ごとに発光部３を異なるパターンで発光させ、カメラＥＣＵ５は、撮像画像に基づいて発光部３の発光パターンを判定する。例えば、センサＥＣＵ２は、複数の超音波センサ１を第１パターンで作動させるときには発光部３を１回発光させ、複数の超音波センサ１を第２パターンで作動させるときには発光部３を２回発光させる。そして、カメラＥＣＵ５は、所定時間内にカメラ４が撮像した複数の画像から発光部３の発光が１回検出されれば、発光部３が第１パターンで発光したと判定し、発光が２回検出されれば、発光部３が第２パターンで発光したと判定する。カメラＥＣＵ５は、パターンの判定結果を画像および時刻情報と共にセンサＥＣＵ２に送信する。
【００４６】
センサＥＣＵ２は、センサＥＣＵ２が出した発光指示のパターンと、カメラＥＣＵ５から送信されたパターンの判定結果とが一致したとき、カメラ４が撮像した画像および超音波センサ１が取得した情報とを用いて物体を検知する。
【００４７】
このように、超音波センサ１が作動する毎に発光部３の発光パターンを変化させ、カメラ４の撮像画像に基づいて発光パターンを判定することにより、超音波の送信パターンに合わせて撮像画像を選択することができる。これにより、物体の検知精度がさらに向上する。
【００４８】
（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。
【００４９】
例えば、上記第１実施形態では、センサＥＣＵ２がステップＳ２４にて物体を検知したが、センサＥＣＵ２が距離情報をカメラＥＣＵ５に送信し、カメラＥＣＵ５がステップＳ２４と同様の処理を実行して物体を検知してもよい。この場合、カメラＥＣＵ５が推定部に相当する。このような構成では、データ量の大きい画像情報のＥＣＵ間での送信が行われないため、ＥＣＵ間の通信にかかる時間を短縮することができる。
【００５０】
また、センサシステムが推定部としてセンサＥＣＵ２、カメラＥＣＵ５とは別のＥＣＵを備え、このＥＣＵがセンサＥＣＵ２およびカメラＥＣＵ５から距離情報および画像情報を受信して物体を検知してもよい。
【００５１】
また、カメラが撮像した画像と超音波センサ以外のセンサが取得した情報とを用いて状況を推定するセンサシステムに本発明を適用してもよい。
【符号の説明】
【００５２】
１  超音波センサ
２  センサＥＣＵ
３  発光部
４  カメラ
５  カメラＥＣＵ
【図１】
2019095385.tif 000003
【図２】
2019095385.tif 000004
【図３】
2019095385.tif 000005
【図４】
2019095385.tif 000006
【図５】
2019095385.tif 000007