(57)【要約】【課題】画像処理に係る複数の処理をカメラ及びモニタで分散して行い、システムの処理効率を向上する。【解決手段】動体検出システム１０は、カメラ１２〜１５及びモニタ装置１６を有する情報系ネットワーク１１と、各センサ２２〜２４を有する車体系ネットワーク２１とをゲートウェイ装置１８を接続する。ゲートウェイ装置１８は各センサ２２〜２４が検出した車両状態に応じて動体検出用のカメラ及び動体種類特定用のカメラを決定し、決定した内容の処理を行うように指示する指示信号を情報系ネットワーク１１へ出力する。動体検出に係る指示信号を受け付けたカメラは動体検出処理を行い、動体種類特定に係る指示信号を受け付けたカメラは動体種類特定処理を行うことで分散処理を実現する。【選択図】        図１
2004320642.tif 000002
【特許請求の範囲】
【請求項１】
車載用の撮像装置、及び、該撮像装置に接続してある車載装置を用意し、
前記撮像装置は、
撮像した画像から動体を検出する処理を行い、
動体を検出した場合、動体検出に係る画像を出力し、
前記車載装置は、
出力された画像を受け付けた場合、画像中の動体の種類を特定し、
特定した種類を通知する通知信号を出力することを特徴とする動体通知方法。
【請求項２】
複数の車載用の撮像装置、及び、該撮像装置に接続してあり、動体検出を行う撮像装置を規定したテーブルを有する車載装置を用意し、
前記車載装置は、
前記テーブルに基づき複数の撮像装置から動体検出用の撮像装置を決定し、
決定した内容に係る指示信号を出力し、
前記撮像装置は、
前記指示信号を受け付けた場合、撮像した画像から動体の検出を行うことを特徴とする動体検出方法。
【請求項３】
車載用の撮像装置において、
撮像した画像から動体を検出する動体検出手段と、
該動体検出手段が動体を検出した場合、検出した動体の種類を特定する特定手段と、
該特定手段が特定した種類を通知する通知信号を出力する信号出力手段と
を備えることを特徴とする撮像装置。
【請求項４】
車載用の撮像装置、及び、該撮像装置に接続してある車載装置を備え、
前記撮像装置は、
撮像した画像から動体を検出する動体検出手段と、
該動体検出手段が動体を検出した場合、動体検出に係る画像を出力する画像出力手段と
を備え、
前記車載装置は、
前記撮像装置からの画像を受け付けた場合、画像中の動体の種類を特定する特定手段と、
該特定手段が特定した種類を通知する通知信号を出力する信号出力手段と
を備えることを特徴とする動体検出システム。
【請求項５】
複数の車載用の撮像装置、及び、該撮像装置に接続してある車載装置を備え、
前記車載装置は、
動体検出を行う撮像装置を規定したテーブルと、
該テーブルに基づき複数の撮像装置から動体検出用の撮像装置を決定する決定手段と、
該決定手段が決定した内容に係る指示信号を出力する指示信号出力手段と
を備え、
前記撮像装置は、
前記指示信号を受け付けた場合、撮像した画像から動体を検出する動体検出手段を備えることを特徴とする動体検出システム。
【請求項６】
前記動体検出手段を備える撮像装置は更に、
動体を検出したとき、動体検出に係る画像を出力する画像出力手段を備え、
前記テーブルは、前記動体検出手段を備える撮像装置と相異する撮像装置を動体種類特定用に規定しており、
前記決定手段は、前記テーブルに基づき動体種類特定用の撮像装置を決定する手段を備え、
前記撮像装置は、
動体種類特定用に係る指示信号を受け付けた場合、動体検出用の撮像装置が出力した画像を受け付ける画像受付手段と、
該画像受付手段が受け付けた画像中の動体の種類を特定する特定手段と、
該特定手段が特定した種類を通知する通知信号を出力する信号出力手段と
を備える請求項５に記載の動体検出システム。
【請求項７】
前記車載装置に接続してあり、車両状態の検出を行う検出装置を更に備え、
前記検出装置は、
車両状態の検出に係る検出信号を前記車載装置へ出力する手段を備え、
前記テーブルは、車両状態に対応させて動体検出用及び動体種類特定用の撮像装置を夫々規定しており、
前記決定手段は更に、
出力されてきた検出信号に係る車両状態に応じて動体検出用及び動体種類特定用の撮像装置を決定する手段を備える請求項６に記載の動体検出システム。
【請求項８】
前記撮像装置及び車載装置に接続してある表示装置を更に備え、
前記表示装置は、
前記撮像装置が出力した画像を受け付ける受付手段と、
該受付手段が受け付けた画像を表示する手段を備える請求項４、６又は７のいずれかに記載の動体検出システム。
【請求項９】
前記表示装置は更に、
前記受付手段が受け付けた画像を表示用画像に変換する画像処理手段を備える請求項８に記載の動体検出システム。
【請求項１０】
前記撮像装置及び車載装置に接続してある音声出力手段を更に備え、
前記音声出力手段は、
前記信号出力手段が出力した通知信号を受け付けた場合、動体検出に係る音声を出力する手段を備える請求項４、６、７、８又は９のいずれかに記載の動体検出システム。
【請求項１１】
前記画像出力手段は、前記動体検出手段が検出した動体に係る画像の部分を出力する手段を備える請求項４、６、７、８、９又は１０のいずれかに記載の動体検出システム。
【請求項１２】
前記動体検出手段は、画像の輝度を変更する手段を備える請求項４乃至請求項１１のいずれかに記載の動体検出システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車外を撮像することにより車両の周囲に位置する動体を検出するものであり、車両に搭載される各装置で分散処理を行うことで動体検出に係る処理を効率的に行う動体通知方法、動体検出方法、撮像装置及び動体検出システムに関する。
【０００２】
【従来の技術】
従来、車両に搭載した撮像装置により車外の状況を撮像し、撮像した画像に対して画像処理を行うことにより動体を検出するようにしたシステムが存在する。このようなシステムでは撮像装置に画像処理装置を接続し、この画像処理装置で撮像された画像に対する画像処理が行われることが一般的であった。
【０００３】
図８は、従来の動体検出システム１の構成図であり、動体検出システム１は情報系ネットワーク１ａと、車体系ネットワーク及び制御系ネットワークと云った他の系統のネットワークをゲートウェイ装置８で接続した構成にしている。情報系ネットワーク１ａには情報系統に属する装置として、車両Ｓの前方に取り付けた前方カメラ２、後方に取り付けた後方カメラ３、左側方に取り付けた左側方カメラ４、右側方に取り付けた右側方カメラ５及び画像処理装置７が通信バス９で接続されており、画像処理装置７にはモニタ装置６が接続されている。
【０００４】
各カメラ２〜５は撮像した画像を通信バス９を通じて画像処理装置７へ送信し、画像処理装置７は受信した画像に対して輝度補正、撮像レンズにより生じた歪みの補正、視点変換、画像に含まれる動体検出及び動体の種類特定等の各種画像処理を行い、処理を行った画像をモニタ装置６で表示するようにしている。
なお、車外を撮像した画像表示は、下記の特許文献１でも開示されている。
【０００５】
【特許文献１】
特開２００１−２１９７８３号公報
【０００６】
【発明が解決しようとする課題】
従来の情報系ネットワーク１ａでは、各カメラ２〜５が撮像した画像に対する処理を画像処理装置７のみで行っていたため、画像処理装置７に係る処理負担が大きいと云う問題がある。特に複数のカメラ画像に対して同時に各種処理を行う場合、同時並行で処理を行うことが困難となり、動体検出に係る処理及びモニタ装置６での画像表示等がスムーズに行えないと云う問題がある。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、撮像装置及び車載装置が複数の画像処理を分散して行うことにより、効率的な画像処理を可能とした動体通知方法及び動体検出システムを提供することを目的とする。
また、本発明は、撮像装置が動体検出等に係る処理を行うことで、画像処理装置に集中していた画像処理を分散して行うようにした動体検出方法、撮像装置及び動体検出システムを提供することを目的とする。
【０００８】
さらに、本発明は、処理内容を規定したテーブル、車両の状況に応じて各撮像装置が行う処理内容を決定することにより、各撮像装置の処理が適切に分散されるようにした動体検出システムを提供することを目的とする。
さらに、また、本発明は、撮像された画像に動体が検出された場合、表示装置に検出された動体に係る画像を表示すること、さらに音声で通知することにより動体が車両の周囲に存在することを確実に運転者に通知できるようにした動体検出システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
第１発明に係る動体通知方法は、車載用の撮像装置、及び、該撮像装置に接続してある車載装置を用意し、前記撮像装置は、撮像した画像から動体を検出する処理を行い、動体を検出した場合、動体検出に係る画像を出力し、前記車載装置は、出力された画像を受け付けた場合、画像中の動体の種類を特定し、特定した種類を通知する通知信号を出力することを特徴とする。
【００１０】
第２発明に係る動体検出方法は、複数の車載用の撮像装置、及び、該撮像装置に接続してあり、動体検出を行う撮像装置を規定したテーブルを有する車載装置を用意し、前記車載装置は、前記テーブルに基づき複数の撮像装置から動体検出用の撮像装置を決定し、決定した内容に係る指示信号を出力し、前記撮像装置は、前記指示信号を受け付けた場合、撮像した画像から動体の検出を行うことを特徴とする。
【００１１】
第３発明に係る撮像装置は、車載用の撮像装置において、撮像した画像から動体を検出する動体検出手段と、該動体検出手段が動体を検出した場合、検出した動体の種類を特定する特定手段と、該特定手段が特定した種類を通知する通知信号を出力する信号出力手段とを備えることを特徴とする。
【００１２】
第４発明に係る動体検出システムは、車載用の撮像装置、及び、該撮像装置に接続してある車載装置を備え、前記撮像装置は、撮像した画像から動体を検出する動体検出手段と、該動体検出手段が動体を検出した場合、動体検出に係る画像を出力する画像出力手段とを備え、前記車載装置は、前記撮像装置からの画像を受け付けた場合、画像中の動体の種類を特定する特定手段と、該特定手段が特定した種類を通知する通知信号を出力する信号出力手段とを備えることを特徴とする。
【００１３】
第５発明に係る動体検出システムは、複数の車載用の撮像装置、及び、該撮像装置に接続してある車載装置を備え、前記車載装置は、動体検出を行う撮像装置を規定したテーブルと、該テーブルに基づき複数の撮像装置から動体検出用の撮像装置を決定する決定手段と、該決定手段が決定した内容に係る指示信号を出力する指示信号出力手段とを備え、前記撮像装置は、前記指示信号を受け付けた場合、撮像した画像から動体を検出する動体検出手段を備えることを特徴とする。
【００１４】
第６発明に係る動体検出システムは、前記動体検出手段を備える撮像装置は更に、動体を検出したとき、動体検出に係る画像を出力する画像出力手段を備え、前記テーブルは、前記動体検出手段を備える撮像装置と相異する撮像装置を動体種類特定用に規定しており、前記決定手段は、前記テーブルに基づき動体種類特定用の撮像装置を決定する手段を備え、前記撮像装置は、動体種類特定用に係る指示信号を受け付けた場合、動体検出用の撮像装置が出力した画像を受け付ける画像受付手段と、該画像受付手段が受け付けた画像中の動体の種類を特定する特定手段と、該特定手段が特定した種類を通知する通知信号を出力する信号出力手段とを備えることを特徴とする。
【００１５】
第７発明に係る動体検出システムは、前記車載装置に接続してあり、車両状態の検出を行う検出装置を更に備え、前記検出装置は、車両状態の検出に係る検出信号を前記車載装置へ出力する手段を備え、前記テーブルは、車両状態に対応させて動体検出用及び動体種類特定用の撮像装置を夫々規定しており、前記決定手段は更に、出力されてきた検出信号に係る車両状態に応じて動体検出用及び動体種類特定用の撮像装置を決定する手段を備えることを特徴とする。
【００１６】
第８発明に係る動体検出システムは、前記撮像装置及び車載装置に接続してある表示装置を更に備え、前記表示装置は、前記撮像装置が出力した画像を受け付ける受付手段と、該受付手段が受け付けた画像を表示する手段を備えることを特徴とする。
第９発明に係る動体検出システムは、前記表示装置は更に、前記受付手段が受け付けた画像を表示用画像に変換する画像処理手段を備えることを特徴とする。
【００１７】
第１０発明に係る動体検出システムは、前記撮像装置及び車載装置に接続してある音声出力手段を更に備え、前記音声出力手段は、前記信号出力手段が出力した通知信号を受け付けた場合、動体検出に係る音声を出力する手段を備えることを特徴とする。
第１１発明に係る動体検出システムは、前記画像出力手段は、前記動体検出手段が検出した動体に係る画像の部分を出力する手段を備えることを特徴とする。
第１２発明に係る動体検出システムは、前記動体検出手段は、画像の輝度を変更する手段を備えることを特徴とする。
【００１８】
第１発明及び第４発明にあっては、撮像装置が動体検出に係る処理を行い、別の車載装置が動体の種類特定に係る処理を行うので、動体検出に係る一連の処理を各装置で分散的に処理でき、システム全体での処理効率を向上できる。なお、別の車載装置としては撮像装置、モニタ装置及びゲートウェイ装置等が該当し、動体の種類特定に係る処理は、上述した各装置の中で所謂遊んでいる装置で行うことが、全体の処理効率を向上する観点から重要となる。また、画像処理に係る各処理を各装置で行うことにより、従来必要であった画像処理装置自体を省略することも可能になる。
【００１９】
第２発明及び第５発明にあっては、車載装置が備えるテーブルに基づき複数の撮像装置の中から動体検出を行うものを決定するため、複数の撮像装置が存在する場合でも動体検出に係る処理を行う撮像装置を容易に決定でき、その結果システム全体における分散処理を最適化できる。
【００２０】
第３発明にあっては、撮像装置が撮像した画像中の動体検出及び検出に係る動体の種類特定を行うので、このような撮像装置を用いて動体検出システムを構築すれば、画像処理装置に集中していた処理を低減でき、システム全体で考えると従来に比べてスムーズな処理を行うことができる。特に、複数の撮像装置が存在するシステムにおいて本発明に係る撮像装置を適用することにより、動体検出等に係る処理は各撮像装置毎に行われるので同時並行で複雑な画像処理を進めることができる。
【００２１】
第６発明にあっては、テーブルが動体種類特定用の撮像装置を規定するので、分散処理における動体種類特定に係る処理を行う撮像装置を容易に決定でき、システム全体における処理効率を一段と向上できる。なお、動体種類特定用の撮像装置は複数規定することも可能であり、撮像された画像中に複数の動体が写っている場合等は、各動体に対して複数の撮像装置が夫々動体種類特定の処理を行うようにすることが好適である。
【００２２】
第７発明にあっては、テーブルが車両状態に対応させて分散処理に係る各処理を行う撮像装置を規定しているので、検出装置が検出する車両状態に応じて各撮像装置が行う処理内容を決定でき、システム全体での分散処理を現在の車両状態に対応させて効率的に行うことができる。車両状態に対応させた処理内容としては、例えば、車両が後進する場合、車両の後方に取り付けられた撮像装置は進行方向となる後方を撮像する処理を行うが、車両の前方に取り付けられた撮像装置は撮像処理を行わないので、車両前方の撮像装置に処理負担の大きい動体種類特定に係る処理を行わせることで、システム全体として処理効率を向上できる。
【００２３】
第８発明にあっては、撮像装置に接続された表示装置が動体に係る画像を画面に表示するので、車両の運転者は画面に表示された画像を見ることで動体を確認でき、運転操作に対して注意を要する動体の確認を容易に行うことができる。
【００２４】
第９発明にあっては、表示装置が受け付けた画像を表示用画像に変換するため、システムにおける分散処理を一段と進めてシステム構成の簡略化を図ることができる。また、表示用画像への変換処理としては、色補正、歪み補正及び視点変換等の処理があり、これらの処理は各撮像装置が撮像画像に対して共通的に行われるものであるため、画像の表示を行う表示装置が代表して行うことで、システムとしての画像処理の効率化を進めることができる。
【００２５】
第１０発明にあっては、動体の種類が通知された場合、音声出力手段が動体検出に係る音声を出力するため、運転者は音声により車両の周囲に動体が存在することを把握でき、動体の存在を予測した運転操作が可能になる。
第１１発明にあっては、動体検出に係る撮像装置は、動体種類特定用に画像を出力する場合、画像全体ではなく動体に係る画像の部分のみを出力するため、画像出力に係るデータ量を減少でき、データ伝送を効率的に行うことができる。さらに、動体種類特定を行う装置においても処理対象となるデータ量が減少され、動体種類特定に係る処理効率も向上できる。
【００２６】
第１２発明にあっては、動体検出手段が画像の輝度を変更する手段を備えるので、画像の輝度を適宜変更することにより、処理対象となる画像より動体検出を行いやすい状態にでき、動体検出に対する処理精度を向上できる。
【００２７】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る車両Ｓに構築された動体検出システム１０の全体構成図である。動体検出システム１０は情報系ネットワーク１１及び車体系ネットワーク２１を車載装置に相当するゲートウェイ装置１８で接続している。各ネットワーク１１、２１は要求される通信レベルが相異するため、通信規格が異なっており、情報系ネットワーク１１の通信速度は車体系ネットワーク２１に比べて高速になっている。
【００２８】
情報系ネットワーク１１は、情報系の車載装置として前方カメラ１２、後方カメラ１３、左側方カメラ１４、右側方カメラ１５及びモニタ装置１６を情報系通信バス１１ａで接続した構成にしている。一方、車体系ネットワーク２１は、車体系の装置として方向指示器（ウインカー）の作動状況を検出するウインカーセンサ２２、変速機のギア位置を検出するギア位置センサ２３、ブレーキの作動状況及び車軸の回転状況等を検出するＡＢＳセンサ２４を車体系通信バス２１ａで接続した構成にしている。
【００２９】
本実施形態の情報系ネットワーク１１は、各カメラ１２〜１５が撮像した画像に対する処理を各車載装置１２〜１６が分散して行うようにしており、各カメラ１２〜１５には撮像に加えて動体検出及び動体の種類特定を行うものを用いており、モニタ装置１６には画像の表示に加えて各種画像処理を行うものを用いている。このような構成にすることで、情報系ネットワーク１１は、図８に示す従来の動体検出システム１に比べて、画像処理装置７を省略した構成にしている。
【００３０】
また、情報系ネットワーク１１を含む動体検出システム１０全体では、車体系ネットワーク２１の各センサ２２〜２４の検出状況に応じて、ゲートウェイ装置１８が情報系ネットワーク１１の各カメラ１２〜１５にどのような処理を行わせるかを指示する構成にすることで、分散処理の効率化を図っている。
【００３１】
図２は、前方カメラ１２の内部構成を示すブロック図である。情報系ネットワーク１１の各カメラ１２〜１５は車載用の撮像装置として基本的に同一の内部構成を有しているため、以下、各カメラ１２〜１５の構成を前方カメラ１２で代表して説明する。
前方カメラ１２は、カメラモジュール１２ａ、画像処理用ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  ＩＣ）１２ｂ、ＲＡＭ１２ｃ、ＲＯＭ１２ｄ、ＭＰＵ１２ｅ及び通信インタフェース部１２ｆを備えている。
【００３２】
前方カメラ１２が有するＲＡＭ１２ｃは、各種処理に係るデータを一時的に記憶するものである。ＲＯＭ１２は、後述する画像処理用ＡＳＩＣ１２ｂの動体の種類特定に使用される各種テンプレートを記憶している。なお、ＲＯＭ１２が記憶するテンプレートは動体の形状を規定したものであり、テンプレートの種類には、種々の角度から見た自動車、自動二輪車、自転車及び人体等に対応したものがある。
【００３３】
カメラモジュール１２ａは、図示しない撮像レンズ及び撮像素子部を備えており、撮像レンズを通じて内部に取り込んだ像を撮像素子部で撮像することにより画像を取得している。なお、撮像レンズには広角のものを用いると共に、前方カメラ１２だけは撮像レンズに対向してプリズムを配置し、二方向から像を取り込んで、図６（ａ）に示すような画像３０を取得できるようにしている。なお、カメラモジュール１２ａは撮像した画像を画像処理用ＡＳＩＣ１２ｂへ伝送する。
【００３４】
画像処理用ＡＳＩＣ１２ｂは、動体検出手段及び特定手段としてカメラモジュール１２ａで取得された画像に対して動体検出及び動体の種類特定に係る処理を行う。画像処理用ＡＳＩＣ１２ｂの動体検出手段は、オプティカルフローにより動体検出を行っており、カメラモジュール１２ａから連続して伝送された画像に対して、画像間の各画素の輝度差を演算し、この輝度差より輝度ベクトルを求めて画像中の動体の有無を検出している。
【００３５】
なお、画像処理用ＡＳＩＣ１２ｂは、後述するようにゲートウェイ装置１８からの動体検出を指示する指示信号を受け入れた場合に、動体検出手段としての処理を行う。この動体検出手段が動体を検出したときは、図６（ｂ）に示すように画像中の動体検出に係る部分を切り取り、切り取った画像部分３１をＭＰＵ１２ｅへ伝送する処理を行う。このように画像部分３１のみを伝送することで、以後の処理で扱うデータ量を１枚の画像データに比べて削減でき、処理効率の向上を図っている。
【００３６】
また、画像処理用ＡＳＩＣ１２ｂは、動体検出手段として機能する場合、検出対象の画像を形成する画素の輝度を動体検出が行いやすいレベルに変更して調整する処理も行っている。
【００３７】
画像処理用ＡＳＩＣ１２ｂの特定手段は、画像中の動体の種類を特定する処理を行うものであり、後述するようにＭＰＵ１２ｅから伝送された動体検出に係る画像部分に含まれる動体の種類をＲＯＭ１２ｄに記憶されている各種テンプレートに基づきテンプレートマッチング処理を行う。
【００３８】
具体的には、伝送されてきた動体検出に係る画像部分の形状及びＲＯＭ１２ｄに記憶された各テンプレートに係る形状を当てはめて比較演算し、マッチングの度合いを算出する。特定手段は、各テンプレート毎にマッチングの度合いを算出し、マッチングの度合いが最も高かったテンプレートに係る種類を動体の種類として特定している。なお、特定手段は動体の種類としては、テンプレートの種類に基づき自動車、自動二輪車、自転車及び人体等を特定する。
【００３９】
このように画像処理用ＡＳＩＣ１２ｂは特定手段として動体の種類を特定した場合、特定した内容をＭＰＵ１２ｅへ伝送している。なお、画像処理用ＡＳＩＣ１２ｂは、後述するようにゲートウェイ装置１８からの動体種類特定を指示する指示信号を受け入れた場合に、特定手段として上述した動体種類の特定処理を行う。
【００４０】
また、前方カメラ１２のＭＰＵ１２ｅは、全体的な制御及び各種処理を行っている。具体的には、画像の出力制御に係る処理、画像の受付制御に係る処理、後述するゲートウェイ装置１８からの指示信号の受付に係る処理、通知信号を作成する処理、及び、作成した通知信号の出力制御等を行う。
【００４１】
ＭＰＵ１２ｅの画像の出力制御に係る処理は２種類ある。１つ目は、画像処理用ＡＳＩＣ１２ｂが動体検出手段として動体を検出した場合に、ＭＰＵ１２ｅへ伝送した画像部分を通信インタフェース部１２ｆより動体種類の特定を行う他のカメラ１３〜１５へ出力する処理である。２つ目は、他のカメラ１３〜１５からの後述する動体種類特定の通知信号に基づきカメラモジュール１２ａの撮像した動体検出に係る画像をモニタ装置１６へ通信インタフェース部１２ｆより出力する処理である。
【００４２】
ＭＰＵ１２ｅの画像の受付制御に係る処理は、通信インタフェース部１２ｆで受け付けた画像及び画像部分を画像処理用ＡＳＩＣ１２ｂへ伝送するものである。また、ＭＰＵ１２ｅの指示信号の受付に係る処理としては、通信インタフェース部１２ｆで後述するゲートウェイ装置１８からの指示信号を受け付けた場合、受け付けた指示信号の内容に応じて画像処理用ＡＳＩＣ１２ｂに動体検出又は動体の種類特定の処理を行うように指示するものである。
【００４３】
さらに、ＭＰＵ１２ｅの通知信号の作成処理は、画像処理用ＡＳＩＣ１２ｂが特定手段として特定した内容に基づき通知信号の作成を行うものであり、通知信号には動体を検出したカメラ１２〜１５の車両Ｓへの取付位置及び特定した動体の種類が含まれる。ＭＰＵ１２ｅの通知信号の出力制御は、作成した通知信号を通信インタフェース部１２ｆより他のカメラ１３〜１５及びモニタ装置１６へ出力する処理を行うものである。
【００４４】
前方カメラ１２の通信インタフェース部１２ｆは、情報系通信バス１１ａと接続されており、ＭＰＵ１２ｅの制御により、動体検出に係る画像を出力する画像出力手段、通知信号を出力する信号出力手段、指示信号を受け付ける手段、及び、他のカメラ１３〜１５が出力した画像を受け付ける画像受付手段として機能している。
【００４５】
一方、ゲートウェイ装置１８は、図３に示すように、情報系通信バス１１ａとの接続を行う情報系インタフェース部１８ａ、各種制御及び処理を行うＭＰＵ１８ｂ、車体系通信バス２１ａとの接続を行う車体系インタフェース部１８ｃ、ＭＰＵ１８ｂ用のプログラム及び図４に示すテーブル２０等を記憶するＲＯＭ１８ｄ及び各種データ等を一時的に記憶するＲＡＭ１８ｅを備えている。
【００４６】
図４に示すテーブル２０は、複数のカメラ１２〜１５の中で動体検出を行うカメラ、動体検出を行うカメラと相異する動体種類特定用のカメラ、及び、予備処理用のカメラを車両の状態に応じて規定した内容になっている。例えば、車両状態が前進走行時である場合、テーブル２０は動体検出用に前方カメラ１２、動体種類特定用に後方カメラ１３、及び、予備処理用に左右側方カメラ１４、１５を規定している。
【００４７】
ゲートウェイ装置１８の車体系インタフェース部１８ｃは、後述するように車体系ネットワーク２１の各センサ２２〜２４が出力した車両状態の検出に係る検出信号を受け付ける処理を行うと共に、受け付けた検出信号をＭＰＵ１８ｂへ伝送する処理を行う。
【００４８】
ゲートウェイ装置１８のＭＰＵ１８ｂは、車体系インタフェース部１８ｃより伝送されてきた検出信号より車両状態を認識する処理を行い、この認識した車両状態に応じた動体検出用及び動体種類特定用等のカメラをＲＯＭ１８ｄに記憶されたテーブル２０に基づき夫々決定する決定手段として機能する。各カメラの処理内容を決定する具体例としては、例えば、ＭＰＵ１８ｂが検出信号の内容より現在の車両状態は左折状態であると認識した場合、ＭＰＵ１８ｂはテーブル２０に基づき、左側方カメラ１４を動体検出用、前方カメラ１２を動体種類特定用、後方カメラ１３及び右側方カメラ１５を予備処理用に夫々決定する。
【００４９】
また、ＭＰＵ１８ｂは、決定手段として決定した内容に係る指示信号を作成する処理を行う。なお、指示信号は、上述した例で説明すると、左側方カメラ１４に動体検出を行うように指示する内容及び前方カメラ１２に動体種類特定を行うように指示する内容等を含むものとなり、指示信号の宛先は処理を行うカメラにしている。すなわち上述した例では指示信号の宛先は左側方カメラ１４及び前方カメラ１２等になる。
【００５０】
上述したように作成した指示信号をＭＰＵ１８ｂは、指示信号出力手段として機能する情報系インタフェース部１８ａより情報系ネットワーク１１へ出力する制御を行う。このように動体検出システム１０では、ゲートウェイ装置１８が各カメラ１２〜１５の処理内容を車両状態に応じて適宜決定するため、動体検出に係る各処理が各カメラ１２〜１５で分散処理され、システム全体での処理効率を向上させている。
【００５１】
図５は表示装置に相当するモニタ装置１６の内部構成を示すブロック図である。モニタ装置１６は、情報系通信バス１１ａと接続される通信インタフェース部１６ａ、画像変換に係る処理を行う画像変換用ＡＳＩＣ１６ｂ、画像変換用の各種テーブルを記憶するＲＯＭ１６ｄ、処理に係るデータ等を一次的に記憶するＲＡＭ１６ｅ、表示用の画面を含む表示用モジュール１６ｃ、装置全体の種々の制御を行うＭＰＵ１６ｆ及びスピーカ１７と接続されて音声出力手段として機能する音声出力部１６ｇを備えている。
【００５２】
モニタ装置１６は通信インタフェース部１６ａに情報系通信バス１１ａを接続することで、各カメラ１２〜１５及びゲートウェイ装置１８と相互に接続されている。通信インタフェース部１６ａは各カメラ１２〜１５が出力した動体検出に係る画像を受け付ける受付手段として機能し、受け付けた画像は画像変換用ＡＳＩＣ１６ｂへ伝送する処理も行う。また、通信インタフェース部１６ａは、各カメラ１２〜１５が出力する通知信号を受け付ける処理も行い、受け付けた通知信号は画像処理用ＡＳＩＣ１６ｂを経由してＭＰＵ１６ｆへ伝送する処理を行う。
【００５３】
画像処理用ＡＳＩＣ１６ｂは、受け付けた画像を表示用画像に変換する画像処理手段に相当し、画像変換に係る処理としては、各カメラ１２〜１５の撮像用の広角レンズによる歪みを補正する処理、色補正、画像の視点を鳥瞰的に変換する処理及び各種グラフィックを追加する処理等を行う。このような各変換処理に用いるテーブルがＲＯＭ１６ｄに記憶されているため、画像処理用ＡＳＩＣ１６ｂは、各テーブルに基づいて画像変換処理を行う。
【００５４】
画像処理用ＡＳＩＣ１６ｂは、画像変換処理を行った表示用画像を表示用モジュール１６ｃへ伝送し、表示用モジュール１６ｃは伝送された表示用画像を画面に表示する処理を行う。
【００５５】
また、ＭＰＵ１６ｆは、通信インタフェース部１６ａより伝送された通知信号を受け付けた場合、通知信号に基づき動体検出に係る音声データを作成する処理を行う。作成する音声データの内容としては、通知信号に含まれる動体を検出したカメラ１２〜１５の取付位置及び特定された動体の種類が含まれ、例えば、「左方より自転車接近」と云う音声内容を作成する。また、作成した音声データは音声出力部１６ｇへ伝送する。
【００５６】
音声出力部１６ｇはモニタ装置１６に内蔵されることで、各カメラ１２〜１５及びゲートウェイ装置１８に接続された構成になっており、ＭＰＵ１６ｆからの音声データを受け付けた場合、音声データをスピーカ１７より音声として出力する処理を行う。このように音声で動体検出に係る内容を出力することで、車両の運転者はモニタ装置１６の画面を確認しなくても、音声で即座に車両周囲に存在する動体を把握することが可能になる。
【００５７】
また、図１に示す車体系ネットワーク２１の各センサ２２〜２４は車両状態の検出を行う検出装置に該当し、車両状態の検出に係る検出信号をゲートウェイ装置１８へ出力する処理を行う。
【００５８】
具体的にはウインカーセンサ２２は、方向指示器に左ウインカーを点滅させる操作が行われたとき、車両Ｓが左折状態であると検出し、左折状態を通知する検出信号を出力すると共に、右ウインカーを点滅させる操作が行われたときは、車両Ｓが右折状態であると検出し、右折状態を通知する検出信号を出力する。また、ギア位置センサ２３は、自動変速機がドライブ位置である場合、車両Ｓが前進走行状態であると検出し、前進走行状態を通知する検出信号を出力し、自動変速機がリバース位置である場合、車両Ｓが後進状態であると検出し、後進状態を通知する検出信号を出力する。
【００５９】
さらに、ＡＢＳセンサ２４は、ブレーキの作動状況及び車軸の回転状況により車両Ｓが徐行又は停止状態であることを検出し、これらの状態を通知する検出信号を出力する。
【００６０】
なお、上述したようにゲートウェイ装置１８のＭＰＵ１８ｂは、各センサ２２〜２４の検出信号より車両状態を認識するが、同時期に複数の検出信号を受け付けた場合、複数の検出信号より車両状態を認識することになる。例えば、前進走行状態である検出信号及び停止状態である検出信号を同時期に受け付けた場合、前進停止時と認識し、後進走行状態である検出信号及び停止状態である検出信号を同時期に受け付けた場合、後進停止時と認識する。また、前進走行状態である検出信号及び車軸の回転状況より徐行状態である検出信号を同時期に受け付けた場合、前進徐行と認識する。
【００６１】
次ぎに、上述した構成の動体検出システム１０における動体通知方法及び動体検出方法に係る一連の処理手順を車両Ｓが前進走行を行っている場合で図７に示すフローチャートに基づき説明する。
先ず、運転者が車両Ｓに搭乗しイグニッションスイッチをオンにすることで、動体検出システム１０を起動し、システム起動に伴い各センサ２２〜２４が車両状態の検出を行う（Ｓ１）。車両Ｓは前進走行を行っていることより、ギア位置センサ２３が前進走行状態であることを通知する検出信号を作成してゲートウェイ装置１８へ出力する（Ｓ２）。
【００６２】
ゲートウェイ装置１８は、検出信号を受け付けるとＲＯＭ１８ｄに記憶したテーブル２０に基づき検出信号に係る車両状態に対応する動体検出用として前方カメラ１２を決定すると共に、動体種類特定用として後方カメラ１３を決定する（Ｓ３）。また、ゲートウェイ装置１８は、決定した内容に応じた指示信号を作成して情報系ネットワーク１１へ出力する（Ｓ４）。
【００６３】
前方カメラ１２は指示信号を受け付けることで、動体検出用のカメラとして撮像を行い（Ｓ５）、撮像した画像から動体を検出する処理を行う（Ｓ６）。前方カメラ１２が動体を検出していない場合（Ｓ６：ＮＯ）、前方カメラ１２が動体を検出するまでループ状態になる。また、前方カメラ１２が動体を検出した場合（Ｓ６：ＹＥＳ）、前方カメラ１２は検出した動体に係る画像部分を動体種類特定用となる後方カメラ１３へ出力する（Ｓ７）。
【００６４】
一方、後方カメラ１３はゲートウェイ装置１８から動体種類特定に係る指示信号を受け付けることで、動体種類特定用のカメラとして機能し、前方カメラ１２から出力されてきた画像部分に含まれる動体の種類が自動車、人体等であるかを特定する（Ｓ８）。画像部分に含まれる動体の種類が木立のゆれ及び鳥又は誤検出であり、自動車、人体等でない場合（Ｓ８：ＮＯ）、運転者は特に注意する必要もないため、そのまま処理を終了する。
【００６５】
また、後方カメラ１３が動体の種類を自動車、人体等であると特定した場合（Ｓ８：ＹＥＳ）、特定した種類に係る通知信号を前方カメラ１２及びモニタ装置１６へ出力する（Ｓ９）。動体検出用の前方カメラ１２は前記通知信号を受け付けて、動体検出に係る画像をモニタ装置１６へ出力する（Ｓ１０）。
【００６６】
モニタ装置１６は、前方カメラ１２から出力されてきた画像に対して表示用画像へ変換する色補正等に係る画像処理を行い、処理を行った画像を表示する（Ｓ１１）。このようにモニタ装置１６が画面に画像を表示することで、車両の運転者は運転操作に対して配慮する必要がある動体を容易に確認することができる。なお、モニタ装置１６は、前方カメラ１２より通知信号を受け付けることで、スピーカ１７より動体検出に係る音声を出力するため、音声によっても運転者が動体の存在を容易に確認できるようにしている。
【００６７】
なお、動体検出システム１０は上述した構成に限定されるものではなく、種々の変形例の適用が可能である。例えば、各カメラ１２〜１５の動体検出に係る方式としては、オプティカルフロー以外にも各画像間の画素値の差分値を算出し、差分値及び動体検出に係る閾値との比較により動体を検出する方式を用いてもよい。
【００６８】
また、動体種類特定に関しても、テンプレートマッチング処理以外に、動体検出に係る部分の画素の位置及び形態等により動体の種類を特定するようにしてもよい。このような動体種類の特定は、動体検出に係る画素部分が画像における地面位置より上方であれば、動体は鳥、雲、木立のゆれ等として処理し、地面位置付近で一群として存在すれば、動体に係る画素部分を自動車及び人体等として処理する。
【００６９】
さらに、図４に示すテーブル２０は、図示した内容に限定されるものではなく、システムに含まれるカメラ数及び車両へのカメラの取付状態に応じて適宜変更可能である。また、テーブル２０は動体種類特定のカメラは複数規定することも可能である。このように動体種類特定のカメラを複数規定する場合は、撮像された画像が多くの動体を含んでいる時に、各動体に係る画像部分毎に相異するカメラが動体種類特定の処理を行うことで、全体としての処理速度の向上が可能になる。
【００７０】
さらに、テーブル２０は処理内容を規定するのではなく、処理に係る優先順位を規定して、この優先順位に基づいて動体検出及び動体種類特定の順番で各処理を行うカメラを規定する内容にしてもよい。さらに、また、テーブル２０は動体検出に係るカメラ及び撮像を行うカメラを夫々相異させて規定することも可能である。
【００７１】
また、上述した構成では、ゲートウェイ装置１８がテーブル２０を記憶して各カメラ１２〜１５の処理内容を決定し、指示信号を出力しているが、このようなゲートウェイ装置１８の機能を、車載装置にも該当する各カメラ１２〜１５の何れか又はモニタ装置１６で行うようにしてもよい。この場合、ゲートウェイ装置１８は車体系ネットワーク２１の各センサ２２〜２４が出力する検出信号を情報系ネットワーク１１に対応した規格に変換すると共に、変換した検出信号を指示信号の出力に係る装置へ送信する処理を行う。一方、指示信号の出力に係る装置は、テーブル２０の記憶、各カメラ１２〜１５の処理内容の決定及び指示信号の作成出力等を行える構成にすることが必要になる。
【００７２】
また、動体検出システム１０は、スピーカ１７からの音声出力に係る処理を省略することも可能である。さらに動体検出システム１０は、各カメラ１２〜１５の処理内容を車両状態に関係なく固定式にすることで、車体系ネットワーク２１の各センサ２２〜２４の検出信号の出力に係る処理、並びに、ゲートウェイ装置１８の各カメラ１２〜１５の処理内容決定及び指示信号の出力等に係る処理を省略してもよい。
【００７３】
各カメラ１２〜１５の処理内容の固定例としては、前方カメラ１２が撮像を行う場合、常に前方カメラ１２が動体検出を行うと共に後方カメラ１３が動体種類特定を行うようにすることが挙げられる。このように処理内容を固定式にすることで、システムの処理内容を簡易化できると共に、各カメラ間で動体検出に係る各処理を分散的に行うことができ、システム全体の処理効率向上も達成できる。なお、このように固定式にした内容をテーブル２０に規定するようにしておくようにしてもよい。
【００７４】
また、各カメラ１２〜１５は１台で動体検出及び動体種類特定を行うようにしてもよく、この場合のカメラ１２〜１５は、撮像した画像から動体を検出した場合、動体検出に係る画像を出力することなく、該画像中の動体に対して種類の特定を行い、特定した種類を通知する通知信号及び動体検出に係る画像を出力する構成にする。このように１台のカメラ１２〜１５で動体検出に係る各処理を行う場合でも、モニタ装置１６との画像処理を組み合わせることで、システム全体では分散処理を達成でき、また、各センサ２２〜２４の車両状態の検出に伴いカメラ１２〜１５の処理内容を決定する処理等も省略可能になる。
【００７５】
なお、動体検出システム１０では、通常はモニタ装置１６で各カメラ１２〜１５のいずれかの画像を表示しておき、動体を検出した場合は、上述した処理を行うことで、モニタ装置１６で表示する画像を動体検出に画像に切り替える構成にすることも可能である。
【００７６】
【発明の効果】
以上に詳述した如く、第１発明及び第４発明にあっては、撮像装置が動体検出に係る処理を行い、別の車載装置が動体の種類特定に係る処理を行うので、分散処理で動体検出に係る各処理を対応でき、システム全体での処理効率を向上できる。
第２発明及び第５発明にあっては、車載装置が備えるテーブルに基づき動体検出用の撮像装置を決定するため、複数の撮像装置が存在する場合でも動体検出を行う撮像装置を容易に決定でき、分散処理の割当もスムーズに行える。
【００７７】
第３発明にあっては、撮像装置が撮像した画像中の動体検出及び検出に係る動体の種類特定を行うので、画像処理装置に集中していた処理を低減でき、分散処理の適用が容易になる。
【００７８】
第６発明にあっては、テーブルが動体種類特定用の撮像装置を規定するので、分散処理における動体種類特定に係る処理を行う撮像装置の決定が容易になり、システム全体における処理効率を一段と向上できる。
第７発明にあっては、テーブルが車両状態に対応させて分散処理に係る各処理を行う撮像装置を規定しているので、車両状態に応じて各撮像装置が行う処理内容を決定でき、状況に応じた効率処理を実現できる。
【００７９】
第８発明にあっては、表示装置が動体に係る画像を画面に表示するので、運転操作に対して注意を要する動体の確認を画面により容易に行うことができる。
第９発明にあっては、表示装置で表示用画像に変換する処理を行うため、システム全体における分散処理を一段と進めてシステム構成を簡略化できる。
【００８０】
第１０発明にあっては、音声出力手段が動体検出に係る音声を出力するため、運転者は音声により車両の周囲に動体が存在することを把握できる。
第１１発明にあっては、動体検出に係る撮像装置は、動体に係る画像部分のみを出力するため、データ量を減少してデータ伝送を効率的に行うと共にデータに対する処理負担も低減できる。
第１２発明にあっては、動体検出手段が画像の輝度を変更する手段を備えるので、動体検出に対する処理精度を向上できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る動体検出システムの全体構成図である。
【図２】前方カメラの内部構成を示すブロック図である。
【図３】ゲートウェイ装置の内部構成を示すブロック図である。
【図４】テーブルを示す図表である。
【図５】モニタ装置の内部構成を示すブロック図である。
【図６】（ａ）は撮像された画像の概略図、（ｂ）は動体に係る画像部分の概略図である。
【図７】動体検出に係る一連の処理手順を示すフローチャートである。
【図８】従来の動体検出システムの構成図である。
【符号の説明】
１０  動体検出システム
１１  情報系ネットワーク
１２  前方カメラ
１３  後方カメラ
１４  左側方カメラ
１５  右側方カメラ
１６  モニタ装置
１７  スピーカ
１８  ゲートウェイ装置
２０  テーブル
２１  車体系ネットワーク
２２  ウインカーセンサ
２３  ギア位置センサ
２４  ＡＢＳセンサ
３０  画像
３１  画像部分
Ｓ  車両
【図１】
2004320642.tif 000003
【図２】
2004320642.tif 000004
【図３】
2004320642.tif 000005
【図４】
2004320642.tif 000006
【図５】
2004320642.tif 000007
【図６】
2004320642.tif 000008
【図７】
2004320642.tif 000009
【図８】
2004320642.tif 000010