(57)【要約】【課題】車載カメラ等の死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両の車載カメラ等による歩行者の速やかな検出を可能とする情報提供装置、情報提供方法及びコンピュータプログラムを提供する。【解決手段】情報提供装置は、路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する検出部と、検出部による検出結果に基づいて、危険な行動を行なう移動物体の将来の進路を予測する予測部と、予測部による予測結果に基づいて、危険な行動を行なう移動物体による影響が及び得る車両を特定する特定部と、特定部により特定された車両へ、危険な行動を行なう移動物体に関する情報を配信する配信部とを含む。【選択図】図５
2019215785.tif 000002
【特許請求の範囲】
【請求項１】
路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する検出部と、
前記検出部による検出結果に基づいて、危険な行動を行なう前記移動物体の将来の進路を予測する予測部と、
前記予測部による予測結果に基づいて、危険な行動を行なう前記移動物体による影響が及び得る車両を特定する特定部と、
前記特定部により特定された前記車両へ、危険な行動を行なう前記移動物体に関する情報を配信する配信部とを含む、情報提供装置。
【請求項２】
前記情報は、前記検知データにおける、危険な行動を行なう前記移動物体に対応する領域に所定の識別情報が付加されたデータを含む、請求項１に記載の情報提供装置。
【請求項３】
前記検知部は、撮像装置を含む、請求項１又は２に記載の情報提供装置。
【請求項４】
前記予測部は、グリッドで構成された地図情報を用いて前記進路を予測する、請求項１〜３のいずれか１項に記載の情報提供装置。
【請求項５】
路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する第１ステップと、
前記第１ステップによる検出結果に基づいて、危険な行動を行なう前記移動物体の将来の進路を予測する第２ステップと、
前記第２ステップによる予測結果に基づいて、危険な行動を行なう前記移動物体による影響が及び得る車両を特定する第３ステップと、
前記第３ステップにより特定された前記車両へ、危険な行動を行なう前記移動物体に関する情報を配信する第４ステップとを含む、情報提供方法。
【請求項６】
コンピュータに、
路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する第１機能と、
前記第１機能による検出結果に基づいて、危険な行動を行なう前記移動物体の将来の進路を予測する第２機能と、
前記第２機能による予測結果に基づいて、危険な行動を行なう前記移動物体による影響が及び得る車両を特定する第３機能と、
前記第３機能により特定された前記車両へ、危険な行動を行なう前記移動物体に関する情報を配信する第４機能とを実現させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供装置、情報提供方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
街頭監視カメラ等の固定設置されたセンサ（以下、インフラセンサともいう）によるセンサ情報をサーバコンピュータ（以下、単にサーバという）にアップロードし、解析して監視するシステムが提案されている。また、自動車及び自動二輪車等（以下、車両という）にも種々のセンサを搭載し、これらのセンサ情報をサーバにアップロードして解析し、運転支援のために使用することが提案されている。車載センサのデータの解析結果と、インフラセンサのデータの解析結果とを合わせて、運転支援のために使用することも提案されている。
【０００３】
複数のセンサによる検出結果を共有することに関しては、例えば、後掲の特許文献１に、可搬型の監視装置の監視カメラで撮像した映像を記録し、事故、犯罪捜査等の発生に対して、支援と早期解決が可能であり、リアルタイムに映像の確認及び解析が可能な監視カメラシステムが開示されている。このシステムでは、複数の監視装置のそれぞれはカメラを備え、相互に無線ＬＡＮにより通信可能であり、カメラにより撮像した映像から不審者等を検出してその特徴量を抽出する。監視装置は、抽出した特徴量を不審者リストと照合し、一致又は近似した場合、検出した映像を、他の監視装置及び携帯電話に送信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１５３３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の運転を支援するために、車載カメラで撮影した画像を解析して歩行者を検出する場合、車両の走行により、画像中における歩行者の大きさ（画素数）は一定ではなく絶えず変化し、場合によっては激しく変化するので、解析が容易ではない。また、車両の走行速度によっては、同一歩行者を車載カメラで捉えることができる時間は非常に短いため、一定時間の歩行者の変位を知る必要がある「振舞」等を認識することは難しい。さらには、自車両の車載センサだけでは、歩行者が他の車両等の陰（死角）に入ると、検出できなくなる問題もある。
【０００６】
したがって、本発明は、車載カメラ等の死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両の車載カメラ等による歩行者の速やかな検出を可能とする情報提供装置、情報提供方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある局面に係る情報提供装置は、路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する検出部と、検出部による検出結果に基づいて、危険な行動を行なう移動物体の将来の進路を予測する予測部と、予測部による予測結果に基づいて、危険な行動を行なう移動物体による影響が及び得る車両を特定する特定部と、特定部により特定された車両へ、危険な行動を行なう移動物体に関する情報を配信する配信部とを含む。
【０００８】
本発明の別の局面に係る情報提供方法は、路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する第１ステップと、第１ステップによる検出結果に基づいて、危険な行動を行なう移動物体の将来の進路を予測する第２ステップと、第２ステップによる予測結果に基づいて、危険な行動を行なう移動物体による影響が及び得る車両を特定する第３ステップと、第３ステップにより特定された車両へ、危険な行動を行なう移動物体に関する情報を配信する第４ステップとを含む。
【０００９】
本発明のさらに別の局面に係るコンピュータプログラムは、コンピュータに、路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する第１機能と、第１機能による検出結果に基づいて、危険な行動を行なう移動物体の将来の進路を予測する第２機能と、第２機能による予測結果に基づいて、危険な行動を行なう移動物体による影響が及び得る車両を特定する第３機能と、第３機能により特定された車両へ、危険な行動を行なう移動物体に関する情報を配信する第４機能とを実現させる。
【発明の効果】
【００１０】
本発明によれば、車載カメラ等の死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両の車載カメラ等により歩行者を速やかに検出することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施形態に係る情報提供システムの構成を示す模式図である。
【図２】図２は、サーバの構成を示すブロック図である。
【図３】図３は、車載装置の構成を示すブロック図である。
【図４】図４は、カメラ装置の構成を示すブロック図である。
【図５】図５は、サーバの機能を示すブロック図である。
【図６】図６は、サーバの処理を示すフローチャートである。
【図７】図７は、危険な歩行者の検出例を示す平面図である。
【図８】図８は、危険な歩行者の影響が及ぶ周辺車両を特定する方法を示す平面図である。
【図９】図９は、カメラ装置の撮像領域へのグリッド地図の適用を示す平面図である。
【図１０】図１０は、変形例におけるカメラ装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【００１３】
（１）本発明の第１の局面に係る情報提供装置は、路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する検出部と、検出部による検出結果に基づいて、危険な行動を行なう移動物体の将来の進路を予測する予測部と、予測部による予測結果に基づいて、危険な行動を行なう移動物体による影響が及び得る車両を特定する特定部と、特定部により特定された車両へ、危険な行動を行なう移動物体に関する情報を配信する配信部とを含む。これにより、車載カメラ等の死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両の車載カメラ等により歩行者を速やかに検出することができる。
【００１４】
（２）好ましくは、情報は、検知データにおける、危険な行動を行なう移動物体に対応する領域に所定の識別情報が付加されたデータを含む。これにより、周辺車両の車載カメラ等による歩行者の検出が容易になり、検出速度が向上する。
【００１５】
（３）より好ましくは、検知部は、撮像装置を含む。これにより、危険な行動を行なう移動物体の検出が容易になり、検出精度が向上する。
【００１６】
（４）さらに好ましくは、予測部は、グリッドで構成された地図情報を用いて進路を予測する。これにより、危険な行動を行なう移動物体の検出及びその進路予測が容易になる。
【００１７】
（５）本発明の第２の局面に係る情報提供方法は、路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する第１ステップと、第１ステップによる検出結果に基づいて、危険な行動を行なう移動物体の将来の進路を予測する第２ステップと、第２ステップによる予測結果に基づいて、危険な行動を行なう移動物体による影響が及び得る車両を特定する第３ステップと、第３ステップにより特定された車両へ、危険な行動を行なう移動物体に関する情報を配信する第４ステップとを含む。これにより、車載カメラ等の死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両の車載カメラ等により歩行者を速やかに検出することができる。
【００１８】
（６）本発明の第３の局面に係るコンピュータプログラムは、コンピュータに、路上に設置された検知部による検知データに基づいて、危険な行動を行なう移動物体を検出する第１機能と、第１機能による検出結果に基づいて、危険な行動を行なう移動物体の将来の進路を予測する第２機能と、第２機能による予測結果に基づいて、危険な行動を行なう移動物体による影響が及び得る車両を特定する第３機能と、第３機能により特定された車両へ、危険な行動を行なう移動物体に関する情報を配信する第４機能とを実現させる。これにより、車載カメラ等の死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両の車載カメラ等により歩行者を速やかに検出することができる。
【００１９】
［本発明の実施形態の詳細］
以下の実施形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００２０】
（実施形態）
［全体構成］
図１を参照して、本発明の実施形態に係る情報提供システム１００は、道路及びその周辺等（以下、路上ともいう）に固定して設置されたカメラ装置１０２、基地局１０６、ネットワーク１０８を介して基地局１０６と通信するサーバ１１０、車両１１２、及び、道路交通用の信号機１１４を含む。歩行者１０４は、カメラ装置１０２の検出対象である。ここでは、情報提供システム１００を構成する各要素間の通信は、移動通信の基地局１０６を介して行なわれるとする。基地局１０６はＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）回線及び５Ｇ（第５世代移動通信システム）回線等による移動通信サービスを提供している。
【００２１】
サーバ１１０は、カメラ装置１０２から基地局１０６を介してアップロードされる情報（動画像データ）を受信して解析し、運転支援のための情報を生成して、例えば車両１１２に送信する。また、サーバ１１０は、基地局１０６を介して信号機１１４からアップロードされる信号機の状態を表す情報（例えば、点灯又は点滅状態の色を表す情報等であり、以下、信号情報という）をも受信して、運転支援のための情報の生成に利用する。
【００２２】
車両１１２が搭載している車載装置は、ＬＴＥ回線及び５Ｇ回線等による通信機能を有している。カメラ装置１０２は道路及びその周辺に設置された撮像機能を備えた装置であり、基地局１０６との通信機能を有している。カメラ装置１０２は、例えばデジタルの監視カメラである。
【００２３】
図１には、代表的に１つの基地局１０６、１つのインフラセンサ（カメラ装置１０２）、１台の車両１１２、及び１台の信号機１１４を示しているが、通常、複数の基地局が設けられ、複数の車両に移動通信機能が提供されている。インフラセンサは、２台以上設置されていてもよい。サーバ１１０は、より多くのインフラセンサ、車両の車載装置及び信号機と通信し、情報を収集して解析し、運転支援情報を提供する。
【００２４】
［サーバのハードウェア構成］
図２を参照して、サーバ１１０は、各部を制御する制御部１２０と、データを記憶するメモリ１２２と、通信を行なう通信部１２４と、各部の間でデータを交換するためのバス１２６とを含む。制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含んで構成されており、各部を制御することにより、後述する機能を実現する。メモリ１２２は、書換可能な半導体の不揮発性メモリ及びハードディスクドライブ（以下、ＨＤＤという）等の大容量記憶装置を含む。通信部１２４は、路上に配置されたカメラ装置１０２からアップロードされるセンサ情報（画像データ）、車両１１２の車載装置からアップロードされるセンサ情報、並びに、信号機１１４からアップロードされる信号情報を、基地局１０６を介して受信する。通信部１２４により受信されたデータは、メモリ１２２に伝送されて記憶される。これにより、サーバ１１０は、後述するように情報提供装置として機能する。
【００２５】
［車載装置のハードウェア構成及び機能］
図３を参照して、車両１１２に搭載されている車載装置１４０のハードウェア構成の一例を示す。車載装置１４０は、車両１１２に搭載されている撮像部１４２に接続されたインターフェイス部（以下、Ｉ／Ｆ部という）１４４、無線通信を行なう通信部１４６、データを記憶するメモリ１４８、それらを制御する制御部１５０、及び、各部の間でデータを交換するためのバス１５２を含む。
【００２６】
撮像部１４２は、車両１１２に搭載されている公知のビデオ映像の撮像装置（例えば、デジタルカメラ（ＣＣＤカメラ、ＣＭＯＳカメラ））である。撮像部１４２は、所定のビデオ信号（アナログ信号又はデジタルデータ）を出力する。撮像部１４２からの信号はＩ／Ｆ部１４４に入力される。Ｉ／Ｆ部１４４はＡ／Ｄ変換部を含み、アナログ信号が入力されると所定周波数でサンプリングし、デジタルデータ（センサ情報）を生成して出力する。生成されたデジタルデータは、メモリ１４８に伝送されて記憶される。撮像部１４２からの出力信号がデジタルデータであれば、Ｉ／Ｆ部１４４は、入力されるデジタルデータをメモリ１４８に記憶する。メモリ１４８は、例えば書換可能な不揮発性の半導体メモリ又はＨＤＤである。
【００２７】
通信部１４６は、ＬＴＥ回線及び５Ｇ回線等の移動通信機能を有し、サーバ１１０との通信を行なう。車載装置１４０とサーバ１１０との間の通信は基地局１０６を介して行なわれる。通信部１４６は、ＬＴＥ回線及び５Ｇ回線等のそれぞれで採用されている変調及び多重化を行なうためのＩＣ、所定周波数の電波を放射及び受信するためのアンテナ、並びにＲＦ回路等により構成されている。通信部１４６は、ＬＴＥ回線及び５Ｇ回線等の複数の移動通信機能を備えていることにより、５Ｇ回線の通信サービスが提供されていない地域を、車両１１２が走行している場合には、ＬＴＥ回線による通信が可能となる。
【００２８】
制御部１５０は、ＣＰＵを含んで構成されており、各部を制御することにより車載装置１４０の機能を実現する。例えば、制御部１５０は、サーバ１１０から運転支援情報を受信して、車両１１２の走行を制御する、運転者を支援する情報を提供する等の処理を行なう。また、制御部１５０は、撮像部１４２により撮像された動画像データを解析して、車両１１２周辺の対象物を検出し、運転支援に利用する。また、制御部１５０は、ＧＰＳにより、車両１１２の現在位置を取得し、適宜又はサーバ１１０からの要求を受けて、車両１１２に関する情報（以下、車両情報ともいう）としてサーバ１１０に送信する。
【００２９】
［インフラセンサのハードウェア構成及び機能］
インフラセンサであるカメラ装置１０２も、基本的に車載装置１４０と同様に構成されている。図４を参照して、カメラ装置１０２のハードウェア構成の一例を示す。カメラ装置１０２は、撮像部１６０に接続されたＩ／Ｆ部１６２、無線通信を行なう通信部１６４、データを記憶するメモリ１６６、それらを制御する制御部１６８、及び、各部の間でデータを交換するためのバス１７０を含む。
【００３０】
撮像部１６０は、公知のビデオ映像の撮像装置（例えば、デジタルカメラ）である。撮像部１６０は、所定のビデオ信号を出力する。撮像部１６０からの信号はＩ／Ｆ部１６２に入力される。Ｉ／Ｆ部１６２はＡ／Ｄ変換部を含み、アナログ信号が入力されるとデジタルデータ（センサ情報）を生成して出力する。生成されたデジタルデータは、メモリ１６６に伝送されて記憶される。撮像部１６０からの出力信号がデジタルデータであれば、Ｉ／Ｆ部１６２は、入力されるデジタルデータをメモリ１６６に記憶する。メモリ１６６は、例えば書換可能な不揮発性の半導体メモリ又はＨＤＤである。
【００３１】
通信部１６４は、移動通信機能を有し、基地局１０６を介してサーバ１１０との通信を行なう。カメラ装置１０２は固定設置されているので、複数の移動通信方式に対応している必要はなく、近くにある基地局１０６により提供されている移動通信方式（例えば、ＬＴＥ回線又は５Ｇ回線）に対応していればよい。通信部１６４は、採用されている変調及び多重化を行なうためのＩＣ、所定周波数の電波を放射及び受信するためのアンテナ、並びにＲＦ回路等により構成されている。なお、固定設置されているカメラ装置１０２の通信機能は、基地局１０６を介する場合に限定されず、任意である。有線ＬＡＮ、又はＷｉＦｉ等の無線ＬＡＮによる通信機能であってもよい。なお、ＷｉＦｉ通信の場合、移動通信の基地局１０６とは別にＷｉＦｉサービスを提供する装置（無線ルータ等）が設けられ、カメラ装置１０２はサーバ１１０とネットワーク１０８を介して通信する。
【００３２】
制御部１６８は、ＣＰＵを含んで構成されており、各部を制御することにより車載装置１４０の機能を実現する。即ち、制御部１６８は、撮像部１６０により撮像されてメモリ１６６に記憶された動画像データを所定の時間間隔で読出し、パケットデータを生成し、通信部１６４から基地局１０６を介してサーバ１１０に送信する。
【００３３】
［信号機のハードウェア構成及び機能］
信号機１１４は、公知の道路交通用の信号機である。車両用信号機であれば、青、黄及び赤の３色の表示灯と、それらの点灯及び点滅を制御する制御部と、表示灯の状態を表す情報である信号情報をサーバ１１０に送信するための通信部とを備えている。なお、歩行者用信号機であれば、表示灯が青及び赤の２色である点が異なるが、車両用信号機と同様に構成されている。信号機１１４の通信部は、カメラ装置１０２の通信部１６４と同様に、移動通信機能を有し、基地局１０６を介してサーバ１１０との通信を行なう。なお、固定設置されている信号機１１４の通信機能は任意である。有線ＬＡＮ、又はＷｉＦｉ等の無線ＬＡＮによる通信機能であってもよい。信号機１１４の制御部は、ＣＰＵを含んで構成されており、表示灯の点灯及び点滅を制御することに加えて、表示灯の状態が変更される度に、現在の信号機の状態を表す信号情報を、基地局１０６を介してサーバ１１０に送信する。
【００３４】
［サーバの機能的構成］
図５を参照して、サーバ１１０の機能について説明する。サーバ１１０は、パケットデータを受信するパケット受信部１８０と、パケットデータを送信するパケット送信部１８２と、受信したセンサ情報に対して所定の解析処理を実行する解析処理部１８４と、予測処理を実行する予測処理部１８６と、車両を特定する車両特定部１８８とを含む。パケット受信部１８０は、カメラ装置１０２、信号機１１４及び車載装置１４０からパケットデータを受信する。受信したパケットデータが、カメラ装置１０２からのデータ（動画像データ）であれば解析処理部１８４に入力する。パケット受信部１８０は、受信したデータが、信号機１１４からのデータ（信号情報）であれば、予測処理部１８６に入力する。パケット受信部１８０は、受信したデータが、車載装置１４０からのデータ（車両情報）であれば車両特定部１８８に入力する。パケット受信部１８０は、パケット受信部１８０の機能は、図２の通信部１２４及びメモリ１２２により実現される。
【００３５】
解析処理部１８４は、入力されるデータ（動画像データ）に対して解析処理を実行して移動物体を検出する。ここでは、検出対象は、移動している歩行者であるとし、「歩行者」とは、歩いている人に限定されず、任意の速度で移動している人を意味し、走っている人をも含む。図１では、１人の歩行者１０４を示しているが、アップロードされた動画像データに複数の歩行者が含まれていれば、それぞれの歩行者が検出される。解析処理には、フレーム間の差分を求める処理を含む公知の対象物の検出処理、及び特徴量の抽出処理を使用することができ、例えば、検出された移動物体に関する特徴量（検出時刻、位置、移動速度、移動方向、大きさ、形状、色等）を求めることができる。これにより、歩行者とそれ以外の移動物体とを区別することができる。解析処理部１８４は、解析結果を予測処理部１８６に入力する。解析処理部１８４は、例えば図２の制御部１２０及びメモリ１２２により実現される。
【００３６】
予測処理部１８６は、解析処理部１８４から解析結果（例えば歩行者１０４に関する特徴量）が入力されると、その解析結果を用いて、各歩行者の将来の行動を予測する。さらに、予測処理部１８６は、予測された行動が、所定の行動（例えば、危険な行動）であるか否かを、信号機１１４から受信した信号情報と、予めメモリ１２２に記憶された地図情報とを利用して決定する。危険な行動とは、その歩行者に身体的危害を引き起こす可能性が高い行為であり、例えば、歩行者が、赤信号で横断歩道を渡ろうとする行為、信号機のないところで道路を横断しようする行為、車道に大きくはみ出して歩行する行為等である。予測処理部１８６は、所定の行動（危険な行動）を行なう歩行者と判定した場合、その歩行者に関する情報（位置、移動方向等を含む特徴量）を、運転支援情報として車載装置に送信するために、車両特定部１８８に入力する。
【００３７】
車両特定部１８８は、予測処理部１８６から入力される危険な歩行者の情報と、車両情報とを用いて、その歩行者の危険な行動による影響を受ける車両を特定し、特定された車両（車載装置）に危険な歩行者の情報を送信する。送信は、パケット送信部１８２により行なわれ、危険な歩行者の情報が含まれるパケットデータが送信される。車両特定部１８８は、例えば図２の制御部１２０及びメモリ１２２により実現される。サーバ１１０は、解析処理部１８４、予測処理部１８６及び車両特定部１８８の機能を、専用のハードウェア（回路基板、ＡＳＩＣ等）により実現してもよい。
【００３８】
［サーバの動作］
図６を参照して、サーバ１１０による処理に関して、より具体的に説明する。図６に示した処理は、制御部１２０が、所定のプログラムをメモリ１２２から読出して実行することにより実現される。サーバ１１０のメモリ１２２には、カメラ装置１０２により撮像される範囲を含む、サーバ１１０の情報提供エリアの地図情報が予め記憶されている。
【００３９】
ステップ３００において、制御部１２０は、データを受信したか否かを判定する。受信したと判定された場合、制御はステップ３０２に移行する。そうでなければ、制御はステップ３２４に移行する。
【００４０】
ステップ３０２において、制御部１２０は、ステップ３００で受信したデータが、信号機１１４から送信された信号情報であるか否かを判定する。信号情報であると判定された場合、制御はステップ３０４に移行する。そうでなければ、制御はステップ３０６に移行する。信号情報は、例えば、発光している色（青、黄又は赤）とその状態（点灯又は点滅）を表すデータを含む。サーバ１１０が複数の信号機から信号情報を受信する場合には、信号情報は、信号機を特定する情報（ＩＤ、位置座標等）を含む。
【００４１】
ステップ３０４において、制御部１２０は、ステップ３００で受信したデータ（信号情報）をメモリ１２２の所定領域に記憶する。その後、制御はステップ３２４に移行する。後述する処理では、各信号機の現在の信号情報だけが使用されるので、受信した信号情報は上書き記憶されてもよい。
【００４２】
ステップ３０６において、制御部１２０は、ステップ３００で受信したデータが、車両から送信されたその車両に関する車両情報であるか否かを判定する。車両情報を受信したと判定された場合、制御はステップ３０８に移行する。そうでなければ、制御はステップ３１０に移行する。ここでは、後述する処理のために、各車両から、その車両を特定する情報（ＩＤ）と位置座標とが送信され、サーバ１１０により受信されるとする。なお、ＩＤには、車両の車載装置の通信アドレス（車載装置から送信されたパケットデータに含まれる送信元アドレス）を使用することができる。なお、各車両からサーバ１１０への送信は、各車両の車載装置が所定の時間間隔で行なう、又は、サーバ１１０が所定のタイミングで、各車両の情報の送信要求をブロードキャストすることにより可能である。
【００４３】
ステップ３０８において、制御部１２０は、ステップ３００で受信した車両情報（ＩＤ及び位置座標等）を、受信時刻と共にメモリ１２２に記憶し、車両のＩＤを参照して過去にメモリ１２２に記憶されているその車両の情報があれば、その車両の走行方向を求めてメモリ１２２に記憶する。その後、制御はステップ３２４に移行する。制御部１２０は、各車両の情報をメモリ１２２に記憶し、現在時刻から所定時間以上前の車両情報は削除、又は、本ステップでの処理の対象外とする。各車両に関して、受信時刻及び位置座標の変化を求めることにより、その車両が走行しているか否か、走行している場合にはその方向を求めることができる。該当する車両の情報が記憶されていなければ、走行方向の算出は行なわれない。メモリ１２２に記憶された車両の情報（走行方向を含む）は、後述する情報を送信する対象車両を特定するために使用される。
【００４４】
ステップ３１０において、制御部１２０は、ステップ３００で受信したデータが、カメラ装置１０２から送信されたカメラ映像（動画像データ）であるか否かを判定する。カメラ映像であると判定された場合、制御はステップ３１２に移行する。そうでなければ、制御は３２４に移行する。
【００４５】
ステップ３１２において、制御部１２０は、ステップ３００で受信したデータ（動画像データ）をメモリ１２２に記憶する。その後、制御はステップ３１４に移行する。複数のカメラ装置からデータが送信される場合には、パケットデータに含まれている送信元を特定する情報（例えば、ＭＡＣアドレス）を、カメラ装置を特定する情報として使用することができる。なお、各カメラ装置は、カメラ装置を特定する情報として、その位置座標等（カメラ装置の位置座標が予めサーバ１１０に登録されていれば、それに対応させたＩＤ）を送信してもよい。
【００４６】
ステップ３１４において、制御部１２０は、ステップ３１２でメモリ１２２に記憶した動画像データを読出して解析処理を実行し、解析結果をメモリ１２２に記憶する。即ち、制御部１２０は、解析処理部１８４による解析処理として上記したように、歩行者を検出し、その特徴量を算出する。その後、制御はステップ３１６に移行する。
【００４７】
ステップ３１６において、制御部１２０は、ステップ３１４の解析結果をメモリ１２２から読出して、危険な行動を検出する。即ち、制御部１２０は、予測処理部１８６による予測処理として上記したように、ステップ３１４で検出された各歩行者の行動を予測し、予測された行動が危険な行動であるか否かを判定する。判定には、歩行者の特徴量（位置、移動方向等）、信号情報及び地図情報等が使用される。その後、制御はステップ３１８に移行する。
【００４８】
図７を参照して、危険な行動の検出に関して具体的に説明する。図７は、道路の交差点及びその付近の状況を示す平面図であるが、各信号機（車両用信号機及び歩行者用信号機）は正面図を示している。また、便宜上、直交するＸＹ軸を示している。Ｙ軸方向の横断歩道に関する歩行者用信号機２０２及び歩行者用信号機２０４、並びに、Ｙ軸方向の走行に関する車両用信号機２０６は、赤色が点灯している。Ｘ軸方向の走行に関する車両用信号機２０８は青色が点灯しており、車両１１２はＸ軸の正方向に走行し、車両１１６及び１１８はＸ軸の負方向に走行している。この状態で、歩行者２００は立ち止まっているが、歩行者１０４は、横断歩道を渡ろうとしている。カメラ装置１０２は、監視領域２１２を撮像範囲としており、歩行者１０４を撮像することができる。なお、歩行者１０４は、車両１１２の撮像部１４２の死角（車両１１６により発生した、斜線を付した検出不可能領域２１０）に位置し、撮像部１４２によっては撮像されない（撮像部１４２は画角θを有する）。したがって、車両１１２の車載装置１４０が独自の運転支援機能を有していても、歩行者１０４を検出できず対応できない。
【００４９】
カメラ装置１０２により撮像された動画像データがサーバ１１０にアップロードされ、解析処理が実行されると、歩行者１０４が検出され、その特徴量が算出される（ステップ３１２及び３１４参照）。そして、制御部１２０は、メモリ１２２に記憶されている地図情報を参照して、検出された歩行者１０４の位置が車道内にあり、歩行者１０４の移動速度がゼロでなく、且つ歩行者１０４の移動方向が道路を横断する方向である場合、歩行者１０４の予測行動が危険な行動であると判定する（ステップ３１８参照）。
【００５０】
ここでは、カメラ装置１０２は路面の上方に設置されており、交差点を挟んで対角に位置する監視領域２１２が撮像領域であるので、カメラ装置１０２により撮像される動画像データは、監視領域２１２を俯瞰して斜め方向から撮像したものである。この場合、カメラ装置１０２の３次元位置、監視領域２１２の広さ、並びに監視領域２１２からの距離を用いて、カメラ装置１０２により撮像される動画像データ中の路面部分を予め特定し、地図情報と対応付けることができる。これにより、動画像データ中に検出された歩行者の、画面上の位置座標、移動速度及び移動方向から、対応する歩行者の実際の位置、移動速度及び移動方向を求めることができる。
【００５１】
ステップ３１８において、制御部１２０は、ステップ３１６で、予測行動が危険な行動であると判定された歩行者（以下、危険な歩行者ともいう）に関して、ラベリング処理を行ない、ラベリング画像を生成し、メモリ１２２に記憶する。その後、制御はステップ３２０に移行する。ラベリング処理は公知の画像処理であり、ラベリング画像は、ステップ３１２で記憶された動画像データの各フレームデータにおいて、危険な歩行者の領域に所定の識別情報を付加したものである。例えば、危険な歩行者の領域の画素値を所定の値に置き換えて生成された画像、又は、危険な歩行者の領域を囲む所定の図形（長方形等）を付加して生成された画像等である。
【００５２】
ステップ３２０において、制御部１２０は、危険な歩行者及び車両に関して、進路予測を行ない、影響が及ぶ可能性が高い周辺車両を特定する。その後、制御はステップ３２２に移行する。例えば、制御部１２０は、ステップ３０８で記憶された車両情報をメモリ１２２から読出して、危険な歩行者から所定範囲内に位置する車両を特定し、特定された車両が今後走行すると予測される進路を表す線（以下、予測進路線という）が、危険な歩行者の予測進路線と交差するか否かを判定する。
【００５３】
具体的には、図７と同じ状態を示す図８を参照して、歩行者１０４から所定距離の範囲であるサーバ１１０の支援領域２２０内に位置する車両を特定する。制御部１２０は、各車両の位置をメモリ１２２から読出し、各車両と歩行者１０４との距離を算出することにより、支援領域２２０内に位置する車両を特定することができる。ここでは、車両１１２、１１６及び１１８が特定される。制御部１２０は、特定された車両１１２、１１６及び１１８の走行方向から、それぞれが今後走行すると予測される予測進路線２２２、２２４及び２２６を求める。また、制御部１２０は、歩行者１０４の移動方向から、今後移動すると予測される予測進路線２２８を求め、予測進路線２２８が、予測進路線２２２、２２４及び２２６と交差するか否かを判定し、交差する予測進路線に対応する車両を、危険な歩行者（歩行者１０４）の影響が及ぶ周辺車両と特定する。予測進路線２２８は、予測進路線２２２と交点２３０で交差し、予測進路線２２６と交点２３２で交差するので、車両１１２及び１１８が、影響が及ぶ周辺車両として特定される。予測進路線２２４は、予測進路線２２８と交差しないので、車両１１６は対象外であり、影響が及ぶ周辺車両には該当しない。
【００５４】
ステップ３２２において、制御部１２０は、ステップ３２０で特定された、影響が及ぶ周辺車両に対して、ステップ３１６で危険な歩行者と判定された歩行者の情報（特徴量）と、ステップ３１８で生成したラベリング画像とを、運転支援情報として送信する。制御部１２０は、影響が及ぶ周辺車両と特定された車両の車載装置の通信アドレスをメモリ１２２の車両情報から取得し、その通信アドレスを送信先アドレスとして送信する。その後、制御はステップ３２４に移行する。このとき、制御部１２０は、警告情報を付加して送信してもよい。
【００５５】
これにより、ラベリング画像を受信した車両（図７及び８では車両１１２及び１１８）の車載装置は、音又は映像による警告（サーバ１１０から受信した警告情報であっても、車載装置で生成したものであってもよい）を提示し、受信したラベリング画像を運転支援に利用することができる。例えば、車両１１２に関しては、上記したように、車載装置１４０が歩行者１０４を検出することも、運転者が歩行者１０４を目視することもできないので、警告を提示することで、運転者に事前に注意を喚起することができる。運転者は、目視できる歩行者２００に注意が向きやすいので、警告の提示は有効である。また、車両１１２の車載装置１４０は、受信したラベリング画像を用いることにより、歩行者１０４が死角から出た後に撮像部１４２により撮像された動画像データから歩行者１０４を検出することが容易になる。歩行者１０４が死角から出た直後に撮像された極短時間の動画像データ（最短１フレーム）から、歩行者１０４を検出することが可能になり、車両１１２の車載装置１４０は直ちに運転支援（ブレーキの作動等）を実行することができる。
【００５６】
車両１１８に関しては、運転者が歩行者１０４を目視することは可能であり、車両１１８の撮像部により撮像されている可能性はあるが、歩行者１０４から比較的離れているので、運転者が意識していない可能性、車載装置により検出されておらず、運転支援の対象とされていない可能性がある。したがって、車両１１８に関しても、警告の提示、受信したラベリング画像の利用は、運転支援に有効である。サーバ１１０から、危険な歩行者の特徴量（位置座標、大きさ（伸長）、色等）が送信されれば、周辺車両にとってより効率的且つ速やかな運転支援が可能となる。
【００５７】
ステップ３２４において、制御部１２０は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ３００に戻る。終了の指示は、例えば、サーバ１１０が管理者等により操作されることにより成される。
【００５８】
以上により、サーバ１１０は、カメラ装置１０２から受信したカメラ映像（動画像データ）を解析して検出した危険な歩行者により影響を受ける周辺車両に、運転支援情報（ラベリング画像、危険な歩行者の特徴量等）を提供することができる。したがって、各車両において、より有効な運転支援を実現することができる。特に、車載カメラの死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両は、車載カメラにより危険な歩行者を速やかに且つ容易に検出することが可能になる。
【００５９】
上記では、撮像装置により動画像データを取得して、これを解析して歩行者を検出する場合を説明したが、これに限定されない。解析により歩行者を検出し、その特徴量（位置及び移動方向）を算出できるデータを出力する検知装置であればよく、短い間隔で繰返し静止画像を撮像する装置、ミリ波レーダ、又はレーザレーダ等であってもよい。
【００６０】
上記では歩行者を検出対象としたが、これに限定されない。車両が衝突して損傷を与える可能性がある移動物体を検出対象とすることができ、自転車に乗った人、動物等であってもよい。
【００６１】
上記では、１台のカメラ装置１０２からデータを受信する場合を説明したが、これに限定されない。情報提供システム１００は、複数のセンサ（同種のセンサ、又は異種のセンサ）の情報を組合せて利用してもよい。
【００６２】
上記では、サーバ１１０が、信号機１１４から信号情報を受信する場合を説明したが、これに限定されない。サーバ１１０は信号情報を、例えば、信号機を管理・制御する交通管制センターの装置（コンピュータ等）から、ネットワーク１０８を介して取得してもよい。その場合には、信号機１１４は、例えば専用回線を介して交通管制センターに現在の信号情報を送信すればよい。
【００６３】
上記のように、画像中の危険な歩行者の領域に所定の識別情報を付加したラベリング画像を作成して、周辺車両の車載装置に送信することにより、車載カメラ等による歩行者の検出が容易になり、検出速度が向上する。
【００６４】
上記のように、歩行者を検出するためのセンサとして撮像装置を用いることにより、歩行者の検出が容易になり、検出精度が向上する。
【００６５】
カメラ装置１０２により撮像された動画像データから歩行者を検出する場合、図９に示すような、グリッドで構成された地図情報（以下、グリッド地図という）を使用することが効率的である。グリッド地図は、センサにより検出された対象物体を関連付けるための部分地図である。図９は、図８の監視領域２１２に対してグリッド２４０を適用した状態を示す。ここでは、グリッド地図はグリッド２４０により構成されるが、図７との対応が容易にわかるように、検出対象物（歩行者１０４）以外のもの（歩道端部及び横断歩道）を破線で示している。グリッド地図は、グリッド２４０により複数のセルに分割される。各セルは、例えば、１辺約３０センチメートルの正方形である。各セルは、縦横の位置をあらわすアルファベットａ〜ｊ及びＡ〜Ｊの組合せ（例えば「Ａａ」）により特定される。
【００６６】
各セルは地図情報と対応させることができる。例えば、各セルの代表点（例えば、各セルの中心点）に、地図情報の位置座標を対応させることができる。予めそのように対応付けておけば、サーバ１１０は、カメラ装置１０２から受信した動画像データを解析して検出した歩行者の位置座標から、その歩行者の特徴量をグリッド地図の１つ又は複数のセルに関連付けることができる。例えば、検出された歩行者の位置とセルの中心点との距離が、所定値（例えばセルの１辺の長さ）以下であるセル（１つ又は複数）を求め、そのセルに、検出された歩行者の特徴量を関連付ける。図９では、検出された歩行者１０４の特徴量は、斜線で示す２つのセル「Ｄｂ」及び「Ｅｂ」に関連付けられる。
【００６７】
また、監視領域２１２よりも広い範囲（例えば、交差点及びその周辺道路を含む範囲）のグリッド地図を採用すれば、グリッド地図を用いて、危険な歩行者及び周辺車両の進路予測を行なうことができる。これにより、図８に示したような直線で表される予測進路の代わりに、所定の広がりのある予測進路を得ることができる。例えば、予測進路を連続するセルにより表すことができる。その場合、危険な歩行者の予測進路と車両の予測進路とに同じセルが含まれていれば、その車両を、危険な歩行者の影響が及ぶ周辺車両と特定することができる。これにより、影響が及ぶ周辺車両を容易に特定することができる。
【００６８】
サーバ１１０がメモリ１２２に記憶している、交差点付近のグリッド地図と同じグリッド地図を、各車両の車載装置が記憶していれば、サーバ１１０は、歩行者１０４の特徴量と、それに関連付けられたセルを特定する情報（図９の場合、「Ｄｂ」及び「Ｅｂ」）とを、各車両の車載装置に運転支援情報として送信することができる。これにより、サーバ１１０から送信するデータ量が少なくて済み、車載装置では、危険な歩行者の位置をセル単位で特定することができる。
【００６９】
なお、グリッドにより画定されるセルの形状は正方形に限定されない。所定の範囲を隙間なく埋めることができる任意の多角形（長方形、三角形等）のセルであってもよい。また、セルの大きさは、上記の値に限定されず任意であり、検出対象が歩行者であることを考慮して設定されていればよい。
【００７０】
上記では、インフラセンサ（カメラ装置１０２）が基地局１０６を介して、例えば遠隔のサーバ１１０にセンサ情報（動画像データ）をアップロードする場合を説明したが、これに限定されない。サーバは、インフラセンサの近くに設置されていてもよい。また、サーバに限らず、インフラセンサの近くに設置されている装置が、サーバ１１０の機能を実行してもよい。その場合、インフラセンサからその装置へのセンサ情報の送信は、基地局１０６を介した移動通信ではなく、ＬＡＮ（ＷｉＦｉ等）により行なわれてもよい。
【００７１】
また、車載装置が、サーバ１１０の機能を実行してもよい。その場合、インフラセンサからのセンサ情報は、基地局１０６を介して車載装置に送信され、車載装置が上記した解析処理及び予測処理を実行する。インフラセンサから車載装置へのデータ送信は、例えば、ブロードキャストにより、又は、車載装置がインフラセンサに送信を要求することにより、行なうことができる。車載装置は、危険な歩行者を検出すると、その影響を自車両が受けるか否かを判定すればよく、他車両が影響を受けるか否かを判定する必要はない。なお、車載装置が、他車両の車両情報を受信する場合には、車載装置は、サーバ１１０と同様に、危険な歩行者の影響を受ける周辺車両を特定し、特定された車両の車載装置に、運転支援情報（ラベリング画像、危険な歩行者の特徴量等）を提供してもよい。
【００７２】
上記では、１台の装置（サーバ１１０）により解析処理、予測処理及び車両を特定する処理が実行され、情報（運転支援情報）が提供される場合を説明したが、これに限定されない。これらの機能は、複数の装置により、各機能がパラレル又はシーケンシャルに分担されて実行されてもよい。複数の装置により上記の処理を実行する場合、どのように処理を分担するかは任意である。
【００７３】
（変形例）
上記では、サーバ１１０が解析処理及び予測処理を実行する場合を説明したが、これに限定されない。カメラ装置１０２がそれらの処理の全て、又は一部を実行してもよい。カメラ装置１０２が解析処理及び予測処理を実行する場合には、カメラ装置１０２の制御部１６８が、図７のステップ３１０及び３１２を除いた全ての処理を実行すればよい。
【００７４】
また、カメラ装置１０２は、図１０に示したように、解析処理及び予測処理の一部を実行することができる。図１０に示した処理は、カメラ装置１０２の制御部１６８が、所定のプログラムをメモリ１６６から読出して実行することにより実現される。なお、カメラ装置１０２のメモリ１６６には、撮像部１６０により撮像される範囲の地図情報が予め記憶されているとする。図１０のフローチャートは、図７のフローチャートにおいて、ステップ３００〜３１２をステップ４００で代替し、ステップ３２０及び３２２をステップ４０２で代替したものである。主体は、サーバ１１０の制御部１２０からカメラ装置１０２の制御部１６８に代替されるが、図１０において、図７と同じ番号が付与されたステップの処理は、図７と同じである。したがって、異なる点を主として説明することとし、重複説明を繰返さない。
【００７５】
ステップ４００において、制御部１６８は、解析処理を開始するか否かを判定する。開始すると判定された場合、制御はステップ３１４に移行する。そうでなければ、制御はステップ３２４に移行する。例えば、制御部１６８は、撮像部１６０により撮像された所定時間分の動画像データがメモリ１６６に記憶されたとき、又は、所定時間が経過したときに、解析処理を開始すると判定することができる。
【００７６】
制御部１６８は、ステップ３１４において、メモリ１６６から動画像データを読出して解析処理（歩行者の検出及び特徴量の算出）を実行し、解析結果をメモリ１６６に記憶し、ステップ３１６において、解析結果をメモリ１６６から読出して、検出された各歩行者が危険な歩行者であるか否かを判定する。その後、制御部１６８は、ステップ３１８において、危険な歩行者に関してラベリング処理を行なってラベリング画像を生成し、メモリ１６６に記憶する。
【００７７】
ステップ４０２において、制御部１６８は、危険な歩行者と判定された歩行者の情報（特徴量）とラベリング画像とをメモリ１６６から読出し、サーバ１１０に送信する。その後、制御部１６８は、ステップ３２４において、終了の指示を受けたか否かを判定し、終了の指示を受けたと判定された場合、本プログラムを終了する。そうでなければ、制御はステップ４００に戻る。終了の指示は、例えば、カメラ装置１０２が管理者等により操作されることにより成される。
【００７８】
サーバ１１０は、カメラ装置１０２から危険な歩行者と判定された歩行者の情報（特徴量）とラベリング画像とを受信すると、図７のステップ３２０及びステップ３２２を実行する。これにより、サーバ１１０は、危険な歩行者により影響を受ける周辺車両に、運転支援情報（ラベリング画像、危険な歩行者の特徴量等）を送信することができる。したがって、各車両において、より有効な運転支援を実現することができる。特に、車載カメラの死角にいる歩行者をも検出して周辺車両に警告することができ、周辺車両は、車載カメラにより、危険な歩行者を速やかに且つ容易に検出することが可能になる。
【００７９】
以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００８０】
１００    情報提供システム
１０２    カメラ装置
１０４、２００    歩行者
１０６    基地局
１０８    ネットワーク
１１０    サーバ
１１２、１１６、１１８    車両
１１４    信号機
１２０、１５０、１６８    制御部
１２２、１４８、１６６    メモリ
１２４、１４６、１６４    通信部
１２６、１５２、１７０    バス
１４０    車載装置
１４２、１６０    撮像部
１４４、１６２    Ｉ／Ｆ部
１８０    パケット受信部
１８２    パケット送信部
１８４    解析処理部
１８６    予測処理部
１８８    車両特定部
２０２、２０４    歩行者用信号機
２０６、２０８    車両用信号機
２１０    検出不可能領域
２１２    監視領域
２２０    支援領域
２２２、２２４、２２６、２２８    予測進路線
２３０、２３２    交点
２４０    グリッド
【図１】
2019215785.tif 000003
【図２】
2019215785.tif 000004
【図３】
2019215785.tif 000005
【図４】
2019215785.tif 000006
【図５】
2019215785.tif 000007
【図６】
2019215785.tif 000008
【図７】
2019215785.tif 000009
【図８】
2019215785.tif 000010
【図９】
2019215785.tif 000011
【図１０】
2019215785.tif 000012