(57)【要約】【課題】自車周囲の交通状況を的確に把握可能な車両の俯瞰映像生成システム及びその方法を提供する。【解決手段】本発明の俯瞰映像生成システムは、自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、広域俯瞰映像を表示する表示装置と、を備え、俯瞰映像生成装置は、車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像信号を取得し、取得された他車の撮影映像信号をイメージ合成して自車及び周囲車両を含む広域俯瞰映像を生成し、生成された自車及び周囲車両を含む広域俯瞰映像を表示装置に表示する。【選択図】図１
2020065141.tif 000002
【特許請求の範囲】
【請求項１】
自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、
前記広域俯瞰映像を表示する表示装置と、を備え、
前記俯瞰映像生成装置は、
車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像信号を取得し、
前記取得された他車の撮影映像信号をイメージ合成して自車及び周囲車両を含む広域俯瞰映像を生成し、
前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする車両の俯瞰映像生成システム。
【請求項２】
前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された他車の撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
【請求項３】
前記俯瞰映像生成装置は、
自車の撮影映像信号及び前記取得された他車の撮影映像信号から車両及び運転に関連する情報を抽出し、
前記抽出された車両及び運転に関連する情報に基づいて、周囲車両の動き予測に関する情報を前記広域俯瞰映像に重畳して表示することを特徴とする請求項１又は２に記載の車両の俯瞰映像生成システム。
【請求項４】
前記俯瞰映像生成装置は、
自車及び前記Ｖ２Ｘを利用した他車のナビゲーション情報を含む情報信号、及び通信手段を介したクラウド上の情報信号の中の１つ以上を取得する情報信号受信部を更に備え、
前記取得された情報信号を処理して前記広域俯瞰映像に重畳して表示することを特徴とする請求項１乃至３のいずれか一項に記載の車両の俯瞰映像生成システム。
【請求項５】
前記俯瞰映像生成装置は、
前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、
前記広域俯瞰映像上に前記他車の動き予測の表示を行うことを特徴とする請求項４に記載の車両の俯瞰映像生成システム。
【請求項６】
前記俯瞰映像生成装置は、
前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、
予測から外れた他車情報を挙動が不自然な車両として前記広域俯瞰映像上に表示することを特徴とする請求項４に記載の車両の俯瞰映像生成システム。
【請求項７】
前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像として異なる地点又は異なる視点位置の俯瞰映を生成することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
【請求項８】
前記俯瞰映像生成装置は、前記広域俯瞰映像の他車映像を、該他車の映像に関連して付与された車両の位置情報に基づいて取捨選択して表示することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
【請求項９】
前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像の映像範囲の移動、拡大、縮小表示を行うことを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
【請求項１０】
前記俯瞰映像生成装置は、インフラに設置されたカメラからの映像信号によって他車の撮影映像信号を取得することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
【請求項１１】
前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、前記Ｖ２Ｘを利用して他車に提供されることを特徴とする請求項２に記載の車両の俯瞰映像生成システム。
【請求項１２】
前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、通信手段を介して接続された外部の電子装置に提供されることを特徴とする請求項２に記載の車両の俯瞰映像生成システム。
【請求項１３】
自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、
前記広域俯瞰映像を表示する表示装置と、を備え、
前記俯瞰映像生成装置は、
車両とモノとの通信通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得し、
前記取得された道路撮影映像信号をイメージ処理して自車及び周囲車両を含む広域俯瞰映像を生成し、前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする車両の俯瞰映像生成システム。
【請求項１４】
前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された道路撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成することを特徴とする請求項１３に記載の車両の俯瞰映像生成システム。
【請求項１５】
俯瞰映像生成装置及び表示装置を備える車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、
車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像を取得する段階と、
自車の撮影映像信号と前記取得された他車の撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、
前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を有することを特徴とする車両の俯瞰映像生成方法。
【請求項１６】
俯瞰映像生成装置及び表示装置を備えた車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、
車両とモノとの通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得する段階と、
自車の撮影映像信号と前記取得された道路撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、
前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を有することを特徴とする車両の俯瞰映像の生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の俯瞰映像生成システム及びその方法に係り、より詳しくは、視点変換を用いて、高い位置、前方、後方、側方位置等の任意の視点からの俯瞰映像を生成する車両の俯瞰映像生成システム及びその方法に関する。
【背景技術】
【０００２】
従来、この種の技術としては、例えば以下に示す文献に記載されたものが知られている。特許文献１には、自車に設置された前後左右の複数のカメラで撮影して得られた映像を合成し、自車上空の視点から見た俯瞰映像に変換し、例えば一部又は全部を含む自車の前後左右の周囲状況が一目でわかるトップビューの映像としてこれをディスプレイに表示し、駐車支援を行なうことが示されている。
【０００３】
また、特許文献２には、前後左右のカメラ及び屋根に設置された広角のカメラで撮像した映像を１つの画像に合成して運転支援を行なうことが示されている。遠景カメラ映像、左カメラ映像、前カメラ映像、及び右カメラ映像を合成してディスプレイに表示することで、例えば狭い道を前進走行する場合に、自車前方の障害物を含めて車両の左右が確認しやすいとしている。
【０００４】
しかし、いずれも自車周辺の限定された領域のみを表示するものであって、限定された領域外の周辺状況を表示することができないため、自車の比較的近い領域に存在しているにも拘わらず、自車に接近する車両や、障害物、路面状況等の周辺環境と自車との関係を含む自車周囲の交通状況を的確に運転者に知らせることができなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１３３０９８号公報
【特許文献２】特開２０１０−１６６１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、自車周囲の交通状況を的確に把握可能な車両の俯瞰映像生成システム及びその方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためになされた本発明の一態様による車両の俯瞰映像生成システムは、自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、前記広域俯瞰映像を表示する表示装置と、を備え、前記俯瞰映像生成装置は、車両とモノとの通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ  ｔｏ  Ｅｖｅｒｙｔｈｉｎｇ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像信号を取得し、前記取得された他車の撮影映像信号をイメージ合成して自車及び周囲車両を含む広域俯瞰映像を生成し、前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする。
【０００８】
前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された他車の撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成し得る。
前記俯瞰映像生成装置は、自車の撮影映像信号及び前記取得された他車の撮影映像信号から車両及び運転に関連する情報を抽出し、前記抽出された車両及び運転に関連する情報に基づいて、周囲車両の動き予測に関する情報を前記広域俯瞰映像に重畳して表示し得る。
前記俯瞰映像生成装置は、自車及び前記Ｖ２Ｘを利用した他車のナビゲーション情報を含む情報信号、及び通信手段を介したクラウド上の情報信号の中の１つ以上を取得する情報信号受信部を更に備え、前記取得された情報信号を処理して前記広域俯瞰映像に重畳して表示し得る。
前記俯瞰映像生成装置は、前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、前記広域俯瞰映像上に前記他車の動き予測の表示を行い得る。
前記俯瞰映像生成装置は、前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、予測から外れた他車情報を挙動が不自然な車両として前記広域俯瞰映像上に表示し得る。
前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像として異なる地点又は異なる視点位置の俯瞰映像を生成し得る。
前記俯瞰映像生成装置は、前記広域俯瞰映像の他車の映像を、該他車の映像に関連して付与された車両の位置情報に基づいて取捨選択して表示し得る。
前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像の映像範囲の移動、拡大、縮小表示を行い得る。
前記俯瞰映像生成装置は、インフラに設置されたカメラからの映像信号によって他車の撮影映像信号を取得し得る。
前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、前記Ｖ２Ｘを利用して他車に提供され得る。
前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、通信手段を介して接続された外部の電子装置に提供され得る。
【０００９】
上記目的を達成するためになされた本発明の他の態様による車両の俯瞰映像生成システムは、自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、前記広域俯瞰映像を表示する表示装置と、を備え、前記俯瞰映像生成装置は、車両とモノとの通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得し、前記取得された道路撮影映像信号をイメージ処理して自車及び周囲車両を含む広域俯瞰映像を生成し、前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする。
【００１０】
前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された道路撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成し得る。
【００１１】
上記目的を達成するためになされた本発明の一態様による車両の俯瞰映像生成方法は、俯瞰映像生成装置及び表示装置を備える車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像を取得する段階と、自車の撮影映像信号と前記取得された他車の撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を有することを特徴とする。
【００１２】
上記目的を達成するためになされた本発明の他の態様による車両の俯瞰映像生成方法は、俯瞰映像生成装置及び表示装置を備えた車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、車両とモノとの通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得する段階と、自車の撮影映像信号と前記取得された道路撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明の車両の俯瞰映像生成システムによれば、自車及び他車に搭載されたカメラの撮影映像信号を基に車両の走行状況が把握可能な広域俯瞰映像を生成することから、自車の周囲の交通状況が正確に把握でき、例えば車線変更や右折左折などを容易に行なうことができ、特に車線数が多い幹線道路及び混雑した道路、複合交差路、高速道路などで有効であり、事故防止につながる。
【００１４】
また、自車の表示装置で自車周辺の俯瞰映像をモニターしながら、スマートフォン等で自車周辺以外の映像、例えば自車の更に前方の映像を同時にモニタリングすることができ、究極的には自車を走行させなくても目的地までの道路状況を経路に沿って俯瞰映像としてモニタリングすることができる。また、具体的な目的地が無くてもスマートフォンなどのスクロール機能などを用いて俯瞰映像を移動させながらモニタリングするというアプリケーションとしての利用も可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成システムとその処理の流れを示す全体構成図である。
【図２】従来のＡＶＭ映像を生成するために自車に設置されたカメラ位置とその撮影映像を示す図である。
【図３】本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成のフローチャートである。
【図４】本発明の一実施形態による道路に設置された交通監視カメラを利用した俯瞰映像生成のフローチャートである。
【図５】本発明の一実施形態による俯瞰映像の例である。
【図６】本発明の一実施形態による道路脇の交通監視カメラと車両との通信状況を示す図である。
【図７】本発明の一実施形態による車両間の通信状況を示す図である。
【図８】本発明の一実施形態による特徴点（量）抽出によるイメージ合成の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の車両の俯瞰映像生成システム及びその方法を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００１７】
Ｖ２Ｘ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｅｖｅｒｙｔｈｉｎｇ：車両とモノとの通信）は、Ｖ２Ｎ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｎｅｔｗｏｒｋ：コネクテッドカー）、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ：車々間通信）、Ｖ２Ｉ（Ｖｅｈｉｃｌｅ  ｔｏ  ｒｏａｄｓｉｄｅ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ：路車間通信）、Ｖ２Ｐ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｐｅｄｅｓｔｒｉａｎ：車両とスマートフォン等との通信）の全てを総称し、第５世代（５Ｇ）移動無線通信方式によるギガビット通信技術の進行や自動運転車の技術開発に伴い、自動車等の車両用の無線通信技術として、車々間のみならず、道路に設置された機器や歩行者が保有するスマートフォンなどと通信するＶ２Ｘの研究が進められている。
【００１８】
図１は、本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成システムとその処理の流れを示す全体構成図であり、図２は、従来のＡＶＭ（Ａｒｏｕｎｄ  ｖｉｅｗ  ｍｏｎｉｔｏｒ）映像を生成するために自車に設置されたカメラ位置とその撮影映像を示す図である。
【００１９】
図１を参照すると、俯瞰映像生成システムは、自車１０、自車の周辺に存在する複数の他車２０、俯瞰映像生成装置３０、及び表示装置５０で構成される。
【００２０】
自車１０は、俯瞰映像生成システムを構成するために必要な、例えば車両の前後左右に複数のカメラを備え、自車１０及び他車２０を含む周囲の撮影映像を取得し、取得された撮影映像を俯瞰映像生成部３０に提供する。
【００２１】
他車２０は、自車１０の周辺に存在する複数からなる自車１０以外の車両であり、予め俯瞰映像生成システムに接続されるように構成された他車２０は、Ｖ２Ｘを利用して俯瞰映像生成装置３０と通信し、俯瞰映像生成装置３０からの要請に基づいて、自車１０と同様に、俯瞰映像生成システムを構成するために必要な、例えば車両の前後左右に備えられた複数のカメラから、他車２０自身を含む周囲の撮影映像を取得し、取得された撮影映像を俯瞰映像生成装置３０に提供する。
【００２２】
自車１０又は他車２０の車両に備えられたカメラとしては、例えば図２に示すような駐停車支援のためのＡＶＭ（Ａｒｏｕｎｄ  ｖｉｅｗ  ｍｏｎｉｔｏｒ）用のカメラで撮影された映像が利用される。車両に備えられたカメラとしては、図２のＡＶＭ用カメラに限定されるものではなく、車間距離の維持や自動ブレーキ用に設けられたカメラ、ドライブレコーダーのカメラ等、車両に備えられたカメラであれば全て利用可能である。
【００２３】
俯瞰映像生成装置３０は、特徴点（量）抽出部３２、一致点判定部３４、映像合成部３６、俯瞰映像生成部３８、情報信号受信部４２、情報信号処理部４４、重畳情報生成部４６、表示映像生成部４８を含む。俯瞰映像生成装置３０は、自車１０のカーナビゲーション装置等に組み込まれて備えられるか、或いは自車１０に備えられた無線通信手段を介して接続されるクラウド上のサーバー（図示せず）内に設けられたＰＣ（パーソナルコンピュータ）やワークステーション等のハードウエア及びソフトウエアで構成される。
【００２４】
特徴点（量）抽出部３２は、図８を参照して後述する特徴量抽出方法を用いて対応点探索を行って特徴点（量）を抽出する。
【００２５】
一致点判定部３４は、図８を参照して後述する対応点探索により抽出された対応点を利用して映像信号間の一致点を判定する。
【００２６】
映像合成部３６は、一致点判定部３４の結果を利用して映像信号の合成を行う。
【００２７】
俯瞰映像生成部３８は、映像合成処理後の映像の視点変換を行って俯瞰映像を生成する。また、ユーザ操作に従って、俯瞰映像の位置情報の変更、視点位置の変更、拡大縮小などの処理を行う。俯瞰映像として表示される車両は、車両から取得された撮影映像に関連する情報として付与されたその車両のＧＰＳ等の位置情報に基づいて、要求される範囲で取捨選択される。
【００２８】
情報信号受信部４２は、自車及び他車に搭載されたカーナビゲーション装置等から、車両に関する外形等の車両関連情報と共に、ＧＳＰ等による位置情報、車速、操舵角情報、ナビゲーション情報、アクセル、ブレーキ、方向指示器などの運転関連情報の信号を受信する。
【００２９】
情報信号処理部４４は、情報信号受信部４２で得られた情報信号を統合して自車の走行の補助となる情報に変換処理する。
【００３０】
重畳情報生成部４６は、情報信号処理部４４で処理された情報を、俯瞰映像上に分かり易く表示するための重畳情報を生成する。また、ユーザ操作に従って、俯瞰映像に重畳される情報を変更する。
【００３１】
表示映像生成部４８は、俯瞰映像生成部３８で生成された映像と重畳情報生成部４６で生成された重畳情報を表示映像として表示する信号に変換し、表示装置５０に表示映像を提供する。
【００３２】
表示装置５０は、自車１０に備えられたカーナビゲーション装置、ドライブレコーダー、バックミラーに内蔵された表示装置、或いはカーナビゲーション装置等に備わる近接無線通信やクラウド上のサーバーを介して無線通信手段により接続されるスマートフォン等の無線通信手段を有する電子装置に備えられた表示装置である。俯瞰映像生成装置３０をクラウド上に備える場合は、外出先のスマートフォンのみならず、自宅やオフィスのＰＣにより、目的とする車両の俯瞰映像の場所及びその範囲等の位置情報の変更、視点位置の変更、拡大縮小表示も可能になる。
【００３３】
図示していないが、俯瞰映像生成システムには、タッチパネルや音声認識装置等による入力手段、各構成要素を制御する制御手段、フラッシュメモリやＳＳＤ等の記憶手段、近距離無線通信や携帯電話通信網、インターネット等による外部との有線無線通信手段、各種センサーを含む車内機器との接続手段等が含まれる。
【００３４】
図３は、本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成のフローチャートである。
【００３５】
道路を走行中の複数の車両（自車１０、他車２０）は、各々の車両に搭載された車載カメラ、例えばＡＶＭ用のカメラを用いて自身を含む前後左右の周囲をそれぞれ撮影してカメラ映像信号を取得し（ステップＳ３０１）、撮影された前後左右の周囲のカメラ映像信号からＡＶＭ映像信号を生成する（ステップＳ３０２）。
【００３６】
自車１０は、Ｖ２Ｘを利用して周囲を走行中の複数の車両（他車２０）と通信し、各々の車両（他車２０）からＡＶＭ映像信号を受信して自車１０に取り込む。或いは、生成されたＡＶＭ映像信号に代えて、カメラで撮影された前後左右の周囲の撮影映像信号をそのまま受信して自車１０の俯瞰映像生成装置３０に取り込む（ステップＳ３０３）。
【００３７】
自車１０に取り込まれた複数の車両（他車２０）の撮影映像信号は、俯瞰映像生成装置３０の特徴点（量）抽出部３２、一致点判定部３４、映像合成部３６、俯瞰映像生成部３８、及び表示映像生成部４８によって、視点変換及びイメージ合成されて自車の上空又は自車を含む更に後方から見た広域俯瞰映像を生成する（ステップＳ３０４）。生成された広域俯瞰映像は、自車のナビケーション装置、近距離無線接続されたスマートフォン、インターネット接続されたクラウド上のＰＣ等の表示装置に提供される。
【００３８】
俯瞰映像生成装置３０は、カメラの撮影映像信号以外に、自車及び他車に搭載されたカーナビゲーション装置等から、車両に関する情報、撮影映像に関連付けられたＧＳＰ等による位置情報、車速、操舵角情報、ナビゲーション情報、アクセル、ブレーキ、方向指示器などの運転関連情報の信号を情報信号受信部４２で受信し、情報信号処理部４４、重畳情報生成部４６、及び表示映像生成部４８によって、広域俯瞰映像に重畳して表示する。広域俯瞰映像に重畳される情報のうち、ユーザ操作によって必要な情報が取捨選択される。
【００３９】
俯瞰映像生成装置３０に取り込まれる情報は、自車１０及び他車２０のカメラ撮影映像信号、自車１０及び他車２０のナビゲーション情報等の車両からの情報以外に、他の通信手段を介したクラウド上の情報信号、インフラストラクチャー（以下、単に「インフラ」と称す）情報信号として、屋外に設置された監視カメラの映像信号、以下に説明する道路に設置された交通監視カメラの道路撮影映像信号等を含む。
【００４０】
図４は、本発明の一実施形態による道路に設置された交通監視カメラを利用した俯瞰映像生成のフローチャートである。
【００４１】
本実施形態では、インフラ情報信号として、道路上空に設置された交通監視カメラを想定する。図３で説明した内容と重複する説明は、簡略に説明するか又は省略する。道路上空に設置された交通監視カメラは、道路上の走行車両を撮影してカメラ映像信号を取得する（ステップＳ４０１）。
【００４２】
自車１０は、Ｖ２Ｘを利用して道路上空に設置された交通監視カメラと通信し、交通監視カメラで撮影された走行車両の監視映像信号を受信して必要な範囲の撮影映像を自車１０の俯瞰映像生成装置３０に取り込む（ステップＳ４０２）。
【００４３】
自車１０に取り込まれた交通監視カメラの監視映像信号は、俯瞰映像生成装置３０の特徴点（量）抽出部３２、一致点判定部３４、映像合成部３６、俯瞰映像生成部３８、及び表示映像生成部４８によって、視点変換及びイメージ処理されて自車の上空又は自車を含む更に後方から見た広域俯瞰映像を生成する（ステップＳ４０３）。生成された広域俯瞰映像は、自車のナビケーション装置、近距離無線接続されたスマートフォン、インターネット接続されたクラウド上のＰＣ等の表示装置に提供される。
【００４４】
俯瞰映像生成装置３０に取り込まれる情報は、自車１０及び交通監視カメラの監視映像信号、自車１０のナビゲーション情報等の車両からの情報以外に、他の通信手段を介したクラウド上の情報信号、屋外に設置された監視カメラの映像信号等の他のインフラ情報信号を含む。
【００４５】
図５は、本発明の一実施形態による俯瞰映像の例である。
【００４６】
図５は、カーナビゲーション装置等のフロントディスプレイ装置を用いて自社のコンソールに自車１０を含む広域俯瞰映像を表示した例であり、右側上図及び右側下図に拡大表示した例を示す。自車１０に搭乗しているユーザは、視点変換を用いて高い位置、後方位置からの俯瞰映像を見ることで、他車２０の動きを把握することが容易になる。また、各車両のカメラの撮影情報及び運転関連情報或いはインフラからの情報によって周囲車両の移動ベクトルを検出して後方を含む周囲車両の移動状況を把握することができ、更に前方の道路状況を事前に把握することもできる。
【００４７】
例えば、自車１０の後方１０ｍからの自車１０を含む前方映像を表示することで、自車１０を含む周辺の全体状況を俯瞰的に確認可能になり、後方車両の接近状況を含む周囲状況も確認可能になる。俯瞰映像生成装置３０は、ユーザ操作に従って、速度が速いほど前方から遠くまで表示するなど、運転者の好みや車速に応じた俯瞰位置を調節する機能を有する。例えば、方向指示器と連動することで表示範囲を変更し、移動方向側の映像や後方映像を広く表示する。また、カーナビゲーション装置等の地図情報と連携することで道路のカーブ状況によって地面表示の角度調節等を行う。
【００４８】
広域俯瞰映像上には、俯瞰映像に関連する情報として各種属性情報が表示される。例えば、右側上図及び右側下図の俯瞰映像を参照すると、自車１０が他車２０との識別が可能なように枠で囲まれて表示される。自車１０を区別するための識別表示は、枠で囲むことに限定されるものではなく、例えば、ハイライト、フラッシュ、色変更、他のマーキング手段等が使用される。また、自車の撮影映像信号及び取得された他車の撮影映像信号から車両及び運転に関連する情報を抽出することで、広域俯瞰映像上には、周囲車両の動き予測に関する情報が表示される。例えば、取得された対象となる車両の方向指示器の映像から、右側上図には「合流」しようとする車両、「進路変更」しようとする車両がその方向と共に表示される。更に、Ｖ２Ｘを利用した他車のナビゲーション情報を含む情報信号や通信手段を介したクラウド上の情報信号を取得して多様な情報信号を処理することで、広域俯瞰映像上には、より詳細且つより正確な情報が表示される。例えば右側下図には「左折車線が停滞」しており、「左折」しようとする複数の車両が表示され、俯瞰映像生成装置３０は、自車１０の前方の車両の殆どが「左折」すると判断して「車線変更指示」を表示して右車線に変更させようとする。
【００４９】
従来は、直進したくても前方に左折車が多いか否かが分からなかったが、Ｖ２Ｘとカーナビゲーション装置とを連携させることで、俯瞰映像生成装置３０は、左折車が多いレーンを自車１０が走行している場合に、走行レーンを変更するように予め指示することが可能になる。
【００５０】
他車２０のナビゲーション情報などから車の車線変更などの運転関連情報を収集することで、このような車両の動きを推定して表示することが可能になる。また、道路の混雑等でバイク等の小型車両が大型車両によって隠れる場合には、隠れた部分の死角に過去の映像を合成して補完表示すると共に、隠れた死角であることを明示する。
【００５１】
広域俯瞰映像上に表示される上述した属性情報は、自車１０及び他車２０の撮影映像信号から撮影映像に関する情報、例えば車両間の空きスペースを抽出し、車両が隠れないように重畳して貼り付けられる。或いは、自車１０及び他車２０の車両に関する外形等の情報や位置情報、車速、ナビゲーション情報、ターンシグナルなどの運転関連情報に基づいて重畳スペースを抽出する。
【００５２】
スマートフォンと連携することで、自車１０のカーナビゲーション装置等の表示装置で自車周辺の俯瞰映像をモニターしながら、補助席や後部シートのユーザが映像を自由に変更して見ることができ、複数のユーザが多様な角度や多様な視点で運転状況をモニターすることができる。更に、スマートフォン等で自車周辺以外の映像、例えば自車よりも１００ｍ前方の映像や更に前方の映像を同時にモニタリングすることも可能であり、究極的には自車を走行させなくても目的地までの道路状況を経路に沿って俯瞰映像としてモニタリングすることもできる。また、具体的な目的地が無くてもスマートフォンなどのスクロール機能などを用いて俯瞰映像を移動させながらモニタリングするというアプリケーションとしての利用も可能になる。
【００５３】
本発明の車両の俯瞰映像生成システムを搭載していない車両に対しても、Ｖ２Ｘを利用して自車１０で利用している俯瞰映像を他車２０に提供することで、広く安全走行のための情報提示に貢献することができる。また、上述した俯瞰映像をクラウド上に保存することで、事故時の状況を把握することもでき、事故以外にも道路整備者が道路状況をモニタリングし、道路の補修点検作業にも応用することができる。更に、前方のナンバープレートを読み取り、ビッグデータ等のクラウド上の情報及び人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）を活用することで、ナンバープレート情報を基に過去の運転状況に関する情報から要注意車両を特定して表示すると共に、その情報を基に運転補助のナビゲーションを行うように構成することもできる。また、クラウド上のサーバーに俯瞰映像生成装置３０を設置する場合は、道路上空や道路脇等のインフラに設置された交通情報表示用の大型ディスプレイ上に、交通渋滞情報と共に交通関連情報が重畳された俯瞰映像を表示することもできる。
【００５４】
図６は、本発明の道路脇の交通監視カメラと車両との通信状況を示す図であり、図７は、本発明の一実施形態による車両間の通信状況を示す図である。
【００５５】
図６及び図７を参照しながら自車１０位置及び他車２０位置を特定する方法について説明する。各車両はカーナビゲーション装置に備えられたＧＰＳ等を用いて位置情報を特定する。自車１０の位置情報は自車１０の道路上の位置を推定するために使用し、他車２０の位置情報はＶ２Ｘを利用して取得して他車２０の道路上の位置を推定するために使用する。ＧＰＳ情報を取得できない場合は、ジャイロセンサー、加速度センサー、ＬＩＤＡＲ（ＬＩｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ  ）等の車載センサーと、マップマッチング技術等を利用して位置情報を補完する。俯瞰映像生成装置３０は、自車１０及び他車２０のカーナビゲーション装置等から位置情報、予測進行方向を取得することで、カーナビゲーション装置等の表示装置に表示される俯瞰映像に重畳して、推定された予測移動方向を表示する。
【００５６】
図６に示すように、俯瞰映像生成装置３０は、自車１０及のカメラの撮影映像信号を受信して取得すると共に、Ｖ２Ｘ（Ｖ２Ｖ）を利用して他車２０と通信して他車２０のカメラの撮影映像信号を受信して取得するか、或いはＶ２Ｘ（Ｖ２Ｉ）を利用して道路に設置された交通監視カメラ等のインフラ設備と通信して道路撮影映像を取得する。この時、俯瞰映像生成装置３０は、同時に自車１０及び他車２０の車両に関する情報、位置情報、ナビゲーション情報等の運転関連情報を取得し、インフラ設備又は他の通信手段を介してクラウドから多地点のインフラ設備の情報を含む多様な交通関連情報信号を取得する。俯瞰映像生成装置３０は、複数の他車２０の撮影映像をイメージ合成及び視点変換を行って広域俯瞰映像を生成するか、或いはＶ２Ｘ（Ｖ２Ｉ）を利用してインフラ設備から取得された道路撮影映像をイメージ処理して視点変換された広域俯瞰映像を生成する。他車２０からの情報及びインフラ設備からの情報は、どちらか一方に限定されるものではなく、両者の情報を統合的に利用することもできる。
【００５７】
図５に示したような俯瞰映像に重畳する情報する情報について更に説明する。Ｖ２Ｘによる周辺車両からの車両関連情報やナビゲーション情報等の運転関連情報、Ｖ２Ｘによるインフラ設備からの情報、クラウド上に保存された過去の渋滞情報等を統合的にクラウド上にビッグデータとして蓄積し、ＡＩを利用してビッグデータを解析することで目的に合った情報を取得して俯瞰映像上に重畳して表示する。例えば、左折車、直進車、右折車等の車両進行情報を統合し、左折車、右折車の減速によって速度低下に巻き込まれないように直進車に対して早めに進路変更を指示することで、全体の通行車両の流れを円滑にする。
【００５８】
これらの応用例を更に挙げると、例えば、左折車が多いために左側走行レーンに停滞発生が予測される場合、左側レーンの車両に追い越し車線を通行するように早めに指示すると共に、スムーズに合流できるように周辺の車両にも指示する。例えば、道路に設置された交通情報表示板にも、直進車は現在の車線を走行するように指示する。例えば、各車両のナビゲーション情報及び現在迄の走行履歴を用いて、方向指示を出さない車両の走行経路を推定して早めに走行経路を指示する。例えば、予測から外れた車両を挙動が不自然な車両として表示する。例えば、左折する場合よりも直進及び右折して別の経路がより速く目的地まで着くと想定される場合、左折しない方がエコ運転になる場合など、運転者が選びやすいように経路情報を表示する。例えば、運転者の走行経路の選好度を学習し、停滞の状況でも進路の変更をしたくない場合や、新たな道路を開拓することが好きなユーザに対しては、その好みに合わせたナビゲーションを実行する。
【００５９】
図８は、本発明の一実施形態による特徴点（量）抽出によるイメージ合成の一例を示す図である。
【００６０】
俯瞰映像生成装置３０は、自車１０のカメラの撮影映像信号、Ｖ２Ｘを利用して取得された他車２０のカメラの撮影映像信号、Ｖ２Ｘを利用して取得された交通監視カメラ等のインフラ設備からの道路撮影映像信号を入力し、特徴点（量）抽出部３２で、各イメージ別に検出した特徴量に対応する局所特徴量によるイメージ間の対応点探索を行う。特徴点（量）抽出部３２で抽出された各特徴点に対して、一致点判定部３４で、イメージ間の移動量、射影変換（ホモグラフィ）推定等を用い、対応点を利用したイメージ間移動、変更量の推定を行って各イメージに対する一致点の判定を行う。映像合成部３６は、一致点判定部３４で求めた移動、変更量を利用して特徴点のマッチング処理を行い、各イメージの画素値をブレンド処理して自然なパノラマイメージになるように合成処理して合成映像を生成する。
【００６１】
特徴量、特徴点を抽出してイメージ認識やイメージ合成するアルゴリズムの詳細な説明は、公知の文献や資料を参照することで理解される。本明細書では、本発明の要旨を曖昧にする虞があるため、特徴量の抽出方法について以下に簡単に説明する。
【００６２】
特徴量としては、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ  ＫＡＺＥ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）などが、回転、拡大・縮小、照明変化等に強いロバストな特徴量として知られており、これらを利用してイメージ合成に使用するための特徴量抽出を行う。
【００６３】
例えば、ＳＩＦＴ（スケール不変の特徴変換）特徴量を使用する場合、ヘッセ行列及びコントラストを基にキーポイント（特徴点）を検出してキーポイントのオリエンテーションを算出し、周辺領域をオリエンテーション方向に回転させ、キーポイントを中心として、キーポイントを有するスケールをガウス窓内の円領域内で勾配情報を求める。例えば、周辺領域を１辺当たり４ブロックの合計１６ブロックに分割し、ブロック毎に８方向（４５度ずつ）の勾配方向ヒストグラムを作成し、ヒストグラム＝４ブロック×４ブロック×８方向＝１２８次元の特徴ベクトルを生成する。１２８次元の各特徴ベクトルの長さをベクトルの総和で正規化し、照明変化に強い特徴量を取得する。
【００６４】
異なるイメージ間で抽出されたキーポイントの特徴量を比較することでイメージ間の対応点の探索が可能になる。ＳＩＦＴ特徴量を使用する対応点の探索でイメージマッチングを行い、２イメージ間に抽出されたキーポイントの特徴量の距離計算で対応点を探索し、例えば１２８次元のＳＩＦＴ特徴量間のユークリッド距離を算出し、算出された距離の最も小さい点を対応点とする。
【００６５】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【００６６】
１０    自車
２０    他車
３０    俯瞰映像生成装置
３２    特徴点（量）抽出部
３４    一致点判定部
３６    映像合成部
３８    俯瞰映像生成部
４２    情報信号受信部
４４    情報信号処理部
４６    重畳情報生成部
４８    表示映像生成部
５０    表示装置
【図１】
2020065141.tif 000003
【図２】
2020065141.tif 000004
【図３】
2020065141.tif 000005
【図４】
2020065141.tif 000006
【図５】
2020065141.tif 000007
【図６】
2020065141.tif 000008
【図７】
2020065141.tif 000009
【図８】
2020065141.tif 000010