(57)【要約】  さらなる改善を実現するデータ生成装置（２００）は、回路（２０１）と、回路（２０１）に接続されたメモリ（２０２）とを備え、回路（２０１）は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し（Ｓ１）、その複数の移動体のそれぞれのセンシングデータを仮想空間上にマッピングすることによって合成データを生成し（Ｓ２）、その合成データの生成では、仮想空間上にマッピングされるセンシングデータの位置を、少なくともそのセンシングデータに対応する移動体の実空間上の位置に応じて決定する。
2020004593.tif 000002
【特許請求の範囲】
【請求項１】
回路と、
前記回路に接続されたメモリとを備え、
前記回路は、動作において、
複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、
前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、
前記合成データの生成では、
前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する、
データ生成装置。
【請求項２】
前記複数のセンサのそれぞれはカメラであり、
前記回路は、画像を前記センシングデータとして取得する、
請求項１に記載のデータ生成装置。
【請求項３】
前記回路は、前記センシングデータの位置の決定では、
前記センシングデータである画像から特徴点を抽出し、抽出された前記特徴点と、前記センシングデータに対応する前記移動体の実空間上の位置とに応じて、前記センシングデータの位置を決定する、
請求項２に記載のデータ生成装置。
【請求項４】
前記回路は、さらに、
前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の実空間上の位置を示す位置情報を取得し、
前記合成データの生成では、
前記複数の移動体のそれぞれの前記位置情報によって示される位置に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の位置を決定する、
請求項１〜３の何れか１項に記載のデータ生成装置。
【請求項５】
前記回路は、さらに、
前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の進行方向を示す方向情報を取得し、
前記合成データの生成では、
前記複数の移動体のそれぞれの前記方向情報によって示される進行方向に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の向きを決定する、
請求項１〜４の何れか１項に記載のデータ生成装置。
【請求項６】
前記回路は、前記センシングデータの取得では、
前記複数の移動体のそれぞれから周期的に前記センシングデータと、前記センシングデータが生成された時刻を示す時刻情報とを取得し、
前記合成データの生成では、
前記複数の移動体のそれぞれについて、当該移動体から周期的に取得される複数の前記センシングデータから、前記センシングデータに対応する前記時刻情報によって示される時刻が所定の期間内にある特定のセンシングデータを選択し、選択された前記特定のセンシングデータを前記仮想空間上にマッピングする、
請求項１〜５の何れか１項に記載のデータ生成装置。
【請求項７】
前記回路は、前記センシングデータの取得では、
予め定められた位置関係にある前記複数の移動体のそれぞれから前記センシングデータを取得する、
請求項１〜６の何れか１項に記載のデータ生成装置。
【請求項８】
前記複数の移動体のそれぞれは車両であり、
前記予め定められた位置関係では、前記複数の移動体が一列に並んで移動し、
前記回路は、前記合成データの生成では、
一列に並ぶ前記複数の移動体のそれぞれから取得された前記センシングデータであるトップビュー画像を、前記仮想空間である二次元空間上にマッピングすることによって、前記合成データである広域トップビュー画像を生成し、
前記トップビュー画像は、前記トップビュー画像に対応する移動体を含む周囲を当該移動体の上方から見た画像である、
請求項７に記載のデータ生成装置。
【請求項９】
前記回路は、
前記合成データによって示される画像をディスプレイに表示する、
請求項１〜８の何れか１項に記載のデータ生成装置。
【請求項１０】
複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、
前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、
前記合成データの生成では、
前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する、
データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、データ生成装置およびデータ生成方法に関する。
【背景技術】
【０００２】
従来、複数の撮影画像からトップビュー画像を生成するデータ生成装置（すなわち画像生成装置）が提案されている（例えば特許文献１参照）。このようなトップビュー画像は、車両を含む周囲をその車両の上から見た画像であって、例えば駐車時の支援に用いられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−８９５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようなデータ生成装置では、さらなる改善が求められている。【０００５】
そこで、本開示は、さらなる改善を実現できるデータ生成装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係るデータ生成装置は、回路と、前記回路に接続されたメモリとを備え、前記回路は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、前記合成データの生成では、前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する。【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示は、さらなる改善を実現できるデータ生成装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態におけるデータ生成装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態におけるデータ生成装置の詳細な機能構成を示すブロック図である。
【図３】図３は、実施の形態における３台の車両による隊列走行の一例を示す図である。
【図４】図４は、実施の形態における各車両のトップビュー画像から広域トップビュー画像が生成される一例を示す図である。
【図５Ａ】図５Ａは、実施の形態におけるデータ生成装置の全体的な処理動作を示すフローチャートである。
【図５Ｂ】図５Ｂは、実施の形態における広域合成部による合成位置決定処理を示すフローチャートである。
【図６Ａ】図６Ａは、実施の形態におけるデータ生成装置の実装例を示すブロック図である。
【図６Ｂ】図６Ｂは、実施の形態における、回路およびメモリを備えたデータ生成装置の処理動作を示すフローチャートである。
【図７】図７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。
【図８】図８は、スケーラブル符号化時の符号化構造の一例を示す図である。
【図９】図９は、スケーラブル符号化時の符号化構造の一例を示す図である。
【図１０】図１０は、ｗｅｂページの表示画面例を示す図である。
【図１１】図１１は、ｗｅｂページの表示画面例を示す図である。
【図１２】図１２は、スマートフォンの一例を示す図である。
【図１３】図１３は、スマートフォンの構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
本開示の一態様に係るデータ生成装置は、回路と、前記回路に接続されたメモリとを備え、前記回路は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得し、前記複数の移動体のそれぞれの前記センシングデータを仮想空間上にマッピングすることによって合成データを生成し、前記合成データの生成では、前記仮想空間上にマッピングされる前記センシングデータの位置を、少なくとも前記センシングデータに対応する移動体の実空間上の位置に応じて決定する。例えば、移動体は車両であり、センシングデータはトップビュー画像であり、合成データは広域トップビュー画像である。
【００１１】
これにより、１つの移動体の周囲の環境だけでなく、複数の移動体のそれぞれの周囲を含む環境がセンシングされ、そのセンシングされた環境を仮想空間上に示す合成データが生成されるため、より広い範囲の環境を適切に把握することができる。また、複数の移動体のそれぞれが移動すると、その移動体の移動後の実空間上の位置に応じて、その移動体のセンシングデータの仮想空間上での位置を変化させることができる。したがって、複数の移動体が移動しても、合成データをそれらの移動に追従させることができる。
【００１２】
また、前記複数のセンサのそれぞれはカメラであり、前記回路は、画像を前記センシングデータとして取得してもよい。
【００１３】
これにより、複数の移動体のそれぞれの周囲を含む環境を画像として示す合成データが生成されるため、その画像を見れば、広い範囲の環境を視覚的に容易に把握することができる。
【００１４】
また、前記回路は、前記センシングデータの位置の決定では、前記センシングデータである画像から特徴点を抽出し、抽出された前記特徴点と、前記センシングデータに対応する前記移動体の実空間上の位置とに応じて、前記センシングデータの位置を決定してもよい。
【００１５】
これにより、各移動体の位置だけでなく、画像の特徴点にも基づいてセンシングデータの位置が決定されるため、センシングデータをより正確にマッピングすることができる。
【００１６】
また、前記回路は、さらに、前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の実空間上の位置を示す位置情報を取得し、前記合成データの生成では、前記複数の移動体のそれぞれの前記位置情報によって示される位置に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の位置を決定してもよい。
【００１７】
これにより、複数の移動体のそれぞれから位置情報が取得されるため、それらの移動体の実空間上の位置を容易に特定することができ、センシングデータの位置の決定の処理負担を軽減することができる。
【００１８】
また、前記回路は、さらに、前記複数の移動体のそれぞれから、当該移動体の前記センシングデータが生成された時点における、当該移動体の進行方向を示す方向情報を取得し、前記合成データの生成では、前記複数の移動体のそれぞれの前記方向情報によって示される進行方向に基づいて、当該移動体から取得された前記センシングデータの前記仮想空間上の向きを決定してもよい。
【００１９】
これにより、移動体の方向情報に基づいて、その移動体のセンシングデータの仮想空間上の向きが決定されるため、そのセンシングデータを適切な向きに向けてマッピングすることができる。その結果、センシングデータをより正確にマッピングすることができる。
【００２０】
また、前記回路は、前記センシングデータの取得では、前記複数の移動体のそれぞれから周期的に前記センシングデータと、前記センシングデータが生成された時刻を示す時刻情報とを取得し、前記合成データの生成では、前記複数の移動体のそれぞれについて、当該移動体から周期的に取得される複数の前記センシングデータから、前記センシングデータに対応する前記時刻情報によって示される時刻が所定の期間内にある特定のセンシングデータを選択し、選択された前記特定のセンシングデータを前記仮想空間上にマッピングしてもよい。
【００２１】
これにより、仮想空間上にマッピングされる複数のセンシングデータは、所定の期間内に生成された特定のセンシングデータである。したがって、仮想空間上にマッピングされる複数のセンシングデータの同期を適切に図ることができる。
【００２２】
また、前記回路は、前記センシングデータの取得では、予め定められた位置関係にある前記複数の移動体のそれぞれから前記センシングデータを取得してもよい。
【００２３】
例えば、予め定められた位置関係では、複数の移動体は一列に並んで隊列走行している。このような場合に、合成データが生成されるため、その複数の移動体のうちの１つの移動体は、前方または後方にある他の移動体の周囲の環境を容易に把握することができる。
【００２４】
また、前記複数の移動体のそれぞれは車両であり、前記予め定められた位置関係では、前記複数の移動体が一列に並んで移動し、前記回路は、前記合成データの生成では、一列に並ぶ前記複数の移動体のそれぞれから取得された前記センシングデータであるトップビュー画像を、前記仮想空間である二次元空間上にマッピングすることによって、前記合成データである広域トップビュー画像を生成し、前記トップビュー画像は、前記トップビュー画像に対応する移動体を含む周囲を当該移動体の上方から見た画像であってもよい。
【００２５】
これにより、隊列走行している複数の車両を上方から見た画像である広域トップビュー画像が生成される。したがって、その隊列走行している複数の車両のうちの１つの車両は、前方または後方にある他の車両によって視界が遮られても、その広域トップビュー画像によって、それらの車両の周囲を含む環境を容易に把握することができる。その結果、隊列走行における運転の支援を適切に行うことができる。
【００２６】
また、前記回路は、前記合成データによって示される画像をディスプレイに表示してもよい。
【００２７】
これにより、例えば車両の運転手に合成データを見せることができ、その車両の運転の支援を適切に行うことができる。
【００２８】
以下、実施の形態について図面を参照しながら具体的に説明する。
【００２９】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３０】
（実施の形態１）
図１は、本実施の形態におけるデータ生成装置の機能構成を示すブロック図である。
【００３１】
車両１００は、第１センサ１０１、第２センサ１０２、第３センサ１０３および第４センサ１０４と、位置方向検出部１１０と、データ生成装置２００とを備える。
【００３２】
第１センサ１０１、第２センサ１０２、第３センサ１０３および第４センサ１０４のそれぞれは、例えばカメラとして構成されている。具体的には、第１センサ１０１は、車両１００の前方を撮影するカメラである。第２センサ１０２は、車両１００の左側を撮影するカメラである。第３センサ１０３は、車両１００の右側を撮影するカメラである。第４センサ１０４は、車両１００の後方を撮影するカメラである。
【００３３】
位置方向検出部１１０は、車両１００の現在の位置および進行方向を検出して、その検出された位置を示す位置情報と、その検出された進行方向を示す方向情報とをデータ生成装置２００に出力する。例えば、位置方向検出部１１０は、周期的に検出を行って、その検出結果である位置情報および方向情報をデータ生成装置２００に出力する。具体的には、位置方向検出部１１０は、ＧＮＳＳ（Global Navigation Satellite System）によって位置および進行方向を検出する。つまり、位置方向検出部１１０は、衛星から送信される信号を受信することによって、その位置および進行方向を検出する。
【００３４】
データ生成装置２００は、車両１００のトップビュー画像と、少なくとも１つの周辺車両のトップビュー画像とを合成することによって広域トップビュー画像を合成データとして生成する。このようなデータ生成装置２００は、取得部２１０と、合成部２２０と、表示部２３０と、出力部２４０とを備える。
【００３５】
取得部２１０は、少なくとも１つの周辺車両のそれぞれからトップビュー画像を取得する。この周辺車両から取得されるトップビュー画像は、その周辺車両を含む周囲をその周辺車両の上方から見た画像である。
【００３６】
合成部２２０は、第１センサ１０１、第２センサ１０２、第３センサ１０３および第４センサ１０４のそれぞれから、そのセンサによる撮影によって生成された撮影画像を取得する。そして、合成部２２０は、それらのセンサから取得された撮影画像を合成することによって、車両１００のトップビュー画像を生成する。このトップビュー画像は、車両１００を含む周囲をその車両１００の上方から見た画像である。
【００３７】
さらに、合成部２２０は、その車両１００のトップビュー画像と、取得部２１０によって取得された少なくとも１つのトップビュー画像とを合成することによって、広域トップビュー画像を生成する。合成部２２０は、その広域トップビュー画像を生成するときには、位置方向検出部１１０から出力される位置情報および方向情報を用いる。
【００３８】
表示部２３０は、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electro-Luminescence）ディスプレイなどからなり、合成部２２０によって生成された広域トップビュー画像を表示する。
【００３９】
出力部２４０は、合成部２２０によって生成された車両１００のトップビュー画像を少なくとも１つの周辺車両に送信する。
【００４０】
ここで、車両１００のデータ生成装置２００にトップビュー画像を送信する少なくとも１つの周辺車両は、車両１００のトップビュー画像を受信する少なくとも１つの周辺車両と同一であってもよく、異なっていてもよい。また、車両１００のデータ生成装置２００にトップビュー画像を送信する少なくとも１つの周辺車両のそれぞれは、車両１００と同様、複数のセンサを備え、それらのセンサのセンシング結果に基づいてその周辺車両のトップビュー画像を生成してもよい。
【００４１】
したがって、本実施の形態におけるデータ生成装置２００は、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得する。複数の移動体は、車両１００と少なくとも１つの周辺車両からなる。また、センシングデータはトップビュー画像である。そして、データ生成装置２００は、その複数の移動体のそれぞれのセンシングデータを仮想空間上にマッピングすることによって広域トップビュー画像である合成データを生成する。ここで、本実施の形態におけるデータ生成装置２００は、その合成データの生成では、仮想空間上にマッピングされるセンシングデータの位置を、少なくともそのセンシングデータに対応する移動体の実空間上の位置に応じて決定する。なお、移動体の実空間上の位置は、例えばＧＮＳＳなどによって検出される車両１００または周辺車両の位置である。
【００４２】
これにより、車両１００の周囲の環境だけでなく、複数の車両のそれぞれの周囲を含む環境がセンシングされ、そのセンシングされた環境を仮想空間上に示す合成データが生成されるため、より広い範囲の環境を適切に把握することができる。また、複数の車両のそれぞれが移動すると、その移動体の移動後の実空間上の位置に応じて、その車両のセンシングデータの仮想空間上での位置を変化させることができる。したがって、複数の車両が移動しても、合成データをそれらの移動に追従させることができる。
【００４３】
また、本実施の形態では、複数の車両のそれぞれに備えられる例えば第１センサ１０１、第２センサ１０２、第３センサ１０３および第４センサ１０４などの複数のセンサのそれぞれはカメラである。そして、本実施の形態におけるデータ生成装置２００は、画像をセンシングデータとして取得する。これにより、複数の車両のそれぞれの周囲を含む環境を画像として示す合成データが生成されるため、その画像（すなわち広域トップビュー画像）を見れば、広い範囲の環境を視覚的に容易に把握することができる。
【００４４】
また、本実施の形態では、合成データによって示される画像は表示部２３０に表示される。これにより、例えば車両１００の運転手に合成データを見せることができ、車両１００の運転の支援を適切に行うことができる。
【００４５】
図２は、データ生成装置２００の詳細な機能構成を示すブロック図である。
【００４６】
データ生成装置２００の取得部２１０は、第１通信部２１１、受信制御部２１２、データ受信部２１３、および第１フォーマット変換部２１４を備える。
【００４７】
受信制御部２１２は、第１通信部２１１、データ受信部２１３、および第１フォーマット変換部２１４を制御する。
【００４８】
第１通信部２１１は、受信制御部２１２による制御に基づいて、周辺車両との間で通信路を確立し、その周辺車両に対してデータ送信を要求する。なお、そのデータ送信が要求される周辺車両を、以下、要求先の周辺車両という。このとき、第１通信部２１１は、受信制御部２１２による制御に基づいて、その要求先の周辺車両との間で、それぞれで対応可能なデータフォーマットに関する情報を交換する。
【００４９】
データ受信部２１３は、第１通信部２１１によって確立された通信路を用いて、要求先の周辺車両から、その周辺車両のトップビュー画像を受信する。このトップビュー画像には、時刻情報、位置情報および方向情報を含む制御情報が付加されている。時刻情報は、その周辺車両のトップビュー画像が生成された時刻を示す。位置情報は、そのトップビュー画像が生成された時点におけるその周辺車両の位置を示し、方向情報は、そのトップビュー画像が生成された時点におけるその周辺車両の進行方向を示す。
【００５０】
第１フォーマット変換部２１４は、データ受信部２１３によって受信されたトップビュー画像のデータフォーマットを、予め定められたデータフォーマットに変換して合成部２２０に出力する。
【００５１】
ここで、周辺車両は、取得部２１０からのデータ送信の要求を受け付けると、上述のトップビュー画像を周期的に送信する。つまり、取得部２１０は、その周辺車両において生成された複数のトップビュー画像を含む画像信号を取得して、そのフォーマット変換された画像信号を合成部２２０に出力する。なお、このように取得される複数のトップビュー画像には、上述の制御情報が付加されている。
【００５２】
また、第１フォーマット変換部２１４は、その画像信号が符号化されている場合には、その符号化されている画像信号を復号してもよい。つまり、第１フォーマット変換部２１４は、復号装置、画像復号装置、または動画像復号装置として構成されていてもよい。例えば、第１フォーマット変換部２１４は、Ｈ．２６４またはＨＥＶＣ（High Efficiency Video Coding）などの動画像圧縮規格に基づいて符号化されている画像信号を、その規格に応じた復号方法、画像復号方法、または動画像復号方法にしたがって復号する。
【００５３】
データ生成装置２００の合成部２２０は、画像蓄積部２２１、広域合成部２２２、およびトップビュー画像生成部２２３を備える。
【００５４】
トップビュー画像生成部２２３は、第１センサ１０１、第２センサ１０２、第３センサ１０３および第４センサ１０４のそれぞれから、そのセンサによる撮影によって生成された撮影画像を取得する。そして、トップビュー画像生成部２２３は、それらのセンサから取得された撮影画像を合成することによって、車両１００のトップビュー画像を生成する。具体的には、トップビュー画像生成部２２３は、トップビュー画像を周期的に生成する。つまり、第１センサ１０１、第２センサ１０２、第３センサ１０３および第４センサ１０４のそれぞれは、予め定められたフレームレートで撮影を行い、そのフレームレートにしたがって撮影画像を繰り返し出力する。トップビュー画像生成部２２３は、それらのセンサによって実質的に同一のタイミングで撮影された撮影画像を合成することによって車両１００のトップビュー画像を生成する。例えば、トップビュー画像生成部２２３は、上述のフレームレートにしたがってトップビュー画像を繰り返し生成して広域合成部２２２に出力する。
【００５５】
ここで、トップビュー画像生成部２２３は、トップビュー画像が生成されるごとに、その生成されたトップビュー画像に対して、時刻情報、位置情報および方向情報を含む制御情報を付加する。時刻情報は、そのトップビュー画像が生成された時刻を示す。位置情報および方向情報は、位置方向検出部１１０によって検出された位置および方位を示す。具体的には、位置情報は、そのトップビュー画像が生成された時点における車両１００の位置を示し、方向情報は、その時点における車両１００の進行方向を示す。
【００５６】
広域合成部２２２は、取得部２１０から周辺車両の画像信号を取得し、トップビュー画像生成部２２３から車両１００のトップビュー画像を周期的に取得する。そして、広域合成部２２２は、トップビュー画像生成部２２３から車両１００のトップビュー画像を取得するごとに、その車両１００のトップビュー画像に対応する周辺車両のトップビュー画像をその画像信号から選択する。例えば、広域合成部２２２は、車両１００のトップビュー画像に付加されている時刻情報と、周辺車両の画像信号に含まれる各トップビュー画像に付加されている時刻情報とを用いて、周辺車両のトップビュー画像を選択する。具体的には、広域合成部２２２は、車両１００のトップビュー画像の時刻情報によって示される時刻と同一の時刻、または所定の誤差範囲にある時刻を示す時刻情報が付加されている周辺車両のトップビュー画像を選択する。
【００５７】
そして、広域合成部２２２は、その車両１００のトップビュー画像と、選択された周辺車両のトップビュー画像とを合成することによって、広域トップビュー画像を生成して画像蓄積部２２１に格納する。
【００５８】
このように本実施の形態における広域合成部２２２は、車両１００および周辺車両を含む複数の車両のそれぞれから周期的にセンシングデータであるトップビュー画像と、そのトップビュー画像が生成された時刻を示す時刻情報とを取得する。そして、広域合成部２２２は、その複数の車両のそれぞれについて、当該車両から周期的に取得される複数のトップビュー画像から、そのトップビュー画像に対応する時刻情報によって示される時刻が所定の期間内にある特定のトップビュー画像を選択する。広域合成部２２２は、その選択された特定のトップビュー画像を仮想空間上にマッピングする。
【００５９】
これにより、仮想空間上にマッピングされる複数のトップビュー画像は、所定の期間内に生成された特定のトップビュー画像である。したがって、仮想空間上にマッピングされる複数のトップビュー画像の同期を適切に図ることができる。
【００６０】
画像蓄積部２２１は、広域合成部２２２によって生成された広域トップビュー画像を格納するための記録媒体である。例えば、画像蓄積部２２１は、ハードディスク、ＲＡＭ（Read Only Memory）、ＲＯＭ（Random Access Memory）、または半導体メモリなどである。なお、このような画像蓄積部２２１は、揮発性であっても不揮発性であってもよい。
【００６１】
データ生成装置２００の出力部２４０は、第２通信部２４１、送信制御部２４２、データ送信部２４３、および第２フォーマット変換部２４４を備える。
【００６２】
送信制御部２４２は、第２通信部２４１、データ送信部２４３、および第２フォーマット変換部２４４を制御する。
【００６３】
第２通信部２４１は、周辺車両からのデータ送信の要求を受けると、送信制御部２４２による制御に基づいて、その周辺車両との間で通信路を確立する。なお、データ送信の要求を行った上述の周辺車両を、以下、要求元の周辺車両という。さらに、第２通信部２４１は、送信制御部２４２による制御に基づいて、その要求元の周辺車両との間で、それぞれで対応可能なデータフォーマットに関する情報を交換する。
【００６４】
第２フォーマット変換部２４４は、トップビュー画像生成部２２３によって車両１００のトップビュー画像が生成されるごとに、その生成された車両１００のトップビュー画像を取得する。そして、第２フォーマット変換部２４４は、送信制御部２４２からの制御に基づいて、そのトップビュー画像のデータフォーマットを、要求元の周辺車両に対応するデータフォーマットに変換する。
【００６５】
また、第２フォーマット変換部２４４は、その車両１００の少なくとも１つのトップビュー画像を符号化してもよい。つまり、第２フォーマット変換部２４４は、符号化装置、画像符号化装置、または動画像符号化装置として構成されていてもよい。例えば、第２フォーマット変換部２４４は、Ｈ．２６４またはＨＥＶＣ（High Efficiency Video Coding）などの動画像圧縮規格に基づく符号化方法、画像符号化方法、または動画像符号化方法にしたがって、それらのトップビュー画像を符号化する。
【００６６】
データ送信部２４３は、第２フォーマット変換部２４４によって車両１００のトップビュー画像のデータフォーマットが変換されるごとに、その変換後のトップビュー画像を取得する。そして、データ送信部２４３は、第２通信部２４１によって確立された通信路を用いて、その車両１００のトップビュー画像を要求元の周辺車両に送信する。つまり、データ送信部２４３は、車両１００の複数のトップビュー画像を含む画像信号を要求元の周辺車両に送信する。なお、この画像信号に含まれる各トップビュー画像には、上述の制御情報が付加されている。
【００６７】
なお、データ送信部２４３は、第２フォーマット変換部２４４によって車両１００の少なくとも１つのトップビュー画像が符号化される場合には、その符号化によって生成されるストリームまたはビットストリームを要求元の周辺車両に送信する。
【００６８】
このように、トップビュー画像に対して上記動画像圧縮規格に基づく符号化が行われる場合には、トップビュー画像のデータ量を抑えることができ、さらに、処理の遅延を抑制することができる。例えば、そのトップビュー画像を用いて構成される広域トップビュー画像の表示の遅延を抑制することができる。
【００６９】
図３は、３台の車両による隊列走行の一例を示す図である。
【００７０】
例えば、図３に示すように、車両Ｃ１、車両Ｃ２および車両Ｃ３は隊列走行している。すなわち、車両Ｃ１、車両Ｃ２および車両Ｃ３は一列に沿って配列した状態で同じ進行方向に向かって道路を走行している。例えば、車両Ｃ１、車両Ｃ２および車両Ｃ３のそれぞれは、上述の車両１００と同様の構成を有する。
【００７１】
この場合、車両Ｃ１は、車両Ｃ１のトップビュー画像を生成し、車両Ｃ２は、車両Ｃ２のトップビュー画像を生成し、車両Ｃ３は、車両Ｃ３のトップビュー画像を生成する。車両Ｃ１のトップビュー画像は、図３に示すように、その車両Ｃ１を含む周囲をその車両Ｃ１の上方から見た画像である。車両Ｃ２および車両Ｃ３のそれぞれのトップビュー画像も、車両Ｃ１のトップビュー画像と同様、その車両の上方から見た画像である。
【００７２】
また、車両Ｃ１のトップビュー画像には、そのトップビュー画像が生成された時点における時刻、位置、および進行方向を示す制御情報が付加されている。同様に、車両Ｃ２のトップビュー画像には、そのトップビュー画像が生成された時点における時刻、位置、および進行方向を示す制御情報が付加され、車両Ｃ３のトップビュー画像には、そのトップビュー画像が生成された時点における時刻、位置、および進行方向を示す制御情報が付加されている。
【００７３】
例えば、車両Ｃ２が自車両であり、車両Ｃ１および車両Ｃ３のそれぞれが車両Ｃ２の周辺車両である。この場合、自車両である車両Ｃ２は、周辺車両である車両Ｃ１から、その車両Ｃ１のトップビュー画像を受信し、他の周辺車両である車両Ｃ３から、その車両Ｃ３のトップビュー画像を受信する。さらに、自車両である車両Ｃ２は、車両Ｃ２のトップビュー画像を生成し、その自車両のトップビュー画像と、２つの周辺車両のそれぞれのトップビュー画像とを合成することによって、広域トップビュー画像を生成する。
【００７４】
また、自車両である車両Ｃ２は、２つの周辺車両のそれぞれからデータ送信の要求を受け付けると、それらの周辺車両に対して車両Ｃ２のトップビュー画像を送信する。
【００７５】
図４は、各車両のトップビュー画像から広域トップビュー画像が生成される一例を示す図である。
【００７６】
例えば、自車両である車両Ｃ２は、地図情報に基づく車線画像に車両Ｃ２のトップビュー画像を合成する。地図情報は、例えば、カーナビゲーションシステムに用いられる情報であって、車両Ｃ２の記録媒体に格納されている。また、地図情報は、インターネットなどのネットワークを介して車両Ｃ２に取得され、その車両Ｃ２の記録媒体に格納されていてもよい。
【００７７】
具体的には、車両Ｃ２のデータ生成装置２００に備えられている広域合成部２２２は、車両Ｃ２のトップビュー画像をトップビュー画像生成部２２３から取得する。そして、広域合成部２２２は、その車両Ｃ２のトップビュー画像に付加されている制御情報によって示される位置を特定する。広域合成部２２２は、地図情報において、その特性された位置に対応付けられている車線画像をその地図情報から抽出する。例えば、その特定された位置は、車線画像の中心である。
【００７８】
次に、広域合成部２２２は、車両Ｃ２のトップビュー画像の制御情報によって示される進行方向を特定する。広域合成部２２２は、その特定された進行方向に基づいて車両Ｃ２のトップビュー画像の向きを変えて、車線画像において先に特定された上述の位置にそのトップビュー画像を重畳する。例えば、広域合成部２２２は、トップビュー画像の方位と、車線画像の方位とが一致するように、トップビュー画像を回転させて車線画像に重畳する。これにより、仮の広域トップビュー画像が生成される。
【００７９】
次に、広域合成部２２２は、周辺車両である車両Ｃ１のトップビュー画像と、他の周辺車両である車両Ｃ３のトップビュー画像とを、その仮の広域トップビュー画像に合成することによって、最終的な広域トップビュー画像を生成する。
【００８０】
ここで、広域合成部２２２は、周辺車両のトップビュー画像を仮の広域トップビュー画像に合成するときには、そのトップビュー画像の合成位置および向きを決定するための合成位置決定処理を行う。広域合成部２２２は、その周辺車両のトップビュー画像の向きを、合成位置決定処理によって決定された向きに変える。そして、広域合成部２２２は、仮の広域トップビュー画像における合成位置、つまり、合成位置決定処理によって決定された合成位置に、その周辺車両のトップビュー画像を重畳する。
【００８１】
図５Ａは、データ生成装置２００の全体的な処理動作を示すフローチャートである。
【００８２】
まず、データ生成装置２００の合成部２２０は、自車両である車両１００のトップビュー画像を生成し、そのトップビュー画像を仮の広域トップビュー画像として扱う（ステップＳ１０）。なお、このとき、合成部２２０は、上述のように、車両１００のトップビュー画像を車線画像に重畳することによって仮のトップビュー画像を生成してもよい。
【００８３】
次に、データ生成装置２００は、その仮の広域トップビュー画像に含まれる少なくとも１つの特徴点を抽出する（ステップＳ２０）。例えば、特徴点は、ＳＩＦＴ（Scale-invariant feature transform）、ＳＵＲＦ（Speed-Upped Robust Feature）、ＯＲＢ（Oriented-BRIEF）、またはＡＫＡＺＥ（Accelerated KAZE）などの画像処理によって得られる。
【００８４】
そして、データ生成装置２００は、少なくとも１つの周辺車両のそれぞれに対して、ステップＳ３０〜Ｓ５０の処理を実行する。
【００８５】
ステップＳ３０では、広域合成部２２２は、周辺車両から送信される画像信号から、ステップＳ１０で生成された車両１００のトップビュー画像の時刻情報に対応する周辺車両のトップビュー画像を取得する。さらに、データ生成装置２００は、その周辺車両のトップビュー画像に付加されている方向情報および位置情報を取得する。
【００８６】
ステップＳ４０では、広域合成部２２２は、ステップＳ２０で抽出された少なくとも１つの特徴点を用いて、仮の広域トップビュー画像における周辺車両のトップビュー画像の合成位置を決定する合成位置決定処理を実行する。
【００８７】
ステップＳ５０では、広域合成部２２２は、合成位置決定処理によって決定された仮の広域トップビュー画像の合成位置に、周辺車両のトップビュー画像を合成する。
【００８８】
このようなステップＳ３０〜Ｓ５０の処理が、少なくとも１つの周辺車両のそれぞれに対して実行されることによって、最終的な広域トップビュー画像が生成される。
【００８９】
そして、データ生成装置２００は、その生成された最終的な広域トップビュー画像を表示部２３０に表示することによって、自車両の運転手にその広域トップビュー画像を提示する（ステップＳ６０）。
【００９０】
図５Ｂは、広域合成部２２２による合成位置決定処理を示すフローチャートである。つまり、図５Ｂは、図５ＡにおけるステップＳ４０の処理を詳細に示すフローチャートである。
【００９１】
広域合成部２２２は、自車両に対する周辺車両の相対的な進行方向に応じて、周辺車両のトップビュー画像を回転させる（ステップＳ４１）。例えば、広域合成部２２２は、自車両のトップビュー画像に付加されている方向情報によって示される自車両の進行方向と、周辺車両のトップビュー画像に付加されている方向情報によって示される周辺車両の進行方向とを特定する。そして、広域合成部２２２は、それらの進行方向の差分だけ周辺車両のトップビュー画像を回転させる。
【００９２】
次に、広域合成部２２２は、自車両に対する周辺車両の相対的な位置に基づき、仮の広域トップビュー画像における合成位置の候補を決定する（ステップＳ４２）。例えば、広域合成部２２２は、自車両のトップビュー画像に付加されている位置情報によって示される自車両の位置と、周辺車両のトップビュー画像に付加されている位置情報によって示される周辺車両の位置とを特定する。そして、広域合成部２２２は、それらの位置の相対的な関係に基づいて、仮の広域トップビュー画像における合成位置の候補を決定する。
【００９３】
さらに、広域合成部２２２は、周辺車両のトップビュー画像から少なくとも１つの特徴点を抽出する（ステップＳ４３）。
【００９４】
そして、広域合成部２２２は、図５Ａに示すステップＳ２０で抽出された仮の広域トップビュー画像の特徴点と、ステップＳ４３で抽出された周辺車両のトップビュー画像の特徴点とをマッチングする。これにより、広域合成部２２２は、ステップＳ４２で決定された合成位置の候補をリファインする（ステップＳ４４）。
【００９５】
このように、本実施の形態における広域合成部２２２は、センシングデータである画像（すなわちトップビュー画像）から特徴点を抽出し、抽出された特徴点と、そのトップビュー画像に対応する車両の実空間上の位置とに応じて、トップビュー画像の合成位置を決定する。これにより、各車両の位置だけでなく、画像の特徴点にも基づいてトップビュー画像の位置が決定されるため、トップビュー画像をより正確にマッピングすることができる。
【００９６】
また、本実施の形態における合成部２２０は、複数の車両のそれぞれから、その車両のトップビュー画像が生成された時点における、当該車両の実空間上の位置を示す位置情報を取得する。そして、広域合成部２２２は、複数の車両のそれぞれの位置情報によって示される位置に基づいて、当該車両から取得されたトップビュー画像の仮想空間上の位置を決定する。これにより、複数の車両のそれぞれから位置情報が取得されるため、それらの車両の実空間上の位置を容易に特定することができ、トップビュー画像の位置の決定の処理負担を軽減することができる。
【００９７】
また、本実施の形態における合成部２２０は、複数の車両のそれぞれから、当該車両のトップビュー画像が生成された時点における、当該車両の進行方向を示す方向情報を取得する。そして、広域合成部２２２は、複数の車両のそれぞれの方向情報によって示される進行方向に基づいて、当該車両から取得されたトップビュー画像の仮想空間上の向きを決定する。これにより、車両の方向情報に基づいて、その車両のトップビュー画像の仮想空間上の向きが決定されるため、そのトップビュー画像を適切な向きに向けてマッピングすることができる。その結果、トップビュー画像をより正確にマッピングすることができる。
【００９８】
また、本実施の形態におけるデータ生成装置２００は、予め定められた位置関係にある複数の車両のそれぞれからトップビュー画像を取得する。例えば、予め定められた位置関係では、複数の移動体は一列に並んで隊列走行している。このような場合に、例えば広域トップビュー画像が合成データとして生成されるため、その複数の車両のうちの１つの車両は、前方または後方にある他の車両の周囲の環境を容易に把握することができる。
【００９９】
また、本実施の形態における広域合成部２２２は、一列に並ぶ複数の車両のそれぞれから取得されたトップビュー画像を、仮想空間である二次元空間上にマッピングすることによって、合成データである広域トップビュー画像を生成する。このトップビュー画像は、そのトップビュー画像に対応する車両を含む周囲を当該車両の上方から見た画像である。
【０１００】
これにより、隊列走行している複数の車両を上方から見た画像である広域トップビュー画像が生成される。したがって、その隊列走行している複数の車両のうちの１つの車両は、前方または後方にある他の車両によって視界が遮られても、その広域トップビュー画像によって、それらの車両の周囲を含む環境を容易に把握することができる。その結果、隊列走行における運転の支援を適切に行うことができる。
【０１０１】
図６Ａは、本実施の形態におけるデータ生成装置２００の実装例を示すブロック図である。データ生成装置２００は、回路２０１およびメモリ２０２を備える。例えば、図１および図２のそれぞれに示されるデータ生成装置２００の複数の構成要素は、図６Ａに示さされる回路２０１およびメモリ２０２によって実装される。
【０１０２】
回路２０１は、情報処理を行う回路であり、メモリ２０２に接続された回路である。例えば、回路２０１は、広域トップビュー画像などのデータを生成する専用または汎用の電子回路である。回路２０１は、ＣＰＵのようなプロセッサであってもよい。また、回路２０１は、複数の電子回路の集合体であってもよい。また、例えば、回路２０１は、図１および図２のそれぞれに示されるデータ生成装置２００の複数の構成要素のうち、情報を記憶するための構成要素を除く、複数の構成要素の役割を果たしてもよい。
【０１０３】
メモリ２０２は、回路２０１が広域トップビュー画像などのデータを生成するための情報が記憶される汎用または専用のメモリである。メモリ２０２は、電子回路であってもよい。また、メモリ２０２は、回路２０１に含まれていてもよい。また、メモリ２０２は、複数の電子回路の集合体であってもよい。また、メモリ２０２は、磁気ディスクまたは光ディスク等であってもよいし、ストレージまたは記録媒体等と表現されてもよい。また、メモリ２０２は、不揮発性メモリでもよいし、揮発性メモリでもよい。
【０１０４】
例えば、メモリ２０２には、広域トップビュー画像を生成するための画像が記憶されてもよいし、回路２０１が広域トップビュー画像を生成するためのプログラムが記憶されていてもよい。
【０１０５】
また、例えば、メモリ２０２は、図１および図２のそれぞれに示されたデータ生成装置２００の複数の構成要素のうち、情報を記憶するための構成要素の役割を果たしてもよい。具体的には、メモリ２０２は、図２に示される画像蓄積部２２１の役割を果たしてもよい。
【０１０６】
なお、データ生成装置２００において、図１および図２などに示された複数の構成要素の全てが実装されなくてもよいし、上述された複数の処理の全てが行われなくてもよい。図１および図２のそれぞれに示された複数の構成要素の一部は、他の装置に含まれていてもよいし、上述された複数の処理の一部は、他の装置によって実行されてもよい。
【０１０７】
図６Ｂは、回路２０１およびメモリ２０２を備えたデータ生成装置２００の処理動作を示すフローチャートである。
【０１０８】
メモリ２０２に接続された回路２０１は、動作において、複数の移動体のそれぞれから、当該移動体に備えられた複数のセンサのそれぞれのセンシング結果に基づいて構成されるセンシングデータを取得する（ステップＳ１）。次に、回路２０１は、その複数の移動体のそれぞれのセンシングデータを仮想空間上にマッピングすることによって合成データを生成する（ステップＳ２）。ここで、その合成データの生成では、回路２０１は、仮想空間上にマッピングされるセンシングデータの位置を、そのセンシングデータに対応する移動体の実空間上の位置に応じて決定する。なお、複数の移動体のそれぞれから回路２０１によって取得されるセンシングデータは、上述のトップビュー画像であってもよく、移動体に備えられた複数のセンサのそれぞれのセンシング結果（すなわち撮影画像）であってもよい。
【０１０９】
以上のように、本実施の形態におけるデータ生成装置２００では、１つの移動体の周囲の環境だけでなく、複数の移動体のそれぞれの周囲を含む環境を仮想空間上に示す合成データが生成されるため、より広い範囲の環境を適切に把握することができる。また、複数の移動体のそれぞれが移動すると、その移動体の移動後の実空間上の位置に応じて、その移動体のセンシングデータの仮想空間上での位置を変化させることができる。したがって、複数の移動体が移動しても、合成データをそれらの移動に追従させることができる。
【０１１０】
（変形例）
上記実施の形態では、車両１００などの移動体にデータ生成装置２００が備えられているが、移動体の外部の機器またはサーバにデータ生成装置２００が備えられていてもよい。この場合、データ生成装置２００は、上記実施の形態のように車両１００のトップビュー画像を生成することなく、車両１００を含む複数の車両のそれぞれからその車両のトップビュー画像を取得して広域トップビュー画像を生成してもよい。例えば、データ生成装置２００のうちの広域合成部２２２および画像蓄積部２２１が上述の機器またはサーバに備えられていてもよい。また、上述の機器またはサーバは、交通監視クラウドの少なくとも一部であってもよい。
【０１１１】
また、上記実施の形態では、車車間通信によってトップビュー画像が送受信されるが、交通監視クラウドを介してそのトップビュー画像が送受信されてもよい。この場合、交通監視クラウドがデータ送信の要求を行ってもよい。
【０１１２】
また、上記実施の形態では、周辺車両はトップビュー画像を自車両に送信するが、周辺車両は、その周辺車両に備えられている複数のカメラのそれぞれによる撮影によって得られた撮影画像を送信してもよい。つまり、周辺車両は、トップビュー画像の代わりに、そのトップビュー画像を生成するための複数の撮影画像を自車両に送信してもよい。この場合、自車両のデータ生成装置２００は、周辺車両から送信される複数の撮影画像を受信し、これらの撮影画像を用いてその周辺車両のトップビュー画像を生成する。また、周辺車両は、複数のカメラによって得られた複数の撮影画像を自車両に送信するときには、その複数のカメラのそれぞれのパラメータセットを自車両に送信してもよい。パラメータセットは、周辺車両におけるカメラの位置を示すパラメータと、カメラのレンズ歪みなどを示す内部パラメータと、カメラの姿勢などを示す外部パラメータとを含んでいてもよい。自車両のデータ生成装置２００は、そのパラメータセットを用いて周辺車両のトップビュー画像を生成する。
【０１１３】
また、周辺車両は、トップビュー画像の全体を自車両に送信することなく、そのトップビュー画像の一部の画像を自車両に送信してもよい。例えば、自車両のデータ生成装置２００は、その自車両と周辺車両との相対的な位置関係に応じて、周辺車両のトップビュー画像のうちの送信対象部分をその周辺車両に指定してもよい。トップビュー画像の全体におけるその送信対象部分の位置、大きさ、および形状のうちの少なくとも１つが指定されてもよい。または、周辺車両が、自車両との相対的な位置関係に応じて、そのトップビュー画像のうちの送信対象部分を特定して自車両のデータ生成装置２００に送信してもよい。
【０１１４】
上記実施の形態における位置は、相対位置であってもよく、絶対位置であってもよい。相対位置の基準は、周辺車両および自車両のいずれの位置であってもよく。その基準は、各車両で異なっていてもよい。
【０１１５】
また、上記実施の形態では、広域トップビュー画像、すなわち合成データは、表示部２３０によって表示されるが、表示されることなく、信号処理に用いられてもよい。この場合、データ生成装置２００は、表示部２３０を備えていなくてもよい。
【０１１６】
また、上記実施の形態では、センシングデータは、トップビュー画像であるが、その他の画像であってもよく、ＬＩＤＡＲ（Light Detection and Ranging）または赤外線カメラによって得られるデータであってもよく、それ以外のセンサによって得られるデータであってもよい。
【０１１７】
また、上記実施の形態では、合成位置決定処理に特徴点を用いるが、特徴点を検出することができない場合には、特徴点を用いることなく車両の位置に基づいて合成位置を決定してもよい。また、自車両のデータ生成装置２００は、周辺車両から位置情報を取得するが、その位置情報を取得する代わりに、その周辺車両の位置を検出してもよい。例えば、データ生成装置２００は、ＬＩＤＡＲまたはミリ波レーダなどのセンサによって、周辺車両の位置を検出してもよい。
【０１１８】
また、自車両および周辺車両を含む各車両で管理される時刻は、ＮＴＰ（Network Time Protocol）サーバなどの時刻同期サーバを用いて定期的に同期されていてもよい。隊列走行の場合、その隊列走行を行っている複数の車両のうちの１つの車両に、時刻同期サーバが設置されていてもよい。あるいは、国または地域ごとに時刻同期サーバが設置されていてもよい。
【０１１９】
また、図３および図４に示す隊列走行の例では、車両Ｃ２が自車両であり、車両Ｃ１および車両Ｃ３が周辺車両であったが、車両Ｃ１または車両Ｃ３が自車両であり、他の車両が周辺車両であってもよい。例えば、先頭車両Ｃ１のデータ生成装置２００が、先頭車両Ｃ１の運転手に対して車列全体の広域トップビュー画像を提示してもよい。
【０１２０】
また、隊列走行システムにおいて予め車間距離が設定されている場合、設定されている車間距離に応じて、各車両のトップビュー画像が重なり合うように、各車両に配置される各カメラの位置および画角が設定されていてもよい。
【０１２１】
また、自車両のデータ生成装置２００は、車車間通信などにより自車両の周辺を走行している周辺車両を検知し、検知結果に応じて自車両の運転手に提示する画像を切替えてもよい。例えば、自車両のデータ生成装置２００は、自車両から一定の距離以内（例えば１００ｍ以内）に、その自車両の前方あるいは後方に走行中の周辺車両があるか否かを判定する。自車両のデータ生成装置２００は、その周辺車両があると判定すると、その周辺車両のトップビュー画像を取得して自車両のトップビュー画像に合成することによって、広域トップビュー画像を生成して自車両の運転手に提示する。一方、自車両のデータ生成装置２００は、その周辺車両がないと判定すると、自車両のトップビュー画像をその自車両の運転手に提示する。つまり、自車両のデータ生成装置２００は、自車両を含む複数の車両が予め定められた位置関係にあるときに、広域トップビュー画像を生成して提示し、その複数の車両が予め定められた位置関係にないときに、自車両のトップビュー画像を提示する。
【０１２２】
また、上記実施の形態における仮想空間は、自車両のトップビュー画像、車線画像、またはその自車両のトップビュー画像が重畳された車線画像などの２次元空間であるが、３次元空間であってもよい。
【０１２３】
また、上記実施の形態において、車両は移動体の一例であって、その移動体は、移動する物体であれば、船舶または航空機などの車両以外の物体であってもよい。
【０１２４】
また、上記実施の形態において、車両１００に備えられているセンサの数は４つであるが、その数は４つに限らず、３つ以下であってもよく、５つ以上であってもよい。
【０１２５】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。ここで、上記実施の形態のデータ生成装置２００などを実現するソフトウェアプログラムは、コンピュータに、図５Ａ、図５Ｂおよび図６Ｂのうちの何れかに示すフローチャートにしたがった処理を実行させる。
【０１２６】
また、各構成要素は、上述の通り、回路であってもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路であってもよい。また、各構成要素は、汎用的なプロセッサで実現されてもよいし、専用のプロセッサで実現されてもよい。
【０１２７】
また、特定の構成要素が実行する処理を別の構成要素が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。
【０１２８】
説明に用いられた第１及び第２等の序数は、適宜、付け替えられてもよい。また、構成要素などに対して、序数が新たに与えられてもよいし、取り除かれてもよい。
【０１２９】
以上、データ生成装置の態様について、上記実施の形態に基づいて説明したが、データ生成装置の態様は、その実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものも、データ生成装置の態様の範囲内に含まれてもよい。
【０１３０】
（その他の実施の形態）
以上の実施の形態において、機能ブロックの各々は、通常、ＭＰＵ及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ＲＯＭ等の記録媒体に記録されたソフトウェア（プログラム）を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア（専用回路）によって実現することも、当然、可能である。
【０１３１】
また、実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
【０１３２】
本開示の態様は、以上の実施例に限定されることなく、種々の変更が可能であり、それらも本開示の態様の範囲内に包含される。
【０１３３】
さらにここで、上記実施の形態で示した動画像符号化方法（画像符号化方法）又は動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、画像復号方法を用いた画像復号装置、及び両方を備える画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
【０１３４】
［使用例］
図７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。
【０１３５】
このコンテンツ供給システムｅｘ１００では、インターネットｅｘ１０１に、インターネットサービスプロバイダｅｘ１０２又は通信網ｅｘ１０４、及び基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、及びスマートフォンｅｘ１１５などの各機器が接続される。当該コンテンツ供給システムｅｘ１００は、上記のいずれかの要素を組合せて接続するようにしてもよい。固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網又は近距離無線等を介して直接的又は間接的に相互に接続されていてもよい。また、ストリーミングサーバｅｘ１０３は、インターネットｅｘ１０１等を介して、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、及びスマートフォンｅｘ１１５などの各機器と接続される。また、ストリーミングサーバｅｘ１０３は、衛星ｅｘ１１６を介して、飛行機ｅｘ１１７内のホットスポット内の端末等と接続される。
【０１３６】
なお、基地局ｅｘ１０６〜ｅｘ１１０の代わりに、無線アクセスポイント又はホットスポット等が用いられてもよい。また、ストリーミングサーバｅｘ１０３は、インターネットｅｘ１０１又はインターネットサービスプロバイダｅｘ１０２を介さずに直接通信網ｅｘ１０４と接続されてもよいし、衛星ｅｘ１１６を介さず直接飛行機ｅｘ１１７と接続されてもよい。
【０１３７】
カメラｅｘ１１３はデジタルカメラ等の静止画撮影、及び動画撮影が可能な機器である。また、スマートフォンｅｘ１１５は、一般に２Ｇ、３Ｇ、３．９Ｇ、４Ｇ、そして今後は５Ｇと呼ばれる移動通信システムの方式に対応したスマートフォン機、携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等である。
【０１３８】
家電ｅｘ１１８は、冷蔵庫、又は家庭用燃料電池コージェネレーションシステムに含まれる機器等である。
【０１３９】
コンテンツ供給システムｅｘ１００では、撮影機能を有する端末が基地局ｅｘ１０６等を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、端末（コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、スマートフォンｅｘ１１５、及び飛行機ｅｘ１１７内の端末等）は、ユーザが当該端末を用いて撮影した静止画又は動画コンテンツに対して上記各実施の形態で説明した符号化処理を行い、符号化により得られた映像データと、映像に対応する音を符号化した音データと多重化し、得られたデータをストリーミングサーバｅｘ１０３に送信する。即ち、各端末は、本開示の一態様に係る画像符号化装置として機能する。
【０１４０】
一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントは、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、スマートフォンｅｘ１１５、又は飛行機ｅｘ１１７内の端末等である。配信されたデータを受信した各機器は、受信したデータを復号化処理して再生する。即ち、各機器は、本開示の一態様に係る画像復号装置として機能する。
【０１４１】
［分散処理］
また、ストリーミングサーバｅｘ１０３は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバｅｘ１０３は、ＣＤＮ（Ｃｏｎｔｅｎｔｓ  Ｄｅｌｉｖｅｒｙ  Ｎｅｔｗｏｒｋ）により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。ＣＤＮでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
【０１４２】
また、配信自体の分散処理にとどまらず、撮影したデータの符号化処理を各端末で行ってもよいし、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、一般に符号化処理では、処理ループが２度行われる。１度目のループでフレーム又はシーン単位での画像の複雑さ、又は、符号量が検出される。また、２度目のループでは画質を維持して符号化効率を向上させる処理が行われる。例えば、端末が１度目の符号化処理を行い、コンテンツを受け取ったサーバ側が２度目の符号化処理を行うことで、各端末での処理負荷を減らしつつもコンテンツの質と効率を向上させることができる。この場合、ほぼリアルタイムで受信して復号する要求があれば、端末が行った一度目の符号化済みデータを他の端末で受信して再生することもできるので、より柔軟なリアルタイム配信も可能になる。
【０１４３】
他の例として、カメラｅｘ１１３等は、画像から特徴量抽出を行い、特徴量に関するデータをメタデータとして圧縮してサーバに送信する。サーバは、例えば特徴量からオブジェクトの重要性を判断して量子化精度を切り替えるなど、画像の意味に応じた圧縮を行う。特徴量データはサーバでの再度の圧縮時の動きベクトル予測の精度及び効率向上に特に有効である。また、端末でＶＬＣ（可変長符号化）などの簡易的な符号化を行い、サーバでＣＡＢＡＣ（コンテキスト適応型二値算術符号化方式）など処理負荷の大きな符号化を行ってもよい。
【０１４４】
さらに他の例として、スタジアム、ショッピングモール、又は工場などにおいては、複数の端末によりほぼ同一のシーンが撮影された複数の映像データが存在する場合がある。この場合には、撮影を行った複数の端末と、必要に応じて撮影をしていない他の端末及びサーバを用いて、例えばＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）単位、ピクチャ単位、又はピクチャを分割したタイル単位などで符号化処理をそれぞれ割り当てて分散処理を行う。これにより、遅延を減らし、よりリアルタイム性を実現できる。
【０１４５】
また、複数の映像データはほぼ同一シーンであるため、各端末で撮影された映像データを互いに参照し合えるように、サーバで管理及び／又は指示をしてもよい。または、各端末からの符号化済みデータを、サーバが受信し複数のデータ間で参照関係を変更、又はピクチャ自体を補正或いは差し替えて符号化しなおしてもよい。これにより、一つ一つのデータの質と効率を高めたストリームを生成できる。
【０１４６】
また、サーバは、映像データの符号化方式を変更するトランスコードを行ったうえで映像データを配信してもよい。例えば、サーバは、ＭＰＥＧ系の符号化方式をＶＰ系に変換してもよいし、Ｈ．２６４をＨ．２６５に変換してもよい。
【０１４７】
このように、符号化処理は、端末、又は１以上のサーバにより行うことが可能である。よって、以下では、処理を行う主体として「サーバ」又は「端末」等の記載を用いるが、サーバで行われる処理の一部又は全てが端末で行われてもよいし、端末で行われる処理の一部又は全てがサーバで行われてもよい。また、これらに関しては、復号処理についても同様である。
【０１４８】
［３Ｄ、マルチアングル］
近年では、互いにほぼ同期した複数のカメラｅｘ１１３及び／又はスマートフォンｅｘ１１５などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
【０１４９】
サーバは、２次元の動画像を符号化するだけでなく、動画像のシーン解析などに基づいて自動的に、又は、ユーザが指定した時刻において、静止画を符号化し、受信端末に送信してもよい。サーバは、さらに、撮影端末間の相対的な位置関係を取得できる場合には、２次元の動画像だけでなく、同一シーンが異なるアングルから撮影された映像に基づき、当該シーンの３次元形状を生成できる。なお、サーバは、ポイントクラウドなどにより生成した３次元のデータを別途符号化してもよいし、３次元データを用いて人物又はオブジェクトを認識或いは追跡した結果に基づいて、受信端末に送信する映像を、複数の端末で撮影した映像から選択、又は、再構成して生成してもよい。
【０１５０】
このようにして、ユーザは、各撮影端末に対応する各映像を任意に選択してシーンを楽しむこともできるし、複数画像又は映像を用いて再構成された３次元データから任意視点の映像を切り出したコンテンツを楽しむこともできる。さらに、映像と同様に音も複数の相異なるアングルから収音され、サーバは、映像に合わせて特定のアングル又は空間からの音を映像と多重化して送信してもよい。
【０１５１】
また、近年ではＶｉｒｔｕａｌ  Ｒｅａｌｉｔｙ（ＶＲ）及びＡｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＡＲ）など、現実世界と仮想世界とを対応付けたコンテンツも普及してきている。ＶＲの画像の場合、サーバは、右目用及び左目用の視点画像をそれぞれ作成し、Ｍｕｌｔｉ−Ｖｉｅｗ  Ｃｏｄｉｎｇ（ＭＶＣ）などにより各視点映像間で参照を許容する符号化を行ってもよいし、互いに参照せずに別ストリームとして符号化してもよい。別ストリームの復号時には、ユーザの視点に応じて仮想的な３次元空間が再現されるように互いに同期させて再生するとよい。
【０１５２】
ＡＲの画像の場合には、サーバは、現実空間のカメラ情報に、仮想空間上の仮想物体情報を、３次元的位置又はユーザの視点の動きに基づいて重畳する。復号装置は、仮想物体情報及び３次元データを取得又は保持し、ユーザの視点の動きに応じて２次元画像を生成し、スムーズにつなげることで重畳データを作成してもよい。または、復号装置は仮想物体情報の依頼に加えてユーザの視点の動きをサーバに送信し、サーバは、サーバに保持される３次元データから受信した視点の動きに合わせて重畳データを作成し、重畳データを符号化して復号装置に配信してもよい。なお、重畳データは、ＲＧＢ以外に透過度を示すα値を有し、サーバは、３次元データから作成されたオブジェクト以外の部分のα値が０などに設定し、当該部分が透過する状態で、符号化してもよい。もしくは、サーバは、クロマキーのように所定の値のＲＧＢ値を背景に設定し、オブジェクト以外の部分は背景色にしたデータを生成してもよい。
【０１５３】
同様に配信されたデータの復号処理はクライアントである各端末で行っても、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、ある端末が、一旦サーバに受信リクエストを送り、そのリクエストに応じたコンテンツを他の端末で受信し復号処理を行い、ディスプレイを有する装置に復号済みの信号が送信されてもよい。通信可能な端末自体の性能によらず処理を分散して適切なコンテンツを選択することで画質のよいデータを再生することができる。また、他の例として大きなサイズの画像データをＴＶ等で受信しつつ、鑑賞者の個人端末にピクチャが分割されたタイルなど一部の領域が復号されて表示されてもよい。これにより、全体像を共有化しつつ、自身の担当分野又はより詳細に確認したい領域を手元で確認することができる。
【０１５４】
また今後は、屋内外にかかわらず近距離、中距離、又は長距離の無線通信が複数使用可能な状況下で、ＭＰＥＧ−ＤＡＳＨなどの配信システム規格を利用して、接続中の通信に対して適切なデータを切り替えながらシームレスにコンテンツを受信することが予想される。これにより、ユーザは、自身の端末のみならず屋内外に設置されたディスプレイなどの復号装置又は表示装置を自由に選択しながらリアルタイムで切り替えられる。また、自身の位置情報などに基づいて、復号する端末及び表示する端末を切り替えながら復号を行うことができる。これにより、目的地への移動中に、表示可能なデバイスが埋め込まれた隣の建物の壁面又は地面の一部に地図情報を表示させながら移動することも可能になる。また、符号化データが受信端末から短時間でアクセスできるサーバにキャッシュされている、又は、コンテンツ・デリバリー・サービスにおけるエッジサーバにコピーされている、などの、ネットワーク上での符号化データへのアクセス容易性に基づいて、受信データのビットレートを切り替えることも可能である。
【０１５５】
［スケーラブル符号化］
コンテンツの切り替えに関して、図８に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的／空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンｅｘ１１５で視聴していた映像の続きを、帰宅後にインターネットＴＶ等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
【０１５６】
さらに、上記のように、レイヤ毎にピクチャが符号化されており、ベースレイヤの上位にエンハンスメントレイヤが存在するスケーラビリティを実現する構成以外に、エンハンスメントレイヤが画像の統計情報などに基づくメタ情報を含み、復号側が、メタ情報に基づきベースレイヤのピクチャを超解像することで高画質化したコンテンツを生成してもよい。超解像とは、同一解像度におけるＳＮ比の向上、及び、解像度の拡大のいずれであってもよい。メタ情報は、超解像処理に用いる線形或いは非線形のフィルタ係数を特定するため情報、又は、超解像処理に用いるフィルタ処理、機械学習或いは最小２乗演算におけるパラメータ値を特定する情報などを含む。
【０１５７】
または、画像内のオブジェクトなどの意味合いに応じてピクチャがタイル等に分割されており、復号側が、復号するタイルを選択することで一部の領域だけを復号する構成であってもよい。また、オブジェクトの属性（人物、車、ボールなど）と映像内の位置（同一画像における座標位置など）とをメタ情報として格納することで、復号側は、メタ情報に基づいて所望のオブジェクトの位置を特定し、そのオブジェクトを含むタイルを決定できる。例えば、図９に示すように、メタ情報は、ＨＥＶＣにおけるＳＥＩメッセージなど画素データとは異なるデータ格納構造を用いて格納される。このメタ情報は、例えば、メインオブジェクトの位置、サイズ、又は色彩などを示す。
【０１５８】
また、ストリーム、シーケンス又はランダムアクセス単位など、複数のピクチャから構成される単位でメタ情報が格納されてもよい。これにより、復号側は、特定人物が映像内に出現する時刻などが取得でき、ピクチャ単位の情報と合わせることで、オブジェクトが存在するピクチャ、及び、ピクチャ内でのオブジェクトの位置を特定できる。
【０１５９】
［Ｗｅｂページの最適化］
図１０は、コンピュータｅｘ１１１等におけるｗｅｂページの表示画面例を示す図である。図１１は、スマートフォンｅｘ１１５等におけるｗｅｂページの表示画面例を示す図である。図１０及び図１１に示すようにｗｅｂページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置（復号装置）は、リンク画像として各コンテンツが有する静止画又はＩピクチャを表示したり、複数の静止画又はＩピクチャ等でｇｉｆアニメのような映像を表示したり、ベースレイヤのみ受信して映像を復号及び表示したりする。
【０１６０】
ユーザによりリンク画像が選択された場合、表示装置は、ベースレイヤを最優先にして復号する。なお、ｗｅｂページを構成するＨＴＭＬにスケーラブルなコンテンツであることを示す情報があれば、表示装置は、エンハンスメントレイヤまで復号してもよい。また、リアルタイム性を担保するために、選択される前又は通信帯域が非常に厳しい場合には、表示装置は、前方参照のピクチャ（Ｉピクチャ、Ｐピクチャ、前方参照のみのＢピクチャ）のみを復号及び表示することで、先頭ピクチャの復号時刻と表示時刻との間の遅延（コンテンツの復号開始から表示開始までの遅延）を低減できる。また、表示装置は、ピクチャの参照関係を敢えて無視して全てのＢピクチャ及びＰピクチャを前方参照にして粗く復号し、時間が経ち受信したピクチャが増えるにつれて正常の復号を行ってもよい。
【０１６１】
［自動走行］
また、車の自動走行又は走行支援のため２次元又は３次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、１以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
【０１６２】
この場合、受信端末を含む車、ドローン又は飛行機などが移動するため、受信端末は、当該受信端末の位置情報を受信要求時に送信することで、基地局ｅｘ１０６〜ｅｘ１１０を切り替えながらシームレスな受信及び復号を実現できる。また、受信端末は、ユーザの選択、ユーザの状況又は通信帯域の状態に応じて、メタ情報をどの程度受信するか、又は地図情報をどの程度更新していくかを動的に切り替えることが可能になる。
【０１６３】
以上のようにして、コンテンツ供給システムｅｘ１００では、ユーザが送信した符号化された情報をリアルタイムでクライアントが受信して復号し、再生することができる。
【０１６４】
［個人コンテンツの配信］
また、コンテンツ供給システムｅｘ１００では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
【０１６５】
撮影時にリアルタイム又は蓄積して撮影後に、サーバは、原画又は符号化済みデータから撮影エラー、シーン探索、意味の解析、及びオブジェクト検出などの認識処理を行う。そして、サーバは、認識結果に基いて手動又は自動で、ピントずれ又は手ブレなどを補正したり、明度が他のピクチャに比べて低い又は焦点が合っていないシーンなどの重要性の低いシーンを削除したり、オブジェクトのエッジを強調したり、色合いを変化させるなどの編集を行う。サーバは、編集結果に基いて編集後のデータを符号化する。また撮影時刻が長すぎると視聴率が下がることも知られており、サーバは、撮影時間に応じて特定の時間範囲内のコンテンツになるように上記のように重要性が低いシーンのみならず動きが少ないシーンなどを、画像処理結果に基き自動でクリップしてもよい。または、サーバは、シーンの意味解析の結果に基づいてダイジェストを生成して符号化してもよい。
【０１６６】
なお、個人コンテンツには、そのままでは著作権、著作者人格権、又は肖像権等の侵害となるものが写り込んでいるケースもあり、共有する範囲が意図した範囲を超えてしまうなど個人にとって不都合な場合もある。よって、例えば、サーバは、画面の周辺部の人の顔、又は家の中などを敢えて焦点が合わない画像に変更して符号化してもよい。また、サーバは、符号化対象画像内に、予め登録した人物とは異なる人物の顔が映っているかどうかを認識し、映っている場合には、顔の部分にモザイクをかけるなどの処理を行ってもよい。または、符号化の前処理又は後処理として、著作権などの観点からユーザが画像を加工したい人物又は背景領域を指定し、サーバは、指定された領域を別の映像に置き換える、又は焦点をぼかすなどの処理を行うことも可能である。人物であれば、動画像において人物をトラッキングしながら、顔の部分の映像を置き換えることができる。
【０１６７】
また、データ量の小さい個人コンテンツの視聴はリアルタイム性の要求が強いため、帯域幅にもよるが、復号装置は、まずベースレイヤを最優先で受信して復号及び再生を行う。復号装置は、この間にエンハンスメントレイヤを受信し、再生がループされる場合など２回以上再生される場合に、エンハンスメントレイヤも含めて高画質の映像を再生してもよい。このようにスケーラブルな符号化が行われているストリームであれば、未選択時又は見始めた段階では粗い動画だが、徐々にストリームがスマートになり画像がよくなるような体験を提供することができる。スケーラブル符号化以外にも、１回目に再生される粗いストリームと、１回目の動画を参照して符号化される２回目のストリームとが１つのストリームとして構成されていても同様の体験を提供できる。
【０１６８】
［その他の使用例］
また、これらの符号化又は復号処理は、一般的に各端末が有するＬＳＩｅｘ５００において処理される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、又はハードディスクなど）に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンｅｘ１１５がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ１１５が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０１６９】
なお、ＬＳＩｅｘ５００は、アプリケーションソフトをダウンロードしてアクティベートする構成であってもよい。この場合、端末は、まず、当該端末がコンテンツの符号化方式に対応しているか、又は、特定サービスの実行能力を有するかを判定する。端末がコンテンツの符号化方式に対応していない場合、又は、特定サービスの実行能力を有さない場合、端末は、コーデック又はアプリケーションソフトをダウンロードし、その後、コンテンツ取得及び再生する。
【０１７０】
また、インターネットｅｘ１０１を介したコンテンツ供給システムｅｘ１００に限らず、デジタル放送用システムにも上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）又は動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。衛星などを利用して放送用の電波に映像と音が多重化された多重化データを載せて送受信するため、コンテンツ供給システムｅｘ１００のユニキャストがし易い構成に対してマルチキャスト向きであるという違いがあるが符号化処理及び復号処理に関しては同様の応用が可能である。
【０１７１】
［ハードウェア構成］
図１２は、スマートフォンｅｘ１１５を示す図である。また、図１３は、スマートフォンｅｘ１１５の構成例を示す図である。スマートフォンｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ４５０と、映像及び静止画を撮ることが可能なカメラ部ｅｘ４６５と、カメラ部ｅｘ４６５で撮像した映像、及びアンテナｅｘ４５０で受信した映像等が復号されたデータを表示する表示部ｅｘ４５８とを備える。スマートフォンｅｘ１１５は、さらに、タッチパネル等である操作部ｅｘ４６６と、音声又は音響を出力するためのスピーカ等である音声出力部ｅｘ４５７と、音声を入力するためのマイク等である音声入力部ｅｘ４５６と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ｅｘ４６７と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４とを備える。なお、メモリ部ｅｘ４６７の代わりに外付けメモリが用いられてもよい。
【０１７２】
また、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０と、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ディスプレイ制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、及びメモリ部ｅｘ４６７とがバスｅｘ４７０を介して接続されている。
【０１７３】
電源回路部ｅｘ４６１は、ユーザの操作により電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ１１５を動作可能な状態に起動する。
【０１７４】
スマートフォンｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、通話及データ通信等の処理を行う。通話時は、音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。また受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。データ通信モード時は、本体部の操作部ｅｘ４６６等の操作によってテキスト、静止画、又は映像データが操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出され、同様に送受信処理が行われる。データ通信モード時に映像、静止画、又は映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、メモリ部ｅｘ４６７に保存されている映像信号又はカメラ部ｅｘ４６５から入力された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像又は静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。多重／分離部ｅｘ４５３は、符号化済み映像データと符号化済み音声データを所定の方式で多重化し、変調／復調部（変調／復調回路部）ｅｘ４５２、及び送信／受信部ｅｘ４５１で変調処理及び変換処理を施してアンテナｅｘ４５０を介して送信する。
【０１７５】
電子メール又はチャットに添付された映像、又はウェブページ等にリンクされた映像を受信した場合、アンテナｅｘ４５０を介して受信された多重化データを復号するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより、多重化データを映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって映像信号を復号し、ディスプレイ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、リンクされた動画像ファイルに含まれる映像又は静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。なおリアルタイムストリーミングが普及しているため、ユーザの状況によっては音声の再生が社会的にふさわしくない場も起こりえる。そのため、初期値としては、音声信号は再生せず映像データのみを再生する構成の方が望ましい。ユーザが映像データをクリックするなど操作を行った場合にのみ音声を同期して再生してもよい。
【０１７６】
またここではスマートフォンｅｘ１１５を例に説明したが、端末としては符号化器及び復号化器を両方持つ送受信型端末の他に、符号化器のみを有する送信端末、及び、復号化器のみを有する受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムにおいて、映像データに音声データなどが多重化された多重化データを受信又は送信するとして説明したが、多重化データには、音声データ以外に映像に関連する文字データなどが多重化されてもよいし、多重化データではなく映像データ自体が受信又は送信されてもよい。
【０１７７】
なお、ＣＰＵを含む主制御部ｅｘ４６０が符号化又は復号処理を制御するとして説明したが、端末はＧＰＵを備えることも多い。よって、ＣＰＵとＧＰＵで共通化されたメモリ、又は共通に使用できるようにアドレスが管理されているメモリにより、ＧＰＵの性能を活かして広い領域を一括して処理する構成でもよい。これにより符号化時間を短縮でき、リアルタイム性を確保し、低遅延を実現できる。特に動き探索、デブロックフィルタ、ＳＡＯ（Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ）、及び変換・量子化の処理を、ＣＰＵではなく、ＧＰＵでピクチャなどの単位で一括して行うと効率的である。
【産業上の利用可能性】
【０１７８】
本開示のデータ生成装置は、さらなる改善の可能性があるという効果を奏し、例えば、車両に搭載されて、その車両の運転を支援するための車載装置として利用可能であり、利用価値が高い。
【符号の説明】
【０１７９】
１００    車両
１０１    第１センサ
１０２    第２センサ
１０３    第３センサ
１０４    第４センサ
１１０    位置方向検出部
２００    データ生成装置
２０１    回路
２０２    メモリ
２１０    取得部
２１１    第１通信部
２１２    受信制御部
２１３    データ受信部
２１４    第１フォーマット変換部
２２０    合成部
２２１    画像蓄積部
２２２    広域合成部
２２３    トップビュー画像生成部
２３０    表示部
２４０    出力部
２４１    第２通信部
２４２    送信制御部
２４３    データ送信部
２４４    第２フォーマット変換部
【図１】
2020004593.tif 000003
【図２】
2020004593.tif 000004
【図３】
2020004593.tif 000005
【図４】
2020004593.tif 000006
【図５Ａ】
2020004593.tif 000007
【図５Ｂ】
2020004593.tif 000008
【図６Ａ】
2020004593.tif 000009
【図６Ｂ】
2020004593.tif 000010
【図７】
2020004593.tif 000011
【図８】
2020004593.tif 000012
【図９】
2020004593.tif 000013
【図１０】
2020004593.tif 000014
【図１１】
2020004593.tif 000015
【図１２】
2020004593.tif 000016
【図１３】
2020004593.tif 000017
【国際調査報告】
2020004593.tif 000018
2020004593.tif 000019