【手続補正書】
【提出日】平成31年3月13日(2019.3.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するシステムであって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記シェーディング画像のうちに含まれる所定のコンポーネントをコンポーネント画像として抽出して出力するコンポーネント抽出部と、
前記コンポーネント画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
を備えたことを特徴とする画像生成システム。
【請求項２】
前記コンポーネントは、ＲＧＢ画像のうちのＲ成分のコンポーネントであることを特徴とする請求項１に記載の画像生成システム。
【請求項３】
前記コンポーネントをグレイスケール化するグレイスケール化部をさらに備えていることを特徴とする請求項１に記載の画像生成システム。
【請求項４】
センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するシステムであって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記対象物ごとの３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
を備え、
前記シェーディング部は、
前記センサー手段から照射された光線が反射される前記モデルの所定部位のみに対してシェーディングを行う機能と、
前記所定部位の３次元形状のみを出力する機能と
を有し、
前記深度画像生成部は、前記所定部位の３次元形状の情報を基にして、前記対象物ごとの深度画像を生成する
ことを特徴とする画像生成システム。
【請求項５】
前記センサー手段は近赤外線センサーであることを特徴とする請求項１又は４に記載の画像生成システム。
【請求項６】
前記センサー手段は、照射されたレーザー光の反射光を検出するＬｉＤＡＲセンサーであることを特徴とする請求項１又は４に記載の画像生成システム。
【請求項７】
前記シナリオ作成手段は、対象物の３次元形状情報、対象物の動作情報、対象物のマテリアル情報、光源のパラメータ情報、カメラの位置情報、センサーの位置情報を決定する手段を備えていることを特徴とする請求項１又は４に記載の画像生成システム。
【請求項８】
実写に基づく１コンポーネント画像及び深度画像を教師データとして取得し、前記コンポーネント画像、前記深度画像生成部によって生成された前記深度画像と前記教師データとに基づくバックプロパゲーションによって、ニューラルネットのトレーニングを行うディープラーニング認識学習手段をさらに備えたことを特徴とする請求項１に記載の画像生成システム。
【請求項９】
実写に基づく照射画像及び深度画像を教師データとして取得し、前記シェーディング部によるシェーディング結果の画像と、前記深度画像生成部によって生成された前記深度画像と、前記教師データとに基づくバックプロパゲーションによって、ニューラルネットのトレーニングを行うディープラーニング認識学習手段を備えた請求項４に記載の画像生成システム。
【請求項１０】
前記深度画像生成部により生成された深度画像から、光線の照射からその反射波を受信するまでにかかった所要時間をＴＯＦ情報として算出するＴＯＦ計算部と、
前記ＴＯＦ計算部によるＴＯＦ情報に基づいて距離画像を生成する距離画像生成部と、
前記距離画像生成部によって生成された距離画像と、前記深度画像生成部により生成された深度画像との合致度を比較する比較評価部と
をさらに備えた請求項１又は４に記載の画像生成システム。
【請求項１１】
前記モデリング部は、前記比較評価部による比較結果をフィードバック情報として取得し、取得されたフィードバック情報に基づいて、前記モデリングにおける条件を調整して再度モデリングを行う機能を有することを特徴とする請求項１０に記載の画像生成システム。
【請求項１２】
前記モデリング及び前記比較に基づく前記フィードバック情報の取得を繰り返して行い、前記比較評価部による比較結果におけるマッチング誤差が所定の閾値よりも小さくなるまで実行することを特徴とする請求項１１に記載の画像生成システム。
【請求項１３】
車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステムであって、
センサー手段による検出結果に基づいて、周囲の対象物に対する相対的な前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備え、
前記車両は複数台の車両分だけ設定されるとともに、前記認識機能モジュールは前記車両ごとに動作され、
前記位置情報計算手段は、前記認識手段による認識結果の情報を用いて、各車両の位置情報を複数台の車両分だけ変更・修正し、
前記同期制御手段は、位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とについて前記複数台の車両分の同期制御を実行する
ことを特徴とするシミュレーションシステム。
【請求項１４】
車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステムであって、
センサー手段による検出結果に基づいて、周囲の対象物に対する相対的な前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備え、
前記シミュレーションシステムは、複数個のセンサーに対応した画像を生成する手段を備え、またそれぞれの生成された画像に対応した認識手段を備え、同該複数個の認識結果を用いて、前記同期制御を行う手段を備えている
ことを特徴とするシミュレーションシステム。
【請求項１５】
車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステムであって、
センサー手段による検出結果に基づいて、周囲の対象物に対する相対的な前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備え、
請求項１又は請求項４に記載の画像生成システムを前記画像生成手段として備え、
前記画像生成システムの前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
ことを特徴とするシミュレーションシステム。
【請求項１６】
前記同期制御手段は、
前記位置情報を特定のフォーマットにパケット化して送出する手段と、
パケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送する手段と、
前記パケットデータを受信してデ・パケット化する手段と、
前記デ・パケット化されたデータを入力して画像を生成する手段と
を備えたことを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。
【請求項１７】
前記同期制御手段は、各手段間で送受信される信号を、ＵＤＰ（User Datagram Protocol)を用いて送受信することを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。
【請求項１８】
前記車両の位置情報には、前記車両の路面絶対位置座標のＸＹＺ座標、タイヤの路面絶対位置座標ＸＹＺ座標、車両のオイラー角度、車輪の回転角に関する情報のいずれかが含まれることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。
【請求項１９】
前記画像生成手段は、前記車両の３次元形状をコンピューターグラフィックスにより合成する手段を備えていることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。
【請求項２０】
上記画像生成手段は、センサー手段ごとに異なる画像を生成する手段を備えていることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。
【請求項２１】
前記センサー手段として、イメージセンサー手段、ＬｉＤＡＲセンサー、ミリ波センサー、赤外線センサーのいずれか、又は全てを備えていることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。
【請求項２２】
センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するプログラムであって、コンピューターを、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記シェーディング画像のうちに含まれる所定のコンポーネントをコンポーネント画像として抽出して出力するコンポーネント抽出部と、
前記コンポーネント画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部として
機能させることを特徴とする画像生成プログラム。
【請求項２３】
センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するプログラムであって、コンピューターを、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記対象物ごとの３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
して機能させ、
前記シェーディング部は、
前記センサー手段から照射された光線が反射される前記モデルの所定部位のみに対してシェーディングを行う機能と、
前記所定部位の３次元形状のみを出力する機能と
を有し、
前記深度画像生成部は、前記所定部位の３次元形状の情報を基にして、前記対象物ごとの深度画像を生成する
ことを特徴とする画像生成プログラム。
【請求項２４】
車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションプログラムであって、コンピューターを、
前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段として
機能させ、
前記画像生成システムの前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
請求項２２又は請求項２３に記載の画像生成プログラムを前記画像生成手段として備える
ことを特徴とするシミュレーションプログラム。
【請求項２５】
センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成する方法であって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオをシナリオ作成部が作成するシナリオ作成ステップと、
前記シナリオに基づいて前記対象物ごとに３Ｄモデリング部がモデリングを行う３Ｄモデリングステップと、
前記３Ｄモデリングステップで生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を３Ｄシェーディング部が生成する３Ｄシェーディングステップと、
前記シェーディング画像のうちに含まれる所定のコンポーネントをコンポーネント画像として抽出してコンポーネント抽出部が出力するコンポーネント抽出ステップと、
前記コンポーネント画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を深度画像生成部が生成する深度画像生成ステップと
を含むことを特徴とする画像生成方法。
【請求項２６】
センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成する方法であって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオをシナリオ作成部が作成するシナリオ作成ステップと、
前記シナリオに基づいて前記対象物ごとに３Ｄモデリング部がモデリングを行う３Ｄモデリングステップと、
前記３Ｄモデリングステップで生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を３Ｄシェーディング部が生成する３Ｄシェーディングステップと、
前記シェーディング画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を深度画像生成部が生成する深度画像生成ステップと
を含み、
前記シェーディング部は、
前記センサー手段から照射された光線が反射される前記モデルの所定部位のみに対してシェーディングを行う機能と、
前記所定部位の３次元形状のみを出力する機能と
を有し、
前記深度画像生成部は、前記所定部位の３次元形状の情報を基にして、前記対象物ごとの深度画像を生成する
ことを特徴とする画像生成方法。
【請求項２７】
請求項２５又は請求項２６に記載の画像生成方法を前記画像生成ステップとして含み、
前記画像生成方法における前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
ことを特徴とするシミュレーション方法。
【請求項２８】
車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーション方法であって、
位置情報取得手段によって、前記車両の位置情報を取得する位置情報取得ステップと、
前記位置情報取得ステップによって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を、画像生成手段が生成する画像生成ステップと、
前記画像生成ステップによって生成されたシミュレーション用画像の中から特定の対象物を、画像認識手段が前記認識機能モジュールを用いて認識し、検出する画像認識ステップと、
前記画像認識ステップおける認識結果を用いて、位置情報計算手段が、前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算ステップと、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを、同期制御手段が同期制御する同期制御ステップと
を備え、
請求項２５又は請求項２６に記載の画像生成方法を前記画像生成ステップとして含み、
前記画像生成方法における前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
ことを特徴とするシミュレーション方法。