(57)【要約】【課題】、リアルタイムにＣＧ画像をレンダリングし、実写映像に合成して、インタラクティブなコンテンツの作成を可能とし、ユーザー操作に対する応答性も確保する。【解決手段】仮想空間４の背景画Ｄ２を撮影する全天球形カメラ１１と、撮影素材を撮影した現場のターンテーブル環境データＤ１を取得する実環境取得手段１２ｂと、仮想空間４内に配置される仮想的な３次元オブジェクトＤ３を生成し、ユーザー操作に基づいて３次元オブジェクトＤ３を動作させるオブジェクト制御部２５４と、ターンテーブル環境データＤ１に基づいて、仮想空間内におけるライティングを設定する環境再現部２５２と、環境再現部２５２によって設定されたライティングと、オブジェクト制御部２５４による制御とに基づいて、素材画像撮影部１２ａが撮影した撮影素材に対して３次元オブジェクトを合成するレンダリング部２５１とを備える。
2017171005.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間内に配置されるマテリアルと同一素材の実物の画像又は動画を撮影素材として撮影する素材撮影手段と、
前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記撮影に用いた素材撮影手段固有の特性を記述した実カメラプロファイル情報とを取得する実環境取得手段と、
前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、ユーザー操作に基づいて前記３次元オブジェクトを動作させるオブジェクト制御部と、
前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する環境再現部と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画するレンダリング部と
を備えることを特徴とする３Ｄグラフィック生成システム。
【請求項２】
前記素材撮影手段は、多方向の映像を撮影して全天球状の背景画を前記撮影素材として撮影する機能を有し、
前記実環境取得手段は、前記多方向について前記ターンテーブル環境情報を取得し、前記現場を含む現実空間内の光源を再現する機能を有し、
前記レンダリング部は、ユーザーの視点位置を中心とする全天球状に前記背景画を接合し、接合された全天球状の背景画に対して前記３次元オブジェクトを合成して描画する機能を有する
ことを特徴とする請求項１に記載の３Ｄグラフィック生成システム。
【請求項３】
既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を生成する既知配光理論値生成部と、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を生成する現場理論値生成部と、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを生成する評価部と
をさらに備え、
前記レンダリング部は、前記撮影素材に対して前記３次元オブジェクトを合成する際、前記評価軸データを参照して、前記撮影素材と前記３次元オブジェクトそれぞれの画像特性を相互に合致させる処理を行う
ことを特徴とする請求項１又は２に記載の３Ｄグラフィック生成システム。
【請求項４】
カメラセンサーを通じての画像認識に基づいて所定の動作制御を実行する人工知能の機能検証システムであって、
仮想空間内に配置されるマテリアルと同一素材の実物の画像又は動画を撮影素材として撮影する素材撮影手段と、
前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記カメラセンサー固有の特性を記述した実カメラプロファイル情報とを取得する実環境取得手段と、
前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、前記人工知能による前記動作制御に基づいて前記３次元オブジェクトを動作させるオブジェクト制御部と、
前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する環境再現部と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画するレンダリング部と、
前記レンダリング部が描画したグラフィックを前記人工知能に入力する出力部と
を備えることを特徴とする人工知能の検証・学習システム。
【請求項５】
既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を生成する既知配光理論値生成部と、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を生成する現場理論値生成部と、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを生成する評価部と
をさらに備えることを特徴とする請求項４に記載の人工知能の検証・学習システム。
【請求項６】
実写素材を用いた教師データとして学習した前記人工知能に対し、前記レンダリング部が描画したグラフィックを入力し、前記人工知能の前記実写素材に対する反応と、前記グラフィックに対する反応とを対比する比較部をさらに備えることを特徴とする請求項４に記載の人工知能の検証・学習システム。
【請求項７】
前記レンダリング部が描画したグラフィックについて、認識対象となる画像中の特定物に対する領域分割を行うセグメンテーション部と、
領域分割された領域画像と特定のオブジェクトとを関連付けるアノテーション生成手段と、
アノテーション情報と前記領域画像とを関連付けて学習用の教師データを作成する教師データ作成手段と
さらに備えることを特徴とする請求項４に記載の人工知能の検証・学習システム。
【請求項８】
前記カメラセンサーとは特性が異なるセンサー手段を備え、
前記実環境取得手段は、前記特性が異なるセンサー手段による検出結果を、前記ターンテーブル環境情報と合わせて取得し、
前記レンダリング部は、前記特性が異なるセンサー毎に、センサーから得られる情報に基づく３Ｄグラフィックス画像を生成し、
前記人工知能は、
３Ｄグラフィックス画像が入力されてディープラーニング認識を行う手段と、  ディープラーニング認識結果を上記センサー毎に出力する手段と、
上記センサー毎のディープラーニング認識結果を分析して、その中から１つ又は複数個の認識結果を選択する手段と
を備えることを特徴とする請求項４に記載の人工知能の検証・学習システム。
【請求項９】
コンピューターを、
仮想空間内に配置されるマテリアルと同一素材の実物の画像又は動画を撮影素材として撮影する素材撮影手段と、
前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記撮影に用いた素材撮影手段固有の特性を記述した実カメラプロファイル情報とを取得する実環境取得手段と、
前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、ユーザー操作に基づいて前記３次元オブジェクトを動作させるオブジェクト制御部と、
前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する環境再現部と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画するレンダリング部と
として機能させる
ことを特徴とする３Ｄグラフィック生成プログラム。
【請求項１０】
前記素材撮影手段は、多方向の映像を撮影して全天球状の背景画を前記撮影素材として撮影する機能を有し、
前記実環境取得手段は、前記多方向について前記ターンテーブル環境情報を取得し、前記現場を含む現実空間内の光源を再現する機能を有し、
前記レンダリング部は、ユーザーの視点位置を中心とする全天球状に前記背景画を接合し、接合された全天球状の背景画に対して前記３次元オブジェクトを合成して描画する機能を有する
ことを特徴とする請求項９に記載の３Ｄグラフィック生成プログラム。
【請求項１１】
既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を生成する既知配光理論値生成部と、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を生成する現場理論値生成部と、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを生成する評価部と
をさらに備え、
前記レンダリング部は、前記撮影素材に対して前記３次元オブジェクトを合成する際、前記評価軸データを参照して、前記撮影素材と前記３次元オブジェクトそれぞれの画像特性を相互に合致するように処理した後、前記合成を行う
ことを特徴とする請求項９又は１０に記載の３Ｄグラフィック生成プログラム。
【請求項１２】
カメラセンサーを通じての画像認識に基づいて所定の動作制御を実行する人工知能の機能検証プログラムであって、コンピューターを、
仮想空間内に配置されるマテリアルと同一素材の実物の画像又は動画を撮影素材として撮影する素材撮影手段と、
前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記カメラセンサー固有の特性を記述した実カメラプロファイル情報とを取得する実環境取得手段と、
前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、前記人工知能による前記動作制御に基づいて前記３次元オブジェクトを動作させるオブジェクト制御部と、
前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する環境再現部と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画するレンダリング部と、
前記レンダリング部が描画したグラフィックを前記人工知能に入力する出力部として
機能させることを特徴とする人工知能の検証・学習プログラム。
【請求項１３】
既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を生成する既知配光理論値生成部と、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を生成する現場理論値生成部と、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを生成する評価部と
をさらに備えることを特徴とする請求項１２に記載の人工知能の検証・学習プログラム。
【請求項１４】
実写素材を用いた教師データとして学習した前記人工知能に対し、前記レンダリング部が描画したグラフィックを入力し、前記人工知能の前記実写素材に対する反応と、前記グラフィックに対する反応とを対比する比較部をさらに備えることを特徴とする請求項１２に記載の人工知能の検証・学習プログラム。
【請求項１５】
前記レンダリング部が描画したグラフィックについて、認識対象となる画像中の特定物に対する領域分割を行うセグメンテーション部と、
領域分割された領域画像と特定のオブジェクトとを関連付けるアノテーション生成手段と、
アノテーション情報と前記領域画像とを関連付けて学習用の教師データを作成する教師データ作成手段と
さらに備えることを特徴とする請求項１２に記載の人工知能の検証・学習プログラム。
【請求項１６】
前記カメラセンサーとは特性が異なるセンサー手段を備え、
前記実環境取得手段は、前記特性が異なるセンサー手段による検出結果を、前記ターンテーブル環境情報と合わせて取得し、
前記レンダリング部は、前記特性が異なるセンサー毎に、センサーから得られる情報に基づく３Ｄグラフィックス画像を生成し、
前記人工知能は、
３Ｄグラフィックス画像が入力されてディープラーニング認識を行う手段と、  ディープラーニング認識結果を上記センサー毎に出力する手段と、
上記センサー毎のディープラーニング認識結果を分析して、その中から１つ又は複数個の認識結果を選択する手段と
を備えることを特徴とする請求項１２に記載の人工知能の検証・学習プログラム。
【請求項１７】
素材撮影手段によって仮想空間内に配置されるマテリアルと同一素材の実物の画像又は動画を撮影素材として取得するとともに、実環境取得手段によって、前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記撮影に用いた素材撮影手段固有の特性を記述した実カメラプロファイル情報とを取得する処理と、
環境再現部によって、前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する処理と、
オブジェクト制御部によって、前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、ユーザー操作に基づいて前記３次元オブジェクトを動作させる処理と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、レンダリング部によって、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画する処理と
を含むことを特徴とする３Ｄグラフィック生成方法。
【請求項１８】
前記素材撮影手段は、多方向の映像を撮影して全天球状の背景画を撮影素材として撮影する機能を有し、
前記実環境取得手段は、前記多方向について前記ターンテーブル環境情報を取得し、前記現場を含む現実空間内の光源を再現する機能を有し、
前記レンダリング部は、ユーザーの視点位置を中心とする全天球状に前記背景画を接合し、接合された全天球状の背景画に対して前記３次元オブジェクトを合成して描画する機能を有する
ことを特徴とする請求項１７に記載の３Ｄグラフィック生成方法。
【請求項１９】
既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を既知配光理論値生成部が生成する処理と、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を現場理論値生成部が生成する処理と、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを評価部が生成する処理と
をさらに含み、
前記レンダリング部は、前記撮影素材に対して前記３次元オブジェクトを合成する際、前記評価軸データを参照して、前記撮影素材と前記３次元オブジェクトそれぞれの画像特性を相互に合致するように処理した後、前記合成を行う
ことを特徴とする請求項１７又は１８に記載の３Ｄグラフィック生成方法。
【請求項２０】
カメラセンサーを通じての画像認識に基づいて所定の動作制御を実行する人工知能の機能検証方法であって、
仮想空間内に配置されるマテリアルと同一素材の実物の画像又は動画を撮影素材として素材撮影手段が撮影するとともに、前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記カメラセンサー固有の特性を記述した実カメラプロファイル情報とを実環境取得手段が取得する実環境取得ステップと、
前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、前記人工知能による前記動作制御に基づいて、オブジェクト制御部が前記３次元オブジェクトを動作させるオブジェクト制御ステップと、
前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を環境再現部が追加する環境再現ステップと、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能にレンダリング部が描画するレンダリングステップと、
前記レンダリング部が描画したグラフィックを出力部が前記人工知能に入力する出力ステップと
を含むことを特徴とする人工知能の検証・学習方法。
【請求項２１】
既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を、既知配光理論値生成部が生成する既知配光理論値生成ステップと、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を、現場理論値生成部が生成する現場理論値生成ステップと、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを、評価部が生成する評価ステップと
をさらに含むことを特徴とする請求項２０に記載の人工知能の検証・学習方法。
【請求項２２】
実写素材を用いた教師データとして学習した前記人工知能に対し、前記レンダリング部が描画したグラフィックを入力し、前記人工知能の前記実写素材に対する反応と、前記グラフィックに対する反応とを、比較部が対比する比較ステップをさらに含むことを特徴とする請求項２０に記載の人工知能の検証・学習方法。
【請求項２３】
前記レンダリング部が描画したグラフィックについて、認識対象となる画像中の特定物に対する領域分割を行うステップと、
領域分割された領域画像と特定のオブジェクトとを関連付けるステップと、
アノテーション情報と前記領域画像とを関連付けて学習用の教師データを作成するステップと
さらに含むことを特徴とする請求項２０に記載の人工知能の検証・学習方法。
【請求項２４】
前記カメラセンサーとは特性が異なるセンサー手段をさらに設け、
前記実環境取得ステップでは、前記特性が異なるセンサー手段による検出結果を、前記ターンテーブル環境情報と合わせて取得し、
前記レンダリングステップでは、前記特性が異なるセンサー毎に、センサーから得られる情報に基づく３Ｄグラフィックス画像を生成し、
前記出力ステップの後に前記人工知能は、
３Ｄグラフィックス画像が入力されてディープラーニング認識を行い、
ディープラーニング認識結果を上記センサー毎に出力し、
上記センサー毎のディープラーニング認識結果を分析して、その中から１つ又は複数個の認識結果を選択する
ことを特徴とする請求項２０に記載の人工知能の検証・学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間上に配置されたオブジェクトをコンピューターグラフィックスとして描画する３Ｄグラフィック生成システム、プログラム及び方法に関する。また、本発明は、３Ｄグラフィック生成システム等を応用した人工知能の検証・学習システム、プログラム及び方法に関する。
【背景技術】
【０００２】
従来より、現実環境下で撮影した実写映像に、ＣＧ（コンピューターグラフィックス）画像を合成して映像を作成する技術が開発されている。この実写映像にＣＧを合成する際に、両者を違和感なく融合させるためには、実写映像とＣＧが同様のライティング設定になっていなければならない。コンピューターグラフィックスの描画に際し、照明位置や照明方向を調整してライティングを設定する技術が例えば、特許文献１などに開示されている。この特許文献１に開示された技術では、被写体の照明に関連する被写体情報と、実空間内の仮想照明に基づいて取得した照明情報とから、照明情報に基づいた照明環境下における被写体の画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−６６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示されたように、照明位置や照明方向を仮想空間内で再現しても、実際に素材を撮影したカメラ固有の特性や、画像階調の応答特性など、撮影機器や撮影環境、表示装置などに依存する実写映像全体の特性と、ＣＧの特性とが一致していなければ、観察者の違和感が生じることとなる。【０００５】
すなわち、画像特性は、多数の要因が関係しているため、両者を完全に一致させることは困難であり、また、一致させるにしても、操作者の主観に頼らざるを得ず、その操作に熟練が要求される。特に、コンピューターゲームのようにＣＧオブジェクトをユーザーが操作して、インタラクティブに描画させるシステムでは、予めＣＧをレンダリングしておくことができず、リアルタイムにレンダリング及び合成処理を行う必要がある。このため、レンダリングや合成処理に際し、複雑・高度な演算を行うと描画処理が遅延して、ユーザー操作に対する応答性が低下するという問題が起こりうる。【０００６】
一方、現在の自動車では、「走る、止まる、曲がる」以外に、運転者が判断すべきことを、ＡＩ（Artificial Intelligence：人工知能）を備えた先進運転支援システム(ADAS : Advanced Driving Assist System ) によって支援することで、より安心・安全な乗り物となるように開発が進められている。この支援システムは「見る、測る」を車載カメラやレーダー等をはじめとした各種センシングデバイスを用いて周囲の情報を取得し、ＡＩによって制御することによって高度な安心・安全を可能にする。このような支援システム開発者はそれらのセンシングデバイスに対して映像や空間データを用いたシステム検証を行う必要があり、そのためには膨大な走行映像や空間データを解析する必要がある。【０００７】
ところが、実写による走行映像や空間データを用いたシステム検証では、実在のシチュエーションで走行映像や空間データを撮影して検証を行うことはデータが膨大となり非常に困難である。さらには、天候など人間によってはコントロールできない環境を実際に検証に使う必要があり、特にテストをしたいシチュエーションはそもそも現実においては普通に起こりえない希なケースであるうえ、必要な検証映像のスコープが膨大であることから、その実写映像を撮影するために膨大な時間とコストがかかるという問題がある。【０００８】
そこで、本発明は、上記のような問題を解決するものであり、ユーザー操作に応じてリアルタイムにＣＧ画像をレンダリングし、実写映像に合成するインタラクティブなコンテンツの作成を可能とし、その際における、ユーザー操作に対する応答性を確保できる３Ｄグラフィック生成システム、プログラム及び方法を提供することを目的とする。【０００９】
また、本発明は、上記３Ｄグラフィック生成システム等を応用して、入力センサーにとってのリアリティーを再現して、検証したいシチュエーションがコントロール可能なバーチャル環境を構築し、人工知能の検証・学習に有効なバーチャル環境を構築できる上記３Ｄグラフィック生成システム等を応用した人工知能の検証・学習システム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る３Ｄグラフィック生成システムは、
仮想空間内に配置されるマテリアルの画像又は動画である撮影素材を撮影する素材撮影手段と、
前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記撮影に用いた素材撮影手段固有の特性を記述した実カメラプロファイル情報とを取得する実環境取得手段と、
前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、ユーザー操作に基づいて前記３次元オブジェクトを動作させるオブジェクト制御部と、
前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する環境再現部と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画するレンダリング部と
を備えることを特徴とする。【００１１】
また、本発明に係る３Ｄグラフィック生成方法は、
素材撮影手段によって仮想空間内に配置されるマテリアルの画像又は動画である撮影素材を取得するとともに、実環境取得手段によって、前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記撮影に用いた素材撮影手段固有の特性を記述した実カメラプロファイル情報とを取得する処理と、
環境再現部によって、前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する処理と、
オブジェクト制御部によって、前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、ユーザー操作に基づいて前記３次元オブジェクトを動作させる処理と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、レンダリング部によって、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画する処理と
を含むことを特徴とする。【００１２】
これらの発明では、撮影素材像撮影手段を仮想空間の背景のモデルとなる現場に実際に撮影し、その撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、撮影に用いた素材撮影手段固有の特性を記述した実カメラプロファイル情報とを取得しておき、これらの情報に基づいて、素材撮影手段が撮影した撮影素材に対して、コンピューターグラフィックスとして描画された３次元オブジェクトを合成して二次元表示可能に描画する。その際、ターンテーブル環境情報に基づいて、仮想空間内における３次元オブジェクトに対するライティングを設定するとともに、仮想撮影手段の撮影設定に実カメラプロファイル情報を追加し、現場での撮影環境を再現する。【００１３】
これにより本発明によれば、コンピューターグラフィックスをレンダリングする際、自動的にライティングやカメラ固有の特性を、現場における実環境に一致させることができ、操作者の主観によらずにライティングの設定ができ、その操作に熟練が要求されることがない。自動的にライティングを自動的に設定することから、コンピューターゲームのようなＣＧオブジェクトをユーザーが操作してインタラクティブに描画させるシステムにおいても、リアルタイムにレンダリング及び合成処理を行うことができる。【００１４】
上記発明において、前記素材撮影手段は、多方向の映像を撮影して全天球状の背景画を撮影する機能を有し、
前記実環境取得手段は、前記多方向について前記ターンテーブル環境情報を取得し、前記現場を含む現実空間内の光源を再現する機能を有し、
前記レンダリング部は、ユーザーの視点位置を中心とする全天球状に前記撮影素材を接合し、接合された全天球状の背景画に対して前記３次元オブジェクトを合成して描画する機能を有する
ことが好ましい。【００１５】
この場合には、全天球状に映像を映し出すいわゆるＶＲ（Virtual Reality）システムに本発明を適用することができる。例えば、操作者が頭に装着して視界を覆うヘッドマウントディスプレイ（HMD：Head Mount Display）等の装置を用いて３６０°の仮想世界を再現し、全天球映像のユーザー操作に応じて３次元オブジェクトを動作させるゲームなど、インタラクティブなシステムを構築することができる。【００１６】
上記発明において、既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を生成する既知配光理論値生成部と、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を生成する現場理論値生成部と、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを生成する評価部と
をさらに備え、
前記レンダリング部は、前記撮影素材に対して前記３次元オブジェクトを合成する際、前記評価軸データを参照して、前記撮影素材と前記３次元オブジェクトそれぞれの画像特性を相互に合致するように処理した後、前記合成処理を行う
ことが好ましい。【００１７】
この場合には、物性が既知の既知マテリアルを既知の配光条件で撮影した画像の特性と、その既知マテリアルを実際に現場に置いて撮影した画像の特性とを比較し、評価軸を生成し、この評価軸を基準として双方を合致させるように処理をして、合成することができる。この結果、本発明によれば、ライティングやカメラ固有の特性を、定量的に評価することができることから、操作者の主観によらずに現場における実環境に一致させることができ、また、評価軸に合致させることにより、その他の物性や画像特性についてもそれらが相互に合致していることを保証することもでき、合成画像の評価を容易なものとすることができる。【００１８】
さらに、本発明は、カメラセンサーを通じての画像認識に基づいて所定の動作制御を実行する人工知能の機能検証システム及び方法であって、
仮想空間内に配置されるマテリアルと同一素材の実物の画像又は動画を撮影素材として撮影する素材撮影手段と、
前記撮影素材を撮影した現場の光源位置、光源の種類、光量、光の色及び数量のいずれかを含むターンテーブル環境情報と、前記カメラセンサー固有の特性を記述した実カメラプロファイル情報とを取得する実環境取得手段と、
前記仮想空間内に配置される仮想的な３次元オブジェクトを生成し、前記人工知能による前記動作制御に基づいて前記３次元オブジェクトを動作させるオブジェクト制御部と、
前記ターンテーブル環境情報を取得し、取得された前記ターンテーブル環境情報に基づいて、前記仮想空間内における前記３次元オブジェクトに対するライティングを設定するとともに、前記仮想空間内に配置されて前記３次元オブジェクトを撮影する仮想撮影手段の撮影設定に前記実カメラプロファイル情報を追加する環境再現部と、
前記環境再現部によって設定されたライティング及び撮影設定と、前記オブジェクト制御部による制御とに基づいて、前記素材撮影手段が撮影した撮影素材に対して前記３次元オブジェクトを合成して二次元表示可能に描画するレンダリング部と、
前記レンダリング部が描画したグラフィックを前記人工知能に入力する出力部と
を備えることを特徴とする。【００１９】
上記発明では、既知の配光条件の下で、前記素材撮影手段によって、物性が既知の物体である既知マテリアルを撮影して得られた既知マテリアル画像の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、既知配光下における既知配光理論値を生成する既知配光理論値生成部と、
前記既知マテリアルを、前記現場において撮影した撮影素材の画像特性と、前記素材撮影手段に関する前記実カメラプロファイル情報とに基づいて、前記素材撮影手段固有の特性を差し引いた、前記現場における現場理論値を生成する現場理論値生成部と、
前記既知配光理論値と前記現場理論値との合致度を定量的に算定した評価軸データを生成する評価部と
をさらに備えることが好ましい。【００２０】
また、上記発明では、実写素材を用いた教師データとして学習した前記人工知能に対し、前記レンダリング部が描画したグラフィックを入力し、前記人工知能の前記実写素材に対する反応と、前記グラフィックに対する反応とを対比する比較部をさらに備えることが好ましい。【００２１】
上記発明では、前記レンダリング部が描画したグラフィックについて、認識対象となる画像中の特定物に対する領域分割を行うセグメンテーション部と、
領域分割された領域画像と特定のオブジェクトとを関連付けるアノテーション生成手段と、
アノテーション情報と前記領域画像とを関連付けて学習用の教師データを作成する教師データ作成手段と
さらに備えることが好ましい。【００２２】
上記発明では、前記カメラセンサーとは特性が異なるセンサー手段を備え、
前記実環境取得手段は、前記特性が異なるセンサー手段による検出結果を、前記ターンテーブル環境情報と合わせて取得し、
前記レンダリング部は、前記特性が異なるセンサー毎に、センサーから得られる情報に基づく３Ｄグラフィックス画像を生成し、
前記人工知能は、
３Ｄグラフィックス画像が入力されてディープラーニング認識を行う手段と、  ディープラーニング認識結果を上記センサー毎に出力する手段と、
上記センサー毎のディープラーニング認識結果を分析して、その中から１つ又は複数個の認識結果を選択する手段と
を備えることが好ましい。【００２３】
また、上述した本発明に係るシステムは、所定の言語で記述されたプログラムをコンピューター上で実行することにより実現することができる。このようなプログラムを、ユーザー端末やＷｅｂサーバ等のコンピューターにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する３Ｄグラフィック生成システムを容易に構築することができる。
このプログラムは、例えば、通信回線を通じて配布することが可能であり、また、汎用コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述した音声同期処理装置及び音声同期処理方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【発明の効果】
【００２４】
以上述べたように、この発明によれば、現実環境下で撮影した実写映像に、ＣＧ（コンピューターグラフィックス）画像を合成して映像を作成する際、例えば、ゲームアプリケーションのように、ユーザー操作に応じてリアルタイムにＣＧ画像をレンダリングし、実写映像に合成するインタラクティブなコンテンツの作成が可能となり、その際におけるユーザー操作に対する応答性も確保することができる。【００２５】
また、本発明の人工知能の検証・学習によれば、上記３Ｄグラフィック生成システム等を応用して、入力センサーにとってのリアリティーを再現し、検証したいシチュエーションがコントロール可能なバーチャル環境を構築し、人工知能の検証・学習に有効なバーチャル環境を構築することができる。【００２６】
すなわち、本発明の人工知能の検証・学習方法、システム及びプログラムによれば、３Ｄグラフィック生成システムで生成された実写ＣＧ合成画像を、実写映像と同様にディープラーニング学習用の教師データとして使うことができる。これによって、自動運転実現のための学習用教師データ数が飛躍的に増えるために、学習効果を高めるという効果がある。特に、本発明では、リアリティーのあるＣＧ画像を生成する際に、実写画像から抽出した各種パラメータ情報を基にして生成した実写ＣＧ合成画像を利用することから、実写ＣＧ合成画像の高いリアリティー性を、自動運転実現のための実写走行データ等、圧倒的にリソースが不足している領域に利用することで、実写だけの場合に比べて認識率を向上させることができる。
【図面の簡単な説明】
【００２７】
【図１】第１実施形態に係る３Ｄグラフィック生成システムの全体構成を模式的に示すブロック図である。
【図２】第１実施形態に係る３Ｄグラフィック生成方法の流れを示すフロー図である。
【図３】第１実施形態に係る３Ｄグラフィック生成における合成処理を示す説明図である。
【図４】第１実施形態により生成された３Ｄグラフィックを示す説明図である。
【図５】従来のガンマ補正の説明図である。
【図６】第１実施形態に係るガンマ補正の説明図である。
【図７】第１実施形態に係るフィジカルテクスチャリングの流れを示すフロー図である。
【図８】第１実施形態に係る評価部の動作の流れを示す概念図である。
【図９】第２実施形態に係るＡＩの検証・学習の基本的な仕組みを概念的に示す説明図である。
【図１０】第２実施形態に係る先進運転支援システムと３Ｄグラフィック生成システムとの関係を示すブロック図である。
【図１１】第２実施形態に係る３Ｄグラフィック生成システムの全体構成、及び先進運転支援システムを模式的に示すブロック図である。
【図１２】第２実施形態に係る認識機能モジュールによる認識処理の概要を示す説明図である。
【図１３】第２実施形態に係るシステムのＣＧ画像からの歩行者認識結果を示した説明図である。
【図１４】第２実施形態に係るシステムで生成した教師データの例を示した説明図である。
【図１５】第２実施形態に係るディープラーニング認識部の構成を示すブロック図である。
【図１６】第２実施形態に係る教師データ作成部の構成を示すブロック図である。
【図１７】第２実施形態に係る教師データ作成時のセグメンテーションにおいて領域毎の物体と色分けを説明する説明図である。
【図１８】第２実施形態に係る教師データ作成時のセグメンテーションにおいて色分けされた道路上の対象物を説明する説明図である。
【図１９】第２実施形態に係る教師データ作成時のアノテーション処理を説明する説明図である。
【図２０】第２実施形態に係る３Ｄグラフィック生成方法の流れを示すフロー図である。
【図２１】第２実施形態に係る３Ｄグラフィック生成における合成処理を示す説明図である。
【図２２】第２実施形態の変更例１に係るディープラーニング認識部の構成を示すブロック図である。
【図２３】第２実施形態の変更例２に係るディープラーニング認識部の構成を示すブロック図である。
【図２４】第２実施形態の変更例２に係る３Ｄグラフィック生成システムの構成を示すブロック図である。
【図２５】第２実施形態の変更例２において、ＬｉＤＡＲによって生成された３Ｄ点群データの３Ｄグラフィック画像を示す説明図である。
【発明を実施するための形態】
【００２８】
［第１実施形態］
以下に添付図面を参照して、本発明に係る３Ｄグラフィック生成の第１実施形態を詳細に説明する。なお、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【００２９】
（３Ｄグラフィック生成システムの構成）
図１は、本実施形態に係る３Ｄグラフィック生成システムの全体構成を模式的に示すブロック図である。図１に示すように、本実施形態に係る３Ｄグラフィック生成システムは、仮想空間の背景となる実世界の現場風景３を、画像又は動画である撮影素材として撮影する素材撮影装置１０と、ゲーム等のインタラクティブな映像コンテンツを提供するための３Ｄアプリケーションシステム２とから概略構成される。
【００３０】
素材撮影装置１０は、仮想空間４内に配置される背景やマテリアルの画像又は動画である撮影素材を撮影する素材撮影手段であり、全天球形カメラ１１と、全天球形カメラ１１の動作を制御する動作制御装置１２とから構成される。
【００３１】
全天球形カメラ１１は、３６０度パノラマ画像を撮影可能な撮影装置であり、操作者の視点を中心点とし、その中心点から全方位の写真や動画を複数同時に撮影可能となっている。全天球形カメラ１１は、全視野撮影ができるように複数台のカメラを合体させたタイプや、１８０°の広角視野を有する魚眼レンズを表裏に２つ装備したものなどを用いることができる。
【００３２】
動作制御装置１２は、全天球形カメラ１１の動作を制御するとともに、撮影した画像や映像を解析する装置であり、例えば、全天球形カメラ１１に接続されたパーソナルコンピュータやスマートフォン等の情報処理装置によって実現することができる。動作制御装置１２は、素材画像撮影部１２ａと、実環境取得手段１２ｂと、動作制御部１２ｃと、外部インターフェース１２ｄと、メモリ１２ｅとを備える。
【００３３】
素材画像撮影部１２ａは、上記全天球形カメラ１１を通じて、仮想空間４の背景となる画像又は動画である背景画Ｄ２を撮影し、撮影されたデータをメモリ１２ｅに保存するモジュールである。
【００３４】
実環境取得手段１２ｂは、素材画像撮影部１２ａが撮影素材を撮影した現場の光源位置、光源の種類、光量及び数量のいずれかを含むターンテーブル環境情報を取得するモジュールである。ターンテーブル環境情報を取得する方式及び装置としては、全方位の光量や光源の種類を検出するセンサー類を設けてもよく、また、全天球形カメラ１１で撮影した画像や動画を解析することによって、光源の位置、方向、種類、強度（光量）、光の色等を算出してターンテーブル環境情報として生成する。
【００３５】
さらに、実環境取得手段１２ｂは、撮影に用いた素材撮影手段固有の特性を記述した実カメラプロファイル情報を生成する。なお、ここでは、これらのターンテーブル環境情報や実カメラプロファイル情報は、実環境取得手段１２ｂが生成する場合を例示したが、例えば、予めこれらの情報を蓄積しておいてもよく、インターネット等の通信ネットワークを通じてダウンロードするようにしてもよい。
【００３６】
動作制御部１２ｃは、動作制御装置１２全体の動作を管理し、制御するものであり、撮影した撮影素材と、その際に取得したターンテーブル環境情報を関連付けてメモリ１２ｅに蓄積し、外部インターフェース１２ｄを通じて、３Ｄアプリケーションシステム２に送出する。
【００３７】
一方、３Ｄアプリケーションシステム２は、例えば、パーソナルコンピュータ等の情報処理装置で実現することができ、本実施形態では、本発明の３Ｄグラフィック生成プログラムを実行することにより、本発明の３Ｄグラフィック生成システムを構築できる。
【００３８】
３Ｄアプリケーションシステム２は、アプリケーション実行部２１を備えている。このアプリケーション実行部２１は、一般のソフトウェアや、本発明の３Ｄグラフィック生成プログラムなどのアプリケーションを実行するモジュールであり、通常はＣＰＵ等により実現される。なお、本実施形態では、このアプリケーション実行部２１で、例えば、３Ｄグラフィック生成プログラムを実行することによって、３Ｄグラフィックの生成に関わる種々のモジュールがＣＰＵ上に仮想的に構築される。
【００３９】
アプリケーション実行部２１には、外部インターフェース２２と、出力インターフェース２４と、入力インターフェース２３と、メモリ２６とが接続されている。さらに、本実施形態においてアプリケーション実行部２１は、評価部２１ａを備えている。
【００４０】
外部インターフェース２２は、ＵＳＢ端子やメモリーカードスロットなど、外部機器との間でデータの送受信を行うインターフェースであり、本実施形態では、通信を行う通信インターフェースも含まれる。通信インターフェースとしては、例えば、有線・無線ＬＡＮや４Ｇ、ＬＴＥ、３Ｇ等の無線公衆回線の他、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信等によりデータの通信が含まれ、インターネット等の所定の通信プロトコルＴＣＰ／ＩＰを用いたＩＰ網を通じての通信も含まれる。
【００４１】
入力インターフェース２３は、キーボード、マウス、及びタッチパネルなどユーザー操作を入力したり、音声や電波、光（赤外線・紫外線）等が入力されるデバイスであり、カメラやマイク、その他のセンサー類も含まれる。出力インターフェース２４は、映像や音響、その他の信号（赤外線・紫外線、電波等）を出力するデバイスであり、本実施形態では、液晶画面などのディスプレイ２４１ａと、スピーカー２４１ｂが含まれており、生成されるオブジェクトがこのディスプレイ２４１ａに表示され、また、音声データに基づいた音響がオブジェクトの動作に合わせてスピーカー２４１ｂから出力される。
【００４２】
メモリ２６は、ＯＳ（Operating System）やファームウェア、各種のアプリケーション用のプログラム、その他のデータ等などが記憶される記憶装置であり、特に、このメモリ２６内には、本発明に係る３Ｄグラフィックプログラムが格納される。なお、この３Ｄグラフィックプログラムは、ＣＤ-ＲＯＭ等の記録媒体からインストールされたり、通信ネットワーク上のサーバからダウンロードされてインストールされることで格納される。
【００４３】
レンダリング部２５１は、データ記述言語やデータ構造で記述された画像や画面の内容を指示するデータの集合（数値や数式のパラメータ、描画ルールを記述したものなど）を演算処理して、二次元表示可能な画素の集合を描画するモジュールであり、本実施形態では、撮影素材に対して３次元オブジェクトを合成して二次元表示可能な画素に描画する。このレンダリングの元となる情報には、物体の形状、物体を捉える視点、物体表面の質感（テクスチャマッピングに関する情報）、光源、シェーディング条件などが含まれる。具体的には、環境再現部２５２によって設定されたライティングと、オブジェクト制御部２５４による制御とに基づいて、素材画像撮影部１２ａが撮影した撮影素材に対して３次元オブジェクトを合成して二次元表示可能に描画する。
【００４４】
環境再現部２５２は、ターンテーブル環境データＤ１を取得し、取得されたターンテーブル環境データＤ１に基づいて、仮想空間４内における前記３次元オブジェクトに対するライティングを設定するモジュールである。この環境再現部２５２では、仮想空間４内の座標上に設定された光源４２の位置や種類、光量及び数量の他、本実施形態では、ターンテーブル環境データＤ１を参照してガンマ曲線などを調整する。また、環境再現部２５２は、仮想空間４内に配置されて３次元オブジェクトを撮影する仮想的なカメラの撮影設定に実カメラプロファイル情報を追加し、現場で使用したカメラと、仮想的なカメラとの特性が合致するように撮影設定を調節する。
【００４５】
撮影素材生成部２５３は、仮想空間の背景となる画像又は動画である撮影素材を生成、又は取得するモジュールである。この撮影素材は、素材画像撮影部１２ａが撮影したり、アプリケーション実行部２１で実行されている３Ｄ素材製作アプリケーションで製作された３Ｄ素材を取得する。
【００４６】
オブジェクト制御部２５４は、仮想空間４内に配置される仮想的な３次元オブジェクトを生成し、ユーザー操作に基づいて３次元オブジェクトを動作させるモジュールである。具体的には、入力インターフェース２３から入力された操作信号に基づいて、３次元オブジェクトＤ３を動かしつつ、仮想空間４内におけるカメラ視点４１や、光源４２、背景となる背景画Ｄ２との関係を算出する。前記レンダリング部２５１は、このオブジェクト制御部２５４による制御に基づいて、ユーザーの視点位置であるカメラ視点４１を中心とする全天球状に撮影素材を接合して背景画Ｄ２を生成し、この生成された背景画Ｄ２に対して３次元オブジェクトＤ３を合成して描画する。
【００４７】
評価部２１ａは、既知配光理論値と現場理論値との合致度を定量的に算定した評価軸データを生成し、この評価軸データにより、現場で撮影したマテリアルと、レンダリングされた３Ｄ素材をコンポジットする際、これらの配光や画像特性の整合性を評価するモジュールである。本実施形態では、評価部２１ａは、理論値生成部２１ｂを備えている。
【００４８】
この理論値生成部２１ｂは、実際に存在するカメラ（実カメラ）で撮影して得られた画像の特性と、その実カメラの特性とに基づいて、当該実カメラ固有の特性を差し引いた理論値を生成するモジュールである。本実施形態では、既知の配光条件の下で実カメラによって、物性が既知の物体である既知マテリアルを撮影して得られた画像に関する既知配光理論値と、この既知マテリアルを現場において撮影して得られた画像に関する現場理論値とを生成する。
【００４９】
（３Ｄグラフィック生成方法）
以上の構成を有する３Ｄグラフィック生成システムを動作させることによって、本発明の３Ｄグラフィック生成方法を実施することができる。図２は、本実施形態に係る３Ｄグラフィック生成システムの動作を示すフローチャート図である。
【００５０】
先ず、３Ｄオブジェクトである３Ｄ素材を製作する（Ｓ１０１）。この３Ｄ素材製作は、ＣＡＤソフトやグラフィックソフトを用いて、データ記述言語やデータ構造で記述されたデータの集合（オブジェクトファイル）によって、オブジェクトの３次元的な形状や構造、表面のテクスチャなどを定義する。
【００５１】
この３Ｄ素材の製作と併せて、撮影素材の撮影を行う（Ｓ２０１）。この撮影素材の撮影では、素材撮影装置１０を用い、全天球形カメラ１１によって、操作者の視点を中心点とし、その中心点から全方位の写真や動画を複数同時に撮影する。この際、実環境取得手段１２ｂは、素材画像撮影部１２ａが撮影素材を撮影した現場の光源位置、光源の種類、光量及び数量のいずれかを含むターンテーブル環境データＤ１を取得する。一方、素材画像撮影部１２ａでは、撮影した撮影素材を全天球状に繋ぎ合わせるスティッチ処理を行う（Ｓ２０２）。そして、スティッチ処理された背景画Ｄ２と、その際に取得したターンテーブル環境データＤ１とを関連付けてメモリ１２ｅに蓄積し、外部インターフェース１２ｄを通じて、３Ｄアプリケーションシステム２に送出する。
【００５２】
次いで、ステップＳ１０１で製作された３次元オブジェクトのレンダリングを行う（Ｓ１０２）。このレンダリングでは、レンダリング部２５１が、オブジェクトファイルを演算処理して、二次元表示可能な画素の集合である３次元オブジェクトＤ３を描画する。また、ここでのレンダリングでは、図３に示すように、物体の形状、物体を捉える視点、物体表面の質感（テクスチャマッピングに関する情報）、光源、シェーディングなどに関する処理が実行される。このとき、レンダリング部２５１は、ターンテーブル環境データＤ１に基づいて、光源４２を配置するなど、環境再現部２５２により設定されたライティングを行う。
【００５３】
そして、レンダリング部２５１は、図４に示すように、素材画像撮影部１２ａが撮影した背景画Ｄ２に対して３次元オブジェクトＤ３を合成して二次元表示可能に描画するコンポジット処理を行う（Ｓ１０３）。
【００５４】
その後、これらのステップによって描画され、合成された全天球状の背景画Ｄ２と、３次元オブジェクトＤ３は、ディスプレイ２４１ａ等の出力デバイスに表示される（Ｓ１０４）。これにより、ユーザーは、この表示された３次元オブジェクトＤ３に対して、操作信号を入力し、オブジェクトを制御することができる（Ｓ１０５）。
【００５５】
これらステップＳ１０２〜Ｓ１０５の処理は、アプリケーションが終了するまで（Ｓ１０６における「Ｙ」）繰り返される（Ｓ１０６における「Ｎ」）。なお、ステップＳ１０４において、３次元オブジェクトＤ３に対するユーザー操作が入力された場合には、このユーザー操作に応じてオブジェクト制御部２５４により、３次元オブジェクトの移動、変形等が実行され、その移動・変形された３次元オブジェクトについて、次回のレンダリング処理（Ｓ１０２）が実行される。
【００５６】
なお、本実施形態では、上述したステップＳ１０２のレンダリング処理においては、ライティングを実環境から入力し、アセットを物理ベースで構築し、正しいレンダリング結果を得るようにしている。具体的には、以下の処理を行う。
【００５７】
（１）リニアライズ
ここで、上述したレンダリング処理（Ｓ１０２）及びコンポジット処理（Ｓ１０３）で行われる画像階調の応答特性に関する補正について説明する。図５は、従来発生しているガンマ曲線の不一致の説明図であり、図６は、本実施形態で行われるガンマ曲線に対するリニア補正の説明図である。
【００５８】
一般的に、実環境下で撮影した撮影素材に、コンピューターグラフィックスで描かれたＣＧレンダリング素材を合成する場合、図５に示すように、照明位置や照明方向を仮想空間内で再現しても、画像階調の応答特性を示すガンマ曲線が相違している。図示した例では、撮影素材のガンマ曲線Ａと、ＣＧレンダリング素材のガンマ曲線Ｂとが一致しておらず、観察者が違和感を抱くこととなる。
【００５９】
そこで、本実施形態では、図６に示すように、撮影素材のガンマ曲線Ａと、ＣＧレンダリング素材のガンマ曲線Ｂとを共通する傾きの直線となるように調節（リニア化）したうえで、コンポジット処理を行う。これにより、撮影素材のガンマ曲線Ａと、ＣＧレンダリング素材のガンマ曲線Ｂとを一致させる演算処理が大幅に削減できるうえ、ガンマ曲線ＡとＢの双方を完全に一致させることができる。この結果、コンピューターグラフィックスで描かれたＣＧレンダリング素材を合成する際の、観察者の違和感を解消できる。
【００６０】
（２）フィジカルテクスチャリング
また、本実施形態において、上述した３Ｄ素材作成処理（Ｓ１０１）及びレンダリング処理（Ｓ１０２）では、フィジカルテクスチャリングを行う。なお、本実施形態において、３Ｄオブジェクトは、いわゆるポリゴンと呼ばれる３Ｄモデルの表面に質感を与えるために、ポリゴンの表面に二次元画像を貼り付けて構成するテクスチャマッピング処理を行っている。
【００６１】
先ず、本実施形態では、フラットライティングで、実世界の物品や素材のアルベドを撮影する（Ｓ３０１）。このアルベドとは、物体の外部からの入射光に対する反射光の比であり、フラットライティングにより、満遍なく偏りのない光源下で撮影を行うことにより、一般化され安定した値を得ることができる。この際、リニアライズ及びシャドーキャンセルを行う。このリニアライズ及びシャドーキャンセルは、実在する物体を撮影する際、ライティングの偏りをなくしてフラットとしたうえで、光沢などが生じないようにするとともに、影が映り込まないアングルで撮影する。そして、さらに、ソフトウェアで画質の均一化を図り、画像処理によって光沢や影を消去する。その後、このようにフラットライティング及びリニアライズ、シャドーキャンセルによって一般化されたアルベドテクスチャを生成する（Ｓ３０３）。なお、既にこのような一般化されたアルベドテクスチャがライブラリに存在する場合には、これをプロシージャルマテリアルとして流用する（Ｓ３０６）ことで、作業の簡素化を図ることもできる。
【００６２】
そして、３次元オブジェクトのレンダリングに際し、実世界のライティングを再現したターンテーブル環境を構築する（Ｓ３０４）。このターンテーブル環境では、アセット製作のライティングも、異なるソフトウェア間で統一している。この統一したライティング環境において、プリレンダー・リアルタイムレンダーのハイブリッド化を行う。このような環境下において撮影、製作された物理ベースアセットのレンダリングを行う（Ｓ３０５）。
【００６３】
（３）整合評価処理
また、本実施形態では、現場で撮影したマテリアルと、レンダリングされた３Ｄ素材をコンポジットする際、それらの配光や画像特性の整合性を評価する処理を行う。図８は、本実施形態に係る整合評価処理の手順を示す説明図である。
【００６４】
先ず、既知の配光条件の下で、実際に存在する実カメラＣ１によって、物性が既知の実際の物体である既知マテリアルＭ０を撮影する。この既知マテリアルＭ０の撮影は、コーネルボックスと呼ばれる立方体状の小部屋内に設けられた撮影スタジオ内で行い、コーネルボックス５内にオブジェクトを配置することによりＣＧ用テストシーンを構成する。このコーネルボックス５は、奥側５ｅと床５ｃ，天井５ａは白い壁とし，左側には赤い壁５ｂ，右側には緑色の壁５ｄとし、天井５ａに照明５１を設定すると、左右の壁にバウンスした間接光が，室内中央のオブジェクトを淡く照らすようなセッティングとなっている。
【００６５】
この実カメラＣ１で得られた既知マテリアル画像Ｄ４３と、コーネルボックスにおける配光データ（ＩＥＳ：Illuminating Engineering Society）Ｄ４２と、撮影に用いられた実カメラＣ１機種固有のプロファイルＤ４１とを、評価部２１ａに入力する。ここで、配光データＤ４２は、例えばＩＥＳファイル形式とすることができ、コーネルボックス５に配置された照明５１の傾斜角度（鉛直角、水平面の分解角）、ランプ出力（照度値、光度値）、発光寸法、発光形状、発光領域、領域形状の対称性などが含まれる。また、カメラのプロファイルＤ４１は、各カメラの機種に固有の発色傾向(色相及び彩度)やホワイトバランス、色かぶり補正などのカメラキャリブレーションの設定値を記述したデータファイルである。
【００６６】
一方、これと併せて、現場風景３で実際に存在する実カメラＣ２によって、物性が既知の既知マテリアル（グレーボールＭ１，銀玉Ｍ２，マクベスチャートＭ３）を撮影する。これらの既知マテリアルＭ１〜Ｍ３の撮影は、現場風景３の光源下で行い、このときの配光をターンテーブル環境データＤ５３として記録する。この実カメラＣ２で得られた既知マテリアル画像Ｄ５１と、ターンテーブル環境データＤ５３と、撮影に用いられた実カメラＣ２機種固有のプロファイルＤ５２とを、評価部２１ａに入力する。
【００６７】
そして、理論値生成部２１ｂで、実カメラＣ１に関するプロファイルＤ４１に基づいて、既知マテリアル画像Ｄ４３から、実カメラＣ１の機種固有の特性を差し引き（Ｓ４０１）、コーネルボックス５における既知配光下での既知配光理論値を生成する（Ｓ４０２）とともに、実カメラＣ２に関するプロファイルＤ５２に基づいて、既知マテリアル画像Ｄ５１から実カメラＣ２の機種固有の特性を差し引き（Ｓ５０１）、現場風景３の配光下での現場理論値を生成する（Ｓ５０２）。なお、ステップＳ５０２で分離された実カメラＣ２のカメラ特性Ｄ５４は、仮想カメラ設定処理（Ｓ６０２）で利用される。
【００６８】
そして、評価部２１ａにおいて、ステップＳ４０２で生成された既知配光理論値と、Ｓ５０２で生成された現場理論値との合致度を定量的に算定して、評価軸データを生成する。そして、上述したレンダリングＳ１０２及びコンポジットＳ１０３に際し、仮想空間内に配置された仮想カメラＣ３の設定にカメラ特性Ｄ５４を反映させるとともに（Ｓ６０２）、仮想空間内におけるライティングの設定に、ターンテーブル環境データＤ５３を反映させ、これらの設定の下、レンダリングを実行する（Ｓ６０３）。この際、ステップＳ６０３において、背景画Ｄ２に対して３次元オブジェクト（仮想グレーボールＲ１，仮想銀玉Ｒ２，仮想マクベスチャートＲ３等）を合成し、評価軸データを参照して比較評価し（Ｓ６０４）、撮影素材と３次元オブジェクトそれぞれの画像特性を相互に合致するように処理する。なお、この比較評価処理の比較結果を仮想カメラ設定（Ｓ６０２）に再度反映させて、ステップＳ６０２〜Ｓ６０４を繰り返して、精度を高めていくこともできる。
【００６９】
（作用・効果）
以上説明した本実施形態によれば、素材撮影装置１０を仮想空間の背景のモデルとなる現場に実際に撮影し、その撮影した現場の光源位置、光源の種類、光量及び数量のいずれかを含むターンテーブル環境データＤ１を取得しておき、素材画像撮影部１２ａが撮影した撮影素材に対して、コンピューターグラフィックスとして描画された３次元オブジェクトＤ３を合成して二次元表示可能に描画する。この際に、ターンテーブル環境データＤ１に基づいて、仮想空間内における３次元オブジェクトに対するライティングを設定する。これにより本実施形態によれば、コンピューターグラフィックスをレンダリングする際に、ライティングを現場における実環境を自動的に一致させることができ、操作者の主観によらずにライティングの設定ができ、その操作に熟練が要求されることがない。自動的にライティングを自動的に設定することから、コンピューターゲームのようなＣＧオブジェクトをユーザーが操作してインタラクティブに描画させるシステムにおいても、リアルタイムにレンダリング及び合成処理を行うことができる。
【００７０】
また、本実施形態では、全天球状に映像を映し出すいわゆるＶＲシステムに本発明を適用することができる。例えば、操作者が頭に装着して視界を覆うヘッドマウントディスプレイ等の装置を用いて３６０°の仮想世界を再現し、全天球映像のユーザー操作に応じて３次元オブジェクトを動作させるゲームなど、インタラクティブなシステムを構築することができる。
【００７１】
さらに本実施形態では、評価軸データを参照してライティングやカメラ固有の特性を定量的に評価したうえで合成処理を行っていることから、操作者の主観によらずに現場における実環境に一致させることができ、また、評価軸に合致させることにより、その他の物性や画像特性についてもそれらが相互に合致していることを保証することもでき、合成画像の評価を容易なものとすることができる。
【００７２】
［第２実施形態］
次に、本発明の第２実施形態について説明する。本実施形態では、上述した第１実施形態に係る３Ｄグラフィック生成システムを、先進運転支援システムに備えられたＡＩの機能検証及び、ＡＩ学習に応用する場合を例に説明する。図９は本実施形態に係るＡＩの検証・学習の基本的な仕組みを概念的に示し、図１０は先進運転支援システムと３Ｄグラフィック生成システムとの関係を示し、図１１は本実施形態に係る３Ｄグラフィック生成システムの全体構成及び先進運転支援システムを模式的に示す。なお、本実施形態において、上述した第１実施形態は同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。
【００７３】
（先進運転支援システムにおける人工知能の検証・学習の概要）
本実施形態におけるＡＩの検証の基本的な仕組みは、図９に示すように、演繹法的検証システム２１１と、バーチャル環境有効性評価システム２１０と、帰納法的検証システム２１２とから構成される。これら各検証システム２１０〜２１１は、３Ｄアプリケーションシステム２の評価部２１ａによる実現される。
【００７４】
演繹法的検証システム２１１は、第１実施形態で説明した既知配光理論値と現場理論値との合致度を定量的に算定した評価軸データによる評価を積み重ねることによって、３Ｄアプリケーションシステム２で生成される３Ｄグラフィックを用いたＡＩの機能検証及び機械学習の正当性を演繹的に検証する。
【００７５】
一方、帰納法的検証システム２１２は、実写素材を用いた教師データとして学習した人工知能であるディープラーニング認識部６に対し、３Ｄアプリケーションシステム２が描画した３Ｄグラフィックを入力し、人工知能であるディープラーニング認識部６の実写素材に対する反応と、３Ｄグラフィックに対する反応とを対比する比較部としての役割を果たす。具体的にこの帰納法的検証システム２１２は、ディープラーニング認識部６に教師データとして入力された実写素材と同一モチーフの３Ｄグラフィックを３Ｄアプリケーションシステム２で生成し、実写素材に対するディープラーニング認識部６の反応と、これと同一モチーフの３Ｄグラフィックに対する反応とを対比し、その反応が同一であることを証明することによって、３Ｄアプリケーションシステム２で生成される３Ｄグラフィックを用いたＡＩの機能検証及び機械学習の正当性を帰納法的に検証する。
【００７６】
他方、バーチャル環境有効性評価システム２１０は、上述した演繹法的検証システム２１１による検証結果と、帰納法的検証システム２１２による検証結果とを突き合わせて、両者の検証結果に基づいて総合的な評価を行う。これにより、実写による走行映像や空間データを用いたシステム検証において、３Ｄアプリケーションシステム２によって構築されるバーチャル環境を用いて検証・学習を行うことの有効性を評価し、天候等のように人間によってはコントロールできない今日や、通常では起こりえないケースなどを３Ｄグラフィックで再現して、実際に検証・学習に使うことの有効性を証明する。
【００７７】
（リアルタイムシミュレーションループの概要）
そして、本実施形態では、図１０に示すように、先進運転支援システムと３Ｄグラフィック生成システムとを連動させることにより、リアルタイムシミュレーションループを構築し、先進運転支援システムの検証・学習を行うことができる。すなわち、このリアルタイムシミュレーションループは、３Ｄグラフィックの生成と、ＡＩによる画像解析、画像解析に基づく先進運転支援システムに対する挙動制御、挙動制御による挙動に応じた３Ｄグラフィックの変化を同期させ、検証したいシチュエーションがコントロール可能なバーチャル環境を再現し、既存の先進運転支援システムに対して入力することにより、人工知能の検証・学習を行う。
【００７８】
詳述すると、３Ｄアプリケーションシステム２のレンダリング部２５１によって、検証したい環境中を車両オブジェクトＤ３ａが走行しているシチュエーションを再現した３Ｄグラフィックをレンダリングし（Ｓ７０１）、先進運転支援システムのディープラーニング認識部６へ入力する。この３Ｄグラフィックが入力されたディープラーニング認識部６では、ＡＩによる画像解析を行い、走行している環境を認識し、運転支援のための制御信号を挙動シミュレート部７へ入力する（Ｓ７０２）。
【００７９】
この制御信号を受けて挙動シミュレート部７では、実写素材に基づく運転シミュレーションと同様に車両の挙動、すなわちアクセル、ブレーキ、ハンドル等をシミュレートする（Ｓ７０３）。この挙動シミュレートの結果は、挙動データとして３Ｄアプリケーションシステム２にフィードバックされる。この挙動データを受けて、３Ｄアプリケーションシステム２側のオブジェクト制御部２５４では、ゲームエンジン内の環境干渉と同様の処理により、仮想空間４上のオブジェクト（車両オブジェクトＤ３ａ）の挙動を変化させ（Ｓ７０４）、そのオブジェクトの変化に応じた環境変化情報に基づいて、レンダリング部２５１が３Ｄグラフィックを変化させ、その変化された３Ｄグラフィックを先進運転支援システム側に入力する（Ｓ７０１）。
【００８０】
（リアルタイムシミュレーションループによる人工知能の検証・学習システムの構成）
次いで、上述した本実施形態に係るリアルタイムシミュレーションループによって、先進運転支援システムにおける人工知能の検証・学習システムの具体的な構成について説明する。
【００８１】
（１）素材撮影装置
図１１に示すように、この検証・学習システムでは、素材撮影装置１０において仮想空間の背景となる実世界の現場風景３として車載カメラによって撮影した映像を取得するとともに、上述したリアルタイムシミュレーションループを構築し、挙動シミュレートに応じたインタラクティブな映像コンテンツを３Ｄアプリケーションシステム２側から先進運転支援システム側に提供する。
【００８２】
本実施形態では、素材撮影装置１０に、全天球形カメラ１１に代えて車載カメラ１１ａが取付けられている。車載カメラ１１ａは、先進運転支援システム側で挙動シミュレートの対象となっている車種に搭載されている車載カメラと同種のカメラ、或いは実カメラプロファイルが再現可能なカメラとなっている。
【００８３】
（２）３Ｄアプリケーションシステム
３Ｄアプリケーションシステム２における入力インターフェース２３には、本実施形態では、先進運転支援システムの挙動シミュレート部７が接続され、挙動シミュレート部７からの挙動データが入力される。また、出力インターフェース２４には、先進運転支援システムのディープラーニング認識部６が接続され、３Ｄアプリケーションシステム２で生成される３Ｄグラフィックが先進運転支援システム側のディープラーニング認識部６に入力される。
【００８４】
レンダリング部２５１は、本実施形態では、撮影素材に対して、先進運転支援システム側で挙動シミュレートの対象となっている車両Ｄ３ａが３次元オブジェクトとして合成され、その車両に搭載された仮想的な車載カメラ４１ａによる撮影風景が３Ｄグラフィックとして二次元表示可能な画素に描画される。このレンダリングの元となる情報には、物体の形状、物体を捉える視点、物体表面の質感（テクスチャマッピングに関する情報）、光源、シェーディング条件などが含まれる。具体的には、環境再現部２５２によって設定されたライティングと、挙動シミュレート部７からの挙動データに応じたオブジェクト制御部２５４による制御とに基づいて、素材画像撮影部１２ａが撮影した撮影素材に対して車両Ｄ３ａ等の３次元オブジェクトを合成して二次元表示可能に描画する。
【００８５】
環境再現部２５２は、仮想空間４内に配置されて３次元オブジェクトを撮影する仮想的な車載カメラＤ４１ａの撮影設定に実カメラプロファイル情報を追加し、現場で使用した車載カメラ１１ａと、仮想的な車載カメラ４１ａとの特性が合致するように撮影設定を調節する。
【００８６】
撮影素材生成部２５３は、仮想空間の背景となる画像又は動画である撮影素材を生成、又は取得するモジュールである。この撮影素材は、素材画像撮影部１２ａが撮影したり、アプリケーション実行部２１で実行されている３Ｄ素材製作アプリケーションで製作された３Ｄ素材を取得する。
【００８７】
オブジェクト制御部２５４は、仮想空間４内に配置される仮想的な３次元オブジェクトを生成し、ユーザー操作に基づいて３次元オブジェクトを動作させるモジュールであり、本実施形態では、具体的には、入力インターフェース２３から入力された挙動シミュレート部７からの挙動データに基づいて、３次元オブジェクトの１つである車両Ｄ３ａ等を動かしつつ、仮想空間４内における仮想車載カメラ４１ａの視点や、光源４２、背景となる背景画Ｄ２との関係を算出する。前記レンダリング部２５１は、このオブジェクト制御部２５４による制御に基づいて、ユーザーの視点位置である仮想車載カメラ４１ａの視点を中心とする背景画Ｄ２を生成し、この生成された背景画Ｄ２に対して他の３次元オブジェクト（ビル等の建物、歩行者等）を合成して描画する。
【００８８】
（３）評価部
評価部２１ａは、既知配光理論値と現場理論値との合致度を定量的に算定した評価軸データを生成し、この評価軸データにより、現場で撮影したマテリアルと、レンダリングされた３Ｄ素材をコンポジットする際、これらの配光や画像特性の整合性を評価するモジュールである。本実施形態では、評価部２１ａは、理論値生成部２１ｂを備えている。
【００８９】
この理論値生成部２１ｂは、実際に存在するカメラ（実カメラ）で撮影して得られた画像の特性と、その実カメラの特性とに基づいて、当該実カメラ固有の特性を差し引いた理論値を生成するモジュールである。本実施形態では、既知の配光条件の下で実カメラによって、物性が既知の物体である既知マテリアルを撮影して得られた画像に関する既知配光理論値と、この既知マテリアルを現場において撮影して得られた画像に関する現場理論値とを生成する。
【００９０】
また、本実施形態に係る評価部２１ａは、ディープラーニング認識部６を検証する仕組みとして、図９に示すように、演繹法的検証システム２１１と、バーチャル環境有効性評価システム２１０と、帰納法的検証システム２１２とを有する。そして、演繹法的検証システム２１１によって、既知配光理論値と現場理論値との合致度を定量的に算定した評価軸データによる評価を積み重ねることにより、３Ｄアプリケーションシステム２で生成される３Ｄグラフィックを用いたＡＩの機能検証及び機械学習の正当性を演繹的に検証する。また、帰納法的検証システム２１２によって、ディープラーニング認識部６の実写素材に対する反応と、３Ｄグラフィックに対する反応とを対比し、ディープラーニング認識部６に対する３Ｄグラフィックを用いたＡＩの機能検証及び機械学習の正当性を帰納法的に検証する。
【００９１】
なお、上記演繹法的検証システム２１１では、実写画像とＣＧ画像の類似度測定の客観評価的尺度として、画像評価で広く用いられているＰＳＮＲ（Peak Signal to Noise Ratio）や、ＳＳＩＭ（Structural Similarity Index for Image）で数値化する。
詳述すると、ＰＳＮＲは、下式で定義され、値が大きいほど劣化が少なく高画質（低ノイズ）であると評価される。
【数１】
2017171005.tif 000003
一方、ＳＳＩＭは、上記ＰＳＮＲに対して、人間の感覚を正確に指標化することを目的とした評価手法であり、下式で定義され、一般の「0.95以上」の数値高画質と評価される。
【数２】
2017171005.tif 000004
バーチャル環境有効性評価システム２１０は、上述した演繹法的検証システム２１１による検証結果と、帰納法的検証システム２１２による検証結果とを突き合わせて、両者の検証結果に基づいて総合的な評価を行うモジュールである。
この評価は、例えば、下表のように、各検証結果を対比可能に表示する。なお、表１は順光時の評価を例示し、表２は逆光時の評価を例示する。
【表１】
2017171005.tif 000005
【表２】
2017171005.tif 000006
これらの評価値が所定の範囲に収まれば、実写素材とＣＧ素材とが近似していると判定され、実写素材を用いた教師データによって学習した学習データに対し、上述した第１実施形態で説明した３Ｄアプリケーションシステム２により生成されたＣＧ画像を実写素材と同様に教師データ又は学習データとして用い得ることが検証される。
【００９２】
先進運転支援システムは、ディープラーニング認識部６と、挙動シミュレート部７とから概略構成され、３Ｄアプリケーションシステム２のレンダリング部２５１から、検証したい環境中を車両オブジェクトＤ３ａが走行しているシチュエーションを再現した３Ｄグラフィックがディープラーニング認識部６へ入力される。
【００９３】
ディープラーニング認識部６は、入力された実写映像又は３ＤグラフィックについてＡＩによる画像解析を行い、走行している環境及び映像中の障害物を認識し、運転支援のための制御信号を挙動シミュレート部７へ入力するモジュールであり、３Ｄアプリケーションシステム２で生成された３Ｄグラフィックは、３Ｄアプリケーションシステム２側の出力インターフェース２４を通じて取得される。また、このディープラーニング認識部６には、既存の実写映像と同一モチーフの３Ｄグラフィックが検証用データとして、普通では起こりえない希なシチュエーションを再現した３Ｄグラフィックが教師データとして入力される。検証用データの認識率により機能検証を行うことができ、教師データにより機械学習が可能となる。
【００９４】
挙動シミュレート部７は、ディープラーニング認識部６からの制御信号を受けて、車両の挙動、すなわちアクセル、ブレーキ、ハンドル等をシミュレートするモジュールである。この挙動シミュレート部７による挙動シミュレートの結果は、挙動データとして、入力インターフェース２３を通じて、３Ｄアプリケーションシステム２にフィードバックされる。
【００９５】
（４）ディープラーニング認識部
ディープラーニング認識部６は、いわゆるディープラーニング（深層学習）により、画像認識を行うモジュールである。このディープラーニングは、現在多くの分野で有用性が認められ、実用化が進んでいる。囲碁や将棋、チェスの世界王者に対して、ディープラーニング学習機能を持ったＡＩが勝利を収めている。また画像認識の分野でも他のアルゴリズムよりも優秀な結果が数多く、学会などで報告されている。このようなディープラーニング認識を自動車の自動運転実現のために、走行中の相手車両や歩行者、信号機、パイロンなどの各種障害物を高精度に認識、検出するために導入する動きが進んでいる。
【００９６】
本実施形態においても、実写映像とＣＧ画像を合成した画像を、自動運転実現のための学習データとして機能検証に利用する。具体的には、図１１に示すように、３Ｄアプリケーションシステム２側で生成された３Ｄグラフィックス合成画像Ｄ６１が入力されたディープラーニング認識部６では、所定のディープラーニングのアルゴリズムに従って、３Ｄグラフィックス合成画像Ｄ６１について画像認識を実行し、その実行結果であるディープラーニング認識結果Ｄ６２を出力する。このディープラーニング認識結果Ｄ６２としては、例えば自動運転のための路面走行の状況では、車両、歩行者、自転車、信号機、パイロン等の対象物の領域である。なお、この領域はＲＯＩ（Region of Interest）と呼ばれ、矩形の左上、右下の点のＸＹ座標で示される。
【００９７】
ディープラーニング認識部６に実装されたアルゴリズムとしては、本実施形態では、ニューラルネットワークの多層化、特に３層以上のものを備え、人間の脳のメカニズムを模倣した学習及び認識システムである。この認識システムに画像等のデータを入力すると、第１層から順番にデータが伝搬され、後段の各層で順番に学習が繰り返される。この過程では画像内部の特徴量が自動で計算される。
【００９８】
この特徴量とは問題の解決に必要な本質的な変数であり、特定の概念を特徴づける変数である。この特徴量を抽出できれば問題の解決になり、パターン認識や画像認識に大きな効果が得られることがわかっている。２０１２年にはＧｏｏｇｌｅ社が開発したＧｏｏｇｌｅ  Ｂｒａｉｎが猫の概念を学習させ、自動で猫の顔を認識することに成功している。このディープラーニング学習が現在ＡＩ研究の中心的な位置を占めるようになっており、社会のあらゆる分野に応用が進んでいる。本実施形態のトピックである自動車の自動運転においても、将来的にＡＩの機能を持った車両が、走行中に天気や他の車両、障害物などの外部要因を認識しながら安全走行を行うことが期待されている。
【００９９】
ディープラーニング認識部６においても、３Ｄグラフィックス合成画像Ｄ６１が入力されて、画像中の特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンによりオブジェクトを認識する。この認識処理の概要を図１２に示す。同図に示すように、ディープラーニング認識部６の認識機能モジュールは、多クラス識別器であり、複数の物体が設定され、複数の物体の中から特定の特徴点を含むオブジェクト６０１（ここでは、「人」）を検出する。この認識機能モジュールは、入力ユニット（入力層）６０７、第１重み係数６０８、隠れユニット（隠れ層）６０９、第２重み係数６１０、及び出力ユニット（出力層）６１１を有する。
【０１００】
入力ユニット６０７には複数個の特徴ベクトル６０２が入力される。第１重み係数６０８は、入力ユニット６０７からの出力に重み付けする。隠れユニット６０９は、入力ユニット６０７からの出力と第１重み係数６０８との線形結合を非線形変換する。第２重み係数６１０は隠れユニット６０９からの出力に重み付けをする。出力ユニット６１１は、各クラス（例えば、車両、歩行者、及びバイク等）の識別確率を算出する。ここでは出力ユニット６１１を３つ示すが、これに限定されない。出力ユニット６１１の数は、物体識別器が検出可能な物体の数と同じである。出力ユニット６１１の数を増加させることによって、車両、歩行者、及びバイクの他に、例えば、二輪車、標識、及びベビーカー等、物体識別器が検出可能な物体が増加する。
【０１０１】
本実施形態に係るディープラーニング認識部６は、三層ニューラルネットワークの例であり、物体識別器は、第１重み係数６０８及び第２重み係数６１０を、誤差逆伝播法を用いて学習する。また、ディープラーニング認識部６は、ニューラルネットワークに限定されるものではなく、多層パーセプトロン及び隠れ層を複数層重ねたディープニューラルネットワークであってもよい。この場合、物体識別器は、第１重み係数６０８及び第２重み係数６１０をディープラーニング（深層学習）によって学習すればよい。また、ディープラーニング認識部６が有する物体識別器が多クラス識別器であるため、例えば、車両、歩行者、及びバイク等のような複数の物体を検出できる。
【０１０２】
図１３は３Ｄグラフィックス合成画像Ｄ６１から歩行者を、ディープラーニングの技術を用いて認識・検出した例である。矩形で囲まれた画像領域が歩行者であり、自車両に近い箇所から遠い箇所に至るまで正確に検出できていることがわかる。上記の矩形領域で囲まれた歩行者が、ディープラーニング認識結果Ｄ６２の情報として出力され、挙動シミュレート部７に入力されることになる。
【０１０３】
また、本実施形態に係るディープラーニング認識部６は、図１５に示すように、検証用のオブジェクト記憶部６ａ及び３Ｄグラフィックス合成画像記憶部６ｂを備えている。
【０１０４】
オブジェクト記憶部６ａは、通常のディープラーニング認識処理で認識された認識結果であるノードを記憶する記憶装置である。この通常のディープラーニング認識としては、先進運転支援システム側に備えられた既存の実映像入力システム６０から入力される実写映像Ｄ６０に対する画像認識が含まれる。
【０１０５】
一方、３Ｄグラフィックス合成画像記憶部６ｂは、３Ｄグラフィックに基づくディープラーニング認識処理で認識された認識結果であるノードを記憶する記憶装置である。詳述すると、ディープラーニング認識部６では、通常の車載カメラから入力される実写映像と、３Ｄアプリケーションシステム２側から入力される３Ｄグラフィックとに基づいてディープラーニングの認識が行われ、ディープラーニング認識結果Ｄ６２が出力されるが、通常の実写映像に基づくディープラーニングに関する動作と並行又は同期させて、その実写映像と同一モチーフの３Ｄグラフィックを３Ｄグラフィックス合成画像記憶部６ｂに記憶・保持させて、認識率を向上させる。
【０１０６】
これによって、例えばディープラーニング認識部６は、ディープラーニング認識部６が通常備えているオブジェクト記憶部６ａと、３Ｄグラフィックス合成画像記憶部６ｂとを併用して、いずれかの記憶手段又は両方を用いて、認識率を向上させることが期待できる。オブジェクト記憶手段１５を用いたディープラーニング認識を行うモデルと、３Ｄグラフィックス合成画像記憶部６ｂを用いたディープラーニング認識を行うモデルとを並行、又は同期させて実行し、両者の出力に基づき、帰納法的検証システム２１２において、出力ユニット６１１のうちで同一ノードを比較して帰納法的検証を行う。比較の結果、識別確率の高い方を選択し、学習効果として反映させることによって認識率を向上させることができる。
【０１０７】
（５）教師データ提供部
さらに、図１６に示すような、ディープラーニング認識部６には、教師学習データＤ８３を提供する教師データ提供部８が接続可能となっている。教師データ提供部８は、セグメンテーション部８１と、教師データ作成部８２と、アノテーション生成部８３とを備えている。
【０１０８】
セグメンテーション部８１は、ディープラーニング認識を行うために、認識対象となる画像中の特定物の領域分割（セグメンテーション）を行うモジュールである。詳述すると、ディープラーニング認識を行うためには、一般に画像中の特定物の領域分割を行う必要があり、自動車の走行時には、相手車両の他にも歩行者、信号機、ガードレール、自転車、街路樹などの様々な対象物に対応し、高精度かつ高速に認識して、安全な自動運転を実現する。
【０１０９】
セグメンテーション部８１は、３Ｄアプリケーションシステム２からの３Ｄグラフィックス合成画像Ｄ６１や既存の実映像入力システム６０からの実写映像Ｄ６０など、種々の画像に対してセグメンテーションを行い、図１７に示すような、様々な被写体画像毎に色分けしたセグメンテーションマップであるセグメンテーション画像Ｄ８１を生成する。セグメンテーションマップには、図１７中下部に示すような、オブジェクト（被写体）毎に割り当てる色情報が付加されている。例えば、草は緑、飛行機は赤、建物は橙、牛は青、人物は黄土色などである。また、図１８は、道路上のセグメンテーションマップの例であり、同図中左下は実写の画像、画面右下はセンサーの撮像画像であり、同図中央はセグメンテーションされた各領域画像で、道路は紫色、森林は緑色、障害物は青色、人物は赤色等により、各オブジェクトを図示している。
【０１１０】
アノテーション生成部８３は、各々の領域画像と特定のオブジェクトとを関連付けるアノテーションを行うモジュールである。このアノテーションとは、領域画像に関連付けられた特定のオブジェクトに対して関連する情報（メタデータ）を注釈として付与することであり、ＸＭＬ等の記述言語を用いてメタデータをタグ付けし、多様な情報を「情報の意味」と「情報の内容」に分けてテキストで記述する。このアノテーション生成部８３により付与されるＸＭＬは、セグメンテーションされた各オブジェクト（上記では「情報の内容」）と、その情報（上記では「情報の意味」、例えば人物、車両、信号機などの領域画像）とを関連付けて記述するために用いられる。
【０１１１】
図１９はある道路をＣＧで再現した画像に対してディープラーニング認識技術によって、車両領域画像（ｖｅｈｉｃｌｅ）、人物領域画像（ｐｅｒｓｏｎ）を識別して、各領域を矩形で抽出してアノテーションを付加した結果である。矩形は左上点のＸＹ座標と右下点のＸＹ座標で領域を定義することができる。
【０１１２】
図１９に例示したアノテーションをＸＭＬ言語で記述すると、例えば、＜ａｌｌ＿ｖｅｈｉｃｌｅｓ＞〜＜／ａｌｌ＿ｖｅｈｉｃｌｅｓ＞には図中のすべてのｖｅｈｉｃｌｅ（車両）の情報が記述され、１番目の道路のＶｅｈｉｃｌｅ−１では矩形領域として左上の座標が（１００，１２０）、右下の座標が（１５０，１５０）で定義されている。同様に、＜ａｌｌ＿ｐｅｒｓｏｎｓ＞〜＜／ａｌｌ＿ｐｅｒｓｏｎｓ＞には図中のすべてのｐｅｒｓｏｎ（人物）の情報が記述され、例えば１番目の道路のＰｅｒｓｏｎ−１では矩形領域として左上の座標が（２００，１５０）、右下の座標が（２２０，１７０）で定義されていることがわかる。
【０１１３】
したがって、画像中に複数台の車両がある場合には、上記の要領でＶｅｈｉｃｌｅ−２から順に生成すれば良い。同様にして他のオブジェクトについても、例えば自転車の場合にはｂｉｃｙｃｌｅ、信号機の場合にはｓｉｇｎａｌ，  樹木の場合にはｔｒｅｅをタグ情報として使えばよい。
【０１１４】
カメラ１０ａによって出力された実写映像Ｄ６０は、実施形態１で述べたように、３Ｄアプリケーションシステム２からの出力である３Ｄグラフィックス合成画像Ｄ６１としてレンダリング部２５１によって合成され、３Ｄグラフィックス合成画像Ｄ６１は、セグメンテーション部８１に入力されて、上記で述べたセグメンテーション部８１に従って例えば図１７のように色分けされた領域に分割される。
【０１１５】
その後、セグメンテーション画像Ｄ８１（色分け後）が入力されたアノテーション生成部８３では、例えばＸＭＬ記述言語によって記述され、アノテーション情報Ｄ８２が上記教師データ作成部８２に入力される。教師データ作成部８２では、前記セグメンテーション画像Ｄ８１とアノテーション情報Ｄ８２をタグ付けして、ディープラーニング認識用の教師データを作成する。これらのタグ付けされた教師学習データＤ８３が最終的な出力結果になる。
【０１１６】
（リアルタイムシミュレーションループによる人工知能の検証・学習方法）
以上の構成を有するリアルタイムシミュレーションループによる人工知能の検証・学習システムを動作させることによって、本発明の人工知能の検証・学習方法を実施することができる。図２０は、本実施形態に係る人工知能の検証・学習システムの動作を示し、図２１は、本実施形態での３Ｄグラフィック生成における合成処理を示す。
【０１１７】
（１）３Ｄグラフィック生成処理
ここで、本実施形態に係る先進運転支援システムと連動したリアルタイムシミュレーションループにおける３Ｄグラフィック生成処理について説明する。先ず、予め３Ｄオブジェクトである３Ｄ素材を製作する（Ｓ８０１）。この３Ｄ素材製作は、ＣＡＤソフトやグラフィックソフトを用いて、データ記述言語やデータ構造で記述されたデータの集合（オブジェクトファイル）によって、車両Ｄ３ａ等のオブジェクトの３次元的な形状や構造、表面のテクスチャなどを定義する。
【０１１８】
この３Ｄ素材の製作と併せて、走行環境に関する撮影素材の撮影を行う（Ｓ９０１）。この撮影素材の撮影では、素材撮影装置１０を用い、車載カメラ１１ａよって、仮想的な車載カメラ４１ａの視点を中心点とした写真や動画を撮影する。この際、実環境取得手段１２ｂは、素材画像撮影部１２ａが撮影素材を撮影した現場の光源位置、光源の種類、光量及び数量のいずれかを含むターンテーブル環境データＤ１を取得する。一方、素材画像撮影部１２ａでは、撮影した撮影素材を全天球状に繋ぎ合わせるスティッチ処理を行う（Ｓ９０２）。そして、スティッチ処理された背景画Ｄ２と、その際に取得したターンテーブル環境データＤ１とを関連付けてメモリ１２ｅに蓄積し、外部インターフェース１２ｄを通じて、３Ｄアプリケーションシステム２に送出する。
【０１１９】
そして、先進運転支援システム側における挙動シミュレーションと同期させて、ステップＳ８０１で製作された３次元オブジェクトのレンダリングを行う（Ｓ８０２）。このレンダリングでは、レンダリング部２５１が、オブジェクトファイルを演算処理して、二次元表示可能な画素の集合である３次元オブジェクトＤ３を描画する。このとき、レンダリング部２５１は、ターンテーブル環境データＤ１に基づいて、光源４２を配置するなど、環境再現部２５２により設定されたライティングを行う。
【０１２０】
そして、レンダリング部２５１は、素材画像撮影部１２ａが撮影した背景画Ｄ２に対して３次元オブジェクトＤ３を合成して二次元表示可能に描画するコンポジット処理を行う（Ｓ８０３）。その後、これらのステップによって描画され、合成された背景画Ｄ２と、３次元オブジェクトＤ３は、出力インターフェース２４を介してディープラーニング認識部６に入力される（Ｓ８０４）。この入力を受けてディープラーニング認識部６では、ＡＩによる画像解析を行い、走行している環境を認識し、運転支援のための制御信号を挙動シミュレート部７へ入力する。この制御信号を受けて挙動シミュレート部７では、実写素材に基づく運転シミュレーションと同様に車両の挙動、すなわちアクセル、ブレーキ、ハンドル等をシミュレートし、その挙動シミュレートの結果は、挙動データとして３Ｄアプリケーションシステム２にフィードバックされる。この挙動データを受けて、３Ｄアプリケーションシステム２側のオブジェクト制御部２５４では、ゲームエンジン内の環境干渉と同様の処理により、車両オブジェクトＤ３ａ及びその他の仮想空間４上のオブジェクトの挙動を変化させるオブジェクト制御を行う（Ｓ８０５）。このオブジェクト制御により、３次元オブジェクトの移動、変形等が実行され、その移動・変形された３次元オブジェクトについて、次回のレンダリング処理（Ｓ８０２）が実行される。
【０１２１】
これらステップＳ８０２〜Ｓ８０５の処理は、アプリケーションが終了するまで（Ｓ８０６における「Ｙ」）繰り返され（Ｓ８０６における「Ｎ」）、フィードバックされた挙動シミュレートの結果に基づいて、レンダリング部２５１が３Ｄグラフィックを変化させ、その変化された３Ｄグラフィックが、先進運転支援システム側における挙動シミュレートと継続的に連動され、リアルタイムに先進運転支援システム側に入力される（Ｓ７０１）。
【０１２２】
（２）バーチャル環境有効性評価処理
次いで、上述したリアルタイムシミュレーションループにおいて、人工知能の検証について詳述する。なお、本実施形態における評価処理では、上述した第１実施形態における整合評価処理と、使用するカメラの種類及び実カメラプロファイル、三次元オブジェクト、レンダリング後のＡＩ機能の検証が異なるのみで、全体的な処理の流れは概ね同様であり、その説明は適宜省略する。
【０１２３】
先ず、演繹法的検証にあたっては、第１実施形態と同様に、既知の配光条件の下で、実際に存在する実カメラＣ１によって、物性が既知の実際の物体である既知マテリアルＭ０を撮影し、この実カメラＣ１で得られた既知マテリアル画像Ｄ４３と、コーネルボックスにおける配光データＤ４２と、撮影に用いられた実カメラＣ１機種固有のプロファイルＤ４１とを、評価部２１ａに入力する。
【０１２４】
これと併せて、現場風景３で実際に存在する実カメラＣ２によって、実際の環境を既知マテリアル画像Ｄ５１として撮影する。この環境の撮影は、現場風景３の光源下で行い、このときの配光をターンテーブル環境データＤ５３として記録する。この実カメラＣ２で得られた既知マテリアル画像Ｄ５１と、ターンテーブル環境データＤ５３と、撮影に用いられた車載カメラである実カメラＣ２機種固有のプロファイルＤ５２とを、評価部２１ａに入力する。
【０１２５】
そして、理論値生成部２１ｂで、実カメラＣ１に関するプロファイルＤ４１に基づいて、既知マテリアル画像Ｄ４３から、実カメラＣ１の機種固有の特性を差し引き（Ｓ４０１）、コーネルボックス５における既知配光下での既知配光理論値を生成する（Ｓ４０２）とともに、車載カメラである実カメラＣ２に関するプロファイルＤ５２に基づいて、既知マテリアル画像Ｄ５１から実カメラＣ２の機種固有の特性を差し引き（Ｓ５０１）、現場風景３の配光下での現場理論値を生成する（Ｓ５０２）。
【０１２６】
そして、評価部２１ａにおいて、ステップＳ４０２で生成された既知配光理論値と、Ｓ５０２で生成された現場理論値との合致度を定量的に算定して、評価軸データを生成する。そして、上述したレンダリングＳ１０２及びコンポジットＳ１０３に際し、仮想空間内に配置された車載カメラと同等の仮想カメラＣ３の設定を行う。ここでは、車載カメラのカメラ特性Ｄ５５を、仮想カメラＣ３の設定に反映させるとともに（Ｓ６０２）、仮想空間内におけるライティングの設定には、検証したい希な環境や、撮影済みの実写映像と同一モチーフの環境を再現したターンテーブル環境データを反映させ、これらの設定の下、レンダリングを実行する（Ｓ６０３）。この際、ステップＳ６０３において、背景画Ｄ２に対して３次元オブジェクト（建物や歩行者等）を合成し、評価軸データを参照して演繹法的な比較評価を行う（Ｓ６０４）。
【０１２７】
具体的には、演繹法的検証システム２１１において、既知配光理論値と現場理論値との合致度を定量的に算定した評価軸データによる評価を積み重ねることによって、３Ｄアプリケーションシステム２で生成される３Ｄグラフィックを用いたＡＩの機能検証及び機械学習の正当性を演繹的に検証する。
【０１２８】
一方、ステップＳ６０３におけるレンダリングによって生成された３Ｄグラフィックは、先進運転支援システム側のＡＩ学習のために提供され（Ｓ６０５）、帰納法的検証を行う。具体的には、実写素材を用いた教師データとして学習した人工知能であるディープラーニング認識部６に対し、ステップＳ６０３で生成された３Ｄグラフィックを入力し、帰納法的検証システム２１２において、ディープラーニング認識部６の実写素材に対する反応と、３Ｄグラフィックに対する反応と対比する（Ｓ６０４）。このとき、帰納法的検証システム２１２は、ディープラーニング認識部６に教師データとして入力された実写素材と同一モチーフの３Ｄグラフィックを３Ｄアプリケーションシステム２で生成し、実写素材に対するディープラーニング認識部６の反応と、これと同一モチーフの３Ｄグラフィックに対する反応とを対比する。
【０１２９】
そして、ステップＳ６０４では、バーチャル環境有効性評価システム２１０によって、演繹法的検証システム２１１による検証結果と、帰納法的検証システム２１２による検証結果とを突き合わせて、両者の検証結果に基づいて総合的な評価を行う。
【０１３０】
（作用・効果）
本実施形態によれば、第１実施形態で説明した３Ｄグラフィック生成システム等を応用して、入力センサーにとってのリアリティーを再現し、検証したいシチュエーションがコントロール可能なバーチャル環境を構築し、人工知能の検証・学習に有効なバーチャル環境を構築することができる。
【０１３１】
［変更例］
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
【０１３２】
（変更例１）
例えば、上述した第２実施形態では、車載カメラ１１ａが単一のカメラで構成されていた場合を例に説明したが、図２２に示すように、複数個のカメラやセンサーで構成してもよい。
【０１３３】
自動運転における安全性向上のためには、複数個のセンサーを搭載することが必須となっている。したがって、本変更例のように複数個のセンサーを用いて撮像した画像から３Ｄグラフィックス合成画像を作成し、それらを複数のディープラーニング認識部６１〜６ｎで認識することで、画像中の被写体の認識率を向上させることができる。
【０１３４】
また、上述した第２実施形態では、１台の車両に複数個のセンサーを搭載する例を述べたが、路上を走行する複数台の車両に搭載されたセンサーの撮像画像を同様の手段によって、複数のディープラーニング認識部でそれぞれ認識することもできる。実際には複数台の車両が同時に走行するケースが多いことから、各ディープラーニング認識部６１〜６ｎによるそれぞれの認識結果Ｄ６２１〜Ｄ６２ｎを、学習結果同期部８４によって同一時間軸に同期させて、最終的な認識結果をＤ６２として学習結果同期部８４から送出する。
【０１３５】
例えば、図１９に示すような３Ｄグラフィックス合成画像は、路上に複数台の車両が走行している状態を撮影したものであり、画像中の車両は、３Ｄグラフィックス技術で生成されたものである。これらの車両に疑似的にセンサーを搭載することで、個々の車両の視点からの画像を取得することができる。そしてそれらの車両からの視点の３Ｄグラフィックス合成画像をディープラーニング認識部６１〜６ｎに入力して、認識結果を得ることができる。
【０１３６】
（変更例２）
次いで、複数種のセンサーを使った別の変更例について説明する。上述した変更例１では、同一種類のセンサー、例えば同一種類のイメージセンサーを想定していたのに対し、本変更例では、異なる種類のセンサーを搭載した場合を示している。
【０１３７】
具体的に、図２３に示すように、素材撮影装置１０には異なる種類のセンサー１０ａ及び１０ｂが接続されている。ここでは、センサー１０ａは上述した実施形態と同様に、映像を撮影するＣＭＯＳセンサー又はＣＣＤセンサーカメラである。一方、センサー１０ｂは、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）であり、パルス状に発行するレーザー照射に対する散乱光を測定して、遠距離にある対象物までの距離を測定するデバイスであり、自動運転の高精度化には必須なセンサーの１つとして注目されている。
【０１３８】
センサー１０ｂ（ＬｉＤＡＲ）に用いられるレーザー光としてはマイクロパルスで近赤外光（例えば９０５ｎｍの波長）が用いられ、スキャナー及び光学系としてのモータ、ミラー、レンズなどから構成される。一方、センサー１０ｂを構成する受光器、信号処理部では反射光を受光し、信号処理によって距離を算出する。ここでＬｉＤＡＲに採用されている手段としては、ＴＯＦ方式（Time of Flight）と呼ばれているものがあり、立ち上がり時間が数ｎｓで、光ピークパワーが数１０Ｗの超短パルスを測定物体に向けて照射し、その超短パルスが測定物体で反射して受光素子に戻ってくるまでの時間ｔを測定する。物体までの距離をＬ、光速をｃとすると、
Ｌ＝（ｃ×ｔ）／２
により算出される。
【０１３９】
このＬｉＤＡＲシステムの基本的な動作としては、変調されたレーザー光が回転するミラーで反射され、レーザー光が左右に振られ、或いは３６０°で回転されることで走査され反射して戻ってきたレーザー光が、再び検出器（受光器及び信号処理部）で捕捉される。補足された反射光は、最終的には、回転角度に応じた信号強度が示された点群データが得られる。
【０１４０】
そして、このような構成の本変更例では、画像を撮影するカメラ１０ａで撮影された映像に基づく３Ｄグラフィックス合成画像Ｄ６１は、２次元平面の画像であり、ディープラーニング認識部６は、この３Ｄグラフィックス合成画像Ｄ６１に対する認識を実行する。
【０１４１】
一方、センサー１０ｂにより取得された点群データについては、３Ｄアプリケーションシステム２側に点群データ用に追加されたモジュールを用いて処理する。本実施形態では、レンダリング部２５１に３Ｄ点群データグラフィック画像生成部２５１ａが設けられ、環境再現部２５２にはセンサーデータ抽出部２５２ａが設けられ、撮影素材生成部２５３には３Ｄ点群データ生成部２５３ａが設けられている。
【０１４２】
そして、センサー１０ｂにより取得された点群データについては、センサーデータ抽出部２５２ａによって、センサー１０ｂによって取得されたセンサーデータが抽出され、撮影素材生成部２５３の３Ｄ点群データ生成部２５３ａに受け渡される。３Ｄ点群データ生成部２５３ａでは、センサーデータ抽出部２５２ａから入力されたセンサーデータに基づいて、反射光を受光してＴＯＦの原理で被写体までの距離を算出することで、３Ｄ点群データを生成する。この３Ｄ点群データは、オブジェクト制御部２５４で仮想空間４上のオブジェクトとともに、３Ｄ点群データグラフィック画像生成部２５１ａに入力され、３Ｄ点群データが３Ｄグラフィック画像化される。
【０１４３】
この３Ｄグラフィック画像化された３Ｄ点群データグラフィック画像Ｄ６４では、例えば図２５に示す中央の走行車両の上に設置したＬｉＤＡＲから３６０度全方位にレーザー光を放射して反射光を測定した結果得られた点群データとすることができ、色の強弱（濃度）は反射光の強さを示す。なお、隙間など空間が存在しない部分は反射光がないので、黒色になっている。
【０１４４】
図２５に示すように、実際の点群データから相手車両や歩行者、自転車などの対象オブジェクトを、３次元座標を持ったデータとして取得できるので、これらの対象オブジェクトの３Ｄグラフィック画像を容易に生成することが可能になる。具体的には、レンダリング部２５１の３Ｄ点群データグラフィック画像生成部２５１ａにおいて、点群データを整合させることで複数個のポリゴンデータを生成し、３Ｄグラフィックはこれらのポリゴンデータをレンダリングすることで描画される。
【０１４５】
そして、このように生成された３Ｄ点群データグラフィック画像Ｄ６４は、ディープラーニング認識部６に入力されて、同部において３Ｄ点群データ用に学習された認識手段によって認識が実行される。これにより、上述した実施形態のように、イメージセンサー用の画像で学習されたディープラーニング認識手段とは異なる手段を用いることになる。この結果、本変更例によれば、非常に遠方にある対向車はイメージセンサーでは取得できない可能性が高い場合であっても、ＬｉＤＡＲによれば数百メートル先の対向車の大きさや形状まで取得できるため、認識精度を向上させることができる。以上により、上記変更例によれば、異なる性質又は異なるデバイスのセンサーを複数装備して、これらに対するディープラーニング認識部６１〜６ｎによる認識結果を分析部８５で分析して、最終的な認識結果Ｄ６２として出力する。
【０１４６】
なお、この分析部８５は例えばクラウドなどのネットワークの外部に配置させてもよい。この場合には、１台当たりのセンサーの数が今後急激に増加し、ディープラーニング認識処理の計算負荷が増大するような場合であっても、ネットワークを通じて外部で対応可能な処理については大規模なコンピューティングパワーのあるクラウドで実行し、その結果をフィードバックすることで、処理効率を向上させることができる。
また、上記の変更例では、ＬｉＤＡＲセンサーを例にとって説明したが、他にもミリ波センサーや夜間に有効な赤外線センサーを用いることも有効である。
【符号の説明】
【０１４７】
Ｃ１，Ｃ２…実カメラ
Ｃ３…仮想カメラ
Ｄ１，Ｄ５３…ターンテーブル環境データ
Ｄ２…背景画
Ｄ３…次元オブジェクト
Ｄ４１，Ｄ５２…プロファイル
Ｄ４２…配光データ
Ｄ４３，Ｄ５１…既知マテリアル画像
Ｄ５４…カメラ特性
Ｄ５５…車載カメラ特性
ＬＡＮ…有線・無線
Ｍ０，Ｍ１〜Ｍ３…既知マテリアル
３…現場風景
４…仮想空間
５…コーネルボックス
６…ディープラーニング認識部
６ａ…オブジェクト記憶部
６ｂ…３Ｄグラフィックス合成画像記憶部
７…挙動シミュレート部
８…教師データ提供部
１０…素材撮影装置
１１…全天球形カメラ
１２…動作制御装置
１２ａ…素材撮影部
１２ｂ…実環境取得手段
１２ｃ…動作制御部
１２ｄ…外部インターフェース
１２ｅ…メモリ
２１…アプリケーション実行部
２１ａ…評価部
２１ｂ…理論値生成部
２２…外部インターフェース
２３…入力インターフェース
２４…出力インターフェース
２６…メモリ
４１…カメラ視点
４２…光源
５１…照明
６０…実映像入力システム
８１…セグメンテーション部
８２…教師データ作成部
８３…アノテーション生成部
８４…学習結果同期部
８５…分析部
２１０…バーチャル環境有効性評価システム
２１１…演繹法的検証システム
２１２…帰納法的検証システム
２４１ａ…ディスプレイ
２４１ｂ…スピーカー
２５１…レンダリング部
２５２…環境再現部
２５３…撮影素材生成部
２５４…オブジェクト制御部
【図１】
2017171005.tif 000007
【図２】
2017171005.tif 000008
【図３】
2017171005.tif 000009
【図４】
2017171005.tif 000010
【図５】
2017171005.tif 000011
【図６】
2017171005.tif 000012
【図７】
2017171005.tif 000013
【図８】
2017171005.tif 000014
【図９】
2017171005.tif 000015
【図１０】
2017171005.tif 000016
【図１１】
2017171005.tif 000017
【図１２】
2017171005.tif 000018
【図１３】
2017171005.tif 000019
【図１４】
2017171005.tif 000020
【図１５】
2017171005.tif 000021
【図１６】
2017171005.tif 000022
【図１７】
2017171005.tif 000023
【図１８】
2017171005.tif 000024
【図１９】
2017171005.tif 000025
【図２０】
2017171005.tif 000026
【図２１】
2017171005.tif 000027
【図２２】
2017171005.tif 000028
【図２３】
2017171005.tif 000029
【図２４】
2017171005.tif 000030
【図２５】
2017171005.tif 000031
【国際調査報告】
2017171005.tif 000032
2017171005.tif 000033
2017171005.tif 000034
2017171005.tif 000035