(57)【要約】      （修正有）【課題】合成データから現実世界への実験的結論の伝達可能性を評価するシステム及び方法を提供する。【解決手段】コンピュータグラフィックスエンジンは、現実世界データを１つ以上のオブジェクトカテゴリにおけるビジュアルコンポーネント及びオブジェクトに分解して仮想世界に仮想ビジュアルコンポーネント及び仮想オブジェクトを取り込むことによって仮想世界において現実世界データをクローン化する。スクリプトコンポーネントは、現実世界データのセットに基づいて仮想世界において仮想ビジュアルコンポーネント及び仮想オブジェクトを制御する。映像シーケンスの合成クローンは、仮想ビジュアルコンポーネント及び仮想オブジェクトを制御するスクリプトに基づいて生成される。現実世界データは、映像シーケンスの合成クローンと比較され、この比較に基づいて、仮想世界から現実世界への結論の伝達可能性が評価される。【選択図】図２
2017151973.tif 000002
【特許請求の範囲】
【請求項１】
映像性能分析を評価する方法において、
映像シーケンスを含む現実世界データのセットを取得することと、
コンピュータグラフィックスエンジンにより、
前記現実世界データを少なくとも１つのオブジェクトカテゴリにおけるビジュアルコンポーネント及びオブジェクトに分解することと、
仮想世界に仮想ビジュアルコンポーネント及び仮想オブジェクトを取り込むことと、
前記現実世界データのセットに基づいて前記仮想世界における前記仮想ビジュアルコンポーネント及び前記仮想オブジェクトを制御するためのスクリプトを生成することと、
前記仮想ビジュアルコンポーネント及び前記仮想オブジェクトを制御するための前記スクリプトに基づいて前記映像シーケンスの合成クローンを生成することとを備え、前記現実世界データを前記仮想世界においてクローン化することと、
前記合成クローンにおける前記仮想オブジェクトについてのグラウンドトゥルース注釈のセットを生成することと、
前記現実世界データを前記映像シーケンスの前記合成クローンと比較することと、
前記映像シーケンスの前記合成クローンと前記現実世界データの比較に基づいて前記仮想世界から前記現実世界への結論の伝達可能性を評価することとを備える、方法。
【請求項２】
前記現実世界データを取得することが、さらに、物理的測定値のセットによってオブジェクト及びオブジェクトカテゴリに注釈付けることを備える、請求項１に記載の方法。
【請求項３】
前記物理的測定値のセットが、前記少なくとも１つのオブジェクトカテゴリにおける前記オブジェクトのそれぞれの位置、大きさ及び向きのうちの少なくとも１つに基づいている、請求項２に記載の方法。
【請求項４】
さらに、前記仮想ビジュアルコンポーネント又は前記仮想オブジェクトの状態を変更することを備える、請求項１に記載の方法。
【請求項５】
さらに、前記変更された状態に基づいて変更された合成映像を生成することと、前記変更された合成映像における前記仮想オブジェクトについてのグラウンドトゥルース注釈のセットを生成することとを備える、請求項４に記載の方法。
【請求項６】
前記状態を変更することが、前記仮想オブジェクトのうちの少なくとも１つの位置、向き、軌跡、大きさ、色又は形状を変更することを含む、請求項４に記載の方法。
【請求項７】
さらに、前記現実世界データについてのアルゴリズムを使用して特定のタスクを実行することと、前記映像シーケンスの前記合成クローンについてのアルゴリズムを使用して特定のタスクを実行することを備える、請求項１に記載の方法。
【請求項８】
映像性能分析を評価するシステムにおいて、
映像シーケンスを含む現実世界データのセットについて、仮想世界において前記現実世界データをクローン化し、前記現実世界データを少なくとも１つのオブジェクトカテゴリにおけるビジュアルコンポーネント及びオブジェクトに分解し、前記仮想世界に仮想ビジュアルコンポーネント及び仮想オブジェクトを取り込むグラフィックスエンジンコンポーネントと、
前記現実世界データのセットに基づいて前記仮想世界において前記仮想ビジュアルコンポーネント及び前記仮想オブジェクトを制御して前記映像シーケンスの合成クローンを生成するためのスクリプトを生成するスクリプトコンポーネントと、
前記仮想ビジュアルコンポーネント又は前記仮想オブジェクトのうちの１つの状態を変更する変更コンポーネントと、
前記仮想オブジェクトについてのグラウンドトゥルース注釈のセットを生成する注釈コンポーネントと、
アルゴリズムを使用して特定のタスクを実行し、前記アルゴリズムの性能に基づいて結論の伝達可能性を評価する性能コンポーネントと、
前記コンピュータグラフィックスエンジンコンポーネント、前記スクリプトコンポーネント、前記変更コンポーネント、前記注釈コンポーネント及び前記性能コンポーネントを実装するプロセッサとを備える、システム。
【請求項９】
さらに、前記グラフィックスエンジンコンポーネントが前記仮想世界を初期化することができるように前記現実世界データに注釈付けるシードコンポーネントを備える、請求項８に記載のシステム。
【請求項１０】
映像性能分析を評価する方法において、
映像シーケンスを含む現実世界データのセットを取得することと、
コンピュータグラフィックスエンジンにより、
前記現実世界データを少なくとも１つのオブジェクトカテゴリにおけるビジュアルコンポーネント及びオブジェクトに分解することと、
仮想世界に仮想ビジュアルコンポーネント及び仮想オブジェクトを取り込むこととを備え、前記現実世界データを前記仮想世界においてクローン化することと、
前記現実世界データのセットに基づいて前記仮想世界における前記仮想ビジュアルコンポーネント及び前記仮想オブジェクトを制御するためのスクリプトを生成することと、
前記仮想ビジュアルコンポーネント又は前記仮想オブジェクトのうちの１つの状態を変更することと、
前記仮想ビジュアルコンポーネント及び前記仮想オブジェクトを制御するための前記スクリプトに基づいて前記映像シーケンスの合成クローンを生成することと、
前記変更された状態に基づいて変更された合成映像を生成することと、
前記合成クローンにおける仮想オブジェクト及び前記変更された合成映像における前記仮想オブジェクトについてのグラウンドトゥルース注釈のセットを生成することと、
前記現実世界データ、前記映像シーケンスの前記合成クローン及び前記変更された合成映像についてのアルゴリズムを使用して特定のタスクを実行することと、
前記グラウンドトゥルース注釈のセットに対する前記アルゴリズムの性能を評価することと、
前記アルゴリズムの性能に基づいて前記仮想世界から前記現実世界への結論の伝達可能性を評価することとを備える、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
例示的な実施形態は、映像分析に関し、現実世界データに基づいて仮想世界を初期化するためのシステム及び方法に関連する特定の用途を見出す。本システム及び方法は、現実世界及び合成映像ストリームにおいて自動車などのオブジェクトを自動的に検出及び追跡することをともなうマルチオブジェクト追跡（ＭＯＴ）における用途を見出す。
【背景技術】
【０００２】
トレーニング中にみられないデータの性能を評価することは、機械学習モデルを検証するためによく使用される。しかしながら、コンピュータビジョンにおいて、高レベル認識方法の実際の堅牢性及び一般化性能を実験的に測定することは、特に映像分析においてデータ取得及びラベル付けのコストが高いために困難である。さらにまた、悪天候や事故現場などの関心のあるいくつかのテストシナリオについてのデータを取得することが困難な場合がある。
【０００３】
大規模で、多様で、代表的で、不偏で且つ正確にラベル付けされたビジュアルデータを取得することは、大抵の場合、複雑で慎重なデータ収集プロトコルを必要とし、プライバシーに関する懸念を生じさせることがある。さらに、時間がかかり、高価な注釈付け作業が必要になる。注釈付けを得るためにクラウドソーシングを使用することができる。例えば、Ｊ．  Ｄｅｎｇ，  ｅｔ  ａｌ．、「ＩｍａｇｅＮｅｔ：  Ａ  ｌａｒｇｅ−ｓｃａｌｅ  ｈｉｅｒａｒｃｈｉｃａｌ  ｉｍａｇｅ  ｄａｔａｂａｓｅ」、Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ）、２４８−２５５ページ、（２００９年）を参照のこと。正確な結果を得るために、再利用性の可能性がほとんどなく、関心のある全てのタスク及びデータソースに対して大抵の場合にこのプロセスを実行する必要がある。
【０００４】
映像の理解の既存の方法は、膨大な量のデータ及び（例えば、マルチオブジェクト追跡又はアクション認識などの）関心のあるコンピュータビジョンタスクの複雑さのために、これらの課題に特に敏感であり、大抵の場合に詳細な注釈付け（例えば、一連のフレームを介した様々なオブジェクトの追跡）をともなう。より安価な注釈付けプロセスあるいは注釈付けを一切省略することは、弱い監督下の又は監督されない学習を介してトレーニング中に使用されることがあるが、モデル性能を実験的に評価することは、大きなデータセットの正確なラベル付けをともなう。
【０００５】
現在の映像分析方法のこれらの制限は、例えば、カルルスルーエ工科大学及びシカゴのトヨタ技術研究所のプロジェクトであるＫＩＴＴＩとして知られている広く使用されているマルチオブジェクト追跡データセットによって示されている。Ｇｅｉｇｅｒ，  ｅｔ  ａｌ．、「Ａｒｅ  ｗｅ  ｒｅａｄｙ  ｆｏｒ  ａｕｔｏｎｏｍｏｕｓ  ｄｒｉｖｉｎｇ？  Ｔｈｅ  ＫＩＴＴＩ  ｖｉｓｉｏｎ  ｂｅｎｃｈｍａｒｋ  ｓｕｉｔｅ」、Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ）、３３５４−３３６１ページ、（２０１２年）、以下、「Ｇｅｉｇｅｒ  ２０１２」を参照のこと。ＫＩＴＴＩビジョンスイートは、同様の良好な条件で単一の情報源からキャプチャされた２９のテストシーケンスしか含まれていない。コンピュータビジョンにおけるこの及び他の既存のデータセットは、一般に、映像分析アルゴリズムの性能を適切に評価するための十分な様々な条件を含んでいない。例えば、人間、自動車、ナンバープレート及び異なるカメラの設定などの複数の詳細なオブジェクトクラスの注釈付けの昼間、夜間、晴天、雨天などの様々な条件は、映像分析に影響を与えるいくつかの要因であり、アルゴリズムを評価する際に考慮する必要がある。
【０００６】
コンピュータビジョンにおける合成データの使用は、コストのかかる画素レベルの注釈付けをともなうオプティカルフロー推定などの低レベルの映像分析タスクにおいて評価されている。低レベルのビジョンアルゴリズムをベンチマークするためにコンピュータ生成映像を使用する１つの例は、Ｄ．  Ｊ．  Ｂｕｔｌｅｒ，  ｅｔ  ａｌ．、「Ａ  ｎａｔｕｒａｌｉｓｔｉｃ  ｏｐｅｎ  ｓｏｕｒｃｅ  ｍｏｖｉｅ  ｆｏｒ  ｏｐｔｉｃａｌ  ｆｌｏｗ  ｅｖａｌｕａｔｉｏｎ」、ＥＣＣＶ，  Ｐａｒｔ  ＶＩ，  ＬＮＣＳ  ７５７７、６１１−６２５ページ、２０１２年、以下、「Ｂｕｔｌｅｒ  ２０１２」に記載されている。しかしながら、実際には、既存のコンピュータビジョン方法における合成データの使用は、２つの大きな制限がある。まず、アニメーション映像を最初から作成する必要があるため、データの生成自体にコストがかかる。経費に加えて、そのような映像の制作に携わる専門知識及び時間は、大量のデータを作成するのを可能としない。これは、関心のある特定のシナリオをテストするためにクライアントの要求に応じて特定のシーンを生成することを困難とする。映像ゲームをプレイする人物からのシーンを記録することは、代替アプローチであるが、このアプローチもまた、同様の時間コストに直面し、シーンの多様性も制限する。例えば、Ｊ．  Ｍａｒｉｎ，  ｅｔ  ａｌ．、「Ｌｅａｒｎｉｎｇ  ａｐｐｅａｒａｎｃｅ  ｉｎ  ｖｉｒｔｕａｌ  ｓｃｅｎａｒｉｏｓ  ｆｏｒ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｉｏｎ」、Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ）、１３７−１４４ページ、２０１０年、以下、「Ｍａｒｉｎ  ２０１０」を参照のこと。
【０００７】
映像分析において合成データを生成して使用する既存のアプローチの第２の制限は、現実世界の映像分析性能を評価する代理としての有用性にある。既存の合成データセットは、大抵の場合、特定のトレーニングセット及びテストセットの双方を含み、それゆえに、その特定の仮想世界における性能の評価のみを可能とする。さらに、従来の研究では、仮想世界において良好に動作する低レベルのコンピュータビジョンアルゴリズムがまた現実世界のシーケンスにおいても良好に動作することを既存のコンピュータグラフィックス技術が保証していないことが示されている。例えば、Ｔ．  Ｖａｕｄｒｅｙ，  ｅｔ  ａｌ．、「Ｄｉｆｆｅｒｅｎｃｅｓ  ｂｅｔｗｅｅｎ  ｓｔｅｒｅｏ  ａｎｄ  ｍｏｔｉｏｎ  ｂｅｈａｖｉｏｕｒ  ｏｎ  ｓｙｎｔｈｅｔｉｃ  ａｎｄ  ｒｅａｌ−ｗｏｒｌｄ  ｓｔｅｒｅｏ  ｓｅｑｕｅｎｃｅｓ」、Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ  Ｎｅｗ  Ｚｅａｌａｎｄ、（ＩＶＣＮＺ）、１−６ページ、２００８年を参照のこと。
【０００８】
いくつかの既存のコンピュータビジョンアプローチは、データ拡大をトレーニングするために合成画像を使用している。これらの既存のアプローチは、主に、学習のためにラフな合成モデル又は合成された実例を使用することに制限される。例えば、歩行者検出のための以下のモデルを参照のこと：Ａ．  Ｂｒｏｇｇｉ，  ｅｔ  ａｌ．、「Ｍｏｄｅｌ−ｂａｓｅｄ  ｖａｌｉｄａｔｉｏｎ  ａｐｐｒｏａｃｈｅｓ  ａｎｄ  ｍａｔｃｈｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  ａｕｔｏｍｏｔｉｖｅ  ｖｉｓｉｏｎ  ｂａｓｅｄ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｉｏｎ」、ＣＶＰＲ  Ｗｏｒｋｓｈｏｐｓ、１ページ、２００５年；Ｍ．  Ｓｔａｒｋ，  ｅｔ  ａｌ．、「Ｂａｃｋ  ｔｏ  ｔｈｅ  ｆｕｔｕｒｅ：  Ｌｅａｒｎｉｎｇ  ｓｈａｐｅ  ｍｏｄｅｌｓ  ｆｒｏｍ  ３Ｄ  ＣＡＤ  ｄａｔａ」、ＢＭＶＣ、Ｖｏｌ．  ２、Ｎｏ．  ４、５ページ、２０１０年；Ｍａｒｉｎ  ２０１０；及びＤ．  Ｖａｚｑｕｅｚ，  ｅｔ  ａｌ．、「Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｄｏｍａｉｎ  ａｄａｐｔａｔｉｏｎ  ｏｆ  ｖｉｒｔｕａｌ  ａｎｄ  ｒｅａｌ  ｗｏｒｌｄｓ  ｆｏｒ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｉｏｎ」、ＩＣＰＲ、３４９２−３４９５ページ、２０１２年。
【０００９】
最近のアプローチは、仮想世界における歩行者の外観モデルが学習されて現実世界における検出に使用されることができるかどうかを研究しようとしている。例えば、現実データを有しない高品質の歩行者検出器を学習することを目的としたＤ．  Ｖａｚｑｕｅｚ，  ｅｔ  ａｌ．、「Ｖｉｒｔｕａｌ  ａｎｄ  ｒｅａｌ  ｗｏｒｌｄ  ａｄａｐｔａｔｉｏｎ  ｆｏｒ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｉｏｎ」、ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  （ＰＡＭＩ）、３６  （４）、７９７−８０９ページ、２０１４年；及びＨ．  Ｈａｔｔｏｒｉ，  ｅｔ  ａｌ．、「Ｌｅａｒｎｉｎｇ  ｓｃｅｎｅ−ｓｐｅｃｉｆｉｃ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｏｒｓ  ｗｉｔｈｏｕｔ  ｒｅａｌ  ｄａｔａ」、ＣＶＰＲ、３８１９−３８２７ページ、２０１５年を参照のこと。しかしながら、学習された検出器は、シーン及びシーン位置に固有のものである。実際に、この方法は、固定カメラに制限され、シーンの幾何学的形状及びカメラ校正パラメータの知識を必要とする。
【００１０】
写実的画像が評価目的で使用されているが、ほとんどの場合、最終タスクは、低レベルの画像及び映像処理であった。１つのアプローチは、低レベルの画像特徴を評価した。Ｂ．  Ｋａｎｅｖａ，  ｅｔ  ａｌ．、「Ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｉｍａｇｅ  ｆｅａｔｕｒｅｓ  ｕｓｉｎｇ  ａ  ｐｈｏｔｏｒｅａｌｉｓｔｉｃ  ｖｉｒｔｕａｌ  ｗｏｒｌｄ」、ＩＣＣＶ、２２８２−２２８９ページ、２０１１年を参照のこと。他の研究は、オプティカルフロー推定のための合成データセットを提案した。Ｂｕｔｌｅｒ  ２０１２を参照のこと。写実的画像は、自律的運転の基本的なビルディングブロックに使用されている。Ｃｈｅｎｙｉ  Ｃｈｅｎ，  ｅｔ  ａｌ．、「ＤｅｅｐＤｒｉｖｉｎｇ：  Ｌｅａｒｎｉｎｇ  ａｆｆｏｒｄａｎｃｅ  ｆｏｒ  ｄｉｒｅｃｔ  ｐｅｒｃｅｐｔｉｏｎ  ｉｎ  ａｕｔｏｎｏｍｏｕｓ  ｄｒｉｖｉｎｇ」、Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ、２０１５年を参照のこと。これらのアプローチは、それ以外の方法では得ることができないグラウンドトゥルースを得る方法として写実的画像を考える（例えば、センサは、オプティカルフローを直接測定することができない）。例えば、クラウドソーシングを介してグラウンドトゥルースデータを収集することができる場合、現実世界画像は、合成データがもたらす可能性のあるアーチファクトのために合成データよりも好まれる。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
オンザフライで様々な映像シーケンスを無限に生成する仮想世界の可能性は、コンピュータビジョンアルゴリズムに依存するアプリケーションの現実世界の展開にとって非常に貴重なモデル性能を評価するのに特に役立つ。それゆえに、合成データから現実世界への実験的結論の伝達可能性の程度を評価するためにグラウンドトゥルースをともなう任意の写実的映像シーケンスの自動生成が必要である。
【課題を解決するための手段】
【００１２】
例示的な実施形態の１つの態様によれば、映像性能分析を評価する方法は、映像シーケンスを含む現実世界データのセットを取得することを含む。コンピュータグラフィックスエンジンにより、現実世界データは、仮想世界においてクローン化され、現実世界データを少なくとも１つのオブジェクトカテゴリにおけるビジュアルコンポーネント及びオブジェクトに分解することと、仮想ビジュアルコンポーネント及び仮想オブジェクトを仮想世界に取り込むこととを含む。現実世界データのセットに基づいて仮想世界における仮想ビジュアルコンポーネント及び仮想オブジェクトを制御するためにスクリプトが生成される。映像シーケンスの合成クローンは、仮想ビジュアルコンポーネント及び仮想オブジェクトを制御するためのスクリプトに基づいて生成され、合成クローン内の仮想オブジェクトについてのグラウンドトゥルース注釈のセットが生成される。現実世界データは、映像シーケンスの合成クローンと比較され、仮想世界から現実世界への結論の伝達可能性が映像シーケンスの合成クローンと現実世界データの比較に基づいて評価される。
【００１３】
例示的な実施形態の他の態様によれば、映像性能分析を評価するシステムは、映像シーケンスを含む現実世界データのセットについて、仮想世界において現実世界データをクローン化し、現実世界データを少なくとも１つのオブジェクトカテゴリにおいてビジュアルコンポーネント及びオブジェクトに分解し、仮想ビジュアルコンポーネント及び仮想オブジェクトを仮想世界に取り込むグラフィックスエンジンコンポーネントを含む。スクリプトコンポーネントは、現実世界データのセットに基づいて仮想世界において仮想ビジュアルコンポーネント及び仮想オブジェクトを制御して映像シーケンスの合成クローンを生成するためのスクリプトを生成する。変更コンポーネントは、仮想ビジュアルコンポーネント又は仮想オブジェクトのうちの１つの状態を変更する。注釈コンポーネントは、仮想オブジェクトについてのグラウンドトゥルース注釈のセットを生成する。性能コンポーネントは、アルゴリズムを使用して特定のタスクを実行し、アルゴリズムの性能に基づいて結論の伝達可能性を評価する。
【００１４】
コンピュータグラフィックスエンジンコンポーネント、スクリプトコンポーネント、変更コンポーネント、注釈コンポーネント及び性能コンポーネントのうちの少なくとも１つは、プロセッサによって実装される。
【００１５】
例示的な実施形態の他の態様によれば、映像性能分析を評価する方法は、映像シーケンスを含む現実世界データのセットを取得することを含む。コンピュータグラフィックスエンジンにより、現実世界データは、仮想世界においてクローン化され、現実世界データを少なくとも１つのオブジェクトカテゴリにおけるビジュアルコンポーネント及びオブジェクトに分解することと、仮想ビジュアルコンポーネント及び仮想オブジェクトを仮想世界に取り込むこととを含む。現実世界データのセットに基づいて仮想世界における仮想ビジュアルコンポーネント及び仮想オブジェクトを制御するためにスクリプトが生成される。仮想ビジュアルコンポーネント又は仮想オブジェクトのうちの１つの状態が変更される。仮想ビジュアルコンポーネント及び仮想オブジェクトを制御するためのスクリプトに基づいて映像シーケンスの合成クローンが生成され、変更された状態に基づく変更された合成映像が生成される。合成クローンにおける仮想オブジェクト及び変更された合成映像における仮想オブジェクトについてのグラウンドトゥルース注釈のセットが生成される。現実世界データ、映像シーケンスの合成クローン及び変更された合成映像についてのアルゴリズムを使用して特定のタスクが実行される。アルゴリズムの性能は、グラウンドトゥルース注釈のセットに対して評価され、仮想世界から現実世界への結論の伝達可能性がアルゴリズムの性能に基づいて評価される。
【図面の簡単な説明】
【００１６】
【図１】図１は、例示的な実施形態の１つの態様にかかる現実世界の映像分析性能を評価するために仮想世界を生成するシステム及び方法の概要である。
【図２】図２は、例示的な実施形態の他の態様にかかる現実世界の映像分析性能を評価するために仮想世界を生成するシステムの機能ブロック図である。
【図３】図３は、例示的な実施形態の他の態様にかかる現実世界の映像分析性能を評価するために仮想世界を生成する方法を示すフローチャートである。
【図４】図４は、ＫＩＴＴＩデータセットからの現実世界映像の合成クローンからのレンダリングされたフレームを示している。
【図５】図５は、元のＫＩＴＴＩ映像からの対応するフレームを示している。
【図６】図６は、シーンの通常のレンダリングによる自動グラウンドトゥルース注釈を示している。
【図７】図７は、生の画素レベルのグラウンドトゥルース注釈を示している。
【図８】図８は、黒に変更した１つのオブジェクトによる同じシーンのレンダリングを示している。
【図９】図９は、洗練された画素レベルのグラウンドトゥルース注釈を示している。
【図１０】図１０は、白に変更した１つのオブジェクトによる同じシーンのレンダリングを示している。
【図１１】図１１は、注釈付きオブジェクトの２Ｄ境界ボックスを示している。
【図１２】図１２は、境界ボックスによって注釈付けされている関心のある複数のオブジェクトを有する映像のフレームを示している。
【図１３】図１３は、映像フレームの対応するクローンを示している。
【図１４】図１４は、クローンフレームにおける車両の画素レベルの注釈を示している。
【図１５】図１５は、元の映像におけるオブジェクト（自動車）の現在の位置（実線ボックス）及び予測されたトラック（破線ボックス）を示している。
【図１６】図１６は、ＭＯＴ追跡によって計算されたその合成クローンを示している。
【図１７】図１７は、元の映像及びその合成クローンのマッチングフレームの予測されたディープフローを示している。
【図１８】図１８は、元の映像及びその合成クローンのマッチングフレームの予測されたディープフローを示している。
【図１９】図１９は、元の映像及びその合成クローンのマッチングフレームの予測されたディープフローを示している。
【図２０】図２０は、元の映像及びその合成クローンのマッチングフレームの予測されたディープフローを示している。
【発明を実施するための形態】
【００１７】
例示的な実施形態の態様は、現実世界の映像分析性能を評価するために仮想世界を生成するシステム及び方法に関する。本システム及び方法は、一般的なコンピュータグラフィックスエンジンに適しており、それゆえに、現実世界の性能についてのプロキシを決定することができる変更された合成映像シーケンスの自動生成を可能とする。
【００１８】
様々な実施形態において、システム及び方法は、利用可能なデータがほとんど又は全くない状態における現実世界の映像分析性能の問題に対処する。
【００１９】
簡潔には、本方法は、校正の開始点としての限られた量の現実世界データの取得、仮想世界へのこの現実世界データのクローン化、変更された合成映像シーケンスの自動生成、合成映像シーケンスについての詳細なグラウンドトゥルース注釈の自動生成、及び、合成シーケンスから導出された結論の伝達可能性の評価を含むことができる。分析は、例えば、稀であるか又は非現実的な状況を再現するために、マルチオブジェクト追跡（ＭＯＴ）モデルの性能を評価するために、合成映像シーケンスを使用して実行することができる。本方法はまた、単一の要因の影響の分析又はセテリス・パリバスＭＯＴモデルにおける分析を可能とする。
【００２０】
本願明細書において使用されるように、用語「オブジェクト」は、車両、ナンバープレート、他の製造物品、建造物などの無生物物体（若しくは無生物物体の群）を指すか、又は、人間若しくは人々の群又は動物若しくは動物の群などの生物物体（若しくは生物物体の群）を指す。特に、用語「オブジェクト」は、カメラによって撮像されることができる物理的物体を指す。
【００２１】
オブジェクトのカテゴリの例は、電動及び／又は非電動車両（又は例えば自動車若しくは自転車などの特定のクラスの車両）、動物（又は例えば人間などの特定のクラスの動物）などの移動／移動可能オブジェクトを含む。オブジェクトのカテゴリのさらなる例は、構造物（又は建築物若しくは道路などの特定のクラスの構造物）、標識（又は例えば交通標識などの特定のクラスの標識）、環境オブジェクト（又は例えば空若しくは樹木などの特定のクラスの環境オブジェクト）などの静止オブジェクトを含む。例示的な実施形態は、自動車の検出を説明しているが、他のカテゴリもまた想定されることに理解されたい。
【００２２】
用語「現実世界」は、映像カメラによって撮像されることができる実際の位置及びその中のオブジェクトを指す。
【００２３】
用語「仮想世界」は、現実世界に存在する実際の位置及びオブジェクトの合成３次元表現を指す。仮想世界は、写実的であることを意図しているが、それが表現する現実世界とは視覚的に区別可能である。
【００２４】
用語「クローン」は、現実世界の（すなわち、映像カメラによって取得された）映像シーケンスの合成視覚的表現を指す。
【００２５】
用語「スクリプト」又は「スクリプティング」は、仮想世界の映像シーケンスのシーンにおけるコンポーネントの記述を指す。「スクリプト」は、例えば、シーンに現れるオブジェクトのカテゴリ、環境の設定、事象の発生、及び、シーン内の全てのコンポーネントが互いにどのように相互作用するかを記述することができる。
【００２６】
図１を参照すると、現実世界の映像分析性能を評価するために仮想世界を生成するシステム１０及び方法の概要が示されている。システムは、入力として、画像又は「フレーム」の映像シーケンス１４、並びに、映像シーケンスにおける関連オブジェクト１８及びビジュアルコンポーネント２０の物理的な測定値のセットを含む１つ以上のセンサによって生成されたセンサデータ１６などの限られた量の現実世界データ１２を取り込む。関連オブジェクト１８は、例えば、自動車、歩行者、道路、建築物及びカメラ自体のうちの１つ以上を含むことができる。ビジュアルコンポーネント２０は、照明、天候及びカメラ設定情報のうちの１つ以上を含むことができる。オブジェクト１８及びビジュアルコンポーネント２０は、センサデータ１６から導出された注釈２２によって手動で又は他の方法でラベル付けされる。オブジェクト及びビジュアルコンポーネントは、注釈２２とともに、仮想オブジェクト２４及び仮想ビジュアルコンポーネント２６によって示されるように、仮想世界へとクローン化される。仮想オブジェクト及び仮想ビジュアルコンポーネントは、システム１０によって生成されるスクリプト２８によって制御される。スクリプト２８は、現実世界の映像シーケンス１４のクローンであるフレーム３０の合成又は「仮想」映像シーケンスを自動的に生成する。注釈３２は、対応する現実世界の注釈２２から関心のある仮想オブジェクト２４のために自動的に生成される。変更されたスクリプト３４は、オンデマンドで変更された状態又はランダムに生成されたものとすることができるスクリプトの変更状態３６に応じて生成される。変更状態３６は、仮想オブジェクト２４若しくは仮想ビジュアルコンポーネント２６又はそれらの組み合わせのいずれかに関連することができる。変更されたスクリプト３４は、変更状態３６に基づいて変更された合成又は仮想映像３８を自動的に生成することができる。変更された注釈４０もまた生成される。合成映像クローン３０及びその注釈３２及び／又は変更された合成映像３８及びその変更された注釈４０は、システム１０によって出力されることができる。あるいは、システムは、この情報の一部又は全てを使用して、仮想データにおける既存のオブジェクト検出システムの性能を評価する。
【００２７】
図２を参照すると、現実世界の映像分析性能を評価するために仮想世界を生成するコンピュータ実装システム１０が示されている。システム１０は、図３を参照して説明される方法を実行するための命令４４を記憶するメモリ４２と、命令を実行するためにメモリと通信するプロセッサ装置４６とを含む。１つ以上のネットワーク入力／出力（Ｉ／Ｏ）インターフェース４８、５０は、現実世界データ１２を受信し、１つ以上の仮想映像シーケンス３０、３８又はそれから生成された情報などの情報５１を出力するために設けられている。システムのハードウェアコンポーネント４２、４６、４８、５０は、データ制御バス５２を介して通信する。システムは、図示されたサーバコンピュータ５４などの１つ以上のコンピューティング装置によってホスティングされることができる。システムは、インターネットなどのローカルエリアネットワーク又はワイドエリアネットワークなどの有線又は無線ネットワーク５６を介して外部装置又は中間サーバコンピュータと通信することができる。
【００２８】
画像又は「フレーム」のシーケンスを含む映像シーケンス１４は、ＪＰＥＧ、ＧＩＦ、ＧＩＦＶ、ＡＶＩ、生映像、ＭＰＥＧ、Ｍ４Ｖ、３ＧＰＰ、ＱｕｉｃｋＴｉｍｅなどの任意の便利なファイル形式又は映像に使用され且つ処理前に他の適切な形式に必要に応じて変換されることができる他の一般的なファイル形式でシステムによって受信されることができる。入力シーケンス１４は、処理中にメモリ４２に記憶されることができる。映像シーケンスは、ワークステーション、データベース、ディスク、映像カメラなどの映像撮像装置などのメモリ記憶装置などの任意の適切なソース５７から入力されることができる。画像取得装置５７はまた、カメラ設定、視野などのセンサデータ１６を提供するセンサと考えることができる。
【００２９】
一般に、入力ディジタル映像シーケンスの各フレームは、フレームを形成する画素のアレイについての画像データを含む。画像データは、Ｌ＊ａ＊ｂ＊又はＲＧＢなどの色分解のセットのそれぞれについてのグレースケール値などの色剤値を含むことができるか又は異なる色を表現可能な他の色空間において表現されることができる。一般に、「グレースケール」とは、任意の単一の色チャネルの光学濃度値を指すが、（Ｌ＊ａ＊ｂ＊、ＲＧＢ、ＹＣｂＣｒなど）で表現される。
【００３０】
語「色」は、これらに限定されるものではないが、色相、彩度及び明度などの絶対的な色値並びに色相、彩度及び明度などの相対的な色値を含む特定可能な色の任意の態様を指すために使用される。用語「色」はまた、画像データが、少なくとも部分的に、スペクトル（例えば、４００ｎｍ−７００ｎｍ）の可視範囲、例えば、紫外線（１０ｎｍ−４００ｎｍ、例えば３５０ｎｍ未満）又は赤外線（７００ｎｍ−１００μｍ、例えば１μｍ以上）のスペクトル領域に入らない映像シーケンスに適用されることができる。
【００３１】
例示的なソフトウェア命令４４は、グラフィックスエンジンコンポーネント５８、スクリプトコンポーネント６０、変更コンポーネント６２、注釈コンポーネント６４、性能コンポーネント６６、追跡コンポーネント６８及びシードコンポーネント７０を含む。
【００３２】
シードコンポーネント７０は、グラフィックスエンジンコンポーネント５８が仮想世界を初期化することができるように手動注釈２２によって現実世界データ１２に注釈付けするためにオフラインフェーズで使用される。現実世界データセット１２のオブジェクト１８及び様々なビジュアルコンポーネント２０は、手動注釈２２によってラベル付けされることができる。センサ７１からの物理的測定値１６は、関心のあるオブジェクトについての位置、向き、大きさ、種類、色などの注釈２２に含まれる。データ１６を提供するセンサ７１は、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、カメラ、深さセンサ及びヒト注釈器のうちの１つ以上を含むことができる。既存のデータベースはまた、オブジェクト及びビジュアルコンポーネントに注釈付けするために使用可能な車両寸法を提供する製造業者データベース、建築物及び街路データを提供する都市計画部門データベースなどのセンサデータと組み合わせて使用されることができる。現実世界データに注釈付けするために利用可能な現実世界データの量は、それぞれが少なくとも２秒又は少なくとも５秒の映像フレームの価値を含む少なくとも５個又は少なくとも１０個のシーケンスなどの現実世界シーケンスの小さな固定セットに制限されることができる。これらの現実世界シーケンスのそれぞれから、様々な合成映像シーケンスを生成することができる。シードコンポーネント７０は、注釈付けが他の場所で実行されたときに省略されてもよい。１つの実施形態において、注釈付けは、別個のコンピューティング装置上で実行され、手動注釈２２を含む現実世界データ１２は、コンピュータ５４に入力される。
【００３３】
グラフィックスエンジンコンポーネント５８は、入力として、映像シーケンス１４におけるフレームのストリームとすることができる現実世界データ１２及びセンサデータ１６を取り込む。グラフィックスエンジン５８は、選択されたオブジェクトカテゴリに属することができる各ビジュアルコンポーネント２０及びオブジェクト１８現実世界データを最初に分解することによって現実世界データを仮想世界にクローン化する。そして、グラフィックスエンジン５８は、仮想世界においてビジュアルコンポーネント及びオブジェクトを自動化又は制御するためのスクリプト２８（ソフトウェア命令）を生成する。スクリプトによって生成される各仮想世界２９は、現実世界の位置及びその中の関連オブジェクトの写実的な動的３Ｄグラフ表現である。仮想世界における仮想カメラ経路は、仮想映像シーケンス３０などの現実世界データにおいて複数のビジュアルコンポーネントの合成映像クローンを生成するために使用される。既存の再利用可能な一般的なコンピュータグラフィックスエンジン（例えば、グラフィックス、物理的及びレンダリングエンジン）及びグラフィックアセット（例えば、幾何学的形状及び材料モデル）は、現実世界のビジュアルコンポーネントに基づいて、仮想世界２９を生成するために第三者ソースから購入又は委託されることができる。そして、グラフィックスエンジンコンポーネント５８は、再利用するために、仮想世界アセット７２のデータベースに記憶されることができる仮想ビジュアルコンポーネント２６及び仮想オブジェクト２４を仮想世界に取り込む。
【００３４】
グラフィックスエンジンコンポーネント５８の一部として含まれることができるスクリプトコンポーネント６０は、合成映像クローン３０を生成するために、現実世界データに基づいて、仮想ビジュアルコンポーネント２６及び仮想オブジェクト２４を含む仮想世界に仮想シーンコンポーネントのスクリプトを提供する。スクリプトコンポーネントは、大部分の仮想シーンコンポーネント（例えば、カメラ及びいくつかの仮想オブジェクトの配置及び動き）の自動制御及びスクリプト化を有利に可能とする。仮想シーンコンポーネント２４、２６は、センサデータ１６（例えば、ＧＰＳ、ＩＭＵ）を含む注釈２２に起因して又は現実世界映像シーケンス１４によって仮想シーンコンポーネントを視覚的に整列させることによって現実世界データからシードされる。写実的コンピュータグラフィックスの最近の進歩と相まって、この現実から仮想への手順は、合成データの作成を外観及び動きの双方において現実世界の状態に近付けるのを可能とする。合成クローン３０のフレームの例が図５に示されており、図４における現実世界映像１４と図５における合成カウンターパート３０との間の外観の類似性をみることができる。これらのフレームは、説明を容易とするためにモノクロで示されているが、フレームはカラーであってもよいことを理解されたい。コンピュータグラフィックスの差異のために、例えば車両などのいくつかのオブジェクトは、特に映像が自動車を追跡するために使用されることを意図している場合、建築物よりも高い現実程度でレンダリングされることができる。実際に、いくつかの仮想シーンコンポーネントは、スクリプトのより高い忠実度又は簡便化（例えば、光源などのグローバル要因）のために手動で設定又は訂正されることができる。
【００３５】
グラフィックスエンジンコンポーネント５８の一部として同様に含まれることができる変更コンポーネント６２は、変更されたスクリプト３４を生成するためにスクリプト２８における仮想シーンコンポーネント２４、２６の一方の状態３６を変更する。システム１０の合成出力は、スクリプトコンポーネント６０によってスクリプトされる全てのコンポーネントによって決定されるため、変更された合成映像３８などの複数の合成映像は、変更コンポーネントによって３Ｄ仮想世界２９において１つ以上の状態を変更することによって自動的に生成されることができる。この変更は、任意数の変更された合成映像３８を生成するために、スクリプト２８におけるパラメータを変更することによって又はシーンにおける要素を手動で追加、変更若しくは削除することによって「オンデマンド」でランダム化又は変更されることができる。この点で、変更コンポーネント６２は、現実世界データが存在しない状態についての合成映像３８の生成を可能とする。換言すれば、変更された合成映像３８は、現実世界の映像シーケンス１４又はその合成クローン３０に現れない状態の変更を反映することができる。その結果、変更コンポーネントは、単一の要因又は要因群の影響（「セテリス・パリバス分析」）、及び、稀な事象又は実際に発生する可能性がある状態を観察することが困難な影響（「ｗｈａｔ−ｉｆ分析」）を定量的に研究するための機能を提供する。
【００３６】
注釈コンポーネント６４は、合成クローン３０を含む仮想映像シーケンス３０、３８及び変更された合成映像３８における関心のある各仮想オブジェクトについての画素レベル注釈３２、４０を生成する。例えば主要な関心のある仮想オブジェクトが自動車である場合、アルゴリズムベースのグラウンドトゥルース注釈は、合成映像出力３０、３８に現れる各自動車について自動的に生成されることができる。これを達成するために、注釈コンポーネント６４は、注釈付け対象の各仮想オブジェクトの材料特性（例えば、色）を変更し、画素毎に元のものと新たなグラフィック出力を比較することにより、画素レベルのグラウンドトゥルース注釈を生成する。図６−図１０は、合成クローン映像３０を参照して注釈コンポーネント６４による画素レベルのグラウンドトゥルース注釈の生成を示している。図６は、フレームの中央に現れる車両７６の通常画像を有する合成クローン映像３０のフレームを示している。図８は、黒無地に変更されたその材料色によって車両の追加画像７８がレンダリングされた合成クローン映像３０のフレームを示している。図１０は、白無地に変更されたその材料色を有する合成映像３０のフレームにおける車両の他の画像８０を示している。そして、注釈コンポーネント６４は、図７に示されるように、生の画素レベルの注釈３２を生成するために、画素毎に図６、図８及び図１０に示されるフレームを比較する。生の画素レベルの注釈３２は、図９に示されるように、偽の画素を除去するために形態学的操作（例えば、侵食、拡張など）を使用することによって洗練されることができる。そして、注釈コンポーネント６４は、オブジェクトの一部であると注釈付けされた画素を含む最小矩形又は他の適切な規則的形状である各オブジェクトについての２Ｄ境界ボックス８２を得るために洗練された画素レベルの注釈３２を集約する（図１１）。画素レベルのグラウンドトゥルース注釈４０は、同じように変更された合成映像３８について生成される。２Ｄ境界ボックスのグラウンドトゥルース注釈は、以下にさらに説明するようにトレーニング及びテストの目的に役立つ。
【００３７】
性能コンポーネント６６は、特定の分析タスクについての合成生成されたデータ３０、３２、３８及び４０の有用性を評価するために利用される。性能コンポーネントによって出力された結果に基づいて、仮想世界から現実世界への結論の伝達可能性の尺度を決定することができる。いくつかの実施形態において、性能コンポーネントは、フレームのそれぞれにおいて同じオブジェクト及びそのオブジェクトの位置を含むフレームのシーケンスを特定するなど、タスクの実行においてモデル７４の性能に基づいて有用性を評価する。性能は、指定されたタスクを実行するためにモデルの能力を測定するように設計された１つ又は複数のメトリックに基づいて評価されることができる。いくつかの実施形態において、タスク固有モデル７４の性能は、以下にさらに詳細に記載されるように、グラウンドトゥルース注釈３２、４０に対して評価される。
【００３８】
いくつかの実施形態において、モデル７４は、マルチオブジェクト追跡（ＭＯＴ）のために構成された追跡モデルである。追跡モデルは、シーケンス１４などの映像シーケンスにおける現実世界のオブジェクト１８を追跡するためにトレーニングされる。合成クローン３０における仮想オブジェクト２４及び変更された合成映像３８における仮想オブジェクトは、同じモデル７４によって追跡されることができる。生成された合成データについてのアルゴリズムの性能を比較することにより、性能コンポーネント６６は、写実的な合成映像３０、３８を使用することがＭＯＴモデルなどのコンピュータビジョンアルゴリズムの現実世界分析を行うための有効なプロキシであるかどうかを定量化する。さらに、性能コンポーネント６６の結果は、ターゲット分析タスクのために、システム１０における要素が使用されるツール（例えば、グラフィックス、物理的測定及びレンダリングエンジン）及び実装の品質（例えば、写実の程度並びに環境及びオブジェクトの設計又はアニメーションの詳細）を含む改善を必要とすることができることを決定するために使用することができる。
【００３９】
いくつかの実施形態において、システム１０は、特定の分析タスクが単一のオブジェクト追跡又はマルチオブジェクト追跡（ＭＯＴ）である場合に追跡コンポーネント６８を含むことができる。追跡コンポーネント６８は、映像シーケンス１４における現実世界オブジェクト１８、合成クローン３０における仮想オブジェクト２４及び変更された合成映像３８における仮想オブジェクトを検出して追跡するためにモデル７４を利用する。Ａ．  Ｇａｉｄｏｎ，  ｅｔ  ａｌ．、「Ｏｎｌｉｎｅ  ｄｏｍａｉｎ  ａｄａｐｔａｔｉｏｎ  ｆｏｒ  ｍｕｌｔｉ−ｏｂｊｅｃｔ  ｔｒａｃｋｉｎｇ」、ＢＭＶＣ、２０１５年、以下、「Ｇａｉｄｏｎ  ２０１５」及び米国特許出願第１４／７１４，５０５号によって記載されたＯＤＡＭＯＴ追跡器、又は、Ａ．  Ｇｅｉｇｅｒ，  ｅｔ  ａｌ．、「３Ｄ  Ｔｒａｆｆｉｃ  Ｓｃｅｎｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｆｒｏｍ  Ｍｏｖａｂｌｅ  Ｐｌａｔｆｏｒｍｓ」、ＰＡＭＩ、３６：５、１０１２−１０２５ページ（２０１４年）、以下、「Ｇｅｉｇｅｒ  ２０１４」によって記載された追跡−バイ−検出（ＴＢＤ）など、任意の適切な追跡モデルが本開示に関連して使用することができる。そして、仮想世界における追跡コンポーネント６８の性能は、性能コンポーネント６６によって評価されることができ、現実世界の結論の伝達可能性の測定値が決定されることができる。例えば、現実世界の対応フレーム及び仮想映像フレームにおけるオブジェクト境界ボックスの重なり程度は、伝達可能性の尺度として決定されることができる。
【００４０】
システム１０は、デスクトップ、ラップトップ、パームトップコンピュータなどのＰＣ、携帯情報端末（ＰＤＡ）、サーバコンピュータ、携帯電話、タブレットコンピュータ、ポケットベル、それらの組み合わせ又は例示的な方法を実行するための命令を実行することができる他のコンピューティング装置など、１つ以上のコンピューティングデバイス５４上に常駐することができる。理解されるように、システム１０の一部は、２つ以上のコンピューティング装置上に分散させることができる。
【００４１】
メモリ４２は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスク若しくはテープ、光ディスク、フラッシュメモリ又はホログラフィックメモリなどの任意の種類の持続性コンピュータ読み取り可能な媒体を表すことができる。１つの実施形態において、メモリ４２は、ランダムアクセスメモリ及び読み出し専用メモリの組み合わせを含む。いくつかの実施形態において、プロセッサ４６及びメモリ４２は、単一チップで組み合わせることができる。
【００４２】
ネットワークインターフェース４８、５０は、コンピュータ５４がローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）などのコンピュータネットワーク又はインターネットなどの有線又は無線リンクを介して他の装置と通信するのを可能とし、変調器／復調器（ＭＯＤＥＭ）ルータ、ケーブル及び／又はイーサネット（登録商標）ポートを含むことができる。
【００４３】
ディジタルプロセッサ４６は、シングルコアプロセッサ、デュアルコアプロセッサ（又はより一般的にはマルチコアプロセッサ）、ディジタルプロセッサ及び協働数値演算コプロセッサ、ディジタルコントローラなどによって様々に具現化されることができる。ディジタルプロセッサ４６は、コンピュータ５４の動作制御に加えて、図３に概説された方法を実行するためにメモリ４２に記憶された命令を実行する。
【００４４】
用語「ソフトウェア」は、本願明細書において使用されるように、ソフトウェアの目的であるタスクを実行するためにコンピュータ又は他のディジタルシステムを構成するようにコンピュータ又は他のディジタルシステムによって実行可能な命令の集合又はセットを包含することが意図される。用語「ソフトウェア」は、本願明細書において使用されるように、ＲＡＭ、ハードディスク、光ディスクなどの記憶媒体に記憶されたそのような命令を包含することが意図され、また、ＲＯＭなどに記憶されたソフトウェアであるいわゆる「ファームウェア」を包含することが意図される。そのようなソフトウェアは、様々な方法で編成されることができ、ライブラリ、リモートサーバなどに記憶されたインターネットベースプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能なコードなどとして編成されたソフトウェアコンポーネントを含むことができる。ソフトウェアは、特定の機能を実行するためにサーバ又は他の場所に存在する他のソフトウェアへのシステムレベルのコード又はコールを含むことができることが想定される。
【００４５】
ここで図３を参照すると、請求項２のシステムによって実行可能な現実世界の映像分析性能を評価するために仮想世界を生成する方法が示されている。本方法は、Ｓ１００において開始する。
【００４６】
オフラインフェーズで実行可能なＳ１０２において、現実世界データセット１２が注釈付けされる。関心のあるオブジェクト（例えば、自動車又は歩行者）は、物理的測定などのセンサデータ１６及び既存のデータベースからのデータによって注釈付けされる。ＫＩＴＴＩデータセットなどの予め生成された現実世界データセットが利用されることができ、グレースケール及びカラーカメラ、３Ｄレーザスキャナ、ＩＭＵ及びＧＰＳセンサを使用して走行車から取り込まれたデータを含む。
【００４７】
オンラインフェーズにおいて、データセットが注釈付けされるときはいつでも以下の手順を実施することができる。
【００４８】
Ｓ１０４において、注釈付けされた現実世界データ１２が受信され、メモリ４２に記憶されることができる。
【００４９】
Ｓ１０６において、現実世界データ１２は、各オブジェクトカテゴリによってオブジェクト１８をラベル付けすることを含むビジュアルコンポーネント２０及びオブジェクト１８に分解することによって仮想世界内にクローン化される。
【００５０】
Ｓ１０８において、仮想世界２９は、仮想世界アセット７２のデータベースから仮想ビジュアルコンポーネント２６及び仮想オブジェクト２４を取り込む。仮想世界に取り込まれた特定の仮想ビジュアルコンポーネント及び仮想オブジェクトは、映像シーケンス１４に現れるビジュアルコンポーネント及びビジュアルオブジェクトに基づいている。例えば、自動車が映像シーケンス１４に現れる場合、グラフィックスエンジンコンポーネント５８は、エンジン５８がそのカテゴリにおけるオブジェクトをレンダリングする際にどのくらい正確かに応じて、現実世界の自動車と外観において同様とすることができる仮想車を仮想世界に取り込む。
【００５１】
Ｓ１１０において、スクリプト２８は、現実世界データに基づいて仮想世界において仮想ビジュアルコンポーネント２６及び仮想オブジェクト２４を制御するために生成される。スクリプトコンポーネント６０は、仮想シーンコンポーネント２４、２６のスクリプト２８を自動的に生成する。カメラ及びいくつかの仮想オブジェクトの配置及び動きは、自動的であり、現実世界データ１２によって決定される。背景オブジェクト又は光源などの他の仮想オブジェクト及び仮想ビジュアルコンポーネントは、手動で作成されて調整されることができる。
【００５２】
Ｓ１１２において、合成映像クローンシーケンス３０は、スクリプト２８に基づいて仮想世界においてグラフィックスエンジンコンポーネント５８及びスクリプトコンポーネント６０によって生成される。
【００５３】
Ｓ１１４において、仮想シーンコンポーネント２４、２６の少なくとも１つの状態３６は、変更されたスクリプト３４を生成する変更コンポーネント６２によって変更される。それゆえに、仮想オブジェクトの位置、向き、軌跡、大きさ、色又は形状は、変更されたスクリプト３４において変更されることができる。さらに、照明又は天候状態などの仮想ビジュアルコンポーネントが変更されることができる。さらにまた、仮想オブジェクトは、手動で追加、変更又は削除されることができる。
【００５４】
Ｓ１１６において、変更された合成映像３８は、変更されたスクリプト３４に基づいて、仮想世界においてグラフィックスエンジンコンポーネント５８及びスクリプトコンポーネント６０によって生成される。
【００５５】
Ｓ１１８において、画素レベルのグラウンドトゥルース注釈のセット３２、４０は、合成クローン３０及び／又は変更された合成映像３８における仮想オブジェクト２４について注釈コンポーネント６４によって生成される。
【００５６】
Ｓ１２０において、モデル７４は、現実世界データ１２についての特定のタスクを実行するために使用される。
【００５７】
Ｓ１２２において、同じモデル７４は、生成された合成データ３０及び／又は３８についての同じ特定のタスクを実行する。
【００５８】
Ｓ１２４において、現実世界データ１２についての特定のタスクにおけるモデル７４の性能は、生成された合成データ３０についての同じ特定のタスクにおけるモデルの性能と比較される。モデル７４の性能は、ステップＳ１１８において生成されたグラウンドトゥルース注釈３２に対して評価される。
【００５９】
Ｓ１２６において、生成された合成データ３８についての特定のタスクにおける同じモデル７４の性能は、ステップＳ１１８において生成されたグラウンドトゥルース注釈４０に対して評価される。
【００６０】
Ｓ１２８において、結論の伝達可能性の尺度は、方法ステップＳ１２４における比較及び方法ステップＳ１２６における評価に基づいて計算される。
【００６１】
Ｓ１３０において、伝達可能性の尺度が所定の閾値を満たしている場合、モデル７４は、モデルによって使用するために検証された合成データ及び／又は仮想映像３０及び／又はスクリプト２８における使用について検証されることができる（Ｓ１３１）。モデル７４及び／又は合成映像は、より異なる状態で使用するためのモデルの適合性を評価するために、他の合成データ３８に出力及び／又は適用されることができる。閾値が満たされない場合、モデル７４は、現実世界において新たな異なる状態におけるモデルの動作を改善するために再トレーニングされることができ、及び／又は、スクリプトは、合成クローン映像又は変更された合成映像を改善するために変更されることができる（Ｓ１１２、Ｓ１１６）。
【００６２】
本方法は、Ｓ１３４において終了する。図３に図示された本方法は、コンピュータ上で実行することができるコンピュータプログラム製品に実装されることができる。コンピュータプログラム製品は、ディスク、ハードドライブなどの制御プログラムが記録（記憶）された持続性コンピュータ読み取り可能な記憶媒体を含むことができる。持続性コンピュータ読み取り可能な媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ又は任意の他の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ又は他の任意の光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ又は他のメモリチップ若しくはカートリッジ、又は、コンピュータが読み取って使用可能な任意の他の持続性媒体を含む。コンピュータプログラム製品は、コンピュータ５４と一体化することができる（例えば、ＲＡＭの内部ハードドライブ）、又は、別個とすることができる（例えば、コンピュータ５４と動作可能に接続されることができる外部ハードドライブ）、又は、別個であって且つローカルエリアネットワーク（ＬＡＮ）若しくはインターネットなどのディジタルデータネットワークを介してアクセスされることができる（例えば、ディジタルネットワークを介してコンピュータ５４によって間接的にアクセスされる安価な独立ディスクの冗長アレイ（ＲＡＩＤ）又は他のネットワークサーバ記憶装置）。
【００６３】
あるいは、本方法は、電波及び赤外線データ通信中に生成されるような音波又は光波などの伝送媒体を使用してデータ信号として制御プログラムが具現化される送信搬送波などの一時媒体において実装されることができる。
【００６４】
例示的な方法は、１つ以上の汎用コンピュータ、専用コンピュータ、プログラミングされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、ディジタル信号プロセッサ、ディスクリート素子回路などのハードワイヤードの電子又は論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、グラフィックカードＣＰＵ（ＧＰＵ）又はＰＡＬなどのプログラマブル論理素子などに実装されることができる。一般に、順次図３に示されるフローチャートを実施することが可能な有限状態機械を実装することができる任意の装置が本方法を実施するために使用することができる。
【００６５】
理解されるように、本方法のステップは、全てコンピュータ実装されることができるが、いくつかの実施形態においては、ステップの１つ以上は、少なくとも部分的に手動で実行されることができる。また理解されるように、本方法のステップは、図示された順序で全て進行する必要はなく、より少ない、より多い又は異なるステップが実行されてもよい。
【００６６】
本方法及びシステムのさらなる例示的な態様がここで記載される。
【００６７】
現実世界データの取得（Ｓ１０４）
仮想世界において映像分析性能を評価する方法は、まず、校正の目的のために限られた量の現実世界データ１２の取得を含む。現実世界データ１２は、仮想世界を初期化するため且つマルチオブジェクト追跡（ＭＯＴ）などのテストされたアルゴリズムの比較のための双方において使用される。仮想世界の初期化に関して、本方法によって必要とされるデータの量は、現在のコンピュータビジョンモデルをトレーニング又は検証するために通常必要とされるものよりも有利に小さい。本方法は、関心のある全ての可能なシナリオの合理的なカバレッジを必要としない。代わりに、オブジェクト１８及びビジュアルコンポーネント２０のコア現実世界の映像シーケンス１４の小さな固定セットは、少なくとも２個、少なくとも５個、少なくとも１０個又はそれ以上の変更された合成映像シーケンス３８など、合成クローン３０及び多くの変更された合成又は仮想映像シーケンス３８が生成されることができる初期シードデータとして使用される。
【００６８】
本方法のために取得される現実世界データ１２は、以下の２つの一般的な種類を含むことができる：カメラ装置５７から得られた現実世界シーンの映像及びカメラ自体を含むシーンにおける重要なオブジェクトの物理的測定値。モノクロ、カラー、及び／又は赤外線／ＵＶカメラ、３Ｄレーザスキャナ、慣性測定ユニット（ＩＭＵ）及び全地球測位システム（ＧＰＳ）など、このデータを捕捉するために各種センサ１６が使用される。現実世界データ１２について仮想が初期化されることができるであろう「シード」を提供するために、シーン１４に現れるオブジェクト１８は、上述したセンサからの物理的測定値によって手動で注釈２２が付けられる。例えば、ヒト注釈器は、自動車や歩行者を含む関心があり得るいくつかの種類のオブジェクトについて３Ｄ境界ボックスにラベル付けすることができる。車両が関心のあるオブジェクトである場合、注釈データは、自動車の位置及び大きさとそれらの縦軸まわりの回転角度（ヨー回転）に関する情報を含む。カメラ自体の動きも記録される。ＧＰＳセンサ７１は、カメラの緯度、経度及び高度を測定することができるとともに、カメラの向き（すなわち、ロール、ピッチ、ヨー）は、カメラとの固定された空間的関係を有するＧＰＳ／ＩＭＵセンサを介して測定される。
【００６９】
ＭＯＴなどのアルゴリズムの性能を比較するために現実世界データ１２を使用するために、境界ボックス８２（図１１）に類似する２Ｄ境界ボックス又はウィンドウは、映像シーケンス１４に現れる関心のある各オブジェクト（自動車、歩行者など）について手動で注釈付けされることができる。
【００７０】
仮想世界への現実世界データのクローン化（Ｓ１０６−Ｓ１１２）
上述した注釈付き現実世界データ１２は、仮想カメラ経路が合成映像クローン３０及び変更された仮想映像シーケンス３８に変換する写実的な動的３Ｄ世界の世代を初期化する。この現実−仮想方法は、仮想世界が最初から構築される必要がないため、かなりの計算の節約を可能とする。グラフィックスエンジン５８は、現実世界の映像シーケンス１４をオブジェクト１８及びビジュアルコンポーネント２０に分解する。任意の適切な既存の再利用可能で一般的なコンピュータグラフィックエンジン及びグラフィックアセットは、仮想世界を生成するために使用又はカスタマイズされることができる。
【００７１】
一般的なグラフィックスエンジン５８は、仮想世界を生成するのに有用な追加のコンポーネントを含むように変更されることができる。これらの追加のコンポーネントは、一般に、仮想シーンの記述としての幾何学的形状、視点、テクスチャ、照明及び／又はシェーディング情報を含む２Ｄ又は３Ｄモデルを生成するためのレンダリングエンジン；衝突検出を含む剛体力学、軟体力学及び流体力学などの物理学の法則の現実的なシーンを提供するための物理エンジン；現実的な音を生成するための音声エンジン；人工知能などのうちの１つ以上を含む。
【００７２】
グラフィックアセット７２のセットは、異なる仮想オブジェクト２４の３Ｄモデル及びテクスチャマップ並びにそれらの材料を記憶する既存のデータベースとすることができる。グラフィックアセット７２は、現実世界において現れることができる人間、動物、環境、景観、樹木、植物、構造物、建築物、自動車などについての任意数の３Ｄモデルを仮想世界に取り込むためにグラフィックスエンジン５８によって利用される。現実世界のオブジェクト１８と同様の仮想オブジェクトは、仮想世界が現実世界と視覚的に似ているように選択される。例えば、北米の一部において、冬季及び夏季枝葉におけるいくつかの落葉樹についての３Ｄモデルが広く使用されることができる一方で、他の部分については、より多くの熱帯植物がより適切であり得る。選択された樹木は、順次、シーン内の照明状態に影響を及ぼし得る。そして、グラフィックスエンジン５８は、現実世界のシードデータに基づいて仮想オブジェクト２４を仮想世界に自動的に取り込む。例えば、３Ｄ仮想世界における自動車の位置及び向きは、現実世界のカメラ並びにカメラ自体の位置及び向きに対するそれらの位置及び向きに基づいて計算される。同様に、自動車が現実世界の映像シーケンス１４において動いている道路は、カメラの位置に応じて仮想世界内に配置される。ほとんどの仮想シーンコンポーネントは自動的に制御され、入力として現実世界データ１２を使用してスクリプトコンポーネント６０によってスクリプティングされることができる。微細な手動調整は、自動車の車線変更又は道路幅変更などの特別な場合に行うことができる。
【００７３】
樹木及び建築物などのいくつかの背景オブジェクトは、簡便化のために又はそれらの位置データの欠如に起因して仮想世界において手動で配置されてもよい。さらに、スクリプトコンポーネント６０は、いくつかの仮想シーンコンポーネントがスクリプトのより高い忠実度又は簡便化（例えば、光源のようなグローバル要因）のために手動で設定又は変更されるのを可能とする。他の外部データソースはまた、このプロセスを自動化するために使用されることができる。例えば、グーグルストリートビューは、仮想世界において類似の道路及び背景オブジェクトを作成するために使用されることができる。そして、スクリプトコンポーネント６０は、その外観が現実世界映像のものと似ている合成クローン３０を生成するためにスクリプト２８によってこの仮想世界を自動化する。この類似性は、図４及び図５において観察されることができる。
【００７４】
変更された合成シーケンスの生成（Ｓ１１４−Ｓ１１６）
変更コンポーネント６２は、現実世界において以前に観察されなかった仮想世界における１つ以上の状態３６を変更するか又はＳ１０６−Ｓ１１２において生成されたその合成クローンを変更することを可能とする。スクリプト２８における仮想オブジェクト２４及び仮想ビジュアルコンポーネント２６の特性に対する変更は、変更されたスクリプト３４をもたらす。例示的な変更状態３６は、照明の方向又は強度の変更、天候の変更及び／又はカメラ設定の変更を含む。これらの状態は、データ生成パイプラインの柔軟で完全な制御を達成して仮想シーンの無限の多様性及び量を生成するために変更コンポーネント６２によってオンデマンドでランダム化又は変更されることができる。変更コンポーネント６２によって作成されるこれらの簡単な変更は、そうでない場合には現実世界を再取得して再注釈付けするというデータのコストのかかる処理を必要とする複雑な視覚的変更に変換する。
【００７５】
多数の異なる視覚的変更は、変更コンポーネント６２によって達成されることができる。例えば、照明は、指向性光源の方向及び強度を変えることによって及び／又は周囲光の強度を減少又は増加させることによって変更することができる。この種の変更は、例えば、太陽が西にあり且つオブジェクトが昼間に撮像された現実世界のシーケンスよりも薄暗くみえる夕暮れシーンをシミュレートするために使用可能である。他の変更例において、照明は、曇天をシミュレートする非常に弱い指向性光源を使用するように変更される。天候状態はまた、グラフィックスエンジン５８に霧又は雨の影響を生成させる変更されたスクリプト３４において変更されることができる。他の変更例において、カメラの位置は、元の位置から下方に移動させることができる。
【００７６】
変更コンポーネント６２によって変更されることができる他の状態は、以下のうちの１つ以上を含む：オブジェクトの数、軌跡及び速度（例えば、自動車）；それらの大きさ、色又は形状；カメラの位置、向き及び軌跡；いくつかの事象（例えば、事故）の存在／非存在；及びそれらの組み合わせ。
【００７７】
任意数の変更された状態を有する変更された仮想映像シーケンス３８を生成する機能は、現実世界データが存在しない特定のシナリオにおいて質問がモデル７４の性能について回答されるのを可能とする。ＭＯＴの場合、１つの要因は、「全ての他のものが等しい」又は「セテリス・パリバス」分析を実行するために１度に変更されることができる。例えば、霧は、シーンの全ての他の状態が同じまま生成されることができる。そして、追跡性能は、この変更された状態を用いて分析される。稀であるか又は非現実的な状況を有する仮想映像シーケンスはまた、「ｗｈａｔ−ｉｆ」分析におけるモデルの性能を測定するために生成されることができる。「ｗｈａｔ−ｉｆ」分析に適した稀であるか又は非現実的な状況の例は、「事故があったらどうなるか」又は「歩行者が現れたらどうなるか」を含む。そして、追跡性能は、この変更された状態を用いて分析される。
【００７８】
合成シーケンスにおけるグラウンドトゥルース注釈の生成（Ｓ１１８）
合成映像３０、３８におけるグラウンドトゥルース注釈３２、４０の生成は、ヒト注釈器からのものよりも豊かで（すなわち、画素レベル）且つより一貫性のある結果を可能とするアルゴリズムベースのアプローチを使用して自動的に達成されることができる。グラウンドトゥルース注釈は、タスクを実行するために利用される場合、システム１０の理想的な出力を表現する。ＭＯＴなどのタスクについて、理想的な出力又は目標は、現実世界の映像シーケンス１４であるか又は合成映像シーケンス３０、３８のうちの１つであるかにかかわらず、シーン内の関心のある全てのオブジェクトの特定である。
【００７９】
画素レベルのグラウンドトゥルースを達成するために、注釈コンポーネント６４は、仮想シーン３０、３８の各瞬間又はフレームを複数回レンダリングすることができる。全てのシーンコンポーネントは、関心のある１つの仮想オブジェクト（グラウンドトゥルースが注釈付けされる必要があるオブジェクト）の材料が変更されることを除いて、各レンダリングについて同じく保持される。仮想映像に現れる仮想オブジェクトの最初のインスタンスは、図６における画像など、仮想オブジェクト（例えば、自動車）の元の若しくは通常の画像又はレンダリング７６を構成する。そして、２つの追加画像７８、８０は、黒無地（図８）に、次いで白無地（図１０）に変更されたその材料色によって仮想オブジェクトについてレンダリングされる。３つの画像（通常レンダリング及び異なる材料色を有する２つの追加のもの）は、その特定の仮想オブジェクトについての生の画素レベルのグラウンドトゥルース３２、４０を生成するために画素毎に比較される。
【００８０】
このプロセスは、生の画素レベルのグラウンドトゥルースがシーン内の各仮想オブジェクトについて生成されるまで、シーン内の関心のある各仮想オブジェクトについて繰り返される。フレーム内のいくつかの自動車などの関心のあるいくつかのオブジェクトを有する画像について（図１２）、合成クローン３０（図１３）又は変更された映像シーケンスについての自動グラウンドトゥルース注釈３２は、異なる色で生成されて表示されることができる（それらは、図１４に示されたモノクロレンダリングにおいて全てグレー表示される）。生の画素レベルの注釈は、偽の画素を除去するために、形態学的操作（例えば、侵食、拡張など）を使用することによって洗練されることができる。境界ボックス８２は、図５の右下画像においてみられるように、関心のある仮想オブジェクトについての必要に応じて洗練された画素レベルのグラウンドトゥルース注釈を集約することによって生成される。グラウンドトゥルース注釈３２、４０は、以下により詳細に記載されるように、タスク固有アルゴリズム７４の性能を評価するために後続のステップにおいて利用される。
【００８１】
結論の伝達可能性の評価（Ｓ１２０−１２８）
このステップにおいて、生成された合成データ３０、３２、３８及び４０の有用性は、ＭＯＴなどの特定の分析タスクについての性能コンポーネント６６によって評価される。特定の分析タスクの性能は、システムの理想的な出力を表現するグラウンドトゥルース注釈３２、４０と比較される。特に、性能コンポーネント６６は、仮想世界が現実世界についての良好なプロキシであるかどうかを評価し、仮想世界がどの程度良好なプロキシであるかを定量化する。
【００８２】
いくつかの実施形態において、生成された合成データ３０、３２が分析される。この場合、性能コンポーネント６６の出力は、最初の「シード」現実世界の映像シーケンス１４及びその合成クローン３０についてテストされたモデル７４の性能の比較をあてにする。性能は、シーン内に現れる関心のある全てのオブジェクトのマルチオブジェクト追跡などの関心のあるタスクに依存する。性能を評価するためにタスク固有のメトリックが使用される。実際の映像１４及び合成クローン３０についての出力間の不一致のより一般的な測定値によってタスク固有のメトリックを補完することも可能である。例えば、最大平均乖離のようなドメインミスマッチ測定（Ａ．  Ｇｒｅｔｔｏｎ，  ｅｔ  ａｌ．、「Ａ  ｋｅｒｎｅｌ  ｔｗｏ−ｓａｍｐｌｅ  ｔｅｓｔ」、Ｊ．  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓ．  （ＪＭＬＲ）、１３（１）：７２３−７７３ページ、２０１２年を参照）が計算されることができる。
【００８３】
現実世界においてタスクを達成するためのモデル７４の挙動及び仮想世界において同じタスクを達成するための同じモデルの挙動は、タスクの性能メトリックに応じて、可能な限り厳密に一致する必要がある。挙動が一致する（例えば、同意の少なくとも閾値レベルを有する）ことを性能コンポーネント６６が示す場合、それは、仮想世界が現実世界についての良好なプロキシであることの表示であり、モデル及び／又は仮想世界の生成方法が検証されることができる（Ｓ１３０）。性能コンポーネント６６が挙動の不一致を示す場合、仮想世界は、なおもいくつかのタスクについて現実世界のための適切なプロキシとすることができる。しかしながら、不一致は、不一致が存在するタスクについて性能が低下する可能性があることを示す。この場合、性能のギャップが学習されて定量化されることができる。
【００８４】
いくつかの実施形態において、生成された合成データ３８、４０が分析される。この場合、性能コンポーネント６６の出力は、変更状態がモデル７４の性能に及ぼす影響を定量的に測定するタスク固有のメトリックである。この場合、変更状態について存在しないため、現実世界の映像シーケンスによって比較は行われない。しかしながら、仮想世界における変更状態の定量化された影響は、現実世界における性能の指標をなおも提供する。これは、仮想世界が現実世界の映像シーケンスの合成クローン３０から初期化されるためである。クローンと変更されたバージョンとの間の性能のギャップもまた、この実施形態において学習されて定量化されることができる。
【００８５】
性能のギャップを狭くするために、仮想世界の設計、写実の程度及びモデル自体を含む関心のある性能メトリックの他のレンダリングパラメータの品質の影響を評価するために有用であり得る。上述した要因に対する変更が性能のギャップを狭めない場合、より多くの現実世界データが適切にシステム１０を再トレーニングするために有益であろうことを示す可能性がある。この性能を評価するための単純で自然な技術は、現実世界のセンサデータの小さなセットの合成クローン化に基づいて仮想世界を生成する直接的な利益である。
【００８６】
いくつかの実施形態において、結論の伝達可能性を評価するために使用されるモデル又はアルゴリズム７４は、マルチオブジェクト追跡（ＭＯＴ）についてのものである。ＭＯＴにおいて、例えば「自動車」又は「歩行者」などの映像ストリーム及び意味クラスを考えると、目標又はタスクは、それらが時間をかけて移動するのにともない、映像ストリームのフレームにおけるクラスの個々のオブジェクトを追跡することである。ＭＯＴアルゴリズムは、現実世界の映像シーケンス１４、合成クローン３０、及び、変更態を有する変更された合成映像３８のいずれかに関連して利用される。
【００８７】
任意の適切なＭＯＴモデル７４は、本願明細書において開示される例示的な方法及びシステムに関連して使用されることができる。既存のＭＯＴアルゴリズムは、例えば、Ｂｒｅｉｔｅｎｓｔｅｉｎ，  ｅｔ  ａｌ．、「Ｏｎｌｉｎｅ  Ｍｕｌｔｉ−Ｐｅｒｓｏｎ  Ｔｒａｃｋｉｎｇ−ｂｙ−Ｄｅｔｅｃｔｉｏｎ  ｆｒｏｍ  ａ  Ｓｉｎｇｌｅ，  Ｕｎｃａｌｉｂｒａｔｅｄ  Ｃａｍｅｒａ」、ＩＥＥＥ  ＰＡＭＩ、３３：９、１８２０−１３３３ページ、（２０１１年）；Ｐｉｒｓｉａｖａｓｈ，  ｅｔ  ａｌ．、「Ｇｌｏｂａｌｌｙ−ｏｐｔｉｍａｌ  ｇｒｅｅｄｙ  ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  ｔｒａｃｋｉｎｇ  ａ  ｖａｒｉａｂｌｅ  ｎｕｍｂｅｒ  ｏｆ  ｏｂｊｅｃｔｓ」、ＣＶＰＲ、１２０１−１２０８ページ、２０１１年；Ｍｉｌａｎ，  ｅｔ  ａｌ．、「Ｃｏｎｔｉｎｕｏｕｓ  Ｅｎｅｒｇｙ  Ｍｉｎｉｍｉｚａｔｉｏｎ  ｆｏｒ  Ｍｕｌｔｉ−Ｔａｒｇｅｔ  Ｔｒａｃｋｉｎｇ」、ＰＡＭＩ、３６：１、５８−７２ページ、２０１４年；Ｇｅｉｇｅｒ  ２０１４；Ｈａｌｌ，  ｅｔ  ａｌ．、「Ｏｎｌｉｎｅ，  Ｒｅａｌ−Ｔｉｍｅ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  ａ  Ｃａｔｅｇｏｒｙ−ｔｏ−Ｉｎｄｉｖｉｄｕａｌ  Ｄｅｔｅｃｔｏｒ」、ＥＣＣＶ、２０１４年；Ｃｏｌｌｉｎｓ，  ｅｔ  ａｌ．、「Ｈｙｂｒｉｄ  Ｓｔｏｃｈａｓｔｉｃ／Ｄｅｔｅｒｍｉｎｉｓｔｉｃ  Ｏｐｔｉｍｉｚａｔｉｏｎ  ｆｏｒ  Ｔｒａｃｋｉｎｇ  Ｓｐｏｒｔｓ  Ｐｌａｙｅｒｓ  ａｎｄ  Ｐｅｄｅｓｔｒｉａｎｓ」、ＥＣＣＶ、２０１４年に記載されている。追跡−バイ−検出（ＴＢＤ）は、単眼映像ストリームにおけるオブジェクト追跡のための標準的な方法である。それは、正確な外観モデルが映像内のオブジェクトを確実に追跡するのに十分であるという観察をあてにしている。
【００８８】
特定の実施形態において、ＯＤＡＭＯＴ追跡器がＭＯＴのために使用される。Ｇａｉｄｏｎ  ２０１５を参照のこと。ＯＤＡＭＯＴ追跡器は、汎用オブジェクトの提案を使用することによって映像における複数のオブジェクトを追跡するという問題に対処する（すなわち、オブジェクトの位置を予測する）。提案は、フレーム内のオブジェクトのいずれかの種類を含む可能性があるウィンドウのリストの形態とすることができる（境界ボックス７８）。特徴は、各提案されたオブジェクトから抽出され、そして、提案レベルの予測は、フレームのシーケンスにわたって目標を追跡するために粒子フィルタを（目標毎に）使用してともに結合される。
【００８９】
追跡器が映像（映像シーケンス１４、合成クローン３０、及び変更された合成映像３８）の解析を終了した後、（Ｓ１０２において手動で注釈付けされた）グラウンドトゥルース注釈２２、（Ｓ１１８において変更された合成クローンについて自動的に生成された）３２及び（Ｓ１１８において変更された合成クローンについて自動的に生成された）４０が追跡器の性能を評価するために使用される。
【００９０】
今まで、写実的にみえる合成映像を使用することがコンピュータビジョンアルゴリズムの現実世界分析を実施するための有効な代替案であるかどうかを正確に評価することは不可能であった。特定の予め決められたタスク及びドメインについての有用な合成映像の固定セットを手動で生成する代わりに、例えば、オプティカルフローについてのＳｉｎｔｅｌベンチマーク（Ｂｕｔｌｅｒ  ２０１２）を参照すると、例示的な方法は、合成から現実世界データへの結論の伝達可能性を測定するために、生成された合成映像の有用性を直接定量化する。
【００９１】
本願明細書に開示される様々な実施形態において、例示的な方法は、映像分析アルゴリズムの性能を評価するのに有用な写実的な仮想世界を生成するためにコンピュータグラフィックスにおける最近の進歩（特にゲームエンジンのような既製のツール）を活用する。本願明細書に記載されたシステム及び方法は、以下を含む既存の映像分析技術を超えるいくつかの利点を有する：高品質の詳細な注釈を有する低コストのデータ生成；「ｗｈａｔ−ｉｆ」及び「セテリス・パリバス」分析を実行するために稀な状態下を含む、豊かで様々なシーン及びそれらの注釈を自動的に生成するための柔軟性；及び、合成から現実世界データへの「結論の伝達可能性」を定量化する能力。
【００９２】
現実世界の映像シーケンスの３Ｄ合成クローンから仮想世界を初期化することにより、高密度の詳細なラベル（例えば、全ての映像フレームにおける画素レベルの注釈）を有する大量のデータを容易に生成することができる。このデータは、一般的な性能評価及びモデルトレーニング又は微調整の双方のために有用である。このデータはまた、特定のシナリオ（例えば、夜間、雨天、雪天）におけるモデルの性能についての質問に回答するためにシーンを生成するために有用である。さらに、そうでない場合に実行可能に自動調整されることができない非常に高いレベルのもの（例えば、最適なカメラの仕様及びカメラの配置）などのハイパーパラメータのモデル選択又は最適化は、生成されたデータを使用して達成されることができる。
【００９３】
本方法及びシステムは、例えば、以下のドメイン内のコンピュータビジョン技術における用途を見出すことができる：高占有レーン管理、駐車中の車両占有推定、ナンバープレート認識、料金徴収、路上駐車の監視などの輸送；患者監視及び診断支援などのヘルスケア；製品検出、クライアント追跡、待機時間推定を含む小売；及び、文書分析などのビジネスプロセスアウトソーシング。
【００９４】
本願明細書に記載される方法は、質問に定量的に回答し、プライバシーの問題又はデータの取得コストに起因して大抵の場合には推測的で且つ大抵の場合には帰納的でさえない利用不可能なデータを有さずに要求する。
【００９５】
例示的な実施形態の範囲を限定するように意図することなく、以下の例は、輸送の文脈における方法の実施を示す。具体的には、対象となる用途は、モバイルカメラからの自動車両検出及び追跡である。
【００９６】
例
例示的な方法は、マルチオブジェクト追跡（ＭＯＴ）の文脈において評価される。ＭＯＴは、映像ストリームのフレームに沿って既知のカテゴリからのオブジェクトの全てのインスタンスを自動的に検出して追跡することをともなう。これは、コンピュータビジョンにおける用途についての最も有用な映像分析タスクの１つである。例示的な方法を評価するために使用されるＭＯＴアルゴリズム７４は、Ｇａｉｄｏｎ  ２０１５及び米国特許出願第１４／７１４，５０５号によって記載されたＯＤＡＭＯＴ追跡器であった。
【００９７】
データセット：例示的な方法は、公的に利用可能な現実世界ＫＩＴＴＩデータセットにおけるマルチオブジェクト追跡（ＭＯＴ）性能を評価する。Ｇｅｉｇｅｒ  ２０１２を参照のこと。ＫＩＴＴＩデータセットは、仮想世界を初期化するために現実世界データとして使用される。このデータセットは、道路に沿って走行する車両に搭載されたカメラによって撮像された。データを捕捉するために使用されるセンサは、グレースケール及びカラーカメラ、３Ｄレーザスキャナ並びに慣性及びＧＰＳナビゲーションシステムを含む。３Ｄレーザスキャナによって捕捉されたクラウドの観点から、ヒト注釈器は、自動車及び歩行者を含むいくつかの種類のオブジェクトの３Ｄ境界ボックスをラベル付けした（現在の例においては、自動車についてのデータのみが使用された）。注釈データは、自動車の位置及び大きさ並びに縦軸（ヨー回転）まわりのそれらの回転角度を含む。カメラ自体の動きは、ＧＰＳを介して（緯度、経度、高度）及びカメラとの固定された空間的関係を有するＧＰＳ／ＩＭＵセンサを介してその向き（ロール、ピッチ、ヨー）を介して記録された。オブジェクト（自動車、歩行者など）の２Ｄ境界ボックスの手動注釈はまた、追跡アルゴリズムの性能を評価するために収集された。元のＫＩＴＴＩ映像からのフレーム及びその付随する２Ｄ境界ボックス注釈が図１２に示されている。
【００９８】
ＫＩＴＴＩ記録において元のものと密接に似ている合成世界を作成するために、Ｕｎｉｔｙ  Ｔｅｃｈｎｏｌｏｇｉｅｓ社によって開発されたクロスプラットフォームのゲームエンジンである商用コンピュータグラフィックスエンジンＵｎｉｔｙが使用された。「アセット」のセットは、異なるオブジェクト及び材料の３Ｄモデル及びテクスチャマップを含むＵｎｉｔｙのアセットストアから得られた。仮想世界は、これらの仮想オブジェクトを自動的に取り込み、ここで、３Ｄ仮想世界における自動車の位置及び向きは、カメラに対するそれらの位置及び向き並びにカメラ自体の位置及び向きに基づいて計算される。自動車が走行していた道路は、車線変更や道路幅変更などの特別な場合に微細な手動調整によってカメラの位置に応じて配置される。他の道路並びに樹木及び建築物などの背景オブジェクトは、簡便化のために且つそれらの位置データの欠如のために仮想世界内に手動で配置される。指向性光源は、太陽をシミュレートする。その方向及び強度は、仮想及び現実世界のシーンにおいて影を比較することによって設定される。最終結果は、合成映像が生成され且つその外観が図４及び図５に示されるように現実世界の映像記録のものに似ている仮想世界である。
【００９９】
３Ｄ仮想世界が作成された後、変更された状態による合成クローン仮想映像及び合成映像の双方が生成された。変更状態を有する第１の合成映像は、太陽が西にあり且つオブジェクトが薄暗くみえる夕暮れシーンをシミュレートするために、指向性光源の方向及び強度の変化並びに周囲光強度の低下を特徴とした。第２の変更された合成映像は、非常に弱い指向性光源を使用して曇天のシミュレーションを含んだ。次に、霧及び雨天の仮想映像シーケンスは、Ｕｎｉｔｙグラフィックスエンジンを使用して生成された。物理及びレンダリングエンジン、特殊効果並びにＵｎｉｔｙグラフィックスエンジンに内蔵の粒子系が、雨天状態をシミュレートするために使用された。映像はまた、カメラが１メートルだけ元の位置から下方に移動され且つさらに１０度上方に回転されて生成された。新たなカメラ位置並びに新たな自動的に生成された注釈を有するこの合成映像からの結果が評価された。
【０１００】
ＭＯＴについての定量的な結果
表１は、上述した異なる変更状態を含む異なる現実世界及び仮想ＫＩＴＴＩ映像についてのＯＤＡＭＯＴ追跡器及び標準ＴＢＤベースラインのＭＯＴ追跡性能を示している。
【０１０１】
ＫＩＴＴＩ評価プロトコルは、ＣＬＥＡＲ  ＭＯＴメトリックを使用して続いた。Ｍｏｓｔｌｙ  Ｔｒａｃｋｅｄ（ＭＴ）及びＭｏｓｔｌｙ  Ｌｏｓｔ（ＭＬ）比、Ｐｒｅｃｉｓｉｏｎ（Ｐｒｅｃ）、Ｒｅｃａｌｌ（Ｒｅｃ）、及びＦａｌｓｅ  Ａｌａｒｍ  Ｒａｔｅ（ＦＡＲ）によって補完された−ＭＯＴ  Ａｃｃｕｒａｃｙ（ＭＯＴＡ）、ＭＯＴ  Ｐｒｅｃｉｓｉｏｎ（ＭＯＴＰ）、Ｆｒａｇｍｅｎｔａｔｉｏｎ（ＦＲＧ）、及びＩＤ  Ｓｗｉｔｃｈｅｓ（ＩＤＳ）を含む、Ｋ．  Ｂｅｒｎａｒｄｉｎ，  ｅｔ  ａｌ．、「Ｅｖａｌｕａｔｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ｏｂｊｅｃｔ  Ｔｒａｃｋｉｎｇ  Ｐｅｒｆｏｒｍａｎｃｅ：  Ｔｈｅ  ＣＬＥＡＲ  ＭＯＴ  Ｍｅｔｒｉｃｓ」、ＥＵＲＡＳＩＰ  Ｊ．  ｏｎ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ、１−１０ページ、２００８年を参照のこと。ＫＩＴＴＩ追跡ベンチマークからの公開評価コードが使用される。ｈｔｔｐ：／／ｋｉｔｔｉ．ｉｓ．ｔｕｅ．ｍｐｇ．ｄｅ／ｋｉｔｔｉ／ｄｅｖｋｉｔ＿ｔｒａｃｋｉｎｇ．ｚｉｐを参照のこと。
【０１０２】
ベースライン：追跡−バイ−検出（ＴＢＤ）法は、ＯＤＡＭＯＴ法との比較のために使用される。ＴＢＤは、単眼映像ストリームにおけるオブジェクト追跡のための標準的な方法である。それは、正確な外観モデルが映像内のオブジェクトを確実に追跡するのに十分であるという観察をあてにしている。
【０１０３】
表１の結果は、元の現実世界のＫＩＴＴＩ（「−Ｒ」）及び仮想世界（「−Ｖ」）映像におけるＭＯＴ性能を示している。２行目及び４行目は、合成クローンに関するものである。結果の最後の４行は、変更状態を有する合成映像におけるＯＤＡＭＯＴ性能を示している。
【０１０４】
【表１】
2017151973.tif 000003
【０１０５】
結論の伝達可能性：表１の結果は、方法に応じた現実世界の性能から仮想性能までの差を定量化する。ＭＯＴ法は、現実世界データにおいて事前にトレーニングされたオブジェクト検出器をあてにしていることから、仮想世界オブジェクトは、実際には、ドメインの不一致に起因して検出することが困難である。この結果は、ｒｅｃａｌｌ（Ｒｅｃ．）及びＭｏｓｔｌｙ  Ｔｒａｃｋｅｄ（ＭＴ）メトリックにおける一貫性の低下によって評価されることができる。双方の追跡器によって使用される検出器は、現実世界の映像について６０．７％の平均精度（ＡＰ、オブジェクト検出のための標準的なメトリック）及びその合成クローンについて５８．７％のＡＰを達成することに留意されたい。検出性能におけるこの小さいが有意な低下は、増加したＭｏｓｔｌｙ  Ｌｏｓｔ（ＭＬ）メトリックによって示されるように、信頼性の高い検出によってサポートされていないグラウンドトゥルース追跡の部分をもたらす。
【０１０６】
それにもかかわらず、ＭＯＴ  Ａｃｃｕｒａｃｙ（ＭＯＴＡ）によって示される全体的な性能は、特により柔軟なＯＤＡＭＯＴアルゴリズムについて、仮想世界において適度に良好である。特に、より簡単な追跡及び困難な障害例は、ＭＯＴ  ｐｒｅｃｉｓｉｏｎ  ｍｅｔｒｉｃ（ＭＯＴＰ）によって測定されるように、現実世界と仮想世界との間において同等である。結論の伝達可能性を保証するこの挙動の類似性は、トラックについて図１５及び図１６において定性的に示されている。シーン及びトラックの双方の視覚的類似性に留意されたい。検出周囲のヒートマップは、（説明を容易とするために破線及び実線ボックスとして図において示される）個々の追跡器のオーバーレイ粒子を示すために使用されることができる。類似性はまた、元の映像及びその合成クローンのフレームを一致させるために、ＯＤＡＭＯＴによって使用される、基礎となるオプティカルフロー測定「ＤｅｅｐＦｌｏｗ」についての図１７−図２０においても明らかである。Ｐ．  Ｗｅｉｎｚａｅｐｆｅｌ，  ｅｔ  ａｌ．、「ＤｅｅｐＦｌｏｗ：  Ｌａｒｇｅ  ｄｉｓｐｌａｃｅｍｅｎｔ  ｏｐｔｉｃａｌ  ｆｌｏｗ  ｗｉｔｈ  ｄｅｅｐ  ｍａｔｃｈｉｎｇ」、ＩＣＣＶ、１３８５−１３９２ページ、２０１３年を参照のこと。現実世界と仮想世界との間の狭いギャップは、さらに、例えば映画業界からのツールを使用することによる既製のＵｎｉｔｙエンジンよりも高度なコンピュータグラフィックスを使用することによって実際に減少させることができる。
【０１０７】
ＭＯＴにおける「Ｗｈａｔ−ｉｆ」及び「セテリス・パリバス」分析：表１の結果の最後の４行は、異なる状態についての定量的な追跡結果を示している。これらの結果は、畳み込みニューラルネットワーク機能による領域（Ｒ−ＣＮＮ）に基づいて、ＯＤＡＭＯＴにおいて使用される最先端のオブジェクト検出器のロバスト性の欠如の基礎となるＭＯＴ性能について各状態が有する影響の程度を定量化する。Ｒ．  Ｇｉｒｓｈｉｃｋ，  ｅｔ  ａｌ．、「Ｒｉｃｈ  ｆｅａｔｕｒｅ  ｈｉｅｒａｒｃｈｉｅｓ  ｆｏｒ  ａｃｃｕｒａｔｅ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ」、ＣＶＰＲ、５８０−５８７ページ、２０１４年を参照のこと。
【０１０８】
特に、霧は、厳密に影響を及ぼすｒｅｃａｌｌとして示されており、それゆえに、そのシナリオについての特定のトレーニングデータの必要性を示唆している。全体的に、結果は、動き情報はほとんど維持されるが、外観モデルは、異なる照明及び天候状態を含むトレーニングデータにおける多様性の欠如に起因して、ある程度、破壊することを示唆している。
【図１】
2017151973.tif 000004
【図２】
2017151973.tif 000005
【図３】
2017151973.tif 000006
【図４】
2017151973.tif 000007
【図５】
2017151973.tif 000008
【図６】
2017151973.tif 000009
【図７】
2017151973.tif 000010
【図８】
2017151973.tif 000011
【図９】
2017151973.tif 000012
【図１０】
2017151973.tif 000013
【図１１】
2017151973.tif 000014
【図１２】
2017151973.tif 000015
【図１３】
2017151973.tif 000016
【図１４】
2017151973.tif 000017
【図１５】
2017151973.tif 000018
【図１６】
2017151973.tif 000019
【図１７】
2017151973.tif 000020
【図１８】
2017151973.tif 000021
【図１９】
2017151973.tif 000022
【図２０】
2017151973.tif 000023