(57)【要約】【課題】センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる情報処理方法および情報処理システムを提供する。【解決手段】情報処理方法は、コンピュータを用いて、同一とみなされる時間における撮像により生成された複数の画像と、複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、取得した複数の画像と、位置及び撮像方向と、複数の物体検出結果とを用いて学習用データ選択処理を実行し、学習用データ選択処理は、複数の撮像装置の位置及び撮像方向から、複数の画像それぞれに共通的に映る共通領域を算出し、共通領域における複数の物体検出結果の間の一致度を判定し、一致度に応じて複数の画像の中から学習用データとなる画像を選択する、ことを含む。【選択図】図９
2020021372.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを用いて、
同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、
前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、
取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、
前記学習用データ選択処理は、
前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、
前記共通領域における前記複数の物体検出結果の間の一致度を判定し、
前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含む
情報処理方法。
【請求項２】
さらに、
前記複数の撮像装置のうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、前記学習用データ選択処理を実行するか否かを判定し、
前記学習用データ選択処理を実行すると判定した場合に、前記学習用データ選択処理を実行する
請求項１に記載の情報処理方法。
【請求項３】
前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置は、前記特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置である
請求項２に記載の情報処理方法。
【請求項４】
前記他の撮像装置は、前記特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置である
請求項３に記載の情報処理方法。
【請求項５】
さらに、前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置に撮像を実行させる
請求項２から４のいずれか１項に記載の情報処理方法。
【請求項６】
前記特定の物体検出結果は、物体検出結果についての尤度を含み、
前記学習用データ選択処理を実行するか否かの判定では、前記尤度が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定する
請求項２から５のいずれか１項に記載の情報処理方法。
【請求項７】
前記学習用データ選択処理を実行するか否かの判定では、
前記複数の画像の撮像時間、前記撮像により画像を生成した撮像装置の位置、及び、前記複数の物体検出処理において検出した物体の属性又は態様の少なくとも１つの情報の統計情報を取得し、
取得した前記統計情報を用いて、前記学習用データ選択処理を実行するか否かを判定する
請求項２から６のいずれか１項に記載の情報処理方法。
【請求項８】
前記統計情報は、前記少なくとも１つの情報の希少性を示す希少性情報を含み、
前記学習用データ選択処理を実行するか否かの判定では、前記希少性情報が示す前記希少性が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定する
請求項７に記載の情報処理方法。
【請求項９】
前記学習用データ選択処理では、前記複数の物体検出結果の間で一致しないものがある場合、前記複数の画像の中から学習用データとなる画像を選択する
請求項１から８のいずれか１項に記載の情報処理方法。
【請求項１０】
前記複数の撮像装置間の性能が互いに同じであり、かつ、前記複数の物体検出処理間の性能が互いに同じである場合、前記複数の物体検出結果のうち一致している数または割合に応じて、前記複数の画像の中から学習用データとなる画像を選択する
請求項９に記載の情報処理方法。
【請求項１１】
前記複数の撮像装置間の性能が互いに異なる、または、前記複数の物体検出処理間の性能が互いに異なる場合、前記複数の撮像装置の性能の高さ、または、前記複数の物体検出処理の性能の高さに応じて、前記学習用データ選択処理のパラメタを決定し、決定した前記パラメタを用いた前記学習用データ選択処理を実行する
請求項９に記載の情報処理方法。
【請求項１２】
同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した前記複数の撮像装置の位置及び撮像方向と、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果とを取得する取得部と、
前記取得部により取得された前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行する実行部と、
を備え、
前記実行部は、前記学習用データ選択処理として、
前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、
前記共通領域における前記複数の物体検出結果の間の一致度を判定し、
前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、学習用データとする画像を選択する情報処理方法および情報処理システムに関する。
【背景技術】
【０００２】
特許文献１には、複数の種類のセンサのうち、あるセンサの検出結果を教師データとして別のセンサの出力から物体の認識を実行するための機械学習の教師あり学習データを自動的に収集するデータベース構築システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１０２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、教師データとなるセンサの検出結果の精度又は正確性（以下、単に精度とも称する。）が低い場合には当該センサの検出結果が学習用データとして採用されないため、学習用データが得られるかどうかはセンサの精度の高さに依存してしまう。このため、特許文献１の技術では、学習用データを安定的に得ることが難しい。
【０００５】
そこで本開示では、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる情報処理方法および情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る情報処理方法は、コンピュータを用いて、同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、前記学習用データ選択処理は、前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、前記共通領域における前記複数の物体検出結果の間の一致度を判定し、前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含む。
【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示に係る情報処理方法および情報処理システムは、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る情報処理システムの外観図を示す図である。
【図２】図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３】図３は、実施の形態１に係る車両のハードウェア構成の一例を示すブロック図である。
【図４】図４は、実施の形態１に係る情報処理システムの機能構成の一例を示すブロック図である。
【図５】図５は、第１データの構成の一例を示す図である。
【図６】図６は、上方から見た図であり、特定の撮像装置と撮像範囲が重複する他の撮像装置との関係の一例を示す図である。
【図７Ａ】図７Ａは、複数の撮像装置において同一のタイミングでそれぞれ撮像された複数の画像を示す。
【図７Ｂ】図７Ｂは、複数の画像と、同一のタイミングにおける複数の撮像装置の位置および撮像方向とを用いて得られる物体位置モデルの一例を示す図である。
【図７Ｃ】図７Ｃは、算出した共通領域を、複数の画像のそれぞれに投影した複数の投影画像を示す。
【図８Ａ】図８Ａは、学習用データとなる画像の選択方法の第１の例について説明するための図である。
【図８Ｂ】図８Ｂは、学習用データとなる画像の選択方法の第２の例について説明するための図である。
【図９】図９は、実施の形態に係る情報処理システムにおける動作の一例を示すシーケンス図である。
【図１０】図１０は、実施の形態に係る情報処理装置における学習用データ選択処理の詳細の一例を示すフローチャートである。
【図１１】図１１は、変形例１に係る情報処理システムの機能構成の一例を示すブロック図である。
【図１２】図１２は、変形例１に係る情報処理システムにおける動作の一例を示すシーケンス図である。
【発明を実施するための形態】
【００１０】
（本発明の基礎となった知見）
近年、自動運転、監視カメラ、ロボットなどの分野において、カメラによって撮像された画像に対する、ディープラーニングなどの機械学習を用いた物体検出が活用されている。このような物体検出には、機械学習に用いる教師データが大量に必要となる。このため、さまざまなカメラで撮像された大量の画像が収集され、収集された画像に対して、人が正解を付与することで教師データを生成している。
【００１１】
しかしながら、人が画像に対して正解を付与することにはコストがかかるため、単純に得られた全ての大量の画像から教師データを生成することは好ましくない。また、コストを考慮することなく、大量の画像の全てに対して正解を付与した教師データが得られたとしても、得られた大量の教師データについて機械学習を実行する必要があるため、機械学習にかかる処理負荷が大きくなり、また、処理時間も長くなる。よって、効率よく機械学習を行うためには、大量の画像の中から機械学習に有効な画像を選択することが必要である。
【００１２】
ここで、機械学習には利用される大量の画像は、互いに異なるさまざまな状況で撮像された複数の画像により構成されること、つまり、多様性のある複数の画像により構成されることが必要である。言い換えると、互いに似た状況で撮像された複数の画像を用いるよりも、互いに異なる状況で撮像された複数の画像を用いる方が、効率のよい機械学習を実現するために効果的である。
【００１３】
上述したように、特許文献１のデータベース構築システムでは、第一のセンサの出力データに基づく信頼度の高い物体の認識データを教師データと、第二のセンサにより得られた出力データである入力データとを対応付けることで教師あり学習データを収集している。
【００１４】
しかしながら、第一のセンサの出力データに基づく物体の認識データの信頼度が高くない場合には、誤った教師データを生成するおそれがある。例えば、物体の認識データの信頼度は、第一のセンサの品質に依存するため、第一のセンサには一定以上の品質が要求されることとなる。つまり、従来技術では、精度が高いセンサによる検出結果が必要となり、コストがより多くかかってしまう。また、特許文献１では、第一センサの検出結果の品質が低い場合には第一センサの検出結果が学習用データとして採用されないため、学習用データが得られるかどうかも第一センサの品質に依存してしまう。このため、学習用データを安定的に得ることが難しい。
【００１５】
このような問題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータを用いて、同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、前記学習用データ選択処理は、前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、前記共通領域における前記複数の物体検出結果の間の一致度を判定し、前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含む。
【００１６】
このため、複数の撮像装置が、互いに共通する物体を撮像している場合には、当該共通する物体への複数の物体検出処理による複数の物体検出結果を得ることができる。これにより、共通する物体についての複数の物体検出結果の間の一致度に応じて、例えば、一致しない物体検出結果の物体検出処理の対象となった画像を学習用データとなる画像として選択することができる。よって、情報処理方法では、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる。
【００１７】
また、さらに、前記複数の撮像装置のうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、前記学習用データ選択処理を実行するか否かを判定し、前記学習用データ選択処理を実行すると判定した場合に、前記学習用データ選択処理を実行してもよい。
【００１８】
このため、物体検出結果の精度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
【００１９】
また、前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置は、前記特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置であってもよい。
【００２０】
このため、特定の撮像装置を基準として、他の撮像装置を選択することができる。したがって、一致度の判定に有効な物体検出結果を得ることができる。
【００２１】
また、前記他の撮像装置は、前記特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置であってもよい。
【００２２】
このため、特定の撮像装置が撮影する物体と同じ物体を撮影する可能性が高い他の撮像装置を選択することができる。
【００２３】
また、さらに、前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置に撮像を実行させてもよい。
【００２４】
このため、特定の撮像装置と他の撮像装置とで撮像条件を揃えることができる。例えば、撮像時間を同一とみなされる時間に揃えることができる。
【００２５】
また、前記特定の物体検出結果は、物体検出結果についての尤度を含み、前記学習用データ選択処理を実行するか否かの判定では、前記尤度が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定してもよい。
【００２６】
このため、尤度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
【００２７】
また、前記学習用データ選択処理を実行するか否かの判定では、前記複数の画像の撮像時間、前記撮像により画像を生成した撮像装置の位置、及び、前記複数の物体検出処理において検出した物体の属性又は態様の少なくとも１つの情報の統計情報を取得し、取得した前記統計情報を用いて、前記学習用データ選択処理を実行するか否かを判定してもよい。
【００２８】
このため、撮像条件又は撮像内容が統計的に学習に適している場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
【００２９】
また、前記統計情報は、前記少なくとも１つの情報の希少性を示す希少性情報を含み、前記学習用データ選択処理を実行するか否かの判定では、前記希少性情報が示す前記希少性が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定してもよい。
【００３０】
このため、希少性が所定の条件を満たす場合に学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、希少性が所定の条件を満たさない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
【００３１】
また、前記学習用データ選択処理では、前記複数の物体検出結果の間で一致しないものがある場合、前記複数の画像の中から学習用データとなる画像を選択してもよい。
【００３２】
このため、誤検出した又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
【００３３】
また、前記複数の撮像装置間の性能が互いに同じであり、かつ、前記複数の物体検出処理間の性能が互いに同じである場合、前記複数の物体検出結果のうち一致している数または割合に応じて、前記複数の画像の中から学習用データとなる画像を選択してもよい。
【００３４】
このため、例えば、物体検出結果が一致している数が所定数より少ない、または、物体検出結果が一致している割合が所定の割合より低い画像を学習用データとして選択することができる。
【００３５】
また、前記複数の撮像装置間の性能が互いに異なる、または、前記複数の物体検出処理間の性能が互いに異なる場合、前記複数の撮像装置の性能の高さ、または、前記複数の物体検出処理の性能の高さに応じて、前記学習用データ選択処理のパラメタを決定し、決定した前記パラメタを用いた前記学習用データ選択処理を実行してもよい。
【００３６】
このため、複数の撮像装置間の性能、または、複数の物体検出処理間の性能が互いに異なる場合であっても、各性能を考慮するため、誤検出又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
【００３７】
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３８】
以下、本発明の一態様に係る情報処理方法および情報処理システムについて、図面を参照しながら具体的に説明する。
【００３９】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４０】
（実施の形態）
以下、図１〜図１０を用いて、実施の形態１を説明する。
【００４１】
［１−１．構成］
図１は、実施の形態１に係る情報処理システムの外観図を示す図である。
【００４２】
具体的には、図１において、情報処理装置１００、撮像装置２００ａ、２００ｂ、通信ネットワーク３００および移動通信システムの基地局３１０が示されている。例えば、情報処理システム１は、これらの構成要素のうち、情報処理装置１００および撮像装置２００ａ、２００ｂを備える。なお、図１では、撮像装置２００ａ、２００ｂは、カメラ２０５を備える車両が示されているが、車両に限らずに、監視カメラなど他の撮像装置であってもよい。また、撮像装置２００ａ、２００ｂは、２台が示されているが、３台以上であってもよい。
【００４３】
情報処理装置１００は、撮像装置２００ａ、２００ｂにより撮像された複数の画像を取得し、取得した複数の画像の中から機械学習のための学習用データを選択する装置である。情報処理装置１００は、例えば、サーバである。
【００４４】
撮像装置２００ａ、２００ｂのそれぞれは、カメラ２０５を備え、例えば、カメラ２０５により得られた画像データを用いて得られる物体検出または物体認識の結果を用いて、自動運転または運転支援を行う車両である。なお、撮像装置２００ａ、２００ｂのそれぞれは、カメラ２０５を備えていればよく、必ずしも自動運転または運転支援を行う機能を有していなくてもよい。
【００４５】
通信ネットワーク３００は、インターネットなどの汎用のネットワークであってもよいし、専用のネットワークであってもよい。基地局３１０は、例えば、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される基地局である。
【００４６】
次に、情報処理装置１００のハードウェア構成の具体例について図２を用いて説明する。
【００４７】
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【００４８】
図２に示すように、情報処理装置１００は、ハードウェア構成として、プロセッサ１０１と、メインメモリ１０２と、ストレージ１０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４とを備える。
【００４９】
プロセッサ１０１は、ストレージ１０３等に記憶された制御プログラムを実行するプロセッサである。
【００５０】
メインメモリ１０２は、プロセッサ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
【００５１】
ストレージ１０３は、制御プログラム、または、画像データ、点群データなどの各種データを保持する不揮発性の記憶領域である。
【００５２】
通信ＩＦ１０４は、通信ネットワークを介して撮像装置２００ａ、２００ｂなどと通信する通信インタフェースである。通信ＩＦ１０４は、例えば、有線ＬＡＮインタフェースである。なお、通信ＩＦ１０４は、無線ＬＡＮインタフェースであってもよい。また、通信ＩＦ１０４は、ＬＡＮインタフェースに限らずに、通信ネットワークとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。
【００５３】
次に、撮像装置２００ａ、２００ｂなどのハードウェア構成の具体例について図３を用いて説明する。
【００５４】
図３は、実施の形態１に係る車両のハードウェア構成の一例を示すブロック図である。
【００５５】
図３に示すように、撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれは、ハードウェア構成として、プロセッサ２０１と、メインメモリ２０２と、ストレージ２０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０４と、カメラ２０５と、ＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）２０６と、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）２０７とを備える。撮像装置２００ａ、２００ｂなどのそれぞれは、互いに同様の構成を備えるため、以下では、撮像装置２００ａについて説明し、その他の撮像装置２００ｂ、２００ｃなどの構成の説明を省略する。
【００５６】
プロセッサ２０１は、ストレージ２０３等に記憶された制御プログラムを実行するプロセッサである。プロセッサ２０１は、撮像装置２００ａの自動運転または運転支援を行うためのＥＣＵに用いられるプロセッサを含んでいてもよい。
【００５７】
メインメモリ２０２は、プロセッサ２０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
【００５８】
ストレージ２０３は、制御プログラム、または、画像データ、点群データなどの各種データを保持する不揮発性の記憶領域である。
【００５９】
通信ＩＦ２０４は、通信ネットワーク３００を介して情報処理装置１００と通信する通信インタフェースである。つまり、通信ＩＦ２０４は、通信ネットワーク３００に通信接続できる通信インタフェースであればよい。具体的には、通信ＩＦ２０４は、移動通信システムの基地局３１０との通信接続により、通信ネットワーク３００と通信接続する通信インタフェースである。通信ＩＦ２０４は、例えば、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよい。また、通信ＩＦ２０４は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インタフェースであってもよく、図示しないルータ（例えば、モバイル無線ＬＡＮルータ）との通信接続により、通信ネットワーク３００と通信接続する通信インタフェースであってもよい。
【００６０】
カメラ２０５は、撮像装置２００ａに保持され、レンズなどの光学系およびイメージセンサを有する光学センサであり、第１センサの一例である。
【００６１】
ＩＭＵ２０６は、加速度センサおよびジャイロセンサを含むセンサ機器である。加速度センサは、撮像装置２００ａの異なる３方向のそれぞれにかかる加速度を検出するセンサである。ジャイロセンサは、撮像装置２００ａの異なる３方向を軸とした３軸周りそれぞれの回転における角速度を検出するセンサである。
【００６２】
ＧＮＳＳ２０７は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）衛星を含む人工衛星から当該ＧＮＳＳ２０７の位置を示す情報を受信する。つまり、ＧＮＳＳ２０７は、撮像装置２００ａの現在位置を検出する。
【００６３】
次に、情報処理システム１の機能構成について図４を用いて説明する。
【００６４】
図４は、実施の形態に係る情報処理システムの機能構成の一例を示すブロック図である。なお、図４では、図１における通信ネットワーク３００および基地局３１０を省略している。
【００６５】
まず、撮像装置２００ａの機能構成について説明する。
【００６６】
撮像装置２００ａは、機能構成として、検出部２１０と、記憶部２２０と、物体検出部２３０と、送信部２４０とを備える。他の撮像装置２００ｂ、２００ｃなども、撮像装置２００ａと同様の機能構成を備える。
【００６７】
検出部２１０は、撮像装置２００ａのカメラ２０５により撮像された画像を検出する。また、検出部２１０は、カメラ２０５の撮像により画像を生成したときの、撮像装置２００ａの位置および撮像方向を検出する。撮像により画像を生成したときの撮像装置２００ａの位置および撮像方向には、画像が撮像されたタイミングに最も近いタイミングで検出された位置および撮像方向が採用されてもよいし、画像が撮像されたタイミングにおいて検出されている複数の位置および複数の撮像方向のうち最新の位置および最新の撮像方向が採用されてもよい。例えば、撮像装置２００ａの位置は、ＧＮＳＳ２０７により検出される。例えば、撮像装置２００ａの撮像方向は、ＩＭＵ２０６による検出値を用いて検出されてもよいし、ＧＮＳＳ２０７による検出値を用いて検出されてもよいし、ＩＭＵ２０６およびＧＮＳＳ２７０による検出値の組み合わせを用いて検出されてもよい。また、撮像装置２００ａが地磁気センサを有している場合には、撮像方向は、地磁気センサによる検出値を用いて検出されてもよい。
【００６８】
撮像方向は、カメラ２０５の撮像方向であり、撮像装置２００ａに予め定められた方向である。カメラ２０５が、撮像装置２００ａとしての車両に撮像方向が固定された状態で配置されている場合には、カメラ２０５が向いている車両に対する方向が撮像方向である。例えば、カメラ２０５が車両の前方を撮像する場合には、車両の前方の方向が撮像方向となる。
【００６９】
検出部２１０は、複数の画像を、複数の画像を構成する複数のフレーム、または、複数の静止画像のそれぞれと、当該フレームまたは当該静止画像を撮像した時刻である撮像タイミングとを対応付けて記憶部２２０に記憶させる。また、検出部２１０は、複数の位置のそれぞれと、当該位置を検出した時刻である検出タイミングとを対応付けて記憶部２２０に記憶させる。同様に、検出部２１０は、複数の撮像方向のそれぞれと、当該撮像方向を検出した時刻である検出タイミングとを対応付けて記憶部２２０に記憶させる。複数の画像と、複数の位置および複数の撮像方向との、検出タイミングに応じた対応付けでは、画像が得られたタイミングに最も近いタイミングで得られた位置および撮像方向を対応付けてもよいし、所定の時間間隔内において検出された複数の画像と、複数の位置および複数の撮像方向とを対応付けてもよい。
【００７０】
検出部２１０は、例えば、カメラ２０５、ＩＭＵ２０６、ＧＮＳＳ２０７などの組み合わせにより実現される。
【００７１】
記憶部２２０は、検出部２１０により検出された複数の画像を、複数の画像のそれぞれの撮像タイミングと共に記憶する。また、記憶部２２０は、検出部２１０により検出された複数の位置および複数の撮像方向を、複数の位置および複数の撮像方向のそれぞれの検出タイミングと共に記憶する。また、記憶部２２０は、画像に対する物体検出部２３０による物体検出処理により検出された物体検出結果を、当該画像と対応付けて記憶する。記憶部２２０は、例えば、ストレージ２０３により実現される。
【００７２】
物体検出部２３０は、検出部２１０により検出された複数の画像のそれぞれについて、所定の物体検出モデルを用いた物体検出処理を実行することで当該画像に含まれる物体を検出する。物体検出部２３０は、例えば、記憶部２２０に記憶されている複数の画像について物体検出処理を実行してもよいし、検出部２１０において検出された複数の画像について物体検出処理を実行してもよい。物体検出部２３０は、例えば、画像に対して物体検出処理を実行することで、画像に含まれる物体の属性または態様を認識する。物体の属性は、例えば、人、車両などであり、さらに、人の性別、年齢など、車両の車体の種別などであってもよい。物体の態様は、物体が人である場合には、立っている、座っている、寝ている、歩いている、走っているなどを示し、物体が車両である場合には、走行している、徐行している、停止しているなどを示す。物体検出部２３０は、物体の属性を認識する場合、例えば、複数種類の物体の属性のそれぞれについて、検出した物体が当該属性に属することの尤度を評価し、評価した尤度に基づいて検出した物体の属性を認識する。物体検出部２３０は、例えば、評価した尤度が最大であり、かつ、他の尤度よりも所定の差分値以上大きい尤度である属性を、物体の属性として認識してもよい。尤度は、物体検出の正確性、信頼性、スコアなどであり、値が高いほど物体検出結果の評価が高いことを示す。このように、物体検出結果には、尤度が含まれていてもよい。
【００７３】
物体検出部２３０は、画像に対して物体検出処理を実行することにより得られた物体検出結果を、当該画像に対応付けて記憶部２２０に記憶させる。物体検出結果の画像への対応付けは、物体検出結果に当該画像を識別する識別子を付与することで行ってもよいし、物体検出結果に当該画像と共通する識別子を付与することで行ってもよい。
【００７４】
物体検出部２３０は、例えば、プロセッサ２０１、メインメモリ２０２およびストレージ２０３の組合せにより実現される。
【００７５】
送信部２４０は、図５に示すような、記憶部２２０に記憶された複数の画像、複数の位置、複数の撮像方向および複数の物体検出結果を含む第１データを情報処理装置１００に送信する。送信部２４０は、例えば、１日毎、１週間毎などのように、定期的に検出部２１０により検出されることで得られた第１データを情報処理装置１００に送信してもよい。また、送信部２４０は、例えば、撮像装置２００ａである車両がドライバーの自宅などの当該車両の保管場所に駐車されているときに、駐車までの間の車両の走行により得られた第１データを、例えば自宅に備えられる無線ＬＡＮルータを介して情報処理装置１００に送信してもよい。また、送信部２４０は、このときに、以前に検出され、まだ情報処理装置１００に送信していない第１データがあれば、当該第１データを、情報処理装置１００に送信してもよい。なお、図５は、第１データの構成の一例を示す図である。
【００７６】
送信部２４０は、例えば、プロセッサ２０１、メインメモリ２０２、ストレージ２０３、通信ＩＦ２０４などにより実現される。
【００７７】
次に、情報処理装置１００の機能構成について説明する。
【００７８】
情報処理装置１００は、機能構成として、取得部１１０と、実行判定部１２０と、実行部１３０とを備える。
【００７９】
取得部１１０は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれから第１データを取得する。これにより、取得部１１０は、撮像により生成された複数の画像と、当該撮像により複数の画像それぞれを生成した複数の撮像装置２００ａ、２００ｂ、２００ｃなどの位置および撮像方向と、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおける複数の物体検出処理によりそれぞれ得られる複数の物体検出結果とを取得する。
【００８０】
実行判定部１２０は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、実行部１３０による学習用データ選択処理を実行するか否かを判定する。実行判定部１２０は、例えば、特定の撮像装置による物体検出結果に含まれる尤度が所定の条件を満たす場合、学習用データ選択処理を実行すると判定してもよい。つまり、特定の撮像装置は、複数の物体検出結果のうちで、所定の条件を満たす物体検出結果を出力した撮像装置である。
【００８１】
所定の条件を満たす物体検出結果とは、例えば、評価した複数の属性それぞれについての尤度のうち最大の尤度との差分値が所定の差分値未満の尤度を有することである。つまり、物体検出結果が、物体の属性または態様を複数の属性または複数の態様のうちの１つの属性または１つの態様に定めることが難しい結果である場合であり、検出結果の精度に自信がない場合である。具体的には、第１の属性の尤度と第２の属性の尤度とにほとんど差がなく、物体検出結果としての物体の属性を第１の属性とするか第２の属性とするかを決定できない場合である。なお、物体の態様についても同様である。
【００８２】
また、所定の条件を満たす物体検出結果とは、例えば、最大の尤度が他の尤度よりも所定の差分値以上の尤度を有する、または、所定の尤度を超えている尤度を有することである。つまり、物体検出結果が、物体の属性または態様を複数の属性または複数の態様のうちの１つの属性または１つの態様に定めることが容易な結果である場合であり、検出結果の精度に自信がある場合である。
【００８３】
また、実行判定部１２０は、複数の画像の撮像時間と、撮像により画像を生成した撮像装置の位置と、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおける複数の物体検出処理において検出した物体の属性または態様との少なくとも１つの画像属性を示す画像属性情報の統計情報を取得し、取得した統計情報を用いて、学習用データ選択処理を実行するか否かを判定してもよい。なお、統計情報は、画像属性情報の希少性を示す希少性情報を含んでいてもよい。実行判定部１２０は、希少性情報が示す希少性が所定の条件を満たす場合、学習用データ選択処理を実行すると判定してもよい。希少性情報が示す希少性が所定の条件を満たすとは、第１データに、希少性を有する画像属性が含まれることである。ここで、画像属性が希少性を有するとは、撮像時間、撮像装置の位置、物体の属性または態様のいずれか１つ、または、これら２以上の組み合わせにおいて、既に、学習用データとして既に選択した複数の画像の複数の画像属性に対する、対象画像の画像属性の逸脱度（または、外れ値）が所定の閾値より大きいことである。
【００８４】
実行部１３０は、取得部１１０において取得された複数の第１データを用いて、学習用データ選択処理を実行する。実行部１３０は、実行判定部１２０において学習用データ選択処理を実行すると判定された場合に、学習用データ選択処理を実行してもよい。
【００８５】
実行部１３０は、具体的には、算出部１３１と、一致度判定部１３２と、選択部１３３とを有する。
【００８６】
算出部１３１は、学習用データ選択処理において、複数の第１データのうちで、所定のタイミングにおける複数の撮像装置２００ａ、２００ｂ、２００ｃなどそれぞれの位置および撮像方向から、当該複数の画像それぞれに共通的に映る共通領域を算出する。算出部１３１は、例えば、取得部１１０により取得された複数の第１データから、所定のタイミングにおいて撮像された複数の画像を含む複数の第１データを抽出する。所定のタイミングは、同一とみなされる時間である。つまり、所定のタイミングは、必ずしも同一時間でなくてもよく、ある１タイミングを基準とする所定の時間幅に含まれる全てのタイミングを含んでいてもよい。所定の時間幅は、例えば、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれにおける画像を撮像する撮像間隔に基づく時間であってもよく、例えば、撮像間隔の１〜１０倍の時間である。
【００８７】
また、本実施の形態では、複数の撮像装置２００ａ、２００ｂ、２００ｃなどは、車両であるため、移動する。よって、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにより撮像された複数の画像は、共通領域を有していないことの方が多い。このため、算出部１３１は、取得部１１０により取得された複数の第１データの全てに対して、共通領域を算出する処理を実行すると効率が悪いため、共通領域を算出する処理の前に、互いに共通領域を有する複数の画像を含む複数の第１データを抽出する処理を実行してもよい。
【００８８】
算出部１３１は、例えば、複数の第１データの撮像装置の位置および撮像方向を解析することで、互いに重複する範囲を撮像可能な複数の撮像装置２００ａ、２００ｂ、２００ｃなどにより撮像された複数の第１データを抽出し、抽出した複数の第１データを互いに対応付けることで第２データを生成する。よって、算出部１３１は、実行判定部１２０における判定において学習用データ選択処理を実行する対象となる画像を撮像した特定の撮像装置以外の他の撮像装置であって、特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置により得られた第１データを抽出する。このため、取得部１１０が撮像範囲が重複しない複数の撮像装置からも第１データを取得する場合であっても、算出部１３１は、共通領域の算出を容易にできる。
【００８９】
なお、算出部１３１は、複数の第１データの撮像装置の位置および撮像方向の解析することで撮像範囲が重複する複数の撮像装置を選択する場合、特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置を選択する。算出部１３１は、例えば、図６に示すように、特定の撮像装置２００ａの前方に距離Ｄ１だけ離れた基準地点Ｂ１から半径Ｒ１の範囲に位置する撮像装置２００ｂ、２００ｃを、特定の撮像装置２００ａと撮像範囲が重複する他の撮像装置２００ｂ、２００ｃとして選択する。なお、図６は、上方から見た図であり、特定の撮像装置と撮像範囲が重複する他の撮像装置との関係の一例を示す図である。
【００９０】
ここで、共通領域の算出方法の具体例について図７Ａ〜図７Ｃを用いて説明する。
【００９１】
図７Ａ〜図７Ｃは、共通領域の算出方法の具体例について説明するための図である。
【００９２】
図７Ａは、撮像装置２００ａ、２００ｂ、２００ｃにおいて同一のタイミングでそれぞれ撮像された複数の画像Ｐ１０、Ｐ２０、Ｐ３０を示す。複数の画像Ｐ１０、Ｐ２０、Ｐ３０は、例えば、互いに共通する物体４００を含む画像である。
【００９３】
図７Ｂは、複数の画像Ｐ１０、Ｐ２０、Ｐ３０と、上記の同一のタイミングにおける撮像装置２００ａ、２００ｂ、２００ｃの位置および撮像方向とを用いて得られる物体位置モデルの一例を示す図である。図７Ｂは、上方からみた物体位置モデルを示している。
【００９４】
算出部１３１は、具体的には、画像Ｐ１０および撮像装置２００ａの位置および撮像方向を用いて、撮像範囲４１０および物体範囲４１１を算出する。具体的には、撮像範囲４１０は、画像Ｐ１０を撮像した撮像装置２００ａの位置および撮像方向から推定される撮像範囲を示す。また、物体範囲４１１は、画像Ｐ１０内の物体４００の領域と、撮像範囲４１０とから得られる物体４００が存在する範囲を示す。
【００９５】
同様に、算出部１３１は、画像Ｐ２０および撮像装置２００ｂの位置および撮像方向から、撮像範囲４２０および物体範囲４２１を算出する。撮像範囲４２０は、画像Ｐ２０を撮像した撮像装置２００ｂの位置および撮像方向から推定される撮像範囲を示す。また、物体範囲４２１は、画像Ｐ２０内の物体４００の領域と、撮像範囲４２０とから得られる物体４００が存在する範囲を示す。
【００９６】
同様に、算出部１３１は、画像Ｐ３０および撮像装置２００ｃの位置および撮像方向から、撮像範囲４３０および物体範囲４３１を算出する。撮像範囲４３０は、画像Ｐ３０を撮像した撮像装置２００ｃの位置および撮像方向から推定される撮像範囲を示す。また、物体範囲４３１は、画像Ｐ３０内の物体４００の領域と、撮像範囲４３０とから得られる物体４００が存在する範囲を示す。
【００９７】
なお、算出部１３１は、物体４００が複数の画像Ｐ１０、Ｐ２０、Ｐ３０において共通して撮像されている物体であることを判断することで、物体範囲４１１、４２１、４３１を算出する。算出部１３１は、物体範囲４１１、４２１、４３１を算出しなくてもよい。
【００９８】
次に、算出部１３１は、算出した、撮像範囲４１０、４２０、４３０を用いて、これらの共通領域４０１を算出する。そして、算出部１３１は、図７Ｃに示すように、算出した共通領域４０１を、画像Ｐ１０、Ｐ２０、Ｐ３０のそれぞれに投影した投影画像Ｐ１１、Ｐ２１、Ｐ３１を生成する。
【００９９】
一致度判定部１３２は、共通領域における複数の物体検出結果の間の一致度を判定する。一致度判定部１３２は、例えば、複数の物体検出結果の間の一致度を、複数の物体検出結果を互いに比較することで判定してもよい。なお、共通領域における物体検出結果とは、例えば、共通領域に重なる画像上の領域において検出した物体である。
【０１００】
選択部１３３は、一致度判定部１３２により判定された一致度に応じて複数の画像の中から学習用データとなる画像を選択する。選択部１３３は、第２データに含まれる複数の物体検出結果の間で一致しない物がある場合、当該第２データに含まれる複数の画像の中から学習用データとなる画像を選択する。
【０１０１】
例えば、選択部１３３は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのカメラ２０５間の撮像性能が互いに同じであり、かつ、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの物体検出処理間の処理性能が互いに同じである場合、第２データに含まれる複数の物体検出結果のうち一致している数または割合に応じて、複数の画像の中から学習用データとなる画像を選択する。
【０１０２】
図８Ａおよび図８Ｂを用いて、学習用データとなる画像を選択する例について説明する。
【０１０３】
図８Ａおよび図８Ｂは、学習用データとなる画像の選択方法の例について説明するための図である。
【０１０４】
一致度判定部１３２は、図８Ａの第１の例に示すように、投影画像Ｐ１１の共通領域４０１における物体検出結果が車両であり、投影画像Ｐ２１、Ｐ３１の共通領域４０１における物体検出結果がない場合、多数決により、共通領域４０１における物体検出結果がないことが正解であると判定し、投影画像Ｐ１１での物体検出結果に誤検出が含まれる可能性が高いと判定してもよい。また、一致度判定部１３２は、図８Ｂの第２の例に示すように、投影画像Ｐ１１、Ｐ３１の共通領域４０１における物体検出結果が車両であり、投影画像Ｐ２１の共通領域４０１における物体検出結果がない場合、多数決により、共通領域４０１における物体検出結果が車両であることが正解であると判定し、投影画像Ｐ２１での物体検出結果に誤検出が含まれる可能性が高いと判定してもよい。そして、選択部１３３は、一致度判定部１３２における判定結果に応じて、物体検出結果に誤検出が含まれる可能性が高いと判定された画像を学習用データとなる画像として選択する。なお、選択部１３３は、共通領域４０１における複数の物体検出結果の間で異なる結果が含まれる場合、当該複数の物体検出結果を検出する対象となった全ての複数の画像を学習用データとなる画像として選択してもよい。
【０１０５】
また、例えば、選択部１３３は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのカメラ２０５間の撮像性能が互いに異なる、または、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの物体検出処理間の処理性能が互いに異なる場合、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの撮像性能の高さ、または、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの物体検出処理の処理性能の高さに応じて、複数の画像の中から学習用データとなる画像を選択する選択処理のパラメタを決定し、決定したパラメタにおける選択処理を実行する。選択部１３３は、例えば、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの撮像性能の高さ、または、物体検出処理の処理性能の高さに応じて、各性能の高さが高いほど大きい重み付けがされた物体検出結果ほど精度がよい物体検出結果と考えて、精度がよい物体検出結果と異なる物体検出結果に対応する画像を学習用データとする画像として選択してもよい。つまり、選択部１３３は、各性能の高さが高いほど大きい係数が物体検出結果に乗算されることで得られた評価値が所定の閾値以上の物体検出結果と異なる物体検出結果に対応する画像を学習用データとする画像として選択する。
【０１０６】
［１−２．動作］
次に、実施の形態に係る情報処理システム１の動作について説明する。
【０１０７】
図９は、実施の形態に係る情報処理システムにおける動作の一例を示すシーケンス図である。
【０１０８】
まず、撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれでは、検出部２１０が画像と、当該画像を撮像したタイミングにおける撮像装置の位置及び撮像方向とを検出し（Ｓ１１）、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向とを記憶部２２０に記憶させる。
【０１０９】
次に、撮像装置の物体検出部２３０は、検出部２１０において検出された画像に対して物体検出処理を実行することにより物体を検出し、物体検出結果を得る（Ｓ１２）。得られた物体検出結果は、物体検出処理の対象となった画像と対応付けられた状態で記憶部２２０に記憶される。これにより、撮像装置では、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向と、物体検出結果とが対応付けられた第１データが生成される。
【０１１０】
そして、撮像装置の送信部２４０は、生成された第１データを情報処理装置１００に送信する（Ｓ１３）。
【０１１１】
情報処理装置１００では、取得部１１０が撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれから送信された第１データを取得する（Ｓ２１）。
【０１１２】
次に、情報処理装置１００の実行判定部１２０は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、実行部１３０による学習用データ選択処理を実行するか否かを判定する（Ｓ２２）。
【０１１３】
そして、実行判定部１２０において学習用データ選択処理を実行すると判定された場合（Ｓ２２でＹｅｓ）、情報処理装置１００の実行部１３０は、学習用データ選択処理を実行する（Ｓ２３）。学習用データ選択処理の詳細は後述する。
【０１１４】
一方で、実行判定部１２０において学習用データ選択処理を実行しないと判定された場合（Ｓ２２でＮｏ）、情報処理装置１００の実行部１３０は、学習用データ選択処理を実行しない。
【０１１５】
なお、学習用データ選択処理が実行された場合も、実行されなかった場合も、情報処理システム１では、ステップＳ１１〜Ｓ１３の撮像装置２００ａ、２００ｂ、２００ｃなどの処理と、ステップＳ２１〜Ｓ２３の情報処理装置１００の処理が繰り返し実行される。
【０１１６】
なお、ステップＳ１１〜Ｓ１３、Ｓ２１〜Ｓ２３の各処理部による処理の詳細は、図４〜図８Ｂを用いた撮像装置２００ａ、２００ｂ、２００ｃなどの機能構成、および、情報処理装置１００の機能構成の説明において説明しているため、省略する。
【０１１７】
図１０は、実施の形態に係る情報処理装置における学習用データ選択処理の詳細の一例を示すフローチャートである。
【０１１８】
ステップＳ２３の学習用データ選択処理が開始されると、実行部１３０の算出部１３１は、取得部１１０に取得された複数の第１データの中から、特定の撮像装置の撮像により生成された画像と同一時間で対応付けられた複数の第１データであって、撮像範囲が共通する複数の第１データを抽出する。これにより、算出部１３１は、撮像された複数の画像を抽出する（Ｓ３１）。
【０１１９】
次に、算出部１３１は、抽出した複数の第１データを用いて、複数の撮像装置２００ａ、２００ｂ、２００ｃなどそれぞれの位置および撮像方向から、当該複数の画像それぞれに共通的に映る共通領域を算出する（Ｓ３２）。
【０１２０】
そして、一致度判定部１３２は、共通領域における複数の物体検出結果の間の一致度を判定する（Ｓ３３）。
【０１２１】
その後、選択部１３３は、一致度判定部１３２により判定された一致度に応じて複数の画像の中から学習用データとなる画像を選択し（Ｓ３４）、学習用データ選択処理を終了する。
【０１２２】
なお、ステップＳ３１〜Ｓ３４の各処理部による処理の詳細は、図４〜図８Ｂを用いた撮像装置２００ａ、２００ｂ、２００ｃなどの機能構成、および、情報処理装置１００の機能構成の説明において説明しているため、省略する。
【０１２３】
［１−３．効果など］
本実施の形態に係る情報処理方法によれば、学習用データ選択処理において、複数の撮像装置の位置及び撮像方向から、複数の画像それぞれに共通的に映る共通領域を算出し、共通領域における複数の物体検出結果の間の一致度を判定し、判定した一致度に応じて複数の画像の中から学習用データとなる画像を選択する。
【０１２４】
このため、複数の撮像装置が、互いに共通する物体を撮像している場合には、当該共通する物体への複数の物体検出処理による複数の物体検出結果を得ることができる。これにより、共通する物体についての複数の物体検出結果の間の一致度に応じて、例えば、一致しない物体検出結果の物体検出処理の対象となった画像を学習用データとなる画像として選択することができる。よって、情報処理方法では、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる。
【０１２５】
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置のうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、学習用データ選択処理を実行するか否かを判定し、学習用データ選択処理を実行すると判定した場合に、学習用データ選択処理を実行する。このため、物体検出結果の精度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
【０１２６】
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置のうちの特定の撮像装置以外の他の撮像装置は、特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置である。このため、特定の撮像装置を基準として、他の撮像装置を選択することができる。したがって、一致度の判定に有効な物体検出結果を得ることができる。
【０１２７】
また、本実施の形態に係る情報処理方法によれば、他の撮像装置は、特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置である。このため、特定の撮像装置が撮影する物体と同じ物体を撮影する可能性が高い他の撮像装置を選択することができる。
【０１２８】
また、本実施の形態に係る情報処理方法によれば、特定の物体検出結果は、物体検出結果についての尤度を含み、学習用データ選択処理を実行するか否かの判定では、尤度が所定の条件を満たす場合、学習用データ選択処理を実行すると判定する。このため、尤度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
【０１２９】
また、本実施の形態に係る情報処理方法によれば、学習用データ選択処理を実行するか否かの判定では、複数の画像の撮像時間、撮像により画像を生成した撮像装置の位置、及び、複数の物体検出処理において検出した物体の属性又は態様の少なくとも１つの情報の統計情報を取得し、取得した統計情報を用いて、学習用データ選択処理を実行するか否かを判定する。このため、撮像条件又は撮像内容が統計的に学習に適している場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
【０１３０】
また、本実施の形態に係る情報処理方法によれば、統計情報は、少なくとも１つの情報の希少性を示す希少性情報を含み、学習用データ選択処理を実行するか否かの判定では、希少性情報が示す希少性が所定の条件を満たす場合、学習用データ選択処理を実行すると判定する。このため、希少性が所定の条件を満たす場合に学習用データ選択処理を実行することができ、不要な処理を実行することを低減することができる。
【０１３１】
また、本実施の形態に係る情報処理方法によれば、学習用データとなる画像の選択では、複数の物体検出結果の間で一致しないものがある場合、複数の画像の中から学習用データとなる画像を選択する。このため、誤検出した又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
【０１３２】
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置間の性能が互いに同じであり、かつ、複数の物体検出処理間の性能が互いに同じである場合、複数の物体検出結果のうち一致している数または割合に応じて、複数の画像の中から学習用データとなる画像を選択する。このため、例えば、物体検出結果が一致している数が所定数より少ない、または、物体検出結果が一致している割合が所定の割合より低い画像を学習用データとして選択することができる。
【０１３３】
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置間の性能が互いに異なる、または、複数の物体検出処理間の性能が互いに異なる場合、複数の撮像装置の性能の高さ、または、複数の物体検出処理の性能の高さに応じて、複数の画像の中からの学習用データとなる画像を選択する選択処理のパラメタを決定し、決定したパラメタにおける選択処理を実行する。このため、複数の撮像装置間の性能、または、複数の物体検出処理間の性能が互いに異なる場合であっても、各性能を考慮するため、誤検出又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
【０１３４】
［１−４．変形例］
［１−４−１．変形例１］
上記実施の形態に係る情報処理システム１では、撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれは、検出部２１０により検出された画像に対して物体検出処理を実行する物体検出部２３０を有する構成としたが、これに限らずに、例えば、図１１に示すように、物体検出部２３０を有さない構成の撮像装置２０１ａ、２０１ｂ、２０１ｃなどが採用されてもよい。この場合の情報処理システム１Ａでは、情報処理装置１００Ａの取得部１１０ａが、取得した複数の第１データのそれぞれに含まれる画像に対して物体検出処理を実行する。図１１は、変形例１に係る情報処理システムの機能構成の一例を示すブロック図である。
【０１３５】
図１２は、変形例１に係る情報処理システムにおける動作の一例を示すシーケンス図である。
【０１３６】
まず、撮像装置２０１ａ、２０１ｂ、２０１ｃなどのそれぞれでは、検出部２１０が画像と、当該画像を撮像したタイミングにおける撮像装置の位置及び撮像方向とを検出し（Ｓ１１）、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向とを記憶部２２０に記憶させる。
【０１３７】
次に、撮像装置２００ａの送信部２４０は、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向とを含む第１データを情報処理装置１００Ａに送信する（Ｓ１３ａ）。
【０１３８】
情報処理装置１００Ａでは、取得部１１０が撮像装置２０１ａ、２０１ｂ、２０１ｃなどのそれぞれから送信された第１データを取得する（Ｓ２１ａ）。
【０１３９】
次に、情報処理装置１００Ａの取得部１１０ａは、取得した複数の第１データのそれぞれに含まれる画像に対して物体検出処理を実行することにより物体を検出し、物体検出結果を得る（Ｓ２１ｂ）。
【０１４０】
以降のステップＳ２２、Ｓ２３の処理は、実施の形態における各処理と同様であるので説明を省略する。
【０１４１】
［１−４−２．変形例２］
上記実施の形態に係る情報処理システム１では、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおいて、複数の撮像装置２００ａ、２００ｂ、２００ｃなどである車両が動作中（例えば、エンジンが駆動している、電源ＯＮの状態にある）の場合に、常にカメラ２０５により所定の周期で撮像が行われていることとしたが、これに限らない。例えば、特定の撮像装置において、実行判定部１２０と同様の判定を実行することで、学習用データ選択処理を実行するべき画像が取得されたタイミングで、撮像要求を特定の撮像装置の周辺に位置する他の撮像装置に送信することで、当該他の撮像装置に撮像を実行させてもよい。特定の撮像装置からの撮像要求は、情報処理装置１００経由で他の撮像装置に送信されてもよいし、他の撮像装置に直接的に送信されてもよい。
【０１４２】
これにより、他の撮像装置は、撮像要求を受信したときに、撮像すればよいので、撮像処理の頻度を低減することができる。
【０１４３】
［１−４−３．変形例３］
上記実施の形態に係る情報処理システム１では、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおいて得られた全ての第１データが情報処理装置１００に送信されるとしたが、これに限らない。例えば、特定の撮像装置において、実行判定部１２０と同様の判定を実行することで、学習用データ選択処理を実行するべき画像が取得されたタイミングで、撮像要求を特定の撮像装置の周辺に位置する他の撮像装置に送信することで、他の撮像装置は、当該タイミングにおける第１データのみを情報処理装置１００に送信することができる。これにより、撮像装置から情報処理装置１００への通信負荷を低減することができ、情報処理装置１００は、第１データを記憶しておくストレージの記憶容量が圧迫されることを抑制することができる。
【０１４４】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報処理方法および情報処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０１４５】
すなわち、このプログラムは、コンピュータに、同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、前記学習用データ選択処理は、前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、前記共通領域における前記複数の物体検出結果の間の一致度を判定し、前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含む情報処理方法を実行させる。
【０１４６】
以上、本発明の一つまたは複数の態様に係る情報処理方法および情報処理システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【０１４７】
また、上記実施の形態では、撮影画像が学習用データである例を説明したが、学習用データはこれに限られない。例えば、学習用データは、ＬＩＤＡＲなどのイメージセンサと異なる光学センサから得られる点群データ等のデータであってもよい。
【０１４８】
なお、実行判定部１２０、一致度判定部１３２で行う処理は、機械学習を用いてもよい。機械学習には、例えば、入力情報に対してラベル（出力情報）が付与された教師データを用いて入力と出力との関係を学習する教師あり学習、ラベルのない入力のみからデータの構造を構築する教師なし学習、ラベルありとラベルなしのどちらも扱う半教師あり学習、状態の観測結果から選択した行動に対するフィードバック（報酬）を得ることにより、最も多く報酬を得ることができる連続した行動を学習する強化学習などが挙げられる。また、機械学習の具体的な手法として、ニューラルネットワーク（多層のニューラルネットワークを用いた深層学習を含む）、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、サポート・ベクター・マシン（ＳＶＭ）などが存在する。本開示においては、以上で挙げた具体例のいずれかを用いればよい。
【産業上の利用可能性】
【０１４９】
本開示は、得られた大量の画像の中から、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる情報処理方法および情報処理システムなどとして有用である。
【符号の説明】
【０１５０】
１，１Ａ    情報処理システム
１００、１００Ａ    情報処理装置
１０１、２０１    プロセッサ
１０２、２０２    メインメモリ
１０３、２０３    ストレージ
１０４、２０４    通信ＩＦ
１１０、１１０ａ    取得部
１２０    実行判定部
１３０    実行部
１３１    算出部
１３２    一致度判定部
１３３    選択部
２００ａ、２００ｂ、２００ｃ、２０１ａ、２０１ｂ、２０１ｃ    撮像装置
２０５    カメラ
２０６    ＩＭＵ
２０７    ＧＮＳＳ
２１０    検出部
２２０    記憶部
２３０    物体検出部
２４０    送信部
３００    通信ネットワーク
３１０    基地局
４００    物体
４０１    共通領域
４１０、４２０、４３０    撮像範囲
４１１、４２１、４３１    物体範囲
【図１】
2020021372.tif 000003
【図２】
2020021372.tif 000004
【図３】
2020021372.tif 000005
【図４】
2020021372.tif 000006
【図５】
2020021372.tif 000007
【図６】
2020021372.tif 000008
【図７Ａ】
2020021372.tif 000009
【図７Ｂ】
2020021372.tif 000010
【図７Ｃ】
2020021372.tif 000011
【図８Ａ】
2020021372.tif 000012
【図８Ｂ】
2020021372.tif 000013
【図９】
2020021372.tif 000014
【図１０】
2020021372.tif 000015
【図１１】
2020021372.tif 000016
【図１２】
2020021372.tif 000017