(57)【特許請求の範囲】
【請求項１】
データセットに含まれる画像に写る物体のサイズを測定する測定部と、
前記画像に写る物体を検出するためのＣＮＮが有する特徴抽出用のレイヤのうち、前記ＣＮＮの検出部と接続されるレイヤを前記サイズの分布に基づいて変更する変更部と、
を有することを特徴とするモデル生成装置。
【請求項２】
前記変更部は、前記サイズの分布、及び前記特徴抽出用のレイヤのそれぞれで抽出される特徴量のスケールに応じて、前記検出部と接続されるレイヤを変更することを特徴とする請求項１に記載のモデル生成装置。
【請求項３】
前記変更部は、前記接続されるレイヤの変更に応じて、前記ＣＮＮのオペレータを置き換えることを特徴とする請求項１に記載のモデル生成装置。
【請求項４】
前記測定部は、前記画像に対する所定の処理によって得られるバウンディングボックスのサイズを前記物体のサイズとして測定することを特徴とする請求項１に記載のモデル生成装置。
【請求項５】
モデル生成装置によって実行されるモデル生成方法であって、
データセットに含まれる画像に写る物体のサイズを測定する測定工程と、
前記画像に写る物体を検出するためのＣＮＮが有する特徴抽出用のレイヤのうち、前記ＣＮＮの検出部と接続されるレイヤを前記サイズの分布に基づいて変更する変更工程と、
を含むことを特徴とするモデル生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル生成装置及びモデル生成方法に関する。
【背景技術】
【０００２】
従来、畳み込みニューラルネットワーク（ＣＮＮ、Convolutional  Neural  Network）を用いた物体認識手法において、画像上の物体のサイズごとに検出器を複数用意したＡＩモデルが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１９−５１５３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では使用される検出器が固定されるため、モデルの構成が検出対象のデータに適合せず、検出性能が低下する場合がある。【０００５】
本発明は、上記に鑑みてなされたものであって、検出対象の画像に応じてモデルの構成を動的に変更することができるモデル生成装置及びモデル生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係るモデル生成装置は、測定部と、変更部とを有する。測定部は、データセットに含まれる画像に写る物体のサイズを測定する。変更部は、画像に写る物体を検出するためのＣＮＮが有する特徴抽出用のレイヤのうち、ＣＮＮの検出部と接続されるレイヤをサイズの分布に基づいて変更する。
【発明の効果】
【０００７】
本発明によれば、検出対象の画像に応じてモデルの構成を動的に変更することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係るモデル生成装置の構成例を示すブロック図である。
【図２】図２は、モデルを説明する図である。
【図３】図３は、サイズが「小」の物体が写った画像の一例を示す図である。
【図４】図４は、サイズが「中」の物体が写った画像の一例を示す図である。
【図５】図５は、サイズが「大」の物体が写った画像の一例を示す図である。
【図６】図６は、モデルの変更前の構成例を示す図である。
【図７】図７は、モデルの変更後の構成例を示す図である。
【図８】図８は、モデルの変更後の構成例を示す図である。
【図９】図９は、実施形態に係るモデル生成装置が実行する処理の手順を示すフローチャートである。
【図１０】図１０は、実施形態に係るデータ収集システムの概要を示す図である。
【図１１】図１１は、実施形態に係るデータ収集システムの概要を示す図である。
【図１２】図１２は、実施形態に係るデータ収集システムの概要を示す図である。
【図１３】図１３は、実施形態に係るデータ収集システムの構成例を示すブロック図である。
【図１４】図１４は、収集データの一例を示す図である。
【図１５】図１５は、実施形態に係る車載装置が実行する処理の手順を示すフローチャートである。
【図１６】図１６は、データを蓄積する処理の手順を示すフローチャートである。
【図１７】図１７は、物体を検出する処理の手順を示すフローチャートである。
【図１８】図１８は、モデルの変更前の構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示するモデル生成装置及びモデル生成方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
【００１０】
（生成装置）
図１は、実施形態に係るモデル生成装置の構成例を示すブロック図である。図１に示すように、モデル生成装置１０は、データセット１０ａの入力を受け付け、モデルに関する情報であるモデル情報１３ａの生成及び更新を行う。
【００１１】
また、モデル生成装置１０は、モデル情報１３ａと同様の情報を、モデル情報１０ｂとして出力してもよい。
【００１２】
データセット１０ａは、複数の画像及び各画像に写る物体に対応付けられたラベルの組み合わせである。モデル情報１０ｂは学習済みのモデルを構築するためのパラメータ等である。
【００１３】
実施形態に係るモデル生成方法では、モデル生成装置１０は、データセット１０ａに含まれる画像に写る物体のサイズを測定する。
【００１４】
実施形態に係るモデル生成方法では、モデル生成装置１０は、画像に写る物体を検出するためのＣＮＮが有する特徴抽出用のレイヤのうち、ＣＮＮの検出部と接続されるレイヤをサイズの分布に基づいて変更する。
【００１５】
これにより、本実施形態によれば、検出対象の画像に応じてモデルの構成を動的に変更することができる。
【００１６】
図１に示すように、モデル生成装置１０は、ＩＦ部１１、制御部１２及び記憶部１３を有する。
【００１７】
ＩＦ部１１は、データの入出力のためのインタフェースである。ＩＦ部１１は、ＮＩＣ（Network  Interface  Card）等のデータ通信用のインタフェースであってもよいし、入力装置及び出力装置と接続されるインタフェースであってもよい。
【００１８】
モデル生成装置１０の制御部１２及び記憶部１３は、例えばＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ、入出力ポート等を有するコンピュータや各種の回路により実現される。
【００１９】
コンピュータのＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部１２の測定部１２ａ、変更部１２ｂ、特徴抽出部１２ｃ、検出部１２ｄ及び更新部１２ｅとして機能する。
【００２０】
また、測定部１２ａ、変更部１２ｂ、特徴抽出部１２ｃ、検出部１２ｄ及び更新部１２ｅの少なくともいずれか１つ又は全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００２１】
また、記憶部１３は、ＲＡＭやフラッシュメモリに対応する。ＲＡＭやフラッシュメモリは、モデル情報１３ａ及び各種プログラムの情報等を記憶することができる。
【００２２】
なお、モデル生成装置１０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
【００２３】
モデル情報１３ａは、ＣＮＮを用いたモデルを構築するためのパラメータ等の情報である。
【００２４】
図２は、モデルを説明する図である。図２に示すように、モデルは、画像に写る物体に対する、ラベルごとの尤もらしさのスコアを計算し、当該スコアが最大のラベルを出力する。図２の例では、モデルは、入力された画像に対し猫のラベルを出力する。
【００２５】
また、モデルは、特徴抽出部１２ｃ及び検出部１２ｄによって計算を実現する。言い換えると、特徴抽出部１２ｃ及び検出部１２ｄは、構築されたモデルに従って計算を行う。特徴抽出部１２ｃ及び検出部１２ｄの詳細については後述する。
【００２６】
図１に戻り、制御部１２は、測定部１２ａ、変更部１２ｂ、特徴抽出部１２ｃ、検出部１２ｄ及び更新部１２ｅを有する。
【００２７】
測定部１２ａは、データセットに含まれる画像に写る物体のサイズを測定する。例えば、測定部１２ａは、画像に対する所定の処理によって得られるバウンディングボックスのサイズを物体のサイズとして測定する。
【００２８】
バウンディングボックスは、画像上の物体が写っている領域を示す長方形の図形である。このため、物体の形状によらずサイズの基準が統一される。なお、バウンディングボックスは手動で付与されてもよいし、自動的に付与されてもよい。
【００２９】
図３、図４及び図５を用いて、物体のサイズの違いを説明する。図３、図４及び図５の画像は、いずれも同じ画素数であるものとする。
【００３０】
図３は、サイズが「小」の物体が写った画像の一例を示す図である。図４は、サイズが「中」の物体が写った画像の一例を示す図である。図５は、サイズが「大」の物体が写った画像の一例を示す図である。破線で示される長方形はバウンディングボックスである。
【００３１】
このように、撮影対象物が同じであっても、画像上の物体のサイズは異なる場合がある。当然ながら、撮影対象物が異なる場合にも、各画像での物体のサイズは異なる場合がある。
【００３２】
変更部１２ｂは、画像に写る物体を検出するためのＣＮＮが有する特徴抽出用のレイヤのうち、ＣＮＮの検出部１２ｄと接続されるレイヤを物体のサイズの分布に基づいて変更する。
【００３３】
なお、レイヤと検出器を接続するとは、レイヤで抽出された特徴が検出器に入力されるようにモデルを構成することを意味する。
【００３４】
変更部１２ｂは、図６に示すモデルに対して変更を加える。図６は、モデルの変更前の構成例を示す図である。
【００３５】
特徴抽出部１２ｃは、ＣＮＮの入力側の部分である。検出部１２ｄは、ＣＮＮの出力（推論結果）側の部分である。
【００３６】
特徴抽出部１２ｃは、バックボーンに相当する部分であってもよい。例えば、ＣＮＮが全結合層を持つものである場合、全結合層より前のレイヤを特徴抽出部１２ｃとし、全結合層以降のレイヤを検出部１２ｄとすることができる。
【００３７】
なお、本実施形態のＣＮＮは、全結合層を持たないものであってもよい。
【００３８】
また、検出部１２ｄは、複数の検出器を含む。各検出器は、特徴抽出部１２ｃの対応するレイヤによって抽出された特徴を入力として受け付け、推論結果を出力する。
【００３９】
まず、変更部１２ｂは、接続元のレイヤを選択する。そして、変更部１２ｂは、選択したレイヤと、対応する検出器とを接続させる。これにより、変更部１２ｂは、使用する検出器の数を変更することができる。
【００４０】
例えば、変更部１２ｂは、レイヤ１２ｃ−１と検出器１２ｄ−１を接続させる。また、例えば、変更部１２ｂは、レイヤ１２ｃ−２と検出器１２ｄ−２を接続させる。また、例えば、変更部１２ｂは、レイヤ１２ｃ−３と検出器１２ｄ−３を接続させる。
【００４１】
ここで、検出器１２ｄ−２は、検出器１２ｄ−３と比べて、サイズが小さい物体の検出に適している。さらに、検出器１２ｄ−１は、検出器１２ｄ−２と比べて、サイズが小さい物体の検出に適している。
【００４２】
これは、特徴抽出部１２ｃでは、レイヤが出力方向に進むに従い、抽出される特徴のスケールが大きくなるためである。ＣＮＮでは、出力側のレイヤで画像全体の特徴が抽出され、入力側のレイヤで画像の細部の特徴が抽出される傾向がある。
【００４３】
サイズが大きい物体の検出には、スケールが大きい特徴が適していると考えられる。一方、サイズが小さい物体の検出には、スケールが小さい特徴が適していると考えられる。
【００４４】
このため、変更部１２ｂは、測定部１２ａによって測定された物体のサイズの分布、及び特徴抽出用のレイヤのそれぞれで抽出される特徴量のスケールに応じて、検出部と接続されるレイヤを変更する。
【００４５】
図７は、モデルの変更後の構成例を示す図である。図７の例では、測定部１２ａによる測定の結果、データセットの画像の中に、サイズが「小」及び「大」の物体の数が多く、サイズが「中」の物体の数が少なかったものとする。
【００４６】
この場合、変更部１２ｂは、レイヤ１２ｃ−１を検出器１２ｄ−１と接続させ、レイヤ１２ｃ−３を検出器１２ｄ−３と接続させる。
【００４７】
図８は、モデルの変更後の構成例を示す図である。図８の例では、測定部１２ａによる測定の結果、データセットの画像の中に、サイズが「小」及び「中」の物体の数が多く、サイズが「大」の物体の数が少なかったものとする。
【００４８】
この場合、変更部１２ｂは、レイヤ１２ｃ−１を検出器１２ｄ−１と接続させ、レイヤ１２ｃ−２を検出器１２ｄ−２と接続させる。
【００４９】
また、図８の例では、変更部１２ｂは、レイヤ１２ｃ−３を取り除くことができる。このように、変更部１２ｂは、接続されるレイヤの変更に応じて、ＣＮＮのオペレータを置き換えることができる。これにより不要な計算は行われなくなり、計算量が削減される。
【００５０】
図７及び図８の例のように、変更部１２ｂは、あらかじめ定められた「大」、「中」、「小」のような一定数のサイズの段階の中から、測定結果のサイズの度数を基に所定の段階を選択し、当該段階に対応するレイヤを検出器と接続させることができる。
【００５１】
例えば、画像全体の面積の１０％未満のサイズを「小」、１０％以上５０％未満のサイズを「中」、５０％以上のサイズを「大」とする。また、変更部１２ｂは、サイズの測定結果の度数が３０％以上である段階を選択するものとする。
【００５２】
例えば、データセットの画像上の１００個の物体のうち、サイズ「小」が３０個、サイズ「中」が１０個、サイズ「大」が４０個の場合、「小」及び「大」の度数が３０％以上なので、変更部１２ｂは「小」及び「大」に対応するレイヤと検出器を接続させる。
【００５３】
また、例えば、データセットの画像上の１００個の物体のうち、サイズ「小」が５０個、サイズ「中」が５０個、サイズ「大」が０個の場合、「小」及び「中」の度数が３０％以上なので、変更部１２ｂは「小」及び「中」に対応するレイヤと検出器を接続させる。
【００５４】
更新部１２ｅは、モデルによる推論結果を基に、モデルのパラメータを更新する。更新部１２ｅによってモデルの学習が実現される。
【００５５】
例えば、更新部１２ｅは、各画像に対応付けられたラベルに対して、モデルによって計算されるスコアが最大化されるように、モデルのパラメータを更新する。
【００５６】
更新部１２ｅは、変更部１２ｂによって生成されたモデルのパラメータ更新を行う。例えば、図８の例では、更新部１２ｅは、レイヤ１２ｃ−１、レイヤ１２ｃ−２、検出器１２ｄ−２及び検出器１２ｄ−１のパラメータを更新する。
【００５７】
図８の例では、更新部１２ｅは、レイヤ１２ｃ−３及び検出器１２ｄ−３のパラメータを更新する必要はない。このように、本実施形態では、あらかじめモデルの構成を変更しておくことにより、学習に関する処理量を削減することができる。
【００５８】
図９を用いて、実施形態に係るモデル生成装置が実行する処理の手順について説明する。図９は、実施形態に係るモデル生成装置が実行する処理の手順を示すフローチャートである。
【００５９】
図９に示すように、まず、モデル生成装置１０は、学習用のデータセットの入力を受け付ける（ステップＳ１１）。次に、モデル生成装置１０は、データセットに含まれる画像の物体サイズを測定する（ステップＳ１２）。また、モデル生成装置１０は、その測定値の統計処理を行い物体サイズの分布を求める。
【００６０】
ここで、モデル生成装置１０は、物体サイズの分布を基に検出器に接続されるレイヤを変更してモデルを生成する（ステップＳ１３）。
【００６１】
そして、モデル生成装置１０は、生成されたモデルを用いて特徴を抽出する（ステップＳ１４）。さらに、モデル生成装置１０は、生成されたモデルを用いて物体を検出する（ステップＳ１５）。
【００６２】
なお、ステップＳ１３において生成されたモデルの構成に応じて、ステップＳ１５で使用される検出器が決定される。
【００６３】
モデル生成装置１０は、検出結果を基にモデルを更新する（ステップＳ１６）。具体的には、モデル生成装置１０は、ステップＳ１３で生成されたモデルのパラメータを更新する。
【００６４】
モデル生成装置１０は、学習を終了する場合（ステップＳ１７：Ｙｅｓ）、学習済みのモデルの情報を出力する（ステップＳ１８）。一方、モデル生成装置１０は、学習を終了しない場合（ステップＳ１７：Ｎｏ）、ステップＳ１４に戻り処理を繰り返す。
【００６５】
例えば、モデル生成装置１０は、所定の回数だけ処理が繰り返された場合、及びパラメータの更新量が収束した場合等に学習を終了すると判定することができる。
【００６６】
（データ収集システム）
一例として、モデル生成装置１０によって生成されたモデルは、車両からデータを収集するデータ収集システムにおいて利用される。
【００６７】
実施形態に係るデータ収集システムについて、図１０から図１３を用いて説明する。図１０から図１２は、実施形態に係るデータ収集システムの概要を示す図である。図１３は、実施形態に係るデータ収集システムの構成例を示すブロック図である。
【００６８】
図１０に示すように、実施形態に係るデータ収集システム１は、データ収集装置２００と、車両Ｖ−１、Ｖ−２、Ｖ−３…にそれぞれ搭載された車載装置１００−１、１００−２、１００−３…と、利用者端末３００とを含む。
【００６９】
なお、以下では、車両全般を指す場合には「車両Ｖ」と、また、車載装置全般を指す場合には「車載装置１００」と、それぞれ表記する。
【００７０】
また、以下では、車両Ｖが自動運転車両であり、各車両Ｖにそれぞれ搭載された車両制御モデルによって自動運転制御されるものとするが、これに限定されるものではない。すなわち、車両Ｖは、自動運転制御されない車両であってもよい。
【００７１】
データ収集装置２００は、例えばインターネットや携帯電話回線網等のネットワークを介したクラウドサービスを提供するクラウドサーバとして構成される。
【００７２】
データ収集装置２００は、データ利用者から車両Ｖに関するデータ（以下、車両データと記載する）の収集要求を受け付けるとともに、受け付けた収集要求に基づき、各車載装置１００から車両データを収集する。
【００７３】
そして、データ収集装置２００は、収集された車両データを利用者へ提供する。
【００７４】
車載装置１００は、例えばカメラ、加速度センサ、ＧＰＳ（Global  Positioning  System）センサ、車速センサ、アクセルセンサ、ブレーキセンサ、操舵角センサといった各種センサ、記憶デバイス、マイクロコンピュータ等を有する。
【００７５】
車載装置１００は、データ収集装置２００が受け付けた収集要求を取得し、収集要求に応じた車両データを車両Ｖから取得する。
【００７６】
上記したカメラは、例えば車両Ｖの周囲を撮像して画像を出力することができる。画像は静止画像であってもよいし動画像であってもよい。
【００７７】
また、加速度センサは車両Ｖに作用する加速度を検出し、ＧＰＳセンサは、車両Ｖの位置を検出する。車速センサは、車両Ｖの車速を検出する。また、アクセルセンサは、アクセルペダルの操作量を検出し、ブレーキセンサは、ブレーキペダルの操作量を検出する。
【００７８】
また、操舵角センサは、車両Ｖのハンドルの操舵角を検出する。なお、車載装置１００としては、例えばドライブレコーダを用いることができる。
【００７９】
また、車載装置１００は、取得した車両データをデータ収集装置２００へ適宜アップロードする。
【００８０】
このようにドライブレコーダを車載装置１００として兼用することによって、車両Ｖへ搭載する車載部品を効率化することができる。なお、兼用することなく、車載装置１００とドライブレコーダとを別体で構成してもよい。
【００８１】
利用者端末３００は、データ利用者が利用する端末であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン、ウェアラブルデバイス等である。
【００８２】
実施形態に係るデータ収集システム１では、利用者端末３００を介して指定された収集条件を元に、データ収集装置２００が車載装置１００から車両データを収集し、利用者端末３００へ提供することができる。
【００８３】
そして、利用者端末３００のデータ利用者は、提供された車両データを用いることで、車両データを収集した車両Ｖの挙動や車両Ｖに発生した事象等を分析することができる。
【００８４】
以下、図１０から図１３を用いて、データ収集システム１においてデータ利用者へ車両データが提供されるまでの一連の流れについて説明する。
【００８５】
図１０に示すように、まずデータ利用者は、データ収集装置２００と接続された利用者端末３００により収集条件を指定する。
【００８６】
ここで、上記した収集条件には、収集のトリガとなる条件等各種パラメータが含まれる。収集のトリガとなる条件は、例えば車両Ｖにおいて自動運転が実行されている状態から自動運転が解除された状態になったことである。
【００８７】
また、収集条件が指定される際に、データ収集装置２００は、収集することとなる実データＲ（車両データの一例）に付加され、実データＲの検索や概要把握に用いられるインデックスデータであるタグデータＴの生成用のデータを生成する。
【００８８】
すなわち、タグデータＴとは、実データＲがメタ情報化されたメタデータである。タグデータＴの生成用データは、利用者端末３００あるいはデータ収集装置２００に記憶されたプログラムや生成用データを用いつつ、データ利用者の操作に基づいて生成される。
【００８９】
そして、指定された収集条件や、生成されたタグデータＴの生成用データは、データ収集装置２００に記憶されるとともに、データ収集の対象となる車両Ｖへ配信されて、車載装置１００にも記憶される。
【００９０】
次に、各車載装置１００は、各種センサの出力データを監視し、記憶している収集条件を満たすイベント（ここでは、例えば自動運転の解除）が発生した場合に、出力データや画像等の実データＲを記憶デバイスに記憶する。
【００９１】
ところで、画像はデータ容量が比較的大きいことから、例えば仮に、画像全てを車載装置１００からデータ収集装置２００へ送信すると、車載装置１００とデータ収集装置２００との間の通信負荷やデータ収集装置２００の処理負荷が増大するおそれがあった。
【００９２】
そこで、本実施形態にあっては、車載装置１００とデータ収集装置２００との間の通信負荷やデータ収集装置２００の処理負荷を抑制することができるような構成とした。
【００９３】
すなわち、車載装置１００は、画像と、画像に付与されたラベルとを関連付けて記憶デバイスに記憶する。
【００９４】
画像のラベルは、モデル生成装置１０によって出力されるモデルによって検出されるものとする。つまり、実データＲは画像を含む。また、タグデータＴは、画像に関するラベルを含む。
【００９５】
なお、データ収集装置２００は、モデル生成装置１０と同等の機能を有していてもよい。その場合、データ収集装置２００は、学習済みのモデルに関するモデル情報１０ｂを、車載装置１００に配信することができる。
【００９６】
本実施形態では、データ収集装置２００が、まずタグデータＴを収集して利用者端末３００へ提供し、利用者端末３００から画像の提供要求を受け付けた場合に、画像を車載装置１００から収集して利用者端末３００へ提供する。
【００９７】
各車載装置１００は、記憶しているタグデータＴの生成用データと実データＲとに基づき、当該実データＲに対応するタグデータＴを生成して記憶する。
【００９８】
そして、各車載装置１００は、タグデータＴをデータ収集装置２００にアップロードし、データ収集装置２００はそのタグデータＴを記憶する。
【００９９】
なお、このとき、実データＲは、データ収集装置２００へはアップロードされない。つまり、図１０に示すように、データ収集装置２００は、タグデータＴのみを保有した状態となる。
【０１００】
そして、データ利用者が、利用者端末３００により、収集状況の確認や実データＲの収集のためにデータ収集装置２００と接続すると、データ収集装置２００により収集されたタグデータＴに基づくメタ情報が利用者端末３００に表示される。
【０１０１】
そして、図１１に示すように、データ利用者が、利用者端末３００により、収集する実データＲに対応するタグデータＴを指定すると、データ収集装置２００を介して該当の車載装置１００へ実データＲを指定する指示データが送信される。
【０１０２】
その後、図１２に示すように、指定された実データＲが、各車載装置１００からデータ収集装置２００へアップロードされ、データ収集装置２００に収集されて記憶される。
【０１０３】
そして、データ利用者が、利用者端末３００により、データ収集装置２００に記憶された実データＲにアクセスして、実データＲやタグデータＴの閲覧やダウンロード等を行う。
【０１０４】
以下、実施形態に係るデータ収集システム１の構成例について、より具体的に説明する。
【０１０５】
図１３は、実施形態に係るデータ収集システム１の構成例を示すブロック図である。なお、図１３では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
【０１０６】
また、図１３を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
【０１０７】
図１３に示すように、実施形態に係るデータ収集システム１は、データ収集装置２００と、車載装置１００と、利用者端末３００とを含む。
【０１０８】
まず、データ収集装置２００から説明する。データ収集装置２００は、通信部２０１と、記憶部２０２と、制御部２０３とを備える。
【０１０９】
通信部２０１は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。通信部２０１は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、車載装置１００や、利用者端末３００との間で情報の送受信を行う。
【０１１０】
記憶部２０２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、図１３の例では、収集条件情報ＤＢ２０２ａと、収集データＤＢ２０２ｂとを記憶する。
【０１１１】
収集条件情報ＤＢ２０２ａは、利用者端末３００から指定され、後述する受付部２０３ａによって受け付けられた収集条件が蓄積される。すなわち、収集条件情報ＤＢ２０２ａは、収集条件に関する過去の実績を含む。
【０１１２】
収集条件には、車両データの収集に関する各種パラメータが含まれる。例えば、各種パラメータは、対象となる車両Ｖの識別子や、収集対象となるデータの種別、収集のトリガとなる条件、収集する期間等である。
【０１１３】
収集データＤＢ２０２ｂは、後述する収集部２０３ｃによって各車載装置１００から収集された収集データが蓄積される。すなわち、収集データＤＢ２０２ｂは、収集データの過去の実績を含む。なお、収集データは、前述のタグデータＴや実データＲ等を含む。
【０１１４】
ここで、図１４を用いて、収集データＤＢ２０２ｂに格納される収集データについて説明する。図１４は、収集データの一例を示す図である。図１４に示すように、収集データには、「タグＩＤ」、「車両ＩＤ」、「撮影日時」、「推論結果」等の項目が含まれる。
【０１１５】
「タグＩＤ」は、タグデータＴを識別する識別情報である。「車両ＩＤ」は、車両Ｖを識別する識別情報である。「撮影日時」は、画像が撮影された日時である。「推論結果」は、モデルによって検出結果であり、最もスコアが高かったラベルである。
【０１１６】
図１３の説明に戻ると、制御部２０３は、コントローラ（controller）であり、例えば、ＣＰＵやＭＰＵ等によって、データ収集装置２００内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
【０１１７】
また、制御部２０３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。
【０１１８】
制御部２０３は、受付部２０３ａと、配信部２０３ｂと、収集部２０３ｃと、提供部２０３ｄとを備え、以下に説明する情報処理の機能や作用を実現又は実行する。
【０１１９】
受付部２０３ａは、データ利用者により、利用者端末３００から指定された収集条件を通信部２０１を介して受け付け、配信部２０３ｂへ通知する。また、受付部２０３ａは、データ利用者により指定された収集条件を収集条件情報ＤＢ２０２ａへ格納する。
【０１２０】
また、受付部２０３ａは、利用者端末３００から、タグデータＴに対応する実データＲの提供要求を受け付け、収集部２０３ｃへ通知することができる。
【０１２１】
配信部２０３ｂは、収集条件情報ＤＢ２０２ａへ格納され、データ利用者によって指定された収集条件を、対象車両となる車両Ｖへ、例えばファイル形式で通信部２０１を介して配信する。
【０１２２】
収集部２０３ｃは、配信部２０３ｂによって配信された収集条件に基づいて取得された車両データであって、車載装置１００からアップロードされるタグデータＴや実データＲを通信部２０１を介して収集し、収集データとして収集データＤＢ２０２ｂへ蓄積する。
【０１２３】
例えば、収集部２０３ｃは、タグデータＴを車載装置１００から収集し、収集データＤＢ２０２ｂへ蓄積する。
【０１２４】
本実施形態にあっては、画像よりデータ容量が小さいラベルをタグデータＴとして収集することで、例えば車載装置１００とデータ収集装置２００との間の通信負荷やデータ収集装置２００の処理負荷を抑制することができる。
【０１２５】
また、収集部２０３ｃは、受付部２０３ａによって提供要求を受け付けた場合、タグデータＴに対応する実データＲを車載装置１００から収集し、収集データＤＢ２０２ｂへ蓄積する。
【０１２６】
提供部２０３ｄは、収集データＤＢ２０２ｂに蓄積された収集データを、例えば利用者端末３００に対して提供する。例えば、提供部２０３ｄは、指定された実データＲや、実データＲに関連付けられたタグデータＴを利用者端末３００へ提供する。
【０１２７】
次に、車載装置１００について説明する。車載装置１００は、通信部１０１と、記憶部１０２と、制御部１０３とを備える。また、車載装置１００は、上述したように、カメラ、加速度センサ、ＧＰＳセンサ等の各種センサ１５０が接続される。
【０１２８】
通信部１０１は、通信部２０１と同様に、例えばＮＩＣ等によって実現される。
【０１２９】
通信部１０１は、ネットワークＮと無線で接続され、ネットワークＮを介して、データ収集装置２００との間で情報の送受信を行う。また、通信部１０１は、各種センサ１５０の出力データを受信する。
【０１３０】
記憶部１０２は、記憶部２０２と同様に、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、図１３の例では、収集条件情報１０２ａと、車両データ情報１０２ｂとを記憶する。
【０１３１】
収集条件情報１０２ａは、データ収集装置２００から配信された収集条件を含む情報である。車両データ情報１０２ｂは、後述する採取部１０３ｃによって採取された車両データを含む情報である。なお、車両データは、前述のタグデータＴや実データＲ等を含む。
【０１３２】
制御部１０３は、制御部２０３と同様に、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、車載装置１００内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
【０１３３】
また、制御部１０３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。
【０１３４】
制御部１０３は、取得部１０３ａと、検出部１０３ｂと、採取部１０３ｃと、生成部１０３ｄと、アップロード部１０３ｅとを備え、以下に説明する情報処理の機能や作用を実現又は実行する。
【０１３５】
取得部１０３ａは、データ収集装置２００から配信された収集条件を取得し、収集条件情報１０２ａへ格納する。検出部１０３ｂは、各種センサ１５０からの出力データを監視し、収集条件においてトリガとなる事象の発生を検出する。
【０１３６】
例えば検出部１０３ｂは、収集条件において車両データを採取するトリガとなる事象の発生を検出した場合に（ここでは自動運転の解除が行われた場合に）、採取部１０３ｃに車両データを採取させる。
【０１３７】
また、例えば検出部１０３ｂは、収集条件において車両データをデータ収集装置２００へアップロードさせるトリガとなる事象の発生を検出した場合に、アップロード部１０３ｅに車両データをアップロードさせる。
【０１３８】
採取部１０３ｃは、検出部１０３ｂによって車両データを採取するトリガの発生が検出された場合に、各種センサ１５０の出力データに基づく車両データを採取して車両データ情報１０２ｂへ格納する。
【０１３９】
車両データには画像が含まれる。また、採取部１０３ｃは、検出部１０３ｂによって車両データの採取を停止するトリガの発生が検出された場合に、車両データの採取を停止する。
【０１４０】
生成部１０３ｄは、モデル生成装置１０によって出力される学習済みのモデル情報１０ｂを用いて構築したモデルにより、画像に付与するラベルを生成する。なお、画像は採取部１０３ｃによって採取される車両データの１つである。
【０１４１】
生成部１０３ｄは、モデル生成装置１０の特徴抽出部１２ｃ及び検出部１２ｄと同等の機能を有する。これにより、生成部１０３ｄは、推論結果としてラベルを得ることができる。
【０１４２】
これにより、生成部１０３ｄは、実データＲである画像に応じたラベルを、タグデータＴとして生成することができる。
【０１４３】
本実施形態によれば、ユーザの希望等に応じて、データ収集システム１で検出したい物体のサイズに応じたモデルをあらかじめ用意しておくことができる。
【０１４４】
アップロード部１０３ｅは、検出部１０３ｂによって車両データをアップロードするトリガの発生が検出された場合に、車両データ情報１０２ｂに格納された車両データをデータ収集装置２００へアップロードする（送信する）。なお、アップロード部１０３ｅは、送信部の一例である。
【０１４５】
例えば、アップロード部１０３ｅは、生成部１０３ｄによって生成されたラベルを含むタグデータＴをデータ収集装置２００へアップロードすることができる。
【０１４６】
そして、アップロード部１０３ｅは、ラベルに対応する画像の提供要求を受け付けると、採取した画像をデータ収集装置２００へアップロードすることができる。
【０１４７】
図１５を用いて、実施形態に係る車載装置が実行する処理の手順について説明する。図１５は、実施形態に係る車載装置が実行する処理の手順を示すフローチャートである。
【０１４８】
車載装置１００は、データを蓄積する（ステップＳ２１）。具体的には、車載装置１００は、カメラによって撮影された画像及び画像のラベルを、それぞれ実データ及びタグデータとして蓄積する。
【０１４９】
車載装置１００は、タグデータをアップロードする（ステップＳ２２）。ここで、実データのアップロード要求があった場合（ステップＳ２３：Ｙｅｓ）、車載装置１００は実データをアップロードし（ステップＳ２４）、ステップＳ２１に戻る。
【０１５０】
一方、実データのアップロード要求がない場合（ステップＳ２３：Ｎｏ）、車載装置１００は、実データのアップロードをせずにステップＳ２１に戻る。
【０１５１】
図１６を用いて、データを蓄積する処理（図１５のステップＳ２１）の詳細を説明する。図１６は、データを蓄積する処理の手順を示すフローチャートである。
【０１５２】
図１６に示すように、まず、車載装置１００は画像を撮影する（ステップＳ２１１）。そして、車載装置１００は、画像に写る物体を検出する（ステップＳ２１２）。ステップＳ２１２の詳細については、図１７を用いて後に説明する。
【０１５３】
ここで、車載装置１００は、画像と検出した物体のラベルとを対応付けて記憶部に格納する（ステップＳ２１３）。
【０１５４】
図１７を用いて、画像に写る物体を検出する処理（図１６のステップＳ２１２）の詳細を説明する図１７は、物体を検出する処理の手順を示すフローチャートである。
【０１５５】
図１７に示すように、まず、車載装置１００は学習済みのモデルに画像を入力する（ステップＳ２１２１）。そして、画像の特徴を抽出し（ステップＳ２１２２）、抽出した特徴を基に物体を検出する（ステップＳ２１２３）。
【０１５６】
図１７に示す処理で使用される学習済みモデルは、前述のモデル生成装置１０によって出力されたモデル情報１０ｂを基に構築されるものである。
【０１５７】
図１７のステップＳ２１２２は、図９のステップＳ１４に相当する。また、図１７のステップＳ２１２３は、図９のステップＳ１５に相当する。
【０１５８】
上述してきたように、実施形態に係るモデル生成装置１０は、測定部１２ａと、変更部１２ｂとを有する。測定部１２ａは、データセットに含まれる画像に写る物体のサイズを測定する。変更部１２ｂは、画像に写る物体を検出するためのＣＮＮが有する特徴抽出用のレイヤのうち、ＣＮＮの検出部１２ｄと接続されるレイヤをサイズの分布に基づいて変更する。これにより、本実施形態によれば、検出対象の画像に応じてモデルの構成を動的に変更することができる。
【０１５９】
また、実施形態によれば、用途に応じてモデルの構成を無駄のないものにすることが可能であるため、ＣＰＵやメモリの使用量を抑えることができる。このことは、特に小型化や低消費電力化が要求される車載用途等において有効である。
【０１６０】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
【０１６１】
例えば、変更前のモデルは、図１８に示すような構成であってもよい。図１８は、モデルの変更前の構成例を示す図である。図１８の例では、検出器１２ｄ−２は、レイヤ１２ｃ−２とだけでなく、レイヤ１２ｃ−１とも接続している。
【０１６２】
このように、各検出器は、対応するレイヤだけでなく、より特徴のスケールが小さいレイヤで抽出された特徴をも取り入れることで、検出精度を向上させることができる。
【符号の説明】
【０１６３】
Ｎ  ネットワーク
１  データ収集システム
１０  モデル生成装置
１０ａ  データセット
１０ｂ  モデル情報
１１  ＩＦ部
１２、１０３、２０３  制御部
１２ａ  測定部
１２ｂ  変更部
１２ｃ  特徴抽出部
１２ｄ  検出部
１２ｅ  更新部
１３、１０２、２０２  記憶部
１３ａ  モデル情報
１２ｃ−１、１２ｃ−２、１２ｃ−３  レイヤ
１２ｄ−１、１２ｄ−２、１２ｄ−３  検出器
１００  車載装置
１０１、２０１  通信部
１０２ａ  収集条件情報
１０２ｂ  車両データ情報
１０３ａ  取得部
１０３ｂ  検出部
１０３ｃ  採取部
１０３ｄ  生成部
１０３ｅ  アップロード部
１５０  各種センサ
２００  データ収集装置
２０２ａ  収集条件情報ＤＢ
２０２ｂ  収集データＤＢ
２０３ａ  受付部
２０３ｂ  配信部
２０３ｃ  収集部
２０３ｄ  提供部
３００  利用者端末
【要約】
実施形態に係るモデル生成装置（１０）は、測定部（１２ａ）と、変更部（１２ｂ）とを有する。測定部（１２ａ）は、データセットに含まれる画像に写る物体のサイズを測定する。変更部（１２ｂ）は、画像に写る物体を検出するためのＣＮＮが有する特徴抽出用のレイヤのうち、ＣＮＮの検出部（１２ｄ）と接続されるレイヤをサイズの分布に基づいて変更する。【図１】
0006970863.tif 000002
【図２】
0006970863.tif 000003
【図３】
0006970863.tif 000004
【図４】
0006970863.tif 000005
【図５】
0006970863.tif 000006
【図６】
0006970863.tif 000007
【図７】
0006970863.tif 000008
【図８】
0006970863.tif 000009
【図９】
0006970863.tif 000010
【図１０】
0006970863.tif 000011
【図１１】
0006970863.tif 000012
【図１２】
0006970863.tif 000013
【図１３】
0006970863.tif 000014
【図１４】
0006970863.tif 000015
【図１５】
0006970863.tif 000016
【図１６】
0006970863.tif 000017
【図１７】
0006970863.tif 000018
【図１８】
0006970863.tif 000019