(57)【要約】  識別手段７１は、機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する。決定手段７２は、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する。データ送信手段７３は、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信する。
2019215778.tif 000002
【特許請求の範囲】
【請求項１】
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信手段とを備える
ことを特徴とするデータ提供システム。
【請求項２】
識別手段は、物体の識別結果と、前記識別結果の信頼度を導出し、
決定手段は、前記信頼度が予め定められた閾値以下である場合に、前記データが送信対象データであると決定する
請求項１に記載のデータ提供システム。
【請求項３】
決定手段は、他のデータ提供システムに、データと、前記データに対する物体の識別結果を送信することを要求する信号とを送信し、識別手段が識別した結果と、前記他のデータ提供システムから送り返された識別結果とが異なっている場合に、前記データが送信対象データであると決定する
請求項１または請求項２に記載のデータ提供システム。
【請求項４】
決定手段は、データと、識別手段が識別した結果とをオペレータに提示し、前記オペレータから、前記データが送信対象データである旨の情報が入力された場合に、前記データが送信対象データであると決定する
請求項１から請求項３のうちのいずれか１項に記載のデータ提供システム。
【請求項５】
データ送信手段は、送信対象データであると決定された各データの容量が予め定められた容量以上になったタイミングで、前記各データを所定のコンピュータに送信する
請求項１から請求項４のうちのいずれか１項に記載のデータ提供システム。
【請求項６】
データ送信手段は、予め定められた時刻に、送信対象データであると決定された各データを所定のコンピュータに送信する
請求項１から請求項５のうちのいずれか１項に記載のデータ提供システム。
【請求項７】
データ送信手段は、一定期間毎に得られる誤識別率が予め定められた閾値以上となったタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
請求項１から請求項６のうちのいずれか１項に記載のデータ提供システム。
【請求項８】
データ送信手段は、オペレータから、送信対象データであると決定された各データを送信する旨の指示を受け付けたタイミングで、前記各データを所定のコンピュータに送信する
請求項１から請求項７のうちのいずれか１項に記載のデータ提供システム。
【請求項９】
モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段を備え、
データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
請求項１から請求項８のうちのいずれか１項に記載のデータ提供システム。
【請求項１０】
データ送信手段は、所定のコンピュータからデータの送信要求を受信したタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
請求項１から請求項９のうちのいずれか１項に記載のデータ提供システム。
【請求項１１】
データは、画像であり、
識別手段は、画像に含まれる物体を識別する
請求項１から請求項１０のうちのいずれか１項に記載のデータ提供システム。
【請求項１２】
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記所定のコンピュータに送信するデータ送信手段と、
モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段とを備え、
前記データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
ことを特徴とするデータ提供システム。
【請求項１３】
複数のデータ提供システムと、
前記複数のデータ提供システムからデータを収集する収集装置とを備え、
個々のデータ提供システムは、
設置場所におけるデータを収集するデータ収集手段と、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段とを備え、
前記収集装置は、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択する選択手段と、
前記選択手段によって選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
ことを特徴とするデータ収集システム。
【請求項１４】
個々のデータ提供システムは、
モデルの識別精度を表す指標値を収集装置に送信する指標値送信手段を備え、
収集装置は、
グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段とを備え、
データ要求手段は、当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信する
請求項１３に記載のデータ収集システム。
【請求項１５】
複数のデータ提供システムと、
前記複数のデータ提供システムからデータを収集する収集装置とを備え、
個々のデータ提供システムは、
設置場所におけるデータを収集するデータ収集手段と、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段と、
前記モデルの識別精度を表す指標値を前記収集装置に送信する指標値送信手段を備え、
前記収集装置は、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段と、
当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
ことを特徴とするデータ収集システム。
【請求項１６】
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別し、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定し、
送信対象データであると決定したデータを、所定のタイミングで前記所定のコンピュータに送信する
ことを特徴とするデータ提供方法。
【請求項１７】
設置場所におけるデータを収集するデータ収集手段を備えた複数のデータ提供システムと、前記複数のデータ提供システムからデータを収集する収集装置とを備えるデータ収集システムに適用されるデータ収集方法であって、
個々のデータ提供システムが、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別し、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定し、
前記収集装置が、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類し、
当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択し、
選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信し、
個々のデータ提供システムが、
前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定した各データを前記収集装置に送信する
ことを特徴とするデータ収集方法。
【請求項１８】
コンピュータに、
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別処理、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定処理、および、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信処理
を実行させるためのデータ提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定のコンピュータにデータを提供するデータ提供システム、データ提供方法およびデータ提供プログラム、並びに、複数のデータ提供システムからデータを収集するデータ収集システムおよびデータ収集方法に関する。
【背景技術】
【０００２】
一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。【０００３】
このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。【０００４】
ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。【０００５】
なお、特許文献１には、統計モデルの学習に必要な学習データを記憶する学習データ記憶手段と、学習データ記憶手段に記憶されたデータとは別に収集されたデータを記憶する予備データ記憶手段とを備えるシステムが記載されている。そして、特許文献１には、そのシステムが、情報量の値が所定の閾値よりも低いデータを選択することが記載されている。【０００６】
また、特許文献２には、ＦＡＸ（Facsimile）番号へのデータの送信を決定する送信指示を決定する送信指示ボタンを操作表示装置に表示させるデータ通信装置が記載されている。【０００７】
また、特許文献３には、認識率を集計するＦＡＸ−ＯＣＲ（Optical Character Recognition）装置が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２０１０／０４７０１９号
【特許文献２】特開２００９−５３１４号公報
【特許文献３】特開平１１−３４１２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。【００１０】
ここで、１台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある１台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。【００１１】
また、新たに識別システムを設け、新たな場所にその識別システムのカメラを設置する場合がある。この場合、既存の各識別システムにおいて高い識別精度が得られなかった画像を集めることができれば、様々な画像を集めることができ、画像における物体の写り方の偏りを少なくすることができる。そのため、その様々な画像を教師データとして機械学習によってモデルを生成すれば、汎用性が高く、また、識別精度も高いモデルを得ることができる。さらに、そのモデルを、新たに設けられる識別システムで用いるモデルの生成に利用することができる。【００１２】
そこで、本発明は、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できるようにすることができるデータ提供システム、データ提供方法、データ提供プログラム、データ収集システムおよびデータ収集方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によるデータ提供システムは、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信するデータ送信手段とを備えることを特徴とする。【００１４】
また、本発明によるデータ提供システムは、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを所定のコンピュータに送信するデータ送信手段と、モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段とを備え、データ送信手段が、オペレータによってボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信することを特徴とする。【００１５】
また、本発明によるデータ収集システムは、複数のデータ提供システムと、複数のデータ提供システムからデータを収集する収集装置とを備え、個々のデータ提供システムが、設置場所におけるデータを収集するデータ収集手段と、データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを収集装置に送信するデータ送信手段とを備え、収集装置が、個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択する選択手段と、選択手段によって選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、個々のデータ提供システムのデータ送信手段が、収集装置から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置に送信することを特徴とする。【００１６】
また、本発明によるデータ収集システムは、複数のデータ提供システムと、複数のデータ提供システムからデータを収集する収集装置とを備え、個々のデータ提供システムは、設置場所におけるデータを収集するデータ収集手段と、データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別する識別手段と、データをモデルに適用した結果に基づいて、データが収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、送信対象データであると決定されたデータを収集装置に送信するデータ送信手段と、モデルの識別精度を表す指標値を収集装置に送信する指標値送信手段を備え、収集装置が、個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した指標値を表示するアイコン表示手段と、当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、個々のデータ提供システムのデータ送信手段が、収集装置から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置に送信することを特徴とする。【００１７】
また、本発明によるデータ提供方法は、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別し、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定し、送信対象データであると決定したデータを、所定のタイミングで所定のコンピュータに送信することを特徴とする。【００１８】
また、本発明によるデータ収集方法は、設置場所におけるデータを収集するデータ収集手段を備えた複数のデータ提供システムと、複数のデータ提供システムからデータを収集する収集装置とを備えるデータ収集システムに適用されるデータ収集方法であって、個々のデータ提供システムが、データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別し、データをモデルに適用した結果に基づいて、データが収集装置に送信すべき送信対象データであるか否かを決定し、収集装置が、個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類し、当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択し、選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信し、個々のデータ提供システムが、収集装置から送信要求を受信したタイミングで、送信対象データであると決定した各データを収集装置に送信することを特徴とする。【００１９】
また、本発明によるデータ提供プログラムは、コンピュータに、機械学習によって学習されたモデルにデータを適用することによって、データが表わす物体を識別する識別処理、データをモデルに適用した結果に基づいて、データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定処理、および、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信するデータ送信処理を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
【図面の簡単な説明】
【００２１】
【図１】本発明のデータ提供システムと、データ提供システムからデータを収集する収集装置とを示す模式図である。
【図２】第１の実施形態におけるデータ提供システムの構成例を示すブロック図である。
【図３】学習部によって生成されるモデルの例を示す模式図である。
【図４】識別部がデータ記憶部に記憶させる識別処理の結果の例を示す模式図である。
【図５】ラベル受付部がディスプレイ装置に表示させる画面の例を示す模式図である。
【図６】ラベル受付部がディスプレイ装置に表示させる画面の例を示す模式図である。
【図７】識別部がデータ記憶部１１２に記憶させた識別処理の結果、および、ラベル受付部によって追加された情報の例を示す模式図である。
【図８】ラベル受付部がディスプレイ装置に表示させる画面の例を示す模式図である。
【図９】低信頼度の識別結果数、誤識別数、および送信指示ボタンを含む画面の例を示す模式図である。
【図１０】第１の実施形態における収集装置の構成例を示すブロック図である。
【図１１】第１の実施形態のデータ提供システムの処理経過の例を示すフローチャートである。
【図１２】第２の実施形態におけるデータ提供システムの構成例を示すブロック図である。
【図１３】第２の実施形態における収集装置の構成例を示すブロック図である。
【図１４】アイコン表示部がディスプレイ装置上に表示する画面の例を示す模式図である。
【図１５】第２の実施形態における収集装置の処理経過の例を示すフローチャートである。
【図１６】本発明の各実施形態におけるデータ提供システムが備えるコンピュータの構成例を示す概略ブロック図である。
【図１７】本発明のデータ提供システムの概要の例を示すブロック図である。
【図１８】本発明のデータ提供システムの概要の他の例を示すブロック図である。
【図１９】本発明のデータ収集システムの概要の例を示すブロック図である。
【図２０】本発明のデータ収集システムの概要の他の例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態を図面を参照して説明する。
【００２３】
実施形態１．
図１は、本発明のデータ提供システムと、データ提供システムからデータを収集する収集装置とを示す模式図である。図１に示す例では、データ提供システム１００が複数設けられている場合を示している。収集装置２００と、複数のデータ提供システム１００とを合わせて、データ収集システムと称することもできる。また、収集装置２００および複数のデータ提供システム１００は、通信ネットワーク５００を介して、通信可能に接続されている。複数のデータ提供システム１００は、同様の構成である。
【００２４】
個々のデータ提供システム１００はそれぞれ、データ収集部（後述の図２に示すデータ収集部１０１）を備える。各データ提供システム１００のデータ収集部（図１において図示略。後述の図２を参照。）は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。
【００２５】
個々のデータ提供システム１００は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ（画像や音声データ等）が表わす物体を識別する。従って、データ提供システム１００を、識別システムと称することもできる。
【００２６】
各データ提供システム１００は、所定の条件を満たすデータを収集装置２００に送信し、収集装置２００は、各データ提供システム１００から送信されるデータを受信し、受信したデータを蓄積する。
【００２７】
図２は、第１の実施形態におけるデータ提供システム１００の構成例を示すブロック図である。図１に示す複数のデータ提供システム１００は、同様の構成であり、各データ提供システム１００の構成は、図２のように表すことができる。データ提供システム１００は、データ収集部１０１と、コンピュータ１０２とを備える。データ収集部１０１とコンピュータ１０２とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部１０１がカメラである場合を例にして説明し、データ収集部１０１をカメラ１０１と記す。カメラ１０１は、そのカメラ１０１の設置場所から撮影を行う。なお、カメラ１０１の設置場所と、コンピュータ１０２の設置場所とが異なっていてもよい。
【００２８】
コンピュータ１０２は、学習部１０３と、モデル記憶部１０４と、データ取得部１０５と、識別部１０６と、キーボード１０７と、マウス１０８と、ディスプレイ装置１０９と、ラベル受付部１１０と、送信対象データ決定部１１１と、データ記憶部１１２と、データ送信部１１３と、指標値集計部１１４と、表示制御部１１５とを備える。
【００２９】
学習部１０３は、カメラ１０１が撮影によって得た画像を教師データとして、機械学習によってモデルを学習する。以下、学習部１０３が、ディープラーニングによってモデルを学習する場合を例にして説明する。教師データは、具体的には、カメラ１０１が撮影によって得た画像と、その画像に写っている物体を示すラベルと、画像内におけるその物体を囲む矩形領域を表す座標（例えば、矩形領域の各頂点の座標）との組の集合である。ラベルや、画像内における物体を囲む矩形領域は、データ提供システム１００のオペレータが決定すればよい。学習部１０３は、そのような組の集合を教師データとして、モデルを学習（生成）する。
【００３０】
このモデルは、与えられた新たな画像に写っている物体を識別するためのモデルである。以下、このモデルが、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを判定するためのモデルであるものとして説明する。このようなモデルを学習する場合、オペレータは、前述のラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。各実施形態では、後述の識別部１０６（図２参照）が、モデルを用いて、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景」の何れであるかを判定する場合を例にして説明するが、モデルを用いて判定される対象は、「自動車」、「オートバイ」、「バス」、「背景」に限られない。オペレータは、識別処理の目的に応じた教師データを用意して、その教師データを用いて学習部１０３にモデルを学習させればよい。
【００３１】
学習部１０３は、ディープラーニングによって生成したモデルをモデル記憶部１０４に記憶させる。モデル記憶部１０４は、モデルを記憶する記憶装置である。
【００３２】
図３は、学習部１０３によって生成されるモデルの例を示す模式図である。モデルに適用される画像の画素数がｎであるとすると、その画像は、ｎ個の画素の各画素値を要素とするベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと表すことができる。例えば、Ｘ１は、画像における１番目の画素の画素値を表す。Ｘ２〜Ｘｎに関しても同様である。また、ここで、Ｔは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図３に示す例では、１番目の層は、係数ａ１〜ａｍを含み、２番目の層は、係数ｂ１〜ｂｊを含んでいる。画像を表すベクトルの個々の要素Ｘ１〜Ｘｎは、１番目の層の各係数ａ１〜ａｍと関連付けられる。図３では、この関連付けを線で表している。また、ある層の各係数は、その次の層の各係数と関連付けられる。図３では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたａ１とｂ１や、関連付けられたａ１とｂ２等にそれぞれ重みが定められる。
【００３３】
学習部１０３は、教師データを用いてディープラーニングを行うことによって、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値をそれぞれ決定する。これらの値が定めることが、モデルを生成することに該当する。
【００３４】
学習部１０３がモデルを学習し、そのモデルをモデル記憶部１０４に記憶させる処理は、前処理として予め実行される。
【００３５】
データ取得部１０５は、カメラ１０１が撮影によって得た新たな画像をカメラ１０１から取得する。データ取得部１０５は、カメラ１０１から画像を受信するためのインタフェースである。
【００３６】
識別部１０６は、データ取得部１０５が新たな画像をカメラ１０１から取得したときに、モデル記憶部１０４に記憶されているモデルにその画像を適用することによって、その画像が表わす物体を識別する。本例では、識別部１０６は、モデルに画像を適用することによって、画像に写っている物体が「自動車」であるのか、「オートバイ」であるのか、「バス」であるのか、あるいは、「背景」しか写っていないのかを判定する。
【００３７】
画像が得られた場合、画像を表すベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔが定まる。識別部１０６は、そのベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと、モデルに含まれる各層の各係数（ａ１〜ａｍやｂ１〜ｂｊ等）およびモデルに含まれる各重みとを用いて、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、識別部１０６は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られた項目を識別結果として定める。例えば、識別部１０６が、画像を表すベクトルをモデルに適用した結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“０．６”、“０．２”、“０．１”、“０．１”が得られたとする。この場合、識別部１０６は、画像に写っている物体は、最も高い信頼度“０．６”が得られた「自動車」であると識別する。そして、識別部１０６は、与えられた画像と、識別結果と、その識別結果に対応する信頼度との組合せを、データ記憶部１１２に記憶させる。図４は、識別部１０６がデータ記憶部１１２に記憶させる識別処理の結果の例を示す模式図である。本例では、識別部１０６は、図４に例示するように、画像と、「自動車」という識別結果と、その識別結果の信頼度“０．６”とを対応付けて、データ記憶部１１２に記憶させる。
【００３８】
なお、データ記憶部１１２は、画像、識別結果、信頼度等を記憶する記憶装置である。また、データ記憶部１１２は、データ提供システム１００のオペレータによって、正しい結果（正しいラベル）が入力されたり、画像に写っている物体を囲む矩形領域が指定されたりした場合、その正しい結果や、その矩形領域を表す座標（例えば、矩形領域の各頂点の座標）も記憶する。
【００３９】
キーボード１０７およびマウス１０８は、データ提供システム１００のオペレータがコンピュータ１０２に情報を入力するために用いる入力デバイスである。ただし、キーボード１０７およびマウス１０８は、入力デバイスの例であり、入力デバイスは、キーボード１０７およびマウス１０８に限定されない。
【００４０】
ラベル受付部１１０は、識別部１０６によって識別処理が行われた画像と、その識別処理の結果（識別結果および信頼度）とをディスプレイ装置１０９に表示するとともに、識別処理の結果が適切であることをオペレータが入力するためのＧＵＩ（Graphical User Interface）や、識別処理の結果が適切でないために、オペレータが画像に写っている物体を表す正しいラベルを入力するためのＧＵＩをディスプレイ装置１０９に表示する。
【００４１】
図５は、ラベル受付部１１０がディスプレイ装置１０９に表示させる画面の例を示す模式図である。ラベル受付部１１０は、識別部１０６によって識別処理が行われた画像３０１を表示するとともに、識別結果表示欄３０２に識別結果（本例では、「自動車」）を表示し、信頼度表示欄３０３に、識別結果に対応する信頼度（本例では、“０．６”）を表示する。また、ラベル受付部１１０は、その画面内に、ＯＫボタン３０４と、追加入力ボタン３０５とを表示する。
【００４２】
ＯＫボタン３０４は、オペレータが識別結果に問題がないと判断した場合にクリックするボタンである。オペレータは、画像に写っている物体を表すラベルが識別結果として表示されている場合、識別結果に問題がないと判断する。図５に示す例では、オペレータは、識別結果に問題がないと判断し、ＯＫボタン３０４をクリックする。ＯＫボタン３０４がクリックされた場合、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させたデータ（図４参照）にデータを追加しない。
【００４３】
また、画像に写っている物体とは異なる物体を表すラベルが識別結果として表示されている場合には、オペレータが識別結果に問題があると判断する。この場合、オペレータは、追加入力ボタン３０５をクリックする。
【００４４】
図６は、追加入力ボタン３０５がクリックされた場合にラベル受付部１１０がディスプレイ装置１０９に表示させる画面の例を示す模式図である。ラベル受付部１１０は、識別部１０６によって識別処理が行われた画像３０１を表示するとともに、識別結果表示欄３０２に識別結果を表示し、信頼度表示欄３０３に、識別結果に対応する信頼度を表示する。図６では、画像に自動車が写っているにも関わらず、識別結果として「オートバイ」が表示され、追加入力ボタン３０５（図５参照）がクリックされた場合の例を示している。ラベル受付部１１０は、図６に例示する画面内に、ラベル入力欄３０７と、確定ボタン３０８とを表示する。
【００４５】
ラベル入力欄３０７は、画像３０１に写っている物体を表す正しいラベルをオペレータが入力するための欄である。オペレータは、図６に例示する画面内で、ラベル入力欄３０７に、画像３０１に写っている物体を表す正しいラベルを入力する。また、オペレータは、マウス１０８を操作して、画像３０１内でその物体（本例では、自動車）を囲む矩形領域を指定する。確定ボタン３０８は、ラベルの入力および矩形領域の指定が完了した場合に、オペレータにクリックされるボタンである。
【００４６】
図６では、ラベル入力欄３０７に、画像３０１に写っている物体を表す正しいラベルである「自動車」がオペレータによって入力された場合を示している。また、図６では、オペレータが、画像３０１において、写っている物体（自動車）を囲む矩形領域３０９を、マウス１０８を用いて指定した場合を示している。オペレータが、ラベル入力欄３０７にラベルを入力し、さらに、矩形領域３０９をマウス１０８で指定した後に、確定ボタン３０８をクリックすると、ラベル受付部１１０は、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を取得する。そして、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果に、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を対応付けて記憶させる。
【００４７】
図７は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果、および、ラベル受付部１１０によって追加された情報の例を示す模式図である。図７では、識別部１０６が、画像、識別結果「オートバイ」および信頼度“０．６”をデータ記憶部１１２に記憶させた後、ラベル受付部１１０が、図６に例示する画面を介して入力されたラベル「自動車」、および矩形領域３０９表す座標を追加してデータ記憶部１１２に記憶させた状態を模式的に表している。
【００４８】
送信対象データ決定部１１１は、識別部１０６が識別処理を行った画像が、収集装置２００に送信すべき送信対象データであるか否かを決定する。送信対象データ決定部１１１は、識別精度の高いモデルの生成に寄与することができる画像を送信対象データとして決定する。ここで、識別精度の高いモデルの生成に寄与することができる画像とは、例えば、識別部１０６がモデルを用いて識別を行った結果が、画像に写っている物体とは異なっている場合や、識別部１０６がモデルを用いて識別を行った結果が、画像に写っている物体を表していたとしても、信頼度が予め定められた閾値以下である場合等である。これらの画像は、正しい識別結果や、高い信頼度が得られなかった画像であり、このような画像と、画像に写っている物体を表すラベルと、画像内でその物体を囲む矩形領域とを教師データとすることによって、より高い識別精度のモデルを生成することができる。送信対象データ決定部１１１は、このような画像を送信対象データとして決定する。
【００４９】
以下、送信対象データ決定部１１１が、画像が送信対象データであるか否かを決定する方法として、３種類の決定方法を例示して説明する。送信対象データ決定部１１１は、１つの決定方法を採用して、画像が送信対象データであるか否かを決定してもよく、あるいは、送信対象データ決定部１１１は、複数の決定方法を採用して、画像が送信対象データであるか否かを決定してもよい。
【００５０】
［第１の決定方法］
第１の決定方法は、画像に対する識別部１０６の識別結果をオペレータが誤りであると判断し、オペレータが画像に写っている物体を表す正しいラベルを入力した場合、送信対象データ決定部１１１がその画像を送信対象データであると決定する方法である。なお、この場合、図６および図７を参照して説明したように、ラベル受付部１１０は、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を取得し、そのラベルおよび座標を画像に対応づけてデータ記憶部１１２に記憶させる。送信対象データ決定部１１１は、送信対象データであると決定した画像に、そのラベルおよび座標を対応付け、画像、ラベルおよび座標の組を収集装置２００に送信すべきデータであると決定する。
【００５１】
図６に例示する画面において、オペレータがラベルを入力し、矩形領域３０９を指定し、確定ボタン３０８をクリックした場合、オペレータは、画面に表示されている画像が送信対象データである旨の情報を入力したと言える。従って、第１の送信方法では、オペレータが画面に表示されている画像が送信対象データである旨の情報を入力した場合に、送信対象データ決定部１１１が、その画像が送信対象データであると決定していると言える。なお、図５に例示する画面でＯＫボタン３０４がクリックされた場合には、送信対象データ決定部１１１は、その画面に表示されている画像は送信対象データでないと決定する。
【００５２】
［第２の決定方法］
第２の決定方法では、送信対象データ決定部１１１は、画像をモデルに適用した結果に基づいて、その画像が送信対象データであるか否かを決定する。前述のように、識別部１０６は、画像をモデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出し、最も高い信頼度が得られた項目を識別結果として定める。第２の決定方法では、送信対象データ決定部１１１は、識別結果に対応する信頼度に基づいて、画像が送信対象データであるか否かを決定する。より具体的には、識別結果に対応する信頼度が予め定められた閾値以下である場合、送信対象データ決定部１１１は、識別処理の対象となった画像が送信対象データであると決定する。また、信頼度が予め定められた閾値を超えている場合には、送信対象データ決定部１１１は、識別処理の対象となった画像は送信対象データでないと決定する。この閾値は、例えば、“０．５”であるが、“０．５”に限定されない。以下、この閾値が“０．５”である場合を例にして説明する。
【００５３】
信頼度が予め定められた閾値以下であることにより、送信対象データ決定部１１１が識別処理の対象となった画像が送信対象データであると決定した場合、ラベル受付部１１０は、オペレータがラベルを入力したり、画像内において物体を囲む矩形領域を指定したりするための画面を表示する。この画面は図６に例示する画面と同様である。図８は、第２の決定方法で画像が送信対象データであると決定された場合にラベル受付部１１０がディスプレイ装置１０９に表示させる画面の例を示す模式図である。図６に示す要素と同一の要素には、図６と同一の符号を付す。図８に示す例では、識別結果である「自動車」は正しい。しかし、その識別結果に対応する信頼度“０．４”は、閾値以下であり、送信対象データ決定部１１１は、画像３０１が送信対象データであると決定している。第２の決定方法では、図８に例示する画面が表示されると、オペレータは、画像３０１に写っている物体を表す正しいラベルを入力するとともに、画像３０１内でその物体（本例では、自動車）を囲む矩形領域を指定し、その後、確定ボタン３０８をクリックする。ラベル受付部１１０は、オペレータが入力したラベルと、オペレータが指定した矩形領域３０９を表す座標を取得する。そして、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果に、そのラベルおよび座標を対応づけて、データ記憶部１１２に記憶させる。送信対象データ決定部１１１は、送信対象データであると決定した画像に、そのラベルおよび座標を対応付け、画像、ラベルおよび座標の組を収集装置２００に送信すべきデータであると決定する。
【００５４】
［第３の決定方法］
第３の決定方法では、送信対象データ決定部１１１は、画像をモデルに適用した結果に基づいて、その画像が送信対象データであるか否かを決定する。識別部１０６は、画像をモデルに適用することによって、識別結果とその識別結果に対応する信頼度を特定する。また、送信対象データ決定部１１１は、その画像と、その画像に対して識別処理を行うことによって得た物体の識別結果を送信対象データ決定部１１１に送信することを要求する信号とを他のデータ提供システム１００に送信する。以下、他のデータ提供システムを符号“１００ｚ”で表す。送信対象データ決定部１１１から画像およびこの信号を受信した他のデータ提供システム１００ｚは、受信した画像を、そのデータ提供システム１００ｚが保持しているモデルに適用することによって、画像に写っている物体の識別結果を導出し、要求元のデータ提供システム１００の送信対象データ決定部１１１に、その識別結果を送り返す。
【００５５】
なお、送信対象データ決定部１１１は、複数台の他のデータ提供システム１００ｚに対して、画像および上記の信号を送信してもよい。また、画像の送り先となる他のデータ提供システム１００ｚは、予め定めておけばよい。
【００５６】
送信対象データ決定部１１１は、その送信対象データ決定部１１１を含むコンピュータ１０２内の識別部１０６が特定した識別結果だけでなく、他のデータ提供システム１００ｚから取得したその画像に対する識別結果も用いて、その画像が送信対象データであるか否かを決定する。具体的には、送信対象データ決定部１１１は、その送信対象データ決定部１１１を含むコンピュータ１０２内の識別部１０６が特定した画像に写っている物体の識別結果と、他のデータ提供システム１００ｚから取得したその画像に対する識別結果とが異なっていれば、その画像が送信対象データであると決定する。また、送信対象データ決定部１１１は、識別部１０６が特定した画像に写っている物体の識別結果と、他のデータ提供システム１００ｚから取得したその画像に対する識別結果とが同じであれば、その画像は送信対象データでないと決定する。なお、他の複数台のデータ提供システム１００ｚから識別結果を取得した場合、送信対象データ決定部１１１は、例えば、識別部１０６が特定した画像に写っている物体の識別結果と異なる識別結果が１つでも存在していれば、画像が送信対象データであると決定してよい。
【００５７】
識別部１０６による識別結果と、他のデータ提供システム１００ｚによる識別結果とが異なる画像は、写っている物体の識別が困難な画像であり、識別精度の高いモデルの生成に寄与する画像であると言える。
【００５８】
第３の決定方法において、送信対象データ決定部１１１が識別処理の対象となった画像が送信対象データであると決定した場合、ラベル受付部１１０は、図６や図８に例示する画面と同様の画面を表示し、画像に写っている物体を表す正しいラベルの入力と、画像内においてその物体を囲む矩形領域の指定を受け付ける。そして、ラベル受付部１１０は、識別部１０６がデータ記憶部１１２に記憶させた識別処理の結果に、そのラベルおよびその矩形領域を表す座標を対応付けて、データ記憶部１１２に記憶させる。送信対象データ決定部１１１は、送信対象データであると決定した画像に、そのラベルおよび座標を対応付け、画像、ラベルおよび座標の組を収集装置２００に送信すべきデータであると決定する。
【００５９】
前述のように、送信対象データ決定部１１１は、複数の決定方法を採用して、画像が送信対象データであるか否かを決定してもよい。この場合、送信対象データ決定部１１１は、第１の決定方法から第３の決定方法のいずれかの決定方法で、画像が送信対象データであると決定したならば、画像が送信対象データであると確定してよい。
【００６０】
データ送信部１１３は、送信対象データであると決定された画像を、所定のタイミングで収集装置２００に送信する。既に説明したように、第１の決定方法から第３の決定方法のいずれの決定方法においても、送信対象データ決定部１１１は、送信対象データであると決定した画像に、オペレータが入力したラベル、および、矩形領域３０９（図６、図８を参照）を表す座標を対応付け、その画像、ラベル、座標の組を、収集装置２００に送信すべきデータであると決定する。従って、データ送信部１１３は、送信対象データであると決定された画像とラベルと矩形領域３０９を表す座標との組を全て、所定のタイミングで収集装置２００に送信する。ただし、データ送信部１１３は、収集装置２００に送信済みの組に関しては、再度、送信しなくてよい。
【００６１】
データ送信部１１３が、送信対象データであると決定された画像とラベルと座標との組を収集装置２００に送信するタイミングについて説明する。
【００６２】
データ送信部１１３は、送信対象データであると決定された各画像の容量が予め定められた容量以上になったタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。すなわち、送信対象データであると決定された各画像の容量の総和が、予め定められた容量以上になったタイミングで、データ送信部１１３は、送信すべきデータを収集装置２００に送信してもよい。
【００６３】
また、データ送信部１１３は、予め定められた時刻に、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。例えば、データ送信時刻として午前０時が予め定められている場合、データ送信部１１３は、毎日、午前０時に、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。
【００６４】
また、データ送信部１１３は、一定期間毎（例えば、１日毎）に得られる誤識別率を参照し、誤識別率が予め定められた閾値以上となったタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。誤識別率は、指標値集計部１１４が一定期間毎に算出すればよい。例えば、指標値集計部１１４は、１日毎に、誤識別率を算出する。誤識別率は、一定期間（本例では１日）における、識別部１０６が識別処理の対象とした画像の総数に対する、識別結果が誤っているとオペレータに判断された画像の数の割合である。識別結果が誤っているとオペレータに判断された画像の数は、例えば、図５に示す追加入力ボタン３０５がクリックされた回数に相当する。従って、指標値集計部１１４は、一定期間内で、識別部１０６が識別処理の対象とした画像の数を集計するとともに、その一定期間内で、図５に示す追加入力ボタン３０５がクリックされた回数を集計する。そして、指標値集計部１１４は、識別部１０６が識別処理の対象とした画像の数の集計結果に対する、追加入力ボタン３０５のクリック回数の集計結果の割合を、誤識別率として算出すればよい。指標値集計部１１４は、一定期間毎に、誤識別率を算出し直す。データ送信部１１３は、このように一定期間毎に算出される誤識別率を参照すればよい。
【００６５】
また、データ送信部１１３は、送信対象データであると決定された各画像を送信する旨の指示を、データ提供システム１００のオペレータから受け付けたタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。この場合について、より具体的に説明する。指標値集計部１１４は、前述の一定期間毎の誤識別率以外に、モデルの識別精度を表す指標値を集計する。なお、一定期間毎の誤識別率もモデルの識別精度を表す指標値であると言えるが、ここでは、指標値集計部１１４が一定期間毎の誤識別率以外に、モデルの識別精度を表す指標値として、識別結果に対する信頼度が閾値（本例では“０．５”とする。）以下となった画像の総数、および、識別結果が誤っているとオペレータに判断された画像の総数を集計する。既に説明したように、識別結果が誤っているとオペレータに判断された画像の数は、図５に示す追加入力ボタン３０５がクリックされた回数に相当する。従って、指標値集計部１１４は、識別結果が誤っているとオペレータに判断された画像の総数として、図５に示す追加入力ボタン３０５がクリックされた回数の総数を集計すればよい。以下、識別結果に対する信頼度が閾値（本例では“０．５”とする。）以下となった画像の総数を、「低信頼度の識別結果数」と記す。また、識別結果が誤っているとオペレータに判断された画像の総数を、「誤識別数」と記す。
【００６６】
表示制御部１１５は、指標値集計部１１４が導出した低信頼度の識別結果数および誤識別数、並びに、送信対象データであると決定された各画像を送信することを指示するためのＧＵＩを、ディスプレイ装置１０９に表示させる。以下、このＧＵＩが、ボタンである場合を例にして説明し、このボタンを送信指示ボタンと記す。表示制御部１１５は、低信頼度の識別結果数、誤識別数、および送信指示ボタンを、例えば、直近に識別処理の対象となった画像に重畳して、ディスプレイ装置１０９に表示させてもよい。図９は、低信頼度の識別結果数、誤識別数、および送信指示ボタンを含む画面の例を示す模式図である。図９では、表示制御部１１５が、低信頼度の識別結果数および誤識別数と、送信指示ボタン４１とを、直近に識別処理の対象となった画像に重畳して、ディスプレイ装置１０９に表示させた場合を示している。
【００６７】
なお、コンピュータ１０２は、図５に例示する画面と、図９に例示する画面との切り替えを、オペレータの操作に応じて行えばよい。同様に、コンピュータ１０２は、図６および図８に例示する画面と、図９に例示する画面との切り替えを、オペレータの操作に応じて行えばよい。
【００６８】
また、指標値集計部１１４が低信頼度の識別結果数や誤識別数の値を更新した場合には、表示制御部１１５は、それに合わせて、ディスプレイ装置１０９に表示する低信頼度の識別結果数や誤識別数の値を更新する。
【００６９】
オペレータは、表示された低信頼度の識別結果数や誤識別数の値を参照し、既に得られている、送信対象データであると決定された画像とラベルと座標との各組を収集装置２００に送信するタイミングであると判断した場合には、送信指示ボタン４１（図９参照）をクリックする。送信指示ボタン４１がクリックされたということは、送信対象データであると決定された各画像を送信する旨の指示が入力されたことを意味する。送信指示ボタン４１がクリックされると、データ送信部１１３は、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
【００７０】
また、データ送信部１１３は、収集装置２００からデータの送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信してもよい。なお、収集装置２００がデータ提供システム１００にデータの送信要求を送る動作については、第２の実施形態で詳しく説明する。
【００７１】
以上、複数種類の送信タイミングを説明した。データ送信部１１３は、上記の複数種類の送信タイミングのいずれか１種類のタイミングで、データを収集装置２００に送信してもよい。あるいは、データ送信部１１３は、前述の各種タイミングのうち、任意の複数種類のタイミングで、データを収集装置２００に送信してもよい。
【００７２】
データ送信部１１３は、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵ（Central Processing Unit ）およびコンピュータ１０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からデータ提供プログラムを読み込み、データ提供プログラムに従って、通信インタフェースを用いて、データ送信部１１３として動作すればよい。また、送信対象データ決定部１１１が前述の第３の決定方法を採用する場合、送信対象データ決定部１１１も、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵおよびコンピュータ１０２の通信インタフェースによって実現される。すなわち、上記のようにデータ提供プログラムを読み込んだＣＰＵが、データ提供プログラムに従って、通信インタフェースを用いて、送信対象データ決定部１１１として動作すればよい。また、学習部１０３、識別部１０６、ラベル受付部１１０、送信対象データ決定部１１１、指標値集計部１１４および表示制御部１１５も、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵによって実現される。すなわち、上記のようにデータ提供プログラムを読み込んだＣＰＵが、データ提供プログラムに従って、学習部１０３、識別部１０６、ラベル受付部１１０、送信対象データ決定部１１１、指標値集計部１１４および表示制御部１１５として動作すればよい。また、モデル記憶部１０４およびデータ記憶部１１２は、コンピュータ１０２が備える記憶装置によって実現される。
【００７３】
なお、モデル記憶部１０４および識別部１０６がカメラ１０１側に設けられる構成であってもよい。
【００７４】
図１０は、第１の実施形態における収集装置２００の構成例を示すブロック図である。収集装置２００は、コンピュータによって実現される。収集装置２００は、データ受信部２０１と、収集装置側データ記憶部２０２とを備える。
【００７５】
データ受信部２０１は、データ提供システム１００のデータ送信部１１３（図２参照）が送信したデータ（画像、ラベルおよび座標の組の集合）を受信する。データ受信部２０１は、１台のデータ提供システム１００だけからデータを受信するのではなく、図１に示す複数のデータ提供システム１００からそれぞれデータを受信する。
【００７６】
データ受信部２０１は、各データ提供システム１００からデータを受信すると、受信したデータを収集装置側データ記憶部２０２に記憶させる。
【００７７】
収集装置側データ記憶部２０２は、各データ提供システム１００から受信したデータを記憶する記憶装置である。
【００７８】
データ受信部２０１は、例えば、収集装置用プログラムに従って動作するコンピュータのＣＰＵおよびそのコンピュータの通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から収集装置用プログラムを読み込み、収集装置用プログラムに従って、通信インタフェースを用いて、データ受信部２０１として動作すればよい。また、収集装置側データ記憶部２０２は、そのコンピュータが備える記憶装置によって実現される。
【００７９】
次に、第１の実施形態の処理経過について説明する。既に説明した動作については、詳細な説明を省略する。図１１は、第１の実施形態のデータ提供システム１００の処理経過の例を示すフローチャートである。なお、予め、学習部１０３がディープラーニングによってモデルを学習し、そのモデルをモデル記憶部１０４に記憶させているものとする。
【００８０】
まず、カメラ１０１が、そのカメラ１０１の設置場所で撮影を行うことによって、画像を得る（ステップＳ１）。カメラ１０１は、その画像をコンピュータ１０２に送信する。
【００８１】
コンピュータ１０２の識別部１０６は、データ取得部１０５を介して、その画像を受け取る。そして、識別部１０６は、その画像をモデルに適用することによって、画像に写っている物体を識別する(ステップＳ２）。本例では、識別部１０６は、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを識別する。また、識別部１０６は、識別結果を得る過程で、その識別結果に対応する信頼度も算出する。
【００８２】
ステップＳ２の後、送信対象データ決定部１１１は、ステップＳ２で識別処理の対象となった画像が送信対象データであるか否かを決定する（ステップＳ３）。画像が送信対象データであるか否かを決定する方法として、例えば、前述の第１の決定方法、第２の決定方法および第３の決定方法が挙げられる。送信対象データ決定部１１１は、第１の決定方法、第２の決定方法および第３の決定方法のうちのいずれか１つの方法で、画像が送信対象データであるか否かを決定してもよい。また、送信対象データ決定部１１１は、第１の決定方法、第２の決定方法および第３の決定方法のうちの任意の複数の方法を採用して、画像が送信対象データであるか否かを決定してもよい。
【００８３】
また、送信対象データ決定部１１１は、画像が送信対象データであるか否かを決定する際、図６や図８に例示する画面を介して、オペレータから、画像に写っている物体を表す正しいラベルを取得したり、画像内でその物体を囲む矩形領域を指定されたりする。送信対象データ決定部１１１は、送信対象データである画像、そのラベルと、その矩形領域を表わす座標との組を、収集装置２００に送信するデータとして決定する。
【００８４】
データ送信部１１３は、所定のタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する（ステップＳ４）。データ送信部１１３が収集装置２００にデータを送信するタイミングの種々の例については、既に説明したので、ここでは説明を省略する。
【００８５】
なお、収集装置２００のデータ受信部２０１（図１０参照）は、データ送信部１１３がステップＳ４で送信したデータを受信し、そのデータを収集装置側データ記憶部２０２に記憶させる。
【００８６】
本実施形態によれば、送信対象データ決定部１１１は、前述の第１の決定方法、第２の決定方法および第３の決定方法のうちの少なくとも１つの方法で、画像が送信対象データであるか否かを決定する。従って、送信対象データとなる画像は、識別部１０６による識別結果が誤っていた画像、識別結果に対応する信頼度が閾値以下である画像、または、識別部１０６による識別結果と他のデータ提供システム１００ｚによる識別結果とが異なっていた画像である。これらの画像は、正しい識別結果が得にくい画像であり、これらの画像を教師データとしてディープラーニングを行うことによって、識別精度の高いモデルを得ることができる。そして、データ送信部１１３は、そのような画像を、オペレータに指定されたラベルや座標とともに収集装置２００に送信する。従って、本実施形態によれば、識別精度の高いモデルの生成に寄与することができるデータを収集装置２００が容易に収集することができる。
【００８７】
各データ提供システム１００のカメラ１０１が撮影を行う環境はそれぞれ異なっているので、収集装置側データ記憶部２０２には、画像、ラベルおよび座標の組として様々なデータが蓄積される。従って、収集装置側データ記憶部２０２に蓄積されたデータを教師データとしてディープラーニングを行うことによって、様々な撮影環境で得られた画像に対して高い精度で識別処理を行える、汎用性の高いモデルを生成することができる。
【００８８】
実施形態２．
本発明の第２の実施形態のデータ収集システムは、図１に示す場合と同様に、複数のデータ提供システム１００と、収集装置２００とを備える。
【００８９】
図１２は、第２の実施形態におけるデータ提供システム１００の構成例を示すブロック図である。データ収集システムが備える複数のデータ提供システム１００は、同様の構成であり、第２の実施形態における各データ提供システム１００の構成は、図１２のように表すことができる。図２に示す構成要素と同様の構成要素に関しては、図２と同一の符号を付し、説明を省略する。また、第１の実施形態で説明した事項に関しても、説明を省略する。
【００９０】
なお、第２の実施形態においても、データ収集部１０１がカメラである場合を例にして説明し、データ収集部１０１をカメラ１０１と記す。データ提供システム１００が備えるコンピュータ１０２は、第１の実施形態におけるコンピュータ１０２（図２参照）が備える各要素に加えて、指標値送信部１１６と、属性データ記憶部１１７と、属性データ送信部１１８とを備える。データ提供システム１００が備える要素のうち、指標値送信部１１６、属性データ記憶部１１７および属性データ送信部１１８以外の要素は、第１の実施形態におけるそれらの要素と同様であり、説明を省略する。
【００９１】
指標値送信部１１６は、指標値集計部１１４が低信頼度の識別結果数や誤識別数の値を更新すると、更新後の低信頼度の識別結果数や、更新後の誤識別数を、データ提供システム１００の識別情報とともに、収集装置２００に送信する。
【００９２】
属性データ記憶部１１７は、属性データ記憶部１１７を含むコンピュータ１０２に接続されているカメラ１０１の属性を示すデータ（属性データ）を記憶する記憶装置である。カメラ１０１の属性として、カメラ１０１自体の属性や、カメラ１０１が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、データ提供システム１００の管理者がカメラ１０１の設定や設置環境等に応じて予め決定すればよい。属性データは、このような属性の値（数値）を要素とするベクトルで表される。
【００９３】
カメラ１０１の属性データは、少なくとも、「カメラ１０１の画角」、「カメラ１０１が屋内に設置されているか屋外に設置されているか」、「カメラ１０１の撮影対象」、「カメラ１０１の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全てのデータ提供システム１００で共通であり、どの属性の値がベクトルの何番目の要素になっているかに関しても、全てのデータ提供システム１００で共通である。ベクトルの各要素となる数値は、データ提供システム１００毎に異なっていてよい。
【００９４】
「カメラ１０１の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。
【００９５】
「カメラ１０１が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ１０１が屋内に設置されている場合には、この属性の値を“０”に定め、カメラ１０１が屋外に設置されている場合には、この属性の値を“１”に定めればよい。
【００９６】
また、「カメラ１０１の撮影対象」という属性に関しては、例えば、カメラ１０１が車両を撮影するように設置されている場合（例えば、カメラ１０１が車道に向けて設置されている場合）、この属性の値を“０”に定める。また、カメラ１０１が歩行者を撮影するように設置されている場合（例えば、カメラ１０１が歩道に向けて設置されている場合）、この属性の値を“１”に定める。また、カメラ１０１が車両と歩行者の両方を撮影するように設置されている場合（例えば、カメラ１０１が車両と歩行者の両方が通る道に向けて設置されている場合）、この属性の値を“０．５”に定める。
【００９７】
「カメラ１０１の撮影対象の移動方向」という属性に関しては、カメラ１０１の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。
【００９８】
また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」等の値を属性データに含めてもよい。「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。
【００９９】
属性データ記憶部１１７は、管理者によって上記のように定められたベクトル（属性データ）を記憶するとともに、データ提供システム１００の識別情報や、カメラ１０１の設置場所の位置情報（例えば、緯度および経度）も記憶する。これらのベクトル（属性データ）、データ提供システム１００の識別情報、および、カメラ１０１の設置場所の位置情報は、予め、データ提供システム１００の管理者が、属性データ記憶部１１７に記憶させておけばよい。
【０１００】
属性データ送信部１１８は、属性データ記憶部１１７に記憶されているベクトル（属性データ）、データ提供システム１００の識別情報、および、カメラ１０１の設置場所の位置情報を、収集装置２００に送信する。
【０１０１】
指標値送信部１１６および属性データ送信部１１８は、例えば、データ提供プログラムに従って動作するコンピュータ１０２のＣＰＵおよびコンピュータ１０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からデータ提供プログラムを読み込み、データ提供プログラムに従って、通信インタフェースを用いて、指標値送信部１１６および属性データ送信部１１８として動作すればよい。属性データ記憶部１１７は、コンピュータ１０２が備える記憶装置によって実現される。
【０１０２】
図１３は、第２の実施形態における収集装置２００の構成例を示すブロック図である。図１０に示す構成要素と同様の構成要素に関しては、図１０と同一の符号を付し、説明を省略する。
【０１０３】
第２の実施形態における収集装置２００は、データ受信部２０１と、収集装置側データ記憶部２０２と、属性データ受信部２０３と、属性データ記憶部２０４と、指標値受信部２０５と、指標値記憶部２０６と、分類部２０７と、分類結果記憶部２０８と、ディスプレイ装置２０９と、マウス２１０と、アイコン表示部２１１と、選択部２１２と、データ要求部２１３とを備える。
【０１０４】
データ受信部２０１および収集装置側データ記憶部２０２は、第１の実施形態におけるデータ受信部２０１および収集装置側データ記憶部２０２（図１０参照）と同様であり説明を省略する。
【０１０５】
属性データ受信部２０３は、各データ提供システム１００の属性データ送信部１１８が送信したカメラ１０１の属性データ（ベクトル）と、データ提供システム１００の識別情報と、カメラ１０１の設置場所の位置情報とを受信し、受信した属性データと識別情報と位置情報とを対応付けて、属性データ記憶部２０４に記憶させる。
【０１０６】
属性データ記憶部２０４は、データ提供システム１００毎に、カメラ１０１の属性データと、データ提供システム１００の識別情報と、カメラ１０１の設置場所の位置情報とを対応付けて記憶する記憶装置である。
【０１０７】
指標値受信部２０５は、各データ提供システム１００の指標値送信部１１６がデータ提供システム１００の識別情報とともに送信した低信頼度の識別結果数や誤識別数を受信し、低信頼度の識別結果数や誤識別数をデータ提供システム１００の識別情報と対応付けて、指標値記憶部２０６に記憶させる。
【０１０８】
指標値記憶部２０６は、データ提供システム１００毎に、データ提供システム１００の識別情報と、低信頼度の識別結果数および誤識別数とを対応付けて記憶する記憶装置である。
【０１０９】
分類部２０７は、属性データ記憶部２０４に記憶されている各データ提供システム１００のカメラ１０１の属性データを用いて、各データ提供システム１００を複数のグループに分類する。より具体的には、分類部２０７は、各データ提供システム１００の識別情報を複数のグループに分類する。
【０１１０】
例えば、分類部２０７は、ベクトルで表される各属性データを用いて、ｋ-ｍｅａｎｓ法によって、各データ提供システム１００を複数のグループに分類すればよい。
【０１１１】
分類部２０７は、分類したグループ毎に、グループの識別情報と、そのグループに属する各データ提供システム１００の識別情報とを対応付けて、分類結果記憶部２０８に記憶させる。
【０１１２】
分類結果記憶部２０８は、グループ毎に、グループの識別情報と、そのグループに属する各データ提供システム１００の識別情報とを対応付けて記憶する記憶装置である。
【０１１３】
分類部２０７が属性データに基づいて各データ提供システム１００を複数のグループに分類し、分類結果を分類結果記憶部２０８に記憶させる処理は、前処理として予め実行される。
【０１１４】
マウス２１０は、収集装置２００のオペレータが収集装置２００に情報を入力するために用いる入力デバイスである。ただし、マウス２１０は、入力デバイスの例であり、入力デバイスは、マウス２１０に限定されない。
【０１１５】
アイコン表示部２１１は、分類結果記憶部２０８に記憶されているグループの識別情報と、そのグループに属する各データ提供システム１００の識別情報とに基づいて、グループ毎に異なる態様で（例えば、異なる色や模様で）、個々のデータ提供システムを表わすアイコンをそれぞれディスプレイ装置２０９上に表示する。
【０１１６】
図１４は、アイコン表示部２１１がディスプレイ装置２０９上に表示する画面の例を示す模式図である。アイコン表示部２１１は、予め保持している地図データが示す地図画像に、個々のデータ提供システム１００を表わすアイコン５１〜５５を重畳し、ディスプレイ装置２０９上に表示する。図１４では、５個のアイコン５１〜５５を図示しているが、表示されるアイコンの数は、データ提供システム１００の数に依存する。アイコン表示部２１１は、アイコンに対応するデータ提供システム１００のカメラ１０１の位置情報を属性データ記憶部２０４から読み込み、地図画像上で、カメラ１０１の位置情報が示す位置にアイコンを重畳する。
【０１１７】
図１４では、アイコン表示部２１１が、グループ毎に異なる模様で個々のアイコン５１〜５５を表示する。アイコンの模様が同じであるということは、そのアイコンが表わすデータ提供システム１００が同じグループに属していることを意味している。例えば、図１４に示す例では、アイコン５１，５４が示す各データ提供システム１００が同じグループに属し、アイコン５２，５３が示す各データ提供システム１００が同じグループに属し、アイコン５５が示すデータ提供システム１００が他の２つのグループとは異なるグループに属していることを示している。なお、アイコン表示部２１１は、グループ毎に異なる色で個々のアイコンを表示してもよい。
【０１１８】
また、アイコン表示部２１１は、各アイコンをディスプレイ装置２０９上に表示するとともに、各アイコンの近傍に、アイコンに対応するデータ提供システム１００から取得した「低信頼度の識別結果数」および「誤識別数」をディスプレイ装置２０９上に表示する。「低信頼度の識別結果数」および「誤識別数」の表示態様は、数値を直接表示する態様でなくてもよい。図１４では、「低信頼度の識別結果数」および「誤識別数」を横棒グラフで表示する場合を例示している。各アイコンに対応する横棒グラフにおいて、例えば、上側のバーが「低信頼度の識別結果数」を表し、下側のバーが「誤識別数」を表わしている。アイコン表示部２１１は、各データ提供システム１００の「低信頼度の識別結果数」および「誤識別数」を指標値記憶部２０６から読み込み、その値に基づいて、各バーの長さを決定すればよい。
【０１１９】
また、アイコン表示部２１１は、各横棒グラフをディスプレイ装置２０９上に表示するときに、「低信頼度の識別結果数」が予め定められた閾値以上になっている場合には、「低信頼度の識別結果数」を表わすバーを模様や色で強調して表示する。同様に、アイコン表示部２１１は、「誤識別数」が予め定められた閾値以上になっている場合には、「誤識別数」を表わすバーを模様や色で強調して表示する。
【０１２０】
また、アイコン表示部２１１は、地図画像にアイコン５１〜５５および各横棒グラフを重畳した画面をディスプレイ装置２０９上に表示するときに、ボタン５７も合わせて表示する（図１４参照）。ボタン５７がクリックされた場合の動作については後述する。
【０１２１】
データ要求部２１３は、収集装置２００のオペレータに指定されたデータ提供システム１００に対して、データの送信要求を送信する。本実施形態では、収集装置２００のオペレータは、ディスプレイ装置２０９上に表示されたデータ提供システム１００を表わすアイコン（図１４参照）をクリックすることによって、データの提供元となるデータ提供システム１００を指定する。すなわち、図１４に示す例では、データ要求部２１３は、アイコン５１〜５５のいずれかがオペレータによってクリックされた場合、クリックされたアイコンに対応するデータ提供システム１００に対して、データの送信要求を送信する。
【０１２２】
収集装置２００のオペレータは、アイコンの近傍に表示されている棒グラフ（すなわち、「低信頼度の識別結果数」および「誤識別数」）を参照して、指定するデータ提供システム１００を判断すればよい。
【０１２３】
なお、データ要求部２１３は、クリックされたアイコンに対応するデータ提供システム１００と同じグループに分類された各データ提供システム１００に対してそれぞれ、データの送信要求を送信してもよい。
【０１２４】
また、ボタン５７は、各グループからそれぞれ所定数のデータ提供システム１００を選択し、選択されたデータ提供システム１００に対してそれぞれ、データの送信要求を送信することを指示するためのボタンである。
【０１２５】
収集装置２００のオペレータによってボタン５７がクリックされた場合、選択部２１２は、分類結果記憶部２０８に記憶されている分類部２０７による分類結果を参照し、グループ毎に、それぞれ所定数のデータ提供システム１００を選択する。選択部２１２は、各グループからそれぞれ、任意に所定数のデータ提供システム１００を選択してもよい。あるいは、選択部２１２は、各グループからそれぞれ所定数のデータ提供システム１００を選択するときに、「低信頼度の識別結果数」および「誤識別数」に基づいて、選択するデータ提供システム１００を決定してもよい。なお、この所定数は、“１”であってもよく、あるいは、“２”以上であってもよい。また、あるグループに属するデータ提供システム１００の数が上記の所定数に満たない場合には、選択部２１２は、そのグループに関しては、グループに属する各データ提供システム１００を選択すればよい。
【０１２６】
ボタン５７がクリックされたことによって、選択部２１２がグループ毎に、それぞれ所定数のデータ提供システム１００を選択した場合、データ要求部２１３は、選択部２１２が選択した各データ提供システム１００に対してそれぞれ、データの送信要求を送信する。
【０１２７】
データ要求部２１３からの送信要求を受信したデータ提供システム１００のデータ送信部１１３は、送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
【０１２８】
収集装置２００のデータ受信部２０１は、データ提供システム１００のデータ送信部１１３が送信した画像とラベルと座標との各組を受信すると、受信したデータを収集装置側データ記憶部２０２に記憶させる。この点は、第１の実施形態と同様である。
【０１２９】
データ受信部２０１、属性データ受信部２０３、指標値受信部２０５およびデータ要求部２１３は、例えば、収集装置用プログラムに従って動作するコンピュータのＣＰＵおよびそのコンピュータの通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から収集装置用プログラムを読み込み、収集装置用プログラムに従って、通信インタフェースを用いて、データ受信部２０１、属性データ受信部２０３、指標値受信部２０５およびデータ要求部２１３として動作すればよい。また、分類部２０７、アイコン表示部２１１および選択部２１２も、例えば、収集装置用プログラムに従って動作するコンピュータのＣＰＵによって実現される。すなわち、上記のように、収集装置用プログラムを読み込んだＣＰＵが、収集装置用プログラムに従って、分類部２０７、アイコン表示部２１１および選択部２１２として動作すればよい。収集装置側データ記憶部２０２、属性データ記憶部２０４、指標値記憶部２０６および分類結果記憶部２０８は、コンピュータが備える記憶装置によって実現される。
【０１３０】
次に、第２の実施形態の処理経過について説明する。図１５は、第２の実施形態における収集装置２００の処理経過の例を示すフローチャートである。なお、既に説明した事項に関しては、詳細な説明を省略する。
【０１３１】
なお、予め、個々のデータ提供システム１００はそれぞれ、収集装置２００に送信するデータ（画像とラベルと座標との組の集合）を決定しているものとする。データ提供システム１００が収集装置２００に送信するデータを決定する動作は、第１の実施形態と同様であり、説明を省略する。
【０１３２】
また、個々のデータ提供システム１００の属性データ送信部１１８はそれぞれ、カメラ１０１の属性データ、データ提供システム１００の識別情報およびカメラ１０１の設置場所の位置情報を収集装置２００に送信しているものとする。そして、収集装置２００の属性データ受信部２０３は、各データ提供システム１００からそれらのデータを受信し、受信したデータを属性データ記憶部２０４に記憶させているものとする。さらに、分類部２０７が、各データ提供システム１００のカメラ１０１の属性データを用いて、各データ提供システム１００を複数のグループに分類し、その分類結果を、分類結果記憶部２０８に記憶させているものとする。すなわち、各データ提供システム１００は、属性データに基づいて、予め、複数のグループに分類されているものとする。
【０１３３】
また、個々のデータ提供システム１００の属性データ送信部１１８はそれぞれ、低信頼度の識別結果数、および、誤認数を、データ提供システム１００の識別情報とともに、収集装置２００に送信しているものとする。そして、収集装置２００の指標値受信部２０５は、各データ提供システム１００からそれらのデータを受信し、受信したデータを指標値記憶部２０６に記憶させているものとする。
【０１３４】
まず、アイコン表示部２１１は、予め保持している地図データが示す地図画像に、個々のデータ提供システム１００を表わすアイコンを重畳し、ディスプレイ装置２０９上に表示する（ステップＳ１１）。ステップＳ１１において、アイコン表示部２１１は、各アイコンの近傍に、アイコンに対応するデータ提供システム１００から取得した「低信頼度の識別結果数」および「誤識別数」をディスプレイ装置２０９上に表示する。アイコン表示部２１１は、「低信頼度の識別結果数」および「誤識別数」を、例えば、横棒グラフで表示してもよい（図１４参照）。ただし、「低信頼度の識別結果数」および「誤識別数」の表示形式は、横棒グラフに限定されない。また、ステップＳ１１において、アイコン表示部２１１は、前述のボタン５７も、各アイコンおよび各横棒グラフ等とともに、ディスプレイ装置２０９上に表示する。ステップＳ１１では、図１４に例示する画面が表示される。
【０１３５】
ステップＳ１１の後、選択部２１２は、ボタン５７（図１４参照）がオペレータによってクリックされたか否かを判定する（ステップＳ１２）。ボタン５７がクリックされていない場合（ステップＳ１２のＮｏ）、データ要求部２１３は、データ提供システム１００を表わす各アイコンのうちのいずれかのアイコンがオペレータによってクリックされたか否かを判定する（ステップＳ１６）。
【０１３６】
ボタン５７がクリックされておらず、また、データ提供システム１００を表わすいずれのアイコンもクリックされていない場合（ステップＳ１６のＮｏ）、ステップＳ１２以降の処理を繰り返す。
【０１３７】
また、この間に、いずれかのデータ提供システム１００の指標値集計部１１４（図１２参照）が低信頼度の識別結果数や誤識別数の値を更新した場合、そのデータ提供システム１００の指標値送信部１１６は、更新後の低信頼度の識別結果数や、更新後の誤識別数を、データ提供システム１００の識別情報とともに、収集装置２００に送信する。この場合、収集装置２００の指標値受信部２０５（図１３参照）は、指標値送信部１１６が送信したデータを受信する。そして、指標値受信部２０５は、指標値記憶部２０６に記憶されている、上記のデータ提供システム１００に対応する低信頼度の識別結果数や誤識別数を、受信した低信頼度の識別結果数や誤識別数で更新する。さらに、アイコン表示部２１１は、更新後の低信頼度の識別結果数や、更新後の誤識別数に基づいて、ディスプレイ装置２０９上に表示している横棒グラフを更新する。
【０１３８】
ボタン５７がクリックされた場合（ステップＳ１２のＹｅｓ）、選択部２１２は、各グループからそれぞれ、所定数のデータ提供システム１００を選択する（ステップＳ１３）。
【０１３９】
次に、データ要求部２１３は、ステップＳ１３で選択された各データ提供システム１００に対してそれぞれ、データの送信要求を送信する（ステップＳ１４）。
【０１４０】
データ要求部２１３からの送信要求を受信したデータ提供システム１００のデータ送信部１１３（図１２参照）は、送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
【０１４１】
収集装置２００のデータ受信部２０１（図１３参照）は、送信要求の送信先となった各データ提供システム１００が上記のように送信したデータを受信し、受信したデータを収集装置側データ記憶部２０２に記憶させる（ステップＳ１５）。
【０１４２】
ステップＳ１５の後、例えば、ステップＳ１２以降の処理を繰り返す。あるいは、ステップＳ１５の後、処理を終了してもよい。
【０１４３】
また、データ提供システム１００を表わす各アイコンのうちのいずれかのアイコンがクリックされた場合（ステップＳ１６のＹｅｓ）、データ要求部２１３は、クリックされたアイコンに対応するデータ提供システム１００に対して、データの送信要求を送信する（ステップＳ１７）。
【０１４４】
データ要求部２１３からの送信要求を受信したデータ提供システム１００のデータ送信部１１３（図１２参照）は、送信要求を受信したタイミングで、その時点までに得られている、送信対象データであると決定された画像とラベルと座標との各組を、収集装置２００に送信する。
【０１４５】
収集装置２００のデータ受信部２０１（図１３参照）は、送信要求の送信先となったデータ提供システム１００が上記のように送信したデータを受信し、受信したデータを収集装置側データ記憶部２０２に記憶させる（ステップＳ１８）。
【０１４６】
ステップＳ１８の後、例えば、ステップＳ１２以降の処理を繰り返す。あるいは、ステップＳ１８の後、処理を終了してもよい。
【０１４７】
第２の実施形態においても、第１の実施形態と同様に、識別精度の高いモデルの生成に寄与することができるデータを収集装置２００が容易に収集することができる。
【０１４８】
また、第２の実施形態では、ボタン５７がクリックされた場合、選択部２１２は、各グループからそれぞれ、所定数のデータ提供システム１００を選択する。そして、データ要求部２１３は、選択部２１２によって選択された各データ提供システム１００に対してそれぞれ、データの送信要求を送信する。従って、収集装置２００のデータ受信部２０１は、各グループのデータ提供システム１００からそれぞれ、識別精度の高いモデルの生成に寄与することができるデータを受信することができる。グループが異なるということは、カメラ１０１の属性が異なっているということである。従って、収集装置２００は、各グループのデータ提供システム１００からそれぞれデータを収集できることにより、多様なデータを収集し、収集装置側データ記憶部２０２に蓄積することができる。従って、収集装置側データ記憶部２０２に蓄積されたデータを教師データとしてディープラーニングを行うことによって、カメラ１０１の属性に依存せずに、画像に対して高い精度で識別処理を行える、汎用性の高いモデルを生成することができる。
【０１４９】
第１の実施形態や第２の実施形態において、各データ提供システム１００から収集され収集装置側データ記憶部２０２に蓄積されたデータを教師データとしてディープラーニングを行うことによって、様々な画像に対して高い精度で識別処理を実現することができるモデルが得られる。また、このモデルは、新たに設けられるデータ提供システム１００で用いるモデルの生成に利用することができる。
【０１５０】
また、上記の各実施形態では、データ提供システム１００が、送信対象データ決定部１１１によって送信対象データであると決定された画像と、その画像に対応付けられるラベルと、座標（オペレータに指定された矩形領域を表わす座標）とを収集装置２００に送信する場合を説明した。データ送信部１１３は、これらのデータの代わりに、あるいは、これらのデータとともに、モデル記憶部１０４に記憶されているモデルを、収集装置２００に送信してもよい。また、データ送信部１１３は、モデルを生成する際に得られる特徴量を、収集装置２００に送信してもよい。モデルを生成する際に得られる特徴量とは、学習部１０３がディープラーニングによってモデルを生成する過程で生成する中間データである。学習部１０３は、モデルが学習する際に、上記の特徴量もモデル記憶部１０４に記憶させておけばよい。この場合、収集装置２００の収集装置側データ記憶部２０２には、各データ提供システム１００のモデル、または、特徴量が蓄積される。このようなモデルまたは特徴量からも、様々な画像に対して高い精度で識別処理を実現することができるモデルを生成することができる。
【０１５１】
また、上記の各実施形態では、データ収集部１０１がカメラであり、カメラが画像を収集する場合を例にして説明した。データ収集部１０１はカメラに限定されない。例えば、データ収集部１０１がマイクロホンであり、マイクロホンが音声データを収集してもよい。この場合、ラベル受付部１１０が図５、図６、図８に例示する画面をディスプレイ装置１０９上に表示する場合、画像３０１を表示する代わりに、音声データに基づく音声をスピーカ（図示略）から出力すればよい。
【０１５２】
図１６は、本発明の各実施形態におけるデータ提供システム１００が備えるコンピュータ１０２の構成例を示す概略ブロック図である。図１６では、コンピュータを符号“１０００”で表す。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６と、通信インタフェース１００７と、データ収集部１０１（例えば、カメラ）とのインタフェース１００８とを備える。
【０１５３】
データ提供システム１００が備えるコンピュータの動作は、データ提供プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、そのデータ提供プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開する。そして、ＣＰＵ１００１は、そのデータ提供プログラムに従って、各実施形態で示したコンピュータ１０２（図２、図１２を参照）の処理を実行する。
【０１５４】
補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。
【０１５５】
また、プログラムは、各実施形態で示したコンピュータ１０２の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
【０１５６】
また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０１５７】
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１５８】
また、各実施形態で示した収集装置２００は、図１６に例示するコンピュータ１０００と同様のコンピュータに実装される。ただし、収集装置２００が実装されるコンピュータには、データ収集部１０１とのインタフェース１００８は設けられていなくてよい。この場合、収集装置２００の動作は、収集装置用プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、その収集装置用プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、その収集装置用プログラムに従って、各実施形態で示した収集装置２００の処理を実行する。
【０１５９】
なお、ここでは、データ提供システム１００が備えるコンピュータ１０２の構成に関しても、収集装置２００の構成に関しても、図１６を参照して説明したが、各データ提供システム１００が備える各コンピュータ１０２、および、収集装置２００は、それぞれ、別々のコンピュータである。
【０１６０】
次に、本発明の概要について説明する。図１７は、本発明のデータ提供システムの概要の例を示すブロック図である。本発明のデータ提供システムは、識別手段７１と、決定手段７２と、データ送信手段７３とを備える。
【０１６１】
識別手段７１（例えば、識別部１０６）は、機械学習によって学習されたモデルにデータ（例えば、画像）を適用することによって、データが表わす物体を識別する。
【０１６２】
決定手段７２（例えば、送信対象データ決定部１１１）は、データをモデルに適用した結果に基づいて、データが所定のコンピュータ（例えば、収集装置２００）に送信すべき送信対象データであるか否かを決定する。
【０１６３】
データ送信手段７３（例えば、データ送信部１１３）は、送信対象データであると決定されたデータを、所定のタイミングで所定のコンピュータに送信する。
【０１６４】
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
【０１６５】
図１８は、本発明のデータ提供システムの概要の他の例を示すブロック図である。図１８に示すデータ提供システムは、識別手段７１と、決定手段７２と、データ送信手段７３と、表示制御手段７４とを備える。識別手段７１および決定手段７２は、図１７に示す識別手段７１および決定手段７２と同様であり、説明を省略する。
【０１６６】
表示制御手段７４（例えば、表示制御部１１５）は、モデルの識別精度を表す指標値（例えば、低信頼度の識別結果数や誤識別数）とともに、データの送信指示を入力するためのボタン（例えば、図９に例示する送信指示ボタン４１）を表示する。
【０１６７】
データ送信手段７３（例えば、データ送信部１１３）は、オペレータによってそのボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータ（例えば、収集装置２００）に送信する。
【０１６８】
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
【０１６９】
図１９は、本発明のデータ収集システムの概要の例を示すブロック図である。本発明のデータ収集システムは、複数のデータ提供システム７５（例えば、データ提供システム１００）と、複数のデータ提供システム７５からデータを収集する収集装置８０（例えば、収集装置２００）とを備える。
【０１７０】
個々のデータ提供システム７５は、データ収集手段７０と、識別手段７１と、決定手段７２と、データ送信手段７３とを備える。
【０１７１】
データ収集手段７０（例えば、カメラ）は、設置場所におけるデータ（例えば、画像）を収集する。
【０１７２】
識別手段７１（例えば、識別部１０６）は、データ収集手段７０によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、データが表わす物体を識別する。
【０１７３】
決定手段７２（例えば、送信対象データ決定部１１１）は、データをモデルに適用した結果に基づいて、データが収集装置８０（例えば、収集装置２００）に送信すべき送信対象データであるか否かを決定する。
【０１７４】
データ送信手段７３（例えば、データ送信部１１３）は、送信対象データであると決定されたデータを収集装置８０に送信する。
【０１７５】
収集装置８０は、分類手段８１と、選択手段８２と、データ要求手段８３とを備える。
【０１７６】
分類手段８１（例えば、分類部２０７）は、個々のデータ提供システムのデータ収集手段７０の属性に基づいて、各データ提供システム７５を複数のグループに分類する。
【０１７７】
選択手段８２（例えば、選択部２１２）は、収集装置８０のオペレータが所定の操作を行った場合に、各グループからデータ提供システム７５を選択する。
【０１７８】
データ要求手段８３（例えば、データ要求部２１３）は、選択手段８２によって選択されたそれぞれのデータ提供システム７５に対して、データの送信要求を送信する。
【０１７９】
個々のデータ提供システム７５のデータ送信手段７３は、収集装置８０から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置８０に送信する。
【０１８０】
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
【０１８１】
図２０は、本発明のデータ収集システムの概要の他の例を示すブロック図である。図２０に示すデータ収集システムは、複数のデータ提供システム７５（例えば、データ提供システム１００）と、複数のデータ提供システム７５からデータを収集する収集装置８０（例えば、収集装置２００）とを備える。
【０１８２】
個々のデータ提供システム７５は、データ収集手段７０と、識別手段７１と、決定手段７２と、データ送信手段７３と、指標値送信手段７７とを備える。データ収集手段７０、識別手段７１、決定手段７２およびデータ送信手段７３は、図１９に示すデータ収集手段７０、識別手段７１、決定手段７２およびデータ送信手段７３と同様であり、説明を省略する。
【０１８３】
指標値送信手段７７(例えば、指標値送信部１１６）は、モデルの識別精度を表す指標値（例えば、低信頼度の識別結果数や誤識別数）を収集装置８０に送信する。
【０１８４】
収集装置８０は、分類手段８１と、アイコン表示手段８４と、データ要求手段８３とを備える。分類手段８１は、図１９に示す分類手段８１と同様であり、説明を省略する。
【０１８５】
アイコン表示手段８４（例えば、アイコン表示部２１１）は、グループ毎に異なる態様で、個々のデータ提供システム７５を表すアイコン（例えば、図１４に例示するアイコン５１〜５５）をそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システム７５から受信した指標値を表示する。
【０１８６】
データ要求手段８３（データ要求部２１３）は、収集装置８０のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システム７５に対して、データの送信要求を送信する。
【０１８７】
個々のデータ提供システム７５のデータ送信手段７３は、収集装置８０から送信要求を受信したタイミングで、送信対象データであると決定された各データを収集装置８０に送信する。
【０１８８】
そのような構成により、識別精度の高いモデルの生成に寄与することができるデータを容易に収集できる。
【０１８９】
上記の本発明の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【０１９０】
（付記１）
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信手段とを備える
ことを特徴とするデータ提供システム。
【０１９１】
（付記２）
識別手段は、物体の識別結果と、前記識別結果の信頼度を導出し、
決定手段は、前記信頼度が予め定められた閾値以下である場合に、前記データが送信対象データであると決定する
付記１に記載のデータ提供システム。
【０１９２】
（付記３）
決定手段は、他のデータ提供システムに、データと、前記データに対する物体の識別結果を送信することを要求する信号とを送信し、識別手段が識別した結果と、前記他のデータ提供システムから送り返された識別結果とが異なっている場合に、前記データが送信対象データであると決定する
付記１または付記２に記載のデータ提供システム。
【０１９３】
（付記４）
決定手段は、データと、識別手段が識別した結果とをオペレータに提示し、前記オペレータから、前記データが送信対象データである旨の情報が入力された場合に、前記データが送信対象データであると決定する
付記１から付記３のうちのいずれかに記載のデータ提供システム。
【０１９４】
（付記５）
データ送信手段は、送信対象データであると決定された各データの容量が予め定められた容量以上になったタイミングで、前記各データを所定のコンピュータに送信する
付記１から付記４のうちのいずれかに記載のデータ提供システム。
【０１９５】
（付記６）
データ送信手段は、予め定められた時刻に、送信対象データであると決定された各データを所定のコンピュータに送信する
付記１から付記５のうちのいずれかに記載のデータ提供システム。
【０１９６】
（付記７）
データ送信手段は、一定期間毎に得られる誤識別率が予め定められた閾値以上となったタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
付記１から付記６のうちのいずれかに記載のデータ提供システム。
【０１９７】
（付記８）
データ送信手段は、オペレータから、送信対象データであると決定された各データを送信する旨の指示を受け付けたタイミングで、前記各データを所定のコンピュータに送信する
付記１から付記７のうちのいずれかに記載のデータ提供システム。
【０１９８】
（付記９）
モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段を備え、
データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
付記１から付記８のうちのいずれかに記載のデータ提供システム。
【０１９９】
（付記１０）
データ送信手段は、所定のコンピュータからデータの送信要求を受信したタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
付記１から付記９のうちのいずれかに記載のデータ提供システム。
【０２００】
（付記１１）
データは、画像であり、
識別手段は、画像に含まれる物体を識別する
付記１から付記１０のうちのいずれかに記載のデータ提供システム。
【０２０１】
（付記１２）
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記所定のコンピュータに送信するデータ送信手段と、
モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段とを備え、
前記データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
ことを特徴とするデータ提供システム。
【０２０２】
（付記１３）
複数のデータ提供システムと、
前記複数のデータ提供システムからデータを収集する収集装置とを備え、
個々のデータ提供システムは、
設置場所におけるデータを収集するデータ収集手段と、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段とを備え、
前記収集装置は、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択する選択手段と、
前記選択手段によって選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
ことを特徴とするデータ収集システム。
【０２０３】
（付記１４）
個々のデータ提供システムは、
モデルの識別精度を表す指標値を収集装置に送信する指標値送信手段を備え、
収集装置は、
グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段とを備え、
データ要求手段は、当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信する
付記１３に記載のデータ収集システム。
【０２０４】
（付記１５）
複数のデータ提供システムと、
前記複数のデータ提供システムからデータを収集する収集装置とを備え、
個々のデータ提供システムは、
設置場所におけるデータを収集するデータ収集手段と、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを前記収集装置に送信するデータ送信手段と、
前記モデルの識別精度を表す指標値を前記収集装置に送信する指標値送信手段を備え、
前記収集装置は、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類する分類手段と、
グループ毎に異なる態様で、個々のデータ提供システムを表すアイコンをそれぞれ表示するとともに、個々のアイコンの近傍にアイコンが表わすデータ提供システムから受信した前記指標値を表示するアイコン表示手段と、
当該収集装置のオペレータによってアイコンがクリックされた場合に、クリックされたアイコンが表わすデータ提供システムに対して、データの送信要求を送信するデータ要求手段とを備え、
個々のデータ提供システムのデータ送信手段は、前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定された各データを前記収集装置に送信する
ことを特徴とするデータ収集システム。
【０２０５】
（付記１６）
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別し、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定し、
送信対象データであると決定したデータを、所定のタイミングで前記所定のコンピュータに送信する
ことを特徴とするデータ提供方法。
【０２０６】
（付記１７）
設置場所におけるデータを収集するデータ収集手段を備えた複数のデータ提供システムと、前記複数のデータ提供システムからデータを収集する収集装置とを備えるデータ収集システムに適用されるデータ収集方法であって、
個々のデータ提供システムが、
前記データ収集手段によって収集されたデータを、機械学習によって学習されたモデルに適用することによって、前記データが表わす物体を識別し、
前記データを前記モデルに適用した結果に基づいて、前記データが前記収集装置に送信すべき送信対象データであるか否かを決定し、
前記収集装置が、
個々のデータ提供システムのデータ収集手段の属性に基づいて、各データ提供システムを複数のグループに分類し、
当該収集装置のオペレータが所定の操作を行った場合に、各グループからデータ提供システムを選択し、
選択されたそれぞれのデータ提供システムに対して、データの送信要求を送信し、
個々のデータ提供システムが、
前記収集装置から前記送信要求を受信したタイミングで、送信対象データであると決定した各データを前記収集装置に送信する
ことを特徴とするデータ収集方法。
【０２０７】
（付記１８）
コンピュータに、
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別処理、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定処理、および、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信処理
を実行させるためのデータ提供プログラム。
【０２０８】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用の可能性】
【０２０９】
本発明は、教師データとなるデータの収集に好適に適用される。
【符号の説明】
【０２１０】
１００  データ提供システム
１０１  データ収集部
１０２  コンピュータ
１０３  学習部
１０４  モデル記憶部
１０５  データ取得部
１０６  識別部
１０７  キーボード
１０８  マウス
１０９  ディスプレイ装置
１１０  ラベル受付部
１１１  送信対象データ決定部
１１２  データ記憶部
１１３  データ送信部
１１４  指標値集計部
１１５  表示制御部
１１６  指標値送信部
１１７  属性データ記憶部
１１８  属性データ送信部
２００  収集装置
２０１  データ受信部
２０２  収集装置側データ記憶部
２０３  属性データ受信部
２０４  属性データ記憶部
２０５  指標値受信部
２０６  指標値記憶部
２０７  分類部
２０８  分類結果記憶部
２０９  ディスプレイ装置
２１０  マウス
２１１  アイコン表示部
２１２  選択部
２１３  データ要求部
【図１】
2019215778.tif 000003
【図２】
2019215778.tif 000004
【図３】
2019215778.tif 000005
【図４】
2019215778.tif 000006
【図５】
2019215778.tif 000007
【図６】
2019215778.tif 000008
【図７】
2019215778.tif 000009
【図８】
2019215778.tif 000010
【図９】
2019215778.tif 000011
【図１０】
2019215778.tif 000012
【図１１】
2019215778.tif 000013
【図１２】
2019215778.tif 000014
【図１３】
2019215778.tif 000015
【図１４】
2019215778.tif 000016
【図１５】
2019215778.tif 000017
【図１６】
2019215778.tif 000018
【図１７】
2019215778.tif 000019
【図１８】
2019215778.tif 000020
【図１９】
2019215778.tif 000021
【図２０】
2019215778.tif 000022
【手続補正書】
【提出日】令和2年10月27日(2020.10.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別手段と、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定手段と、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信手段とを備える
ことを特徴とするデータ提供システム。
【請求項２】
識別手段は、物体の識別結果と、前記識別結果の信頼度を導出し、
決定手段は、前記信頼度が予め定められた閾値以下である場合に、前記データが送信対象データであると決定する
請求項１に記載のデータ提供システム。
【請求項３】
決定手段は、他のデータ提供システムに、データと、前記データに対する物体の識別結果を送信することを要求する信号とを送信し、識別手段が識別した結果と、前記他のデータ提供システムから送り返された識別結果とが異なっている場合に、前記データが送信対象データであると決定する
請求項１または請求項２に記載のデータ提供システム。
【請求項４】
決定手段は、データと、識別手段が識別した結果とをオペレータに提示し、前記オペレータから、前記データが送信対象データである旨の情報が入力された場合に、前記データが送信対象データであると決定する
請求項１から請求項３のうちのいずれか１項に記載のデータ提供システム。
【請求項５】
データ送信手段は、送信対象データであると決定された各データの容量が予め定められた容量以上になったタイミングで、前記各データを所定のコンピュータに送信する
請求項１から請求項４のうちのいずれか１項に記載のデータ提供システム。
【請求項６】
データ送信手段は、予め定められた時刻に、送信対象データであると決定された各データを所定のコンピュータに送信する
請求項１から請求項５のうちのいずれか１項に記載のデータ提供システム。
【請求項７】
データ送信手段は、一定期間毎に得られる誤識別率が予め定められた閾値以上となったタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
請求項１から請求項６のうちのいずれか１項に記載のデータ提供システム。
【請求項８】
データ送信手段は、オペレータから、送信対象データであると決定された各データを送信する旨の指示を受け付けたタイミングで、前記各データを所定のコンピュータに送信する
請求項１から請求項７のうちのいずれか１項に記載のデータ提供システム。
【請求項９】
モデルの識別精度を表す指標値とともに、データの送信指示を入力するためのボタンを表示する表示制御手段を備え、
データ送信手段は、オペレータによって前記ボタンがクリックされたタイミングで、送信対象データであると決定された各データを所定のコンピュータに送信する
請求項１から請求項８のうちのいずれか１項に記載のデータ提供システム。
【請求項１０】
データ送信手段は、所定のコンピュータからデータの送信要求を受信したタイミングで、送信対象データであると決定された各データを前記所定のコンピュータに送信する
請求項１から請求項９のうちのいずれか１項に記載のデータ提供システム。
【請求項１１】
データは、画像であり、
識別手段は、画像に含まれる物体を識別する
請求項１から請求項１０のうちのいずれか１項に記載のデータ提供システム。
【請求項１２】
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別し、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定し、
送信対象データであると決定したデータを、所定のタイミングで前記所定のコンピュータに送信する
ことを特徴とするデータ提供方法。
【請求項１３】
コンピュータに、
機械学習によって学習されたモデルにデータを適用することによって、前記データが表わす物体を識別する識別処理、
前記データを前記モデルに適用した結果に基づいて、前記データが所定のコンピュータに送信すべき送信対象データであるか否かを決定する決定処理、および、
送信対象データであると決定されたデータを、所定のタイミングで前記所定のコンピュータに送信するデータ送信処理
を実行させるためのデータ提供プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【国際調査報告】
2019215778.tif 000023
2019215778.tif 000024