【手続補正書】
【提出日】令和2年1月23日(2020.1.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本開示の一実施形態によれば、センサからシーンの１組の画像を受信するための入力インターフェースを備える能動学習システムが開示される。例えば、センサ（複数の場合もある）は、１組の画像を含む、シーンからのデータを取得する、ビデオカメラ又はカメラ等のデバイスとすることができる。また、データは、温度等の環境条件等の環境データを含むことができる。さらに、メモリを利用して、画像内の物体を検出するためにトレーニングされる物体検出器を含む能動学習データを記憶することができる。入力インターフェース及びメモリと通信するプロセッサ（複数の場合もある）は、物体検出器を用いて、１組の画像から選択された画像内の少なくとも１つの物体の意味クラス及び場所を検出し、画像内の物体の意味クラス（分類）についての物体検出器の不確実度及び画像内の物体の場所（位置特定）についての物体検出器の不確実度との組み合わせとして検出指標を生成するように構成することができる。最終的に、能動学習システムは、検出指標が閾値を超えると、プロセッサと通信する出力インターフェース、すなわち、ディスプレイタイプデバイスを用いて、人間がラベル付けするための画像を表示する。ここで、物体の場所についての物体検出器の不確実度は、物体の周りの境界ボックスの安定度の関数である。プロセッサは、雑音で変更された画像内の物体を検出し、画像に関して確定された境界ボックスと、雑音で変更された画像に関して確定された境界ボックスとの間の差に基づいて、境界ボックスの安定度を決定する。検出指標は、境界ボックス内の物体の意味クラスについてのニューラルネットワークの不確実度の加重和であり、境界ボックスの安定度は、境界ボックスが雑音下でいかに影響を受けやすいかに基づき、異なる程度の雑音下で物体の境界ボックスの場所及び大きさが近似し得る場合には、この境界ボックスは安定している。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
センサからシーンの１組の画像を受信する入力インターフェースと、
画像内の物体を検出するためにトレーニングされる物体検出器を含む能動学習データを記憶するメモリと、
前記入力インターフェース及び前記メモリと通信するプロセッサであって、
前記物体検出器を用いて前記１組の画像から選択される画像内の少なくとも１つの物体の意味クラス及び場所を検出し、前記画像内の前記物体の前記意味クラスについての前記物体検出器の不確実度と、前記画像内の前記物体の前記場所についての前記物体検出器の不確実度との組み合わせとして検出指標を生成するように構成される、プロセッサと、
前記プロセッサと通信し、前記検出指標が閾値を超えると、人間がラベル付けするための前記画像を表示する出力インターフェースと、
を備え、
前記物体の前記場所についての前記物体検出器の前記不確実度は、前記物体の周りの境界ボックスの安定度の関数であり、
前記プロセッサは、雑音で変更された前記画像内の前記物体を検出し、前記画像に関して確定された前記境界ボックスと、雑音で変更された前記画像に関して確定された前記境界ボックスとの間の差に基づいて、前記境界ボックスの前記安定度を決定し、
前記検出指標は、前記境界ボックス内の前記物体の前記意味クラスについてのニューラルネットワークの前記不確実度の加重和であり、前記境界ボックスの前記安定度は、前記境界ボックスが雑音下でいかに影響を受けやすいかに基づき、異なる程度の雑音下で物体の境界ボックスの前記場所及び大きさが近似し得る場合には、この境界ボックスは安定している、能動学習システム。
【請求項２】
前記画像内の前記物体の前記場所についての前記物体検出器の前記不確実度は更に、前記物体の周りの境界ボックスの合致度の関数であり、
前記物体の周りの前記境界ボックスの前記合致度の前記関数は、初期境界ボックス及び最終境界ボックスの共通部分と、前記初期境界ボックス及び前記最終境界ボックスの和集合との比を用いて確定され、
前記初期境界ボックスはユーザによって指定される、請求項１に記載の能動学習システム。
【請求項３】
前記検出指標は、前記物体の前記意味クラスについての前記物体検出器の確実度と、前記物体の前記場所の合致度の前記物体検出器の確実度との間の不一致度に比例する、請求項２に記載の能動学習システム。
【請求項４】
前記出力インターフェースは表示デバイスである、請求項１に記載の能動学習システム。
【請求項５】
メモリ、出力インターフェース及びプロセッサを備える能動学習システムにおける能動学習法であって、前記メモリは、画像内の物体を検出するためにトレーニングされる物体検出器を含む能動学習データを記憶している記憶デバイスを含み、前記能動学習法は、
前記メモリによって、入力インターフェースを介してセンサからシーンの画像の複数の組を含む撮像データを受信することと、
前記プロセッサを前記メモリ、前記入力インターフェース及び前記出力インターフェースに接続することと、
前記プロセッサによって、前記物体検出器を用いて検出指標を生成するための命令を実行することと、
を含み、前記物体検出器は、
前記物体検出器を用いて前記画像の複数の組のうちの少なくとも１組の画像から選択される画像内の少なくとも１つの物体の意味クラス及び場所を検出し、前記画像内の前記物体の前記意味クラスについての前記物体検出器の不確実度と、前記画像内の前記物体の前記場所についての前記物体検出器の不確実度との組み合わせとして検出指標を生成するステップと、
前記検出指標が閾値を超えると、人間がラベル付けするための前記画像を撮像デバイス上に表示するために、前記出力インターフェースを用いて、前記撮像デバイスに接続される撮像インターフェースに前記画像を出力するステップと、
を実行し、
前記物体の前記場所についての前記物体検出器の前記不確実度は前記物体の周りの境界ボックスの安定度の関数であり、
前記プロセッサは、雑音で変更された前記画像内の前記物体を検出し、前記画像に関して確定された前記境界ボックスと、雑音で変更された前記画像に関して確定された前記境界ボックスとの間の差に基づいて、前記境界ボックスの前記安定度を確定し、
前記検出指標は、前記境界ボックス内の前記物体の前記意味クラスについてのニューラルネットワークの前記不確実度の加重和であり、前記境界ボックスの前記安定度は、前記境界ボックスが雑音下でいかに影響を受けやすいかに基づき、異なる程度の雑音下で物体の境界ボックスの前記場所及び大きさが近似し得る場合には、この境界ボックスは安定している、能動学習法。
【請求項６】
前記画像内の前記物体の前記場所についての前記物体検出器の前記不確実度は更に、前記物体の周りの境界ボックスの合致度の関数であり、
前記物体の周りの前記境界ボックスの前記合致度の前記関数は、初期境界ボックス及び最終境界ボックスの共通部分と、前記初期境界ボックス及び前記最終境界ボックスの和集合との比を用いて確定され、
前記初期境界ボックスはユーザによって指定される、請求項５に記載の能動学習法。
【請求項７】
前記検出指標は、前記物体の前記意味クラスについての前記物体検出器の確実度と、前記物体の前記場所の前記合致度についての前記物体検出器の確実度との間の不一致度に比例する、請求項６に記載の能動学習法。
【請求項８】
前記メモリ内に前記撮像データを記憶することを更に含み、
前記少なくとも１つの物体は雑音で変更された画像内で検出され、
前記プロセッサは、前記出力インターフェース及び前記撮像デバイスと通信する、請求項５〜７のいずれか一項に記載の能動学習法。