(57)【要約】【課題】学習サーバ、学習システム、及び追加学習プログラムにおいて、住民等の利用者が、ゴミの名前を知らなくても、ゴミの分別区分を調べることを可能にし、しかも、ゴミの分別を行うために必要なコストを抑制する。【解決手段】学習サーバ１は、利用者スマホ２から受信したゴミ毎の認識結果情報２０ｂに基づいて、アノテータに振り分けるゴミ画像を選択し、選択したゴミ画像を含むアノテーション用データを、アノテータスマホ３に送信する。そして、学習サーバ１は、アノテータスマホ３から受信したゴミ画像とアノテーションデータに基づいて、サーバ側物体検出用ニューラルネットワークの追加の機械学習を行い（Ｓ１４）、追加の機械学習後のゴミ画像物体検出ＮＮ１８を、利用者スマホ２側の更新用のゴミ画像物体検出ＮＮとして、利用者スマホ２に送信するようにした。【選択図】図３
2020064564.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部を有する利用者情報端末から、前記カメラ部により撮影されたゴミの画像であるゴミ画像と、このゴミ画像に映った各ゴミを、前記利用者情報端末側の物体検出用ニューラルネットワークで物体検出した結果の情報であるゴミ毎のゴミ認識結果情報とを、受信するゴミ認識情報受信部と、
前記ゴミ認識情報受信部で受信した前記ゴミ画像と前記ゴミ毎のゴミ認識結果情報とを記憶するゴミ認識情報記憶部と、
前記ゴミ認識情報記憶部に記憶された前記ゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択するゴミ画像選択部と、
前記ゴミ画像選択部により選択されたゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータ側情報端末に送信するアノテーション用データ送信部と、
前記アノテータ側情報端末から、前記アノテーション用データに含まれる前記ゴミ画像と、このゴミ画像に映った各ゴミに前記アノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとを、受信するアノテーションデータ受信部と、
前記アノテーションデータ受信部で受信した前記ゴミ画像と前記アノテーションデータとに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習部と、
前記学習部による追加の機械学習後の前記サーバ側物体検出用ニューラルネットワークを、前記利用者情報端末側の更新用の物体検出用ニューラルネットワークとして、前記利用者情報端末に送信する更新用ニューラルネットワーク送信部とを備える学習サーバ。
【請求項２】
前記ゴミ画像選択部は、前記ゴミ毎の認識結果情報に含まれる認識精度情報に基づいて、前記アノテータに振り分けるゴミ画像を選択することを特徴とする請求項１に記載の学習サーバ。
【請求項３】
前記アノテータへのゴミ画像の振り分け方を決定する振分方法決定部をさらに備え、
前記アノテーション用データ送信部は、前記振分方法決定部で決定したゴミ画像の振り分け方に従って、前記ゴミ画像を含むアノテーション用データを、前記アノテータに送信することを特徴とする請求項１又は請求項２に記載の学習サーバ。
【請求項４】
前記アノテータ毎のクラス分類のラベル付けに関する正確さの情報を含むアノテータ情報を記憶するアノテータ情報記憶部をさらに備え、
前記振分方法決定部は、前記アノテータ情報記憶部に記憶された、前記アノテータ毎のクラス分類のラベル付けに関する正確さの情報に基づいて、どのアノテータに前記ゴミ画像を振り分けるかを決定することを特徴とする請求項３に記載の学習サーバ。
【請求項５】
前記アノテーションデータ受信部が、前記振分方法決定部により決定された振り分け先のアノテータのうち、所定の人数のアノテータの前記アノテータ側情報端末から、あるゴミ画像についての同様な内容のアノテーションデータを受信したときに、前記学習部は、これらのアノテーションデータと、前記あるゴミ画像とに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行うことを特徴とする請求項３又は請求項４に記載の学習サーバ。
【請求項６】
前記ゴミ画像のピクセル毎のクラス分類を行うセグメンテーション用ニューラルネットワークをさらに備え、
前記アノテーションデータは、前記アノテータが、前記ゴミ画像に映った各ゴミ毎に、ピクセル単位で色付けをした教師データであり、
前記学習部は、前記アノテーションデータ受信部で受信した前記ゴミ画像と前記教師データとに基づいて、前記セグメンテーション用ニューラルネットワークの追加の機械学習を行った上で、この追加の機械学習後の前記セグメンテーション用ニューラルネットワークを用いて、前記サーバ側物体検出用ニューラルネットワークの学習用のアノテーションデータである物体検出用アノテーションデータを自動生成し、この自動生成した物体検出用アノテーションデータと前記アノテーションデータ受信部で受信した前記ゴミ画像とに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行うことを特徴とする請求項１乃至請求項５のいずれか一項に記載の学習サーバ。
【請求項７】
カメラ部を有する利用者情報端末と、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習サーバと、画像に映った各ゴミにアノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータを、前記学習サーバに送信するアノテータ側情報端末と、を備える学習システムにおいて、
前記利用者情報端末は、
前記カメラ部により撮影されたゴミの画像であるゴミ画像と、このゴミ画像に映った各ゴミを前記利用者情報端末側の物体検出用ニューラルネットワークで物体検出した結果の情報であるゴミ毎のゴミ認識結果情報とを、前記学習サーバに送信するゴミ認識情報送信部と、
前記学習サーバから、前記追加の機械学習後のサーバ側物体検出用ニューラルネットワークを受信して、既存の前記利用者情報端末側の物体検出用ニューラルネットワークを、受信した前記追加の機械学習後のサーバ側物体検出用ニューラルネットワークに置き換えるネットワーク更新部とを備え、
前記学習サーバは、
前記利用者情報端末から、前記ゴミ画像と、前記ゴミ毎のゴミ認識結果情報とを受信するゴミ認識情報受信部と、
前記ゴミ認識情報受信部で受信した前記ゴミ画像と前記ゴミ毎のゴミ認識結果情報とを記憶するゴミ認識情報記憶部と、
前記ゴミ認識情報記憶部に記憶された前記ゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択するゴミ画像選択部と、
前記ゴミ画像選択部により選択されたゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータ側情報端末に送信するアノテーション用データ送信部と、
前記アノテータ側情報端末から、前記アノテーション用データに含まれる前記ゴミ画像と、このゴミ画像に映った各ゴミに前記アノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとを、受信するアノテーションデータ受信部と、
前記アノテーションデータ受信部で受信した前記ゴミ画像と前記アノテーションデータとに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習部と、
前記学習部による追加の機械学習後の前記サーバ側物体検出用ニューラルネットワークを、前記利用者情報端末側の更新用の物体検出用ニューラルネットワークとして、前記利用者情報端末に送信する更新用ニューラルネットワーク送信部とを備える学習システム。
【請求項８】
前記ゴミ画像選択部は、前記ゴミ毎の認識結果情報に含まれる認識精度情報に基づいて、前記アノテータに振り分けるゴミ画像を選択することを特徴とする請求項７に記載の学習システム。
【請求項９】
前記学習サーバは、前記アノテータへのゴミ画像の振り分け方を決定する振分方法決定部をさらに備え、
前記アノテーション用データ送信部は、前記振分方法決定部で決定したゴミ画像の振り分け方に従って、前記ゴミ画像を含むアノテーション用データを、前記アノテータに送信することを特徴とする請求項７又は請求項８に記載の学習システム。
【請求項１０】
コンピュータを、
カメラ部を有する利用者情報端末から、前記カメラ部により撮影されたゴミの画像であるゴミ画像と、このゴミ画像に映った各ゴミを前記利用者情報端末側の物体検出用ニューラルネットワークで物体検出した結果の情報であるゴミ毎のゴミ認識結果情報とを、受信するゴミ認識情報受信部と、
前記ゴミ認識情報受信部で受信した前記ゴミ画像と前記ゴミ毎のゴミ認識結果情報とを記憶するゴミ認識情報記憶部と、
前記ゴミ認識情報記憶部に記憶された前記ゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択するゴミ画像選択部と、
前記ゴミ画像選択部により選択されたゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータ側情報端末に送信するアノテーション用データ送信部と、
前記アノテータ側情報端末から、前記アノテーション用データに含まれる前記ゴミ画像と、このゴミ画像に映った各ゴミに前記アノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとを、受信するアノテーションデータ受信部と、
前記アノテーションデータ受信部で受信した前記ゴミ画像と前記アノテーションデータとに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習部と、
前記学習部による追加の機械学習後の前記サーバ側物体検出用ニューラルネットワークを、前記利用者情報端末側の更新用の物体検出用ニューラルネットワークとして、前記利用者情報端末に送信する更新用ニューラルネットワーク送信部
として機能させるための、追加学習プログラム。
【請求項１１】
前記ゴミ画像選択部は、前記ゴミ毎の認識結果情報に含まれる認識精度情報に基づいて、前記アノテータに振り分けるゴミ画像を選択することを特徴とする請求項１０に記載の追加学習プログラム。
【請求項１２】
前記コンピュータを、前記アノテータへのゴミ画像の振り分け方を決定する振分方法決定部として、さらに機能させ、
前記アノテーション用データ送信部は、前記振分方法決定部で決定したゴミ画像の振り分け方に従って、前記ゴミ画像を含むアノテーション用データを、前記アノテータに送信することを特徴とする請求項１０又は請求項１１に記載の追加学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習サーバ、学習システム、及び追加学習プログラムに関する。
【背景技術】
【０００２】
従来から、各自治体は、ゴミの分別回収を促すために、ゴミと資源の分別一覧表（５０音順表）を窓口等で配布したり、ホームページに掲載したりしている。そして、住民は、ゴミの分別区分が分からない時は、この分別一覧表（５０音順表）を見て、ゴミの分別区分を調べている。
【０００３】
また、ゴミの自動分別を行うために、ゴミにＩＣタグ等のＩＣチップを貼り付けて、このＩＣチップに記憶された製品情報をリーダにより読み取り、読み取った製品情報に基づいて、ゴミの自動分別を行うようにしたシステムが知られている（例えば、特許文献１、及び特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１５４６０９号公報
【特許文献２】特開２０１０−２０５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、上記の分別一覧表（５０音順表）には、掲載されている品目（ゴミの名前）の数が少ないという問題や、そもそも、住民等の利用者が、ゴミの名前を知らないと、この分別一覧表を使ってゴミの分別区分を調べることができないという問題があった。また、この分別一覧表には、品目の種類によっては、材質に応じた分類区分も記載されているが、例えば、クリスマスリースのように、複数の種類の材質（金属、布、プラスチック、草等の自然物など）から構成されるゴミについては、住民等の利用者は、この分別一覧表を見ても、どの分別区分に入れるべきかが分からない。
【０００６】
これに対して、上記特許文献１及び２に記載された様なゴミの自動分別を行うシステムでは、住民等の利用者が、ゴミの名前を知らなくても、ゴミの自動分別を行うことができ、しかも、複数の種類の材質から構成されるゴミについても、ゴミの自動分別を行うことが可能であるが、ゴミにＩＣタグ等のＩＣチップを貼り付ける必要があるため、ゴミの分別を行うためのコストが莫大になる。
【０００７】
さらにまた、住民等の利用者が、ゴミの名前を入力すると、ゴミの分別方法を案内するようにしたチャットボットも存在するが、このチャットボットにも、利用者が、ゴミの名前を知らないと、ゴミの分別区分を調べることができないという問題がある。
【０００８】
本発明は、上記課題を解決するものであり、住民等の利用者が、ゴミの名前を知らなくても、ゴミの分別区分を調べることができ、しかも、ゴミの分別を行うために必要なコストを抑制することが可能な学習サーバ、学習システム、及び追加学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の第1の態様による学習サーバは、カメラ部を有する利用者情報端末から、前記カメラ部により撮影されたゴミの画像であるゴミ画像と、このゴミ画像に映った各ゴミを、前記利用者情報端末側の物体検出用ニューラルネットワークで物体検出した結果の情報であるゴミ毎のゴミ認識結果情報とを、受信するゴミ認識情報受信部と、前記ゴミ認識情報受信部で受信した前記ゴミ画像と前記ゴミ毎のゴミ認識結果情報とを記憶するゴミ認識情報記憶部と、前記ゴミ認識情報記憶部に記憶された前記ゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択するゴミ画像選択部と、前記ゴミ画像選択部により選択されたゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータ側情報端末に送信するアノテーション用データ送信部と、前記アノテータ側情報端末から、前記アノテーション用データに含まれる前記ゴミ画像と、このゴミ画像に映った各ゴミに前記アノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとを、受信するアノテーションデータ受信部と、前記アノテーションデータ受信部で受信した前記ゴミ画像と前記アノテーションデータとに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習部と、前記学習部による追加の機械学習後の前記サーバ側物体検出用ニューラルネットワークを、前記利用者情報端末側の更新用の物体検出用ニューラルネットワークとして、前記利用者情報端末に送信する更新用ニューラルネットワーク送信部とを備える。
【００１０】
この学習サーバにおいて、前記ゴミ画像選択部は、前記ゴミ毎の認識結果情報に含まれる認識精度情報に基づいて、前記アノテータに振り分けるゴミ画像を選択することが望ましい。
【００１１】
この学習サーバにおいて、前記アノテータへのゴミ画像の振り分け方を決定する振分方法決定部をさらに備え、前記アノテーション用データ送信部は、前記振分方法決定部で決定したゴミ画像の振り分け方に従って、前記ゴミ画像を含むアノテーション用データを、前記アノテータに送信することが望ましい。
【００１２】
この学習サーバにおいて、前記アノテータ毎のクラス分類のラベル付けに関する正確さの情報を含むアノテータ情報を記憶するアノテータ情報記憶部をさらに備え、前記振分方法決定部は、前記アノテータ情報記憶部に記憶された、前記アノテータ毎のクラス分類のラベル付けに関する正確さの情報に基づいて、どのアノテータに前記ゴミ画像を振り分けるかを決定することが望ましい。
【００１３】
この学習サーバにおいて、前記アノテーションデータ受信部が、前記振分方法決定部により決定された振り分け先のアノテータのうち、所定の人数のアノテータの前記アノテータ側情報端末から、あるゴミ画像についての同様な内容のアノテーションデータを受信したときに、前記学習部は、これらのアノテーションデータと、前記あるゴミ画像とに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行うことが望ましい。
【００１４】
この学習サーバにおいて、前記ゴミ画像のピクセル毎のクラス分類を行うセグメンテーション用ニューラルネットワークをさらに備え、前記アノテーションデータは、前記アノテータが、前記ゴミ画像に映った各ゴミ毎に、ピクセル単位で色付けをした教師データであり、前記学習部は、前記アノテーションデータ受信部で受信した前記ゴミ画像と前記教師データとに基づいて、前記セグメンテーション用ニューラルネットワークの追加の機械学習を行った上で、この追加の機械学習後の前記セグメンテーション用ニューラルネットワークを用いて、前記サーバ側物体検出用ニューラルネットワークの学習用のアノテーションデータである物体検出用アノテーションデータを自動生成し、この自動生成した物体検出用アノテーションデータと前記アノテーションデータ受信部で受信した前記ゴミ画像とに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行うようにしてもよい。
【００１５】
本発明の第２の態様による学習システムは、カメラ部を有する利用者情報端末と、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習サーバと、画像に映った各ゴミにアノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータを、前記学習サーバに送信するアノテータ側情報端末と、を備える学習システムにおいて、前記利用者情報端末は、前記カメラ部により撮影されたゴミの画像であるゴミ画像と、このゴミ画像に映った各ゴミを前記利用者情報端末側の物体検出用ニューラルネットワークで物体検出した結果の情報であるゴミ毎のゴミ認識結果情報とを、前記学習サーバに送信するゴミ認識情報送信部と、前記学習サーバから、前記追加の機械学習後のサーバ側物体検出用ニューラルネットワークを受信して、既存の前記利用者情報端末側の物体検出用ニューラルネットワークを、受信した前記追加の機械学習後のサーバ側物体検出用ニューラルネットワークに置き換えるネットワーク更新部とを備え、前記学習サーバは、前記利用者情報端末から、前記ゴミ画像と、前記ゴミ毎のゴミ認識結果情報とを受信するゴミ認識情報受信部と、前記ゴミ認識情報受信部で受信した前記ゴミ画像と前記ゴミ毎のゴミ認識結果情報とを記憶するゴミ認識情報記憶部と、前記ゴミ認識情報記憶部に記憶された前記ゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択するゴミ画像選択部と、前記ゴミ画像選択部により選択されたゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータ側情報端末に送信するアノテーション用データ送信部と、前記アノテータ側情報端末から、前記アノテーション用データに含まれる前記ゴミ画像と、このゴミ画像に映った各ゴミに前記アノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとを、受信するアノテーションデータ受信部と、前記アノテーションデータ受信部で受信した前記ゴミ画像と前記アノテーションデータとに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習部と、前記学習部による追加の機械学習後の前記サーバ側物体検出用ニューラルネットワークを、前記利用者情報端末側の更新用の物体検出用ニューラルネットワークとして、前記利用者情報端末に送信する更新用ニューラルネットワーク送信部とを備えるものである。
【００１６】
この学習システムにおいて、前記ゴミ画像選択部は、前記ゴミ毎の認識結果情報に含まれる認識精度情報に基づいて、前記アノテータに振り分けるゴミ画像を選択することが望ましい。
【００１７】
この学習システムにおいて、前記学習サーバは、前記アノテータへのゴミ画像の振り分け方を決定する振分方法決定部をさらに備え、前記アノテーション用データ送信部は、前記振分方法決定部で決定したゴミ画像の振り分け方に従って、前記ゴミ画像を含むアノテーション用データを、前記アノテータに送信することが望ましい。
【００１８】
本発明の第３の態様による追加学習プログラムは、コンピュータを、カメラ部を有する利用者情報端末から、前記カメラ部により撮影されたゴミの画像であるゴミ画像と、このゴミ画像に映った各ゴミを前記利用者情報端末側の物体検出用ニューラルネットワークで物体検出した結果の情報であるゴミ毎のゴミ認識結果情報とを、受信するゴミ認識情報受信部と、前記ゴミ認識情報受信部で受信した前記ゴミ画像と前記ゴミ毎のゴミ認識結果情報とを記憶するゴミ認識情報記憶部と、前記ゴミ認識情報記憶部に記憶された前記ゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択するゴミ画像選択部と、前記ゴミ画像選択部により選択されたゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータ側情報端末に送信するアノテーション用データ送信部と、前記アノテータ側情報端末から、前記アノテーション用データに含まれる前記ゴミ画像と、このゴミ画像に映った各ゴミに前記アノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとを、受信するアノテーションデータ受信部と、前記アノテーションデータ受信部で受信した前記ゴミ画像と前記アノテーションデータとに基づいて、前記利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行う学習部と、前記学習部による追加の機械学習後の前記サーバ側物体検出用ニューラルネットワークを、前記利用者情報端末側の更新用の物体検出用ニューラルネットワークとして、前記利用者情報端末に送信する更新用ニューラルネットワーク送信部として機能させるための、追加学習プログラムである。
【００１９】
この追加学習プログラムにおいて、前記ゴミ画像選択部は、前記ゴミ毎の認識結果情報に含まれる認識精度情報に基づいて、前記アノテータに振り分けるゴミ画像を選択することが望ましい。
【００２０】
この追加学習プログラムにおいて、前記コンピュータを、前記アノテータへのゴミ画像の振り分け方を決定する振分方法決定部として、さらに機能させ、前記アノテーション用データ送信部は、前記振分方法決定部で決定したゴミ画像の振り分け方に従って、前記ゴミ画像を含むアノテーション用データを、前記アノテータに送信することが望ましい。
【発明の効果】
【００２１】
本発明の第１の態様による学習サーバ、及び第２の態様による学習システムによれば、学習サーバは、利用者情報端末から受信したゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択し、選択したゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータ側情報端末に送信する。そして、学習サーバは、アノテータ側情報端末から受信したゴミ画像と、このゴミ画像に映った各ゴミにアノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとに基づいて、利用者情報端末側の物体検出用ニューラルネットワークと同モデルのサーバ側物体検出用ニューラルネットワークの追加の機械学習を行い、追加の機械学習後のサーバ側物体検出用ニューラルネットワークを、利用者情報端末側の更新用の物体検出用ニューラルネットワークとして、利用者情報端末に送信するようにした。
【００２２】
これにより、学習サーバが、アノテータ側情報端末から受信したアノテーションデータを用いて、実質的に、利用者情報端末側の物体検出用ニューラルネットワークの追加の機械学習を継続して行うことができる。従って、上記の機械学習の開始からの時間の経過に伴って、利用者情報端末側の物体検出用ニューラルネットワークの学習を進めることができるので、住民等の利用者が、ゴミの名前を知らなくても、利用者情報端末のカメラ部によりゴミ画像を撮影して、このゴミ画像に映ったゴミを、利用者情報端末側の物体検出用ニューラルネットワークで物体検出することにより、ゴミの正確な分別区分を容易に調べることができる。また、上記のように、学習サーバが、アノテータ側情報端末から受信したアノテーションデータを用いて、実質的に、利用者情報端末側の物体検出用ニューラルネットワークの追加の機械学習を継続して行うことができるので、新しい種類のゴミが現れた場合でも、住民等の利用者が、利用者情報端末を用いて、ゴミの正確な分別区分を容易に調べることができる。
【００２３】
また、この学習サーバによれば、上記のように、利用者情報端末側の更新用の物体検出用ニューラルネットワークを、利用者情報端末に送信するようにした。これにより、利用者情報端末が、ゴミ画像に映ったゴミを、物体認識用のニューラルネットワーク（いわゆる物体認識エンジン）で物体認識するのではなく、物体検出用ニューラルネットワーク（いわゆる物体検出エンジン）で物体検出することができる。このように、利用者情報端末側のゴミの認識に物体検出用ニューラルネットワークを用いたことにより、ゴミ画像に、複数のゴミが映っている場合でも、学習サーバが、利用者情報端末から、ゴミ毎のゴミ認識結果情報を受信することができるし、また、ゴミ画像におけるゴミが映っている位置、及びゴミの大きさの大小に関わらず、学習サーバが、利用者情報端末から、ゴミ画像に映っているゴミのゴミ認識結果情報を受信することができる。
【００２４】
しかも、この学習サーバによれば、上記特許文献１及び２に記載されたゴミの自動分別を行うシステムと異なり、ゴミにＩＣタグ等のＩＣチップを貼り付ける必要がないため、特許文献１及び２に記載されたシステムと比べて、ゴミの分別を行うために必要なコストを抑制することができる。
【００２５】
また、本発明の第３の態様による追加学習プログラムによっても、上記第１の態様による学習サーバ、及び第２の態様による学習システムと同様な効果を得ることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態の学習サーバを含む学習システムの概略の構成を示すブロック構成図。
【図２】同学習システム内の学習サーバと利用者スマホ内の機能ブロック構成図。
【図３】同学習システム内の学習サーバ、利用者スマホ、及びアノテータスマホのシーケンス図。
【図４】上記図３中のＳ１４における追加の機械学習処理の詳細のフローチャート。
【図５】上記図３中のＳ１１の最適化処理のイメージを表す説明図。
【図６】検出対象のゴミが一種類の材質から構成されるゴミの場合に、上記利用者スマホのディスプレイに表示される分別区分等の表示の例を示す図。
【図７】上記図６中の「違うボタン」がタッチされた場合に、検出対象のゴミが、画像からだけでは材質まで特定できない品目の時に、上記利用者スマホのディスプレイに表示される、ゴミの材質の選択入力画面の例を示す図。
【図８】検出対象のゴミが複数の種類の材質から構成されるゴミの場合に、上記利用者スマホのディスプレイに表示される分別区分等の表示の例を示す図。
【図９】検出対象がゴミの識別マークである場合に、上記利用者スマホのディスプレイに表示される分別区分等の表示の例を示す図。
【図１０】検出対象のゴミが粗大ゴミの場合に、上記利用者スマホのディスプレイに表示される分別区分等の表示の例を示す図。
【発明を実施するための形態】
【００２７】
以下、本発明を具体化した実施形態による学習サーバ、学習システム、及び追加学習プログラムについて、図面を参照して説明する。図１は、本実施形態による学習サーバ１と、住民等の利用者が使用するスマートフォンである利用者スマホ２（請求項における「利用者情報端末」）と、アノテータが使用するスマートフォンであるアノテータスマホ３（請求項における「アノテータ側情報端末」）とを含む、学習システム１０の概略の構成を示すブロック構成図である。
【００２８】
上記の学習サーバ１は、装置全体の制御と各種演算を行うＣＰＵ１１（請求項における「ゴミ画像選択部」、「学習部」、及び「振分方法決定部」）を備えている。また、学習サーバ１は、通信部１２（請求項における「ゴミ認識情報受信部」、「アノテーション用データ送信部」、「アノテーションデータ受信部」、及び「更新用ニューラルネットワーク送信部」）を有しており、通信部１２とネットワーク（例えば、インターネット）とを介して、利用者スマホ２及びアノテータスマホ３と接続されている。通信部１２は、通信用ＩＣを備えている。
【００２９】
また、学習サーバ１は、各種のプログラムやデータを記憶するハードディスク１３と、各種のプログラムの実行時に、実行するプログラムやデータをロードするＲＡＭ１４とを備えている。上記のハードディスク１３には、追加学習プログラム１７と、ゴミ画像物体検出ニューラルネットワーク１８（以下、「ゴミ画像物体検出ＮＮ１８」という）と、ゴミ画像セグメンテーションニューラルネットワーク１９（以下、「ゴミ画像セグメンテーションＮＮ１９」という）と、ゴミ認識情報ファイル２０（請求項における「ゴミ認識情報記憶部」）と、アノテータ情報ファイル２１（請求項における「アノテータ情報記憶部」）と、セグメンテーションＮＮ学習用データセット２２と、物体検出ＮＮ学習用データセット２３とが格納されている。
【００３０】
上記のゴミ画像物体検出ＮＮ１８は、例えば、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ）ベースの物体検出エンジンであり、画像に映ったゴミの物体検出を行う。このゴミ画像物体検出ＮＮ１８は、請求項における「サーバ側物体検出用ニューラルネットワーク」に相当する。また、ゴミ画像セグメンテーションＮＮ１９は、いわゆるセグメンテーション用のエンジンであり、入力画像（ゴミが映った画像）のピクセル毎のクラス分類を行う。上記のゴミ画像物体検出ＮＮ１８、及びゴミ画像セグメンテーションＮＮ１９は、重みやバイアス等のパラメータデータを有している。なお、本明細書において、「エンジン」とは、情報処理装置を使用して様々な情報処理を行う、一種のプログラムを意味する。
【００３１】
上記のゴミ認識情報ファイル２０は、利用者スマホ２から通信部１２で受信したゴミ画像（ゴミが映った画像）（図３中の「認識時画像２０ａ」に相当）と、このゴミ画像に映った各ゴミを、利用者スマホ２側のゴミ画像物体検出ニューラルネットワーク３９（以下、「ゴミ画像物体検出ＮＮ３９」という）で物体検出した結果の情報であるゴミ毎のゴミ認識結果情報（図３中の「ゴミ認識結果情報２０ｂ」に相当）とを記憶する。また、上記のアノテータ情報ファイル２１は、上記のゴミ画像（認識時画像）に、ゴミの分類を助けるためのデータ（後述するアノテーションデータ）を付与するアノテータのアカウントに関する情報（ユーザＩＤを含む）や、各アノテータのクラス分類のラベル毎のラベル付けに関する正確さの情報（以下、「各アノテータの各ラベルに関するアノテーション精度」という）や、各アノテータのクラス分類のラベル毎のラベル付けへの積極性の情報（以下、「各アノテータの各ラベルに関するアノテーションへの積極性」という）を含むアノテータ情報を記憶している。
【００３２】
上記のセグメンテーションＮＮ学習用データセット２２は、アノテータスマホ３から受信したゴミ画像（図３中の「認識時画像２２ａ」に相当）と、このゴミ画像に映った各ゴミにアノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータ（図３中の２２ｂ参照）とを、記憶する。より詳細に言うと、上記のアノテーションデータは、アノテータが、利用者スマホ２からサーバ１を介してアノテータスマホ３へ送られたゴミ画像に映った各ゴミ毎に、ピクセル単位で色付けをした教師データである。
【００３３】
上記の物体検出ＮＮ学習用データセット２３は、アノテータスマホ３から受信したゴミ画像（図４中の「認識時画像２３ａ」に相当）と、学習サーバ１のＣＰＵ１１が上記のゴミ画像とゴミ画像セグメンテーションＮＮ１９とを用いて自動生成したゴミ画像物体検出ＮＮ１８の学習用のアノテーションデータ（図４中の２３ｂ参照）とを、記憶する。
【００３４】
一方、利用者スマホ２は、装置全体の制御と各種演算を行うＣＰＵ３１（請求項における「ネットワーク更新部」）と、通信部３２（請求項における「ゴミ認識情報送信部」）と、カメラ３３（請求項における「カメラ部」）とを備えている。通信部３２は、通信ＩＣとアンテナを備えている。利用者スマホ２は、通信部３２とネットワークとを介して、学習サーバ１と接続されている。
【００３５】
また、利用者スマホ２は、各種のデータやプログラムを記憶するメモリ３４を備えている。このメモリ３４は、利用者アプリ３７と、認識時画像３８と、ゴミ画像物体検出ニューラルネットワーク３９（以下、「ゴミ画像物体検出ＮＮ３９」という）と、ゴミ分別区分ＤＢ４０を記憶している。利用者アプリ３７の詳細については、後述する。ゴミ画像物体検出ＮＮ３９は、カメラ３３により撮影された画像に映ったゴミの物体検出を行う。また、上記の認識時画像３８は、カメラ３３により撮影されたゴミの画像（ゴミ画像）であって、上記ゴミ画像物体検出ＮＮ３９による物体検出の対象になった画像である。また、上記のゴミ分別区分ＤＢ４０は、ゴミの種類（品目）と、各品目毎のゴミの分別区分及び捨て方、各分別区分のカラーマーク、各地域における各分別区分のゴミの回収日等のデータを格納している。
【００３６】
また、利用者スマホ２は、ディスプレイ３５と、操作ボタン３６とを備えている。ディスプレイ３５は、いわゆるタッチパネルタイプのディスプレイであり、利用者によるカメラ３３の撮影指示操作等にも用いられる。
【００３７】
上記のアノテータスマホ３は、装置全体の制御と各種演算を行うＣＰＵ４１と、通信部４２とを備えている。通信部４２は、通信ＩＣとアンテナを備えている。アノテータスマホ３は、通信部４２とネットワークとを介して、学習サーバ１と接続されている。
【００３８】
また、アノテータスマホ３は、各種のデータやプログラムを記憶するメモリ４３を備えている。このメモリ４３は、サポータアプリ４６と、アノテーション用データセット４７とを記憶している。サポータアプリ４６の詳細については、後述する。アノテーション用データセット４７には、サーバ１がアノテータに振り分けたゴミ画像を含むアノテーション用データが格納される。
【００３９】
また、アノテータスマホ３は、ディスプレイ４４と、操作ボタン４５とを備えている。ディスプレイ４４は、いわゆるタッチパネルタイプのディスプレイであり、アノテータによるゴミ画像中のゴミへの色付けの指示入力等にも用いられる。
【００４０】
図２は、上記の学習システム１０内の機能ブロックを示す。学習サーバ１側のＣＰＵ１１内の各ブロック（ゴミ画像選択部５３、学習部５４、及び振分方法決定部５５）の機能は、ＣＰＵ１１が追加学習プログラム１７を実行することにより実現される。また、利用者スマホ２側のＣＰＵ３１内の機能ブロック（ネットワーク更新部５１）の機能は、ＣＰＵ３１が利用者アプリ３７を実行することにより実現される。ただし、この構成に限られず、例えば、上記のＣＰＵ１１及びＣＰＵ３１における各ブロックの機能の少なくとも一つを、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等によって構成される個別のハードウェアによって実現してもよい。
【００４１】
次に、上記図１及び２に加えて、図３のシーケンス図を参照して、上記学習システム１０において行われる物体検出用ニューラルネットワークの追加学習処理について、説明する。住民等の利用者が、利用者スマホ２のカメラ３３を用いて、ゴミの画像（ゴミ画像）を撮影すると、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、図１中の利用者スマホ２側のゴミ画像物体検出ＮＮ３９を用いて、ゴミ画像に映ったゴミに対する物体検出を行う（図３のＳ１）。そして、この物体検出の結果、ゴミを検出した場合には、ＣＰＵ３１は、ゴミ画像物体検出ＮＮ３９によるゴミの認識結果（ゴミのクラス分類の結果）に応じたゴミの分別区分や、その分別区分のゴミの直近の回収日等を、ディスプレイ３５に表示する（Ｓ２）。
【００４２】
上記Ｓ２の処理の後、利用者スマホ２のＣＰＵ３１は、通信部３２を用いて、カメラ３３で撮影したゴミ画像と、このゴミ画像に映った各ゴミをゴミ画像物体検出ＮＮ３９で物体検出した結果の情報であるゴミ毎のゴミ認識結果情報とを、学習サーバ１に送信する。学習サーバ１は、通信部１２を用いて、利用者スマホ２から、上記のゴミ画像と、上記のゴミ毎のゴミ認識結果情報とを受信すると、これらをゴミ認識情報ファイル２０に格納（記憶）する。具体的には、上記のゴミ画像を、認識時画像２０ａとして記憶し、上記のゴミ毎のゴミ認識結果情報を、上記の認識時画像２０ａと紐づけて、ゴミ認識結果情報２０ｂとして記憶する。
【００４３】
一方、アノテータが、アノテータスマホ３（のディスプレイ４４に組み込まれたタッチパネル）を用いて、アノテータとしてのアカウントを学習サーバ１に（事前）登録するための入力処理を行うと（Ｓ２１）、アノテータスマホ３のＣＰＵ４１は、通信部４２を用いて、入力された該当のアノテータのアカウントに関する情報を、学習サーバ１に送信する。学習サーバ１のＣＰＵ１１は、通信部１２を用いて、上記のアノテータのアカウントに関する情報を受信すると、受信したアノテータのアカウントに関する情報を、アノテータ情報ファイル２１に登録する。
【００４４】
次に、学習サーバ１のＣＰＵ１１（のゴミ画像選択部５３と振分方法決定部５５）は、ゴミ認識情報ファイル２０に記憶されたゴミ認識結果情報２０ｂに含まれる認識精度情報と、アノテータ情報ファイル２１に記憶されたアノテータ情報に含まれる、各アノテータの各ラベルに関するアノテーション精度、及び各アノテータの各ラベルに関するアノテーションへの積極性に基づいて、最適化処理（最適化関数Ｆの計算）を行う（Ｓ１１）。そして、最適化関数Ｆの値を最大にする、認識時画像２０ａと、認識時画像２０ａの振り分け先のアノテータとの組み合わせを求める。学習サーバ１のＣＰＵ１１（のゴミ画像選択部５３と振分方法決定部５５）は、この最適化関数Ｆの値を最大にする認識時画像２０ａとアノテータとを、それぞれ、アノテータに振り分ける認識時画像（ゴミ画像）と、振り分け先のアノテータとして決定する（Ｓ１２）。
【００４５】
１つの認識時画像の振り分け先のアノテータ数は、例えば、１０名である。上記の最適化処理（最適化関数Ｆの計算）の詳細については後述するが、ＣＰＵ１１のゴミ画像選択部５３は、主に、上記のゴミ認識結果情報２０ｂに含まれる認識精度情報に基づいて、アノテータに振り分ける認識時画像２０ａを選択する。また、ＣＰＵ１１の振分方法決定部５５は、アノテータ情報ファイル２１に記憶された、各アノテータの各ラベルに関するアノテーション精度、及び各アノテータの各ラベルに関するアノテーションへの積極性に基づいて、どのアノテータに、上記のゴミ画像選択部５３により選択された認識時画像２０ａを振り分けるかを決定する。
【００４６】
次に、学習サーバ１のＣＰＵ１１は、通信部１２を用いて、上記のＳ１２で決定した振り分け先のアノテータが使用するアノテータスマホ３に、プッシュ通知の形式で、Ｓ１２で決定（選択）された認識時画像を含むアノテーション用データと、この認識時画像へのアノテーションを促すメッセージを送る。上記のメッセージが送られたアノテータスマホ３のアノテータは、ディスプレイ４４に組み込まれたタッチパネルや、操作ボタン４５を用いて、上記の認識時画像に映った各ゴミ毎に、ピクセル単位で色付け操作をすることにより、ゴミ画像セグメンテーションＮＮ１９用の教師データであるアノテーションデータを入力する（Ｓ２２）。この認識時画像へのアノテーションの実施が完了すると、アノテータスマホ３のＣＰＵ４１は、通信部４２を用いて、上記の認識時画像とアノテーションデータとを学習サーバ１に送信する。学習サーバ１のＣＰＵ１１は、通信部１２を用いて、アノテータスマホ３から、上記の認識時画像とアノテーションデータとを受信すると、これらを、セグメンテーションＮＮ学習用データセット２２に格納する。
【００４７】
そして、学習サーバ１のＣＰＵ１１（の学習部５４）は、通信部１２により、上記Ｓ１２で決定した振り分け先のアノテータのうち、所定の人数（多数決可能な人数）のアノテータのアノテータスマホ３から、ある認識時画像についての同様な内容のアノテーションデータを受信したときに（Ｓ１３でＹＥＳ）、これらのアノテーションデータと、上記のある認識時画像とに基づいて、利用者スマホ２側のゴミ画像物体検出ＮＮ３９と同モデルのサーバ１側のゴミ画像物体検出ＮＮ１８の追加の機械学習を行う（Ｓ１４）。この追加の機械学習処理の詳細については、後述する。なお、上記の「同様な内容のアノテーションデータ」とは、基本的に、「同じ内容のアノテーションデータ」を意味するが、上記Ｓ２２のアノテーション入力操作は、認識時画像に映った各ゴミへのピクセル単位の色付け操作であるため、多少のずれ（塗り間違い）が生じることもあると考えて、「同様な内容のアノテーションデータ」と記載している。
【００４８】
そして、学習サーバ１のＣＰＵ１１は、通信部１２を用いて、上記の追加の機械学習後のゴミ画像物体検出ＮＮ１８を、利用者スマホ２側の更新用のゴミ画像物体検出ＮＮ３９として、利用者スマホ２に送信する。利用者スマホ２のＣＰＵ３１（のネットワーク更新部５１）は、通信部３２を用いて、学習サーバ１から、上記の追加の機械学習後のゴミ画像物体検出ＮＮ１８を受信（ダウンロード）して、既存の利用者スマホ２側のゴミ画像物体検出ＮＮ３９を、受信した追加の機械学習後のゴミ画像物体検出ＮＮ１８に置き換える。なお、利用者スマホ２のＣＰＵ３１（のネットワーク更新部５１）は、既存の利用者スマホ２側のゴミ画像物体検出ＮＮ３９の全体を置き換えるのではなく、既存のゴミ画像物体検出ＮＮ３９の（重みやバイアス等の）パラメータデータのみを、追加の機械学習後のサーバ側のゴミ画像物体検出ＮＮ１８のパラメータデータに置き換えてもよい。
【００４９】
次に、図４を参照して、上記Ｓ１４の追加の機械学習の詳細処理について説明する。学習サーバ１のＣＰＵ１１（の学習部５４）は、セグメンテーションＮＮ学習用データセット２２に、ある認識時画像２２ａについての同様な内容のアノテーションデータ２２ｂが、所定数（多数決可能な数）だけ蓄積されると、これらのアノテーションデータ２２ｂと認識時画像２２ａとに基づいて、ゴミ画像セグメンテーションＮＮ１９の追加の機械学習を行う（Ｓ３１）。そして、追加の機械学習後のゴミ画像セグメンテーションＮＮ１９と、上記の認識時画像２２ａを用いて、（上記の認識時画像２２ａについての）ゴミ画像物体検出ＮＮ１８のアノテーションデータ２３ｂ（請求項における「物体検出用アノテーションデータ」）を自動生成する（Ｓ３２）。上記のアノテーションデータ２３ｂは、上記の認識時画像２２ａと同じ画像データである認識時画像２３ａと共に、物体検出ＮＮ学習用データセット２３に格納される。学習サーバ１のＣＰＵ１１（の学習部５４）は、この物体検出ＮＮ学習用データセット２３に格納された（自動生成した）アノテーションデータ２３ｂと認識時画像２３ａとを用いて、ゴミ画像物体検出ＮＮ１８の追加の機械学習を行う（Ｓ３３）。上記のように、追加の機械学習後のゴミ画像物体検出ＮＮ１８は、利用者スマホ２に送信されて、既存の利用者スマホ２側のゴミ画像物体検出ＮＮ３９が、上記の学習サーバ１側の追加の機械学習後のゴミ画像物体検出ＮＮ１８に置き換えられる。
【００５０】
次に、図５を参照して、上記図３中のＳ１１の最適化処理の例について、詳細に説明する。図５は、この最適化処理のイメージを示す。図５において、Ａｔは、時刻ｔにおけるアノテータの全体集合、Ｃｔは、時刻ｔにおける利用者アプリ、ＤＣｔは、時刻ｔにＣｔを用いて追加された認識時画像、Ｄｔは、時刻ｔにおける（ゴミ認識情報ファイル２０の）認識時画像２０ａの全体の集合、ＤＳｔは、Ｄｔのうち、時刻ｔにおいて既に物体検出ＮＮ学習用データセット２３に格納されている認識時画像の部分集合である。なお、図５中におけるＤｔ、ＤＣｔ、及びＤＳｔの画像における濃淡は、利用者スマホ２側の利用者アプリ３７とゴミ画像物体検出ＮＮ３９による（ゴミのクラス分類の）認識精度（請求項における「認識精度情報」）等の評価値の低（暗）〜高（明）を示す。また、図５中におけるＭｔ＋１は、時刻ｔにおいて利用者スマホ２で使用されているゴミ画像物体検出ＮＮ３９と同モデルの（学習サーバ１側の）ゴミ画像物体検出ＮＮ１８に、上記のＤＳｔで追加の機械学習を実施して生成した学習済のモデルのゴミ画像物体検出ＮＮである。図に示すように、時刻（ｔ＋１）における利用者アプリＣｔ＋１から、上記のＭｔ＋１のゴミ画像物体検出ＮＮが適用される。
【００５１】
上記の前提において、利用者スマホ２のゴミ画像物体検出ＮＮ３９による認識時画像（ゴミ画像）全体Ｄｔについてのゴミの（クラス分類の）認識精度を向上させるために、最適化関数Ｆ（ＳＡｔ，ＳＤＳｔ）（ただし、ＳＡｔ⊂Ａｔ、ＳＤＳｔ⊂ＤＳｔ）を目的関数として、この目的関数（最適化関数）の値を最大にするＳＤＳｔとＳＡｔの組み合わせを求め、このＳＤＳｔとＳＡｔを、それぞれ、図３中のＳ１２における選択画像と振り分け先のアノテータとする。
【００５２】
上記の最適化関数Ｆ（ＳＡｔ，ＳＤＳｔ）の値を最大にするＳＡｔとＳＤＳｔの組み合わせを求めるという最適化問題を解くために、最適化関数Ｆ（ＳＡｔ，ＳＤＳｔ）を実数で表現する。
【００５３】
まず、上記のＳＤＳｔを求めるための関数Ｆｄ（ｄｉ）について説明する。ｄｉは、集合Ｄｔの元となる各認識時画像についての情報であり、認識時画像ｉ（ゴミ認識情報ファイル２０の認識時画像２０ａ）、利用者スマホ２のゴミ画像物体検出ＮＮ３９による認識時の（クラス分類の）ラベルｌと認識精度ａ（ゴミ認識結果情報２０ｂに含まれるラベルと認識精度情報）、及び最新のアノテーション実施日時ａｎのデータで構成される。なお、上記の最新のアノテーション実施日時ａｎは、例えば、上記図３中のＳ２２のアノテーション実施時に、ゴミ認識情報ファイル２０に、認識時画像２０ａと紐づけて記憶される。
【００５４】
上記のＳＤＳｔを求めるための関数Ｆｄ（ｄｉ）は、例えば、入力データｄｉに応じて、０〜１の間の実数値を返す関数で、上記の認識精度ａが低い程大きな値をとり、かつ、アノテーション実施日時ａｎが古い程大きな値をとる。ただし、上記の入力データｄｉに具体的なアノテーション実施日時ａｎが記憶されている場合よりも、未だ、ｄｉに含まれる認識時画像ｉについて、アノテーションが実施されていないときの方が、関数Ｆｄ（ｄｉ）の値が大きくなる。
【００５５】
上記の部分集合ＳＤＳｔの元の数｜ＳＤＳｔ｜の最小値は、１である。ただし、アノテータに、一つのデータセット（アノテーション用データセット４７）だけを割り当てる（一つの認識時画像についてのアノテーションだけをさせる）のは、効率が良くないので、実際には、｜ＳＤＳｔ｜は、１０以上になるであろうが、ここでは、数式の簡略化のために、｜ＳＤＳｔ｜＝１とする。この条件において、シンプルなＳＤＳｔの選び方は、ａｒｇｍａｘ  Ｆｄ（ｄｉ）である。すなわち、関数Ｆｄ（ｄｉ）の値を最大にするｄｉに含まれる認識時画像ｉを、最適化関数Ｆ（ＳＡｔ，ＳＤＳｔ）の値を最大にするＳＤＳｔとする。ただし、全体集合Ｄｔに含まれる全ての認識時画像のｄｉについて、ａｒｇｍａｘ  Ｆｄ（ｄｉ）を求めると、計算量が膨大になって、システムが破綻し兼ねないので、全体集合Ｄｔからランダム抽出した元の集合（全体集合Ｄｔの部分集合）であるＤｒを生成して、このＤｒに対応する全てのｄｉについて、ａｒｇｍａｘ  Ｆｄ（ｄｉ）を求めることが望ましい。
【００５６】
次に、上記のＳＤＳｔの振り分け先のアノテータＳＡｔを求めるための関数Ｆａ（ｄｉ，ａｊ）について説明する。ａｊは、集合Ａｔの元である各アノテータについての能力の情報であり、ｌｓｊｋ（ａｊに対応するアノテータのラベルｌｋに関するアノテーション精度）と、ｅｊｋ（ａｊに対応するアノテータのラベルｌｋに関するアノテーションへの積極性）のデータを含んでいる。ただし、ラベルｌｋ∈Ｌ（１≦ｋ＜｜Ｌ｜）である。ここで、Ｌは、ラベルの全体集合を表す。より詳細に説明すると、上記のｌｓｊｋは、ａｊに対応するアノテータの各ラベルｌｋのアノテーションのうまさを示し、ｅｊｋは、ａｊに対応するアノテータが、各ラベルｌｋについて、どの程度積極的にアノテーションをしてくれるかを示す。これらのｌｓｊｋとｅｊｋは、いずれも、０〜１の間の実数で表され、０が最低、１が最高である。ｌｓｊｋとｅｊｋは、アノテータのアノテーション作業の実施（図３中のＳ２２に相当）完了時に、更新される。このうち、ｅｊｋは、アノテータのアノテーション作業完了までの時間に応じて、更新される。なお、アノテータがアノテーション作業を行わなかった場合（未返答の場合）も、ｅｊｋの値は更新され、この場合は、当然、ｅｊｋの値が減じられる。上記のｌｓｊｋと、ｅｊｋは、それぞれ、アノテータ情報ファイル２１に記憶された、各アノテータの各ラベルに関するアノテーション精度のデータと、各アノテータの各ラベルに関するアノテーションへの積極性のデータである。これらのアノテータ情報ファイル２１内のデータは、上記のように、アノテータのアノテーション作業の実施完了時に、更新される（図３中のＳ１５）。
【００５７】
上記のＳＤＳｔの振り分け先のアノテータＳＡｔを求めるための関数Ｆａ（ｄｉ，ａｊ）は、例えば、０〜１の間の実数を返す関数で、ａｊに対応するアノテータに、上記のｄｉ（に含まれる認識時画像ｉのアノテーション作業）を割り当てたときに、より高い精度でアノテーションが実施される程大きな値をとり、かつ、高確率でアノテーションが実施される程大きな値をとる。
【００５８】
上記の部分集合ＳＡｔの元の数｜ＳＡｔ｜は、例えば、１０である。１０名のアノテータに、同一の認識画像ｉについてのアノテーションをさせた上で、これらのアノテータによるアノテーション結果に含まれる各ゴミについてのクラス分類のラベルの多数決をとることで、今回のアノテーションにおける（認識画像ｉについての）理想的なラベルglが分かる。
【００５９】
上記のように、部分集合ＳＡｔの元の数｜ＳＡｔ｜が１０の場合、シンプルなＳＡｔの選び方は、上記のｄｉを、上記のａｒｇｍａｘ  Ｆｄ（ｄｉ）で求めたｄｉに固定した上で、ａｒｇｍａｘ  Ｆａ（ｄｉ，ａｊ）に従って、関数Ｆａ（ｄｉ，ａｊ）の値を最大にする上位１０個（１０名分）のａｊを抽出するという方法である。すなわち、これら１０個（１０名分）のａｊに対応するアノテータを、最適化関数Ｆ（ＳＡｔ，ＳＤＳｔ）の値を最大にするＳＡｔとする。ただし、全体集合Ａｔに含まれる全てのアノテータのａｊについて、ａｒｇｍａｘ  Ｆａ（ｄｉ，ａｊ）を求めると、計算量が膨大になって、システムが破綻し兼ねないので、全体集合Ａｔからランダム抽出した元の集合（全体集合Ａｔの部分集合）であるＡｒを生成して、このＡｒに含まれる全てのａｊについて、ａｒｇｍａｘ  Ｆａ（ｄｉ，ａｊ）を求めることが望ましい。
【００６０】
上記のように、部分集合ＳＤＳｔの元の数｜ＳＤＳｔ｜を１としたシンプルなＳＤＳｔとＳＡｔの選び方を採用しない場合は、以下のようにして、ＳＤＳｔとＳＡｔの組み合わせを求める。すなわち、ｘを、上記のｄｉの集合、つまり、全体集合Ｄｔの部分集合の認識画像についての情報（の集合）とし、ｙを、上記のａｊの集合、つまり、全体集合Ａｔの部分集合のアノテータについての能力の情報（の集合）とした場合に、この条件を充たす集合ｘと集合ｙには、膨大な組み合わせがあるが、これらのｘとｙの組み合わせの中から、下記の式（１）の値を計算した時に、この値が最大になるｘ、ｙの組み合わせを求めて、求めたｘに含まれる認識時画像ｉの集合と、求めたｙに対応するアノテータの集合を、最適化関数Ｆ（ＳＡｔ，ＳＤＳｔ）の値を最大にするＳＡｔとＳＤＳｔとする。
Ｆ（ｘ，ｙ）＝Ｆｄ（ｘ）＊Ｆａ（ｘ，ｙ）・・・（１）
【００６１】
上記のＦ（ｘ，ｙ）の値が最大になるｘ、ｙの組み合わせを求めるための方法（最適化手法）としては、ニューラルネットワークを用いて求める方法や、ＧＡ（Ｇｅｎｅｔｉｃ  ａｌｇｏｒｉｔｈｍ：遺伝的アルゴリズム）により求める方法等がある。
【００６２】
次に、図６乃至図１０を参照して、利用者が、上記の利用者スマホ２のカメラ３３を用いて、ゴミ画像を撮影したときに、利用者スマホ２のＣＰＵ３１が、利用者アプリ３７に従って、ゴミ画像物体検出ＮＮ３９による物体検出の結果を用いて行うディスプレイ３５への分別区分等の表示について、説明する。
【００６３】
まず、検出対象のゴミが一種類の材質から構成されるゴミである場合における分別区分等の表示について、図６を参照して説明する。利用者スマホ２のＣＰＵ３１は、上記のゴミ画像物体検出ＮＮ３９によりゴミ画像に映ったゴミに対する物体検出を行った結果、ゴミ（図６の例では、コップ６９）を検出した場合には、ゴミ画像物体検出ＮＮ３９から返されたバウンディングボックス情報に基づく、検出対象物（ゴミ）のバウンディングボックス６５をディスプレイ３５に表示する。また、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、ゴミ画像物体検出ＮＮ３９によるゴミ画像の認識結果（クラス分類結果）に対応する品目の分別区分６１、及びこの分別区分のカラーマーク６２を、図１に示すゴミ分別区分ＤＢ４０から読み出して、ディスプレイ３５に表示する。図６では、白黒画像であるため、カラーマーク６２は、円の中に「青」の字を記載したマークになっているが、実際には、「不燃ゴミ」のカラーマーク６２は、円の中を青で塗りつぶしたカラーマークであり、日本語が読めない人（外国人等）でも、このカラーマーク６２を見て、ゴミの分別区分を判断可能である。
【００６４】
さらに、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、直近回収日６３及び使用地域６４を表示する。上記の使用地域６４は、利用者スマホ２のＣＰＵ３１が、利用者アプリ３７の初回起動時に、通信部３２を用いて受信した位置情報に基づいて決定される。また、上記の直近回収日６３は、上記の使用地域６４に応じた直近回収日であり、利用者スマホ２のＣＰＵ３１が、上記のゴミ分別区分ＤＢ４０から読み出したものである。なお、上記の分別区分６１は、上記の使用地域６４に応じた分別区分である。
【００６５】
上記のゴミ画像物体検出ＮＮ３９によるゴミ画像の認識（クラス分類）では、材質によって分別区分が異なる品目のゴミについては、画像だけでは、大きな品目を判定できても、分別区分まで判定できない場合もあるが、一番可能性の高い（材質に対応した）分別区分を表示する。そもそも、分別区分が分からないという前提での、利用者アプリ３７を用いたゴミ画像の認識（クラス分類）であるので、利用者によりゴミが適当に捨てられるよりは、上記のように、一番可能性の高い分別区分を表示する方が良い。
【００６６】
また、利用者スマホ２のＣＰＵ３１は、ゴミ画像物体検出ＮＮ３９によるゴミ画像の認識（クラス分類）の結果、大きな品目を判定できていることを前提に、上記のコップ６９のように、画像からだけでは材質まで特定できない品目のゴミについては、図６に示すように、違うボタン６６をディスプレイ３５に表示する。このディスプレイ３５上の違うボタン６６が利用者にタッチされると、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、図７に示すガイドメッセージ６７をディスプレイ３５に表示して、ユーザによるゴミ（コップ）の材質の選択入力を促す。そして、利用者が、上記のガイドメッセージ６７に従って、図７に示す該当のゴミの材質の候補が記載されたボタン（以下、「材質ボタン」という）６８ａ〜６８ｄの中から、該当のゴミの材質だと思われる材質の材質ボタンを選択すると、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、該当のゴミが利用者に選択された材質ボタンに対応する材質である場合における、図６と同様な分別区分６１等を示す画面を、ディスプレイ３５に表示する。このように、利用者が、上記の違うボタン６６にタッチした上で、材質ボタン６８ａ〜６８ｄのいずれかを選択すると、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、該当のゴミのゴミ認識結果情報２０ｂに含まれる認識精度（情報）の値を減じる。
【００６７】
次に、検出対象のゴミが、複数の種類の材質から構成されるゴミである場合における分別区分等の表示について、図８を参照して説明する。利用者スマホ２のゴミ画像物体検出ＮＮ３９は、クリスマスリース７０のように、複数の種類の材質（金属、布、プラスチック、草等の自然物など）から構成されるゴミが映った画像に対する物体検出を行った時には、利用者アプリ３７に対して、ゴミ全体（クリスマスリース７０）についてのバウンディングボックス情報に加えて、クリスマスリース７０を構成する各材質の物（各パーツ）についてのバウンディングボックス情報を返す。ただし、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、ゴミ全体（クリスマスリース７０）のバウンディングボックス６５については、ディスプレイ３５に表示するが、図８中に破線で示すように、ゴミ（クリスマスリース７０）を構成する各パーツ（草７１、（布製の）リボン７３、（金属製の）ベル７４、（プラスチック製の）ビーズ７５、及び花７６）のバウンディングボックス７２ａ〜７２ｅについては、ディスプレイ３５に表示しない。
【００６８】
ただし、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、上記のバウンディングボックス６５内の検出物体（ゴミ全体）に加えて、非表示のバウンディングボックス７２ａ〜７２ｅ内の各検出物体（各パーツ）についても、これらの物体の検出（認識）時の（クラス分類の）ラベルと認識精度情報を、ゴミ認識結果情報２０ｂに含まれるラベルと認識精度情報として、ゴミ認識情報ファイル２０に格納する。
【００６９】
また、上記のような複数の種類の材質から構成されるゴミについては、利用者スマホ２のＣＰＵ３１は、基本的に、ゴミ全体（バウンディングボックス６５に対応する検出物体（例えば、クリスマスリース７０））についての、分別区分６１、分別区分のカラーマーク６２、及び直近回収日６３を表示する。ただし、利用者スマホ２のＣＰＵ３１は、非表示のバウンディングボックス７２ａ〜７２ｅ内の各検出物体（各パーツ）の中に、一つでも、不燃ゴミに該当する品目のゴミが含まれている場合には、分別区分６１に「不燃ゴミ」と表示すると共に、不燃ゴミのカラーマーク６２及び直近回収日６３を表示するようにしてもよい。
【００７０】
次に、ゴミ画像物体検出ＮＮ３９による物体検出（クラス分類）の対象が、ゴミの識別マークである場合における分別区分等の表示について、図９を参照して説明する。例えば、利用者が利用者スマホ２のカメラ３３を用いて撮影した画像に、図９に示すプラスチック識別マーク８１（容器包装リサイクル法がリサイクルの対象としているプラスチックに付される識別マーク）が映っていた場合には、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、上記のプラスチック識別マーク８１を囲むバウンディングボックス６５をディスプレイ３５に表示する。また、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、分別区分６１として、プラスチック容器包装に対応する分別区分である「リサイクルプラ」をディスプレイ３５に表示すると共に、「リサイクルプラ」に対応する緑色のカラーマーク６２及び直近回収日６３を、ディスプレイ３５に表示する。
【００７１】
次に、検出対象のゴミが、いわゆる粗大ゴミである場合における分別区分等の表示について、図１０を参照して説明する。例えば、ゴミ画像に映ったゴミが、タンス８３である場合には、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、上記のタンス８３を囲むバウンディングボックス６５をディスプレイ３５に表示する。また、利用者スマホ２のＣＰＵ３１は、利用者アプリ３７に従って、分別区分６１として、粗大ゴミに対応する分別区分である「大型ゴミ」をディスプレイ３５に表示すると共に、「大型ゴミ」に対応する桃色のカラーマーク６２を、ディスプレイ３５に表示する。ただし、上記図６、図８及び図９に示す表示と異なり、直近回収日６３及び使用地域６４を表示せず、「大型ゴミの収集は、有料・予約制です。」というメッセージ８４を表示する。また、タンスのように、大きさにより分別区分が違うゴミ（普通のタンスとままごとのタンスでは、分別区分が異なる）については、その旨を示すメッセージ（例えば、図１０中の「最大辺が３０ｃｍ以下の場合不燃ゴミ」というメッセージ８５）を、ディスプレイ３５に表示する。
【００７２】
また、検出対象のゴミが、いわゆる粗大ゴミである場合には、図１０に示すように、回収予約ボタン８６が、ディスプレイ３５に表示される。利用者が、上記の回収予約ボタン８６にタッチすると、ディスプレイ３５上には、各自治体が提供するＷＥＢ回収予約システムの回収予約入力画面が表示されるので、利用者は、この回収予約入力画面から、回収して欲しいと望む粗大ゴミについての回収予約の申し込みの入力を行う。なお、該当の自治体に、ＷＥＢ回収予約システムが存在しない場合には、利用者が上記の回収予約ボタン８６にタッチした時に表示される画面は、本学習システム１０がパッケージとして提供するＷＥＢ回収予約システムの回収予約入力画面になる。
【００７３】
上記のように、本実施形態の学習サーバ１及び学習システム１０によれば、学習サーバ１は、利用者スマホ２から受信したゴミ毎の認識結果情報に基づいて、アノテータに振り分けるゴミ画像を選択し、選択したゴミ画像を含むアノテーション用データを、アノテータが使用するアノテータスマホ３に送信する。そして、学習サーバ１は、アノテータスマホ３から受信したゴミ画像と、このゴミ画像に映った各ゴミにアノテータが付与したクラス分類の正解ラベルのデータであるアノテーションデータとに基づいて、利用者スマホ２側のゴミ画像物体検出ＮＮ３９と同モデルのサーバ１側のゴミ画像物体検出ＮＮ１８の追加の機械学習を行い、追加の機械学習後のサーバ１側のゴミ画像物体検出ＮＮ１８を、利用者スマホ２側の更新用のゴミ画像物体検出ＮＮ３９として、利用者スマホ２に送信するようにした。
【００７４】
これにより、学習サーバ１が、アノテータスマホ３から受信したアノテーションデータを用いて、実質的に、利用者スマホ２側のゴミ画像物体検出ＮＮ３９の追加の機械学習を継続して行うことができる。従って、上記の機械学習の開始からの時間の経過に伴って、利用者スマホ２側のゴミ画像物体検出ＮＮ３９の学習を進めることができるので、住民等の利用者が、ゴミの名前を知らなくても、利用者スマホ２のカメラ３３によりゴミ画像を撮影して、このゴミ画像に映ったゴミを、利用者スマホ２側のゴミ画像物体検出ＮＮ３９で物体検出することにより、ゴミの正確な分別区分を容易に調べることができる。また、上記のように、学習サーバ１が、アノテータスマホ３から受信したアノテーションデータを用いて、実質的に、利用者スマホ２側のゴミ画像物体検出ＮＮ３９の追加の機械学習を継続して行うことができるので、新しい種類のゴミが現れた場合でも、住民等の利用者が、利用者スマホ２を用いて、ゴミの正確な分別区分を容易に調べることができる。
【００７５】
また、この学習サーバ１によれば、上記のように、利用者スマホ２側の更新用のゴミ画像物体検出ＮＮ３９を、利用者スマホ２に送信するようにした。これにより、利用者スマホ２が、ゴミ画像に映ったゴミを、物体認識用のニューラルネットワーク（いわゆる物体認識エンジン）で物体認識するのではなく、物体検出用ニューラルネットワーク（いわゆる物体検出エンジン）であるゴミ画像物体検出ＮＮ３９で物体検出することができる。このように、利用者スマホ２側のゴミの認識に物体検出用ニューラルネットワーク（ゴミ画像物体検出ＮＮ３９）を用いたことにより、ゴミ画像に、複数のゴミが映っている場合でも、学習サーバ１が、利用者スマホ２から、ゴミ毎のゴミ認識結果情報を受信することができるし、また、ゴミ画像におけるゴミが映っている位置、及びゴミの大きさの大小に関わらず、学習サーバ１が、利用者スマホ２から、ゴミ画像に映っているゴミのゴミ認識結果情報を受信することができる。
【００７６】
しかも、この学習サーバ１によれば、上記特許文献１及び２に記載されたゴミの自動分別を行うシステムと異なり、ゴミにＩＣタグ等のＩＣチップを貼り付ける必要がないため、特許文献１及び２に記載されたシステムと比べて、ゴミの分別を行うために必要なコストを抑制することができる。
【００７７】
また、本実施形態の学習サーバ１によれば、ゴミ毎の認識結果情報（ゴミ認識情報ファイル２０のゴミ認識結果情報２０ｂ）に含まれる認識精度情報に基づいて、アノテータに振り分けるゴミ画像（認識時画像２０ａ）を選択するようにした。これにより、認識精度の低いゴミが映ったゴミ画像（認識時画像２０ａ）を、優先してアノテータに振り分けることが可能になるので、サーバ１側のゴミ画像物体検出ＮＮ１８、及び利用者スマホ２側のゴミ画像物体検出ＮＮ３９の学習を効率的に進めることができる。
【００７８】
また、本実施形態の学習サーバ１によれば、アノテータ情報ファイル２１に記憶された、各アノテータの（各ラベルに関する）アノテーション精度に基づいて、どのアノテータにゴミ画像（認識時画像２０ａ）を振り分けるかを決定するようにした。これにより、クラス分類のラベル付け（アノテーション）がうまいアノテータに、優先的にゴミ画像（認識時画像２０ａ）を振り分けることが可能になるので、アノテータからのアノテーションデータ２２ｂに基づいて、サーバ１側のゴミ画像物体検出ＮＮ１８、及び利用者スマホ２側のゴミ画像物体検出ＮＮ３９の学習を効率的に進めることができる。
【００７９】
また、本実施形態の学習サーバ１によれば、ゴミ画像（認識時画像２０ａ）の振り分け先のアノテータのうち、所定の人数（例えば、振り分け先のアノテータのうち、半分以上の人数）のアノテータのアノテータスマホ３から、あるゴミ画像についての同様な内容のアノテーションデータを受信したときに、これらのアノテーションデータと、上記のあるゴミ画像とに基づいて、利用者スマホ２側のゴミ画像物体検出ＮＮ３９と同モデルのサーバ１側のゴミ画像物体検出ＮＮ１８の追加の機械学習を行うようにした。これにより、信頼性のあるアノテーションデータに基づいて、サーバ１側のゴミ画像物体検出ＮＮ１８、及び利用者スマホ２側のゴミ画像物体検出ＮＮ３９の機械学習を行うことができるので、これらのゴミ画像物体検出ＮＮによる物体検出の正確性を高めることができる。
【００８０】
また、本実施形態の学習サーバ１によれば、アノテータスマホ３から受信したゴミ画像（認識時画像２２ａ）とアノテーションデータ２２ｂとに基づいて、ゴミ画像セグメンテーションＮＮ１９の追加の機械学習を行った上で、この追加の機械学習後のゴミ画像セグメンテーションＮＮ１９を用いて、サーバ１側のゴミ画像物体検出ＮＮ１８の学習用のアノテーションデータ（物体検出ＮＮ学習用データセット２３のアノテーションデータ２３ｂ）を自動生成し、この自動生成したアノテーションデータ２３ｂとアノテータスマホ３から受信したゴミ画像（認識時画像）とに基づいて、利用者スマホ２側のゴミ画像物体検出ＮＮ３９と同モデルのサーバ１側のゴミ画像物体検出ＮＮ１８の追加の機械学習を行うようにした。上記のように、ピクセル毎のクラス分類を行うゴミ画像セグメンテーションＮＮ１９を用いて自動生成したアノテーションデータ２３ｂを用いて、実質的に、サーバ１側のゴミ画像物体検出ＮＮ１８、及び利用者スマホ２側のゴミ画像物体検出ＮＮ３９の追加の機械学習を行うようにしたことにより、これらのゴミ画像物体検出ＮＮによる物体検出の精度を高めることができる。
【００８１】
変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
【００８２】
変形例１： 
上記の実施形態では、請求項における利用者情報端末及びアノテータ側情報端末が、スマートフォン（利用者スマホ２及びアノテータスマホ３）である場合の例について記載したが、利用者情報端末及びアノテータ側情報端末は、例えば、携帯可能なパーソナルコンピュータ等のモバイル型の情報機器であってもよい。また、利用者情報端末は、エッジコンピューティング機能を有するＡＩカメラ（エッジカメラ）であってもよい。利用者情報端末が、ＡＩカメラである場合には、このＡＩカメラを、例えば、ゴミ集積所の横等に配置することが望ましい。
【００８３】
変形例２： 
上記の実施形態では、各アノテータの各ラベルｌｋに関するアノテーション精度と、各アノテータの各ラベルｌｋに関するアノテーションへの積極性に基づいて、どのアノテータに認識時画像を振り分けるかを決定するようにした。けれども、これに限られず、例えば、アノテータ毎のアノテーション精度（アノテータ毎のクラス分類のラベル付けに関する正確さの情報）のみに基づいて、どのアノテータに認識時画像を振り分けるかを決定してもよいし、上記のアノテータ毎のアノテーション精度と、アノテータ毎のアノテーションへの積極性に基づいて、どのアノテータに認識時画像を振り分けるかを決定するようにしてもよい。また、上記のアノテータ毎のアノテーション精度と、アノテータ毎のアノテーションへの積極性に加えて、各アノテータに割り振った作業負荷に基づいて、どのアノテータに認識時画像を振り分けるかを決定するようにしてもよい。さらにまた、各アノテータのジャンル毎のアノテーション精度のみに基づいて、どのアノテータに認識時画像を振り分けるかを決定してもよいし、各アノテータのジャンル毎のアノテーション精度と、各アノテータのジャンル毎のアノテーションへの積極性に基づいて、どのアノテータにゴミ画像を振り分けるかを決定するようにしてもよい。
【００８４】
変形例３： 
上記の実施形態では、学習サーバ１が、ゴミ画像（認識時画像）のピクセル毎のクラス分類を行うセグメンテーション用ニューラルネットワーク（ゴミ画像セグメンテーションＮＮ１９）を備え、ゴミ画像セグメンテーションＮＮ１９を用いて、サーバ１側のゴミ画像物体検出ＮＮ１８の学習用のアノテーションデータであるアノテーションデータ２３ｂを自動生成し、この自動生成したアノテーションデータ２３ｂを用いて、利用者スマホ２側のゴミ画像物体検出ＮＮ３９と同モデルのサーバ１側のゴミ画像物体検出ＮＮ１８の追加の機械学習を行うようにした。けれども、これに限られず、例えば、学習サーバが上記のセグメンテーション用ニューラルネットワークを備えず、アノテータが、アノテータスマホ３を用いて、認識時画像に映ったゴミに、バウンディングボックス単位で（検出物体毎に）、クラス分類の正解ラベルのデータであるアノテーションデータを入力して、この入力したアノテーションデータを用いて、学習サーバが、利用者スマホ側のゴミ画像物体検出ＮＮと同モデルのサーバ側のゴミ画像物体検出ＮＮの追加の機械学習を行うようにしてもよい。
【００８５】
変形例４： 
上記の実施形態では、検出（認識）対象のゴミが、画像からだけでは材質まで特定できない品目のゴミである場合に限り、図６に示す違うボタン６６をディスプレイ３５に表示するようにした。けれども、検出（認識）対象のゴミの品目に関わらず、物体検出（認識）の結果の表示画面に、上記のような「違うボタン」を表示して、この結果の表示画面に表示された分別区分が、明らかに、検出（認識）対象のゴミの品目に対応した分別区分とは異なる場合に、利用者が、「違うボタン」にタッチして、利用者スマホのＣＰＵに、表示された分別区分が間違っていることを伝えるようにしてもよい。この場合には、利用者が、上記の違うボタンにタッチした時点で、利用者スマホのＣＰＵは、利用者アプリに従って、該当のゴミのゴミ認識結果情報（上記実施形態の「ゴミ認識結果情報２０ｂ」に相当）に含まれる認識精度（情報）の値を減じる。
【符号の説明】
【００８６】
１    学習サーバ
２    利用者スマホ（利用者情報端末）
３    アノテータスマホ（アノテータ側情報端末）
１０  学習システム
１２  通信部（ゴミ認識情報受信部、アノテーション用データ送信部、アノテーションデータ受信部、及び更新用ニューラルネットワーク送信部）
１８  ゴミ画像物体検出ＮＮ（サーバ側物体検出用ニューラルネットワーク）
１９  ゴミ画像セグメンテーションＮＮ（セグメンテーション用ニューラルネットワーク）
２０  ゴミ認識情報ファイル（ゴミ認識情報記憶部）
２１  アノテータ情報ファイル（アノテータ情報記憶部）
２２ｂ  アノテーションデータ（ピクセル単位で色付けをした教師データ）
２３ｂ  アノテーションデータ（物体検出用アノテーションデータ）
３３  カメラ（カメラ部）
３９  ゴミ画像物体検出ＮＮ（利用者情報端末側の物体検出用ニューラルネットワーク）
５３  ゴミ画像選択部
５４  学習部
５５  振分方法決定部
【図１】
2020064564.tif 000003
【図２】
2020064564.tif 000004
【図３】
2020064564.tif 000005
【図４】
2020064564.tif 000006
【図５】
2020064564.tif 000007
【図６】
2020064564.tif 000008
【図７】
2020064564.tif 000009
【図８】
2020064564.tif 000010
【図９】
2020064564.tif 000011
【図１０】
2020064564.tif 000012