(57)【要約】  学習データ生成装置は、正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する処理と、サブ画像群と、サブ画像群に対応する第１正解データとに基づき学習された識別器を、サブ画像群毎に生成する処理と、学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つのサブ画像群に基づき生成された識別器に入力することで、学習画像の各々に対して当該識別器が出力する識別結果を取得する処理と、学習画像の各々について、識別結果と、第１正解データとに基づき、第２正解データを生成する処理とを行う。
2020183705.tif 000002
【特許請求の範囲】
【請求項１】
学習データ生成装置が実行する生成方法であって、
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得し、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成し、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得し、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する、生成方法。
【請求項２】
前記識別結果を取得する処理は、前記学習画像の各々を、当該学習画像が属するサブ画像群以外の前記複数のサブ画像群の各々に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して前記識別結果を取得する、請求項１に記載の生成方法。
【請求項３】
前記第２正解データは、前記識別結果が示す値と、前記第１正解データが示す値とに基づき算出された代表値を示すデータである、請求項１または２に記載の生成方法。
【請求項４】
前記識別結果を取得する処理は、前記学習画像の各々について、前記少なくとも１つの識別器が出力する第１の識別結果と、前記サブ画像群を含まない学習データに基づき学習された識別器が出力する第２の識別結果とを取得し、
前記第２正解データを生成する処理は、前記学習画像の各々について、前記第１の識別結果と、前記第２の識別結果と、前記第１正解データとに基づき、前記第２正解データを生成する、請求項１〜３のいずれか一項に記載の生成方法。
【請求項５】
前記サブ画像群毎に異なる状況は、前記第１正解データに関する入力を行う作業者が前記サブ画像群毎に異なる状況、前記第１正解データに関する入力を行う作業者の属性が前記サブ画像群毎に異なる状況、前記第１正解データに関する入力が行われる日又は時間帯が異なる状況の少なくともいずれかである、請求項１〜４のいずれか一項に記載の生成方法。
【請求項６】
前記第１正解データを取得する処理は、前記複数のサブ画像群の各々を、端末装置に送信することで、前記端末装置から、前記サブ画像群に対する第１正解データを受信する、請求項１〜５のいずれか一項に記載の生成方法。
【請求項７】
前記第１正解データを取得する処理は、正解付けする対象毎に、前記複数のサブ画像群の各々が同数の学習画像を含むように、前記学習画像群を分割する、請求項１〜６のいずれか一項に記載の生成方法。
【請求項８】
前記第１正解データを取得する処理は、前記複数のサブ画像群の各々に対して前記第１正解データに関する入力を行う作業者に対する評価値に基づき、前記複数のサブ画像群の各々に含める前記学習画像の数を決定する、請求項１〜６のいずれか一項に記載の生成方法。
【請求項９】
前記第２正解データと、前記第１正解データとの差に基づき、当該第１正解データに関する入力を行う作業者に対する評価値を決定する、請求項８に記載の生成方法。
【請求項１０】
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得部と、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習部と、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別部と、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成部と、
を有する学習データ生成装置。
【請求項１１】
コンピュータが実行するプログラムであって、
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得部と、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習部と、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別部と、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成部
として前記コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習に必要な正解データの生成に関する生成方法、学習データ生成装置、及びプログラムの技術分野に関する。
【背景技術】
【０００２】
学習に用いるための学習データを生成する方法の一例が特許文献１に開示されている。特許文献１には、画像と、センサ情報とを含む学習用のデータセットを取得した場合に、データセットから画像とセンサ情報の組み合わせの異なる複数のサブセットを作成し、複数のサブセットそれぞれに対応した複数の識別器を学習する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−０５５１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、学習により得られる識別器の精度は、学習に用いる学習データの数や質の均一性に大きく依存するため、多くの学習データを均一な質により取得することが必要となる。一方、学習用の学習画像に対して正解となる正解データを属人的な手法に基づき生成する場合、作業時間がかかるため、複数人により分担して作業を行ったり、複数回に分けて作業を行ったりする必要がある。この場合、正解データの質にばらつきが生じることになる。特許文献１には、属人的な手法に基づき正解データを付与する場合の正解データの質のばらつきを抑制する方法については、何ら開示されていない。【０００５】
本発明の目的は、上述した課題を鑑み、正解データの質のばらつきを抑制することが可能な生成方法、学習データ生成装置及びプログラムを提供することを主な課題とする。
【課題を解決するための手段】
【０００６】
生成方法の一の態様は、学習データ生成装置が実行する生成方法であって、正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得し、前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成し、前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得し、前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する。【０００７】
学習データ生成装置の一の態様は、学習データ生成装置であって、正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得部と、前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習部と、前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別部と、前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成部と、を有する。【０００８】
プログラムの一の態様は、コンピュータが実行するプログラムであって、正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得部と、前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習部と、前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別部と、前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成部として前記コンピュータを機能させる。
【発明の効果】
【０００９】
本発明によれば、質のばらつきが好適に抑制された第２正解データを生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における学習データ生成システムの概略構成を示す。
【図２】学習データ生成装置のハードウェア構成の一例を示す。
【図３】端末装置のハードウェア構成の一例を示す。
【図４】学習データ生成装置の機能ブロック図である。
【図５】サブ画像群毎の第２正解データの生成処理の概要を示す。
【図６】図５に示した第２正解データの生成処理において識別部及び第２正解データ生成部が実行する処理の詳細を示した図である。
【図７】正解データ生成処理の手順を示すフローチャートの一例である。
【図８】（Ａ）サブ画像群Ａに含まれる学習画像を示す。（Ｂ）サブ画像群Ｂに含まれる学習画像を示す。
【図９】（Ａ）識別結果の領域と、第２正解データに基づき特定される領域とを明示した図８（Ａ）の学習画像の表示例である。（Ｂ）識別結果の領域と、第２正解データに基づき特定される領域とを明示した図８（Ｂ）の学習画像の表示例である。
【図１０】変形例１に基づく学習画像に対する第２正解データの生成処理を示す図である。
【図１１】変形例３における学習データ生成システムの概略構成を示す。
【図１２】変形例５における学習データ生成装置の機能ブロック図である。
【図１３】変形例６における学習データ生成装置の機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、生成方法、学習データ生成装置、及びプログラムの実施形態について説明する。
【００１２】
［全体構成］
図１は、本実施形態における学習データ生成システム１００の概略構成を示す。学習データ生成システム１００は、学習モデルの学習に必要な学習データの一部である正解データを好適に生成する。ここで、「学習モデル」は、入力された画像に対して当該画像に応じた情報を出力する任意の演算モデルであるものとする。また、「学習データ」は、学習モデルに入力される画像である学習画像と、当該画像が学習モデルに入力された場合に正解となるデータである正解データとの組（データセット）を指すものとする。
【００１３】
学習データ生成システム１００は、学習データ生成装置１０と、記憶装置２０と、複数の端末装置３０（３０Ａ、３０Ｂ、…）と、を備える。
【００１４】
学習データ生成装置１０は、後述する記憶装置２０の学習画像記憶部２１に記憶された学習画像に対する正解データを生成する。この場合、学習データ生成装置１０は、正解データを付与すべき対象となる学習画像群を分割した画像群（「サブ画像群」とも呼ぶ。）を含む正解データの要求信号「Ｓ１」を、それぞれの端末装置３０へ送信する。また、学習データ生成装置１０は、端末装置３０から要求信号Ｓ１の応答として、サブ画像群に対して端末装置３０が生成した正解データ（「第１正解データＣ１」とも呼ぶ。）を含む応答信号「Ｓ２」を受信する。そして、学習データ生成装置１０は、応答信号Ｓ２に含まれる第１正解データＣ１と、第１正解データＣ１を含む学習データに基づき学習した学習モデルの識別結果とに基づき、第１正解データＣ１を補正した正解データ（「第２正解データＣ２」とも呼ぶ。）を生成する。
【００１５】
端末装置３０（３０Ａ、３０Ｂ、…）は、学習画像に対し、正解付けする対象（「正解対象」とも呼ぶ。）の位置又は領域を、作業者がユーザ入力により指定する作業（「正解付け作業」とも呼ぶ。）を行うための情報処理装置である。本実施形態では、一例として、作業者毎に端末装置３０が存在するものとし、作業者及び端末装置３０は複数存在するものとする。端末装置３０は、学習データ生成装置１０から送信された要求信号Ｓ１を受信した場合に、要求信号Ｓ１に含まれる各学習画像に対して作業者の入力に基づき第１正解データを生成する。そして、端末装置３０は、生成した第１正解データを含む応答信号Ｓ２を、学習データ生成装置１０に送信する。
【００１６】
記憶装置２０は、学習データ生成装置１０によるデータの参照及び書込みが可能な装置であって、学習画像記憶部２１と、第１正解データ記憶部２２と、識別器情報記憶部２３と、識別結果記憶部２４と、第２正解データ記憶部２５とを有する。なお、記憶装置２０は、学習データ生成装置１０に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよく、学習データ生成装置１０とデータ通信を行うサーバ装置などであってもよい。また、記憶装置２０は、学習データ生成装置１０とデータ通信可能な複数の記憶装置から構成されてもよい。この場合、記憶装置２０を構成する複数の記憶装置は、学習画像記憶部２１、第１正解データ記憶部２２、識別器情報記憶部２３、識別結果記憶部２４、第２正解データ記憶部２５を分散して記憶する。
【００１７】
学習画像記憶部２１は、複数の学習画像である学習画像群を記憶する。各学習画像は、正解付けする対象である正解対象を含んでいる。正解対象は、特定の物体又は当該物体内の特定の部位であり、例えば、人や魚などの動物、植物、移動体、地物、器具、又はその一部である。例えば、人の領域を抽出する学習モデルに用いる学習画像の場合には、学習画像には人が表示されている。なお、好適には、学習画像には、当該学習画像に表示された正解対象を識別するためのメタデータ等が付されている。
【００１８】
第１正解データ記憶部２２は、学習データ生成装置１０が端末装置３０から受信した応答信号Ｓ２に含まれる第１正解データＣ１を記憶する。
【００１９】
第１正解データＣ１は、例えば、正解対象の位置又は領域を示す情報である。例えば、魚の特定の特徴点（例えば尾びれ、背びれ、腹、頭等）の領域を抽出する学習モデルに用いる学習画像の場合、第１正解データＣ１は、学習画像内における特定の特徴点の座標値を示す情報である。他の例では、人の領域を抽出する学習モデルに用いる学習画像の場合、第１正解データＣ１は、学習画像内において存在する人の領域を特定するための情報である。この場合、第１正解データＣ１は、例えば、人の領域を矩形領域とみなした場合の当該矩形領域の対角となる２つの頂点（例えば右上頂点と左下頂点）の座標値を示す情報である。
【００２０】
なお、第１正解データＣ１が正解対象の領域を特定する場合、第１正解データＣ１は、学習画像から抽出すべき正解対象の領域を示すマスク画像（例えば正解対象の画素値を１とし他の画素値を０とした２値画像）であってもよい。また、第１正解データＣ１は、正解対象の位置又は領域に対する信頼度を画素毎等に示した信頼度マップであってもよい。
【００２１】
識別器情報記憶部２３は、入力された学習画像に対して正解対象の領域又は位置の情報を出力するように学習された学習モデル（「識別器」とも呼ぶ。）を機能させるために必要な種々の情報を記憶する。本実施形態においては、後述するように、学習データ生成装置１０は、正解対象の各種類について、サブ画像群毎に学習モデルの学習を行う。従って、識別器情報記憶部２３は、正解対象の各種類について、サブ画像群毎に学習モデルが学習されることで生成された識別器のパラメータ情報等を記憶する。学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、上述のパラメータ情報は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの情報を含んでいる。
【００２２】
識別結果記憶部２４は、サブ画像群毎に学習モデルを学習することで生成された識別器に学習画像を入力する場合に識別器が出力する識別結果を記憶する。上述の識別結果は、第１正解データＣ１と同一形式のデータであり、正解対象の位置又は領域を特定するための情報である。後述するように、識別結果記憶部２４は、各識別器に当該識別器の学習に用いたサブ画像群以外のサブ画像群の学習画像を入力することで得られる識別結果を記憶する。
【００２３】
第２正解データ記憶部２５は、第１正解データ記憶部２２に記憶された第１正解データＣ１と識別結果記憶部２４に記憶された識別データとに基づき得られた正解データである第２正解データＣ２を記憶する。第２正解データ記憶部２５には、学習画像記憶部２１に記憶された学習画像の各々に対応する第２正解データＣ２が記憶される。
【００２４】
［ハードウェア構成］
図２は、学習データ生成装置１０のハードウェア構成の一例を示す。学習データ生成装置１０は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。
【００２５】
プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサである。
【００２６】
メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種のメモリにより構成される。また、メモリ１２には、学習データ生成装置１０が実行する学習に関する処理を実行するためのプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置２０から取得した情報等を一時的に記憶する。
【００２７】
インターフェース１３は、プロセッサ１１の制御に基づき記憶装置２０及び端末装置３０とデータの送受信を有線又は無線により行うための通信インターフェースであり、ネットワークアダプタなどが該当する。なお、学習データ生成装置１０と記憶装置２０とはケーブル等により接続されてもよい。この場合、インターフェース１３は、端末装置３０とデータ通信を行う通信インターフェースの他、記憶装置２０とデータの授受を行うためのＵＳＢ、ＳＡＴＡ（Ｓｅｒｉａｌ  ＡＴ  Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースを含んでもよい。
【００２８】
図３は、端末装置３０のハードウェア構成の一例を示す。端末装置３０は、ハードウェアとして、プロセッサ３１と、メモリ３２と、インターフェース３３と、表示部３４と、入力部３５とを含む。プロセッサ３１、メモリ３２、インターフェース３３、表示部３４及び入力部３５は、データバス３９を介して接続されている。
【００２９】
プロセッサ３１は、メモリ３２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ３１は、ＣＰＵ、ＧＰＵなどのプロセッサである。
【００３０】
メモリ３２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種のメモリにより構成される。また、メモリ３２には、端末装置３０が実行する学習に関する処理を実行するためのプログラムが記憶される。また、メモリ３２は、作業メモリとして使用され、記憶装置２０等から取得した情報を一時的に記憶する。インターフェース３３は、プロセッサ３１の制御に基づき学習データ生成装置１０とデータの送受信を有線又は無線により行うための通信インターフェースである。
【００３１】
表示部３４は、ディスプレイ等であり、プロセッサ３１の制御に基づき要求信号Ｓ１に含まれる学習画像などを表示する。入力部３５は、マウス、キーボード、タッチパネル、音声入力装置などの入力装置であり、表示部３４に表示された学習画像に対し、正解対象の位置又は領域を指定する入力などを受け付ける。プロセッサ３１は、入力部３５が生成した入力信号に基づき、作業者が指定した正解対象の位置又は領域を示す第１正解データＣ１を生成する。
【００３２】
なお、学習データ生成装置１０及び端末装置３０のハードウェア構成は、図２及び図３に示す構成に限定されない。例えば、学習データ生成装置１０は、ユーザ入力を受け付けるための入力部、ディスプレイやスピーカなどの出力部などをさらに備えてもよい。同様に、端末装置３０は、スピーカなどの出力部などをさらに備えてもよい。
【００３３】
［学習データ生成処理］
次に、学習データ生成装置１０が実行する学習データ生成処理の詳細について説明する。
【００３４】
（１）機能ブロック
図４は、学習データ生成装置１０の機能ブロック図である。図４に示すように、学習データ生成装置１０のプロセッサ１１は、機能的には、学習画像分配部１４と、第１正解データ取得部１５と、学習部１６と、識別部１７と、第２正解データ生成部１８とを備える。
【００３５】
学習画像分配部１４は、正解データの付与が必要となる学習画像群を学習画像記憶部２１から抽出し、端末装置３０の個数分のサブ画像群になるように学習画像群を分割する。以後では、学習画像群を分割することで生成されたサブ画像群の数を「Ｎ」（Ｎは２以上の整数）と表記する。そして、学習画像分配部１４は、送信先の端末装置３０ごとに異なるサブ画像群を含む要求信号Ｓ１を、インターフェース１３を介して各端末装置３０に送信する。
【００３６】
この場合、好適には、学習画像分配部１４は、正解付けする対象毎に、各サブ画像群の画像数が実質的に同数となるように学習画像群を均等に分割するとよい。この場合、例えば、学習画像分配部１４は、メタデータとして学習画像に付加された正解付け対象の識別情報等を参照することで、正解付け対象となる物体毎に学習画像を分類し、分類した学習画像をＮ個のサブ画像群に分割する。
【００３７】
第１正解データ取得部１５は、インターフェース１３を介して各端末装置３０から送信される応答信号Ｓ２を受信し、受信した応答信号Ｓ２に含まれる第１正解データＣ１を第１正解データ記憶部２２に記憶する。これにより、第１正解データ記憶部２２には、学習画像分配部１４により各端末装置３０に送信された各サブ画像群の学習画像の各々に対する正解対象の位置又は領域を示す第１正解データＣ１が記憶される。この場合、好適には、第１正解データ記憶部２２に記憶される第１正解データＣ１には、当該第１正解データＣ１の生成作業を行った作業者の識別情報と、対応する学習画像の識別情報とが関連付けられる。作業者の識別情報及び学習画像の識別情報は、例えば第１正解データＣ１と共に応答信号Ｓ２に含まれる。上述の作業者の識別情報は、作業者を直接的又は間接的に特定可能な情報であればよく、作業者に割り当てられたＩＤであってもよく、作業者が使用する端末装置３０を特定する情報であってもよい。
【００３８】
学習部１６は、学習モデルをサブ画像群毎に学習することで、各サブ画像群に対応するＮ個の識別器を生成し、各識別器のパラメータ情報などを識別器情報記憶部２３に記憶する。この場合、学習部１６は、学習画像記憶部２１及び第１正解データ記憶部２２を参照し、サブ画像群毎に、当該サブ画像群に属する各学習画像とこれらに対応する第１正解データとの組み合わせを用いて、学習モデルの学習を行う。学習部１６により学習される学習モデルは、画像が入力された場合に、当該画像内の正解対象の位置又は領域を示す情報を出力する演算モデルである。この場合、学習モデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよい。
【００３９】
識別部１７は、識別器情報記憶部２３を参照することで、サブ画像群ごとのＮ個の識別器を構成し、これらの識別器に学習画像を入力することで、識別結果を取得する。この場合、識別部１７は、各学習画像を、当該学習画像が属するサブ画像群以外のサブ画像群に基づき生成されたＮ−１個の識別器に入力することで、それぞれの識別器に対するＮ−１個分の識別結果を学習画像毎に取得する。そして、識別部１７は、学習画像毎にＮ−１個取得される識別結果を、識別結果記憶部２４に記憶する。この場合、識別部１７は、例えば、取得した識別結果を、対応する学習画像の識別情報と、当該識別結果の取得に用いた識別器の識別情報と関連付けて記憶する。
【００４０】
第２正解データ生成部１８は、学習画像毎に、識別結果記憶部２４に記憶された識別器によるＮ−１個の識別結果と、第１正解データ記憶部２２に記憶された第１正解データＣ１との統合を行うことで第２正解データＣ２を生成する。具体的には、第２正解データ生成部１８は、識別結果及び第１正解データＣ１が学習画像内の座標値を示す場合には、Ｘ座標及びＹ座標をそれぞれ平均することで、第２正解データＣ２のＸ座標及びＹ座標を算出する。また、識別結果及び第１正解データＣ１が正解対象の領域を示す２値画像である場合には、第２正解データ生成部１８は、画素ごとに画素値を平均することで、第２正解データＣ１とする画像を生成する。この場合、第２正解データ生成部１８は、生成した画像の各画素に対して所定の閾値を設けることで、当該画像を２値画像に変換してもよい。
【００４１】
なお、上述した平均処理に代えて、第２正解データ生成部１８は、平均値以外の代表値（最頻値、中央値等）を統計的処理により算出する処理を行ってもよい。例えば、第２正解データ生成部１８は、識別結果及び第１正解データＣ１が学習画像内の座標値を示す場合には、これらのＸ座標及びＹ座標に対する代表値を算出することで、第２正解データＣ２のＸ座標及びＹ座標を算出してもよい。
【００４２】
そして、第２正解データ生成部１８は、学習画像毎に生成した第２正解データＣ２を、対応する学習画像の識別情報等と関連付けて第２正解データ記憶部２５に記憶する。そして、第２正解データ記憶部２５に記憶される第２正解データＣ２は、学習画像記憶部２１に記憶される学習画像と共に、学習データとして機能し、学習モデルの学習に好適に用いられる。
【００４３】
（２）具体例
図５は、Ｎ＝２とした場合のサブ画像群毎の第２正解データＣ２の生成処理の概要を示す図である。以後では、図５に示す第２正解データＣ２の生成処理について、図４の機能ブロックを参照して説明する。
【００４４】
この場合、学習データ生成装置１０の学習画像分配部１４は、正解対象の位置又は領域の情報を出力する学習モデルの学習に用いる学習画像群をサブ画像群「Ａ」とサブ画像群「Ｂ」とに分ける。そして、学習画像分配部１４は、２つの端末装置３０に対し、分割したサブ画像群を含む要求信号Ｓ１を送信する。図５の例では、作業者「α」が操作する端末装置３０がサブ画像群Ａを含む要求信号Ｓ１を受信し、サブ画像群Ａに対する第１正解データ「ＣＡ１」を生成する。また、作業者「β」が操作する端末装置３０がサブ画像群Ｂを含む要求信号Ｓ１を受信し、サブ画像群Ｂに対する第２正解データ「ＣＢ１」を生成する。
【００４５】
そして、第１正解データ取得部１５による第１正解データＣＡ１を含む応答信号Ｓ２及び第２正解データＣＢ１を含む応答信号Ｓ２の受信後、学習部１６は、第１正解データＣＡ１とサブ画像群Ａとの組に基づき識別器「ＡＡ」を生成し、第１正解データＣＢ１とサブ画像群Ｂとの組に基づき識別器「ＢＢ」を生成する。そして、識別部１７は、識別器ＡＡに対して識別器ＡＡの学習に用いなかったサブ画像群Ｂの各学習画像を入力することで、サブ画像群Ｂの各学習画像に対する識別結果「ＸＢ」を取得し、識別器ＢＢに対して識別器ＢＢの学習に用いなかったサブ画像群Ａの各学習画像を入力することで、サブ画像群Ａの各学習画像に対する識別結果「ＹＡ」を取得する。
【００４６】
そして、第２正解データ生成部１８は、識別結果ＸＢと第１正解データＣＢ１とを統合することで、サブ画像群Ｂの各学習画像に対する第２正解データ「ＣＢ２」を生成する。また、第２正解データ生成部１８は、識別結果ＹＡと第１正解データＣＡ１とを統合することで、サブ画像群Ａの各学習画像に対する第２正解データ「ＣＡ２」を生成する。
【００４７】
図６は、図５に示した第２正解データの生成処理を学習画像毎に示した図である。図６は、サブ画像群Ａに属する任意の学習画像「Ａａ」に対する第２正解データ「ＣＡａ２」の生成処理と、サブ画像群Ｂに属する任意の学習画像「Ｂｂ」に対する第２正解データ「ＣＢｂ２」の生成処理とをそれぞれ示している。
【００４８】
図６に示すように、学習部１６による学習後、識別部１７は、サブ画像群Ａに属する学習画像Ａａを、当該学習画像Ａａが学習に用いられていない識別器ＢＢに入力することで、識別結果「ＹＡａ」を取得する。また、学習画像Ａａに対する第１正解データ「ＣＡａ１」は、学習画像Ａａを表示した端末装置３０への正解対象の位置又は領域を指定する作業者αの入力に基づき生成されている。この場合、第２正解データ生成部１８は、識別器ＢＢが出力した学習画像Ａａに対する識別結果ＹＡａと、従業者αの操作に基づく第１正解データＣＡａ１とを統合する処理（例えば平均化処理等）を行うことで、学習画像Ａａに対する第２正解データＣＡａ２を生成する。
【００４９】
同様に、識別部１７は、サブ画像群Ｂに属する学習画像Ｂｂを、当該学習画像Ｂｂが学習に用いられていない識別器ＡＡに入力することで、識別結果「ＸＢｂ」を取得する。また、学習画像Ｂｂに対する第１正解データ「ＣＢｂ１」は、学習画像Ｂｂを表示した端末装置３０への正解対象の位置又は領域を指定する作業者βの入力に基づき生成されている。この場合、第２正解データ生成部１８は、識別器ＡＡが出力した学習画像Ｂｂに対する識別結果ＸＢｂと、従業者βの操作に基づく第１正解データＣＢｂ１とを統合する処理（例えば平均化処理等）を行うことで、学習画像Ｂｂに対する第２正解データＣＢｂ２を生成する。
【００５０】
（３）処理フロー
図７は、本実施形態における正解データ生成処理の手順を示すフローチャートの一例である。学習データ生成装置１０は、図７に示すフローチャートの処理を、正解対象の種類毎に実行する。
【００５１】
まず、学習データ生成装置１０の学習画像分配部１４は、対象となる正解対象が表示された学習画像群を学習画像記憶部２１から取得する（ステップＳ１０）。そして、学習画像分配部１４は、取得した学習画像群をＮ個のサブ画像群に分割し、Ｎ個存在する端末装置３０の各々に対して分割されたいずれかのサブ画像群を含む要求信号Ｓ１を送信する（ステップＳ１１）。
【００５２】
次に、学習データ生成装置１０の第１正解データ取得部１５は、Ｎ個に分けたサブ画像群に対する第１正解データを含む応答信号Ｓ２を、要求信号Ｓ１を受信した各端末装置３０から受信する（ステップＳ１２）。そして、第１正解データ取得部１５は、各端末装置３０から受信した要求信号Ｓ１に含まれる第１正解データＣ１を第１正解データ記憶部２２に記憶する。
【００５３】
そして、学習データ生成装置１０の学習部１６は、サブ画像群毎に第１正解データＣ１を用いて学習モデルを学習し、Ｎ個の識別器を生成する（ステップＳ１３）。これにより、Ｎ個のサブ画像群にそれぞれ対応するＮ個の識別器が生成される。そして、学習部１６は、生成したＮ個の識別器に関するパラメータ情報等を、識別器情報記憶部２３に記憶する。
【００５４】
そして、学習データ生成装置１０の識別部１７は、対象となる各学習画像を、当該学習画像を学習に用いなかったＮ−１個の識別器に入力することで、学習画像毎にＮ−１個の識別結果を取得する（ステップ１４）。そして、識別部１７は、取得した識別結果を識別結果記憶部２４に記憶する。
【００５５】
そして、学習データ生成装置１０の第２正解データ生成部１８は、対象となる学習画像毎に、ステップＳ１４で取得したＮ−１個の識別結果と、第１正解データＣ１とを平均処理などの統計的手法に基づき統合することで、第２正解データＣ２を生成し、第２正解データ記憶部２５に記憶する（ステップＳ１５）。
【００５６】
（４）効果
次に、本実施形態による効果について補足説明する。
【００５７】
一般に、学習により得られる識別器の精度は学習に用いる学習データの数や質の均一性に大きく依存する。よって、多くの学習データを均一な質により取得することが必要となる。一方、作業者が一人で正解付け作業を行う場合、学習データの質についてはある程度均一な質が保たれるものの、一人での作業のために時間がかかるという問題がある。一方、複数の作業者が作業を分担して正解付け作業を行う場合、複数人による分担を行うために作業時間を短縮することができる一方で、学習データの質が個人差等に起因してばらつきが生じるという問題がある。
【００５８】
以上を勘案し、本実施形態では、学習画像群を分割し、各学習画像の第２正解データＣ２を、対象の学習画像に対する作業者以外の作業者の入力による第１正解データＣ１に基づき学習した識別器の識別結果と第１正解データＣ１とを統合することで生成する。これにより、複数人で正解付与作業を行うことで作業時間を短縮しつつ、個性が過度に反映されない質が均一な学習データを得ることができる。
【００５９】
次に、第１正解データＣ１及び第２正解データＣ２の違いについて図８及び図９を参照して具体的に説明する。
【００６０】
図８（Ａ）は、図６に示すサブ画像群Ａに含まれる学習画像Ａａを示し、図８（Ｂ）は、図６に示すサブ画像群Ｂに含まれる学習画像Ｂｂを示す。ここでは、人の領域を正解対象の領域として抽出するものとし、図８（Ａ）に示される破線矩形の第１正解領域４１〜４３は、作業者αの入力に基づき指定された第１正解データＣ１（図６では第１正解データＣＡａ１）に基づき特定される正解対象の領域を示し、図８（Ｂ）に示される破線矩形の第１正解領域４４〜４７は、作業者βの入力に基づき指定された第１正解データＣ１（図６では第１正解データＣＢｂ１）に基づき特定される正解対象の領域を示す。
【００６１】
図８（Ａ）に示されるように、作業者αが設定した第１正解領域４１〜４３は、人を囲む最小の矩形領域となるように比較的小さめの矩形領域に設定されている。一方、図８（Ｂ）に示されるように、従業者βが設定した第１正解領域４４〜４７は、人の領域が確実に含まれるように人の領域に余白を加えた比較的大きめの矩形領域に設定されている。このように、作業者αと作業者βとでは、正解対象の領域の設定に個人差が生じている。
【００６２】
図９（Ａ）は、図８（Ａ）の学習画像Ａａを識別器ＢＢに入力した場合の識別結果ＹＡａに基づく一点鎖線の識別結果領域５１〜５３と、第２正解データＣ２（図６では第２正解データＣＡａ２）に基づき特定される第２正解領域６１〜６３とを明示した学習画像Ａａの表示例である。
【００６３】
識別器ＢＢは、図５及び図６において説明したように、図８（Ｂ）の学習画像Ｂｂを含むサブ画像群Ｂに対して従業者βが設定した第１正解データＣ１（図６では第１正解データＣＢｂ１）に基づき学習が行われている。よって、学習画像Ａａを識別器ＢＢに入力した場合に出力される識別結果ＹＡａに基づく識別結果領域５１〜５３は、図９（Ａ）に示されるように、従業者βによる正解付け作業の個性が反映された比較的大きめの矩形領域となる。従って、識別結果領域５１〜５３は、それぞれ、作業者αが設定した第１正解領域４１〜４３よりも大きい領域となる。
【００６４】
一方、学習画像Ａａに対する第２正解データＣ２（図６では第２正解データＣＡａ２）は、識別器ＢＢの識別結果ＹＡａと、作業者αの入力に基づく第１正解データＣ１（図６では第１正解データＣＡａ１）とを平均化処理等により統合したデータとなる。よって、第２正解データＣ２に対応する第２正解領域６１〜６３は、いずれも、対応する第１正解領域４１〜４３よりも大きい領域であって、対応する識別結果領域５１〜５３よりも小さい領域となり、対象となる人を確実に含む領域となっている。
【００６５】
図９（Ｂ）は、図８（Ｂ）の学習画像Ｂｂを識別器ＡＡに入力した場合の識別結果ＸＢｂに基づく一点鎖線の識別結果領域５４〜５７と、第２正解データＣ２（図６では第２正解データＣＢｂ２）に基づき特定される第２正解領域６４〜６７とを明示した学習画像Ｂｂの表示例である。
【００６６】
識別器ＡＡは、図５及び図６において説明したように、図８（Ｂ）の学習画像Ａａを含むサブ画像群Ａに対して従業者αが設定した第１正解データＣ１（図６では第１正解データＣＡａ１）に基づき学習が行われている。よって、学習画像Ｂｂを識別器ＡＡに入力した場合に出力される識別結果ＸＢｂに基づく識別結果領域５４〜５７は、図９（Ｂ）に示されるように、従業者αによる正解付け作業の個性が反映された比較的小さい矩形領域となる。従って、識別結果領域５４〜５７は、それぞれ、作業者βが設定した第１正解領域４４〜４７よりも大きい領域となる。
【００６７】
一方、学習画像Ｂｂに対する第２正解データＣ２（図６では第２正解データＣＢｂ２）は、識別器ＡＡの識別結果ＸＢｂと、作業者βの入力に基づく第１正解データＣ１（図６では第１正解データＣＢｂ１）とを平均化処理等により統合されたデータとなる。よって、第２正解データＣ２に対応する第２正解領域６４〜６７は、いずれも、対応する第１正解領域４４〜４７よりも小さい領域であって、対応する識別結果領域５４〜５７よりも大きい領域となり、対象となる人を確実に含む領域となっている。
【００６８】
このように、学習データ群の正解付け作業を分担して行う作業者αと作業者βとにおいて、正解対象の領域の設定に個人差が存在する場合であっても、学習データ生成装置１０は、個人差を吸収した均一な第２正解データＣ２を各学習画像に対して好適に設定することができる。具体的には、作業者αが正解付け作業を行ったサブ学習群Ａの各学習画像の第２正解データＣ２と、作業者βが正解付け作業を行ったサブ画像群Ｂの各学習画像の第２正解データＣ２とは、いずれも作業者α及び作業者βの個性を両方勘案した均一な質のデータとなる。
【００６９】
［変形例］
次に、上述の実施形態に好適な変形例について説明する。以下に説明する変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【００７０】
（変形例１）
識別部１７は、各学習画像について、学習画像記憶部２１及び第１正解データ記憶部２２に記憶される学習データを用いずに学習モデルを学習することで得られた識別器（「他識別器」とも呼ぶ。）の識別結果をさらに取得してもよい。この場合、第２正解データ生成部１８は、他識別器の識別結果を第２正解データＣ２の生成に用いる。
【００７１】
図１０は、図５及び図６の例において、変形例１に基づく学習画像Ａａに対する第２正解データＣＡａ２の生成処理を示す図である。図１０において、他識別器「ＳＳ」は、サブ画像群Ａ及びサブ画像群Ｂ以外の画像群とそれに対する正解データの組である学習データに基づき識別器ＡＡ及び識別器ＢＢと同様の学習モデルを学習することで得られた識別器である。
【００７２】
この場合、学習データ生成装置１０は、学習画像Ａａを他識別器ＳＳに入力することで、識別結果「ＺＡａ」を取得する。そして、学習データ生成装置１０は、他識別器ＳＳから取得した識別結果ＺＡａと、識別器ＢＢが出力した識別結果ＹＡａと、従業者αの正解付け作業に基づく第１正解データＣＡａ１とを統合する処理（例えば平均化処理等）を行うことで、第２正解データＣＡａ２を生成する。
【００７３】
このように、本変形例によれば、学習データ生成装置１０は、学習画像記憶部２１及び第１正解データ記憶部２２に記憶される学習データ以外の学習データに基づき学習が行われた他識別器の識別結果をさらに考慮して第２正解データＣ２を算出する。この態様によっても、学習データ生成装置１０は、正解付け作業の個性を除いた均一な質の学習データを好適に取得することができる。
【００７４】
（変形例２）
図７のステップＳ１４に関する説明によれば、識別部１７は、各学習画像について、対象の学習画像が属するサブ画像群以外のサブ画像群により学習されたＮ−１個の識別器に対する識別結果を取得した。これに代えて、識別部１７は、Ｎが３以上の場合には、各学習画像について、対象の学習画像が属するサブ画像群以外のサブ画像群により学習されたＮ−２個以下の識別器に対する識別結果を取得してもよい。即ち、識別部１７は、各学習画像について、対象の学習画像が属するサブ画像群以外のサブ画像群により学習された少なくとも１つ（即ち１個以上Ｎ−１個以下）の識別器の識別結果を取得すればよい。
【００７５】
例えば、サブ画像群Ａ、サブ画像群Ｂ、サブ画像群Ｃが存在し、それぞれのサブ画像群により学習された識別器を識別器ＡＡ、識別器ＢＢ、識別器ＣＣとする。この場合、学習データ生成装置１０は、サブ画像群Ａの学習画像の第２正解データＣ２を、当該学習画像に対する第１正解データＣ１と、当該学習画像を識別器ＢＢに入力した場合の識別結果又は当該学習画像を識別器ＣＣに入力した場合の識別結果の少なくとも一方とを統合（例えば平均化処理）することで生成する。同様に、学習データ生成装置１０は、サブ画像群Ｂの学習画像の第２正解データＣ２を、当該学習画像を識別器ＡＡに入力した場合の識別結果又は当該学習画像を識別器ＣＣに入力した場合の識別結果の少なくとも一方を用いて算出する。また、学習データ生成装置１０は、サブ画像群Ｃの学習画像の第２正解データＣ２についても、当該学習画像を識別器ＡＡに入力した場合の識別結果又は当該学習画像を識別器ＢＢに入力した場合の識別結果の少なくとも一方を用いて算出する。
【００７６】
なお、学習データ生成装置１０は、第２正解データＣ２の生成に用いる識別器の選択を、無作為に行ってもよく、所定の規則に基づき実行してもよい。また、学習データ生成装置１０は、第２正解データＣ２の生成に用いる識別結果の個数を、例えば、予め定めた個数に設定してもよく、ユーザ入力に基づき設定された個数に設定してもよい。
【００７７】
本変形例によっても、学習データ生成装置１０は、正解付与作業を行う特定の作業者の個性に依存しない第２正解データＣ２を好適に生成することができる。
【００７８】
（変形例３）
学習データ生成システム１００は、正解付与作業を行う作業者がそれぞれ使用する端末装置３０毎にサブ画像群を分配する処理を行った。しかし、本発明が適用可能な形態はこれに限定されない。
【００７９】
例えば、学習データ生成装置１０は、同一の端末装置３０に対してサブ画像群を含む要求信号Ｓ１を、異なる日又は時間帯により複数回に分けて送信してもよい。この場合、端末装置３０は、要求信号Ｓ１を受信する毎に、当該要求信号Ｓ１に含まれるサブ画像群の各学習画像に対する第１正解データＣ１を含む応答信号Ｓ２を作業者の入力に基づき生成し、応答信号Ｓ２を学習データ生成装置１０へ送信する。そして、学習データ生成装置１０は、図７のステップＳ１３に基づき、各要求信号Ｓ１に含めたサブ画像群毎に識別器の学習を行い、その後ステップＳ１４及びステップＳ１５の処理を行うことで第２正解データＣ２を生成する。
【００８０】
このように、学習データ生成装置１０は、第１正解データＣ１を、同一の作業者の操作に基づき他の日にち又は時間帯で生成された第１正解データＣ１で学習された識別器の識別結果と統合することで、第２正解データＣ２を生成する。これにより、同一の作業者であっても、正解付与作業を行う日にち又は時間帯によって第１正解データの質に差が生じる可能性を勘案し、均一な質となる第２正解データＣ２を好適に生成することができる。この例においては、正解付与作業を行う作業者は１人であってもよく、端末装置３０は１台のみであってもよい。
【００８１】
他の例では、学習データ生成装置１０は、正解付与作業を行う作業者の属性（例えば、年齢層、視力、経験年数、所属する会社等）に基づき、サブ画像群の分割数Ｎを決定してもよい。
【００８２】
第１の例として、作業者が所属する会社の数に応じてサブ画像群の分割数Ｎを決定する場合について検討する。ここで、作業者が所属する会社が２社（ここでは「ｖ社」、「ｗ社」とする。）存在する場合には、学習データ生成装置１０は、サブ画像群の分割数Ｎを２に設定し、正解対象の種類毎に、学習画像記憶部２１に登録された学習画像を２つのサブ画像群に分割する。
【００８３】
図１１は、変形例３における学習データ生成システム１００Ａの概略構成を示す。図１１の例では、学習データ生成システム１００Ａは、ｖ社が管理する管理装置７０Ａと、ｗ社が管理する管理装置７０Ｂとを有し、各管理装置７０Ａ、７０Ｂは、それぞれ、正解付け作業の作業者である自社の従業員が使用する１又は複数の端末装置３０と接続している。
【００８４】
この場合、学習データ生成装置１０は、分割した一方のサブ画像群を含む要求信号Ｓ１を管理装置７０Ａに送信し、他方のサブ画像群を含む要求信号Ｓ１を管理装置７０Ｂに送信する。そして、各管理装置７０Ａ、７０Ｂは、要求信号Ｓ１に含まれるサブ画像群を自社の従業員が使用する端末装置３０にそれぞれ分割して送信する。そして、その応答として、各管理装置７０Ａ、７０Ｂは、分割されたサブ画像群に対する第１正解データＣ１に関する情報を各端末装置３０から受信する。そして、管理装置７０Ａ、７０Ｂは、各端末装置３０から収集した第１正解データＣ１を含む応答信号Ｓ２を学習データ生成装置１０に送信する。学習データ生成装置１０は、ｖ会社に分配したサブ画像群とその第１正解データＣ１の組と、ｗ会社に分配したサブ画像群とその第１正解データの組とを用いて２つの識別器を生成する。その後、学習データ生成装置１０は、図７のステップＳ１４及びステップＳ１５と同様の処理を実行することで、各学習画像に対する第２正解データＣ２を生成する。
【００８５】
第２の例として、作業者の年齢層に応じてサブ画像群の分割数Ｎを決定する場合について検討する。例えば、第１年齢層と第２年齢層とで２つのサブ画像群に分割した場合、学習データ生成装置１０は、第１年齢層に属する作業者の数と、第２年齢層に属する作業者の数とをそれぞれ認識し、それぞれの作業者の数に応じてサブ画像群をさらに分割する。この場合、例えば、学習データ生成装置１０は、各作業者の年齢情報を含む属性情報及び各作業者が使用する端末装置３０の通信アドレス情報等をメモリ１２等に予め記憶しておく。そして、学習データ生成装置１０は、分割したサブ画像群を含む要求信号Ｓ１を各作業者の端末装置３０に送信し、送信先の端末装置３０の各々から応答信号Ｓ２を受信する。その後、学習データ生成装置１０は、第１年齢層に分配したサブ画像群とその第１正解データＣ１の組と、第２年齢層に分配したサブ画像群とその第１正解データＣ１の組とを用いて２つの識別器を生成する。その後、学習データ生成装置１０は、図７のステップＳ１４及びステップＳ１５と同様の処理を実行することで、第２正解データＣ２を生成する。
【００８６】
このように、作業者の年齢層、性別、所属する会社などの特定の属性に基づき、サブ画像群の分割数Ｎを決定した場合においても、特定の属性の違いに基づく正解データの質のばらつきを好適に低減した第２正解データＣ２を生成することができる。
【００８７】
（変形例４）
図１に示す学習データ生成システム１００の構成は一例であり、本発明を適用可能な構成はこれに限定されない。
【００８８】
例えば、学習データ生成装置１０は、複数の装置により構成されてもよい。例えば、学習データ生成装置１０は、学習画像分配部１４の機能を有する装置、第１正解データ取得部１５の機能を有する装置、学習部１６の機能を有する装置、識別部１７の機能を有する装置、及び第２正解データ生成部１８の機能を有する装置から構成されてもよい。この場合、これらの各装置は、各装置が予め定め割り当てられた処理を実行するために必要な情報の授受を他の装置と行う。
【００８９】
（変形例５）
学習データ生成装置１０は、学習画像毎に生成した第２正解データＣ２と第１正解データＣ１との差に基づき、当該第１正解データＣ１を生成した端末装置３０の作業者に対する評価値をさらに算出してもよい。この場合、学習データ生成装置１０は、次回以降に各作業者が正解付け作業を担当する学習画像の分配量（即ちサブ画像群の画像数）に当該評価値を反映させてもよい。
【００９０】
図１２は、変形例５における学習データ生成装置１０の機能ブロックを示す。図１２の例では、記憶装置２０は、作業者毎の評価値を記憶するための評価値記憶部２６を有する。また、第１正解データ記憶部２２には、第１正解データＣ１が、当該第１正解データＣ１の正解付け作業を行う作業者の識別情報と関連付けられている。
【００９１】
また、学習データ生成装置１０は、評価部４９を有する。評価部４９は、第１正解データ記憶部２２及び第２正解データ記憶部２５を参照することで、作業者毎に、各学習画像の第１正解データＣ１と第２正解データＣ１との差の代表値（例えば平均値）を算出する。そして、評価部４９は、算出した差の代表値に基づき各作業者の評価値を算出し、算出した評価値を評価値記憶部２６に記憶する。この場合、例えば、評価部４９は、予め定めた算出式等に従い、算出した差の代表値が小さい程、評価値が高くなるように、評価値を算出する。
【００９２】
そして、学習画像分配部１４は、次回の要求信号Ｓ１の送信処理を行う場合に、評価値記憶部２６を参照することで、要求信号Ｓ１の送信先の端末装置３０に対応する作業者の評価値を認識する。そして、学習画像分配部１４は、評価値が高い作業者の端末装置３０ほど、送信する要求信号Ｓ１に含めるサブ画像群の画像数を多くする。例えば、この場合、学習画像分配部１４は、最も評価値が高い作業者の端末装置３０に対しては、要求信号Ｓ１に含めるサブ画像群の画像数を均等に分配した場合の数よりも所定割合だけ多くし、最も評価値が低い作業者の端末装置３０に対しては、要求信号Ｓ１に含めるサブ画像群の画像数を均等に分配した場合の数よりも所定割合だけ少なくする。
【００９３】
この態様によれば、学習データ生成装置１０は、作業者に対して正解付け作業に対する評価付けを好適に行い、作業ミス等が多い作業者に対して分配する学習画像の画像数を意図的に少なくするなどの対応を行うことができる。これにより、学習データ生成装置１０は、より高精度に第２正解データＣ２を生成することができる。
【００９４】
（変形例６）
学習データ生成装置１０は、学習画像分配部１４に相当する機能を有しなくともよい。
【００９５】
図１３は、変形例６における学習データ生成装置１０の機能ブロック図である。図１３の例では、学習画像分配部１４がサブ画像群を含む要求信号Ｓ１を各端末装置３０に送信する代わりに、各端末装置３０が学習画像記憶部２１を参照することで、それぞれが第１正解データを付与すべきサブ画像群を取得する。この場合、例えば、端末装置３０は、例えば、予め通知された所定のＵＲＬ等を参照することで、それぞれが取得すべきサブ画像群を学習画像記憶部２１から取得する。そして、端末装置３０は、学習画像記憶部２１から取得したサブ画像群の各学習画像を表示し、作業者による入力を受け付けることで、第１正解データＣ１を生成する。そして、端末装置３０は、第１正解データＣ１を含む応答信号Ｓ２を学習データ生成装置１０へ送信する。
【００９６】
その他、上記の実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【００９７】
［付記１］
学習データ生成装置が実行する生成方法であって、
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得し、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成し、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得し、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する、生成方法。
【００９８】
［付記２］
前記識別結果を取得する処理は、前記学習画像の各々を、当該学習画像が属するサブ画像群以外の前記複数のサブ画像群の各々に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して前記識別結果を取得する、付記１に記載の生成方法。
【００９９】
［付記３］
前記第２正解データは、前記識別結果が示す値と、前記第１正解データが示す値とに基づき算出された代表値を示すデータである、付記１または２に記載の生成方法。
【０１００】
［付記４］
前記識別結果を取得する処理は、前記学習画像の各々について、前記少なくとも１つの識別器が出力する第１の識別結果と、前記サブ画像群を含まない学習データに基づき学習された識別器が出力する第２の識別結果とを取得し、
前記第２正解データを生成する処理は、前記学習画像の各々について、前記第１の識別結果と、前記第２の識別結果と、前記第１正解データとに基づき、前記第２正解データを生成する、付記１〜３のいずれか一項に記載の生成方法。
【０１０１】
［付記５］
前記サブ画像群毎に異なる状況は、前記第１正解データに関する入力を行う作業者が前記サブ画像群毎に異なる状況、前記第１正解データに関する入力を行う作業者の属性が前記サブ画像群毎に異なる状況、前記第１正解データに関する入力が行われる日又は時間帯が異なる状況の少なくともいずれかである、付記１〜４のいずれか一項に記載の生成方法。
【０１０２】
［付記６］
前記第１正解データを取得する処理は、前記複数のサブ画像群の各々を、端末装置に送信することで、前記端末装置から、前記サブ画像群に対する第１正解データを受信する、付記１〜５のいずれか一項に記載の生成方法。
【０１０３】
［付記７］
前記第１正解データを取得する処理は、正解付けする対象毎に、前記複数のサブ画像群の各々が同数の学習画像を含むように、前記学習画像群を分割する、付記１〜６のいずれか一項に記載の生成方法。
【０１０４】
［付記８］
前記第１正解データを取得する処理は、前記複数のサブ画像群の各々に対して前記第１正解データに関する入力を行う作業者に対する評価値に基づき、前記複数のサブ画像群の各々に含める前記学習画像の数を決定する、付記１〜６のいずれか一項に記載の生成方法。
【０１０５】
［付記９］
前記第２正解データと、前記第１正解データとの差に基づき、当該第１正解データに関する入力を行う作業者に対する評価値を決定する、付記８に記載の生成方法。
【０１０６】
［付記１０］
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得部と、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習部と、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別部と、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成部と、
を有する学習データ生成装置。
【０１０７】
［付記１１］
コンピュータが実行するプログラムであって、
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得部と、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習部と、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別部と、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成部
として前記コンピュータを機能させるプログラム。
【０１０８】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【０１０９】
１０  学習データ生成装置
１１、３１  プロセッサ
１２、３２  メモリ
１３、３３  インターフェース
２０  記憶装置
２１  学習画像記憶部
２２  第１正解データ記憶部
２３  識別器情報記憶部
２４  識別結果記憶部
２５  第２正解データ記憶部
３０  端末装置
１００、１００Ａ  学習データ生成システム
【図１】
2020183705.tif 000003
【図２】
2020183705.tif 000004
【図３】
2020183705.tif 000005
【図４】
2020183705.tif 000006
【図５】
2020183705.tif 000007
【図６】
2020183705.tif 000008
【図７】
2020183705.tif 000009
【図８】
2020183705.tif 000010
【図９】
2020183705.tif 000011
【図１０】
2020183705.tif 000012
【図１１】
2020183705.tif 000013
【図１２】
2020183705.tif 000014
【図１３】
2020183705.tif 000015
【手続補正書】
【提出日】令和3年6月23日(2021.6.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習データ生成装置が実行する生成方法であって、
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得し、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成し、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得し、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する、生成方法。
【請求項２】
前記識別結果を取得する処理は、前記学習画像の各々を、当該学習画像が属するサブ画像群以外の前記複数のサブ画像群の各々に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して前記識別結果を取得する、請求項１に記載の生成方法。
【請求項３】
前記第２正解データは、前記識別結果が示す値と、前記第１正解データが示す値とに基づき算出された代表値を示すデータである、請求項１または２に記載の生成方法。
【請求項４】
前記識別結果を取得する処理は、前記学習画像の各々について、前記少なくとも１つの識別器が出力する第１の識別結果と、前記サブ画像群を含まない学習データに基づき学習された識別器が出力する第２の識別結果とを取得し、
前記第２正解データを生成する処理は、前記学習画像の各々について、前記第１の識別結果と、前記第２の識別結果と、前記第１正解データとに基づき、前記第２正解データを生成する、請求項１〜３のいずれか一項に記載の生成方法。
【請求項５】
前記サブ画像群毎に異なる状況は、前記第１正解データに関する入力を行う作業者が前記サブ画像群毎に異なる状況、前記第１正解データに関する入力を行う作業者の属性が前記サブ画像群毎に異なる状況、前記第１正解データに関する入力が行われる日又は時間帯が異なる状況の少なくともいずれかである、請求項１〜４のいずれか一項に記載の生成方法。
【請求項６】
前記第１正解データを取得する処理は、前記複数のサブ画像群の各々を、端末装置に送信することで、前記端末装置から、前記サブ画像群に対する第１正解データを受信する、請求項１〜５のいずれか一項に記載の生成方法。
【請求項７】
前記第１正解データを取得する処理は、前記複数のサブ画像群の各々に対して前記第１正解データに関する入力を行う作業者に対する評価値に基づき、前記複数のサブ画像群の各々に含める前記学習画像の数を決定する、請求項１〜６のいずれか一項に記載の生成方法。
【請求項８】
前記第２正解データと、前記第１正解データとの差に基づき、当該第１正解データに関する入力を行う作業者に対する評価値を決定する、請求項７に記載の生成方法。
【請求項９】
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得手段と、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習手段と、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別手段と、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成手段と、
を有する学習データ生成装置。
【請求項１０】
コンピュータが実行するプログラムであって、
正解データが付与される対象となる複数の学習画像である学習画像群を分けた複数のサブ画像群の各々に対し、前記サブ画像群毎に異なる状況において生成された、学習画像毎の正解データである第１正解データを取得する第１正解データ取得手段と、
前記サブ画像群と、前記サブ画像群に対応する前記第１正解データとに基づき学習された識別器を、前記サブ画像群毎に生成する学習手段と、
前記学習画像の各々を、当該学習画像が属するサブ画像群以外の少なくとも１つの前記サブ画像群に基づき生成された前記識別器に入力することで、前記学習画像の各々に対して当該識別器が出力する識別結果を取得する識別手段と、
前記学習画像の各々について、前記識別結果と、前記第１正解データとに基づき、第２正解データを生成する第２正解データ生成手段
として前記コンピュータを機能させるプログラム。
【国際調査報告】
2020183705.tif 000016
2020183705.tif 000017