(57)【要約】【課題】  画像に含まれる事物の名称付与教師データ作成をクラウドソーシングで依頼する技術を提供する。【解決手段】  教師データの作成を、タスク単位で、回答可能な複数の回答者に依頼する。回答結果の確認はアンサンブル学習を用い、機械識別と並列で複数回答者の回答からアンサンブル学習で決し、回答者の信頼度を蓄積する。出題作成部180は受け取った画像から事物の境界を検知し、画像に含まれる全ての事物のロケーションごとに回答エリアを作成し、回答者入出力部181は、回答者状況把握部182から回答可能な回答者を探索し、出題を回答者端末10A〜10Cに表示する。回答者入出力部181は、表記ゆれを防ぐため、回答者端末からの入力文字列を語句補足部185に送り、名称辞書データ19から候補単語を選択し、回答者入出力部181を通じて回答者端末10A〜10Cに表示し、回答を得、回答統合部21に送る。【選択図】図２
2017211689.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる1つ以上の特定分野の事物の名称を回答する画像処理システムであって、
依頼される特定分野の画像データを取り込む依頼画像取込部と、
インターネット等から所定の特定分野のラベル無し画像データを取り込み、教師なしデータとして蓄積するラベル無し画像取り込み部と、
画像に含まれる1つ以上の特定分野の事物の名称を、回答可能な複数の回答者端末に出題して回答を得るクラウドソーシング部と、
画像に含まれる1つ以上の特定分野の事物の名称を、機械識別する複数の機械識別部と、
クラウドソーシングで得られた複数の回答と、機械識別を行った識別結果を、回答が規定数揃うまで統合前回答として一時保管し、回答が規定数揃った時点でアンサンブル学習として結果の統合を行い、識別結果データとして記録し、機械識別部に学習指示を行う、結果統合部と、
依頼された特定分野の画像の場合、識別結果として画像識別依頼者端末に表示する、識別結果回答部と、
を備えることを特徴とする分類モデル学習装置。
【請求項２】
前記クラウドソーシング部では、あらかじめ回答者端末ごとの信頼度データを有しており、
回答者端末に問い合わせ、回答者端末が回答可能状態か、回答不可状態かを把握し、回答可能な状態の回答者端末の中で、信頼度にもとづいてより信頼度の高い、規定の数の回答者端末に回答を依頼することを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項３】
前記クラウドソーシング部では、
回答者が画像に含まれる1つ以上の特定分野の事物について、もれなく回答を得ることができるよう、画像内の境界を検知し、画像内における事物のロケーション単位で回答欄を作成することを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項４】
前記クラウドソーシング部では、
複数の前記回答者端末から得る回答の表記ゆれを防ぐため、回答依頼する特定分野の名称辞書データから、入力文字列前方一致で、名称候補を示唆することを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項５】
インターネット等に存在する、特定分野の事物が含まれる画像をクローラー探索し、教師なしデータとして蓄積する、ラベル無し画像取込部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項６】
前記ラベル無し画像取込部で取り込んだ教師なしデータを、機械識別部と、クラウドソーシング部に回答依頼する、制御部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項７】
画像識別依頼者からの依頼画像を取り込む、依頼画像取込部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項８】
前記依頼画像取込部で取り込んだ画像識別依頼者からの依頼画像を、機械識別部と、クラウドソーシング部に回答依頼する、制御部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項９】
前記依頼画像取込部が取り込んだ画像識別依頼者からの依頼画像に対し、結果統合部が作成した識別結果を、識別結果回答部に回答依頼する、制御部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項１０】
前記結果統合部は、クラウドソーシング部で複数の回答者端末から得た複数の回答と、複数の機械識別部が識別した結果と、それぞれ統合前回答として一時保管し、
規定の回答数が集まるまでを監視し、
規定の回答数が集まった時点で、アンサンブル学習として結果の統合を行い、識別結果データとして記録する、結果統合部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項１１】
請求項10で、前記クラウドソーシング部により複数の回答者端末から得た複数の回答と、前記複数の機械識別部による機械学習が識別した結果とを結果統合し、
結果統合した識別結果と、回答者ごとの統合前回答データを比較し、識別結果として選択された回答者の信頼度をプラスし、識別結果として選択されなかった回答者の信頼度をマイナスする、
信頼度をスコアリングする結果統合部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項１２】
請求項10で、前記クラウドソーシング部により複数の回答者端末から得た複数の回答と、前記複数の機械識別部により機械学習が識別した結果とを結果統合し、得た識別結果データを、
前記機械識別部に対して、教師データとして送る、結果統合部を備えることを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項１３】
前記クラウドソーシング部において、
半教師あり学習で訓練を行った、畳み込みニューラルネットワークを、
画像に含まれる1つ以上の特定分野の事物について、もれなく回答を得ることができるよう、画像内の境界を検知する識別器として備えることを特徴とする、  
請求項3に記載の分類モデル学習装置。
【請求項１４】
クラウドソーシングで複数の回答者端末から得た複数の回答について、クラウドソーシングの複数の回答と、機械識別部の識別結果とでアンサンブル学習を行い、前記結果統合部で得られた結果を、前記制御部で、前記機械識別部で再学習指示することを特徴とする、
請求項1に記載の分類モデル学習装置。
【請求項１５】
クラウドソーシングで複数の回答者端末から得た複数の回答について、クラウドソーシングの複数の回答と、機械識別部の識別結果とでアンサンブル学習を行い、前記結果統合部で得られた結果を、前記制御部で、前記機械識別部で再学習指示することを特徴とする、
請求項1に記載の分類モデル学習方法。
【請求項１６】
クラウドソーシングで複数の回答者端末から得た複数の回答について、クラウドソーシングの複数の回答と、機械識別部の識別結果とでアンサンブル学習を行い、前記結果統合部で得られた結果を、前記制御部で、前記機械識別部で再学習指示することを特徴とする、
請求項1に記載の分類モデル学習プログラム。
【請求項１７】
画像内に含まれる1つ以上の特定分野の事物の名称を、クラウドソーシングで複数の回答者端末から回答を取集し、
クラウドソーシングの複数の回答と、機械識別部の識別結果の識別結果とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする、
請求項1に記載の画像処理装置。
【請求項１８】
画像内に含まれる1つ以上の特定分野の事物の名称を、クラウドソーシングで複数の回答者端末から回答を収集し、
クラウドソーシングの複数の回答と、機械識別部の識別結果とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする、
請求項1に記載の画像処理方法。
【請求項１９】
画像内に含まれる1つ以上の特定分野の事物の名称を、クラウドソーシングで複数の回答者端末から回答を収集し、
クラウドソーシングの複数の回答と、機械識別部とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする、
請求項1に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、教師データの作成をクラウドソーシングし、アンサンブル学習によって機械識別結果と統合し、より精度の高い教師データの作成を行う分類モデル学習装置及び分類モデル学習方法に関するものである。
【背景技術】
【０００２】
従来、画像に写っている被写体の分類だけであれば、教師なし学習が利用できるが、クラスタリング、パターンマイニングはできても、被写体の名称については分からない。
【０００３】
従来、画像に写っている被写体の名称は、教師あり学習で教師データという形で画像にラベル付けるという方法で正解を与えて学習させる。
【０００４】
一方、近年大量の画像データの入手が可能となった反面、教師データ作成コストは大きな改善はなく、半教師あり学習が実用化され、教師データとラベル無しデータのいずれも学習データとして使用できる。
【０００５】
しかし、半教師あり学習においても、一般には教師データが多いほうが精度は向上することが認められている。
【０００６】
アンサンブル学習は、精度の低い識別器を弱識別器(weak learner)として複数用い、多数決で結果を統合することで識別精度を向上する。
【０００７】
複数の弱識別器の出力である弱仮説の多数決により識別を行う識別器の学習を行うアンサンブル学習(Ensemble learning)としては、例えば、ブースティング(boosting)や、バギング(bagging)やAdaboostなどがある。
【０００８】
特許文献1、特許文献2にて開示された手法は、教師データを初期カテゴリと分類カテゴリを比較し、初期カテゴリと分類カテゴリが異なる場合に、対象画像群から除去する純化処理と、初期カテゴリと分類カテゴリが等しい場合に、除去画像を除去画像群から削除するとともに対象画像群に戻す非純化処理を行うことで、教師データを容易に作成する方法である。
【０００９】
また、特許文献3にて開示された手法は、質の悪い教師データが含まれていても精度の良い分類モデルを構築する方法であり、ラベル付けの信頼度が所定の基準を満たすエキスパートデータおよびラベル付けの信頼度が不明な非エキスパートデータの各々が、対応する座標を取得して非エキスパートデータからエキスパートデータまでの距離を各々算出し、所定の規則に当てはめて近傍距離を定義する。次に、選択した非エキスパートデータから近傍距離の範囲内にあるエキスパートデータを探索して同ラベル確率を算出し、付されたラベルが近傍距離の範囲内にあるエキスパートデータのラベルに一致する確率に基づく信頼度関数に当てはめて非エキスパートデータの信頼度を決定し、付加する。そして、エキスパートデータ
および信頼度が付加された非エキスパートデータに基づいて所望のデータにラベル付けを行う分類モデルを学習する方法である。
【００１０】
特許文献4では、クラウドソーシングにおいて、不特定多数かつ多様な作業者の中で、高スキルの作業者を、作業に応じて機械的に推定した学習タスク情報を割り当て、その学習タスクの順位と作業タスク情報をソートし、作業者ごとのスキルとして評価する方法である。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１４−１４２８７１号公報
【特許文献２】特開２０１６−５１４２９号公報
【特許文献３】特開２００９−２８２６８６号公報
【特許文献４】特開２０１５−２００９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
近年、記憶媒体の大容量低コスト化と情報ネットワーク基盤の発達に伴い、大量の文字、画像等のデータを収集し蓄積することが可能になった。
【００１３】
常に増加し続ける大量のデータを人の手によって一つ一つ分析するのは非常に人的コストが高く現実的ではない。
【００１４】
データ量の増加によって、教師データが無くても学習可能な問題では精度の向上が見込める一方で、教師データが必要な問題においては人的コストの関係で十分な教師データが用意できず、精度の向上が難しい傾向にある。
【００１５】
具体的には文章や音声、画像等の機械的な特徴抽出が難しいデータや逐次的なサンプルの増加によってサンプル群の分布が変化するデータ等、教師データ無しでの学習が難しいデータである。
【００１６】
例えば、特許文献1、及び特許文献2では、特定の教師データ作成者に対する教師データ作成支援方法であって、特許文献1、及び特許文献2が目的とする機械分類器が行う欠陥画像の分類においては効果があるが、本発明が目的とする、画像に含まれる1つ以上の特定分野の事物の名称を回答する画像識別においては、画像に含まれる事物に対してラベル付けする教師データを作成することができない。
【００１７】
また、特許文献3では、エキスパートが作成した質の高い少量のラベル付け教師データである「エキスパートデータ」と、非エキスパートが作成した大量のラベル付け教師データである「非エキスパートデータ」を比較し、ユーグリッド距離などで「エキスパートデータ」近傍にある「非エキスパートデータ」の信頼度を高く評価する方法であるが、教師データの評価方法であり、逐次増加するサンプル群によって分布が変化するデータ等では、適用しにくい。
【００１８】
逐次増加するサンプル群に対しては、クラウドソーシングによって逐次作業する方法が考えられるが、特許文献4によれば、作業者のスキルを評価し、高スキルの作業者を選択する方法であり、本発明の目的とする、教師データ作成のクラウドソーシングにおける機械識別器の機械識別精度向上、及びアンサンブル学習による、タスクとしての識別精度向上とは異なり、実現する方法は作業者への作業タスクの割り振りのみである。
【００１９】
一方で、少ない教師データで十分な精度を得る為に、一部の教師データと多くの教師無しデータを用いて精度向上を目指す学習手法である半教師有り学習が研究されている。
【００２０】
一般的には、半教師あり学習においても、教師データが多いほうが識別の精度が高くなることが知られている。
【００２１】
本発明の目的は、画像識別問題において、機械的な特徴抽出が難しいデータや、逐次的なサンプルの追加によってサン プル群の分布が変化するデータ等、従来の機械学習手法によって適用が困難であったデータに対し、クラウドソーシングによって精度不明な教師データを生成し、クラスタアンサンブルの枠組みにAdaBoostを応用したアンサンブル学習を行い、教師ありデータを作成し、教師あり学習を行うことで、学習を補佐し精度を向上する手法を提案する。
【課題を解決するための手段】
【００２２】
上記目的を達成するために、本発明は、画像に含まれる1つ以上の特定分野の事物の名称を回答する画像処理システムであって、依頼される特定分野の画像データを取り込む依頼画像取込部と、インターネット等から指定の分野の画像データを取り込み、教師なしデータとして蓄積するラベル無し画像取り込み部と、画像に含まれる1つ以上の特定分野の事物の名称を、回答可能な複数の回答者端末に出題して回答を得るクラウドソーシング部と、画像に含まれる1つ以上の特定分野の事物の名称を、機械識別する複数の機械識別部と、クラウドソーシングで得られた複数の回答と、機械識別を行った識別結果を、回答が規定数揃うまで統合前回答として一時保管し、回答が規定数揃った時点でアンサンブル学習として結果の統合を行い、識別結果データとして記録し、機械識別部に学習指示を行う、結果統合部と、依頼された画像の場合、識別結果として画像識別依頼者端末に表示する、識別結果回答部と、を備えることを特徴とする分類モデル学習装置である。
【００２３】
前記クラウドソーシング部では、あらかじめ回答者端末ごとの信頼度データを有しており、回答者端末が回答可能状態か、回答不可状態かを把握し、回答可能な状態の回答者端末の中で、信頼度にもとづいてより信頼度の高い、規定の数の回答者端末に回答を依頼することを特徴とする、
請求項1に記載の分類モデル学習装置である。
【００２４】
前記クラウドソーシング部では、回答者が画像に含まれる1つ以上の特定分野の事物について、もれなく回答を得ることができるよう、画像内の境界を検知し、画像内における事物のロケーション単位で回答欄を作成することを特徴とする分類モデル学習装置である。
【００２５】
前記クラウドソーシング部では、複数の回答者から得る回答の表記ゆれを防ぐため、回答依頼する特定分野の名称辞書データから、入力文字列前方一致で、名称候補を示唆することを特徴とする分類モデル学習装置である。
【００２６】
インターネット等に存在する、特定分野の事物が含まれる画像をクローラー探索し、教師なしデータとして蓄積する、ラベル無し画像取込部を備えることを特徴とする分類モデル学習装置である。
【００２７】
前記ラベル無し画像取込部で取り込んだ教師なしデータを、機械識別部と、クラウドソーシング部に回答依頼する、制御部を備えることを特徴とする分類モデル学習装置である。
【００２８】
画像識別依頼者からの依頼画像を取り込む、依頼画像取込部を備えることを特徴とする
分類モデル学習装置である。
【００２９】
画像識別依頼者からの依頼画像を、機械識別部と、クラウドソーシング部に回答依頼する、制御部を備えることを特徴とする分類モデル学習装置である。
【００３０】
画像識別依頼者からの依頼画像を、結果統合部が作成した識別結果を、識別結果回答部に回答依頼する、制御部を備えることを特徴とする分類モデル学習装置である。
【００３１】
クラウドソーシング部で複数の回答者から得た複数の回答と、複数の機械識別部が識別した結果を、それぞれ統合前回答として一時保管し、規定の回答数が集まるまでを監視し、規定の回答数が集まった時点で、アンサンブル学習として結果の統合を行い、識別結果データとして記録する、結果統合部を備えることを特徴とする分類モデル学習装置である。
【００３２】
クラウドソーシング部で、複数の回答者端末から得た複数の回答と、複数の機械学習が識別した結果とを結果統合し、結果統合した識別結果と、回答者端末ごとの統合前回答データを比較し、識別結果として選択された回答者端末の信頼度をプラスし、識別結果として選択されなかった回答者端末の信頼度をマイナスする、信頼度をスコアリングする結果統合部を備えることを特徴とする分類モデル学習装置である。
【００３３】
クラウドソーシング部で、複数の回答者端末から得た複数の回答と、複数の機械学習が識別した結果とを結果統合し、得た識別結果データを、機械識別部に対して、教師データとして送る、結果統合部を備えることを特徴とする分類モデル学習装置である。
【００３４】
画像に含まれる1つ以上の特定分野の事物について、回答者端末からもれなく回答を得ることができるよう、画像内の境界を検知する識別器と、制御部に依頼された画像識別を行う、機械識別部に、半教師あり学習で訓練を行った、畳み込みニューラルネットワークを備えることを特徴とする分類モデル学習装置である。
【００３５】
クラウドソーシングで複数の回答者から得た複数の回答について、クラウドソーシングの複数の回答と、機械識別部とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする分類モデル学習装置である。
【００３６】
クラウドソーシングで複数の回答者から得た複数の回答について、クラウドソーシングの複数の回答と、機械識別部とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする分類モデル学習方法である。
【００３７】
クラウドソーシングで複数の回答者から得た複数の回答について、クラウドソーシングの複数の回答と、機械識別部とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする分類モデル学習プログラムである。
【００３８】
画像内に含まれる1つ以上の特定分野の事物の名称を、クラウドソーシングで複数の回答者に回答させ、クラウドソーシングの複数の回答と、機械識別部とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする画像処理装置である。
【００３９】
画像内に含まれる1つ以上の特定分野の事物の名称を、クラウドソーシングで複数の回答者に回答させ、クラウドソーシングの複数の回答と、機械識別部とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする画像処理方法である。
【００４０】
画像内に含まれる1つ以上の特定分野の事物の名称を、クラウドソーシングで複数の回答者に回答させ、クラウドソーシングの複数の回答と、機械識別部とでアンサンブル学習を行い、得られた結果を機械識別部で再学習することを特徴とする画像処理プログラムである。
【発明の効果】
【００４１】
本発明の請求項１によれば、弱教師データをクラウドソーシングにより入手し、アンサンブル学習により精度を高め、教師データとすることができ、同時に画像識別の結果を得ることができる。
【図面の簡単な説明】
【００４２】
【図１】本実施形態に係る学習装置の概略を示すブロック図である。
【図２】クラウドソーシング部18の概略を示すブロック図である。
【図３】アンサンブル学習における機械識別部をありなしでシミュレーションしたグラフである。
【図４】アンサンブル学習における機械識別部個数を可変にしたシミュレーショングラフである。
【図５】結果統合部21の概略を示すブロック図である。
【図６】信頼度データ22のレコード図である。
【図７】統合前回答データ23の回答状況レコード、統合前回答レコードのレコード図である。
【図８】識別結果データ24のレコード図である。
【発明を実施するための形態】
【００４３】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００４４】
図１は、本発明の一実施の形態を示すシステム構成図である。
【００４５】
図１は、回答者端末10A〜10C、画像識別依頼者端末11、インターネット12、制御部13、ラベル無し画像取込部14、教師なしデータ15、依頼画像取込部16、識別結果回答部17、クラウドソーシング部18、名称辞書データ19、機械識別部20A〜20B、結果統合部21、信頼度データ22、統合前回答データ23、識別結果データ24から構成される、分類モデル学習装置、画像処理装置を示すブロック図である。
【００４６】
回答者端末10A〜10Cは、クラウドソーシングを請け負う回答者が使用する端末であり、クラウドソーシング部18から、画像データに含まれる1つ以上の特定分野の事物の名称を、全て回答するために使用する。
【００４７】
画像識別依頼者端末11は、画像内に含まれる1つ以上の特定分野の事物の名称を知りたい依頼者が、画像送信、識別結果受信のために使用する。
【００４８】
制御部13は、当該分類モデル学習装置、及び画像処理装置の全体の制御を行う。
【００４９】
ラベル無し画像取込部14は、インターネット上から指示した特定分野の画像データを収集し、教師なしデータ15として記録する。
【００５０】
依頼画像取込部16は、画像識別依頼者端末11から送られた画像の取り込みを行い、制御部13に渡す。
【００５１】
識別結果回答部17は、画像識別依頼者端末11から送られた画像の識別結果を制御部13から受け取り、画像識別依頼者端末11に回答する。
【００５２】
クラウドソーシング部18は、制御部13から渡される教師なしデータ画像、あるいは識別依頼画像を回答者の持つ回答者端末10A〜10Cに送り、回答を受け取る。
【００５３】
クラウドソーシング部18は、回答者の表記ゆれを防ぐため、回答者端末10A〜10Cで入力途中の文字列を受け取り、名称辞書データ19から候補を示唆し、表記ゆれを防ぐ。
【００５４】
機械識別部20A〜20Bは、半教師あり学習で作成された、畳み込みニューラルネットワークの識別器によって、制御部13から与えられる、教師なしデータ、及び識別依頼画像の識別を行い、結果統合部21に渡す。
【００５５】
結果統合部21は、クラウドソーシング部18が得た、複数回答者による複数の回答と、機械識別部20A〜20Bの識別結果を、統合前回答データ23に蓄積し、規定の回答数が揃った時点で逐次結果統合をアンサンブル学習によって行う。
【００５６】
結果統合部21は、結果統合によって選択された回答者の信頼度スコアをプラス、選択されなかった回答者の信頼度スコアをマイナスする、回答者信頼度スコアリングを行う。
【００５７】
結果統合部21は、機械識別部20A〜20Bに、識別結果データ24の未送信データを、教師ありデータとして送る。
【００５８】
機械識別部20A〜20Bは、結果統合部21から送られた教師ありデータを学習する。
【００５９】
図2は、クラウドソーシング部18の内部構成を示すブロック図であり、出題作成部180、回答者入出力部181、回答者状況把握部182、回答者リスト183、回答者決定部184、名称示唆部185を有する。
【００６０】
出題作成部180は、回答者が画像に含まれる1つ以上の特定分野の事物について、もれなく回答を得ることができるよう、画像内の境界を検知し、画像内における事物のロケーション単位で回答欄を作成する。
【００６１】
出題作成部180で、画像内の境界を検知し、画像内の事物のロケーションを得るため、機械識別部20A〜20Bと同等の学習を行った畳み込みニューラルネットワークを使用する。
【００６２】
回答者入出力部181は、サインイン状況を回答者状況把握部182に渡し、回答者決定部184から回答依頼すべき回答者端末10A〜10Cに回答依頼を送信する。
【００６３】
回答者入出力部181は、複数の回答者から得る回答の表記ゆれを防ぐため、名称示唆部185を使用し、入力文字列前方一致で、名称候補を示唆する。
【００６４】
回答者状況把握部182は、サインイン時には回答者リスト183から回答者のクレデンシャル情報を読み出し、サインイン可否を制御し、サインイン状況を回答者リスト183に記録する。
【００６５】
回答者状況把握部183は、サインアウト時あるいはタイムアウト時に、回答者リスト183にサインイン状況を記録する。
【００６６】
回答者決定部184は、回答者入出力部181からのリクエストに応じ、回答者リスト183と、信頼度データ22を参照し、回答可能な回答者の中から、より回答精度が高い回答者を選出する。
【００６７】
名称示唆部185は、回答者入出力部181からのリクエストに応じ、回答依頼する特定分野の名称辞書データ19から、入力文字列前方一致で、名称候補を示唆する。
【００６８】
回答者入出力部181は、回答者端末10A〜10Cから逐次得る回答を、結果統合部21に渡す。
【００６９】
図3、図4は、本発明において、仮想的な識別問題を実施した場合に、どの程度の精度が期待できるかをシミュレーションによって明らかにしたものである。
【００７０】
仮想的な分類問題は解答がyes/noである2値分類とし、各回答者と機械識別器は予め決められた正解率p (0.0~1.0)を持っており、与えられた問題に対して正解率pに基づき解答する。
【００７１】
識別器として使用する回答者と機械識別器は、それぞれ異なる正解率p を持っている。
【００７２】
本シミュレーションでは機械にくらべ人間が得意な分類問題を想定しており、回答者の正解率p は0.9前後、機械識別器は0.6-0.8程度を目安に設定した。
【００７３】
結果の統合は重み付き多数決により行っており、シミュレーション過程で得られた正解率pより重みwを求めた。
【００７４】
識別器は複数個存在しており、回答者群、機械識別器群に分けられる。一つの問題に対し、全ての識別器が利用されるのではなく、前述の重みwにより各識別器群から選出され処理される。
【００７５】
表（回答者数と精度の推移）に回答者数と最終分類結果の精度の関係を機械識別器の有無に分けて示す。精度の値は10,000個の問題処理を1セットとし100セット試行した際の最終的な正解率の平均である。この時の実験パラメータは下記の通りである。
【表１】
2017211689.tif 000003
【００７６】
ここでは識別器数を変動させながら検証し、回答者数と精度の関係と共に機械識別器の効果を明らかにする。図3に示す通り、基本的に回答者の数が多いほど高い精度が得られる。
【００７７】
実応用では回答者の正解率pはより高い精度が期待できることから、1つの問題に対し5〜7名程度の回答者が望ましい。
【００７８】
また、選出回答者数3で機械識別器有りの場合の精度が0.967なのに対し、選出回答者数5で機械識別器無しの場合の精度が0.973と、機械識別器の補助があることで少ない回答者でもほぼ同程度の精度を出すことが可能である。
【００７９】
表2に機械識別器の個体精度と精度の関係を識別器数別に示す。この時の実験パラメータは下記の通りである。
【表２】
2017211689.tif 000004
【００８０】
機械識別器の精度を変動させながら検証することで、機械識別器がどの程度の精度を確保すれば精度向上が期待できるかを明らかにする。
【００８１】
結果を図4に示す通り、機械識別器数が0の場合が回答者のみで分類した場合の精度で、これを基準に精度向上が期待できる機械識別器の精度を観ると、0.66程度以上の機械識別器を複数確保できれば精度向上が期待できることが分かる。
【００８２】
問題の種類やデータの良さにもよるが、多くの分類問題において機械学習を用いて0.66の精度を確保するのは比較的容易で、精度に貢献する細かいパラメータ調整等なしに達成できるレベルである。
【００８３】
半教師あり学習で0.66以上の精度まで畳み込みニューラルネットワーク機械識別器を学習させることで、本発明の実施は可能である。
【００８４】
図5は、結果統合部21の内部構成を示すブロック図であり、回答受付部210、アンサンブル学習部211、信頼度州西部212、教師データ転送部213を有する。
【００８５】
回答受付部210は、クラウドソーシング部18から、クラウドソーシングによって得た複数回答者の複数回答を、統合前回答結果23に逐次記録し、機械識別部20A〜20B から、機械識別結果を得、統合前回答結果23に逐次記録する。
【００８６】
アンサンブル学習部は、統合前回答データ23の回答状況を監視し、規定数の回答が揃った統合前回答から、Adaboostによるアンサンブル学習を行い、識別結果データ24に記録し、識別完了通知を制御部13に、信頼度修正部212には非選択回答者情報を、教師データ転送部213には、識別完了通知を送る。
【００８７】
信頼度修正部212は、アンサンブル学習部211から受けた非選択回答者情報をもとに、信頼度データ22に記録されている回答者ごとの信頼度スコアを変更する。
【００８８】
教師データ転送部213は、アンサンブル学習部211から受けた識別完了通知をもとに、識別結果データ24の当該識別結果を教師データとして、機械識別部20A〜20Bに送る。
【００８９】
図6は、信頼度データ22の回答者ごとの信頼度を記録するレコード情報である。
【００９０】
回答者ごとの信頼度は、回答者コードS220をキーとし、分野ごとにS221〜S226まで格納項目を持ち、汎用的な画像分類に対応する。
【００９１】
図7は、統合前回答データの回答状況レコードS2300〜S2308と、回答データ格納レコードS2309〜S2319を示す。本例示は、回答者数3、機械識別部を2とした例である。
【００９２】
回答状況レコードS2300〜S2308は、出題No.S2300をキーとし、回答者1回答者コードS2301、回答者1タイムスタンプS2302、回答者2回答者コードS2303、回答者2タイムスタンプS2304、回答3回答者コードS2305、回答者3タイムスタンプS2306、機械式識別部AタイムスタンプS2307、機械識別部BタイムスタンプS2308を有する。
【００９３】
回答状況レコードの各回答者1〜3は、先着順に使用する。
【００９４】
機械識別部AタイムスタンプS2307、機械識別BタイムスタンプS2308は、それぞれ機械識別部20A〜20Bに対応する。
【００９５】
回答者データ格納レコードS2309〜S2319は、出題No.S2309と、回答者コード/機械識別部コードS2310をキーとし、回答者/機械識別部タイムスタンプS2311を有する。
【００９６】
回答者データ格納レコードS2309〜S2319は、画像内に1つ以上の特定分野の事物の名称を回答することを前提とし、回答1〜回答mまでの画像内ロケーション情報と、回答項目を有する。回答1の場合は、回答1ロケーションS2312、回答1 S2313のセットである。
【００９７】
結果統合部21に含まれる回答受付部210は、クラウドソーシング部18、機械識別部20A〜20Bより、逐次回答が到着するたび、当該出題No.の回答状況レコードS2300〜S2308が存在をチェックし、存在しない場合、当該出題No.で回答状況レコードS2300〜S2308と、回答データ格納データS2309〜S2319を作成する。
【００９８】
当該回答の最初の到着が回答者の場合、回答者1回答者コードS2301に到着した回答者コードを、実施時間のタイムスタンプを回答者1タイムスタンプS2302に記録し、回答者コード/機械識別部コードS2310に回答者コードを記録し、回答者1タイムスタンプS2302から回答者/識別部タイムスタンプS2311にタイムスタンプを転記し、回答1ロケーションS2312〜回答m S2319まで回答を記録する。
【００９９】
当該回答の最初の到着が機械識別部20Aの場合、機械識別部AタイムスタンプS2307に、実施時間のタイムスタンプを記録し、回答者コード/機械識別部コードS2310に機械識別部Aの機械識別部コードを記録し、機械識別部AタイムスタンプS2307から回答者/識別部タイムスタンプS2311にタイムスタンプを転記し、回答1ロケーションS2312〜回答m S2319まで回答を記録する。
【０１００】
当該回答の最初の到着が機械識別部20Bの場合、機械識別部BタイムスタンプS2308に、実施時間のタイムスタンプを記録し、回答者コード/機械識別部コードS2310に機械識別部Bの機械識別部コードを記録し、機械識別部BタイムスタンプS2308から回答者/識別部タイムスタンプS2311にタイムスタンプを転記し、回答1ロケーションS2312〜回答m S2319まで回答を記録する。
【０１０１】
結果統合部21に含まれる回答受付部210は、クラウドソーシング部18、機械識別部20A〜20Bより、逐次回答が到着するたび、当該出題No.の回答状況レコードS2300〜S2308が存在をチェックし、存在する場合は、存在する回答状況レコードS2300〜S2308、回答データ格納レコードS2309〜S2319に回答を記録する。
【０１０２】
当該回答の回答者として2番目以降の到着の場合、回答者2の回答者コードをチェックし、未使用の場合は、回答者2回答者コードS2303に到着した回答者コードを、実施時間のタイムスタンプを回答者2タイムスタンプS2304に記録し、回答者コード/機械識別部コードS2310に回答者コードを記録し、回答者2タイムスタンプS2304から回答者/識別部タイムスタンプS2311にタイムスタンプを転記し、回答1ロケーションS2312〜回答m S2319まで回答を記録する。
【０１０３】
当該回答の2番目以降の到着が機械識別部20Aの場合、機械識別部AタイムスタンプS2307に、実施時間のタイムスタンプを記録し、回答者コード/機械識別部コードS2310に機械識別部Aの機械識別部コードを記録し、機械識別部AタイムスタンプS2307から回答者/識別部タイムスタンプS2311にタイムスタンプを転記し、回答1ロケーションS2312〜回答m S2319まで回答を記録する。
【０１０４】
当該回答の2番目以降の到着が機械識別部20Bの場合、機械識別部BタイムスタンプS2308に、実施時間のタイムスタンプを記録し、回答者コード/機械識別部コードS2310に機械識別部Bの機械識別部コードを記録し、機械識別部BタイムスタンプS2308から回答者/識別部タイムスタンプS2311にタイムスタンプを転記し、回答1ロケーションS2312〜回答m S2319まで回答を記録する。
【０１０５】
当該回答の回答者として3番目以降の到着の場合、回答者3の回答者コードをチェックし、未使用の場合は、回答者3回答者コードS2305に到着した回答者コードを、実施時間のタイムスタンプを回答者3タイムスタンプS2306に記録し、回答者コード/機械識別部コードS2310に回答者コードを記録し、回答者3タイムスタンプS2306から回答者/識別部タイムスタンプS2311にタイムスタンプを転記し、回答1ロケーションS2312〜回答m S2319まで回答を記録する。
【０１０６】
図8は、識別結果データ24の識別結果レコードの例示である。
【０１０７】
識別結果データ24は、出題No.S2401をキーとし、転送フラグS2402、画像データS2403、回答1ロケーションS2404、回答1 S2405〜回答mロケーションS2410、回答m S2411まで、m個の回答をロケーションごとに記録できる。
【０１０８】
結果統合部21に含まれるアンサンブル学習部211は、アンサンブル学習により識別した画像に対する回答を、回答1ロケーションS2403、回答1 S2404〜回答mロケーションS2409、回答m S2410まで記録し、画像データをS2403に記録する。
【０１０９】
結果統合部21に含まれるアンサンブル学習部211から識別完了通知を受けた教師データ転送部213は、転送フラグS2401を転送中に変更し、機械識別部20A〜20Bに当該レコードを教師データとして転送し、転送完了後、転送フラグS2401を転送済みに変更する。
【０１１０】
制御部13は、アンサンブル学習部211から受けた識別完了通知をもとに、識別結果データ24を参照し、当該出題No.が画像識別依頼者端末11からの依頼だった場合、識別結果データ24から当該出題No.に合致するレコードを読み出し、識別結果回答部17に回答を指示する。
【０１１１】
制御部13は、アンサンブル学習部211から受けた識別完了通知をもとに、識別結果データ24を参照し、当該出題No.がラベル無し画像取込部14からの依頼だった場合、何もしない。
【符号の説明】
【０１１２】
１０Ａ〜１０Ｃ  回答者端末
１１  画像識別依頼者端末
１２  インターネット
１３  制御部
１４  ラベル無し画像取込部
１５  教師なしデータ
１６  依頼画像取込部
１７  識別結果回答部
１８  クラウドソーシング部
１９  名称辞書データ
２０Ａ〜２０Ｂ  機械識別部
２１  結果統合部
２２  信頼度データ
２３  統合前回答データ
２４  識別結果データ
１８０  出題作成部
１８１  回答者入出力部
１８２  回答者状況把握部
１８３  回答者リスト
１８４  回答者決定部
１８５  名称示唆部
【図１】
2017211689.tif 000005
【図２】
2017211689.tif 000006
【図３】
2017211689.tif 000007
【図４】
2017211689.tif 000008
【図５】
2017211689.tif 000009
【図６】
2017211689.tif 000010
【図７】
2017211689.tif 000011
【図８】
2017211689.tif 000012