(57)【特許請求の範囲】
【請求項１】
同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定する方法であって、コンピュータ・システムが、
１以上のタスク各々に関し、前段のワーカの作業結果と、該前段のワーカの作業結果に基づいて作業する後段のワーカの作業結果とを取得するステップと、
前記１以上のタスク各々に関して得られた複数の作業結果に基づき、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルの複数のパラメータを推定するステップと
を含む、推定方法。
【請求項２】
前記確率モデルは、前記１以上のタスク各々に関し、第１の観測変数として、１以上の前段のワーカ各々の作業結果と、第２の観測変数として、１以上の後段のワーカ各々の作業結果と、潜在変数として、得られるべき作業結果とを含む生成モデルである、請求項１に記載の推定方法。
【請求項３】
前記推定方法は、前記コンピュータ・システムが、
前記確率モデルの前記複数のパラメータ各々の推定値に基づき、前記１以上のタスク各々に関し、与えられた１以上の固有の作業結果各々が前記得られるべき作業結果である事後確率を計算するステップと、
前記１以上のタスク各々に関し、前記与えられた１以上の固有の作業結果のうちから事後確率が最大化される作業結果を、前記得られるべき作業結果として出力するステップと
をさらに含む、請求項２に記載の推定方法。
【請求項４】
前記条件付けられた後段のワーカの能力は、条件毎に、ワーカ全体としての能力、ワーカ毎の能力、または、タスク毎ワーカ毎の能力を含む、請求項２または３に記載の推定方法。
【請求項５】
前記条件付けられた後段のワーカの能力は、条件毎に、ワーカ毎の能力を含む、請求項２または３に記載の推定方法。
【請求項６】
前記ワーカの作業結果は、タスクに対するワーカの解答であり、
前記得られるべき作業結果は、タスクの真の正解であり、
前記条件付けられた後段のワーカの能力は、前段のワーカの解答が正解である条件で後段のワーカが正解を与える確率と、前段のワーカの解答が不正解である条件で後段のワーカが正解を与える確率とを含む、請求項２〜５のいずれか１項に記載の推定方法。
【請求項７】
前記条件付けられた後段のワーカの能力は、さらに、前段のワーカの種類および個体またはこれらのいずれかに応じて条件付けられる、請求項２〜６のいずれか１項に記載の推定方法。
【請求項８】
前記確率モデルの複数のパラメータは、さらに、前段のワーカの能力と、前記１以上のタスク各々に関し、与えられた１以上の固有の作業結果各々が前記得られるべき作業結果である事前確率とを含む、請求項２〜７のいずれか１項に記載の推定方法。
【請求項９】
前記確率モデルの複数のパラメータは、さらに、タスク難易度を含む、請求項２〜８のいずれか１項に記載の推定方法。
【請求項１０】
前記複数のパラメータを推定するステップは、前記１以上のタスク各々に関する前段および後段のワーカの作業結果が与えられたときの複数のパラメータの事後確率を最大にする前記複数のパラメータ各々の値を推定するステップである、請求項２〜９のいずれか１項に記載の推定方法。
【請求項１１】
前記複数のパラメータを推定するステップは、前記コンピュータ・システムが、
前記複数のパラメータ各々の現在値に基づいて、前記１以上のタスク各々に関し、前記得られるべき作業結果を計算するステップと、
計算された前記１以上のタスク各々に関する前記得られるべき作業結果に基づいて、前記複数のパラメータ各々の新たな値を計算するステップと、
収束条件が満たされたか否かを判定するステップと
を含む、請求項２〜１０のいずれか１項に記載の推定方法。
【請求項１２】
前記得られるべき作業結果を計算するステップは、前記コンピュータ・システムが、
タスク各々に関し、与えられた前段および後段のワーカ各々の作業結果の下、前段および後段のワーカ全体の能力で、与えられた１以上の固有の作業結果各々を重み付け評価するステップ、
を含む、請求項１１に記載の推定方法。
【請求項１３】
前記複数のパラメータ各々の新たな値を計算するステップは、前記コンピュータ・システムが、
少なくとも前記条件付けられた後段のワーカの能力を表す複数のパラメータに関して、前記得られるべき作業結果を計算するステップで事後分布の形で計算された前記得られるべき作業結果から、新たな値を陽に求めるステップ
を含む、請求項１１または１２に記載の推定方法。
【請求項１４】
前段のワーカは、機械または人であり、後段のワーカは、人である、請求項１〜１３のいずれか１項に記載の推定方法。
【請求項１５】
同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定するための推定システムであって、
１以上のタスク各々に関し、前段のワーカの作業結果と、該前段のワーカの作業結果に基づいて作業する後段のワーカの作業結果とを取得する取得部と、
前記１以上のタスク各々に関して得られた複数の作業結果に基づき、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルの複数のパラメータを推定する推定部と
を含む、推定システム。
【請求項１６】
前記確率モデルは、前記１以上のタスク各々に関し、第１の観測変数として、前段のワーカ各々の作業結果と、第２の観測変数として、１以上の後段のワーカ各々の作業結果と、潜在変数として、得られるべき作業結果とを含む生成モデルであり、前記推定システムは、
前記１以上のタスク各々に関し、与えられた１以上の固有の作業結果のうちから、前記複数のパラメータ各々の推定値に基づき計算される事後確率が最大化される作業結果を、前記得られるべき作業結果として出力する出力部
をさらに含む、請求項１５に記載の推定システム。
【請求項１７】
プロセッサと、
前記プロセッサと通信するメモリと
を含む、同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定するためのコンピュータ・システムであって、前記プロセッサは、
１以上のタスク各々に関し、前段のワーカの作業結果と、該前段のワーカの作業結果に基づいて作業する後段のワーカの作業結果とを取得し、
前記１以上のタスク各々に関して得られた複数の作業結果に基づき、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルの複数のパラメータを推定する
よう構成される、コンピュータ・システム。
【請求項１８】
同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定するためのコンピュータ可読なプログラムであって、コンピュータ・システムを、
１以上のタスク各々に関し、前段のワーカの作業結果と、該前段のワーカの作業結果に基づいて作業する後段のワーカの作業結果とを取得する取得部、および、
前記１以上のタスク各々に関して得られた複数の作業結果に基づき、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルの複数のパラメータを推定する推定部
として機能させるためのプログラム。
【請求項１９】
同一のタスクに関する複数のワーカの作業結果を統合するためのコンピュータ可読なプログラムであって、コンピュータ・システムを、
タスクに関し、前段のワーカの作業結果を１以上の後段のワーカに対し提示するとともに、前記１以上の後段のワーカ各々からの作業結果を受け付ける受付部、および、
前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルに基づいて、複数のワーカの作業結果を統合した結果として、前記タスクに対し得られるべき作業結果を推定する結果統合部
として機能させるためのプログラム。
【請求項２０】
前記結果統合部は、
１以上のタスク各々に関し、前記前段のワーカの作業結果と、前記後段のワーカの作業結果とを取得する取得部と、
前記１以上のタスク各々に関して得られた複数の作業結果に基づき、前記確率モデルの複数のパラメータを推定する推定部と
を含む、請求項１９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のワーカが行った作業結果を統合する処理に関し、より詳細には、複数のワーカが行った作業結果を統合する処理におけるワーカの能力を推定するための推定方法、推定システム、コンピュータ・システムおよびプログラムに関する。
【背景技術】
【０００２】
近年、不特定多数のワーカに作業を委託する、クラウドソーシングが注目されている。クラウドソーシングでは、多数のワーカに同一のタスクを行ってもらい、その作業結果を統合して、タスクの統合された作業結果を得る。適切に統合を行うことにより、より高い品質の作業結果を得ることができる。
【０００３】
多数のワーカからの答えを統合して正しい答えを得ようとする場合、簡便には、多数決によって答えを決定する方法が考えられる。しかしながら、単なる多数決では、各ワーカの正解率の差が無視されることになる。そこで、ワーカのスキル（例えば正解率）やタスク難易度を見積もることにより、重み付け統合を行い、得られる答えの精度を改善する技術が提案されている（非特許文献１，非特許文献２，特許文献１）。
【０００４】
しかしながら、上記非特許文献１、非特許文献２および特許文献１に開示される従来技術では、個々のワーカがタスクに対して最初から答えを作成することが前提となっている。したがって、前段のワーカの作業結果に基づいて後段のワーカが作業するような順次的なワークフローには、充分に対応することができなかった。例えば、非特許文献３では、音声または映像に対する書き起こしの業務に関して、ＡＳＲ（Automatic Speech Recognition）の結果に基づいて修正するモードが開示されている。非特許文献４では、書籍の電子化の作業に関して、ＯＣＲ（Optical Character Recognition）の結果を人が修正するようなワークフローが開示されている。
【０００５】
上述したワークフローでは、前段ワーカの答えが目に入ることによって、後段のワーカが影響を受ける可能性がある。例えば、自動認識結果を信じやすく誤認識を修正しない傾向のあるワーカや、反対に、疑い深く正しい認識をも過剰に修正してしまう傾向のあるワーカが存在することが考えられる。
【０００６】
上述した背景から、同一のタスクに関し、前段ワーカの作業結果に基づいて後段ワーカが作業し、これらのワーカの作業結果を統合するワークフローにおいて、ワーカの振る舞いおよびスキルをより正確に推定し、より精度の高い統合を行える技術の開発が求められていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−０７４９６６号公報
【非特許文献】
【０００８】
【非特許文献１】A. P. Dawid, et al.，”Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm.”，Applied Statistics，20-28，1979．
【非特許文献２】J. Whitehill, et al.，”Whose Vote Should Count More?: Optimal Integration of Labels from Labelers of Unknown Expertise.”，NIPS，Vol. 22，pp. 2035-2043，2009，December．
【非特許文献３】H. Kacorri, et al.，”Introducing Game Elements in Crowdsourced Video Captioning by Non-Experts.”，Proceedings of the 11th Web for All Conference，p. 29，ACM, 2014 April．
【非特許文献４】M. Kobayashi, et al.，”Age-Based Task Specialization for Crowd sourced Proofreading.”， Universal Access in Human-Computer Interaction. User and Context Diversity， pp. 104-112，Springer Berlin Heidelberg，2013．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、前段ワーカの作業結果の品質に応じて変動し得る後段ワーカの能力を推定することができる、推定方法、推定システム、コンピュータ・システムおよびプログラムを提供することを目的とする。本発明の他の目的は、前段ワーカの作業結果の品質に応じて変動し得る後段ワーカの能力を推定しながら、複数のワーカの作業結果を統合する処理を行うためのプログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するために、下記特徴を有する推定方法を提供する。推定方法では、コンピュータ・システムは、１以上のタスク各々に関し、前段のワーカの作業結果と、該前段のワーカの作業結果に基づいて作業する後段のワーカの作業結果とを取得する。そして、コンピュータ・システムは、上記１以上のタスク各々に関して得られた複数の作業結果に基づき、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルの複数のパラメータを推定する。これにより、同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定する。
【００１１】
また、本発明によれば、同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定するための推定システムが提供される。推定システムは、１以上のタスク各々に関し、前段のワーカの作業結果と、該前段のワーカの作業結果に基づいて作業する後段のワーカの作業結果とを取得する取得部を含み構成される。推定システムは、上記１以上のタスク各々に関して得られた複数の作業結果に基づき、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルの複数のパラメータを推定する推定部をさらに含み構成される。
【００１２】
さらに、本発明によれば、プロセッサと、プロセッサと通信するメモリとを含む、同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定するためのコンピュータ・システムが提供される。コンピュータ・システムのプロセッサは、１以上のタスク各々に関し、前段のワーカの作業結果と、後段のワーカの作業結果とを取得し、これらの複数の作業結果に基づき、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルの複数のパラメータを推定するよう構成される。さらにまた、本発明によれば、同一のタスクに関する複数のワーカの作業結果を統合する処理におけるワーカの能力を推定するためのコンピュータ可読なプログラムが提供される。
【００１３】
また、さらに本発明によれば、同一のタスクに関する複数のワーカの作業結果を統合するためのコンピュータ可読なプログラムが提供される。本プログラムは、コンピュータ・システムを、タスクに関し、前段のワーカの作業結果を１以上の後段のワーカに対し提示するとともに、１以上の後段のワーカ各々からの作業結果を受け付ける受付部、および、前段のワーカの作業結果の品質で条件付けられた後段のワーカの能力がパラメータとして導入された確率モデルに基づいて、複数のワーカの作業結果を統合した結果として、タスクに対し得られるべき作業結果を推定する結果統合部として機能させる。
【発明の効果】
【００１４】
上記構成により、前段ワーカの作業結果の品質に応じて変動し得る後段ワーカの能力を推定することができるようになる。さらに、前段ワーカの作業結果の品質に応じて変動し得る後段ワーカの能力を推定しながら、複数のワーカの作業結果を統合する処理を行うことができるようになる。
【００１５】
なお、本発明の他の効果および利点は、添付の図面と併せて説明される以下の詳細な説明から把握されるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による作業結果統合システムのネットワーク構成図。
【図２】本発明の実施形態による作業結果統合システムのブロック図。
【図３】本発明の特定の実施形態においてワーカ端末に表示される日本語の文字認識結果の校正を行うための文字校正インタフェース画面を例示する図。
【図４】本発明の特定の実施形態においてワーカ端末に表示される英字の文字認識結果の校正を行うための文字校正インタフェース画面を例示する図。
【図５】本発明の実施形態による作業結果統合システムで用いられる、順次的ワークフローをモデル化した確率的生成モデルを説明する図。
【図６】本発明の実施形態における作業結果統合システムにおいて実行されるパラメータ推定方法を示すフローチャートである。
【図７】本発明の実施形態による管理サーバを実現するコンピュータ装置の概略的なハードウェア構成図。
【図８】実験例１〜実験例７でワーカ間で回答が割れたタスク集合について算出した精度を示す横棒グラフ。
【図９】（Ａ）実験例９のワーカの正解率ｓｉ、（Ｂ）実験例８のワーカの前段が正解した場合の正解率αｉおよび（Ｃ）実験例８のワーカの前段が不正解の場合の正解率βｉの推定値および実測値を並べて示す縦棒グラフ。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、推定システムとして、ワーカの能力を推定するとともに、複数のワーカの作業結果の統合を行う作業結果統合システム１００を一例として説明する。
【００１８】
図１は、本発明の実施形態による作業結果統合システム１００のネットワーク構成を例示する図である。図１に示す作業結果統合システム１００は、ネットワーク１０２を介して１以上のワーカ端末１０４ａ〜１０４ｚと通信する管理サーバ１１０を含み構成される。ここで、ネットワーク１０２は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、３Ｇ回線網、ＬＴＥ（Long Term Evolution）回線網、インターネットなどの有線または無線の如何なるネットワークを含むことができる。
【００１９】
ワーカ端末１０４は、それぞれ、管理サーバ１１０から振り分けられたタスクを処理するワーカが操作する端末である。ワーカ端末１０４は、特に限定されるものではないが、パーソナル・コンピュータ、タブレット・コンピュータ、スマートフォンなどの情報端末とすることができる。
【００２０】
管理サーバ１１０は、ワーカ各々に対しタスクを振り分け、ワーカ各々からのタスクに対する作業結果を収集する。説明する実施形態では、管理サーバ１１０は、同一タスクを複数のワーカに冗長に振り分け、複数のワーカ各々からの作業結果を統合し、タスクに対する最終的な作業結果を生成することができる。
【００２１】
ここで、タスクは、特に限定されるものではないが、画像処理タスク、音声処理タスク、テキスト処理タスクなどの種々の情報処理タスクとすることができる。画像処理タスクとしては、例えば、画像から文字やテキストを抽出する文字認識タスクや、画像の種類を分類する画像分類タスクなどを挙げることができる。音声処理タスクとしては、音声データや動画データなどの音声付きデータから文字やテキストを書き起こす音声認識タスクや、音声の種類を分類する音声分類タスクなどを挙げることができる。テキスト処理タスクとしては、文章の校正タスクや、言語間の翻訳タスクやメッセージや記事などの情報にメタデータを付与するメタデータ付与タスクなどを挙げることができる。
【００２２】
管理サーバ１１０は、ワーカに振り分けるためのタスクを記述するタスクデータ１１２を格納する。上述した文字認識タスクを例に説明すると、タスクデータには、書籍等からスキャンした文字やテキストが含まれる画像部分の画像データが含まれる。また音声認識タスクを例に説明すると、タスクデータには、通話音声や講義映像などを収録した発話を含む音声部分の音声データが含まれる。他の種類のタスクについては、これ以上詳細には立ち入らない。
【００２３】
管理サーバ１１０は、ワーカ端末１０４各々から送信されたタスクに対する作業結果を受信すると、タスクログ１１４として格納する。タスクログ１１４は、１以上のタスク各々について、１以上のワーカ各々から得られた作業結果を含む。文字認識タスクを例に説明すると、作業結果には、画像データから認識された文字やテキストなどが含まれる。また、音声認識タスクを例に説明すると、音声付きデータから書き起こされた文字やテキストなどが作業結果に含まれる。
【００２４】
管理サーバ１１０は、タスクログ１１４に含まれるタスク各々の複数のワーカの作業結果を統合し、該当タスクを担当したワーカの総意として、統合された作業結果を生成し、成果物データ１１６として格納する。成果物データ１１６には、文字認識タスクや音声認識タスクを例に説明すると、総意として推定された文字やテキストが含まれる。
【００２５】
図１に示す作業結果統合システム１００では、管理サーバ１１０には、さらに、ネットワーク１０２を介して、１以上のエンドユーザ端末１０６ａ，１０６ｂが接続されている。エンドユーザ端末１０６は、それぞれ、成果物データ１１６を利用するエンドユーザが操作する端末である。エンドユーザは、エンドユーザ端末１０６を操作し、成果物データ１１６にアクセスすることにより、成果物を利用することができる。一例では、エンドユーザは、書籍を電子化して得られたテキスト付き画像データとして構成された成果物データ１１６を利用することができる。
【００２６】
上述したような、複数のワーカからの同一タスクに対する冗長な複数の作業結果を統合し、最終的な成果物を得るシステムでは、ワーカの能力を適切に推定することが重要となる。ワーカによって、作業結果の品質にばらつきがあるためである。
【００２７】
複数の作業結果を統合する方法としては、多数決や、ワーカの能力に応じた重み付け評価などを行うことができる。例えば、ワーカ毎の正解率として、ワーカの能力を推定することができる。しかしながら、前段ワーカの作業結果に基づいて後段ワーカが作業するような順次的なワークフローでは、上述したワーカ毎の正解率では、ワーカの能力や振る舞いを充分に評価しきれない可能性がある。前段ワーカの作業結果が目に入ることによって、後段のワーカの作業結果が影響を受ける可能性があるためである。このため、上述した影響を適切にモデル化することが、統合された作業結果の品質を向上する上で重要となる。
【００２８】
例えば、前段ワーカの作業結果を信じやすく誤りを修正しない傾向のあるワーカや、反対に、疑い深く正しい結果に対しても過剰に修正してしまう傾向のあるワーカが存在する可能性がある。前段作業結果の影響を受けてしまう後段ワーカの能力を、前段ワーカの作業結果の品質に応じて見積もり、上述した傾向のあるワーカの振る舞いを適切にモデル化することで、より精度の高い統合が行える可能性がある。
【００２９】
そこで、本発明の実施形態による作業結果統合システム１００では、管理サーバ１１０は、前段ワーカの作業結果の品質で条件付けた後段ワーカの能力をパラメータとして導入した確率モデルを用いて、前段作業結果の品質に応じて変動し得る後段ワーカの能力を推定する。これにより、前段作業結果の品質に依存した後段ワーカの振る舞いおよびスキルをより正確に推定し、統合の精度向上を図る。
【００３０】
以下、図２を参照しながら、本発明の実施形態による作業結果統合システム１００における作業結果統合処理について説明する。
【００３１】
図２は、本発明の実施形態による作業結果統合システム１００の構成を示すブロック図である。図２に示すように、作業結果統合システム１００の機能ブロック２００は、自動認識部２１０と、作業結果受付部２２０と、作業結果統合部２３０とを含み構成される。図２に示す機能部２１０，２２０，２３０は、典型的には、管理サーバ１１０上で実現される。
【００３２】
自動認識部２１０は、コンピュータの演算能力によりタスクデータを自動認識処理し、作業結果受付部２２０に対し自動認識結果を出力する。自動認識部２１０は、文字認識タスクであれば、ＯＣＲ（Optical Character Recognition）エンジンであり、音声認識タスクであればＡＳＲ（Automatic Speech Recognition）エンジンである。自動認識部２１０は、説明する実施形態では、前段ワーカとして動作することができる。
【００３３】
作業結果受付部２２０は、ワーカが操作するワーカ端末１０４がアクセスし、ワーカがタスクを処理する作業を行うためのユーザ・インタフェースを提供する。ワーカ端末１０４のワーカは、前段ワーカまたは後段ワーカのいずれかまたは両方となることができる。
【００３４】
作業結果受付部２２０は、ワーカ端末１０４に対し振り分けるタスクデータ１１２を送信し、そのワーカに対し、タスクに対する作業を依頼する。その際に、作業結果受付部２２０は、ワーカ端末１０４に対し、該当タスクについて既に得られている前段ワーカの作業結果（自動認識部２１０による自動認識結果を含む。）を提示することができる。作業結果受付部２２０は、ワーカ端末１０４からのタスクに対する作業結果を受け付け、ワーカを識別する識別情報に紐付けてタスクログ１１４として格納する。作業結果受付部２２０は、また、自動認識部２１０から入力される自動認識結果を受け付けると、前段ワーカからの作業結果として、タスクログ１１４に記録する。
【００３５】
作業結果統合部２３０は、蓄積された１以上のタスクのタスクログ１１４を読み出し、所定の確率モデルに基づいて、ワーカの能力を推定するとともに、タスクに対し得られるべき作業結果を推定し、成果物データ１１６を生成する。作業結果統合部２３０は、より詳細には、取得部２３２と、パラメータ推定部２３４と、出力部２３６とを含み構成される。
【００３６】
取得部２３２は、蓄積されたタスクログ１１４を読み出して、１以上のタスク各々に関する前段ワーカおよび後段ワーカの作業結果を取得する。パラメータ推定部２３４は、１以上のタスク各々に関して得られた複数の作業結果に基づき、所定の確率モデルのパラメータセットを推定する。出力部２３６は、１以上のタスク各々に関し、推定されたパラメータセットに基づき、タスクに対し得られるべき作業結果を推定し、出力する。出力部２３６は、１以上のタスク各々に対する得られるべき作業結果に加えて、ワーカの能力などを含むパラメータセットを出力することもできる。確率モデルやパラメータ推定については、詳細を後述する。
【００３７】
なお、上述までの説明では、図２に示す機能部２１０，２２０，２３０が単一のコンピュータである管理サーバ１１０上で実現されるものとして説明した。しかしながら、この態様に限定されるものではなく、１以上のコンピュータを含み構成されるコンピュータ・システムにおいて、如何なる態様で並列分散実装されてもよい。例えば、他の実施形態では、機能部２１０，２２０，２３０をそれぞれ異なるコンピュータに分散実装してもよく、またより膨大なデータを処理するために、機能部２１０，２２０，２３０それぞれを複数のコンピュータで並列実装することを妨げるものではない。
【００３８】
以下、図３〜図６を参照しながら、本発明の実施形態による作業結果統合システム１００において実行される、確率モデルを用いたパラメータ推定処理について、より詳細に説明する。上述したようにタスクは、如何なる情報処理タスクであってもよいが、以下に説明する実施形態では、文字認識タスクを一例として取扱うものとする。
【００３９】
図３および図４は、特定の実施形態においてワーカ端末１０４に表示される作業画面を例示する。図３は、日本語の文字認識結果の校正を行っている文字校正インタフェース画面を例示し、図４は、英字の文字認識結果の校正を行っている文字校正インタフェース画面を例示する。
【００４０】
図３に示す画面３００は、前段ワーカの作業結果であるＯＣＲ自動認識結果が表示される表示ボックス３０２と、文字画像配列ボックス３０４とを含む。文字画像配列ボックス３０４には、その共通の自動認識結果を与えた１以上のオリジナル文字画像が配列して表示される。図３に示す表示ボックス３０２には、ひらがなの「ぱ」という自動認識結果が示されており、文字画像配列ボックス３０４には、自動認識によってひらがなの「ぱ」として認識された１または複数の文字画像が示されている。
【００４１】
また、図４に示す画面３１０も、前段ワーカの作業結果であるＯＣＲ自動認識結果が表示される表示ボックス３１２と、文字画像配列ボックス３１４とを含む。文字画像配列ボックス３１４には、その共通の自動認識結果を与えた１以上のオリジナル文字画像が配列して表示される。図４に示す表示ボックス３１２には、アルファベットの「ｃ」という自動認識結果が示されており、文字画像配列ボックス３１４には、自動認識によってアルファベット「ｃ」として認識された１または複数の文字画像が示されている。
【００４２】
つまり、図３および図４に示した画面３００，３１０には、文字画像配列ボックス３０４，３１４に示された文字画像の数分だけの複数のタスクが含まれている。ワーカに課された作業は、表示ボックス３０２，３１２に示される前段ワーカのＯＣＲ自動認識結果を参照しながら、文字画像配列ボックス３０４，３１４に示された１または複数の文字画像のうちから、誤っていると認められるものを指定し、自らが正しい考える認識結果に修正することである。
【００４３】
例えば、図３においてボックス３０６で囲まれた文字画像は、ひらがなを理解できる人間が見れば「は」と認識されるべき画像であるが、機械による自動認識結果では「ぱ」と誤認識されている。この場合、ワーカは、画面３００において、ボックス３０６で示す文字画像を選択し、正しい文字「は」を入力するという操作を行うことになる。
【００４４】
同様に、図４においてボックス３１６で囲まれた文字画像は、アルファベットを理解できる人間が見れば「ｅ」と認識されるべき画像であるが、機械による自動認識結果では「ｃ」と誤認識されている。この場合、ワーカは、画面３１０において、ボックス３１６で示す文字画像を選択して、正しい文字「ｅ」を入力するという操作を行うことになる。
【００４５】
以下の説明では、図３および図４に示すような文字校正インタフェース画面を介して、前段ワーカの作業結果としてＯＣＲ自動認識結果が後段ワーカに提示され、人である後段ワーカが、ＯＣＲ認識結果に対し、必要に応じて修正を施す、という順次的ワークフローを一例として説明する。したがって、上述したワーカの作業結果とは、文字認識タスクに対するワーカの認識した文字の解答であり、統合結果として得られるべき作業結果とは、文字認識タスクの画像が表す文字の真の正解である。
【００４６】
図５は、本発明の実施形態による作業結果統合システム１００で用いられる、上述した順次的ワークフローをモデル化した確率的生成モデルを説明する図である。図５（Ａ）は、説明する実施形態で用いる生成モデルのグラフィカル表現を示す。ここで、生成モデル（Generative Model）とは、観測結果がどのような潜在的な原因から生成されたかを説明するための確率モデルをいう。この生成モデルを図として表したものがグラフィカル表現またはグラフィカルモデルと参照される。図５（Ｂ）は、説明する実施形態で用いる生成モデルを構成する後段ワーカの能力の定式化を説明する図である。
【００４７】
図５（Ａ）は、各タスクについての生成モデルを示しており、生成モデルは、観測変数（図５（Ａ）中で実線の丸で表す。）として、前段ワーカであるＯＣＲエンジンの解答ｏｔと、後段ワーカの解答ｙｉｔとを含み、潜在変数（図５（Ａ）中で点線の丸で表す。）として、得られるべき真の正解ｚｔを含む。
【００４８】
ここで、ｔは、タスクを識別するインデックスであり、ｎ個あるとする。ｉは、後段ワーカを識別するインデックスであり、ｍ人いるとする。各タスクに対して必ずしもワーカ全員が解答するというわけではなく、タスクｔを行った後段ワーカの集合をＷｔで表す。また、タスクは、それぞれ他のタスクとは独立であり、真の正解ｚｔ，前段ワーカの解答ｏｔが与えられたとき、後段ワーカ各々の解答ｙｉｔは互いに独立であるとする。
【００４９】
前段ワーカの解答ｏｔおよび後段ワーカの解答ｙｉｔは、あらゆる文字を含んだ解答集合Ｘに元として含まれる（ｏｔ∈Ｘ，ｙｉｔ∈Ｘ）。これら、あるタスクｔに関して、前段ワーカの解答ｏｔおよび後段ワーカの解答ｙｉｔ（ｉ∈Ｗｔ）に含まれる固有の解答数をＫｔ個とする。タスクｔの正解がＫｔ個の固有の解答ｋ（ｋ＝１，…，Ｋｔ）の中に存在するとして、見えざる真の正解ｚｔ（ｚｔ∈Ｘ）を推定することが目標となる。
【００５０】
生成モデルに対しては、複数のパラメータが与えられており、図５（Ａ）に示す生成モデルでは、真の正解ｚｔの事前確率πｔｋと、前段ワーカの正解率γと、後段ワーカｉの２種類の正解率αｉ，βｉとがパラメータとして与えられる。真の正解ｚｔの事前確率πｔｋは、下記式（１）で表され、各々のタスクｔの得られるべき真の正解ｚｔが、Ｋｔ個の固有の解答のうちの解答ｋである事前確率である。前段ワーカの正解率γは、下記式（２）で表され、前段ワーカの能力を表す。
【００５１】
【数１】
0005946073.tif 000002
【００５２】
図５（Ａ）に示す生成モデルにおけるグレイの矢印（条件付き確率を表す。）が、前段ワーカの作業結果の品質の影響を考慮した、本発明の実施形態における生成モデルの特徴的な部分である。後段ワーカｉの２種類の正解率αｉ，βｉは、図５（Ｂ）に示す通りに表され、前段ワーカが正解しているか否かで条件付けた後段ワーカの能力を表す。正解率αｉは、前段ワーカの解答が正解である条件（ｏｔ＝ｚｔ）で後段ワーカｉが正解（ｙｉｔ＝ｚｔ）を与える確率を表す。これに対して、正解率βｉは、前段ワーカの解答が不正解である条件（ｏｔ≠ｚｔ）で後段ワーカｉが正解（ｙｉｔ＝ｚｔ）を与える確率を表す。
【００５３】
図５に示すように、本発明の実施形態では、前段ワーカの解答が正解であるか不正解であるかで後段ワーカの正解を与える確率（能力）が変動するようなモデルを構築している。これにより、前段ワーカの解答を信じやすい傾向のあるワーカや、前段ワーカの解答に対し疑い深いワーカの傾向を捉えることが可能となる。
【００５４】
そして、本発明の実施形態によるパラメータ推定方法では、１以上のタスク（ｔ＝１，…，ｎ）各々について与えられた解答ｏｔ，ｙｉｔに基づいて、図５に示す生成モデルのパラメータセット（αｉ，βｉ，γ，πｔｋ）を推定するとともに、１以上のタスク各々の真の正解ｚｔを推定する。
【００５５】
以下、図６を参照しながら、本発明の実施形態におけるパラメータ推定方法について、より詳細に説明する。図６は、本発明の実施形態における作業結果統合システム１００において実行される、パラメータ推定方法を示すフローチャートである。なお、図６は、図５に示すような潜在変数およびパラメータセットを導入した生成モデルに基づき、ＥＭアルゴリズムを適用してパラメータセットを最大事後確率（Maximum A Posteriori；ＭＡＰ）推定し、得られたパラメータセットを用いてタスクの真の正解ｚｔを推定する具体的なフローを示すものである。
【００５６】
ここで、図６に示す処理のフローを説明する前に、図５に示した生成モデルに基づくＭＡＰ推定について説明する。ＭＡＰ推定は、下記式（３）のように定式化することができ、観測変数Ｄが与えられたときのパラメータの事後確率ｐ（θ｜Ｄ）を最大にするパラメータセットθの値を推定する手法である。ここで、パラメータセットθは、上述したすべてのパラメータ（αｉ，βｉ，γ，πｔｋ）を集めたベクトルである。説明する実施形態においては、下記式（３）から、ベイズの定理に基づき、下記式（４）を導くことができる。下記式（４）において、Σｐ（Ｄ，Ｚ｜θ）は尤度を表し、ｐ（θ）はパラメータセットθの事前分布を表す。
【００５７】
【数２】
0005946073.tif 000003
【００５８】
上記式（４）中、パラメータセットθ、観測変数Ｄおよび潜在変数Ｚは、下記式（５）〜（７）で表される。
【００５９】
【数３】
0005946073.tif 000004
【００６０】
上記式（４）中の事前分布ｐ（θ）は、それぞれのパラメータにつき、下記式（８）〜（１０）に示すベータ分布および下記式（１１）に示すディリクレ分布で表すことができる。下記式（８）〜（１１）中のａ１，ａ２，ｂ１，ｂ２，ｇ１，ｇ２，ρは、ハイパーパラメータであり、事前に適切な値が与えられるものとする。潜在変数の事前分布πｔｋは、説明する実施形態では、同じ値のパラメータがＫｔ個の対称ディリクレ分布で表しており、Ｋｔ＝２である場合は、ベータ分布に一致することになる。
【００６１】
【数４】
0005946073.tif 000005
【００６２】
つまり、説明する実施形態においては、ｎ個の各タスク各々に対する前段ワーカの解答ｏｔおよび後段ワーカの解答ｙｉｔに基づいて、参加するｍ人の後段ワーカの正解率αｉ，βｉ、前段ワーカの正解率γ、およびｎ個のタスク各々のＫｔ個の各解答ｋの事前確率πｔｋを推定するとともに、ｎ個のタスク各々に対する真の正解ｚｔを推定するという問題として定式化される。
【００６３】
上記式（４）に示されるような問題の最適解の計算は、対数の中に和があるため計算量が大きく、通常困難である。そこで、説明する実施形態では、ＥＭアルゴリズムを適用して、反復計算によりパラメータ推定を行う。以下、図６に示すフローチャートを参照しながら、ＥＭアルゴリズムを適用してパラメータセットθをＭＡＰ推定し、得られたパラメータセットθを用いてタスクの真の正解ｚｔを推定するまでの具体的な処理について説明する。
【００６４】
図６に示すパラメータ推定方法は、例えば、所定数のタスクログを対象とした処理開始の指示が行われたことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、取得部２３２は、タスクログ格納領域からタスクログＤを取得し、作業領域に展開する。上述したハイパーパラメータもここで読み出される。
【００６５】
ステップＳ１０２では、パラメータ推定部２３４は、まず、取得されたｎ個の各タスクｔについて、潜在変数ｚｔの事後分布μｔｋの初期値を計算する。潜在変数ｚｔの事後分布μｔｋの初期値は、固有の解答数Ｋｔで均等としてもよいが、反復計算をより早期に収束させる観点からは、好ましくは、下記式（１２）で表すように、多数決で決定することができる。なお、下記式（１２）中のδは、クロネッカーのデルタである。
【００６６】
【数５】
0005946073.tif 000006
【００６７】
ステップＳ１０３では、パラメータ推定部２３４は、潜在変数の事後分布μｔｋの初期値から、パラメータセットθ（αｉ，βｉ，γ，πｔｋ）の初期値を計算する。事後分布μｔｋからのパラメータセットθの計算方法は、後述するＥＭアルゴリズムのＭステップで用いる下記式（１７）〜（２０）を用いて計算することができる。
【００６８】
ステップＳ１０４で、ループが開始され、ステップＳ１０７で所定の収束条件を満たすと判断されるまで、ステップＳ１０５で示すＥ（Expectation）ステップおよびステップＳ１０６で示すＭ（Maximization）ステップを交互に反復する。
【００６９】
ステップＳ１０５では、パラメータ推定部２３４は、ＥＭアルゴリズムにおけるＥステップを実行する。通常、ＥＭアルゴリズムにおけるＥステップでは、パラメータセットの現在値θ〜（上付きのチルダ）を用いて、下記式（１３）で表されるパラメータの事後確率の期待値Ｒ（θ｜｜θ〜）を計算する。下記式（１３）は、対数尤度ｌｎ  ｐ（Ｄ，θ）の下界を求めることに対応する。そして、続くＭステップでは、Ｅステップで求めた期待値（下界）を最大化するパラメータを新たに求め、ＥステップおよびＭステップを繰り返すことにより、事後確率を最大化するパラメータを求める。下記式（１３）を、より具体的に表すと、下記式（１４）のように表すことができる。
【００７０】
【数６】
0005946073.tif 000007
【００７１】
上記式（１４）中のμｔｋは、観測データ（Ｄｔ＝｛｛ｙｉｔ｝ｉ∈Ｗｔ，ｏｔ｝）およびパラメータセットθ〜が与えられたときの潜在変数ｚｔの事後分布であり、下記式（１５）で計算することができる。
【００７２】
【数７】
0005946073.tif 000008
【００７３】
上記式（１６）に示すｒｔｋ（θ）は、全ワーカの能力を勘案した上で現在のパラメータの値から正解の確率を推定している箇所である。式（１５）は、タスクｔに関し、与えられた前段および後段のワーカ各々の作業結果（ｙｉｔ，ｏｔ）の下、前段および後段のワーカの能力（γ，αｉ，βｉ；ｉ∈Ｗｔ）で、与えられた１以上の固有の解答ｋ各々を重み付け評価することに相当する。なお、上記式（１６）中のδは、クロネッカーのデルタである。
【００７４】
なお、本発明の実施形態では、続くＭステップでは、後述するように事後分布μｔｋからパラメータセットθを陽に求めることができる。このため、ステップＳ１０５では、パラメータ推定部２３４は、パラメータセットの現在値θ〜を用いて、１以上のタスク（ｔ＝１，…，ｎ）各々に対する真の正解ｚｔの事後分布μｔｋを計算すればよいということになる。
【００７５】
ステップＳ１０６では、パラメータ推定部２３４は、ＥＭアルゴリズムにおけるＭステップを実行する。通常、ＥＭアルゴリズムにおけるＭステップでは、Ｅステップで求められた、パラメータセットθの関数である事後確率の期待値Ｒ（θ｜｜θ〜）を最大するパラメータの更新値θを算出する。上述した式（１４）で表される事後確率の期待値Ｒを、各パラメータαｉ，βｉ，γ，πｔｋについて偏微分して０とおくと、各パラメータの更新式は、下記式（１７）〜（２０）に示すような閉じた形に整理できる。なお、下記式（１７）および（１８）中のＴｉは、ワーカｉが行ったタスクの集合を表す。下記式（１７）中のδは、同様に、クロネッカーのデルタである。
【００７６】
【数８】
0005946073.tif 000009
【００７７】
つまり、ステップＳ１０６では、パラメータ推定部２３４は、計算された新しい潜在変数の事後分布μｔｋから、事後確率の期待値Ｒを最大化するパラメータセットの更新値θを、上記更新式（１７）〜（２０）を用いて陽に計算すればよいということになる。
【００７８】
ステップＳ１０７では、所定の収束条件が満たされたか否かを判断し、所定の収束条件が満たされるまで、ステップＳ１０４へループを繰り返す。ステップＳ１０７で、所定の収束条件が満たされた場合は、ループを抜けて、ステップＳ１０８へ処理が進められる。
【００７９】
収束判定は、例えば下記式（２１）で表されるような、対数尤度Ｌに対する条件とすることができる。下記式（２１）中、Ｌ（・）は、対数尤度を表し、θｏｌｄは、パラメータの前回の値を意味し、θｎｅｗは、パラメータの最新の値を意味する。対数尤度の最初のθｏｌｄは、例えば−∞に設定すればよい。下記式（２１）により、対数尤度が一定ε以上改善しないようになると、収束したものとみなされる。
【００８０】
【数９】
0005946073.tif 000010
【００８１】
ステップＳ１０８では、パラメータ推定部２３４は、パラメータセットの収束後の推定値θを用いて、上記式（１５）に従って、１以上のタスク（１，…，ｎ）各々に対して、最終的な潜在変数の事後分布μｔｋ（ｋ＝１，…，Ｋｔ）を計算する。ステップＳ１０９では、出力部２３６は、下記式（２２）に従って、１以上のタスク各々について、事後確率μｔｋが最大となる解答ｋを、真の正解ｚｔ＾（上付きのハット）として選択する。つまり、所与の観測下の潜在変数の最頻値が選ばれる。同じ最大値をとるものが複数ある場合は、例えばランダムに選べばよい。
【００８２】
【数１０】
0005946073.tif 000011
【００８３】
ステップＳ１１０では、出力部２３６は、得られた１以上のタスク各々の真の正解ｚｔおよびパラメータセットθ（後段ワーカの能力を表す正解率αｉ，βｉを含む。）を出力し、ステップＳ１１１で、本終了が終了する。
【００８４】
以上説明した構成により、順次的なワークフローにおいて、前段ワーカの作業結果の品質に応じて変動し得る後段ワーカの能力を適切に推定することが可能となる。これにより、前段ワーカの作業結果が目に入ることによって影響を受けてしまう後段ワーカの振る舞いを適切にモデル化することができ、ひいては、作業結果の統合の精度を向上させることができる。
【００８５】
このように推定されたワーカの能力の知見は、例えば、あるタスクを次にどのワーカに行わせるか、あるワーカに次にどのタスクを行わせるかなどを決定する際にも活用することができる。さらに、上述した実施形態では、ＥＭアルゴリズムのＭステップで、パラメータの更新式が陽に求まるという利点がある。さらに、モデルに導入されるパラメータ数も比較的少ないため、データの疎性に対してもロバストであり、計算時間も短くて済むという利点もある。
【００８６】
なお、上述した前段ワーカが誤答したタスクを、単にタスク難易度が高いものとして解釈して、例えば非特許文献２のモデルに組み込む方法も考えられる。しかしながら、その場合、難易度の高いタスクでは、ワーカの能力の推定値が正解率の差に反映されにくくなる傾向があり、重み付け多数決がより一層普通の多数決に近い形となってしまう。これに対して、前段ワーカの作業結果の品質に応じて条件付けたワーカの能力のパラメータを生成モデルに導入することにより、前段ワーカの作業結果の品質がワーカの能力のばらつきを打ち消す方向に働く影響をなくし、これにより、ワーカの能力に応じた重み付け多数決を可能とする。
【００８７】
なお、上述した実施形態によるパラメータ推定方法では、事前に準備されたｎ個のタスクログを用いて、ｎ個の全タスクに対する真の正解ｚｔおよびパラメータセットθを推定するというものであった。しかしながら、このような一括学習の実施形態に限定されるものではない。他の実施形態では、逐次、タスクに対する前段ワーカおよび後段ワーカからの作業結果が発生する状況の下、データが与えられる毎に、パラメータセットθを更新しながらタスクに対する真の正解ｚｔを推定する、いわゆる逐次学習またはオンライン学習を行う態様とすることもできる。
【００８８】
また、上述した実施形態における、図５に示した生成モデルでは、ＯＣＲエンジンである自動認識部２１０が前段ワーカとしてはたらき、ワーカ端末１０４各々を操作するワーカ（通常は人である。）が後段ワーカとしてはたらくものとして説明した。上述した実施形態では、また、説明の便宜上、すべてのタスクにおいて、前段ワーカが同一であるとして、タスク非依存の前段ワーカの正解率γをパラメータとして導入した。
【００８９】
しかしながら、上述した具体的なワークフローに限定されるものではない。例えば、他の実施形態では、前段ワーカは、ワーカ端末１０４を操作するワーカであってもよい。また、他の実施形態では、タスク毎に異なる前段ワーカとし、タスク毎の前段ワーカの正解率γｔをパラメータとして導入してもよい。
【００９０】
さらに、図５に示した生成モデルは、後段ワーカの能力として、ワーカ毎の正解率αｉ，βｉを用いるものであった。ワーカの能力を詳細にモデル化するという観点からは、ワーカ毎の能力を異なるパラメータで表した方が好ましいが、他の実施形態では、ワーカ全体として一様な能力を表す正解率α，βを用いるようにモデル化を行ってもよい。さらに、他の実施形態では、ワーカの能力をより詳細にモデル化するという観点から、ワーカ毎かつタスク毎の能力を表す正解率αｉｔ，βｉｔを用いるようモデル化を行ってもよい。
【００９１】
また、上述した実施形態では、前段ワーカの解答が正解であるか不正解であるかで条件付けて後段ワーカの能力を表す２種類の正解率α，βを導入した。しかしながら、後段ワーカの能力の条件付けは、このような態様に限定されるものではない。他の実施形態では、後段ワーカの能力は、さらに、前段ワーカの種類および個体またはこれらのいずれかに応じて条件付けることができる。例えば、前段ワーカが機械であるか、人であるかで条件付けた後段ワーカの能力を表すパラメータを導入することもできる。例えば、前段ワーカが、いずれの自動認識エンジンであるか、あるいはいずれの人であるかで、条件付けた後段ワーカの能力を表すパラメータを導入することもできる。さらに、前段ワーカの解答が正解であるか不正解であるかの２段階で条件付けるほか、他の実施形態では、３以上の段階で条件付けることを妨げるものではない。
【００９２】
また、図５に示した生成モデルでは、１の前段ワーカの作業結果に基づいて１以上の後段ワーカが作業するワークフローを一例として説明した。しかしながら、他の実施形態では、複数の前段ワーカの作業結果に基づいて１以上の後段ワーカが作業するワークフローであってもよいし、第１のワーカの作業結果に基づいて、第２のワーカが作業を行い、第２のワーカの作業結果に基づいて、第３のワーカが作業を行うような段階的なワークフローであることを妨げない。
【００９３】
また、図６を参照した説明では、図５に示すような潜在変数およびパラメータセットを導入した生成モデルに基づき、ＥＭアルゴリズムを適用してＭＡＰ推定するものであった。ＭＡＰ推定は、より安定して解が求まるという利点があるが、しかしながら、ＭＡＰ推定の実施形態に限定されるものではない。他の実施形態では、生成モデルに基づき、ＥＭアルゴリズムを適用して最尤（Maximum likelihood，ＭＬ）推定を行うこともできる。
【００９４】
さらに、上述した実施形態では、タスク難易度は、考慮されていなかった。しかしながら、他の実施形態では、各タスクｔに対するタスク難易度ｄｔのパラメータを導入し、タスク難易度ｄｔを合わせて推定するよう構成することもできる。あるいは、非特許文献２に開示されるタスク難易度を推定するアルゴリズムに対し、前段ワーカの作業結果の品質で条件付けられた後段ワーカの能力をパラメータとして導入することもできる。その場合は、ワーカの正解率ｐ（ｙｉｔ＝ｚｔ）を、前段ワーカが正解した場合と、不正解であった場合とで条件付けてワーカのスキルをαｉ，βｉとし、下記式（２３）および（２４）で表すことができる。
【００９５】
【数１１】
0005946073.tif 000012
【００９６】
以下、上記実施形態による管理サーバ１１０を実現するコンピュータ装置について説明する。図７は、本発明の実施形態による管理サーバ１１０を実現するコンピュータ装置の概略的なハードウェア構成を示す。図７に示すコンピュータ装置１０は、プロセッサである中央処理装置（ＣＰＵ）１２と、ＣＰＵ１２が使用するデータの高速アクセスを可能とするＬ１およびＬ２などのレベルを有するキャッシュ・メモリ１４と、ＣＰＵ１２の処理を可能とするＤＲＡＭなどの固体メモリ素子から形成されるシステム・メモリ１６とを備えている。
【００９７】
ＣＰＵ１２、キャッシュ・メモリ１４およびシステム・メモリ１６は、システム・バス１８を介して、他のデバイスまたはドライバ、例えば、グラフィックス・ドライバ２０およびネットワーク・インタフェース・カード（ＮＩＣ）２２へと接続されている。グラフィックス・ドライバ２０は、バスを介して外部のディスプレイ２４に接続されて、ＣＰＵ１２による処理結果をディスプレイ画面上に表示させることができる。また、ＮＩＣ２２は、物理層レベルおよびデータリンク層レベルでコンピュータ装置１０を、ＴＣＰ／ＩＰなどの適切な通信プロトコルを使用するネットワーク１０２へと接続している。
【００９８】
システム・バス１８には、さらにＩ／Ｏバス・ブリッジ２６が接続されている。Ｉ／Ｏバス・ブリッジ２６の下流側には、ＰＣＩなどのＩ／Ｏバス２８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ハードディスク装置３０が接続されている。ハードディスク装置３０は、例えばタスクデータ１１２、タスクログ１１４および成果物データ１１６を格納することができる。また、Ｉ／Ｏバス２８には、ＵＳＢなどのバスを介して、キーボードおよびマウスなどのポインティング・デバイスなどの入力装置３２が接続されていて、この入力装置３２によりユーザ・インタフェースが提供される。
【００９９】
コンピュータ装置のＣＰＵ１２としては、いかなるシングルコア・プロセッサまたはマルチコア・プロセッサを用いることができる。コンピュータ装置は、ＷＩＮＤＯＷＳ（登録商標）２００Ｘ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのオペレーティング・システム（以下、ＯＳとして参照する。）により制御される。コンピュータ装置は、上記ＯＳの管理の下、システム・メモリ１６上などにプログラムを展開し、プログラムを実行し、各ハードウェア資源を動作制御することによって、上述した機能部の構成および処理をコンピュータ上に実現する。
【０１００】
（実験）
以下、前段のＯＣＲ認識結果に対し後段のワーカが誤認識の修正を施した実際のタスクログを用いて実験を行った。まず、２台のＯＣＲエンジンにより書籍の画像データを文字認識し、２台のＯＣＲエンジン間で解答が異なる文字画像を抽出した。そして、図３および図４に示すような文字校正インタフェース画面を介して、ＯＣＲ認識結果と、抽出された共通のＯＣＲ認識結果が与えられた複数の文字画像を表示し、ワーカに対し、正しい認識結果を入力させた。文字校正インタフェースには、２台のうちの片方のＯＣＲの解答を表示させた。
【０１０１】
ワーカは、４２名であり、３９１７６個のユニークタスクをタスク当たり１〜３名のワーカに振り分け、のべ１１６６６２個のタスクに対する作業結果を得た。上述した文字校正のログデータには、どのワーカがどの文字をどう直したかがログ形式で記録されており、１１６６６２行相当あり、その基本統計量を下記表１に示す。なお、本実験では、文字画像が表している真の正解は既知であり、したがって、パラメータ推定された各種推定値は、実測値と比較可能である。
【０１０２】
【表１】
0005946073.tif 000013
【０１０３】
（実験例１）
パーソナル・コンピュータを用いて、図６に示したパタメータ推定方法を実装した管理サーバ１１０を構築した。上述したタスクログに対して、ワーカ毎の正解率αｉ，βｉをパラメータとして導入した図５に示す生成モデルを用いて、パタメータ推定処理を実行し、推定された解答が既知の真の正解に対して一致する精度を評価した。精度（Accuracy）は、推定された解答が真の正解と一致した回数を計数し、その回数をタスク総数ｎで割ることにより算出した。実験例１について全タスクについて計算したところ、精度は、０．９６９１であった。さらに、ワーカ間で回答が割れたタスクを抽出し、全３９１７６タスク中の抽出された２３４４タスクについて精度を算出したところ、０．７５０９であった。図８に、実験例１における、ワーカ間で回答が割れたタスク集合について求めた精度を示す。実験例１は、実施例を構成する。
【０１０４】
（実験例２）
実験例１と同一のコンピュータを用いて、ワーカの正解率が一様である点、つまり、ワーカ非依存の正解率α，βをパラメータとしている点を除き実験例１と同一のパタメータ推定方法を実装した管理サーバ１１０を構築した。上述したタスクログに対してパタメータ推定方法を実行し、精度を算出した。全タスクでの精度は、０．９６６４であった。ワーカ間で回答が割れた実験例１と同一のタスク集合について精度を求めたところ、０．７１０８であった。図８に、実験例２における、ワーカ間で回答が割れたタスク集合について求めた精度を示す。実験例２は、実施例を構成する。
【０１０５】
（実験例３）
実験例１と同一のコンピュータを用いて、ＯＣＲ認識結果の正誤での条件付けは行わず、ワーカ毎の一種類の正解率ｓｉ=ｐ（ｙｉｔ＝ｚｔ）をパラメータとして導入した点を除き、実験例１と同一のパタメータ推定方法を実装した管理サーバ１１０を構築した。これは、非特許文献１のモデルを単純化したものに相当し、単純化潜在クラスモデル（ＬＣ）と参照する。また、このようなモデルでは、ＯＣＲエンジンの認識結果をワーカの解答として考慮することもできるが、実験例３では、ＯＣＲエンジンは、ワーカには含めず、人のワーカの結果のみを統合した。上述したタスクログに対してパタメータ推定方法を実行し、ワーカ間で回答が割れた実験例１と同一のタスク集合について精度を求めた。実験例３における、ワーカ間で回答が割れたタスク集合について求めた精度を図８に示す。実験例３は、比較例を構成する。
【０１０６】
（実験例４）
実験例４は、ＯＣＲ認識結果をワーカの解答として含めて、ＯＣＲエンジンを含むワーカの結果を統合したことを除き、実験例３と同一である。実験例４における、ワーカ間で回答が割れたタスク集合について求めた精度を図８に示す。実験例４は、比較例を構成する。
【０１０７】
（実験例５）
実験例１と同一のコンピュータを用いて、多数決でタスクを統合するプログラムを実装し、上述したタスクログに対して、多数決で決定された解答が既知の真の正解に対して一致する精度を評価した。なお、実験例５では、ＯＣＲエンジンは、ワーカには含めず、人のワーカの結果のみを統合した。全タスクでの精度は、０．９６６２であった。ワーカ間で回答が割れた実験例１と同一のタスク集合について精度を求めたところ、０．６７９１であった。図８に、実験例５における、ワーカ間で回答が割れたタスク集合について求めた精度を示す。実験例５は、比較例を構成する。
【０１０８】
（実験例６）
実験例６は、ＯＣＲ認識結果をワーカの解答として含めて、ＯＣＲエンジンを含むワーカの結果を統合したことを除き、実験例５と同一である。実験例６における、ワーカ間で回答が割れたタスク集合について求めた精度を図８に示す。実験例６は、比較例を構成する。
【０１０９】
（実験例７）
ＯＣＲの解答をそのまま正解として推定し、既知の真の正解に対して一致する精度を評価した。全タスクでの精度は、０．７４９９であり、ワーカ間で回答が割れた実験例１と同一のタスク集合での精度は、０．０８５８であった。図８に、実験例７における、ワーカ間で回答が割れたタスク集合について求めた精度を示す。実験例７は、比較例を構成する。
【０１１０】
（実験例１〜実験例７の比較）
実験例１〜実験例７の実験結果を比較すると、実験例１では、実験例３〜実験例７のうちの最良であった実験例５と比較しても、全タスク集合での精度が０．３％程度改善した。図８を参照すると、特にワーカ間で回答が割れたタスク集合に絞ると、実験例１では、比較例の最良の実験例５と比較しても、７％以上精度が改善されていることが理解される。実験例２でも、比較例の最良の実験例５と比較して、３％以上精度が改善されていることが理解される。つまり、ワーカの能力を、前段の作業結果の品質で条件付けることにより、より高精度に真の正解を推定でき、またワーカ間で解答が割れるような難易度の高いタスクで精度が大きく向上することが示された。
【０１１１】
（実験例８）
上述したログデータにおいて、全ワーカ中、ＯＣＲエンジンが既知の真の正解と一致する解答を行ったタスクを２００以上行い、かつ、ＯＣＲエンジンが不正解したタスクを２００以上行うという条件を満たしたワーカを抽出したところ、全４２人中１９人のワーカが抽出された。
【０１１２】
上記１９人のワーカについて、実験例１のパラメータ推定方法により推定されたＯＣＲが正解しているときの正解率αｉの推定値と実測値とを比較した結果を図９（Ｂ）に示す。同様に、ＯＣＲが不正解しているときの正解率βｉの推定値と実測値とを比較した結果を、図９（Ｃ）に示す。さらに、実験例８で計算したＯＣＲが正解の場合の正解率αｉの推定値の実測値に対する推定の良さを評価するため、ＲＭＳＥ（Root-Mean-Square Error）を計算したところ、０．００４５であった。同様に、順位相関係数を計算したところ、０．９２１１であった。実験例８で計算したＯＣＲが不正解の場合の正解率βｉの推定値の実測値に対する推定の良さを評価するため、ＲＭＳＥおよび順位相関係数を計算したところ、それぞれ、０．０５２２および０．８６４９であった。実験例８は、実施例を構成する。
【０１１３】
（実験例９）
上記実験例８と同じワーカ集合に対し、上記実験例３の単純化潜在クラスモデルで推定した各ワーカの正解率ｓｉの推定値と実測値とを比較した結果を図９（Ａ）に示す。さらに、実験例９で計算した正解率ｓｉの推定値の実測値に対する推定の良さを評価するため、ＲＭＳＥおよび順位相関係数を計算したところ、０．０５８４および０．３２２８であった。実験例９は、比較例を構成する。
【０１１４】
（実験例８および実験例９の比較）
図９（Ａ）に示すように実験例９では、ワーカ毎の正解率ｓｉを高い精度で得られないケースがあった。例えば、図９（Ａ）を参照すると、ワーカ９２およびワーカ２２５では、実際値よりも過大な正解率ｓｉを推定していることが分かる。これに対して、実験例８では、図９（Ｂ）および図９（Ｃ）を参照すると明らかなように、対象となるすべてのワーカに対して、正解率αｉ，βｉが高い精度で見積もられていることが分かる。
【０１１５】
これは、ワーカ９２は、ＯＣＲが正解しているときの正解率が低く、反対にワーカ２２５は、ＯＣＲが不正解のときの正解率が低いことに起因すると考えられる。
【０１１６】
さらに、ＲＭＳＥおよび順位相関係数についてみると、ＲＭＳＥは、推定と実際との絶対的な誤差を表すため、０に近いほど良い推定と言え、順位相関係数は、推定値および実際値によるランク付けの類似度を表し、１に近いほど良い推定と言える。実験例８および実験例９で、ＲＭＳＥおよび順位相関係数を比較すると、前段が正解した場合の正解率αｉに関しては、ＲＭＳＥも順位相関係数も大きく改善していることが分かる。前段が不正解した場合の正解率βｉを比較すると、ＲＭＳＥは、実験例９と同等であるが、順位相関係数が改善していることがわかる。実験例９では、実際の正解率が低いワーカを過大評価する傾向にあり、回答数の多く正解率の高いワーカに正解率が引きずられることが原因であると考えられる。これに対して、実験例８では、解答数の減少に伴い引きずられる効果が軽減されていると考えることができる。
【０１１７】
以上説明したように、本発明の実施形態によれば、前段ワーカの作業結果の品質に応じて変動し得る後段ワーカの能力を推定することができる、推定方法、推定システム、コンピュータ・システムおよびプログラムを提供するができる。さらに、本発明の実施形態によれば、前段ワーカの作業結果の品質に応じて変動し得る後段ワーカの能力を推定しながら、複数のワーカの作業結果を統合する処理を行うためのプログラムを提供することができる。
【０１１８】
上述した推定方法等は、クラウドソーシングなどの複数のワーカの作業結果を統合する処理における品質管理のみならず、複数のワーカの推定された能力をフィードバックするなどにより、ワーカの教育にも適用可能である。
【０１１９】
なお、本発明につき、発明の理解を容易にするために各機能部および各機能部の処理を記述したが、本発明は、上述した特定の機能部が特定の処理を実行するほか、処理効率や実装上のプログラミングなどの効率を考慮して、いかなる機能部に、上述した処理を実行するための機能を割当てることができる。
【０１２０】
本発明の上記機能は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅｒｌ、Ｐｙｔｈｏｎ，Ｒｕｂｙなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布または伝送して頒布することができる。
【０１２１】
これまで本発明を、特定の実施形態をもって説明してきたが、本発明は、実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１２２】
１００…作業結果統合システム、１０２…ネットワーク、１０４…ワーカ端末、１０６…エンドユーザ端末、１１０…管理サーバ、１１２…タスクデータ、１１４…タスクログ、１１６…成果物データ、２００…機能ブロック、２１０…自動認識部、２２０…作業結果受付部、２３０…作業結果統合部、２３２…取得部、２３４…パラメータ推定部、２３６…出力部、３００，３１０…画面、３０２，３１２…表示ボックス、３０４，３１４…文字画像配列ボックス、３０６，３１６…ボックス、１２…ＣＰＵ、１４…キャッシュ・メモリ、１６…システム・メモリ、１８…システム・バス、２０…グラフィックス・ドライバ、２２…ＮＩＣ、２４…ディスプレイ、２６…Ｉ／Ｏバス・ブリッジ、２８…Ｉ／Ｏバス、３０…ハードディスク装置、３２…入力装置
【図１】
0005946073.tif 000014
【図２】
0005946073.tif 000015
【図３】
0005946073.tif 000016
【図４】
0005946073.tif 000017
【図５】
0005946073.tif 000018
【図６】
0005946073.tif 000019
【図７】
0005946073.tif 000020
【図８】
0005946073.tif 000021
【図９】
0005946073.tif 000022