(57)【要約】【課題】１評価対象当たりの評価者数が少ない場合でも、平均的な評価を行う評価者を選定する。【解決手段】複数の評価対象に対する評価を実施した複数の評価者から特定の評価者を選定する選定装置において、評価対象毎の評価者及び評価値を含む入力データに基づいて、評価者毎に他評価者との間の評価値の一致度を算出する一致度集計部と、評価者毎の前記一致度に基づいて、評価者毎に、評価値が他評価者と有意に一致するか否かを示す確率値を算出する確率値計算部と、前記確率値に基づいて、評価値が他評価者と有意に一致する評価者を選定する評価者選定部とを備える。【選択図】図１
2020035018.tif 000002
【特許請求の範囲】
【請求項１】
複数の評価対象に対する評価を実施した複数の評価者から特定の評価者を選定する選定装置であって、
評価対象毎の評価者及び評価値を含む入力データに基づいて、評価者毎に他評価者との間の評価値の一致度を算出する一致度集計部と、
評価者毎の前記一致度に基づいて、評価者毎に、評価値が他評価者と有意に一致するか否かを示す確率値を算出する確率値計算部と、
前記確率値に基づいて、評価値が他評価者と有意に一致する評価者を選定する評価者選定部と
を備えることを特徴とする選定装置。
【請求項２】
前記評価値は、評価対象毎に設定された値であって、１又は複数の項目毎の２値以上の多段階値、又は、連続値である
ことを特徴とする請求項１に記載の選定装置。
【請求項３】
前記確率値計算部は、前記確率値を、前記一致度が所定の確率分布に従うと仮定して算出する
ことを特徴とする請求項１又は２に記載の選定装置。
【請求項４】
請求項１ないし３のうちいずれか１項に記載の選定装置により選定された評価者により評価が行われた評価対象及び評価値を教師データとして入力し、当該教師データを用いて機械学習モデルの学習を行う学習部
を備えることを特徴とする学習装置。
【請求項５】
複数の評価対象に対する評価を実施した複数の評価者から特定の評価者を選定する選定装置が実行する選定方法であって、
評価対象毎の評価者及び評価値を含む入力データに基づいて、評価者毎に他評価者との間の評価値の一致度を算出する一致度集計ステップと、
評価者毎の前記一致度に基づいて、評価者毎に、評価値が他評価者と有意に一致するか否かを示す確率値を算出する確率値計算ステップと、
前記確率値に基づいて、評価値が他評価者と有意に一致する評価者を選定する評価者選定ステップと
を備えることを特徴とする選定方法。
【請求項６】
学習装置が実行する学習方法であって、
請求項１ないし３のうちいずれか１項に記載の選定装置により選定された評価者により評価が行われた評価対象及び評価値を教師データとして入力し、当該教師データを用いて機械学習モデルの学習を行う学習ステップ
を備えることを特徴とする学習方法。
【請求項７】
コンピュータを、請求項１ないし３のうちいずれか１項に記載の選定装置における各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項４に記載の学習装置における学習部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の評価対象に対する評価を実施した複数の評価者から特定の評価者を選定する技術に関連するものである。
【背景技術】
【０００２】
電話音声の好感度（非特許文献１）や、外国語の発音の良さ・流暢さ（非特許文献２）等を技能テストの１項目として会話の技能を図るテストでは、音声に対して定量的な印象値（例えば、良い〜悪いの５段階評価、好感度が高い５〜低い１、自然さが高い５〜低い１等）が付与されている。
【０００３】
現在は、各技能の専門家がこの音声の印象を評価し、合格・不合格の判定を行っているが、自動的に評価ができるようになると、試験の足切り等への活用や、評価に不慣れな専門家（例えば評価者になりたての人物）への参考値として用いることができる。そのため、音声の印象を自動推定する技術が必要とされている。
【０００４】
機械学習を用いたデータの印象の自動推定を実現するためには、印象値データとそのデータの特徴量から機械学習モデルを学習すればよい。しかし、印象は人によって感じる基準が異なるため、同じデータであっても印象値が人によって異なることがある。平均的な印象を推定できるようにするためには、１つのデータに対して多人数で印象値を付与し、印象値の平均値を用いることで、平均的な印象を学習することができる。平均的な印象値を安定して推定できるようになるには、できるだけ多人数で印象値を付与するとよい。例えば、非特許文献３で作成された印象データは、１音声データに対し１０名で印象値を付与している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】F. Burkhardt, B. Schuller, B. Weiss and F. Weninger, "Would You Buy a Car From Me?",On the Likability of Telephone Voices, " In Proc. Interspeech, pp.1557-1560, 2011.
【非特許文献２】Kei Ohta and Seiichi Nakagawa, "A statistical method of evaluating pronunciation proficiency for Japanese words, " INTERSPEECH2005, pp.2233-2236.
【非特許文献３】籠宮隆之ら"印象評定データの概要" http://pj.ninjal.ac.jp/corpus_center/csj/
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実運用上では、人数制約により１データに対して大量の印象値を付与するのは困難であるため、多人数でいくつかのデータを分散して印象値を付与する。そのため、１データ当たり高々１、２名程度の印象値となる。この場合、平均的な印象値を求めても、評価者によって印象の基準が異なる場合があり、多人数の平均値でとった値と大きく異なる場合がある。このとき、評価の基準の違いにより、平均したラベルが正しく学習できなくなる場合がある。
【０００７】
なお、上記のような課題は、評価対象が音声である場合に限らず、様々な分野において評価対象を複数の評価者で評価する場合に生じ得る課題である。
【０００８】
本発明は上記の点に鑑みてなされたものであり、１評価対象当たりの評価者数が少ない場合でも、平均的な評価を行う評価者を選定することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
開示の技術によれば、複数の評価対象に対する評価を実施した複数の評価者から特定の評価者を選定する選定装置であって、
評価対象毎の評価者及び評価値を含む入力データに基づいて、評価者毎に他評価者との間の評価値の一致度を算出する一致度集計部と、
評価者毎の前記一致度に基づいて、評価者毎に、評価値が他評価者と有意に一致するか否かを示す確率値を算出する確率値計算部と、
前記確率値に基づいて、評価値が他評価者と有意に一致する評価者を選定する評価者選定部と
を備えることを特徴とする選定装置が提供される。
【発明の効果】
【００１０】
開示の技術によれば、１評価対象当たりの評価者数が少ない場合でも、平均的な評価を行う評価者を選定することを可能とする技術が提供される。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態における学習装置１００の機能構成図である。
【図２】装置のハードウェア構成の例を示す図である。
【図３】学習ラベルデータの例を示す図である。
【図４】学習特徴量データの例を示す図である。
【図５】両者の評価値とｍの値を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。例えば、以下の実施の形態では、音声の印象値の評価を行う評価者を選定する例を示しているが、本発明は、音声の印象値の評価に限らず、様々な評価対象の評価についての評価者の選定に適用することができる。
【００１３】
（装置の機能構成）
図１に本実施の形態における学習装置１００の機能構成図を示す。図１に示すように、学習装置１００は、一致数集計部１１０、確率値計算部１２０、評価者選定部１３０、学習部１４０を備える。また、学習装置１００において使用されるデータを格納するデータベースである学習ラベルデータＤＢ１５０、及び学習特徴量データＤＢ１６０が存在する。学習ラベルデータＤＢ１５０、及び学習特徴量データＤＢ１６０は、学習装置１００の内部に記憶部として備えられていてもよいし、学習装置１００の外部にネットワークを介して接続されるものであってもよい。なお、一致数集計部１１０が集計する一致数は一致度の例である。より一般的に、一致数集計部１１０を一致度集計部１１０と称してもよい。
【００１４】
また、学習部１４０を備えずに、一致数集計部１１０、確率値計算部１２０、評価者選定部１３０を備える装置（選定装置と呼ぶ）が設けられてもよい。この場合、学習を行うために、選定装置から、学習部を備える任意の学習装置に、選定結果（選定された評価者でもよいし、選定されたラベルデータでもよい）が送信される。
【００１５】
一致数集計部１１０、確率値計算部１２０、評価者選定部１３０、学習部１４０を含む装置を選定装置と称してもよい。また、一致数集計部１１０、確率値計算部１２０、評価者選定部１３０、学習部１４０を含む学習装置１００の内部における一致数集計部１１０、確率値計算部１２０、評価者選定部１３０を有する部分を選定装置と称してもよい。
【００１６】
上述したＤＢに格納されたデータの内容、及び各部の詳細動作については実施例（及び変形例）として後述する。
【００１７】
（ハードウェア構成例）
上述した学習装置１００及び選定装置（以下、"装置"と総称する）は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
【００１８】
すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
【００１９】
図２は、本実施の形態における上記コンピュータのハードウェア構成例を示す図である。図２のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１７０、補助記憶装置１７２、メモリ装置１７３、ＣＰＵ１７４、インタフェース装置１７５、表示装置１７６、及び入力装置１７７等を有する。
【００２０】
当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１７１によって提供される。プログラムを記憶した記録媒体１７１がドライブ装置１７０にセットされると、プログラムが記録媒体１７１からドライブ装置１７０を介して補助記憶装置１７２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１７１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１７２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００２１】
メモリ装置１７３は、プログラムの起動指示があった場合に、補助記憶装置１７２からプログラムを読み出して格納する。ＣＰＵ１７４は、メモリ装置１７３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１７５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１７６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１７７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
【００２２】
以下、実施例として、学習ラベルデータＤＢ１５０、学習特徴量データＤＢ１６０に格納される学習ラベルデータ、学習特徴量データ、及び各部の動作を詳細に説明する。
【００２３】
（実施例）
＜学習ラベルデータ・学習特徴量データ＞
本実施例における学習ラベルデータの例を図３に示し、学習特徴量データの例を図４に示す。
【００２４】
図３に示すように、学習ラベルデータには、学習ラベルデータのデータ番号ｉ（ｉ＝０，１，…，Ｉ）に対して、データ番号ｙ（ｉ，０）、評価者番号ｙ（ｉ，１）、印象値ラベルｙ（ｉ，２）が存在する。データ番号ｙ（ｉ，０）はｙ（ｉ，０）∈｛０，１，２，…，Ｊ｝であり、学習特徴量データのデータ番号ｊを示す番号である。また、評価者番号はそのデータを評価した評価者の番号ｙ（ｉ，１）∈｛１，２，３，…，Ｋ｝である。印象値ラベルは、そのデータに対する印象の値（評価値）である。本実施例では、０、１として２値の値を付与しているものとする。
【００２５】
このように、学習ラベルデータは、１つの学習特徴量データに対して複数の人物により、複数の印象ラベルが付与されているものになっている。
【００２６】
図４に示すように、学習特徴量データは、データ番号ｊ（ｊ＝０，１，…，Ｊ）に対するデータｘ（ｊ）となる。学習特徴量データは、例えば、音声信号や音声信号から特徴を抽出したベクトル等の値である。
【００２７】
＜一致数集計部１１０＞
次に、一致数集計部１１０の動作を説明する。一致数集計部１１０には、学習ラベルデータＤＢ１５０から学習ラベルデータが入力される。
【００２８】
一致数集計部１１０は、入力された学習ラベルデータに基づいて、評価者毎に他者と一致している数、不一致の数を集計し、一致数集計データＣ（ｋ，ｍ）と、評価者ｋの評価数Ｎ（ｋ）を求める。なお、一致数集計データＣ（ｋ，ｍ）を一致度と称してもよい。
【００２９】
一致数集計データＣ（ｋ，ｍ）に関して、ｍ＝０のとき、Ｃ（ｋ，ｍ）は評価者ｋが他者と見解が不一致であった回数を示し、ｍ＝１のとき、Ｃ（ｋ，ｍ）は評価者ｋが他者と見解が一致した回数を示す。評価数Ｎ（ｋ）は、これらの回数の合計であり、Ｎ（ｋ）＝Ｃ（ｋ，０）＋Ｃ（ｋ，１）を満たす。以下、一致数集計部１１０の動作をより詳細に説明する。動作は下記の（１）と（２）からなる。
【００３０】
（１）まず、学習ラベルデータを下記ルール１、２に基づき関数化する。
【００３１】
ルール１：評価者ｋ、学習特徴量データ番号ｊについて学習ラベルデータ内にデータが存在するときは、その時のラベルをｆ（ｋ，ｊ）とし、存在しないときはｆ（ｋ，ｊ）＝Ｎｏｎｅとする。例えば、図３に示す例において、１番の評価者（ｋ＝１）、０番の学習特徴量データ（ｊ＝０）に着目すると、ラベル＝０なので、ｆ（１，０）＝０である。また、ｆ（２，０）＝０である。
【００３２】
ルール２：あるデータ番号ｊを評価している評価者番号の集合をＬ（ｊ）とする。例えば、図３の例では、０番のデータを評価しているのでは、１番と２番の評価者なので、Ｌ（０）＝｛１，２｝となる。各ｊについて、Ｌ（ｊ）が得られる。
【００３３】
（２）評価者ｋ（ｋ＝１，…Ｋ）についてのループ処理として、ｋ＝１，…Ｋのそれぞれについて、下記の（２−１）と（２−２）の処理を実行する。
【００３４】
（２−１）一致数集計データＣ（ｋ，ｍ）と評価者ｋの評価数Ｎ（ｋ）を初期化するため、Ｃ（ｋ，０）＝０、Ｃ（ｋ，１）＝０、Ｎ（ｋ）＝０とする。
【００３５】
（２−２）データ番号ｊ（ｊ＝０，１，．．，Ｊ）についてのループ処理として、ｊ＝０，１，．．，Ｊのそれぞれについて、下記の（２−２−１）と（２−２−２）の処理を実行する。
【００３６】
（２−２−１）ｆ（ｋ，ｊ）＝Ｎｏｎｅの場合、ｊについての次のループへ進む。
【００３７】
（２−２−２）ｆ（ｋ，ｊ）！＝Ｎｏｎｅの場合（ｆ（ｋ，ｊ）がＮｏｎｅでない場合）、Ｌ'＝Ｌ（ｊ）−｛ｋ｝を求めてｌ∈Ｌ'（データｊを評価するｋ以外の評価者集合）についてのループ処理として、（２−２−２−１）、（２−２−２−２）、（２−２−２−３）を実行する。
【００３８】
（２−２−２−１）Ｎ（ｋ）＋＝１
（２−２−２−２）ｆ（ｌ，ｊ）＝ｆ（ｋ，ｊ）の場合（他者とラベルが一致する場合）、一致している数を増やす：Ｃ（ｋ，０）＋＝１
（２−２−２−３）ｆ（ｌ，ｊ）≠ｆ（ｋ，ｊ）の場合（他者とラベルが一致しない場合）、不一致している数を増やす：Ｃ（ｋ，１）＋＝１
＜確率値計算部１２０＞
次に、確率値計算部１２０の動作を説明する。確率値計算部１２０では、ある評価者について他者と一致している数が有意に高いか否かを計算するための確率値を求める。具体的には下記のとおりである。
【００３９】
他者と見解が一致する確率をｐと仮定すると、有意に一致する回数が高い場合は、様々な評価者と見解が一致しやすく、様々な評価者の中でも安定して評価ができる評価者とすることができる。ここでは、２名の見解が一致する確率・不一致する確率がｐ、（１−ｐ）であるベルヌーイ分布に従うと仮定し、２項分布に基づいて確率値を計算する。
【００４０】
確率値計算部１２０は、Ｃ（ｋ，０），Ｃ（ｋ，１）の回数が二項分布に従うと仮定し、下記の式により２項検定を行い有意確率Ｐ（ｋ）を求める。
【００４１】
【数１】
2020035018.tif 000003
上記の式におけるＮｏｒｍｃｄｆは標準正規累積分布関数である。計算により得られるＰについて、評価回数が多く、かつ他者と一致している回数が多い評価者はＰの値が小さくなる。一致する確率ｐは例えば、ｐ＝０．５とすることができる。
【００４２】
＜評価者選定部１３０＞
次に、評価者選定部１３０の動作を説明する。評価者選定部１３０は、確率値計算部１２０により得られたＰ（ｋ）に基づき、閾値δを用いて、評価値が他者と有意に一致している評価者を選定し、その評価者の評価しているデータのみを選定する。本実施例では、評価者選定部１３０は、下記の式により、選定された評価者のラベルデータの集合Ｉ'を算出し、出力する。
【００４３】
Ｉ'＝｛ｉ｜Ｐ（ｋ）＜δ∧Ｃ（ｋ，１）＞Ｃ（ｋ，０）∧ｙ（ｉ，１）＝ｋ｝
なお、「Ｐ（ｋ）＜δ∧Ｃ（ｋ，１）＞Ｃ（ｋ，０）」を満たす評価者ｋを選定し、選定した評価者を出力することとしてもよい。この場合、学習部１４０において、選定された評価者が評価したラベルデータを抽出すればよい。
【００４４】
また、評価者を選定する基準「Ｐ（ｋ）＜δ∧Ｃ（ｋ，１）＞Ｃ（ｋ，０）」は一例であり、これ以外の基準で評価者を選定してもよい。
【００４５】
＜学習部１４０＞
次に、学習部１４０の動作を説明する。学習部１４０は、評価者選定部１３０により選定されたラベルデータ、及び、対応する学習特徴量データを教師データとして用いて機械学習モデルを学習する。機械学習の方法としては、一般的な方法（例えばＳＶＭ，ニューラルネットワーク等）を用いることができる。
【００４６】
ラベルデータとしては、評価者選定部１３０により選定されたラベルデータ集合Ｉ'のみを用いる。具体的には、下記のように学習特徴量データとラベルデータのセットＸ、Ｙを求める。
【００４７】
（Ｘ，Ｙ）ｉ∈Ｉ'＝｛（ｘ（ｙ（ｉ，０）），ｙ（ｉ，２））｜ｉ∈Ｉ'｝
そして、学習部１４０は、Ｘ，Ｙを教師データとして用いて学習を行う。例えば、Ｘをモデルの入力とし、Ｙを正解データとして、モデルを学習する。学習でできたモデルは、例えば、音声の自動評価に使用される。
【００４８】
（変形例）
次に、変形例を説明する。上述した実施例では、ラベルが２値（０又は１）の場合を想定していたが、２よりも多い段階の値、例えば、５段階の値、１０段階の値等でも安定した評価者を選定することができる。変形例では、ラベルとして、２よりも多い段階の値を用いる場合でも適用できる処理内容について説明する。このときの学習ラベルデータは、図３の例では、１つのデータ番号（ｙ（ｉ，０）あたりのラベルの数（行数）が、段階の数（２に限られない）になったものである。
【００４９】
以下、変形例における一致数集計部１１０、及び確率値計算部１２０の動作を説明する。評価者選定部１３０、及び学習部１４０の動作は実施例における動作と同様である。
【００５０】
＜変形例：一致数集計部１１０＞
変形例における一致数集計部１１０は、評価者間の差を集計する。このとき、一致数集計データＣ（ｋ，ｍ）（ｍ＝０，・・・，Ｍ−１，Ｍはラベルの最大値。例えば評価の最小値が１の５段階評価の場合Ｍ＝５となる）は、２名の評価者の差分の回数の集計値となる。ｍ＝０とき、Ｃ（ｋ，ｍ）は評価者ｋが他者と見解がいずれかの段階で一致した回数を示し、ｍ≠０のときＣ（ｋ，ｍ）は評価者ｋが他者と見解がｍ段階差があった回数を示す。Ｎ（ｋ）＝Σｍ＝０Ｍ−１Ｃ（ｋ，ｍ）を満たす。以下、一致数集計部１１０の動作をより詳細に説明する。動作は下記の（１）と（２）からなる。
【００５１】
（１）まず、学習ラベルデータを下記ルール１、２に基づき関数化する。
【００５２】
ルール１：評価者ｋ、学習特徴量データ番号ｊについて学習ラベルデータ内にデータが存在するときは、その時のラベルをｆ（ｋ，ｊ）とし、存在しないときはｆ（ｋ，ｊ）＝Ｎｏｎｅとする。例えば、図３に示す例では、ｆ（１，０）＝０、ｆ（２，０）＝０である。
【００５３】
ルール２：あるデータ番号ｊを評価している評価者番号の集合をＬ（ｊ）とする。例えば、図３の例では、Ｌ（０）＝｛１，２｝となる。
【００５４】
（２）評価者ｋ（ｋ＝１，…Ｋ）についてのループ処理として、ｋ＝１，…Ｋのそれぞれについて、下記の（２−１）、（２−２）、（２−３）の処理を実行する。
【００５５】
（２−１）ラベルの最小値を１、最大値をＭとしたときＣ（ｋ，ｍ）＝０（ｍ＝０，１，２，・・・，Ｍ−１）とする。
【００５６】
（２−２）Ｎ（ｋ）＝０とする。
【００５７】
（２−３）データ番号ｊ（ｊ＝０，１，．．，Ｊ）についてのループ処理として、ｊ＝０，１，．．，Ｊのそれぞれについて、下記の（２−３−１）、（２−３−２）の処理を実行する。
【００５８】
（２−３−１）ｆ（ｋ，ｊ）＝Ｎｏｎｅの場合、ｊについての次のループへ進む。
【００５９】
（２−３−２）ｆ（ｋ，ｊ）≠Ｎｏｎｅの場合，Ｌ'＝Ｌ（ｊ）−｛ｋ｝を求めてｌ∈Ｌ'（データｊを評価するｋ以外の評価者集合）についてのループ処理として、（２−３−２−１）、（２−３−２−２）を実行する。
【００６０】
（２−３−２−１）２つの評点の差分ｓ＝｜ｆ（ｌ，ｊ）−ｆ（ｋ，ｊ）｜を計算してＣ（ｋ，ｓ）＋＝１とする。
【００６１】
（２−３−２−２）Ｎ（ｋ）＋＝１
＜変形例：確率値計算部１２０＞
次に、変形例における確率値計算部１２０の動作を説明する。実施例では、ラベルが２値であったため、２名の見解が一致する確率・不一致する確率がｐ、（１−ｐ）であるベルヌーイ分布に従うと仮定し、２項分布に基づいて確率値を計算した。
【００６２】
変形例においては、ラベルが２値に限られない複数の段階値になるため、Ｃ（ｋ，ｓ）が多項分布に従うと仮定してＰ（ｋ）を求める。両者の評価の差がｍである確率をｐｍとすると具体的には下記のようなχ二乗値を求めてＰ（ｋ）を求める。
【００６３】
【数２】
2020035018.tif 000004
Ｐ（ｋ）＝Ｃｈｉ＿ｐ（χ２）
上記の式におけるＣｈｉ＿ｐはχ二乗値のＰ値を求める関数である。
【００６４】
Ｍ段階の評価としたときに、ある評点ｍが付与される確率をｑｖとすると、例えばｐｍは次のように設定することができる。
【００６５】
【数３】
2020035018.tif 000005
上記の式は、図５の表に示すように２名の評価者の差分を計算し、評点の差分が同じとなる確率値を合計した値を求めることを意味する。
【００６６】
本変形例では、多段階の評価（例えば、５段階等）を仮定したが、正規分布に従う連続値やベータ分布に従う０〜１のような連続値であっても、その２名の差分の分布を仮定して検定を行うことでＰ（ｋ）を求めることができる。
【００６７】
また、本変形例では、印象値という１次元の評価を仮定したが、多項目の評価を行う場合にも拡張することができる。この場合、例えば、多項目における各項目で変形例と同様にＰ値を求め、項目毎に評価者を選定する。
【００６８】
また、多項目の評価を行う場合において、全ての項目でＰ値の低い評価者を選定することとしてもよい。このように、全ての項目の評価をまとめて評価者を選出する場合において、全ての項目に関してのＰ値の算出方法として、例えば下記の（１）、（２）で示す２パターンのうちのいずれか又は両方を用いることができる。
【００６９】
（１）全てのＰ値を重み付け和なし（＝同一の重み）で平均する。
【００７０】
（２）全てのＰ値を重み付き和で平均する。
【００７１】
（１）の場合、例えば、項目が項目Ａ、項目Ｂ、項目Ｃの３つである場合において、ある評価者についての項目ＡのＰ値がＰＡ、項目ＢのＰ値がＰＢ、項目ＣのＰ値がＰＣである場合、当該評価者のＰ値は（ＰＡ＋ＰＢ＋ＰＣ）／３として算出される。
【００７２】
（２）のように重み付き和で平均する場合、例えば、２段階の評価で一致した時より、７段階の評価で一致しているときのＰ値を高く評価するよう、評価の段階数の大きさに応じて評価が一致した時の安定性の評価が高くなるよう、重みを付けることができる。具体的に、評価段階数の大きさに応じた重み付けとは、例えば任意の評価項目に設定された評価段階数Ｍの場合に、１／Ｍの値を重みとし、各Ｐ値と重みの積を加算した平均を評価者選出に用いる。
【００７３】
例えば、項目が項目Ａ、項目Ｂ、項目Ｃの３つである場合において、項目Ａ、項目Ｂ、項目Ｃの段階数がそれぞれＭＡ、ＭＢ，ＭＣであるとし、ある評価者についての項目ＡのＰ値がＰＡ、項目ＢのＰ値がＰＢ、項目ＣのＰ値がＰＣである場合、当該評価者のＰ値は（（ＰＡ／ＭＡ）＋（ＰＢ／ＭＢ）＋（ＰＣ／ＭＣ））／３として算出される。
【００７４】
（実施の形態の効果）
上記実施例及び変形例で説明した本実施の形態に係る技術により、平均的な印象値ラベルを付与できる評価者を、評価回数や一致数などを基準に確率分布に基づき選定することとしたので、１データ当たりの評価者数が少ない場合（例えば２名）でも、平均的ではない評価者を除外でき、平均的な評価を行う評価者を選定することができる。また、平均的な印象値を学習することができる。
【００７５】
（実施の形態のまとめ）
以上説明したように、本実施の形態によれば、複数の評価対象に対する評価を実施した複数の評価者から特定の評価者を選定する選定装置であって、評価対象毎の評価者及び評価値を含む入力データに基づいて、評価者毎に他評価者との間の評価値の一致度を算出する一致度集計部と、評価者毎の前記一致度に基づいて、評価者毎に、評価値が他評価者と有意に一致するか否かを示す確率値を算出する確率値計算部と、前記確率値に基づいて、評価値が他評価者と有意に一致する評価者を選定する評価者選定部とを備えることを特徴とする選定装置が提供される。
【００７６】
前記評価値は、例えば評価対象毎に設定された値であって、１又は複数の項目毎の２値以上の多段階値、又は、連続値である。また、前記確率値計算部は、前記確率値を、前記一致度が所定の確率分布に従うと仮定して算出することとしてもよい。
【００７７】
また、本実施の形態によれば、上記選定装置により選定された評価者により評価が行われた評価対象及び評価値を教師データとして入力し、当該教師データを用いて機械学習モデルの学習を行う学習部を備えることを特徴とする学習装置が提供される。
【００７８】
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００７９】
１００  学習装置
１１０  一致数集計部
１２０  確率値計算部
１３０  評価者選定部
１４０  学習部
１５０  学習ラベルデータＤＢ
１６０  学習特徴量データＤＢ
１７０  ドライブ装置
１７１  記録媒体
１７２  補助記憶装置
１７３  メモリ装置
１７４  ＣＰＵ
１７５  インターフェース装置
１７６  表示装置
１７７  入力装置
【図１】
2020035018.tif 000006
【図２】
2020035018.tif 000007
【図３】
2020035018.tif 000008
【図４】
2020035018.tif 000009
【図５】
2020035018.tif 000010