(57)【要約】      （修正有）【課題】信頼できる回答者の回答に基づいて、回答を効率的に評価する評価装置、評価方法及びプログラムを提供する。【解決手段】評価装置１００は、概念に紐付ける設定がされた複数の検査対象を取得する検査対象取得部１０１と、概念に紐付ける設定がされていない１以上のダミー対象を取得するダミー対象取得部１０２と、複数のチェッカーに、複数の検査対象と、１以上のダミー対象と、から、概念に紐付けるべきでない対象を選択させる質問を提示する提示部１０３と、複数のチェッカーから、選択された対象からなる回答を受け付ける受付部１０４と、受け付けた回答のうち、１以上のダミー対象を含む回答を抽出する抽出部１０５と、複数の検査対象のうち、抽出された回答に含まれる検査対象を報告する報告部１０６を備える。【選択図】図３
2020107186.tif 000002
【特許請求の範囲】
【請求項１】
概念に紐付ける設定がされた複数の検査対象を取得する検査対象取得部と、
前記概念に紐付ける設定がされていない１以上のダミー対象を取得するダミー対象取得部と、
複数のチェッカーに、前記複数の検査対象と、前記１以上のダミー対象と、から、前記概念に紐付けるべきでない対象を選択させる質問を提示する提示部と、
前記複数のチェッカーから、前記選択された対象からなる回答を受け付ける受付部と、
前記受け付けた回答のうち、前記１以上のダミー対象を含む回答を抽出する抽出部と、
前記複数の検査対象のうち、前記抽出された回答に含まれる検査対象を報告する報告部と、
を備えることを特徴とする評価装置。
【請求項２】
前記ダミー対象取得部は、前記ダミー対象を１つ取得し、
前記提示部は、前記概念に紐付けるべきでない対象を複数選択させる質問を提示する
ことを特徴とする請求項１に記載の評価装置。
【請求項３】
前記ダミー対象取得部は、前記ダミー対象を複数取得し、
前記報告部は、
前記抽出された回答に前記ダミー対象が含まれる個数に基づいて、前記チェッカーによる選択が正確にされた程度を示す正確度を決定し、
前記正確度に基づいて、前記抽出された回答に含まれる検査対象について、当該検査対象を前記概念に紐付けるべきでない程度を示す不適切スコアを決定し、
前記複数のチェッカーから受け付けた回答のうち、前記抽出された回答から求められた前記不適切スコアを積算した値を報告する
ことを特徴とする請求項１に記載の評価装置。
【請求項４】
前記報告部は、前記不適切スコアを積算した値が最小の検査対象を、前記概念に紐付けるべき対象として報告する
ことを特徴とする請求項３に記載の評価装置。
【請求項５】
前記報告部は、前記複数のチェッカーから受け付けた回答のうち、前記抽出された回答であって、前記検査対象が含まれていた回答の数を報告する
ことを特徴とする請求項１乃至４のいずれか１項に記載の評価装置。
【請求項６】
前記報告部は、前記複数のチェッカーから受け付けた回答のうち、前記抽出された回答の数が最も少ない前記検査対象を、前記概念に紐付けるべき対象として報告する
ことを特徴とする請求項１乃至５のいずれか１項に記載の評価装置。
【請求項７】
前記概念は、商品であり、
前記検査対象取得部は、階層構造で表されるカテゴリであって、前記商品が属するカテゴリと同じ階層のノードに対応付けられるカテゴリを、前記検査対象として取得し、
前記ダミー対象取得部は、前記商品が属するカテゴリが対応付けられたノードの親ノードと同じ階層のノードであって、当該親ノードと異なるノードに対応付けられたカテゴリを、前記ダミー対象として取得する
ことを特徴とする請求項１乃至６のいずれか１項に記載の評価装置。
【請求項８】
前記概念は、商品であり、
前記検査対象取得部は、前記商品に紐付ける設定がショップによりされたタグを、前記検査対象として取得し、
前記ダミー対象取得部は、前記商品に紐付ける設定が他のショップによりされていないタグを、前記ダミー対象として取得する
ことを特徴とする請求項１乃至６のいずれか１項に記載の評価装置。
【請求項９】
前記概念は、タグであり、
前記検査対象取得部は、前記タグに紐付ける設定がショップによりされた商品を、前記検査対象として取得し、
前記ダミー対象取得部は、前記タグに紐付ける設定が他のショップによりされていない商品を、前記ダミー対象として取得する
ことを特徴とする請求項１乃至６のいずれか１項に記載の評価装置。
【請求項１０】
前記概念は、階層構造で表されるカテゴリであり、
前記検査対象取得部は、前記カテゴリに属する商品を、前記検査対象として取得し、
前記ダミー対象取得部は、前記カテゴリの親ノードと同じ階層のノードであって、当該親ノードと異なるノードに対応付けられるカテゴリに属する商品を、前記ダミー対象として取得する
ことを特徴とする請求項１乃至６のいずれか１項に記載の評価装置。
【請求項１１】
前記概念は、検索ワードであり、
前記検査対象取得部は、前記検索ワードの検索結果のうち上位から第１の数の検索結果に含まれるアイテムを、前記検査対象として取得し、
前記ダミー対象取得部は、前記検索ワードの前記検索結果に含まれないアイテムを、前記ダミー対象として取得する
ことを特徴とする請求項１乃至６のいずれか１項に記載の評価装置。
【請求項１２】
前記ダミー対象取得部は、
前記検査対象であるアイテムに関連付けられるテキストにおいて、出現頻度が上位から第２の数のワードを抽出し、
前記抽出されたワードを検索ワードに指定し、前記概念の検索ワードを除外ワードに指定した検索結果に含まれるアイテムを、前記ダミー対象として取得する
ことを特徴とする請求項１１に記載の評価装置。
【請求項１３】
評価装置が実行する評価方法であって、
前記評価装置が、概念に紐付ける設定がされた複数の検査対象を取得する検査対象取得ステップと、
前記評価装置が、前記概念に紐付ける設定がされていない１以上のダミー対象を取得するダミー対象取得ステップと、
前記評価装置が、複数のチェッカーに、前記複数の検査対象と、前記１以上のダミー対象と、から、前記概念に紐付けるべきでない対象を選択させる質問を提示する提示ステップと、
前記評価装置が、前記複数のチェッカーから、前記選択された対象からなる回答を受け付ける受付ステップと、
前記評価装置が、前記受け付けた回答のうち、前記１以上のダミー対象を含む回答を抽出する抽出ステップと、
前記評価装置が、前記複数の検査対象のうち、前記抽出された回答に含まれる検査対象を報告する報告ステップと、
を備えることを特徴とする評価方法。
【請求項１４】
コンピュータを、
概念に紐付ける設定がされた複数の検査対象を取得する検査対象取得部、
前記概念に紐付ける設定がされていない１以上のダミー対象を取得するダミー対象取得部、
複数のチェッカーに、前記複数の検査対象と、前記１以上のダミー対象と、から、前記概念に紐付けるべきでない対象を選択させる質問を提示する提示部、
前記複数のチェッカーから、前記選択された対象からなる回答を受け付ける受付部、
前記受け付けた回答のうち、前記１以上のダミー対象を含む回答を抽出する抽出部、
前記複数の検査対象のうち、前記抽出された回答に含まれる検査対象を報告する報告部、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価装置、評価方法及びプログラムに関し、特に、回答の評価に関するものである。
【背景技術】
【０００２】
近年、ネットワークを介して、不特定多数の者に、簡易なマーケティング調査や簡単に処理できる作業を依頼し、依頼を受けた者は対価として報酬を得るクラウドソーシングサービスが知られている。クラウドソーシングサービスでは、気軽に依頼を受けることができるというメリットがある一方で、真面目に作業しない受注者も少なからず存在し、そのような者の作業の正確性が懸念されている。
【０００３】
作業に臨む姿勢が、作業者の回答に影響を与えることは、広く認識されており、作業に臨む姿勢を回答に反映させようという試みも存在する。例えば、特許文献１では、アンケートの質問群とダミーの質問群とを用意し、それらの回答結果を基に回答者の心理的傾向を求め、求めた心理的傾向を回答に反映させる技術が開示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８７７３６公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のように、意図する情報を得るための質問とダミーの質問を用意して、両方を回答させる手法は一般的に用いられており、このような手法では、回答者が真面目に回答しているか否かを判断したり、正確に回答する知識を有している者であるか否かを判断することできる。つまり、回答者が信頼できる者であるか否かを判断することが可能である。しかしながら、準備しなければならない質問が増え、また、回答すべき質問が多くなり回答者の負担も増えるので、より効率的な手法が望まれている。
【０００６】
本発明は、上記のような課題を解決するもので、信頼できる回答者の回答に基づいて、回答を効率的に評価する評価装置、評価方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の観点に係る評価装置は、
概念に紐付ける設定がされた複数の検査対象を取得する検査対象取得部と、
前記概念に紐付ける設定がされていない１以上のダミー対象を取得するダミー対象取得部と、
複数のチェッカーに、前記複数の検査対象と、前記１以上のダミー対象と、から、前記概念に紐付けるべきでない対象を選択させる質問を提示する提示部と、
前記複数のチェッカーから、前記選択された対象からなる回答を受け付ける受付部と、
前記受け付けた回答のうち、前記１以上のダミー対象を含む回答を抽出する抽出部と、
前記複数の検査対象のうち、前記抽出された回答に含まれる検査対象を報告する報告部と、
を備えることを特徴とする。
【０００８】
また、上記観点に係る評価装置において、
前記ダミー対象取得部は、前記ダミー対象を１つ取得し、
前記提示部は、前記概念に紐付けるべきでない対象を複数選択させる質問を提示する
ことを特徴とする。
【０００９】
また、上記観点に係る評価装置において、
前記ダミー対象取得部は、前記ダミー対象を複数取得し、
前記報告部は、
前記抽出された回答に前記ダミー対象が含まれる個数に基づいて、前記チェッカーによる選択が正確にされた程度を示す正確度を決定し、
前記正確度に基づいて、前記抽出された回答に含まれる検査対象について、当該検査対象を前記概念に紐付けるべきでない程度を示す不適切スコアを決定し、
前記複数のチェッカーから受け付けた回答のうち、前記抽出された回答から求められた前記不適切スコアを積算した値を報告する
ことを特徴とする。
【００１０】
また、上記観点に係る評価装置において、
前記報告部は、前記不適切スコアを積算した値が最小の検査対象を、前記概念に紐付けるべき対象として報告する
ことを特徴とする。
【００１１】
また、上記観点に係る評価装置において、
前記報告部は、前記複数のチェッカーから受け付けた回答のうち、前記抽出された回答であって、前記検査対象が含まれていた回答の数を報告する
ことを特徴とする。
【００１２】
また、上記観点に係る評価装置において、
前記報告部は、前記複数のチェッカーから受け付けた回答のうち、前記抽出された回答の数が最も少ない前記検査対象を、前記概念に紐付けるべき対象として報告する
ことを特徴とする。
【００１３】
また、上記観点に係る評価装置において、
前記概念は、商品であり、
前記検査対象取得部は、階層構造で表されるカテゴリであって、前記商品が属するカテゴリと同じ階層のノードに対応付けられるカテゴリを、前記検査対象として取得し、
前記ダミー対象取得部は、前記商品が属するカテゴリが対応付けられたノードの親ノードと同じ階層のノードであって、当該親ノードと異なるノードに対応付けられたカテゴリを、前記ダミー対象として取得する
ことを特徴とする。
【００１４】
また、上記観点に係る評価装置において、
前記概念は、商品であり、
前記検査対象取得部は、前記商品に紐付ける設定がショップによりされたタグを、前記検査対象として取得し、
前記ダミー対象取得部は、前記商品に紐付ける設定が他のショップによりされていないタグを、前記ダミー対象として取得する
ことを特徴とする。
【００１５】
また、上記観点に係る評価装置において、
前記概念は、タグであり、
前記検査対象取得部は、前記タグに紐付ける設定がショップによりされた商品を、前記検査対象として取得し、
前記ダミー対象取得部は、前記タグに紐付ける設定が他のショップによりされていない商品を、前記ダミー対象として取得する
ことを特徴とする。
【００１６】
また、上記観点に係る評価装置において、
前記概念は、階層構造で表されるカテゴリであり、
前記検査対象取得部は、前記カテゴリに属する商品を、前記検査対象として取得し、
前記ダミー対象取得部は、前記カテゴリの親ノードと同じ階層のノードであって、当該親ノードと異なるノードに対応付けられるカテゴリに属する商品を、前記ダミー対象として取得する
ことを特徴とする。
【００１７】
また、上記観点に係る評価装置において、
前記概念は、検索ワードであり、
前記検査対象取得部は、前記検索ワードの検索結果のうち上位から第１の数の検索結果に含まれるアイテムを、前記検査対象として取得し、
前記ダミー対象取得部は、前記検索ワードの前記検索結果に含まれないアイテムを、前記ダミー対象として取得する
ことを特徴とする。
【００１８】
また、上記観点に係る評価装置において、
前記ダミー対象取得部は、
前記検査対象であるアイテムに関連付けられるテキストにおいて、出現頻度が上位から第２の数のワードを抽出し、
前記抽出されたワードを検索ワードに指定し、前記概念の検索ワードを除外ワードに指定した検索結果に含まれるアイテムを、前記ダミー対象として取得する
ことを特徴とする。
【００１９】
本発明の第２の観点に係る評価方法は、
評価装置が実行する評価方法であって、
前記評価装置が、概念に紐付ける設定がされた複数の検査対象を取得する検査対象取得ステップと、
前記評価装置が、前記概念に紐付ける設定がされていない１以上のダミー対象を取得するダミー対象取得ステップと、
前記評価装置が、複数のチェッカーに、前記複数の検査対象と、前記１以上のダミー対象と、から、前記概念に紐付けるべきでない対象を選択させる質問を提示する提示ステップと、
前記評価装置が、前記複数のチェッカーから、前記選択された対象からなる回答を受け付ける受付ステップと、
前記評価装置が、前記受け付けた回答のうち、前記１以上のダミー対象を含む回答を抽出する抽出ステップと、
前記評価装置が、前記複数の検査対象のうち、前記抽出された回答に含まれる検査対象を報告する報告ステップと、
を備えることを特徴とする。
【００２０】
本発明の第３の観点に係るプログラムは、
コンピュータを、
概念に紐付ける設定がされた複数の検査対象を取得する検査対象取得部、
前記概念に紐付ける設定がされていない１以上のダミー対象を取得するダミー対象取得部、
複数のチェッカーに、前記複数の検査対象と、前記１以上のダミー対象と、から、前記概念に紐付けるべきでない対象を選択させる質問を提示する提示部、
前記複数のチェッカーから、前記選択された対象からなる回答を受け付ける受付部、
前記受け付けた回答のうち、前記１以上のダミー対象を含む回答を抽出する抽出部、
前記複数の検査対象のうち、前記抽出された回答に含まれる検査対象を報告する報告部、
として機能させることを特徴とする。
【００２１】
上記プログラムは、非一時的な（non-transitory）記録媒体に記録されてもよい。非一時的な記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な（tangible）記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な（transitory）記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な（temporary）記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリである。
【発明の効果】
【００２２】
本発明によれば、信頼できる回答者の回答に基づいて、回答を効率的に評価する評価装置、評価方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る評価装置と、チェッカー端末との関係を示す図である。
【図２】実施形態に係る評価装置のハードウェア構成を示す図である。
【図３】実施形態１に係る評価装置の機能構成を示す図である。
【図４】実施形態１に係るチェッカーに提示する質問を説明するための図である。
【図５】実施形態１に係る回答テーブルを説明するための図である。
【図６】実施形態１に係る概念に紐付けるべきでない検査対象を報告するページを説明するための図である。
【図７】実施形態１に係る検査対象テーブルを説明するための図である。
【図８】実施形態１に係る概念に紐付けるべき検査対象を報告するページを説明するための図である。
【図９】実施形態１に係る商品が属するカテゴリの階層構造を説明するための図である。
【図１０】実施形態１に係る評価装置が行う評価処理を説明するためのフローチャートである。
【図１１】実施形態２に係るチェッカーに提示する質問を説明するための図である。
【図１２】実施形態２に係る回答テーブルを説明するための図である。
【図１３】実施形態２に係る正確度テーブルを説明するための図である。
【図１４】実施形態２に係る不適切スコアテーブルを説明するための図である。
【図１５】実施形態２に係る評価装置が行う評価処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２４】
（１．実施形態の評価装置とチェッカー端末との関係）
本発明の実施形態に係る評価装置１００は、図１に示すように、ネットワーク３００に接続される。ネットワーク３００には、評価装置１００の他に、複数のチェッカー端末２００が接続されている。
【００２５】
評価装置１００は、チェッカー端末２００に質問を提供し、チェッカー端末２００から受け付けた回答を評価する装置である。
【００２６】
チェッカー端末２００は、評価装置１００から提供される質問に回答するチェッカーが使用する端末である。
【００２７】
ネットワーク３００は、無線又は有線による通信ネットワークである。ネットワーク３００は、いかなるものであってもよく、例えば、インターネット、イントラネット、エクストラネット、ＬＡＮ（Local Area Network）、ＶＰＮ（Virtual Private Network）、電話回線網等である。
【００２８】
（２．評価装置のハードウェア構成）
次に、評価装置１００のハードウェア構成について説明する。
【００２９】
評価装置１００は、図２に示すように、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ１３と、記録媒体１４と、出力部１５と、通信部１６と、操作部１７と、を備える。各構成要素は、バス１８により接続されている。
【００３０】
ＣＰＵ１１は、評価装置１００全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。
【００３１】
ＲＯＭ１２には、評価装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００３２】
ＲＡＭ１３は、データやプログラムを一時的に記録するためのもので、記録媒体１４から読み出したプログラムやデータ、その他、通信に必要なデータ等が保持される。
【００３３】
記録媒体１４は、ハードディスクやフラッシュメモリ等から構成され、評価装置１００で処理するデータを記録する。
【００３４】
出力部１５は、ＬＣＤ（Liquid Crystal Display）及びバックライト等を備える表示装置や、スピーカ等の音声出力装置を備える。出力部１５は、ＣＰＵ１１による制御の下、例えば、ＣＰＵ１１から出力されたデータを出力する。
【００３５】
通信部１６は、評価装置１００をインターネット等のコンピュータ通信網に接続するための通信インターフェースを含み、通信部１６を介して他の情報処理装置等とやりとりをする。
【００３６】
操作部１７は、ボタン、キーボード、タッチパネル等の入力装置を備える。操作部１７は、評価装置１００のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号をＣＰＵ１１に出力する。
【００３７】
（３．実施形態１に係る評価装置の機能構成）
本実施形態に係る評価装置は、複数の検査対象及び１つのダミー対象を提示し、選択された検査対象及びダミー対象に基づいて回答を評価するものである。
【００３８】
以下では、評価装置１００の管理者が、５名のチェッカー１〜５に、概念Ｘに紐付ける設定がされている対象ｉ１〜ｉ５が、概念Ｘに紐付けることが適当であるか否かを判断させる作業を依頼した場合を例に、評価装置１００の機能について説明する。
【００３９】
図３は、評価装置１００の機能構成を示す図である。評価装置１００は、機能的には、検査対象取得部１０１と、ダミー対象取得部１０２と、提示部１０３と、受付部１０４と、抽出部１０５と、報告部１０６と、を備える。これらの機能は、評価装置１００の電源が投入され、ＲＯＭ１２に格納されたプログラムが実行されることにより実現される。
【００４０】
検査対象取得部１０１は、概念に紐付ける設定がされた複数の検査対象を取得する。
【００４１】
概念とは、複数の対象が紐付けられるものであって、評価装置１００の管理者が任意に設定することができるものである。例えば、概念とは、「商品」、「検索ワード」、「タグ」又は「カテゴリ」等である。
【００４２】
検査対象とは、概念に既に紐付ける設定がされており、紐付けが適当であるか否かを検査する対象であって、評価装置１００の管理者が任意に設定することができるものである。例えば、概念が「商品」の場合、検査対象は「タグ」等であり、概念が「タグ」の場合は、検査対象は「商品」等である。
【００４３】
評価装置１００の管理者より、概念Ｘに紐付けられた対象ｉ１〜ｉ５が検査対象として指定されると、検査対象取得部１０１は、対象ｉ１〜ｉ５を検査対象として取得する。
【００４４】
ダミー対象取得部１０２は、概念に紐付ける設定がされていない１つのダミー対象を取得する。
【００４５】
ダミー対象とは、検査対象とは異なり、概念に紐付ける設定がされていない対象であって、評価装置１００の管理者が任意に設定することができるものである。
【００４６】
例えば、評価装置１００の管理者より、概念Ｘに紐付けられていない対象ｄ１がダミー対象として指定されると、ダミー対象取得部１０２は、対象ｄ１をダミー対象として取得する。
【００４７】
提示部１０３は、複数のチェッカーに、複数の検査対象と、ダミー対象と、から、概念に紐付けるべきでない対象を選択させる質問を提示する。
【００４８】
チェッカーは、評価装置１００の管理者より、概念と検査対象との紐付けの適否を判断する作業を依頼され、作業を受諾した者である。
【００４９】
例えば、提示部１０３は、図４に示すように、概念Ｘに紐付けるべきでない選択肢を問う質問４１１と、検査対象ｉ１〜ｉ５及びダミー対象ｄ１を選択肢とした選択肢４１２とを含むページ４１０を、作業を受諾したチェッカー１〜５のチェッカー端末２００に送信する。
【００５０】
受付部１０４は、複数のチェッカーから、選択された対象からなる回答を受け付ける。
【００５１】
例えば、チェッカー１がチェッカー端末２００において、選択肢４１２のうち、ｉ１、ｉ２及びｄ１のチェックボックスにチェックをして、ボタン４１３をクリックすると、受付部１０４は、ｉ１、ｉ２及びｄ１が指定された回答を受信する。同様に、受付部１０４は、チェッカー２〜５のチェッカー端末２００から回答を受信する。
【００５２】
受付部１０４が受け付けた回答の内容は、例えば、図５に示す回答テーブル５００ａに登録される。図５の回答テーブル５００ａには、チェッカーを識別するためのチェッカーＩＤと、選択された対象と、が対応付けて登録されている。回答テーブル５００ａは、評価装置１００の記録媒体１４に格納される。
【００５３】
抽出部１０５は、受け付けた回答のうち、ダミー対象を含む回答を抽出する。
【００５４】
例えば、抽出部１０５は、図５の回答テーブル５００ａを参照して、ダミー対象ｄ１が選択された回答として、チェッカーＩＤ“１”、“２”、“４”“５”の回答を抽出する。図５の回答テーブル５００ａにおいて、チェッカーＩＤ“３”の回答は、ダミー対象ｄ１が含まれていないため、抽出部１０５により抽出されない。
【００５５】
報告部１０６は、複数の検査対象のうち、抽出された回答に含まれる検査対象を、報告する。
【００５６】
抽出部１０５により抽出された回答は、ダミー対象を含む回答である。チェッカーに提示された質問は、概念に紐付けるべきでない対象を選択させるものであるので、ダミー対象が含まれる回答は、正解である。したがって、ダミー対象を含む回答をしたチェッカーは、質問に答える作業に真面目に取り組んでいる者、或いは、質問に正確に回答するだけの知識を有している者、すなわち信頼できるチェッカーであると考えられる。よって、抽出された回答に含まれる検査対象は、信頼できるチェッカーによりダミー対象と同様に概念に紐付けるべきでないと判断された対象である。したがって、報告部１０６は、信頼できるチェッカーにより概念に紐付けるべきでないと判断された検査対象を報告する。
【００５７】
例えば、報告部１０６は、図５の回答テーブル５００ａを参照して、ダミー対象と一緒に選択された検査対象ｉ１、ｉ２、ｉ４を特定する。そして、報告部１０６は、図６に示すように、ｉ１、ｉ２、ｉ４が概念Ｘに紐付けるべきでない対象であると通知するページ４２０を、評価装置１００の画面に表示する。管理者は、ページ４２０を見ることにより、ｉ１、ｉ２、ｉ４が概念Ｘに紐付けるべきでない対象であることが分かる。
【００５８】
また、報告部１０６は、複数のチェッカーから受け付けた回答のうち、抽出された回答であって、検査対象が含まれていた回答の数を報告する。
【００５９】
抽出された回答であって、検査対象が含まれていた回答とは、ダミー対象と共に検査対象が選択された回答である。したがって、抽出された回答であって、検査対象が含まれていた回答の数は、ダミー対象と共に検査対象が選択された回数を指す。
【００６０】
例えば、報告部１０６は、図７に示すように、検査対象テーブル６００ａを評価装置１００の画面に表示する。検査対象テーブル６００ａには、チェッカーに提示された検査対象と、ダミー対象と共に検査対象が選択された回数とが対応付けて登録されている。検査対象テーブル６００ａは、評価装置１００の記録媒体１４に格納される。管理者は、検査対象テーブル６００ａを見ることにより、どの検査対象が、概念Ｘに紐付けるべきでない可能性が高いかを知ることができる。
【００６１】
この他、報告部１０６は、受け付けた回答の数及びダミー対象を含む回答の数を報告してもよい。例えば、図５の回答テーブル５００ａが得られた場合、報告部１０６は、受け付けた回答の数が“５”で、ダミー対象が選択された回答の数が“４”である旨を画面に表示する。ダミー対象が選択された回答は正解の回答なので、ダミー対象が選択された回答の割合を知ることにより、チェッカーにとっての質問の難易度を知ることができる。
【００６２】
また、報告部１０６は、質問に回答したチェッカーの人数及びダミー対象を選択したチェッカーの人数を報告してもよい。例えば、図５の回答テーブル５００ａが得られた場合、報告部１０６は、質問に回答したチェッカーの数が “５人”であり、ダミー対象を選択したチェッカー（チェッカー１、２、４、５）の数が“４人”である旨を画面に表示する。これにより、質問に回答する作業に真面目に取り組んでいる、或いは、質問に正確に回答するだけの知識を有している者がチェッカーの中で何人いるかを知ることができる。
【００６３】
また、報告部１０６は、質問に回答したチェッカーの人数及びダミー対象を選択しなかったチェッカーの数を報告してもよい。例えば、図５の回答テーブル５００ａが得られた場合、報告部１０６は、質問に回答したチェッカーの数が“５人”であり、ダミー対象を選択しなかったチェッカー（チェッカー３）の数が“１人”である旨を画面に表示する。これにより、質問に回答する作業に真面目に取り組んでいない、或いは、質問に正確に回答するだけの知識を有していない者がチェッカーの中で何人いるかを知ることができる。
【００６４】
また、報告部１０６は、複数のチェッカーから受け付けた回答のうち、抽出された回答の数が最も少ない検査対象を、概念に紐付けるべき対象として報告する。
【００６５】
抽出された回答の数が最も少ない検査対象とは、ダミー対象と一緒に選択された回数が最も少ない検査対象であって、信頼できるチェッカーにより概念に紐付けるべきでない対象として選択された回数が一番少ない検査対象である。したがって、そのような検査対象は、概念に紐付けることが適当な対象と考えられる。
【００６６】
例えば、報告部１０６は、図７の検査対象テーブル６００ａを参照して、ダミー対象と一緒に選択された回数が最も少ない検査対象を、ｉ３、ｉ５と特定する。そして、報告部１０６は、図８に示すように、ｉ３、ｉ５が概念Ｘに紐付けるべき対象であると通知するページ４３０を評価装置１００の画面に表示する。管理者は、ページ４３０を見ることにより、ｉ３、ｉ５が概念Ｘに紐付けるべき対象であることが分かる。
【００６７】
また、提示部１０３は、概念に紐付けるべきでない対象を複数選択させる質問を提示するようにしてもよい。
【００６８】
例えば、図５の回答テーブル５００ａの２行目のように、ダミー対象だけが選択された場合、回答自体は正解なので、チェッカー２は、信頼できる回答者であると考えられるが、検査対象を含んでいないため、検査対象の適否を判断することができない。そこで、複数を選択させる質問とすることにより、ダミー対象のみが選択される回答を減少させ、より多くの信頼できる回答者の回答を反映させて検査対象の適否を判断することができる。
【００６９】
なお、ここまで、ダミー対象取得部１０２がダミー対象を１つ取得した場合を例に、本実施形態に係る評価装置１００の機能を説明したが、これに限らず、ダミー対象取得部１０２は、ダミー対象を複数取得してもよい。その場合、抽出部１０５は、受け付けた回答のうち、１以上のダミー対象を含む回答を抽出し、報告部１０６は、複数の検査対象のうち、抽出された回答に含まれる検査対象を、報告する。
【００７０】
以下、概念について、「商品」、「検索ワード」、「タグ」又は「カテゴリ」を採用した場合の、検査対象及びダミー対象の例を示す。
【００７１】
概念が「商品」の場合、検査対象取得部１０１は、階層構造で表されるカテゴリであって、商品が属するカテゴリと同じ階層のノードに対応付けられるカテゴリを、検査対象として取得し、ダミー対象取得部１０２は、商品が属するカテゴリが対応付けられたノードの親ノードと同じ階層のノードであって、当該親ノードと異なるノードに対応付けられたカテゴリを、ダミー対象として取得する。
【００７２】
例えば、カテゴリの階層構造は、図９のように表されるとする。この階層構造は、カテゴリの包含関係を示したものであり、商品はこの階層構造のいずれかのノードに含まれる。なお、「Ａ２」〜「Ａｎa」、「Ｂ２」〜「Ｂｎｂ」、「Ｃ２」〜「Ｃｎｃ」（ｎａ、ｎｂ、ｎｃ：自然数）のそれぞれのノードの下の階層構造は省略してある。
【００７３】
例えば、商品「Ｙ」を扱うショップＺが、商品「Ｙ」の正確なカテゴリが分からず、商品「Ｙ」のカテゴリを「（Ａ１−Ｂ１−Ｃ１−）その他」と設定したとする。しかし、商品「Ｙ」は、「その他」のカテゴリではなく、「その他」と同じ階層のカテゴリ「（Ａ１−Ｂ１−Ｃ１−）Ｄ１」〜「（Ａ１−Ｂ１−Ｃ１−）Ｄｎｄ」（ｎｄ：自然数）のいずれかに分類されるのが正しい可能性もある。そこで、「Ｄ１」〜「Ｄｎｄ」を検査対象とし、「その他」の親ノードのカテゴリ「（Ａ１−Ｂ１−）Ｃ１」と同じ階層のノードであって「Ｃ１」と異なるノードに対応付けられたカテゴリ「（Ａ１−Ｂ１−）Ｃ２」〜「（Ａ１−Ｂ１−）Ｃｎｃ」のうち１つ以上をダミー対象とする。そして、提示部１０３は、商品「Ｙ」が属するべきでないカテゴリを選択肢から選択させる質問と、検査対象のカテゴリ及びダミー対象のカテゴリからなる選択肢をチェッカーに提示する。
【００７４】
ショップＺは、商品「Ｙ」を取り扱っているので、商品「Ｙ」についてある程度の知識を有しており、「その他」のカテゴリの親のノードのカテゴリ「Ｃ１」までの分類は正しい可能性が高いと考えられる。つまり、カテゴリ「Ｃ１」と同じ階層のノードであって、「Ｃ１」以外のノードに対応付けられたカテゴリ「Ｃ２」〜「Ｃｎｃ」に商品「Ｙ」を分類するのは適当でないと考えられる。よって、「Ｃ２」〜「Ｃｎｃ」のいずれかをダミー対象とすることにより、ダミー対象を選択した回答者は、商品「Ｙ」の分類について正確な知識を有している者、或いは、真面目に回答している者とみなすことができる。
【００７５】
そして、回答が信頼できる者がダミー対象と共に選択した検査対象のカテゴリは、商品「Ｙ」のカテゴリとして適当でない可能性があり、評価装置１００により報告される回答に含まれた回数が最も少ない検査対象のカテゴリを確認することにより、商品「Ｙ」が属すべきカテゴリとして最も適当なカテゴリを知ることができる。
【００７６】
また、概念が「商品」の場合、検査対象取得部１０１は、商品に紐付ける設定がショップによりされたタグを、検査対象として取得し、ダミー対象取得部１０２は、商品に紐付ける設定が他のショップによりされていないタグを、ダミー対象として取得する。
【００７７】
例えば、商品「Ｙ」を扱うショップＺが、商品「Ｙ」に複数のタグ「Ｅ１」〜「Ｅｎｅ」（ｎｅ：自然数）を紐付ける設定をしており、商品「Ｙ」へのタグ付けが正しいか否かを確かめたい場合、検査対象をタグ「Ｅ１」〜「Ｅｎｅ」とし、商品「Ｙ」を扱っている他のショップが商品「Ｙ」に紐付けていないタグ「Ｆ１」〜「Ｆｎｆ」（ｎｆ：自然数）のうち１つ以上をダミー対象とする。提示部１０３は、商品「Ｙ」に紐付けるべきでないタグを選択肢から選択させる質問と、検査対象のタグ及びダミー対象のタグからなる選択肢をチェッカーに提示する。
【００７８】
他のショップが商品「Ｙ」に紐付けていないタグは、商品「Ｙ」に紐付けるのは適当でないタグである可能性が高いと考えられる。よって、タグ「Ｆ１」〜「Ｆｎｆ」のいずれかをダミー対象とすることにより、ダミー対象を選択した回答者は、商品「Ｙ」に紐付ける正確なタグを判断できる知識を有している者、或いは、真面目に回答しているものとみなすことができる。
【００７９】
そして、回答が信頼できる者がダミー対象と共に選択した検査対象のタグは、商品「Ｙ」のタグとして適当でない可能性があるので、評価装置１００により報告される検査対象のタグを確認することにより、ショップＺによる商品「Ｙ」に対するタグ付けが正しいか否かをチェックすることができる。
【００８０】
また、概念が「タグ」の場合、検査対象取得部１０１は、タグに紐付ける設定がショップによりされた商品を、検査対象として取得し、ダミー対象取得部１０２は、タグに紐付ける設定が他のショップによりされていない商品を、ダミー対象として取得する。
【００８１】
例えば、ショップＺが、タグ「Ｅ」を商品「Ｙ１」〜「Ｙｎｙ」（ｎｙ：自然数）に紐付ける設定をしており、タグ「Ｅ」を商品「Ｙ１」〜「Ｙｎｙ」に紐付けることが正しいか否かを確かめたい場合、検査対象を商品「Ｙ１」〜「Ｙｎｙ」とし、タグ「Ｅ」を商品に紐付けている他のショップがタグ「Ｅ」に紐付けていない商品「Ｗ１」〜「Ｗｎｗ」（ｎｗ：自然数）のうち１つ以上をダミー対象とする。提示部１０３は、タグ「Ｅ」を紐付けるべきでない商品を選択肢から選択させる質問と、検査対象の商品及びダミー対象の商品からなる選択肢をチェッカーに提示する。
【００８２】
他のショップがタグ「Ｅ」に紐付けていない商品は、タグ「Ｅ」を紐付けるのは適当でない商品である可能性が高いと考えられる。よって、商品「Ｗ１」〜「Ｗｎｗ」のいずれかをダミー対象とすることにより、ダミー対象を選択した回答者は、タグ「Ｅ」を紐付ける正確な商品を判断できる知識を有する者、或いは、真面目に回答している者とみなすことができる。
【００８３】
そして、回答が信頼できる者がダミー対象と共に選択した検査対象の商品は、タグ「Ｅ」を紐付ける商品として適当でない可能性があるので、評価装置１００により報告される検査対象の商品を確認することにより、ショップＺによるタグ「Ｅ」の紐付けが正しいか否かをチェックすることができる。
【００８４】
概念が、階層構造で表される「カテゴリ」の場合、検査対象取得部１０１は、カテゴリに属する商品を、検査対象として取得し、ダミー対象取得部１０２は、カテゴリの親ノードと同じ階層のノードであって、当該親ノードと異なるノードに対応付けられるカテゴリに属する商品を、ダミー対象として取得する。
【００８５】
例えば、ショップＺが、図９のカテゴリ「Ｄ１」に属する商品として商品「Ｙ１」〜「Ｙｎｙ」を設定していた場合、検査対象を商品「Ｙ１」〜「Ｙｎｙ」とし、カテゴリ「Ｄ１」の親ノードのカテゴリ「Ｃ１」と同じ階層のノードであって「Ｃ１」と異なるノードに対応付けられたカテゴリ「Ｃ２」〜「Ｃｎｃ」の以下に属する商品「Ｖ１」〜「Ｖｎｖ」（ｎｖ：自然数）のうち１つ以上をダミー対象とする。提示部１０３は、カテゴリ「Ｄ１」に属するべきでない商品を選択肢から選択させる質問と、検査対象の商品及びダミー対象の商品からなる選択肢をチェッカーに提示する。
【００８６】
カテゴリ「Ｃ２」〜「Ｃｎｃ」に属する商品「Ｖ１」〜「Ｖｎｖ」は、カテゴリ「Ｄ１」の上位の階層が異なるカテゴリに属する商品なので、「Ｄ１」に属する商品と間違われる可能性は少ない商品である。よって、商品「Ｖ１」〜「Ｖｎｖ」のいずれかをダミー対象とすることにより、ダミー対象を選択した回答者は、カテゴリ「Ｄ１」に含めるべき商品を正確に判断できる知識を有している者、或いは、真面目に回答している者とみなすことができる。
【００８７】
そして、回答が信頼できる者がダミー対象と共に選択された検査対象の商品は、カテゴリ「Ｄ１」に属する商品として適当でない可能性があるので、評価装置１００により報告される検査対象の商品を確認することにより、カテゴリ「Ｄ１」への商品の分類が正しいか否かをチェックすることができる。
【００８８】
概念が、「検索ワード」の場合、検査対象取得部１０１は、検索ワードの検索結果のうち上位から第１の数の検索結果に含まれるアイテムを検査対象として取得し、ダミー対象取得部１０２は、検索ワードの検索結果に含まれないアイテムをダミー対象として取得する。
【００８９】
ここで、ダミー対象取得部１０２は、検査対象であるアイテムに関連付けられるテキストにおいて、出現頻度が上位から第２の数のワードを抽出し、抽出されたワードを検索ワードに指定し、概念の検索ワードを除外ワードに指定した検索結果に含まれるアイテムを、ダミー対象として取得する。
【００９０】
なお、第１の数及び第２の数は、管理者が任意に設定することができる数である。
【００９１】
例えば、検索のアルゴリズムが正しいか否かを調べたい場合、任意のワード（「ゴールド」とする）を検索ワードとし、検索ワード「ゴールド」の検索結果の上位から、１０個の商品「Ｐ１」〜「Ｐ１０」を検査対象とする。また、ダミー対象取得部１０２は、１０個の商品「Ｐ１」〜「Ｐ１０」の商品説明文又は商品タグにおいて、出現頻度が上位から、例えば、１０個のワードを抽出する。抽出されたワードの１つが、「ネックレス」の場合、ダミー対象取得部１０２は、「ネックレス」を検索ワードとし、「ゴールド」を除外ワードとして検索した検索結果を得る。そして、ダミー対象取得部１０２は、検索結果に含まれる商品「Ｑ１」〜「Ｑｎｑ」（ｎｑ：自然数）のうち１つ以上をダミー対象として取得する。提示部１０３は、検索ワード「ゴールド」の検索結果に含まれるべきでない商品を選択肢から選択させる質問と、検査対象の商品及びダミー対象の商品からなる選択肢をチェッカーに提示する。
【００９２】
商品「Ｑ１」〜「Ｑｎｑ」は、「ゴールド」の検索結果において頻出する「ネックレス」を検索ワードにすると検索結果の上位に含まれるアイテムであるが、「ゴールド」の検索結果には含まれないアイテムである。つまり、商品「Ｑ１」〜「Ｑｎｑ」をダミー対象とすることにより、ダミー対象を選択した回答者は、検索ワード「ゴールド」の検索結果に含めるべきアイテムを正確に判断できる知識を有する者、或いは、真面目に回答している者とみなすことができる。
【００９３】
そして、回答が信頼できる者により、ダミー対象と共に「ゴールド」を検索ワードとした検索結果上位の商品「Ｐ１」〜「Ｐ１０」が選択される回数が多ければ、商品「Ｐ１」〜「Ｐ１０」が「ゴールド」の検索結果として適当でないことが分かる。よって、検索のスコア計算のアルゴリズムが適切か否かをチェックすることができる。
【００９４】
なお、上記の例で、アイテムを商品としたが、これに限らず、アイテムは検索エンジンを利用した検索により得られる全てのものが対象となる。
【００９５】
（４．実施形態１の評価装置の動作）
本実施形態の評価装置１００の動作について説明する。評価装置１００は、例えば、電源が投入されると、図１０に示す評価処理を開始する。
【００９６】
検査対象取得部１０１は、概念に紐付ける設定がされた複数の検査対象を取得する（ステップＳ１０１）。
【００９７】
例えば、検査対象取得部１０１は、評価装置１００の管理者が指定した、概念Ｘに紐付ける設定がされた対象ｉ１〜ｉ５を、検査対象として取得する。
【００９８】
次に、ダミー対象取得部１０２は、概念に紐付ける設定がされていない１以上のダミー対象を取得する（ステップＳ１０２）。
【００９９】
例えば、ダミー対象取得部１０２は、評価装置１００の管理者が指定した対象ｄ１をダミー対象として取得する。
【０１００】
提示部１０３は、複数のチェッカーに、複数の検査対象と、１以上のダミー対象と、から、概念に紐付けるべきでない対象を選択させる質問を提示する（ステップＳ１０３）。
【０１０１】
例えば、提示部１０３は、チェッカー１〜５のチェッカー端末２００に、概念Ｘに紐付けるべきでない選択肢を問う質問４１１と、検査対象ｉ１〜ｉ５及びダミー対象ｄ１の選択肢４１２とを含むページ４１０（図４）を送信する。
【０１０２】
受付部１０４は、複数のチェッカーから、選択された対象からなる回答を受け付けたか否かを判断する（ステップＳ１０４）。受付部１０４が、複数のチェッカーから、回答を受け付けたと判断すると（ステップＳ１０４；Ｙｅｓ）、抽出部１０５は、受け付けた回答のうち、１以上のダミー対象を含む回答を抽出する（ステップＳ１０５）。一方、受付部１０４が、複数のチェッカーから、回答を受け付けていないと判断すると（ステップＳ１０４；Ｎｏ）、そのまま待機する。
【０１０３】
例えば、受付部１０４は、チェッカー１〜５のチェッカー端末２００から回答を受信すると、記録媒体１４に格納された回答テーブル５００ａ（図５）に回答を登録し、抽出部１０５は、図５の回答テーブル５００ａを参照して、ダミー対象ｄ１が選択された回答として、チェッカーＩＤ“１”、“２”、“４”“５”の回答を抽出する。一方、受付部１０４は、作業を依頼した全てのチェッカーのチェッカー端末２００から回答を受信していないと判断すると、そのまま待機する。なお、受付部１０４は、管理者が設定した所定の時間が経過すると、全てのチェッカーからの回答を受信していなくても、ステップＳ１０５に進むようにしてもよい。
【０１０４】
報告部１０６は、複数の検査対象のうち、抽出された回答に含まれる検査対象を、報告する（ステップＳ１０６）。
【０１０５】
例えば、報告部１０６は、回答テーブル５００ａ（図５）を参照して、ダミー対象と一緒に選択された検査対象ｉ１、ｉ２、ｉ４を特定し、特定したｉ１、ｉ２、ｉ４を通知するページ４２０（図６）を評価装置１００の画面に表示する。
【０１０６】
なお、ステップＳ１０６において、報告部１０６は、複数のチェッカーから受け付けた回答のうち、抽出された回答であって、検査対象が含まれていた回答の数を報告し、抽出された回答の数が最も少ない検査対象を、概念に紐付けるべき対象として報告してもよい。
【０１０７】
また、ステップＳ１０２の処理は、ステップＳ１０１の処理よりも先に行われてもよい。
【０１０８】
本実施形態によれば、概念に紐付ける設定がされていないダミー対象を選択するか否かにより、回答者が、質問に対し正確に回答する知識を有しているか否か、或いは、真面目に回答作業に取り組んでいるか否かを判断することができる。また、ダミー対象と共に選択された検査対象は、概念に紐付ける対象として適当でない可能性があることを示すことができる。従来は、求める情報を得るための質問と、ダミー質問とを用意し、両方回答させることで、真面目に回答するか否かを判定していた。しかし、本実施形態によれば、１つの質問に回答させるだけで、回答者が正確に回答する知識を有しているか否か、或いは、真面目に回答しているか否かが分かり、かつ、概念に紐付ける対象として不適切な対象も知ることができるので、回答を効率的に評価することができる。
【０１０９】
（５．実施形態２に係る評価装置の機能構成）
本実施形態に係る評価装置は、複数の検査対象及び複数のダミー対象を提示し、得られた回答に基づいて、検査対象を概念に紐付けるべきでない程度を求めるものである。
【０１１０】
評価装置１００は、機能的には、検査対象取得部１０１と、ダミー対象取得部１０２と、提示部１０３と、受付部１０４と、抽出部１０５と、報告部１０６と、を備える。本実施形態において、検査対象取得部１０１、受付部１０４及び抽出部１０５の機能は、実施形態１のものと同様の機能を有するので、説明は省略する。
【０１１１】
ダミー対象取得部１０２が、ダミー対象を複数取得する。
【０１１２】
例えば、ダミー対象取得部１０２は、評価装置１００の管理者から、概念Ｘに対応付けられていない対象ｄ１、ｄ２、ｄ３をダミー対象として取得する。
【０１１３】
提示部１０３は、図１１に示すように、概念Ｘに紐付けるべきでない選択肢を問う質問４４１と、概念Ｘに紐付けられた検査対象ｉ１〜ｉ５及びダミー対象ｄ１〜ｄ３を選択肢とした選択肢４４２とを含むページ４４０を、作業を受諾したチェッカー１〜５のチェッカー端末２００に送信する。
【０１１４】
受付部１０４は、各チェッカー端末２００から回答を受信する。受信した回答は、図１２に示す回答テーブル５００ｂに登録される。
【０１１５】
抽出部１０５は、図１２の回答テーブル５００ｂを参照して、ダミー対象ｄ１〜ｄ３のいずれかが選択された回答として、チェッカーＩＤ“１”、“２”、“４”“５”の回答を抽出する。
【０１１６】
報告部１０６は、抽出された回答にダミー対象が含まれる個数に基づいて、チェッカーによる選択が正確にされた程度を示す正確度を決定する。
【０１１７】
正確度とは、チェッカーによる、概念に紐付けるべきでない対象の選択が正確にされた程度を示す。
【０１１８】
例えば、ダミー対象が複数の場合、全てのダミー対象を選択できたチェッカーは、質問に答える作業に真面目に取り組んでいる、或いは、質問に正確に回答するだけの知識を有している者と判断できる。一方、ダミー対象が一部しか選択できないチェッカーは、全部のダミー対象を選択できたチェッカーと比較して、真面目に取り組んでいる程度が低い、或いは、質問に正確に回答するだけの知識が少ないと判断できる。したがって、提示したダミー対象を選択できた個数が多い程、正確度が高く、個数が少ない程、正確度が低いとみなすことができる。
【０１１９】
例えば、報告部１０６は、図１２の回答テーブル５００ｂを参照して、図１３に示す正確度テーブル７００ａに、各チェッカーが回答においてダミー対象を選択した回数を登録する。正確度テーブル７００ａには、チェッカーを識別するためのチェッカーＩＤと、正確度とが対応付けて登録される。正確度テーブル７００ａは、評価装置１００の記録媒体１４に格納される。図１２の回答テーブル５００ｂでは、ダミー対象ｄ１〜ｄ３を全て選択できたチェッカー１、２が最も高い正確度を有する。また、抽出部１０５により抽出されなかった回答を送信したチェッカー３は、ダミー対象を１つも選択できなかったので、チェッカー３の正確度は“０”が登録される。
【０１２０】
報告部１０６は、正確度に基づいて、抽出された回答に含まれる検査対象について、当該検査対象を概念に紐付けるべきでない程度を示す不適切スコアを決定する。
【０１２１】
不適切スコアとは、ダミー対象と共に選択された検査対象について求められるスコアであって、検査対象を概念に紐付けるべきでない程度を示すスコアである。不適切スコアが高い程、その検査対象は概念に紐付ける対象として不適切である程度が高い。
【０１２２】
例えば、検査対象の不適切スコアは、その検査対象を選択したチェッカーについて求められた正確度とする。例えば、報告部１０６は、図１３の正確度テーブル７００ａを参照してチェッカー１の正確度を“３”と求めると、チェッカー１が選択した検査対象ｉ１、ｉ２の不適切スコアをそれぞれ“３”と決定し、図１４に示す不適切スコアテーブル８００ａに登録する。図１４の不適切スコアテーブル８００ａには、検査対象と、各チェッカーの正確度から求めた不適切スコアと、不適切スコアを全てのチェッカーで積算した積算値と、が対応付けて登録されている。不適切スコアテーブル８００ａは、評価装置１００の記録媒体１４に格納される。
【０１２３】
チェッカー２は、全てのダミー対象ｄ１〜ｄ３を選択したので正確度は“３”であるが、回答においてダミー対象と共に検査対象を選択していないので、検査対象ｉ１〜ｉ５の不適切スコアは全て“０”である。チェッカー３は、回答においてダミー対象を選択していないので正確度が“０”であり、検査対象ｉ１〜ｉ５の不適切スコアは全て“０”である。チェッカー４は、回答においてダミー対象ｄ１、ｄ２を選択しているので正確度は“２”であり、ダミー対象ｄ１、ｄ２と共に選択した検査対象ｉ２の不適切スコアは“２”である。チェッカー５は、回答においてダミー対象ｄ１を選択したので正確度は“１”であり、ダミー対象ｄ１と共に選択した検査対象ｉ４の不適切スコアは“１”である。
【０１２４】
報告部１０６は、複数のチェッカーから受け付けた回答のうち、抽出された回答から求められた不適切スコアと、不適切スコアを積算した値を報告する。
【０１２５】
例えば、報告部１０６は、各チェッカーの不適切スコアを積算した値を求め、不適切スコアテーブル８００ａ（図１４）に求めた値を積算値として登録する。そして、報告部１０６は、不適切スコア及び積算値が記載された不適切スコアテーブル８００ａ（図１４）を評価装置１００の画面に表示する。
【０１２６】
また、報告部１０６は、受け付けた回答の数及びダミー対象を含む回答の数を報告してもよい。また、報告部１０６は、質問に回答したチェッカーの人数、及びダミー対象を選択したチェッカー又はダミー対象を選択しなかったチェッカーの数を報告してもよい。
【０１２７】
例えば、報告部１０６は、不適切スコアテーブル８００ａ（図１４）と共に、受け付けた回答の数“５”、ダミー対象を含む回答の数“４”である旨を画面に表示する。また、報告部１０６は、不適切スコアテーブル８００ａ（図１４）と共に、質問に回答したチェッカーの数“５人”及びダミー対象を選択したチェッカーの数“４人”又はダミー対象を選択しなかったチェッカーの数“１人”を画面に表示する。
【０１２８】
また、報告部１０６は、不適切スコアを積算した値が最小の検査対象を、概念に紐付けるべき対象として報告する。
【０１２９】
例えば、報告部１０６は、図１４の不適切スコアテーブル８００ａを参照して、最小の積算値を有する検査対象をｉ３、ｉ５と特定し、図８に示すように、特定したｉ３、ｉ５を通知するページ４３０を評価装置１００の画面に表示する。
【０１３０】
（６．実施形態２の評価装置の動作）
本実施形態の評価装置１００の動作について説明する。評価装置１００は、例えば、電源が投入されると、図１５に示す評価処理を開始する。なお、図１５のステップＳ２０１、Ｓ２０４、Ｓ２０５は、図１０のステップＳ１０１、Ｓ１０４、Ｓ１０５と同様の処理であるので、説明は省略する。
【０１３１】
ステップＳ２０１において、検査対象が取得されると、ダミー対象取得部１０２が、ダミー対象を複数取得する（ステップＳ２０２）。
【０１３２】
例えば、ダミー対象取得部１０２は、評価装置１００の管理者から、概念Ｘに対応付けられていない対象ｄ１、ｄ２、ｄ３をダミー対象として取得する。
【０１３３】
提示部１０３は、複数のチェッカーに、複数の検査対象と、複数のダミー対象と、から、概念に紐付けるべきでない対象を選択させる質問を提示する（ステップＳ２０３）。
【０１３４】
例えば、提示部１０３は、チェッカー１〜５のチェッカー端末２００に、概念Ｘに紐付けるべきでない選択肢を問う質問４４１と、検査対象ｉ１〜ｉ５及びダミー対象ｄ１〜ｄ３の選択肢４４２とを含むページ４４０（図１１）を送信する。
【０１３５】
ステップＳ２０５において、抽出部１０５が、受付部１０４により受け付けられた回答からダミー対象を含む回答を抽出すると、報告部１０６は、抽出された回答にダミー対象が含まれる個数に基づいて、正確度を決定する（ステップＳ２０６）。
【０１３６】
例えば、報告部１０６は、図１２の回答テーブル５００ｂを参照して、図１３に示す正確度テーブル７００ａに、各チェッカーが回答においてダミー対象を選択した回数を登録する。
【０１３７】
次に、報告部１０６は、正確度に基づいて、抽出された回答に含まれる検査対象について不適切スコアを決定する（ステップＳ２０７）。
【０１３８】
例えば、報告部１０６は、図１３の正確度テーブル７００ａを参照して各チェッカーの正確度を求め、求めた正確度を、各チェッカーが選択した検査対象の不適切スコアとして、図１４に示す不適切スコアテーブル８００ａに登録する。
【０１３９】
報告部１０６は、複数のチェッカーから受け付けた回答のうち、抽出された回答から求められた不適切スコアを積算した値を報告する（ステップＳ２０８）。
【０１４０】
例えば、報告部１０６は、不適切スコアの積算値を求め、積算値を不適切スコアテーブル８００ａ（図１４）に登録し、積算値が登録された不適切スコアテーブル８００ａを評価装置１００の画面に表示する。
【０１４１】
本実施形態によれば、複数のダミー対象を提示し、ダミー対象が選択された個数が多いほど、回答者の回答は正確であると判断する。これにより、回答の正確さの程度に基づいて、検査対象が概念に紐付ける対象として不適切な程度を知ることができる。
【０１４２】
なお、実施形態１、２において、報告部１０６は、報告内容を画面に表示する代わりに、統計処理ソフトや表計算ソフトで処理可能なファイル等に出力するようにしてもよい。
【０１４３】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【符号の説明】
【０１４４】
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  記録媒体
１５  出力部
１６  通信部
１７  操作部
１８  バス
１００  評価装置
１０１  検査対象取得部
１０２  ダミー対象取得部
１０３  提示部
１０４  受付部
１０５  抽出部
１０６  報告部
２００  チェッカー端末
３００  ネットワーク
４１０、４２０、４３０、４４０  ページ
【図１】
2020107186.tif 000003
【図２】
2020107186.tif 000004
【図３】
2020107186.tif 000005
【図４】
2020107186.tif 000006
【図５】
2020107186.tif 000007
【図６】
2020107186.tif 000008
【図７】
2020107186.tif 000009
【図８】
2020107186.tif 000010
【図９】
2020107186.tif 000011
【図１０】
2020107186.tif 000012
【図１１】
2020107186.tif 000013
【図１２】
2020107186.tif 000014
【図１３】
2020107186.tif 000015
【図１４】
2020107186.tif 000016
【図１５】
2020107186.tif 000017