(57)【要約】      （修正有）【課題】どのような事項が人物の評価に影響しているのかを把握することができる情報を提示する情報処理装置、表示方法、及びプログラムを提供する。【解決手段】情報処理装置（評価装置２０）は、人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習モデル記憶部２２０と、人物に対する評価を記憶する評価情報記憶部２３２と、非定型データに含まれる単語に関する単語データを入力データとし評価を教師データとした機械学習により第１の予測モデルを作成し、第１の予測モデルに非定型データを与えて算出される計算値および定型データを入力データとした機械学習により第２の予測モデルを作成する学習処理部２１１と、第２の予測モデルから非定型データおよび定型データごとの評価への寄与度を抽出し、抽出した寄与度を出力する寄与度出力部（重要単語出力部２１３）と、を備える。【選択図】図４
2020113218.tif 000002
【特許請求の範囲】
【請求項１】
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記人物に対する評価を記憶する評価情報記憶部と、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとした機械学習により第１の予測モデルを作成し、前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成する学習処理部と、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部をさらに備えること、
を特徴とする情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記学習処理部は、畳み込みニューラルネットワークを用いて少なくとも前記第１の予測モデルを作成すること、
を特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部をさらに備えること、
を特徴とする情報処理装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の情報処理装置であって、
評価対象者が作成した前記非定型データおよび前記定型データを取得する評価データ取得部と、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測する評価予測部と、
予測した前記評価を出力する評価出力部と、
をさらに備えることを特徴とする情報処理装置。
【請求項６】
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記非定型データおよび前記定型データに基づいて前記人物に対する評価を予測するための予測モデルを記憶する予測モデル記憶部と、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
を備えることを特徴とする情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記非定型データに含まれる単語について、前記予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部をさらに備えること、
を特徴とする情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記単語寄与度出力部は、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする情報処理装置。
【請求項９】
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとした機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
を実行する表示方法。
【請求項１０】
請求項９に記載の表示方法であって、
前記コンピュータがさらに、
前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行することを特徴とする表示方法。
【請求項１１】
請求項９に記載の表示方法であって、
前記コンピュータは、畳み込みニューラルネットワークを用いて少なくとも前記第１の予測モデルを作成すること、
を特徴とする表示方法。
【請求項１２】
請求項１１に記載の表示方法であって、
前記コンピュータがさらに、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行することを特徴とする情報処理装置。
【請求項１３】
請求項９ないし１２のいずれか１項に記載の表示方法であって、
前記コンピュータがさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行することを特徴とする表示方法。
【請求項１４】
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データおよび前記定型データに基づいて前記人物に対する評価を予測するための予測モデルを記憶するステップと、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
を実行することを特徴とする表示方法。
【請求項１５】
請求項１４に記載の表示方法であって、
前記コンピュータがさらに、
前記非定型データに含まれる単語について、前記予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力するステップ
を実行することを特徴とする表示方法。
【請求項１６】
請求項１５に記載の表示方法であって、
前記コンピュータは、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする表示方法。
【請求項１７】
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとした機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
を実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムであって、
前記コンピュータにさらに、
前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行させるためのプログラム。
【請求項１９】
請求項１７に記載のプログラムであって、
前記コンピュータに、畳み込みニューラルネットワークを用いて少なくとも前記第１の予測モデルを作成させること、
を特徴とするプログラム。
【請求項２０】
請求項１９に記載のプログラムであって、
前記コンピュータにさらに、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行させるためのプログラム。
【請求項２１】
請求項１８ないし２０のいずれか１項に記載のプログラムであって、
前記コンピュータにさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行させるためのプログラム。
【請求項２２】
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データおよび前記定型データに基づいて前記人物に対する評価を予測するための予測モデルを記憶するステップと、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
を実行させるためのプログラム。
【請求項２３】
請求項２２に記載のプログラムであって、
前記コンピュータにさらに、
前記非定型データに含まれる単語について、前記予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力するステップ
を実行させるためのプログラム。
【請求項２４】
請求項２３に記載のプログラムであって、
前記コンピュータに、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力させること、
を特徴とするプログラム。
【請求項２５】
テキスト形式の非定型データで構成される、複数の単語を含む項目の、人物に対する評価への寄与度を出力する表示方法であって、
複数の項目の各項目について人物に対する評価への寄与度を表示し、
前記各項目に含まれる一または複数の単語の各々について、前記評価への寄与度を表示する、表示方法。
【請求項２６】
請求項２５に記載の表示方法であって、
前記複数の項目のうち一の項目に対するユーザから選択要求を受付けて、
前記一の項目に含まれる一または複数の単語の各々について、前記評価への寄与度を表示する、表示方法。
【請求項２７】
請求項２５に記載の表示方法であって、
前記一の項目に含まれる複数の単語の各々について表示される寄与度は、前記複数の項目の各項目について表示される寄与度の内訳であることを特徴とする、表示方法。
【請求項２８】
請求項２５に記載の表示方法であって、
前記一の項目に含まれる単語のうち、所定の前記寄与度を有する単語を表示することを特徴とする、表示方法。
【請求項２９】
請求項２５に記載の表示方法であって、
前記テキスト以外の定型データで構成される項目について人物に対する評価への寄与度を、前記複数の項目の各項目について人物に対する評価への寄与度とともに表示することを特徴とする、表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、表示方法およびプログラムに関する。
【背景技術】
【０００２】
採用や従業員管理、健康経営などにおいて人物を評価することが行われている。特許文献１には、評価のファクタ（熱意、リーダーシップ等）に類似するエントリーシート内の単語に基づいて人物像を評価することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１１６７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、採用希望者の評価は、予め定められたファクタに関係する単語が記載されたかどうかに応じて決められることになるところ、実際そのファクタが採用に影響しているとは限らない。
【０００５】
本発明はこのような背景を鑑みてなされたものであり、どのような事項が人物の評価に影響しているのかを把握することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の主たる発明は、情報処理装置であって、人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、前記人物に対する評価を記憶する評価情報記憶部と、前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとした機械学習により第１の予測モデルを作成し、前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとした機械学習により第２の予測モデルを作成する学習処理部と、前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、を備えることとする。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、どのような事項が人物の評価に影響しているのかを把握することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態である評価システムの全体構成例を示す図である。
【図２】評価装置２０による学習処理の一例についての流れを説明する図である。
【図３】評価装置２０による学習処理の一例についての流れを説明する図である。
【図４】評価装置２０のソフトウェア構成例を示す図である。
【図５】応募データ記憶部２３１に記憶される応募データの構成例を示す図である。
【図６】評価情報記憶部２３２に記憶される評価情報の構成例を示す図である。
【図７】ＣＮＮ２２１に係る学習処理の流れを示す図である。
【図８】重要単語の出力例を示す図である。
【図９】機械学習モデル２２２に係る学習処理の流れを示す図である。
【図１０】各項目の寄与度の出力例を示す図である。
【図１１】評価対象者の採用可能性についての予測処理の流れを示す図である。
【図１２】各項目および各単語の寄与度を記憶する寄与度記憶部２３３を備える評価装置２０のソフトウェア構成例を示す図である。
【図１３】寄与度記憶部２３３の構成例を示す図である。
【図１４】社員の退職の可能性を学習する場合に応募データの代わりに用いる調査データの構成例を示す図である。
【図１５】社員の退職の可能性を学習する場合における評価情報の構成例を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による装置は、以下のような構成を備える。
【００１１】
［項目１］
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記人物に対する評価を記憶する評価情報記憶部と、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとした機械学習により第１の予測モデルを作成し、前記第１の予測モデルに前記非定型データを与えた予測結果および前記定型データを入力データとした機械学習により第２の予測モデルを作成する学習処理部と、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
を備えることを特徴とする情報処理装置。
［項目２］
項目１に記載の情報処理装置であって、
前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部をさらに備えること、
を特徴とする情報処理装置。
［項目３］
項目１に記載の情報処理装置であって、
前記学習処理部は、畳み込みニューラルネットワークを用いて少なくとも前記第１の予測モデルを作成すること、
を特徴とする情報処理装置。
［項目４］
項目３に記載の情報処理装置であって、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部をさらに備えること、
を特徴とする情報処理装置。
［項目５］
項目１ないし４のいずれか１項に記載の情報処理装置であって、
評価対象者が作成した前記非定型データおよび前記定型データを取得する評価データ取得部と、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測する評価予測部と、
予測した前記評価を出力する評価出力部と、
をさらに備えることを特徴とする情報処理装置。
［項目６］
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記非定型データおよび前記定型データに基づいて前記人物に対する評価を予測するための予測モデルを記憶する予測モデル記憶部と、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
を備えることを特徴とする情報処理装置。
［項目７］
項目６に記載の情報処理装置であって、
前記非定型データに含まれる単語について、前記予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部をさらに備えること、
を特徴とする情報処理装置。
［項目８］
項目７に記載の情報処理装置であって、
前記単語寄与度出力部は、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする情報処理装置。
［項目９］
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとした機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
を実行する表示方法。
［項目１０］
項目９に記載の表示方法であって、
前記コンピュータがさらに、
前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行することを特徴とする表示方法。
［項目１１］
項目９に記載の表示方法であって、
前記コンピュータは、畳み込みニューラルネットワークを用いて少なくとも前記第１の予測モデルを作成すること、
を特徴とする表示方法。
［項目１２］
請求項１１に記載の表示方法であって、
前記コンピュータがさらに、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行することを特徴とする情報処理装置。
［項目１３］
項目９ないし１２のいずれか１項に記載の表示方法であって、
前記コンピュータがさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行することを特徴とする表示方法。
［項目１４］
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データおよび前記定型データに基づいて前記人物に対する評価を予測するための予測モデルを記憶するステップと、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
を実行することを特徴とする表示方法。
［項目１５］
項目１４に記載の表示方法であって、
前記コンピュータがさらに、
前記非定型データに含まれる単語について、前記予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力するステップ
を実行することを特徴とする表示方法。
［項目１６］
項目１５に記載の表示方法であって、
前記コンピュータは、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする表示方法。
［項目１７］
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとした機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
を実行させるためのプログラム。
［項目１８］
項目１７に記載のプログラムであって、
前記コンピュータにさらに、
前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行させるためのプログラム。
［項目１９］
項目１７に記載のプログラムであって、
前記コンピュータに、畳み込みニューラルネットワークを用いて少なくとも前記第１の予測モデルを作成させること、
を特徴とするプログラム。
［項目２０］
項目１９に記載のプログラムであって、
前記コンピュータにさらに、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップ
を実行させるためのプログラム。
［項目２１］
項目１８ないし２０のいずれか１項に記載のプログラムであって、
前記コンピュータにさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行させるためのプログラム。
［項目２２］
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データおよび前記定型データに基づいて前記人物に対する評価を予測するための予測モデルを記憶するステップと、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
を実行させるためのプログラム。
［項目２３］
項目２２に記載のプログラムであって、
前記コンピュータにさらに、
前記非定型データに含まれる単語について、前記予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力するステップ
を実行させるためのプログラム。
［項目２４］
項目２３に記載のプログラムであって、
前記コンピュータに、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力させること、
を特徴とするプログラム。
［項目２５］
テキスト形式の非定型データで構成される、複数の単語を含む項目の、人物に対する評価への寄与度を出力する表示方法であって、
複数の項目の各項目について人物に対する評価への寄与度を表示し、
前記各項目に含まれる一または複数の単語の各々について、前記評価への寄与度を表示する、表示方法。
［項目２６］
項目２５に記載の表示方法であって、
前記複数の項目のうち一の項目に対するユーザから選択要求を受付けて、
前記一の項目に含まれる一または複数の単語の各々について、前記評価への寄与度を表示する、表示方法。
［項目２７］
項目２５に記載の表示方法であって、
前記一の項目に含まれる複数の単語の各々について表示される寄与度は、前記複数の項目の各項目について表示される寄与度の内訳であることを特徴とする、表示方法。
［項目２８］
項目２５に記載の表示方法であって、
前記一の項目に含まれる単語のうち、所定の前記寄与度を有する単語を表示することを特徴とする、表示方法。
［項目２９］
項目２５に記載の表示方法であって、
前記テキスト以外の定型データで構成される項目について人物に対する評価への寄与度を、前記複数の項目の各項目について人物に対する評価への寄与度とともに表示することを特徴とする、表示方法。
【００１２】
以下、本発明の一実施形態に係る評価装置２０（情報処理装置）を含む評価支援システムについて説明する。図１は、本実施形態の評価支援システムの全体構成例を示す図である。同図に示すように、評価装置２０はユーザ端末１０と通信ネットワーク３０を介して通信可能に接続されている。通信ネットワーク３０は、たとえば、公衆電話回線網や携帯電話回線網、専用線網、イーサネット（登録商標）、無線通信路などにより構築される。本実施形態では、通信ネットワーク３０は、インターネットを想定するが、通信ネットワーク３０としてたとえばＬＡＮ（Local Area Network）や各種のＷＡＮ（Wide Area Network）を採用することもできる。
【００１３】
ユーザ端末１０は、評価装置２０が提供する人物評価サービスを利用するユーザが操作するコンピュータである。ユーザ端末１０は、たとえば、パーソナルコンピュータやスマートフォン、タブレットコンピュータなどである。図１に示すように、ユーザ端末１０は、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、入力装置１０５、出力装置１０６を備える。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置１０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置１０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。ユーザ端末１０は、たとえば、Ｗｅｂブラウザを実行し、ＨＴＴＰ（HyperText Transfer Protocol）などにより評価装置２０にアクセスして人物評価サービスを利用することができる。
【００１４】
評価装置２０は人物評価サービスを提供するコンピュータである。評価装置２０は、たとえば、パーソナルコンピュータやワークステーション、スマートフォン、タブレットコンピュータのように物理的なコンピュータであってもよいし、クラウドコンピューティングにより提供される仮想的なコンピュータであってもよい。図１に示すように、評価装置２０は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
【００１５】
評価装置２０は、人物の評価を行う。本実施形態では具体例として、新卒採用希望者の採用適否判定を行うものとする。本実施形態の評価装置２０は、ＳＰＩテストの結果などの数値情報（定型データ）のみでなく、エントリーシートなどのテキストデータ（非定型データ）をも入力データとし、実際の採否を教師データとして機械学習を行うことにより予測モデルを作成し、この予測モデルを用いて採用希望者の採否判定を行おうとするものである。本実施形態では、機械学習には畳み込みニューラルネットワーク（Convolutional Neural Networks；ＣＮＮ）および勾配ブーストツリーアルゴリズムを用いるものとするが、これらに限定するものではない。
【００１６】
図２および図３は、評価装置２０による学習処理の一例についての流れを説明する図である。
【００１７】
まず、評価装置２０は、採用希望者が作成したエントリーシートなどのテキストデータを形態素解析等の処理により単語に分割し、分割した単語をベクトル化する。単語のベクトル化には、Ｗｏｒｄ２Ｖｅｃなどの既知の手法を用いることができる。評価装置２０は、ベクトル化したテキストデータを、図２に示すように、ＣＮＮにより学習する。なお、教師データとしては、採用したか（合格）、しなかったか（不合格）の２値を与え、合格の可能性を予測することができる。また、合否ではない評価を予測する場合には、数値またはカテゴリ値の評価値を教師データとして与えて学習することも可能である。
【００１８】
次に評価装置２０は、クラスアクティベーションマッピング（Class Activation Map；ＣＡＭ）の手法を用いて、ＣＮＮによる畳み込み処理で着目された単語、すなわち合格判定に重要であると判断された単語（以下、重要単語という。）を抽出する。ＣＡＭは、一般的には画像認識処理において、画像上で着目された箇所のヒートマップを得るために用いられるところ、ベクトル化したテキストデータについて適用することにより、ＣＮＮでの学習処理において重要と判断された単語を特定することが可能となる。本実施形態の評価装置２０は、この重要単語をユーザに提供することにより、どのような単語を用いたテキストデータが採用希望者の評価（たとえば、合格や採用）に寄与しているのかの知見を得ることができる。なお、評価装置２０は、ＣＡＭ以外の手法により重要と判断された単語を抽出するようにしてもよい。たとえば、再帰型ニューラルネットワーク（Recurrent Neural Networks；ＲＮＮ）を用いる場合に、ＲＮＮのアテンションの重みに応じて単語を抽出してもよいし、各単語（ベクトル）を説明変数とした重回帰式を推計した場合には、各単語の係数（重み）に応じて重要な単語を抽出するようにしてもよい。
【００１９】
図４は、評価装置２０のソフトウェア構成例を示す図である。同図に示すように、評価装置２０は、学習処理部２１１、重要項目出力部２１２、重要単語出力部２１３、数値データ取得部２１４、テキストデータ取得部２１５、予測処理部２１６、評価出力部２１７、モデル記憶部２２０、応募データ記憶部２３１および評価情報記憶部２３２を備える。
【００２０】
なお、学習処理部２１１、重要項目出力部２１２、重要単語出力部２１３、数値データ取得部２１４、テキストデータ取得部２１５、予測処理部２１６および評価出力部２１７の各機能部は、評価装置２０が備えるＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、モデル記憶部２２０、応募データ記憶部２３１および評価情報記憶部２３２の各記憶部は、評価装置２０が備えるメモリ２０２および記憶装置２０３が提供する記憶領域の一部として実現される。
【００２１】
応募データ記憶部２３１（本発明の学習データ記憶部に該当する。）は、採用希望者に関するデータ（以下、応募データという。）を記憶する。応募データ記憶部２３１は、過去の採用希望者に係る応募データを記憶するものとする。図５は、応募データ記憶部２３１に記憶される応募データの構成例を示す図である。応募データには、採用希望者の識別情報（ユーザＩＤ）に対応付けて、採用希望者の出身学校の種類（大学、高校等）、文系理系の区別（文理）、エントリーシートに記入された志望動機（ＥＳ志望動機）、エントリーシートに記入された自己アピール（ＥＳ自己アピール）、アルバイト経験の有無、アルバイトをしていた期間、ＳＰＩテストの点数やランク（段階）などが含まれる。図５の例では、ＥＳ志望動機およびＥＳ自己アピールがテキストデータであり、その他の項目は、定型データ、すなわち数値情報またはカテゴリ情報である。なお、応募データの項目は図５の例に限定されることなく、任意の定型および非定型のデータを含めることができる。また、応募データには、採用希望者が作成したテキストデータのみでなく、たとえば、在学していた学校教師または職員からのコメントや、面接を行った社員によるコメントなどを含めるようにしてもよい。また、テキストデータについては、テキスト全文を応募データに含めるようにしてもよいし、テキストデータが格納されたファイルを示すファイル名（パス）を応募データに含めるようにしてもよい。
【００２２】
評価情報記憶部２３２は、採用希望者に対する評価を示す情報（以下、評価情報という。）を記憶する。図６は、評価情報記憶部２３２に記憶される評価情報の構成例を示す図である。同図に示すように、評価情報には、採用希望者を示すユーザＩＤに対応付けて、採用希望者が採用された（合格した）か、不採用（不合格）だったかを示す合否結果が含まれる。合否結果は、合格または不合格のいずれかを示す値であるものとする。なお、評価情報としては、採用希望者の採否に限らず、予測を行いたい任意の人物評価を採用することができる。たとえば、社員が退職したこと（退職する人物であるかどうか）、社員の生産性（プレゼンティーイズム）の評価値、社内人事評価の結果としての評価ランクなどを評価情報として含めることも可能である。
【００２３】
モデル記憶部２２０には、２つの機械学習モデル、ＣＮＮ２２１（本発明の第１の予測モデルに該当する。）および機械学習モデル２２２（本発明の第２の予測モデルに該当する。）が記憶されている。ＣＮＮ２２１は、多階層（４層以上）のニューラルネットワークである。機械学習モデル２２２は、勾配ブーストツリーアルゴリズムを実装したものである。なお、ＣＮＮ２２１および機械学習モデル２２２は、一般的なニューラルネットワークおよび機械学習の実装を用いればよく、ここでは詳細な説明を省略する。
【００２４】
学習処理部２１１は、応募データを学習する。上述したように、学習処理部２１１は、畳み込みニューラルネットワーク（ＣＮＮ）および勾配ブーストツリーアルゴリズムを用いた学習処理を行う。機械学習モデル（ＣＮＮ２２１および機械学習モデル２２２）に対する入力データは応募データであり教師データは評価情報である。まず、学習処理部２１１は、応募データに含まれる項目の中でもテキストデータである項目（図５の例では、ＥＳ志望動機およびＥＳ自己アピール）のみを取り出したうえで、テキストデータをベクトル化し、このベクトル化したデータをＣＮＮ２２１の入力データとし、ユーザＩＤに対応する評価情報の合否結果を教師データとして学習処理を行う。次に、学習処理部２１１は、学習済みのＣＮＮ２２１を予測モデルとして、応募データの項目のうちテキストデータであるもの（テキスト項目）それぞれを与え、その計算結果（合否の可能性）と、他の定型データとを機械学習モデル２２２の入力データとし、対応する評価情報の合否結果を教師データとして学習処理を行う。なお、定型データのうちカテゴリーデータについては、ダミー変数を用いて入力データとしてもよい。また、応募データの項目のうちテキストデータであるものを与えた計算結果は、最終的な合否の可能性に代えて、または最終的な合否の可能性に加えて、ＣＮＮ２２１の中間層で計算されている特徴ベクトルなどの中間計算結果を用いることもできる。
【００２５】
重要単語出力部２１３は、応募データの項目の中でテキストデータであるものに含まれる単語のうち重要なものを、評価に対する寄与度とともに出力する。重要単語出力部２１３は、ＣＮＮ２２１に係るクラスアクティベーションマッピング（ＣＡＭ）により求められる重みを寄与度として、寄与度が所定値以上のベクトル値が示す単語を重要な単語として抽出することができる。なお、重要単語出力部２１３は、ＣＡＭで求められた寄与度（寄与度そのものの値であっても、寄与度の絶対値であってもよい。以下、ＣＡＭで求められた寄与度について同じ。）の順（大きい順であっても、小さい順であってもよい。）に単語をソートして出力してもよいし、当該寄与度の順に所定数の単語のみを出力するようにしてもよい。また、重要単語出力部２１３は、ＣＡＭ以外の手法により重要と判断された単語を抽出するようにしてもよい。たとえば、ＣＮＮ２２１に代えてまたはＣＮＮ２２１に加えてＲＮＮを用いる場合に、ＲＮＮのアテンションの重みに応じて単語を抽出してもよい。また、重要単語出力部２１３は、各単語（ベクトル）を説明変数とした重回帰式を推計した場合には、各単語の係数（重み）に応じて重要な単語を抽出するようにしてもよい。重要単語出力部２１３は、全ての単語について寄与度とともに出力するようにしてもよい。なお、重要単語出力部２１３は、すべての単語について寄与度を出力するようにしてもよい。また、重要単語出力部２１３は、ユーザから単語の指定を受け付け、受け付けた単語に係る寄与度を出力するようにしてもよい。
【００２６】
重要項目出力部２１２は、応募データの項目のうち重要なものを、評価に対する寄与度とともに出力する。重要項目出力部２１２は、機械学習モデル２２２に含まれる各項目の寄与度（たとえば、回帰モデルにおける説明変数の係数）が所定値以上のものを抽出することができる。なお、重要項目出力部２１２は、機械学習モデル２２２にＣＮＮを用いた場合に、ＣＡＭで求められた寄与度の順（大きい順であっても、小さい順であってもよい。）に項目をソートして出力してもよいし、当該寄与度の順に所定数の項目のみを出力するようにしてもよい。また、重要項目出力部２１２は、機械学習モデル２２２にＲＮＮを用いた場合に、ＲＮＮのアテンションの重みに応じて項目を抽出してもよい。また、重要項目出力部２１２は、各単語（ベクトル）を説明変数とした重回帰式を推計した場合には、各単語の係数（重み）に応じて重要な項目を抽出するようにしてもよい。なお、重要項目出力部２１２は、全ての項目について寄与度とともに出力するようにしてもよい。また、重要項目出力部２１２は、ユーザから項目の指定を受け付け、受け付けた項目の寄与度を出力するようにしてもよい。
【００２７】
数値データ取得部２１４は、評価対象者（現在実行中の採用活動に対する採用希望者）に関する応募データのうち、数値情報またはカテゴリ情報を取得する。数値データ取得部２１４は、たとえば、評価対象者に係るＳＰＩテストの点数や出身学校の種別などの定型データについてユーザから入力を受け付けてもよいし、他のサーバにアクセスしてこれらの定型データを取得するようにしてもよい。
【００２８】
テキストデータ取得部２１５は、評価対象者に関する応募データのうちテキストデータであるものを取得する。テキストデータ取得部２１５は、たとえば、評価対象者が記載したテキストデータについて、ユーザから入力を受け付けるようにしてもよいし、評価対象者が作成したテキストファイルを受け付けるようにしてもよい。
【００２９】
予測処理部２１６は、テキストデータ取得部２１５が取得したテキストデータを、学習済みのＣＮＮ２２１に与えて値を求め、この値と、数値データ取得部２１４が取得した定型データとを、学習済みの機械学習モデル２２２に与えて、評価対象者の合否可能性を算出することができる。
【００３０】
評価出力部２１７は、予測処理部２１６が予測した評価（本実施形態では評価対象者の合否可能性）を出力する。評価出力部２１７は、たとえば、画面やプリンタなどに評価を出力することができる。
【００３１】
図７ないし図１０は、学習処理部２１１による学習処理の流れを示す図である。
【００３２】
図７は、ＣＮＮ２２１に係る学習処理の流れを示す図である。
【００３３】
学習処理部２１１は、応募データ記憶部２３１に記憶されている各応募データについて以下の処理を行う。
【００３４】
学習処理部２１１は、応募データの項目のうちテキストデータであるもの（テキスト項目）を抽出し（Ｓ４１１）、各テキスト項目について、テキストデータを形態素解析処理等により単語に分解する（Ｓ４１２）。学習処理部２１１は、Ｗｏｒｄ２Ｖｅｃなどの処理により単語をベクトル化し（Ｓ４１３）、ベクトル値を入力データとし、当該応募データのユーザＩＤに対応する評価情報の合否結果を教師データとしてＣＮＮ２２１に係る学習処理を行う（Ｓ４１４）。なお、ＣＮＮ２２１を用いた学習処理については一般的なニューラルネットワークの運用と同じであり、ここでは説明を省略する。学習処理部２１１は、ＣＮＮ２２１によりテキストデータを特徴化した値を取得し、当該テキスト項目の値（数値）とする（Ｓ４１５）。後述するように、当該値は後述のテキスト項目以外の項目とともに機械学習モデル２２２の学習に用いられる。
【００３５】
学習処理部２１１は、ＣＮＮ２２１についてＣＡＭを実行し（Ｓ４１６）、ＣＡＭの結果から寄与度が所定値以上のベクトル値を特定し、特定したベクトル値の示す単語を寄与度とともに取得する（Ｓ４１７）。
【００３６】
以上の処理を各テキスト項目について行った後、重要単語出力部２１３は、重要単語ごとに寄与度を出力する（Ｓ４１８）。重要単語出力部２１３は、たとえば、寄与度が所定値以上の単語を寄与度の順（大きい順であっても、小さい順であってもよい。）に出力することができる。図８は、重要単語の出力例を示す図である。同図の例では、重要単語出力部２１３は、寄与度（重要度）とともに重要語を画面５１に出力している。なお、重要度は、寄与度（ＣＡＭから求められる重み）に基づいて計算（たとえば標準化）した値としてもよい。また、重要単語出力部２１３は、評価が合格であった採用希望者のうち当該単語をテキスト項目内で使用していた人数（合格カテゴリ内使用者）と、当該単語をテキスト項目内で使用していた全ての採用希望者の人数（全カテゴリ内使用者）と、その割合（合格／全カテゴリ内使用者）とを出力することができる。なお、重要単語出力部２１３による出力は、図８に示す内容に限定するものではなく、たとえば、当該単語が用いられていた応募データの数（採用希望者の人数）を単語利用者数として出力するようにしてもよいし、この単語が利用されていた応募データのユーザＩＤが示す評価情報の合否結果が合格を示す数を合格者数として出力するようにしてもよい。図８に示すような画面５１を参照することにより、ユーザは、どのような単語を用いる採用希望者の合格が期待できるかを容易に把握することができる。なお、重要単語出力部２１３は、画面５１への出力に限らず、プリンタなどの印刷装置に出力してもよいし、電子メールやチャットメッセージなどの形式でユーザに送信してもよいし、音声合成などの処理により、スピーカに音声データとして単語および寄与度を出力するようにしてもよい。
【００３７】
図９は、機械学習モデル２２２に係る学習処理の流れを示す図である。
【００３８】
学習処理部２１１は、応募データ記憶部２３１に記憶されている各応募データについて以下の処理を行う。
【００３９】
学習処理部２１１は、応募データをテキスト項目とそれ以外の項目に分け（Ｓ４３１）、各テキスト項目について、学習済みのＣＮＮ２２１を用いて数値に変換する（Ｓ４３２）。なお、ＣＮＮ２２１を用いた数値への変換処理は、たとえば、図７に示すステップＳ４１２ないしＳ４１３に示すようにしてベクトル化したデータをＣＮＮ２２１に与えることにより行うことができる。
【００４０】
学習処理部２１１は、ＣＮＮ２２１から求めた数値と、他の定型データの項目の値とを入力データとし、当該応募データのユーザＩＤに対応する評価情報の合否結果を教師データとして機械学習モデル２２２に係る学習処理を行う（Ｓ４３３）。なお、機械学習モデル２２２に係る学習処理については、一般的な勾配ブーストツリーアルゴリズムを用いた学習処理であり、ここでも説明を省略する。なお、機械学習モデル２２２は勾配ブーストツリーアルゴリズム以外のアルゴリズムの実装でもよく、各種の機械学習に係る学習処理を用いることが可能である。
【００４１】
以上の処理を各応募データについて行った後、重要項目出力部２１２は、項目ごとの寄与度を出力する（Ｓ４３４）。重要項目出力部２１２は、たとえば、寄与度が所定値以上の項目を寄与度の順に出力することができる。図１０は、各項目の寄与度の出力例を示す図である。同図の例では、重要項目出力部２１２は、応募データの項目のうち寄与度の順に寄与度とともに画面５２に出力することができる。図１０に示すような出力を参照することにより、ユーザは、応募データのどの項目が採用希望者の合格に寄与しているかを容易に把握することができる。また、画面５２では、テキスト項目については「文章」として印が出力されている。なお、図１０において、重要項目出力部２１２は、テキスト項目のみを寄与度とともに出力してもよいし、定型データの項目のみを寄与度とともに出力してもよい。なお、重要項目出力部２１２は、画面５２への出力に限らず、プリンタなどの印刷装置に出力してもよいし、電子メールやチャットメッセージなどの形式でユーザに送信してもよいし、音声合成などの処理により、スピーカに音声データとして単語および寄与度を出力するようにしてもよい。
【００４２】
図１１は、評価対象者の採用可能性についての予測処理の流れを示す図である。
【００４３】
テキストデータ取得部２１５は、評価対象者に関する応募データのうちテキストデータであるものを取得する（Ｓ４５１）。テキストデータ取得部２１５は、たとえば、ユーザからテキストのデータを受け付けるようにしてもよいし、評価対象者がＷｅｂサイト等で入力したり、電子メールに添付したりすることで送信したテキストデータを取得するようにしてもよい。
【００４４】
予測処理部２１６は、テキストデータ取得部２１５が取得したテキストデータを形態素解析処理等により単語に分割し（Ｓ４５２）、分割した単語をＷｏｒｄ２Ｖｅｃなどの処理によりベクトル化し（Ｓ４５３）、ベクトル値を学習済みのＣＮＮ２２１に与えて求めた値を項目値とする（Ｓ４５４）。なお、ステップＳ４５１からＳ４５４の処理は、応募データのうちテキストデータである項目のそれぞれについて行うことができる。
【００４５】
次に、数値データ取得部２１４は、評価対象者に関する応募データのうち定型データ（数値情報またはカテゴリ情報）を取得して、応募データの対応する項目値とすることができる（Ｓ４５５）。数値データ取得部２１４は、評価対象者がＷｅｂサイト等で入力したり、電子メールに添付したりすることで送信した定型データを取得するようにしてもよい。なお、数値データ取得部２１４は、応募データのうち定型データである項目のそれぞれについてステップＳ４５５を実行する。
【００４６】
予測処理部２１６は、上記の各項目値（ＣＮＮ２２１から求めた値と、数値データ取得部２１４が取得した値）を機械学習モデル２２２に入力して合否の可能性を求め（Ｓ４５６）、評価出力部２１７は、求めた合否の可能性を出力する（Ｓ４５７）。
【００４７】
このようにして、本実施形態の評価装置２０によれば、定型および非定型のデータを組み合わせて人事評価の結果（合否）の予測を行うことができる。
【００４８】
また、従来の人事評価では応募データの項目のうち数値やカテゴリ値の定型データにのみ着目した分析を行っていたところ、非定型のテキストデータに含まれる情報を無視することができず、これを人力で読み込むには時間と負荷がかかっていた。これに対して本実施形態の評価装置２０によれば、定型データのみでなく非定型データについても変数として織り込んで分析および予測を行うことができるので、分析および予測の結果に対する信頼度を向上することが可能となり、また人事評価におけるテキストデータの読み込みにかかる手間を軽減することができる。したがって、たとえば、新卒採用時の人物評価において、ＳＰＩテスト等の点数だけではなく、エントリーシートの志望動機などの文章データも加味した多面的な評価を行うことができる。
【００４９】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００５０】
たとえば、本実施形態では、１台の評価装置２０で人物評価サービスを提供するものとしたが、これに限らず、複数台の評価装置２０により構成されるシステムで実装することもできる。この場合、たとえば、複数台のコンピュータにより仮想的に１台の評価装置２０を構成するようにしてもよいし、たとえば、各記憶部をデータベースサーバに設けるなど、機能部および記憶部の一部を他のコンピュータが備えるようにし、評価装置２０と他のコンピュータが協業するようにしてもよい。
【００５１】
また、本実施形態では、新入社員の採用に係る合否（の確信度）を予測するものとしたが、これに限らず、たとえば、企業社内におけるエンゲージメントサーベイや評価コメントなどの社内アンケートデータを入力データとし、たとえば社員の生産性（プレゼンティーイズム）の評価値を教師データとして、社員の生産性予測を行うことも可能である。この場合において、本実施形態の評価装置２０によれば、社員の生産性に寄与する単語が重要単語として表示することができる。この重要単語を参考にすることにより、人事担当者は、たとえば、組織改善に繋がるヒントを得ることが期待できる。また、人手によっては全員分読み切れないエンゲージメントサーベイ等の文章データであっても、重要単語のみをチェックすることで、迅速かつ容易に内容を把握することが可能となる。また、重要単語の表示が、寄与度の小さい順または寄与度の絶対値の大きい順に表示されている場合には、マイナスの効果を及ぼす単語についても把握することが可能であり、これにより、エンゲージメントサーベイなどの社内におけるコメントからは、たとえば、優秀な社員層が会社にどんな不満を抱いているのかを把握することができる。
【００５２】
また、本実施形態では、応募データの非定型項目には、応募者が作成したテキストデータが含まれるものとしたが、たとえば、面接を行った社員がコメントを作成し、応募データに含めるようにしてもよい。この場合、人事担当者や経営層などが現場の人事評価コメントから抽出された重要単語を参照することにより、現場ではどういった社員が優秀と評価されるのかを容易に把握することができる。
【００５３】
また、本実施形態では、新入社員の採用に係る合否（の確信度）を予測するものとしたが、これに限らず、たとえば、社内における社員の人事評価結果を予測するようにしてもよい。この場合、学習処理部２１１は、応募データに代えて、社員の上司が作成する人事評価データを入力データとし、人事評価の結果（ランクや点数等）を教師データとしてＣＮＮ２２１および機械学習モデル２２２に与えて学習を行えばよい。
【００５４】
また、本実施形態では、重要単語出力部２１３が図８に示す画面５１のように単語と寄与度とを出力した後に、重要項目出力部２１２が図１０に示す画面５２のように各定型および非定型の項目と寄与度とを出力することを記載したが、画面５２の出力後に画面５１を出力するようにしてもよい。この場合、重要項目出力部２１２は、機械学習モデル２２２から抽出した各項目の寄与度を画面５２に出力した後、画面５２において、たとえばクリック等によりテキスト項目（図１０の例では、「ＥＳ＿志望動機」、「ＥＳ＿自己アピール」および「学校種別（使用）」の３項目）の指定を受け付け、受け付けた項目を重要単語出力部２１３に渡し、重要単語出力部２１３は、指定された項目に含まれる単語の寄与度をＣＮＮ２２１から抽出して画面５１に出力することができる。
【００５５】
各項目の寄与度と、各テキスト項目に含まれる各単語の寄与度とを記憶しておいてもよい。図１２は、各項目および各単語の寄与度を記憶する寄与度記憶部２３３を備える評価装置２０のソフトウェア構成例を示す図である。図１３は寄与度記憶部２３３の構成例を示す図である。図１３に示すように、寄与度記憶部２３３は、項目寄与度２３３１および単語寄与度２３３２を備えることができる。項目寄与度２３３１は、項目ごとに、当該項目の寄与度と、当該項目がテキスト形式の非定型データであるか否かを示すテキストフラグとを含むことができる。項目寄与度２３３１の項目および寄与度は、上述したように機械学習モデル２２２から抽出することができる。また、単語寄与度２３３２は、各テキスト項目について、項目および当該項目に含まれる単語に対応付けて、当該項目における当該単語の評価への寄与度を含むことができる。単語寄与度２３３２の単語および寄与度は、上述したようにＣＮＮ２２１からＣＡＭを用いて抽出することができる。重要項目出力部２１２は、項目寄与度２３３１を寄与度記憶部２３３から読み出して図１０に示す画面５２を出力し、画面５２において項目がクリック等により指定されると、重要単語出力部２１３は、指定された項目に対応する単語寄与度２３３２を寄与度記憶部２３３から読み出して図８に示す画面５１を出力することができる。これによりユーザは、採用希望者の採用可能性に寄与する項目を把握するとともに、項目から単語にドリルダウンしてどのような単語が採用可能性に寄与しているかを把握することができる。
【００５６】
また、本実施形態では、新入社員の採用に係る合否（の確信度）を予測するものとしたが、これに限らず、たとえば、社員の退職可能性を予測するようにしてもよい。退職可能性の予測を行う場合、学習処理部２１１は、応募データとして、図１４に示すようなデータを用いることができる。図１４の例では、応募データには、現在または過去の社員を特定するユーザＩＤに対応付けて、社員が所属していた部署、役職、モチベーションアンケートの結果、上司のコメント、欠席日数などを含めることができる。また、評価情報としては、図１５に示すように、社員を特定するユーザＩＤに対応付けて、社内人事評価の結果（ランク）、ユーザＩＤが示す社員が退職したか否かを示す退職フラグ、および退職フラグが真である（当該社員が退職している）場合における退職日を含めることができる。これにより、学習処理部２１１は、本実施形態で説明した処理と同じ処理を用いて、社員の退職可能性（退職する社員であるかどうかの評価）を評価することができる。すなわち、図１４に示す応募データに含まれるテキスト項目（図１４の例では、モチベーションアンケートおよび上司コメント）をベクトル化して入力データとし、図１５に示す評価情報の退職フラグを教師データとしてＣＮＮ２２１に与えて学習を行うとともに、ＣＮＮ２２１で計算された値（退職可能性の予測結果または中間層の特徴ベクトル）と、応募データのテキストデータ以外の項目の値とを機械学習モデル２２２に与えて学習を行い、最終的な退職の可能性（退職フラグが真になる可能性）を予測することができる。ここで、評価情報に含まれている、当該社員の人事評価を示すランクもＣＮＮ２２１への入力データとして加えるようにしてもよい。また、毎年行われていたランクの履歴を評価情報に蓄積するようにして、過去所定年数におけるランクの変化パターン（たとえば、３年前はＡランク、２年前はＢランク、昨年はＣランクとなったことを示す「ＡＢＣ」）を入力データとして機械学習モデル２２２に与えるようにして、人事評価の変遷も加味した予測を行うようにしてもよい。また、評価値として、退職日をＣＮＮ２２１および機械学習モデル２２２に与えるようにして、退職日を予測することもできる。この場合、退職していない（退職フラグが偽である）社員については、退職日を定年まで勤務した場合に退職する予定の日として設定しておき、学習を行うようにすることもできる。
【００５７】
また、学習処理部２１１は、たとえば、社員の電子メールの文面を入力データとし、人事評価の結果を教師データとしてＣＮＮ２２１および機械学習モデル２２２に与えて学習を行うこともできる。この場合、社員のコミュニケーションデータ（電子メール、日報、チャットツールなど）に基づいて、社員の能力を推定することが可能であり、また同じ予測モデル（学習済みのＣＮＮ２２１および機械学習モデル２２２）を用いて、他社の営業マンからの電子メールの文面から、その営業マンが優秀であるかどうかを見極めることもできる。
【００５８】
また、本実施形態では、教師データとして合否結果を用いるものとしたが、これに限らず、評価値を数値データ（たとえば、１０段階の評価値や１００点満点の点数など）として保存しておき、これを教師データとして機械学習を行うようにしてもよい。
【００５９】
また、本実施形態では、ＣＮＮ２２１および機械学習モデル２２２の２つの機械学習を行うことにより評価を予測する予測モデルを作成するものとしたが、１つの機械学習モデル２２２（ＣＮＮであってもよいし、ＲＮＮであってもよいし、勾配ブーストツリーアルゴリズムの実装であってもよいし、重回帰分析に係る統計モデルであってもよい。）のみを用いて学習を行うようにしてもよい。この場合、非定型データのテキストについては、単語ベクトルに変換したうえで、このベクトル値を他の定型データとともに入力データとして機械学習を行えばよい。予測処理部２１６は、機械学習モデル２２２のみを用いて予測を行うことができる。
【００６０】
また、本実施形態では、ＣＮＮ２２１における単語の寄与度と、機械学習モデル２２２におけるテキスト項目の寄与度とはとくに連携しないものとしたが、たとえば、ＣＮＮ２２１におえる単語の寄与度（ＣＡＭ等により求められる重み）の合計がテキスト項目の寄与度となるように標準化を行ってもよい。
【符号の説明】
【００６１】
１０    ユーザ端末
２０    評価装置
２１１  学習処理部
２１２  重要項目出力部
２１３  重要単語出力部
２１４  数値データ取得部
２１５  テキストデータ取得部
２１６  予測処理部
２１７  評価出力部
２２１  ＣＮＮ
２２２  機械学習モデル
２３１  応募データ記憶部
２３２  評価情報記憶部
【図１】
2020113218.tif 000003
【図２】
2020113218.tif 000004
【図３】
2020113218.tif 000005
【図４】
2020113218.tif 000006
【図５】
2020113218.tif 000007
【図６】
2020113218.tif 000008
【図７】
2020113218.tif 000009
【図８】
2020113218.tif 000010
【図９】
2020113218.tif 000011
【図１０】
2020113218.tif 000012
【図１１】
2020113218.tif 000013
【図１２】
2020113218.tif 000014
【図１３】
2020113218.tif 000015
【図１４】
2020113218.tif 000016
【図１５】
2020113218.tif 000017
【手続補正書】
【提出日】令和1年11月11日(2019.11.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記人物に対する評価を記憶する評価情報記憶部と、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとして、畳み込みニューラルネットワークを用いた機械学習により第１の予測モデルを作成し、前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成する学習処理部と、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
評価対象者が作成した前記非定型データおよび前記定型データを取得する評価データ取得部と、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測する評価予測部と、
予測した前記評価を出力する評価出力部と、
をさらに備えることを特徴とする情報処理装置。
【請求項３】
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記非定型データおよび前記定型データに基づいて畳み込みニューラルネットワークを用いた機械学習により作成した、前記人物に対する評価を予測するための予測モデルを記憶する予測モデル記憶部と、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記単語寄与度出力部は、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする情報処理装置。
【請求項５】
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとして、畳み込みニューラルネットワークを用いた機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行する表示方法。
【請求項６】
請求項５に記載の表示方法であって、
前記コンピュータがさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行することを特徴とする表示方法。
【請求項７】
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データおよび前記定型データに基づいて畳み込みニューラルネットワークを用いた機械学習により作成した、前記人物に対する評価を予測するための予測モデルを記憶するステップと、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行することを特徴とする表示方法。
【請求項８】
請求項７に記載の表示方法であって、
前記コンピュータは、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする表示方法。
【請求項９】
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとして、畳み込みニューラルネットワークを用いた機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムであって、
前記コンピュータにさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行させるためのプログラム。
【請求項１１】
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データおよび前記定型データに基づいて畳み込みニューラルネットワークを用いた機械学習により作成した、前記人物に対する評価を予測するための予測モデルを記憶するステップと、
前記予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムであって、
前記コンピュータに、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力させること、
を特徴とするプログラム。
【請求項１３】
テキスト形式の非定型データで構成される、複数の単語を含む項目の、人物に対する評価への寄与度を出力する表示方法であって、コンピュータが、
畳み込みニューラルネットワークを用いた機械学習により作成したモデルから、複数の項目の各項目について人物に対する評価への寄与度を表示し、
前記各項目に含まれる一または複数の単語の各々について、前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより求められる前記単語ごとの前記評価への寄与度を表示する、表示方法。
【請求項１４】
請求項１３に記載の表示方法であって、前記コンピュータが、
前記複数の項目のうち一の項目に対するユーザから選択要求を受付けて、
前記一の項目に含まれる一または複数の単語の各々について、前記評価への寄与度を表示する、表示方法。
【請求項１５】
請求項１３に記載の表示方法であって、前記コンピュータが、
前記一の項目に含まれる複数の単語の各々について表示される寄与度は、前記複数の項目の各項目について表示される寄与度の内訳であることを特徴とする、表示方法。
【請求項１６】
請求項１３に記載の表示方法であって、前記コンピュータが、
前記一の項目に含まれる単語のうち、所定の前記寄与度を有する単語を表示することを特徴とする、表示方法。
【請求項１７】
請求項１３に記載の表示方法であって、前記コンピュータが、
前記テキスト以外の定型データで構成される項目について人物に対する評価への寄与度を、前記複数の項目の各項目について人物に対する評価への寄与度とともに表示することを特徴とする、表示方法。
【手続補正書】
【提出日】令和2年3月23日(2020.3.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記人物に対する評価を記憶する評価情報記憶部と、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとして、畳み込みニューラルネットワークを用いた機械学習により第１の予測モデルを作成し、前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成する学習処理部と、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
評価対象者が作成した前記非定型データおよび前記定型データを取得する評価データ取得部と、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測する評価予測部と、
予測した前記評価を出力する評価出力部と、
をさらに備えることを特徴とする情報処理装置。
【請求項３】
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶する学習データ記憶部と、
前記非定型データに含まれる単語に関する単語データを入力データとし前記人物に対する評価を教師データとして畳み込みニューラルネットワークを用いた機械学習により作成された第１の予測モデル、ならびに、前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとして畳み込みニューラルネットワークを用いた機械学習により作成された第２の予測モデルを含む予測モデルを記憶する予測モデル記憶部と、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を出力する寄与度出力部と、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を出力する単語寄与度出力部と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記単語寄与度出力部は、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする情報処理装置。
【請求項５】
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとして、畳み込みニューラルネットワークを用いた機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行する表示方法。
【請求項６】
請求項５に記載の表示方法であって、
前記コンピュータがさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行することを特徴とする表示方法。
【請求項７】
コンピュータが、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記人物に対する評価を教師データとして畳み込みニューラルネットワークを用いた機械学習により作成された第１の予測モデル、ならびに、前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとして畳み込みニューラルネットワークを用いた機械学習により作成された第２の予測モデルを含む予測モデルを記憶するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行することを特徴とする表示方法。
【請求項８】
請求項７に記載の表示方法であって、
前記コンピュータは、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力すること、
を特徴とする表示方法。
【請求項９】
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記人物に対する評価を記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記評価を教師データとして、畳み込みニューラルネットワークを用いた機械学習により第１の予測モデルを作成するステップと、
前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとした機械学習により第２の予測モデルを作成するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの前記評価への寄与度を抽出するステップと、
抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムであって、
前記コンピュータにさらに、
評価対象者が作成した前記非定型データおよび前記定型データを取得するステップと、
前記非定型データ、前記定型データならびに前記第１および第２の予測モデルに基づいて前記評価対象者の前記評価を予測するステップと、
予測した前記評価を表示するステップと、
を実行させるためのプログラム。
【請求項１１】
コンピュータに、
人物に係る少なくともテキスト形式の非定型データとテキスト形式以外の定型データとを記憶するステップと、
前記非定型データに含まれる単語に関する単語データを入力データとし前記人物に対する評価を教師データとして畳み込みニューラルネットワークを用いた機械学習により作成された第１の予測モデル、ならびに、前記第１の予測モデルに前記非定型データを与えて算出される計算値および前記定型データを入力データとし前記評価を教師データとして畳み込みニューラルネットワークを用いた機械学習により作成された第２の予測モデルを含む予測モデルを記憶するステップと、
前記第２の予測モデルから前記非定型データおよび前記定型データごとの寄与度を抽出し、抽出した前記寄与度を表示するステップと、
前記畳み込みニューラルネットワークに対するクラスアクティベーションマッピングにより、前記第１の予測モデルから前記評価に対する前記単語ごとの寄与度を抽出し、抽出した前記単語ごとの寄与度を表示するステップと、
を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムであって、
前記コンピュータに、前記評価を上げるように寄与する前記単語と、前記評価を下げるように寄与する前記単語とを分類して出力させること、
を特徴とするプログラム。