(57)【要約】  予測モデルをトレーニングするための技術について説明する。処理装置は、候補面接から特定される特徴を含むデジタル面接データを収集する。モデルトレーニングツールは、デジタル面接データのデータセットを選択する。データセットは、複数の候補の各々の予測パフォーマンス結果および実際のパフォーマンス結果を含む。モデルトレーニングツールは、複数の候補の各々の誤差測定基準を決定する。誤差測定基準は、各候補についての予測パフォーマンス結果と、実際のパフォーマンス結果との間の関係を含む。モデルトレーニングツールは、デジタル面接データが保護されたクラスに対応する特徴を含むいくつかの候補を決定する。モデルトレーニングツールは、対応する保護されたクラスに基づいて誤差測定基準に対する各候補の効果を正規化し、正規化された誤差測定基準を適用して、保護されたクラスに対する予測モデルのバイアスを低減する。
2019519021.tif 000002
【特許請求の範囲】
【請求項１】
デジタル面接プラットフォーム上で候補面接からデジタル面接データを処理装置によって収集するステップと、
予測モデルをトレーニングするために、前記デジタル面接データのデータセットを、前記処理装置によって実行されるモデルトレーニングツールによって選択するステップであって、前記データセットが、複数の候補の各々についての予測パフォーマンス結果および実際のパフォーマンス結果を含む、選択するステップと、
前記複数の候補の各々についての誤差測定基準を、前記モデルトレーニングツールによって決定するステップであって、前記誤差測定基準が、前記複数の候補の各々についての前記予測パフォーマンス結果と前記実際のパフォーマンス結果との間の関係を含む、決定するステップと、
適用可能なルールに基づいて動作するペナルティ関数からのペナルティ値を前記モデルトレーニングツールによって決定するステップと、
前記モデルトレーニングツールによって前記ペナルティ値に基づいて前記誤差測定基準を更新するステップと、
前記モデルトレーニングツールによって、いくつかの候補についての前記デジタル面接データ内の特徴を検出するステップであって、前記特徴が、保護されたクラスに対応する、検出するステップと、
正規化された誤差測定基準を得るために、前記モデルトレーニングツールによって、前記保護されたクラスに基づいて前記誤差測定基準に対する各特徴および候補の効果を正規化するステップと、
前記モデルを誘導することまたは特徴を破棄することによって、前記保護されたクラスに関する前記予測モデルにおける悪影響を低減するために、前記モデルトレーニングツールによって、前記正規化された誤差測定基準を前記予測モデルに適用するステップと、
を含む、方法。
【請求項２】
前記ペナルティ関数からの前記ペナルティ値を決定する前記ステップが、
４／５ルールを用いて前記ペナルティ値を決定するステップと、
統計的有意性ルールを用いて前記ペナルティ値を決定するステップと、
フィッシャーの正確確立検定を用いて前記ペナルティ値を決定するステップと、
比率のｚ検定を用いて前記ペナルティ値を決定するステップと、
カイ二乗検定を使用して前記ペナルティ値を決定するステップと、
のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記誤差測定基準を決定する前記ステップが、目的関数を使用して前記誤差測定基準を決定するステップを含む、請求項１に記載の方法。
【請求項４】
前記目的関数が、残差平方和演算を含む、請求項３に記載の方法。
【請求項５】
前記いくつかの候補についての前記デジタル面接データ内の前記特徴を検出する前記ステップが、年齢、性別、性的指向、障がい、人種の少なくとも１つに対応する特徴を決定するステップを含む、請求項１に記載の方法。
【請求項６】
前記いくつかの候補についての前記デジタル面接データ内の前記特徴を検出する前記ステップが、オーディオ特徴、ビデオ特徴、画像特徴、対話特徴、応答特徴のうちの少なくとも１つを検出するステップを含む、請求項１に記載の方法。
【請求項７】
候補面接から特定される特徴を含むデジタル面接データを処理装置によって収集するステップと、
予測モデルをトレーニングするために、前記デジタル面接データのデータセットを、前記処理装置上で実行するモデルトレーニングツールによって選択するステップであって、前記データセットが、複数の候補の各々についての予測パフォーマンス結果および実際のパフォーマンス結果を含む、選択するステップと、
前記複数の候補の各々についての誤差測定基準を、前記モデルトレーニングツールによって決定するステップであって、前記誤差測定基準が、前記複数の候補の各々についての前記予測パフォーマンス結果と前記実際のパフォーマンス結果との間の関係を含む、決定するステップと、
前記モデルトレーニングツールによって、いくつかの候補についての前記デジタル面接データ内の特徴を検出するステップであって、前記特徴が、保護されたクラスに対応する、検出するステップと、
前記モデルトレーニングツールによって、対応する前記保護されたクラスに基づいて前記誤差測定基準に対する各候補の効果を正規化するステップと、
前記保護されたクラスに関する前記予測モデルにおける悪影響を低減するために、前記モデルトレーニングツールによって、前記正規化された誤差測定基準を適用するステップと、
を含む、方法。
【請求項８】
前記誤差測定基準を決定する前記ステップが、ペナルティ関数に基づいてペナルティ値を決定するステップを含む、請求項７に記載の方法。
【請求項９】
前記ペナルティ関数が４／５ルールを含む、請求項８に記載の方法。
【請求項１０】
前記ペナルティ関数が統計的有意性ルールを含む、請求項８に記載の方法。
【請求項１１】
前記誤差測定基準を決定する前記ステップが、目的関数を使用して前記誤差測定基準を決定するステップを含む、請求項７に記載の方法。
【請求項１２】
前記目的関数が、残差平方和演算を含む、請求項１１に記載の方法。
【請求項１３】
前記いくつかの候補についての前記デジタル面接データ内の前記特徴を検出する前記ステップが、年齢、性別、性的指向、障がい、人種の少なくとも１つに対応する特徴を決定するステップを含む、請求項７に記載の方法。
【請求項１４】
前記いくつかの候補についての前記デジタル面接データ内の前記特徴を検出する前記ステップが、オーディオ特徴、ビデオ特徴、画像特徴、対話特徴、応答特徴のうちの少なくとも１つを含む、請求項７に記載の方法。
【請求項１５】
コンピューティングシステムの処理装置によって実行されると、前記コンピューティングシステムに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体であって、前記動作が、
デジタル面接プラットフォーム上で候補面接からデジタル面接データを処理装置によって収集するステップと、
予測モデルをトレーニングするために、前記デジタル面接データのデータセットを、前記処理装置によって実行されるモデルトレーニングツールによって選択するステップであって、前記データセットが、複数の候補の各々についての予測パフォーマンス結果および実際のパフォーマンス結果を含む、選択するステップと、
前記複数の候補の各々についての誤差測定基準を、前記モデルトレーニングツールによって決定するステップであって、前記誤差測定基準が、前記複数の候補の各々についての前記予測パフォーマンス結果と前記実際のパフォーマンス結果との間の関係を含む、決定するステップと、
適用可能なルールに基づいて動作するペナルティ関数からのペナルティ値を前記モデルトレーニングツールによって決定するステップと、
前記モデルトレーニングツールによって前記ペナルティ値に基づいて前記誤差測定基準を更新するステップと、
前記モデルトレーニングツールによって、いくつかの候補についての前記デジタル面接データ内の特徴を検出するステップであって、前記特徴が、保護されたクラスに対応する、検出するステップと、
正規化された誤差測定基準を得るために、前記モデルトレーニングツールによって、前記保護されたクラスに基づいて前記誤差測定基準に対する各候補の効果を正規化するステップと、
前記保護されたクラスに関する前記予測モデルにおける悪影響を低減するために、前記モデルトレーニングツールによって、前記正規化された誤差測定基準を前記予測モデルに適用するステップと、
を含む、非一時的コンピュータ可読記憶媒体。
【請求項１６】
前記誤差測定基準が、ペナルティ関数によって修正され、前記ペナルティ関数が、前記誤差測定基準に４／５ルールを組み込む関数を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項１７】
コンピューティングシステムであって、
データ記憶デバイスと、
前記データ記憶デバイスに結合されており、モデルトレーニングツールを含むデジタル面接プラットフォームを実行するための処理装置と、
を備え、前記モデルトレーニングツールが、
候補面接から特定される特徴を含むデジタル面接データを収集することと、
予測モデルをトレーニングするために、前記デジタル面接データのデータセットを選択することであって、前記データセットが、複数の候補の各々についての予測パフォーマンス結果および実際のパフォーマンス結果を含む、選択することと、
前記複数の候補の各々についての誤差測定基準を決定することであって、前記誤差測定基準が、前記複数の候補の各々についての前記予測パフォーマンス結果と前記実際のパフォーマンス結果との間の関係を含む、決定することと、
いくつかの候補についての前記デジタル面接データ内の特徴を検出することであって、前記特徴が、保護されたクラスに対応する、検出することと、
正規化された誤差測定基準を得るために、前記保護されたクラスに基づいて前記誤差測定基準に対する各候補の効果を正規化することと、
前記保護されたクラスに関する前記予測モデルにおける悪影響を低減するために、前記正規化された誤差測定基準を前記予測モデルに適用することと、
を行うためのものである、コンピューティングシステム。
【請求項１８】
前記デジタル面接プラットフォームが、ウェブベースのアプリケーションである、請求項１７に記載のコンピューティングシステム。
【請求項１９】
前記モデルトレーニングツールが、さらに、前記誤差測定基準を決定するためにペナルティ関数に基づいてペナルティ値を決定することを行うためのものであり、前記ペナルティ関数が４／５ルールを含む、請求項１７に記載のコンピューティングシステム。
【請求項２０】
前記モデルトレーニングツールが、さらに、前記誤差測定基準を決定するためにペナルティ関数に基づいてペナルティ値を決定することを行うためのものであり、前記ペナルティ関数が統計的有意性ルールを含む、請求項１７に記載のコンピューティングシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
アプリケーション処理に使用される統計的手法の出現により、利益の決定、ゾーニング、信用取引、投票、雇用、データオブジェクト（履歴書、社会的プロファイル、評価、音声、ビデオ面接モデリングなど）が成功を予測するために使用されている。これらの手法は、トレーニングセット内の保護されたクラスに固有の悪影響が存在する場合に悪影響を及ぼす傾向にある。トレーニングセットは、コンピュータがパフォーマンスを予測するためにいずれの特徴が最も重要であるかを学習するために使用されるデータの選択である。例えば、少数の販売専門家が与えられる販売領域が多数の販売専門家に比べて理想よりも少ない場合、パフォーマンストレーニングセットに悪影響が生じる可能性がある。この影響は、未処理の場合、このパフォーマンスデータでトレーニングされた最終モデルで模倣することができる。
【０００２】
本発明は、同様の参照符号が同様の要素を示す添付図面の図解において、限定としてではなく例として示されている。本開示における「一（ａｎ）」実施形態または「１つの（ｏｎｅ）」実施形態への異なる参照は必ずしも同じ実施形態に限定されず、そのような参照は少なくとも１つを意味することに留意されたい。
【図面の簡単な説明】
【０００３】
【図１】モデルトレーニングツールの実施形態が動作することができる例示的なネットワークアーキテクチャのブロック図である。
【図２】１つの実施形態によるモデルトレーニングツールのブロック図である。
【図３】１つの実施形態による予測モデルを構築するためのモデルトレーニングツールのトレーニングフェーズを示す図である。
【図４】１つの実施形態による予測モデルをトレーニングする方法のフロー図である。
【図５】予測モデルをトレーニングするためのコンピューティングシステムの例示的な形態の機械の概略図である。
【図６】予測モデルのトレーニングの実施形態が動作することができるネットワークアーキテクチャの概略図である。
【図７】予測モデルのトレーニングの実施形態が動作することができる別のネットワークアーキテクチャの概略図を示す。
【発明を実施するための形態】
【０００４】
候補予測のための予測パフォーマンスモデルをトレーニングする際の悪影響を補正するための方法およびシステムが記載される。以下の説明では、多くの詳細が述べられている。予測パフォーマンスモデルは、デジタル面接プラットフォームおよび他のデジタル評価プラットフォームにおいて使用することができる。
【０００５】
１つの実施形態では、デジタル面接プラットフォームがデジタル面接データを収集する。データは、特徴またはモデル入力を含むことができる。特徴の例には、候補によって提出される情報、デジタル面接中に記録されるオーディオ情報、デジタル面接中に記録される視覚情報、または候補に関する他の情報が含まれる。デジタル面接データは、候補の特性を抽出するために機械によって処理することができる。例えば、年齢、人種、民族、宗教、性別、性的指向、障がい、候補の社会経済状態または家族の社会経済的状態、市民権状態、学校、慈善団体、政治団体のような機関との関連などのような、候補の特徴の指標を識別するために、デジタル面接データにおいて提供されるオーディオおよび／またはビデオ情報に機械学習を適用することができる。デジタル面接データはまた、面接の結果に関するデータを含むことができる。例えば、データは、候補がその職位に雇用されていたか否か、販売、資金調達、開発、特許、勤務時間、収益などに関して、候補がその職位においてどのような業績を上げていたかを含むことができる。このおよび他の候補関連データは、データストアに格納することができる。
【０００６】
モデルトレーニングツールは、データストアに格納されたデジタル面接データの一部または全部を含むデータセットを選択することができる。代替的に、データセットは、採用キャンペーンまたは他の組織基準に従ってデータストアに格納することができる。モデルトレーニングツールは、データセットの悪影響を低減するために１つまたは複数のアルゴリズムを実行することができる。一部のデータセットでは、意図的にまたは意図せずに悪影響が導入される可能性がある。例えば、雇用プロセスの意思決定者は、ある機関の卒業生を別の機関の卒業生よりも優遇することによって、または候補プール内の候補の他の基準もしくは特徴に基づいて雇用プロセスに個人的なバイアスを導入する可能性がある。あるいは、悪影響が無意識に導入される可能性がある。また、前回の候補評価において企業が使用したシステム、尺度の欠陥によって悪影響が生じる可能性もある。この悪影響は、システムから検出して除去するのが難しく、その影響を相殺または補正することが困難である場合がある。さらに、悪影響は多くの分野に影響する可能性がある。例えば、教育（入学および奨学金）、住宅供給、給付およびサービス、医療サービス、土地利用、ゾーニング、融資および信用取引、輸送、投票などである。本明細書で説明する実施形態は、これらの状況および他の状況における悪影響を補正するのに役立つ。
【０００７】
１つの実施形態において、モデルトレーニングツールは、予測モデルをトレーニングして、新しい候補についての予測パフォーマンス測定基準を提供することができる。モデルトレーニングツールは、モデルをトレーニングするために使用される履歴デジタル面接データに存在する可能性がある悪影響を補正するために、正規化機能を用いて誤差測定基準を特定する目的関数を実行することができる。誤差測定基準は、候補の実際のパフォーマンス値と候補の対応する予測パフォーマンス値との間の差を表す。実際のパフォーマンス値は、真のパフォーマンス値または実際のパフォーマンス測定基準とも呼ばれる。例えば、雇用プロセスの間に、予測モデルによって販売の予測値を生成することができる。採用後、十分なデータがあれば、販売に関する実際のパフォーマンス値を生成することができる。モデルトレーニングツールは、実際の値と予測値との間の差を決定することができる。２つ値の間の差を適用して、後続の予測の正確度を改善するためにモデルをさらにトレーニングすることができる。しかし、評価者の意識的または無意識的なバイアスに起因する悪影響が評価プロセスに関与していた場合、その影響は検出されなければトレーニングされモデルに導入されることになる。誤差測定基準を制御する可能性がある候補多数性がデータセット内に存在する可能性がある。一例では、候補の多数が男性である場合、男性候補のデータセットが誤差分析に影響を与える可能性がある。これは女性候補に悪影響を与える可能性がある。このため、誤差測定基準を決定するプロセスには、重み付け係数アルゴリズムなどの正規化プロセスの適用、または特徴の除去が追加される。正規化プロセスは、各クラスがモデルに対して等しい効果を有するように、候補の各タイプまたはクラスに対するデータの効果を正規化することができる。これにより、各候補クラスに同等の重みを与えることによって、年齢、性別、人種などのクラスに基づく悪影響を低減または排除することができる。収入ベース、業績ベース、および、法律によって定義される、または定義されない他のカテゴリのような他のクラスも利用できる。その結果得られたデータセットを使用して、元のデータセットに存在する可能性がある悪影響を組み込むことなく、モデルをトレーニングして予測正確度を向上させることができる。いくつかの例では、正規化データセットを作成することができ、正規化データから補正データセットを作成することができる。いくつかの例では、元のデータセットは、維持することができ、または、特徴を正規化または削除することによって、元の状態から変更することができる。
【０００８】
データセットに存在する悪影響を処理する従来の方法は、悪影響を特定することができたが、データセットからの態様全体を編集または削除するなど、利用可能な特徴を変更しなければ補正できなかった。トレーニングセットは、コンピュータがパフォーマンスを予測するためにいずれの特徴が最も重要であるかを学習するために使用されるデータの選択である。上述したように、バイアスがすでにパフォーマンストレーニングセット内にある場合、訂正されなければ、バイアスは最終パフォーマンス予測モデルにおいて模倣されることになる。検出された悪影響に対処するための以前の解決策の１つは、パフォーマンス測定基準、面接中に得られる応募者データ、教育などの履歴データなどの態様を排除または差し引く除去および／または無効化技法を含む。従来の手法では、オーディオ、ビデオ、またはテキストなどの非構造化データタイプを、表形式のデータに変換することなく処理することもできなかった。これらの予測モデルには、スプレッドシートまたはデータベースエントリなどの表形式のデータが必要であった。従来の手法では、例えば、１００万を超えるデータポイントを有する場合がある生のオーディオストリームを考慮することができなかった。従来の手法では、特定の機能を分離することは、不可能ではないにしても、困難であった。
【０００９】
本明細書に記載されている例は、データ修正または特徴の除去を必要とせず、さらに非構造化データを管理することができる。従来の方法は、ディープラーニングなどのより高度な教師なし学習技法の悪影響の防止に取り組んでいなかった。本明細書で説明する実施形態は、機械学習技法を使用してデータを処理することができる。特に、ディープラーニングなどの学習技法は、従来の学習手法に頼ることなく、膨大な量のデータポイントを管理することができる。より大きなデータセットを扱うことができるため、このモデリング技法は、悪影響に寄与してしまうという懸念なしに、より多くの特徴および（オーディオ／画像／ビデオに基づくディープラーニングの場合のような）より複雑な特徴を使用することができる。本明細書に記載された技術はまた、そのような影響がトレーニングデータに存在する場合の悪影響を防止し、軽度の悪影響を低減することさえもできる。悪影響をさらに減らすことで、検出される影響を、「４／５ルール」、「統計的有意性ルール」、または、フィッシャーの正確確率検定、比率のＺ検定、カイ二乗検定などのようなテストのような、適用可能な法定閾値をすでに下回っているレベルまで低下させることができる。
【００１０】
図１は、モデルトレーニングツール１１０の実施形態が動作することができるネットワークアーキテクチャ１００の例のブロック図である。図示のネットワークアーキテクチャ１００は、ネットワーク１０６（例えば、インターネットなどの公衆ネットワークまたはローカルエリアネットワーク（ＬＡＮ）などのプライベートネットワーク）を介してサーバコンピューティングシステム１０４に結合された複数のクライアントコンピューティングシステム１０２を含むことができる。ネットワーク１０６は、インターネットおよびインターネットへのネットワーク接続を含むことができる。代替的に、サーバ１０４およびクライアント１０２は、共通のローカルエリアネットワーク（ＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスローカルエリアネットワーク、セルラネットワーク、仮想ローカルエリアネットワークなどに位置してもよい。サーバコンピューティングシステム１０４（本明細書ではサーバ１０４とも呼ぶ）は、本明細書で説明する機能を提供する処理能力および記憶能力を有する１つまたは複数の機械（例えば、１つまたは複数のサーバコンピュータシステム、ルータ、ゲートウェイ）を含むことができる。サーバコンピューティングシステム１０４は、モデルトレーニングツール１１０を実行することができる。モデルトレーニングツール１１０は、本明細書で説明されるような様々な機能を実行することができ、候補の値を予測する予測モデル１１２を含むことができる。モデルトレーニングツール１１０は、ＨｉｒｅＶｕｅ，Ｉｎｃ．によって開発されているデジタル面接プラットフォームなどのデジタル面接プラットフォーム１０１の一部として実装することができる。代替的に、デジタル面接プラットフォーム１０１は、他のタイプのデジタル面接プラットフォームであってもよい。他の実施形態では、本明細書で説明する技術を、他のデジタル評価プラットフォームまたはシステムにおいて使用することができる。他の実施形態では、モデルトレーニングツール１１０は、デジタル面接プラットフォーム１０１または他のシステムとインターフェースするスタンドアロンツールとして実装することができる。この実施形態では、サーバコンピューティングシステム１０４はモデルトレーニングツール１１０を実装するが、他のクライアントのうちの１つまたは複数は、サーバコンピューティングシステム１０４上のモデルトレーニングツール１１０の機能と連携して、または、当該機能から独立して作動することができる、モデルトレーニングツール１１０のクライアントモジュールを含むこともできることにも留意されたい。
【００１１】
クライアントコンピューティングシステム１０２（本明細書では「クライアント１０２」とも呼ぶ）は、クライアントワークステーション、サーバ、コンピュータ、ポータブル電子デバイス、セットトップボックスなどのネットワークを介して通信するように構成されたエンターテインメントシステム、デジタル受信機、デジタルテレビジョン、携帯電話、スマートフォン、タブレット、または他の電子デバイスであってもよい。例えば、ポータブル電子デバイスは、セルラ電話、携帯ゲームシステム、ポータブルコンピューティングデバイスなどを含むことができるが、これらに限定されない。クライアント１０２は、ファイアウォール、ルータまたは他のパケット交換装置を介してインターネットにアクセスすることができる。クライアント１０２は、ルータ、ゲートウェイ、または他のデバイスなどの１つまたは複数の介在するデバイスを通じてサーバ１０４に接続することができる。クライアント１０２は、種々の機能を有して様々に構成され、ブラウザ１４０および１つまたは複数のアプリケーション１４２を含むことができる。１つの実施形態では、クライアント１０２は、ブラウザ１４０を介してデジタル面接プラットフォーム１０１にアクセスし、デジタル面接プラットフォーム１０１は、ブラウザ１４０を介してクライアント１０２にユーザインターフェースを提示するウェブベースアプリケーションまたはクラウドコンピューティングシステムである。同様に、アプリケーション１４２のうちの１つを使用して、デジタル面接プラットフォーム１０１にアクセスすることができる。例えば、デジタル面接プラットフォーム１０１の１つまたは複数のユーザインターフェースにアクセスするためにモバイルアプリケーション（「アプリ」と呼ばれる）を使用することができる。デジタル面接プラットフォーム１０１は、デジタル面接プロセスを容易にする１つまたは複数のソフトウェア製品であり得る。例えば、場合によっては、クライアント１０２は、デジタル面接を行うために候補（または被面接者）によって使用される。デジタル面接プラットフォーム１０１は、候補からのデジタル面接データ１３２を取り込み、そのデータをデータストア１３０に格納することができる。デジタル面接データ１３２は、候補によってアップロードされる情報、面接中に取り込まれるオーディオ情報、面接中に取り込まれるビデオ情報、面接の前または後に候補によって提出される情報、および、採用後に候補について収集されるデータを含むことができる。クライアント１０２は、審査者または評価者が、候補を審査、スクリーニングおよび選択するために使用することもできる。審査者は、上述のように、ブラウザ１４０またはアプリケーション１４２を介してデジタル面接プラットフォーム１０１にアクセスすることができる。モデルトレーニングツール１１０は、本明細書に記載されているように、予測モデル１１２を使用して候補のリストを順序付けし、候補のリストをスクリーニングし、または他の審査目的のために、候補のパフォーマンスデータをアップロードし、候補をソートするために予測モデル１１２をトレーニングするために、審査者によって起動（または有効化されるときに自動的に起動）することができる。
【００１２】
データストア１３０は、１つまたは複数のメモリデバイス上の１つまたは複数のデータレポジトリを表すことができる。データストア１３０は、データベースまたは任意の他の組織化されたデータ集合であってもよい。データストア１３０は、デジタル面接データ１３２、悪影響補正（本明細書で説明するように）を提供するためのルール１３４、および履歴データ１３６を格納することができる。
【００１３】
図示の実施形態では、サーバコンピューティングシステム１０４は、デジタル面接プラットフォーム１０１における悪影響を低減するためのモデルトレーニングツール１１０および予測モデル１１２を含む、デジタル面接プラットフォーム１０１を含むことができる。サーバ１０４は、本明細書で説明するように、クライアント１０２とモデルトレーニングツール１１０との間の通信を容易にするウェブサーバ機能を含むことができる。代替的に、ウェブサーバ機能は、モデルトレーニングツール１１０を実行している機械とは別の機械に実装されてもよい。モデルトレーニングツール１１０の機能は、１つまたは複数のサーバ１０４上で実装することができ、モデルトレーニングツール１１０の機能は、１つまたは複数の異なるサーバ１０４上で実装することができることにも留意されたい。他の実施形態では、ネットワークアーキテクチャ１００は、ディレクトリサーバ、ウェブサイトサーバ、統計サーバ、ネットワークインフラストラクチャオペレータ（例えば、ＩＳＰ）のデバイスなどの他のデバイスを含むことができる。代替的に、本開示の利益を有する当業者に理解されるような、他の構成も可能である。
【００１４】
図２は、１つの実施形態によるモデルトレーニングツール２１０のブロック図である。モデルトレーニングツール２１０は、ハードウェア（回路、専用論理など）、ソフトウェア（汎用コンピューティングシステムまたは専用機械上で実行されるものなど）、ファームウェア（組み込みソフトウェア）、またはそれらの任意の組み合わせを含む処理論理として実装することができる。図示の実施形態では、モデルトレーニングツール２１０は、ペナルティ関数２０２、予測モデル１１２、目的関数１１４、グラフィカルユーザインターフェース（ＧＵＩ）エンジン２１２、および収集エンジン２１６を含む。モデルトレーニングツール２１０の構成要素は、いくつかの実施形態によれば、共に組み合わせることができ、またはさらなるモジュールに分離することができるモジュールを表すことができる。モデルトレーニングツール２１０は、図２に示されたものより多くの、またはより少ない構成要素を含むことができる。
【００１５】
モデルトレーニングツール２１０を使用して、予測モデル１１２に関するトレーニングの任意の所与のラウンドを実行する前に、収集エンジン２１６は、トレーニングデータセット２３０からデータを収集することができる。データセット２３０は、予測データ２３２および実際のパフォーマンスデータ２３４を含むことができる。予測データ２３２は、候補についてのパフォーマンス値を予測するために候補について生成されたデータであってもよい。実際のパフォーマンスデータ２３４は、採用後に候補者のために生成されたデータを含み、そこから実際のパフォーマンス値を得ることができる採用後の候補者の実際のパフォーマンスの記録を確立することができる。収集エンジン２１６は、実際のパフォーマンスデータ２３４とは別個の予測データ２３２を収集することができ、またはほぼ同じ動作において予測データ２３２および対応する実際のパフォーマンスデータ２３４を収集することができる。トレーニングデータセット２３０はまた、本明細書で説明されるように補正されたデータセットであってもよい。収集エンジン２１６は、トレーニングデータセット２３０を目的関数１１４に提供することができる。収集エンジン２１６は、トレーニングデータセット２３０をペナルティ関数２０２に提供することもできる。いくつかの実施形態では、目的関数１１４およびペナルティ関数２０２は、１つまたは複数のルール２３６にアクセスすることもできる。ルール２３６は、図示のように、モデルトレーニングツール２１０の外部のデータストア１３０に格納されてもよく、またはモデルトレーニングツール２１０にローカルであってもよい。ルール２３６は、四分の五（４／５）ルールを満たすための要件または「統計的有意性」ルールの定義などの条件を含むことができる。ルール２３６は、モジュールトレーニングツール２１０の管理者などのユーザによって入力され得る。
【００１６】
モデルトレーニングツール２１０は、トレーニングデータセット２３０から種々の特徴を特定することができる。特徴には、オーディオ特徴、ビデオ特徴、画像特徴、対話特徴、または候補提出特徴が含まれ得る。モデルトレーニングツール２１０は、トレーニングデータセット２３０を目的関数１１４に伝達することができる。例えば、モデルトレーニングツール２１０は、アクティブアピアランスモデル（ＡＡＭ）または候補の顔をモデル化するための他のコンピュータビジョンアルゴリズムのような、アルゴリズム候補の視覚的指標を識別するための顔認識技法を利用することができる。モデルトレーニングツール２１０は、他の視覚的指標、音響指標などのような、トレーニングデータセット内の、顔以外の他のタイプの特徴を識別することができる。
【００１７】
目的関数１１４は、供給されるデータセット２３０に学習計画を適用することができる。いくつかの実施形態では、学習計画は、ディープラーニング計画、回帰手法、ベクタマシン、遺伝的プログラミング、または他の教師付きまたは教師なし機械学習計画であってもよい。
【００１８】
１つの実施形態では、目的関数１１４は、残差平方和（ＳＳＥ）アルゴリズムを含むことができる。数学的には、ＳＳＥは次のように表すことができる。
【数１】
2019519021.tif 000003
式中、ｅｉは、予測パフォーマンス結果値ｙｐと実際のパフォーマンス結果値ｙｔとの間の差として定義される。ｙｐの値は、以下を使用して生成することができる。
【数２】
2019519021.tif 000004
式中、ｆは、テキスト、オーディオ、ビデオ、評価結果、資格スコア、候補応答などの入力特徴ｘを処理するために使用される関数またはアルゴリズムを表す。しかし、上述したように、評価結果または適格性スコアのような処理された入力特徴は、トレーニングデータセット２３０内の候補の保護されたクラスに関連するバイアスによって影響を受けることがある。
【００１９】
１つまたは複数のクラス固有のバイアスの悪影響の補正は、目的関数入力を分類（人種、性別、年齢など）に対して等しい表現に分割することによって達成することができる。補正されなければ、多数の候補が上記ＳＳＥの誤差測定基準において支配的になる可能性がある。多数クラスがＳＳＥを定義または制御するのを防ぎ、したがって多数決モデルの影響をもたらすことを防ぐために、本明細書において説明する例では、各保護されるクラスによって切り離されるように目的関数１１４が再定義される。上記で示した元のＳＳＥ定義は、次のように定義されるより細かい要約に置き換えられる。
【数３】
2019519021.tif 000005
ここで、各候補クラスは切り離され、合計クラス候補カウントによって正規化される。変数Ａ、Ｂ、およびＣは、特定の人種（すなわち、黒人、白人、ヒスパニックなど）、性別、または年齢のグループなど、特定のクラスの合計カウントを表す。これにより、各候補クラスは、目的に対して等しい重みでモデルに影響を及ぼすことが可能になり、多数クラスがトレーニングデータセット２３０内の実際より少なく評価されるクラスまたは少数クラスの損害に対する、モデルのトレーニングにおける影響に支配的にならないことが保証される。
【００２０】
図２に示す図示の実施形態では、モデルトレーニングツール２１０は、ペナルティ関数２０２も含む。ペナルティ関数２０２は、予測モデル１１２への悪影響をさらに低減するために、または特定の悪影響状況をチェックもしくは是正するために組み込むことができる。ペナルティ関数が含まれる目的関数１１４の一例は、以下によって定義することができる。
【数４】
2019519021.tif 000006
ここで、ペナルティ関数Ｐ（Ｘ）は、時間の経過と共に地域のルールおよび規制に基づいて変化する可能性があるため、明示的には定義されない。ペナルティ関数の例は、４／５ルールであり、以下のように表される。
【数５】
2019519021.tif 000007
ここで、モデルトレーニングフェーズ中に悪影響が検出された場合は、適切なペナルティｐｍを使用して元の誤差測定基準を調整することができる。上記のペナルティ関数では、４／５ルールが適用される。この例では、候補の任意のクラスが最高クラスの採用率の８０％未満の採用率を有する場合、４／５ルールに違反し、ペナルティ値ｐｍを目的式１１４に組み込むことができる。
【００２１】
「統計的有意性」ルールなどの他のルールも使用することができる。統計的有意性ルールは、ペナルティ値を組み込むことができる相違の他の閾値を定義することができる。他の閾値およびルールは、状況が生じるか、または、法的もしくは事業体の基準が変更されるときに、適用することができる。いくつかの実施形態では、複数のペナルティ関数２０２を目的関数１１４に適用することができる。
【００２２】
違反の優先度に応じて、ペナルティｐｍの大きさを定義することができる。違反が容認できない場合、ｐｍは非常に大きくなる可能性がある（１００，１０００、またはさらには無限の値など）。中立が可能な場合、より小さいｐｍ値が、大きいｐｍ値が与え得るほど予測パフォーマンスに影響を与えることなく、依然として違反の考慮を可能にする。
【００２３】
使用事例に応じて多くの異なる誤差測定基準がある。この手法は、使用される誤差測定基準に関係なく値を提供する。式（３）における元のＳＳＥｃｏｒｒｅｃｔｅｄは、以下の一般的な形式に書き直すことができる。
【数６】
2019519021.tif 000008
式中、Ｅは対象の誤差項を表し、ＥＡは候補クラスＡの正規化誤差のみを表す。ここで、Ｅは多くの異なる誤差タイプに対して再定義することができる。
【００２４】
以下の場合、
【数７】
2019519021.tif 000009
ＳＳＥｃｏｒｒｅｃｔｅｄ式からの元の式が返される。
【００２５】
Ｅが以下の式（８）のような平均絶対誤差（ＭＡＥ）を用いるものとして再定義される場合、
【数８】
2019519021.tif 000010
目的関数１１４が変化し、モデルのトレーニングを調整することができる。
【００２６】
別の目的関数の例は、以下により定義される対数損失または「ＬｏｇＬｏｓｓ」を含み得る：
【数９】
2019519021.tif 000011
【００２７】
受信者動作特性（ＲＯＣ）曲線の下の領域（ＡＵＣ）、二乗平均平方根（ＲＭＳＥ）、ナッシュ・サトクリフ効率（ＮＳＥ）、カイ二乗などのような、式（１）〜（９）に記載のもの以外の多くの異なる目的関数が存在する。一般的な手法には、コストまたは損失関数などの任意目的関数を定義することが含まれる。ここで、寄与分は候補分類間で正規化され、特定の状況に対処するためにペナルティの可能性が組み込まれる。特定の例が本明細書に記載されているが、議論された手法は、パフォーマンス予測を予測および評価するために任意の数のアルゴリズムまたは関数を組み込むことができる。可能なアルゴリズムには、サポートベクタマシン、ディープニューラルネットワーク、様々な回帰、決定木、教師あり学習の変形形態などが含まれる。これにより複数の利点が得られる。
【００２８】
例えば、トレーニングデータセットのバイアスに対処する以前の手法は、候補ＧＰＡを手作業で調整して少数候補を支援することを含み得る。しかし、この手法は、多数クラスの候補が、その手法が学校内のパフォーマンスに対する不公平な差別であると主張する可能性がある場合、議論の余地があると考えられ得る。より良好な手法は、特徴を完全に削除すること、または未処理特徴だけを残し、問題に対する最良の目的に焦点を当てることで、この懸念から保護することである。
【００２９】
別の例では、よく理解されていなかった以前の被疑特徴は、危険な考慮事項であった。例えば、被疑特徴は、特徴作成技法を用いた複雑なモデリング技術またはパフォーマンスとは無関係の測定基準であり得る。本明細書で説明する例では、オーディオ、ビデオ、画像、および他の特徴ソースに、より積極的なディープラーニング手法を適用して、悪影響を模倣または組み込むことなくパフォーマンスを予測することができる。また、パフォーマンスデータを有し得ない企業は、面接スクリーニングステータス、採用状況（オファーあり／オファーなし）、または以前にはあまりにもリスクが高いと考えられていた他の測定基準のような、プレパフォーマンスデータを使用することができる。
【００３０】
図２に戻って、モデルトレーニングツール２１０は、予測モデル１１２をトレーニングするために、上述の目的関数１１４およびペナルティ関数２０２を組み込むことができる。トレーニングされると、候補は、ＧＵＩエンジン２１２を介して、ソートされ、審査者に表示され得る。ＧＵＩエンジン２１２は、トレーニングデータセット２３０、モデルトレーニングツール２１０のためのルール２３６のセット、予測モデル１１２上の制約もしくはパラメータ、ペナルティ関数２０２もしくは目的関数１１４、収集エンジン２１６、またはモデルトレーニングツール２１０の他の態様を審査するための入力機構を有するＧＵＩを作成することができる。ＧＵＩエンジン２１２は、ルールの選択、ルール、カテゴリ、データ項目特性の変更などを容易にする他のユーザインターフェース機構を作成することもできる。ＧＵＩエンジン２１２はまた、管理者に表示するためのデータの視覚的表現を提供することもできる。いくつかの実施形態では、モデルトレーニングツール２１０が実装されている同じデバイス上でＧＵＩを表示するとき、ＧＵＩエンジン２１２が使用される。別の実施形態では、ＧＵＩエンジン２１２は、表示のために別のデバイスに送信されるウェブページを作成して表示するウェブサーバと連携して使用することができる。ＧＵＩエンジン２１２はまた、可能性のある候補のリストを見るときのように、デジタル面接プラットフォーム１０１内に審査者のためのＧＵＩを生成することもできる。例えば、審査者は、候補のリストを閲覧し、ユーザインターフェース要素をアクティブにして、候補をソートする並べ替えをアクティブにすることができる。次いで、ＧＵＩエンジン２１２は、予測モデル１１２によって予測されているパフォーマンス値によってソートされた候補リストを提示する。
【００３１】
候補ソートツール２１０の実施形態は、新しい候補面接からのデータを、新しい候補のパフォーマンス値を予測するための予測モデル１１２への入力として使用することができる。
【００３２】
図３は、予測モデル３２６を構築するためのモデルトレーニングツール２１０のトレーニングフェーズ３０２を示す。トレーニングフェーズ３０２中に、トレーニングデータセット３１０が識別される。トレーニングデータセットは、複数の候補の候補データ３１２を含む。候補データは、候補に関する情報を伴うオーディオファイル、ビデオファイル、または他のデータファイル、ならびに、面接自体からのオーディオおよび／またはビデオを含むことができる。候補データ３１２は、本明細書で説明するデジタル面接プラットフォーム１０１によって取り込むことができる。代替的に、候補データ３１２は、本明細書で説明するように様々なソースから取得されてもよい。トレーニングデータセット３１０の候補データ３１２およびパフォーマンスデータ３１６は、収集エンジン２１６によって収集される。トレーニングセット３１０は、行列の列に編成することができ、各行は候補を表し、列は候補に対応する特徴を格納する。トレーニングデータセット３１０はまた、それぞれの候補についての履歴データ３１６を含む。本明細書で説明するように、履歴実パフォーマンスデータ３１６は、候補データ３１２と共に記憶されてもよく、または候補データ３１２とは別個に記憶されてもよい。候補データ３１４およびパフォーマンスデータ３１６の両方は、収集エンジン２１６によって収集され、モデルトレーニングツール２１０に値を提供して予測モデル３２６を生成する関数（目的およびペナルティ）に供給される。モデルトレーニングツール２１０は、ルール３２８によって管理され得る。ルールは、予測モデル３２６を構築する役割を担う管理者によって入力することができる。ルール３２８は、トレーニングセット３１０に対して動作する関数３１４からの値に基づいて予測モデル３２６を構築するアルゴリズムのトレーニングルールのセットを含むことができる。予測モデル３２６が開発されると、それは、トレーニングセット３１０内の追加のデータをテストすることによって、さらにトレーニングされ得る。これにより、管理者は、使用されているアルゴリズムのルールセット２３８ならびに目的およびペナルティ関数３１４を調整することができる。代替的に、本明細書に記載の技法は、保護されていないクラスに対して使用することができ、教師なし学習を使用して予測パフォーマンスモデルを構築することができる。
【００３３】
図４は、１つの実施形態による予測モデルをトレーニングするための方法４００のフロー図である。方法４００は、ハードウェア（回路、専用論理など）、ソフトウェア（汎用コンピューティングシステムまたは専用機械上で実行されるものなど）、ファームウェア（組み込みソフトウェア）、またはそれらの任意の組み合わせを含む処理論理によって実施することができる。１つの実施形態では、図１のモデルトレーニングツール１１０の処理論理が方法４００を実行する。別の実施形態では、図２のモデルトレーニングツール２１０の処理論理が方法４００を実行する。代替的に、サーバ１０４、クライアント１０２、またはその両方の処理論理が、方法４００の一部または全部を実行する。
【００３４】
ブロック４０２において、処理論理は、候補面接から特定される特徴を含むデジタル面接データを収集することができる。デジタル面接データの収集は、デジタル面接の間に取り込まれるオーディオ、ビデオ、画像、または他のデータを含むことができる。さらに、面接データは、面接前、面接中、または面接後に、候補によって提出されるデータを含むことができる。データは、ソーシャルメディアページ、公的もしくは私的なリスト、または候補に関連する他の情報源など、他の情報源から収集または取得される情報も含み得る。データはまた、候補のパフォーマンスに関する情報を含むことができる。候補のパフォーマンスは、候補の面接に対する審査者の応答、採用決定、その職に関するパフォーマンス指標、または他の非予測値に対するものであってもよい。他の情報も、本明細書に記載されているように収集されてもよい。
【００３５】
ブロック４０４において、収集エンジン２１６などの処理論理が、予測モデルをトレーニングするためのデジタル面接データのデータセットを選択する。選択されたデータセットは、複数の候補の各々の予測パフォーマンス結果および実際のパフォーマンス結果を含む。いくつかの実施形態では、データセットは、時間枠、採用キャンペーン、候補が応募した職位のタイプ、候補の特性、または他の何らかの変数に基づいて選択されてもよい。
【００３６】
ブロック４０６において、処理論理は、各候補についての誤差測定基準を決定することができる。誤差測定基準は、複数の候補の各々についての予測パフォーマンス結果と、実際のパフォーマンス結果との間の関係を含むことができる。上述のように、誤差測定基準は、目的関数によって生成することができる。結果（予測値および実際値）の間の関係は、本明細書で説明するようにコスト、損失、または他の目的関数を使用して決定することができる。
【００３７】
ブロック４０８において、処理論理は、複数の候補から、デジタル面接データが保護されたクラスに対応する特徴を含むいくつかの候補を決定することができる。いくつかの実施形態では、収集エンジン２１６、モデルトレーニングツール２１０、またはシステムの他の何らかの構成要素が、デジタル面接データを分析して、その候補が保護されたクラスの成員として適格か否かを判定することができる。候補は、応募に対する指定、質問に対する回答、視覚的特性、オーディオ特性、またはデジタル面接データもしくは他の場所に含まれる他の何らかの情報片に基づいて、保護されたクラスの成員であると決定され得る。代替的に、候補は保護されたクラスの成員ではあり得ないが、バイアスが影響を与える他の特性に基づいて分類される。
【００３８】
ブロック４１０において、処理論理は、対応する保護されたクラスに基づいて誤差測定基準に対する各特徴および候補の効果を正規化することができる。効果を正規化することは、特定のクラスの誤差測定基準を、クラスに適格な候補の数で除算することによって、クラスの成員の悪影響を除くことを含むことができる。これにより、各クラスの誤差測定基準が予測モデルに等しく影響するように、候補の影響が正規化される。クラスによる誤差測定基準の効果を正規化することは、誤差測定基準を除算する以外のプロセスによって達成されてもよい。
【００３９】
ブロック４１２において、処理は、本明細書で説明されるように、モデルを誘導するか、または特徴を破棄することによって、保護されたクラスに関する予測モデルにおける悪影響を低減するために正規化された誤差測定基準を適用することができる。保護されたクラスによって正規化された誤差測定基準により、モデルトレーニングツール２１０は、１つまたは複数の保護されたクラスに関する悪影響を導入、維持、または悪化させることなく、モデルをトレーニングすることができる。このようにして、企業または他の事業体は、バイアスに対する法的責任が懸念され得る状況を防止または是正することができる。他の実施形態では、モデルトレーニングツール２１０は、必ずしも法律で保護されていないクラスに関連して、本明細書で説明される技術を使用することができる。
【００４０】
図５は、予測モデルをトレーニングするためのコンピューティングシステム５００の例示的な形態の機械の概略図である。コンピューティングシステム５００内には、本明細書で議論された方法のうちの任意の１つまたは複数を機械に実行させるための命令セットがある。代替的な実施形態では、機械は、ＬＡＮ、イントラネット、エクストラネット、またはインターネット内の他の機械に接続（例えば、ネットワーク接続）されてもよい。機械は、クライアント−サーバネットワーク環境内のサーバまたはクライアントマシンの能力において、またはピアツーピア（または分散型）ネットワーク環境内のピアマシンとして動作することができる。機械は、ＰＣ、タブレットＰＣ、セットトップボックス（ＳＴＢ）、個人情報端末（ＰＤＡ）、セルラ電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチもしくはブリッジ、またはその機械がとるべき動作を指定する命令セット（順次またはその他）を実行することができる任意の機械であってもよい。さらに、単一の機械のみが図示されているが、用語「機械」は、上述した方法４００のような、デジタル面接などを評価するためのモデルトレーニングツールのための、本明細書で論じられる方法の任意の１つまたは複数を実行するための命令のセット（または複数のセット）を個々にまたは協働して実行する機械の任意の集合を含むものとしても解釈されるべきである。１つの実施形態では、コンピューティングシステム５００は、上述のようにサーバコンピューティングシステム１０４に実装され得る様々な構成要素を表す。代替的に、サーバコンピューティングシステム１０４は、コンピューティングシステム５００に示すように、より多くのまたはより少ない構成要素を含んでもよい。
【００４１】
例示的なコンピューティングシステム５００は、処理装置５０２、メインメモリ５０４（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックランダムアクセスメモリ（ＤＲＡＭ））、スタティックメモリ５０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）、およびデータ記憶デバイス５１６を含み、これらの各々は、バス５０８を介して互いに通信する。
【００４２】
処理装置５０２は、マイクロプロセッサ、中央処理装置などの１つまたは複数の汎用処理装置を表す。より詳細には、処理装置５０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実装するプロセッサ、もしくは、命令セットの組み合わせを実装するプロセッサであってもよい。処理装置５０２はまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどのような１つまたは複数の専用処理装置であってもよい。処理装置５０２は、本明細書で説明する動作およびステップを実行するための処理論理または命令（例えば、モデルトレーニングツール５２６）を実行するように構成される。
【００４３】
コンピューティングシステム５００は、ネットワークインターフェースデバイス５２２をさらに含むことができる。コンピューティングシステム５００はまた、ビデオディスプレイユニット５１０（例えば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））、英数字入力デバイス５１２（例えば、キーボード）、カーソル制御デバイス５１４（例えば、マウス）、および信号生成デバイス５２０（例えば、スピーカ）をも含むことができる。
【００４４】
データ記憶デバイス５１６は、本明細書で説明される方法または機能のうちの任意の１つまたは複数を具体化する１つまたは複数の命令セット（例えば、モデルトレーニングツール５２６）が格納されるコンピュータ可読記憶媒体５２４を含むことができる。モデルトレーニングツール５２６はまた、同じくコンピュータ可読記憶媒体を構成する、コンピューティングシステム５００、メインメモリ５０４、および処理装置５０２による実行中に、メインメモリ５０４内および／または処理装置５０２内に完全にまたは少なくとも部分的に存在してもよい。モデルトレーニングツール５２６はさらに、ネットワークインターフェースデバイス５２２を介してネットワークにわたって送信または受信することができる。
【００４５】
コンピュータ可読記憶媒体５２４は、例示的な実施形態では単一の媒体として示されているが、「コンピュータ可読記憶媒体」という用語は、１つまたは複数の命令セットを格納する単一の媒体または複数の媒体（例えば、集中型データベースもしくは分散型データベース、ならびに／または関連するキャッシュおよびサーバ）を含むように解釈されるべきである。「コンピュータ可読記憶媒体」という用語は、機械による実行のための命令セットを記憶することができ、機械に本実施形態の方法のいずれか１つまたは複数を実行させる任意の媒体を含むものとしても解釈されるべきである。したがって、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ、光媒体、磁気媒体、または命令を格納するための他のタイプの媒体を含むものとして解釈されるべきであるが、これに限定されないものとする。「コンピュータ可読伝送媒体」という用語は、機械に本実施形態の方法のいずれか１つまたは複数を実施させるために、機械による実行のための命令セットを伝送することができる任意の媒体を含むものとして解釈されるべきである。
【００４６】
本明細書で説明するモデルトレーニングツール５２６、構成要素、および他の特徴は、個別のハードウェア構成要素として実装することができ、または、ＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰなどのハードウェア構成要素の機能に統合することができる。モデルトレーニングツール５２６は、本明細書に記載されているようなパフォーマンスモデル悪影響補正の動作を実施することができる。さらに、モデルトレーニングツール５２６は、ハードウェアデバイス内のファームウェアまたは機能回路として実装することができる。さらに、モデルトレーニングツール５２６は、任意の組み合わせにおけるハードウェアデバイスおよびソフトウェア構成要素で実施することができる。
【００４７】
図６は、モデルトレーニングツール１１０の実施形態が動作することができるネットワークアーキテクチャ６００のブロック図である。ネットワークアーキテクチャ６００は、１つまたは複数のデジタル対話の設計において使用され、１つまたは複数の対話を実行することができる。デジタルプラットフォームの管理者は、ウェブサーバ６０５（ミドルウェアサーバとも呼ばれるに対するインターネット接続６０７（または他のネットワーク接続）を有する標準コンピュータシステム６０８を使用することができる。ウェブサーバ６０５は、本明細書で説明するモデルトレーニングツール１１０を含む。この実施形態では、モデルトレーニングツール１１０はウェブサーバ６０５上に存在し、ウェブサーバ６０５はデータベース６０６（例えば、データストア１３０）、および、この例では、ユーザまたは被面接者のような被験者との通信を容易にするためのフラッシュ通信サーバのような通信サーバ６０４と通信する。通信サーバ６０４は、通常、インターネット接続６０２（例えば、公衆または私設ネットワーク接続）を介して被面接者と通信する。ファイアウォール６０３を使用して、サーバ６０４、６０５およびデータベース６０６のセキュリティを保護することができる。被面接者は、ウェブカメラ６０１を備えたコンピュータシステムを使用して、質問に回答し、情報をアップロードし、１つまたは複数の面接を行うために接続されているインターネットを介してインターフェースする。管理者コンピュータ６０８および面接者コンピュータ６０１によって使用されるコンピュータシステムは、ネットワークに適合し、デジタル面接を記録するためのウェブカメラ、マイクロフォン、またはそれらの任意の組み合わせを含む様々なタイプのコンピュータ、ユーザデバイス、または他のタイプのデバイスであってもよい。デジタル面接の記録を含む候補データは、データベース６０６に格納される。例えば、ビデオファイル、オーディオファイル、テキストデータ、またはデジタル面接の任意の組み合わせは、通信サーバ６０４（またはウェブサーバ６０５）によって取り込まれ、データベース６０６に格納され得る。
【００４８】
図７は、モデルトレーニングツール１１０の実施形態が動作することができる別のネットワークアーキテクチャ７００のブロック図である。ネットワーク構成６００は、１つまたは複数のデジタル面接の設計において使用され、１つまたは複数の面接を実行することができる。この実施形態では、１人または複数の被面接者が、ネットワーク接続されたパーソナルコンピュータ７０１、７０２、７０３を使用して面接コンピュータ７０４にアクセスする。面接コンピュータ７０４は、ネットワーク接続を介して、モデルトレーニングツール１１０が常駐することができるウェブサーバ７０５に接続される。ウェブサーバ７０５は、格納されたデータが存在するデータベースサーバ７０６に接続される。ウェブサーバ７０５は、コンパイルされた評価、面接質問応答、および入力された候補（被面接者）情報などのような情報を格納することができるストレージサーバ７０８に接続されたパーソナルコンピュータ７０７を使用して、管理者（またはスーパーユーザ）によってアクセスすることができる。１人または複数の審査者が、ネットワーク接続されたパーソナルコンピュータ７１０、７１１、７１２を使用して、本明細書に記載される面接プロセスにおける評価および基準に関する情報を格納することができる評価ストレージサーバ７０９に接続することができる。モデルトレーニングツール１１０は、ウェブサーバ７０５または評価ストレージサーバ７０９に常駐して、上述の意思決定プロセスにおける悪影響を監視し、それを補正することができる。
【００４９】
上記の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズムおよび記号表現に関して提示される。これらのアルゴリズム記述および表現は、データ処理分野の当業者によって、自身の研究の内容を他の当業者に最も効果的に伝えるために使用される手段である。アルゴリズムは、ここでは、一般的に、所望の結果を導くステップの首尾一貫したシーケンスであると考えられる。これらのステップは、物理量の物理的操作を必要とするステップである。通常、必ずしも必要ではないが、これらの量は、記憶、転送、結合、比較、およびその他の操作が可能な電気信号または磁気信号の形式をとる。これらの信号をビット、値、要素、記号、文字、用語、数字などとして参照することは、主に一般的な使用のために、時として便利であることが判明している。
【００５０】
しかしながら、これらの用語および類似の用語はすべて、適切な物理量に関連付けられるべきであり、これらの量に適用される簡便なラベルに過ぎないことに留意すべきである。以下の説明から明らかなように特に明記しない限り、「受信する」、「生成する」、「通信する」、「取り込む」、「実行する」、「定義する」、「指定する」、「作成する」、「再生する」、「処理する」、「提供する」、「演算する」、「計算する」、「決定する」、「表示する」などの用語を利用する議論は、コンピューティングシステムのレジスタおよびメモリ内の物理（例えば電子的）量として表されるデータを操作して、コンピューティングシステムのメモリもしくはレジスタ、または他のそのような情報記憶、伝送または表示デバイス内で物理量として同様に表される他のデータ変換するコンピューティングシステム、または同様の電子コンピューティングシステムの動作およびプロセスを参照することが理解される。
【００５１】
本発明の実施形態は、本明細書の動作を実行するための装置にも関する。この装置は、必要とされる目的のために特別に構成することができ、またはコンピューティングシステムに格納されたコンピュータプログラムによって具体的にプログラムされる汎用コンピューティングシステムを含むことができる。そのようなコンピュータプログラムは、限定はしないが、光ディスク、ＣＤ−ＲＯＭ、および磁気光ディスクを含む任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光カード、または電子命令を記憶するのに適した任意のタイプの媒体のようなコンピュータ可読記憶媒体に格納されてもよい。
【００５２】
以上の説明は、説明の目的で、特定の実施形態を参照して説明された。しかしながら、上記例示的議論は網羅的であること、または開示された正確な形態に本発明を限定することを意図したものではない。上記の教示を考慮して多くの修正および変形が可能である。実施形態は、本発明の原理およびその実際的な応用を最もよく説明し、それによって当業者が本発明および意図される特定の用途に適し得る様々な修正を伴う様々な実施形態を利用できるように選択および記載された。
【図１】
2019519021.tif 000012
【図２】
2019519021.tif 000013
【図３】
2019519021.tif 000014
【図４】
2019519021.tif 000015
【図５】
2019519021.tif 000016
【図６】
2019519021.tif 000017
【図７】
2019519021.tif 000018
【国際調査報告】
2019519021.tif 000019