(57)【特許請求の範囲】
【請求項１】
処理デバイスで実行されるモデル駆動型の候補者ソートツールによって、モデル駆動型の候補者のソートのためにデジタル面接データのデータセットを選択するステップであって、前記データセットが、複数の面接候補者に関して記録された候補者データを含む、ステップと、
前記複数の面接候補者に関して、
前記モデル駆動型の候補者ソートツールによって、複数のデジタル面接キューを特定するためにそれぞれの面接候補者に関する前記候補者データを分析するステップと、
前記それぞれの面接候補者に関して特定された前記複数のデジタル面接キューに基づいて業績指数を予測するために予測モデルに前記デジタル面接キューを適用するステップであって、前記モデル駆動型の候補者ソートツールにおける査閲者の入力なしに実行される、ステップと、
前記予測モデルに前記複数のデジタル面接キューを適用する前記ステップからの予測された業績指数に基づいて前記複数の面接候補者のリストをソートするステップと、
査閲者に対するユーザインターフェース内に前記複数の面接候補者の前記ソートされたリストを提示するステップと、
面接キューの履歴的なデータセットを取得するステップと、
面接キューの前記履歴的なデータセットをキュー行列に記憶するステップであって、前記キュー行列の行が、それぞれ、複数の過去の候補者のうちの1人を表し、前記キュー行列の列が、それぞれ、前記面接キューの各々を表す、ステップと、
前記複数の候補者の過去の業績指数を業績スコアベクトルに記憶するステップと、
前記キュー行列および前記業績スコアベクトルを用いて前記予測モデルを構築するステップであって、前記キュー行列が、系特定アルゴリズムの入力行列を表し、前記業績スコアベクトルが、前記系特定アルゴリズムの出力行列を表す、ステップと、
前記予測モデルを訓練するステップと
を含む方法。
【請求項２】
前記複数のデジタル面接キューが、オーディオキューを含み、前記候補者データを分析する前記ステップが、前記オーディオキューを特定するために前記候補者データのオーディオ信号を調べるステップを含む請求項1に記載の方法。
【請求項３】
前記複数のデジタル面接キューが、ビデオキューを含み、前記候補者データを分析する前記ステップが、前記ビデオキューを特定するために前記候補者データのビデオ信号を調べるステップを含む請求項1に記載の方法。
【請求項４】
前記複数のデジタル面接キューが、ユーザインタラクションキューを含み、前記候補者データを分析する前記ステップが、前記ユーザインタラクションキューを特定するためにユーザインタラクションのログを調べるステップを含む請求項1に記載の方法。
【請求項５】
前記複数のデジタル面接キューが、オーディオキュー、ビデオキュー、またはユーザインタラクションキューのうちの少なくとも1つを含み、前記候補者データを分析する前記ステップが、個人的な候補者データを含む追加的なデジタル面接キューを特定するステップをさらに含む請求項1に記載の方法。
【請求項６】
前記予測モデルに前記デジタル面接キューを適用する前記ステップが、前記それぞれの面接候補者に関して前記予測モデルから追加的な業績指数を決定するステップを含み、ソートする前記ステップが、前記業績指数または前記追加的な業績指数のうちの少なくとも1つに基づいて前記複数の面接候補者の前記リストをソートするステップを含む請求項1に記載の方法。
【請求項７】
前記データセットの前記デジタル面接データを収集するステップをさらに含み、前記デジタル面接データを収集する前記ステップが、面接後データを収集するステップを含み、前記面接後データが、タイミングデータ、オーディオデータ、またはビデオデータのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項８】
前記モデル駆動型の候補者ソートツールが、オーディオキュージェネレータを含み、前記オーディオデータを収集するステップが、
前記オーディオキュージェネレータによって、それぞれの候補者によるデジタル面接の前記オーディオデータ内の発話を特定するステップであって、前記発話が、それぞれ、前記デジタル面接内で候補者によって話された1つまたは複数の語の群を含む、ステップと、
前記オーディオキュージェネレータによって、前記特定された発話に基づいて前記デジタル面接のオーディオキューを生成するステップとを含む請求項7に記載の方法。
【請求項９】
前記モデル駆動型の候補者ソートツールが、ビデオキュージェネレータを含み、前記ビデオデータを収集するステップが、
前記ビデオキュージェネレータによって、それぞれの候補者によるデジタル面接のビデオデータ内のビデオ測定基準を決定するステップと、
前記ビデオキュージェネレータによって、前記ビデオ測定基準に基づいて前記デジタル面接のビデオキューを生成するステップとのうちの少なくとも1つを含み、前記ビデオ測定基準が、以下、すなわち、
心拍数の検出、
候補者の表情、
目の動きのデータ、
環境データ、または
候補者の動きのデータのうちの少なくとも1つを含む請求項7に記載の方法。
【請求項１０】
前記ユーザインターフェース内に前記複数の面接候補者の前記ソートされたリストを提示する前記ステップが、業績指数のソートのためのユーザインターフェース要素のアクティブ化に応答してデジタル面接プラットフォームのビューに前記ソートされたリストを提示するステップを含む請求項7に記載の方法。
【請求項１１】
前記デジタル面接データを収集する前記ステップが、面接前データを収集するステップをさらに含み、前記面接前データが、ユーザエージェントデータ、履歴書データ、ユーザインターフェースデータ、第3者の候補者データ、ユーザアカウントデータ、または前職からの候補者データのうちの少なくとも1つを含む、請求項7に記載の方法。
【請求項１２】
前記予測モデルを作るステップをさらに含み、前記予測モデルを作るステップが、
面接キューの履歴的なデータセットを集めるステップと、
前記履歴的なデータセットの前記面接キューを前記業績指数に結びつけるステップとを含む請求項1に記載の方法。
【請求項１３】
前記系特定アルゴリズムが、サポートベクターマシン、回帰、ニューラルネットワーク、木構造分類器、または遺伝的プログラミングを用いる記号回帰のうちの少なくとも1つである請求項1に記載の方法。
【請求項１４】
コンピューティングシステムの処理デバイスによって実行されるときに、
前記処理デバイスによって、モデル駆動型の候補者のソートのためにデジタル面接データのデータセットを選択するステップであって、前記データセットが、複数の面接候補者に関して記録された候補者データを含む、ステップと、
前記複数の面接候補者に関して、
前記処理デバイスによって、複数のデジタル面接キューを特定するためにそれぞれの面接候補者に関する前記候補者データを分析するステップと、
前記処理デバイスによって、前記それぞれの面接候補者に関して特定された前記複数のデジタル面接キューに基づいて業績指数を予測するために予測モデルに前記デジタル面接キューを適用するステップであって、前記処理デバイスにおける査閲者の入力なしに実行される、ステップと、
前記処理デバイスによって、前記予測モデルに前記複数のデジタル面接キューを適用する前記ステップからの予測された業績指数に基づいて前記複数の面接候補者のリストをソートするステップと、
前記処理デバイスによって、査閲者に対するユーザインターフェース内に前記複数の面接候補者の前記ソートされたリストを提示するステップと、
面接キューの履歴的なデータセットを取得するステップと、
面接キューの前記履歴的なデータセットをキュー行列に記憶するステップであって、前記キュー行列の行が、それぞれ、複数の過去の候補者のうちの1人を表し、前記キュー行列の列が、それぞれ、前記面接キューの各々を表す、ステップと、
前記複数の候補者の過去の業績指数を業績スコアベクトルに記憶するステップと、
前記キュー行列および前記業績スコアベクトルを用いて前記予測モデルを構築するステップであって、前記キュー行列が、系特定アルゴリズムの入力行列を表し、前記業績スコアベクトルが、前記系特定アルゴリズムの出力行列を表す、ステップと、
前記予測モデルを訓練するステップと
を含む動作を前記コンピューティングシステムに実行させる命令を含む非一時的コンピュータ可読ストレージ媒体。
【請求項１５】
前記複数のデジタル面接キューが、オーディオキュー、ビデオキュー、またはユーザインタラクションキューのうちの少なくとも1つを含み、前記候補者データを分析する前記ステップが、個人的な候補者データを含む追加的なデジタル面接キューを特定するステップをさらに含む請求項14に記載の非一時的コンピュータ可読ストレージ媒体。
【請求項１６】
前記デジタル面接データが、オーディオデータを含み、前記動作が、
前記処理デバイスによって、それぞれの候補者によるデジタル面接の前記オーディオデータ内の発話を特定するステップであって、前記発話が、それぞれ、前記デジタル面接内で候補者によって話された1つまたは複数の語の群を含む、ステップと、
前記処理デバイスによって、前記特定された発話に基づいて前記デジタル面接のオーディオキューを生成するステップとをさらに含む請求項14に記載の非一時的コンピュータ可読ストレージ媒体。
【請求項１７】
データストレージデバイスと、
モデル駆動型の候補者ソートツールを含むデジタル面接プラットフォームを実行するための、前記データストレージデバイスに結合された処理デバイスとを含み、前記モデル駆動型の候補者ソートツールが、
モデル駆動型の候補者のソートのためにデジタル面接データのデータセットを選択することであって、前記データセットが、複数の面接候補者に関して記録された候補者データを含む、選択すること、
前記複数の面接候補者に関して、
複数のデジタル面接キューを特定するためにそれぞれの面接候補者に関する前記候補者データを分析すること、および
前記それぞれの面接候補者に関して特定された前記複数のデジタル面接キューに基づいて業績指数を予測するために予測モデルに前記複数のデジタル面接キューを適用することであって、前記モデル駆動型の候補者ソートツールにおける査閲者の入力なしに実行される、適用すること、
前記予測モデルに前記複数のデジタル面接キューを適用することからの予測された業績指数に基づいて前記複数の面接候補者のリストをソートすること、
前記デジタル面接プラットフォームのユーザインターフェースにおいて査閲者に前記複数の面接候補者の前記ソートされたリストを提示すること、
面接キューの履歴的なデータセットを取得すること、
面接キューの前記履歴的なデータセットをキュー行列に記憶することであって、前記キュー行列の行が、それぞれ、複数の過去の候補者のうちの1人を表し、前記キュー行列の列が、それぞれ、前記面接キューの各々を表す、記憶すること、
前記複数の候補者の過去の業績指数を業績スコアベクトルに記憶すること、
前記キュー行列および前記業績スコアベクトルを用いて前記予測モデルを構築することであって、前記キュー行列が、系特定アルゴリズムの入力行列を表し、前記業績スコアベクトルが、前記系特定アルゴリズムの出力行列を表す、構築すること、および
前記予測モデルを訓練すること
のためのものである、コンピューティングシステム。
【請求項１８】
前記デジタル面接プラットフォームが、ウェブベースのアプリケーションである請求項17に記載のコンピューティングシステム。
【請求項１９】
前記データストレージデバイスが、デジタル面接データの前記データセット、前記予測モデル、および面接キューの履歴的なデータを含むデジタル面接データリポジトリを記憶する請求項17に記載のコンピューティングシステム。
【請求項２０】
前記デジタル面接データが、オーディオデータを含み、前記モデル駆動型の候補者ソートツールが、さらに、
それぞれの候補者によるデジタル面接の前記オーディオデータ内の発話を特定することであって、前記発話が、それぞれ、前記デジタル面接内で候補者によって話された1つまたは複数の語の群を含む、特定することと、
前記特定された発話に基づいて前記デジタル面接のためのデジタル面接キューのオーディオキューを生成することとのためのものである請求項17に記載のコンピューティングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオキューに基づくモデル駆動型の候補者のソートに関する。
【背景技術】
【０００２】
従業員を見つけ、雇うことは、最も近代的なビジネスに影響を与える職務である。雇用主が空いている職(position)に「ふさわしい」従業員を見つけることは、重要である。空いている職にふさわしいかどうかの基準は、職務を行うために必要な技能を含む可能性がある。また、雇用主は、精神的および情緒的安定性、他の従業員と一緒に上手に働く能力、指導的役割を引き受ける能力、野心、細部への注意、問題解決などに関して潜在的な従業員を評価したい可能性がある。
しかし、従業員を見つけることに関連するプロセスは、雇用主にとって費用が高く、時間がかかる可能性がある。そのようなプロセスは、履歴書および添え状の評価、候補者との電話面接、候補者との対面面接、ドラッグ検査、技能テスト、不採用通知の送付、求人の交渉、新しい従業員の訓練などを含み得る。単一の従業員候補者は、候補者を雇う前に候補者を評価し、候補者とやりとりするために必要とされる人時の点で非常にコストがかかる可能性がある。
【０００３】
コンピュータおよびコンピューティングシステムが、これらの活動の一部を自動化するために使用され得る。たとえば、現在、多くの会社が、求人広告(job posting)、履歴書の提出、予備的評価などを容易にするオンラインリクルートツールを有する。加えて、一部のコンピューティングシステムは、候補者が「仮想」オンライン面接に参加することを可能にするための機能を含む。
【０００４】
コンピューティングツールは、面接の応答を集めることを自動化したが、応答を評価することに費やされる多大な労力がまだ存在する。多くの場合、異なる候補者に関する詳細の対照比較は難しい可能性があるが、応答者は個々に評価され、集団の中でランク付けされる可能性がある。たとえば、評価者は、被面接者の特定の答えを対象比較するために、1人の候補者に関する記憶された応答をくまなく検索し、別の候補者に関する応答にアクセスし、別の候補者に関する応答をくまなく検索して、比較のために必要とされる対応するデータを見つける必要がある。
【０００５】
面接者および候補者査閲者の仕事は、候補者が熟達しており、特定の仕事のために必要とされる資質を有するかどうかを判定することである。これを行うプロセスにおいて、それらの面接者および候補者査閲者は、候補者の資質を比較対照する--多くの場合、特定の質問または課題に対する候補者の応答を検討し、比較する。上述のように、比較プロセスは、面接が(初めから終わりまで)順次検討されるので難しいことが多く、特定の質問に対する各候補者に関する応答を比較することは、退屈であり、順序変更および相互比較を必要とする。結果として、応答は、平等に、公正に、またはその他の候補者の応答に照らして評価されないことが多い。
【０００６】
候補者の評価は、個々の面接者に大きく依存する非常に主観的なプロセスになり得る。しかし、大きな組織は、リクルートの成果を最大化するため、差別の非難を避けるため、またはその他の理由で主観を取り除くかまたは最小化したい可能性がある。様々な方式がこの目的で存在するが、これらの方式の各々は、異なる方法で解決に取り組む。したがって、自動化された面接および/または評価システムのプロバイダに傾倒する雇用主は、そのプロバイダの解決策に拘束されることが多い。
【発明の概要】
【課題を解決するための手段】
【０００７】
本明細書において特許請求される対象は、いずれかの欠点を解決するかまたは上述の環境のような環境内でのみ動作する実施形態に限定されない。むしろ、この背景技術は、本明細書において説明される一部の実施形態が実施され得る1つの例示的なテクノロジーの領域を示すために提供されるに過ぎない。
【０００８】
本発明が、同様の参照が同様の要素を示す添付の図面の図において限定としてではなく例として示される。本開示の「一(an, one)」実施形態への異なる参照は、必ずしも同じ実施形態に対するものとは限らず、そのような参照は、少なくとも1つを意味することに留意されたい。
【図面の簡単な説明】
【０００９】
【図１】モデル駆動型の候補者ソートツールの実施形態が動作し得る例示的なネットワークアーキテクチャのブロック図である。
【図２】一実施形態によるモデル駆動型の候補者ソートツールのブロック図である。
【図３】一実施形態による面接キューに関する予測モデルを構築するためのモデル駆動型の候補者ソートツールの系(system)特定モジュールの訓練フェーズを示す図である。
【図４】一実施形態によるモデル駆動型の候補者のソートのための履歴訓練(historical training)および予測の実施形態を示す図である。
【図５】一実施形態によるモデル駆動型の候補者のソートの前にデジタル面接を見るための例示的なユーザインターフェースの図である。
【図６】一実施形態によるモデル駆動型の候補者のソートの後にデジタル面接を見るための例示的なユーザインターフェースの図である。
【図７】一実施形態によるデジタル面接を評価するためのモデル駆動型の候補者のソートの方法の流れ図である。
【図８】一実施形態によるオーディオキューに基づくモデル駆動型の候補者のソートの方法の流れ図である。
【図９】一実施形態による発話(utterance)の特定のためのオーディオ信号のグラフである。
【図１０】一実施形態による発話の特定のための処理されたオーディオ信号のグラフである。
【図１１】一実施形態によるオーディオデータのスペクトル分析のための方法の流れ図である。
【図１２】一実施形態による特定された発話のスペクトル分析のグラフである。
【図１３】一実施形態による発話のスペクトル分析および補間のグラフである。
【図１４】一実施形態による既存のデータを用いてモデルをブートストラップする(bootstrap)試験結果のグラフである。
【図１５】モデル駆動型の候補者ソートツールの実施形態が動作し得るネットワークアーキテクチャのブロック図である。
【図１６】モデル駆動型の候補者ソートツールの実施形態が動作し得る別のネットワークアーキテクチャのブロック図である。
【図１７】一実施形態によるデジタル面接を見るための例示的なユーザインターフェースを示す図である。
【図１８】モデル駆動型の候補者のソートのためのコンピューティングシステムの例示的な形態のマシンの図である。
【発明を実施するための形態】
【００１０】
デジタル面接を検討するためのモデル駆動型の候補者のソートのための方法およびシステムが、説明される。以降の説明において、多くの詳細が説明される。一実施形態においては、モデル駆動型の候補者ソートツールが、ソートするためのデジタル面接データのデータセットを選択する。データセットは、(本明細書においては被面接者とも呼ばれる)面接候補者の候補者を含む。モデル駆動型の候補者ソートツールは、それぞれの面接候補者に関する候補者データを分析してデジタル面接キューを特定し、予測モデルにデジタル面接キューを適用してそれぞれの面接候補者に関する業績指数(achievement index)を予測する。これは、モデル駆動型の候補者ソートツールにおいて査閲者の入力なしに実行される。面接の候補者のリストが、予測された業績指数に従ってソートされ、ソートされたリストが、ユーザインターフェースにおいて査閲者に提示される。しかし、本発明の実施形態がこれらの具体的詳細なしに実施され得ることは、本開示の恩恵に浴する当業者に明らかであろう。場合によっては、本発明の実施形態を曖昧にすることを避けるために、よく知られた構造およびデバイスが、詳細にではなくブロック図の形態で示される。
【００１１】
現在は、国内で、さらにはインターネットを用いて国際的に職に関するリクルートを行う能力により、条件を満たした候補者の数が、評価するのに費用がかさみ、時間を要することがある可能性がある。より技術的な職に関しては、対象の専門家が、通常の職務に焦点を合わせるのではなく候補者の評価および審査のために使用される。デジタルビデオ面接の採用により、候補者を評価するために必要とされる時間が削減されるが、選別できないほど多くの候補者を有する問題が引き続き残る。
【００１２】
歴史的に、仕事の選択および採用は、人間の評価者による主観的なプロセスであって。多くの研究が、評価者が一貫性に欠け、評価者から構築されたモデルが評価者の実際の判断よりも一貫して優れていることを示した。これは、人間の評価者がそれらの評価者自身の採点と一貫性がなく、人柄の影響またはその他の要因に基づいて、ある応募者に対して別の応募者よりも履歴書の項目により重きを置くか、またはそれらの評価者自身の方法から逸脱するだろう。たとえば、仕事の進捗(work advancement)、訓練の出来、仕事の出来、または販売目標などの、職務配置のために選択するときに考慮すべき多くの業績に関連する結果が存在する。同様に、採用のために、グレードポイントアベレージ(GPA: grade point average)、落伍の見込み(dropout likelihood)、研究助成金、または将来の配置などの多くの所望の業績の結果が存在する。審査プロセス中にこれらの結果を予測することは、ほとんどの人間の評価者には不向きな複雑な職務である。
【００１３】
基本的な閾値などの通常の解決策は、候補者の選別のためには比較的おおざっぱである。たとえば、履歴書のGPA、学位のレベル、または特定の技能の記載などの単純な測定基準(metric)を用いて、候補者の数を絞るための閾値が選択される。単純な審査を用いることは、多くの潜在的な応募者が最終的な管理可能なプールにまで減らされることを可能にする。
【００１４】
本明細書において説明される実施形態は、候補者の選択の少なくとも2つの特定された問題、すなわち、大きな候補者のプールおよび向上された審査の精度に対処するために使用され得る。本明細書において説明される実施形態は、業績指数を用いてこれらの問題に対する解決策を提供する。業績指数を予測するために、履歴的なデータセットが、経時的に集められ、面接キューを人間の査閲者によって割り当てられた業績指数と結びつける。業績指数は、審査プロセスの後の候補者の出来または業績に関連する多くの事柄である可能性がある。たとえば、業績指数は、期待される候補者の面接のスコア(たとえば、1〜5)、期待される候補者の決断(たとえば、yes、no、maybe)、仕事の出来、最初の年の満了または離職の見込み(または任意の定義された期間)、学業成績、候補者に割り当てられ得る将来の出来の測定基準などである可能性がある。仕事の出来は、たとえば、最初の年の販売目標、訓練の出来(たとえば、免許取得試験に通る見込み)、仕事の進捗率、またはその他の人事考課(performance review)測定基準である可能性がある。これらの業績指数の値は、審査または採用プロセス中に予測され得る場合、両方の問題を同時に解決することができる。本明細書において説明される実施形態は、たとえば、デジタル面接審査において使用されてこなかったオーディオデータ、ビデオデータ、ユーザインタラクション(UX)測定基準などの新しい入力を利用して予測能力を向上させ得る。また、本明細書において説明される実施形態は、試験のスコア、履歴書の項目、観察された面接の振る舞いなどの利用可能なその他の候補者データを使用し得る。たとえば、履歴書解析アルゴリズムが、履歴書データを解析するために使用される可能性がある。
【００１５】
本明細書において説明される実施形態は、業績指数を予測するための予測モデルに入力するために使用され得るデジタル面接キューを特定することができる。本明細書において説明される実施形態は、予測モデルを構築すること、予測モデルを訓練すること、および予測モデルを用いて候補者に関する業績指数を予測することを説明する。予測された業績指数は、査閲者のために候補者のリストをソートするために使用され得る。査閲者は、ソートされたリストを使用して、多量の候補者をより効果的に評価し、予測された業績指数に基づいてより正確に候補者を審査することができる。本明細書において説明される実施形態は、オーディオ、ビデオ、ユーザインタラクションなどの1つまたは複数のデジタル面接のソースから特定された複数のデジタル面接キューを予測モデルへの入力として用いて候補者に関する業績指数を予測することができることにも留意されたい。業績指数は、業績指数に従って候補者をソートするだけでなく、査閲者が候補者を審査するのを助けるために使用され得る。
【００１６】
図1は、モデル駆動型の候補者ソートツール110の実施形態が動作し得るネットワークアーキテクチャ100のブロック図である。ネットワークアーキテクチャ100は、ネットワーク106(たとえば、インターネットなどの公衆ネットワークまたはローカルエリアネットワーク(LAN)などの私設ネットワーク)を介してサーバコンピューティングシステム104に結合された複数のクライアントコンピューティングシステム102を含む可能性がある。ネットワーク106は、インターネットおよびインターネットへのネットワーク接続を含む可能性がある。代替的に、サーバ104およびクライアント102は、共通のローカルエリアネットワーク(LAN)、パーソナルエリアネットワーク(PAN)、キャンパスエリアネットワーク(CAN)、メトロポリタンエリアネットワーク(MAN)、広域ネットワーク(WAN)、ワイヤレスローカルエリアネットワーク、セルラーネットワーク、仮想ローカルエリアネットワークなどに配置される可能性がある。(本明細書においてはサーバ104とも呼ばれる)サーバコンピューティングシステム104は、本明細書において説明される機能を提供するための処理能力およびストレージ能力を有する1つまたは複数のマシン(たとえば、1つまたは複数のサーバコンピュータシステム、ルータ、ゲートウェイ)を含む可能性がある。サーバコンピューティングシステム104は、モデル駆動型の候補者ソートツール110を実行する可能性がある。モデル駆動型の候補者ソートツール110は、本明細書において説明される様々な機能を実行することができ、図2〜図4に関連して下でより詳細に説明されるように、候補者に関する業績指数を予測するための(本明細書においては業績指数(AI)予測モデル112とも呼ばれる)予測モデル112と、デジタル面接データからデジタル面接キューを生成するためのキュージェネレータ114とを含む可能性がある。モデル駆動型の候補者ソートツール110は、HireVue, Inc.によって開発されたデジタル面接プラットフォームなどのデジタル面接プラットフォーム101の一部として実装される可能性がある。代替的に、デジタル面接プラットフォーム101は、その他の種類のデジタル面接プラットフォームである可能性がある。その他の実施形態において、モデル駆動型の候補者ソートツール110は、デジタル面接プラットフォーム101またはその他のシステムとインターフェースを取るスタンドアロンのツールとして実装される可能性がある。この実施形態においては、サーバコンピューティングシステム104が、モデル駆動型の候補者ソートツール110を実装するが、その他のクライアントのうちの1つまたは複数が、サーバコンピューティングシステム104上のモデル駆動型の候補者ソートツール110の機能と関連してまたは独立して働くことができるモデル駆動型の候補者ソートツール110のクライアントモジュールを含む可能性もある。
【００１７】
(本明細書においては「クライアント102」とも呼ばれる)クライアントコンピューティングシステム102は、クライアントワークステーション、サーバ、コンピュータ、ポータブル電子デバイス、セットトップボックスなどのネットワークを介して通信するように構成されたエンターテインメントシステム、デジタル受信機、デジタルテレビ、モバイル電話、スマートフォン、タブレット、またはその他の電子デバイスである可能性がある。たとえば、ポータブル電子デバイスは、セルラー電話、ポータブルゲームシステム、ポータブルコンピューティングデバイスなどを含み得るがこれらに限定されない。クライアント102は、ファイアウォール、ルータ、またはその他のパケット交換デバイスを介してインターネットにアクセスすることができる。クライアント102は、ルータ、ゲートウェイ、またはその他のデバイスなどの1つまたは複数の介在デバイスを通じてサーバ104に接続する可能性がある。クライアント102は、異なる機能を用いて様々に構成され、ブラウザ140および1つまたは複数のアプリケーション142を含む可能性がある。一実施形態において、クライアント102は、ブラウザ140を介してデジタル面接プラットフォーム101にアクセスし、デジタル面接プラットフォーム101は、ブラウザ140を介してクライアント102にユーザインターフェースを提示するウェブベースのアプリケーションまたはクラウドコンピューティングシステムである。同様に、アプリケーション142のうちの1つは、デジタル面接プラットフォーム101にアクセスするために使用され得る。たとえば、(「アプリ」と呼ばれる)モバイルアプリケーションが、デジタル面接プラットフォーム101の1つまたは複数のユーザインターフェースにアクセスするために使用され得る。デジタル面接プラットフォーム101は、デジタル面接のプロセスを容易にする1つまたは複数のソフトウェア製品である可能性がある。たとえば、場合によっては、クライアント102が、デジタル面接を行うために候補者(または被面接者)によって使用される。デジタル面接プラットフォーム101は、候補者からデジタル面接データ132を取り込み、データストア130にデータを記憶することができる。デジタル面接データ132は、候補者によってアップロードされたデータ、面接中に取り込まれたオーディオ、面接中に取り込まれたビデオ、面接の前または後に候補者によって提出されたデータなどを含み得る。クライアント102は、候補者を検討し、審査し、選択するために査閲者または評価者によって使用される可能性もある。査閲者は、上述のように、ブラウザ140またはアプリケーション142を介してデジタル面接プラットフォーム101にアクセスすることができる。デジタル面接プラットフォーム101によって査閲者に対して提示されるユーザインターフェースは、候補者に提示されるユーザインターフェースとは異なる。査閲者に対して提示されるユーザインターフェースは、査閲者が候補者を検討し、選択するためのデジタル面接データにアクセスすることを許す。モデル駆動型の候補者ソートツール110は、本明細書において説明されるように、候補者のリストを順序付けするため、候補者のリストを審査するため、またはその他の検討目的で候補者をソートするために査閲者によってアクティブ化され得る(または有効化されるときに自動的にアクティブ化され得る)。
【００１８】
データストア130は、1つまたは複数のメモリデバイス上の1つまたは複数のデータリポジトリを表す可能性がある。データストア130は、データベースまたはデータの任意のその他の組織化された集合である可能性がある。データストア130は、デジタル面接データ132、(本明細書において説明されるように)キュージェネレータ114によって生成されたデジタル面接キュー134、履歴的キューデータ136、および業績指数(AI)予測モデル138を記憶し得る。
【００１９】
示された実施形態においては、サーバコンピューティングシステム104が、図2〜図4に関連してさらに詳細に説明されるように、デジタル面接プラットフォーム101の1つまたは複数のビュー(view)において候補者をソートするためのモデル駆動型の候補者ソートツール110を含むデジタル面接プラットフォーム101を実行し得る。サーバ104は、本明細書において説明されるようにデジタル面接を行うかまたはデジタル面接を検討するためにクライアント102とデジタル面接プラットフォーム101との間の通信を容易にするウェブサーバ機能を含み得る。代替的に、ウェブサーバ機能は、モデル駆動型の候補者ソートツール110とは別のマシンに実装される可能性がある。デジタル面接データ132を記録するためのデジタル面接プラットフォーム101の機能が1つまたは複数のサーバ104に実装される可能性があり、デジタル面接プラットフォーム101の機能が1つまたは複数の異なるサーバ104に実装される可能性があることにも留意されたい。その他の実施形態において、ネットワークアーキテクチャ100は、ディレクトリサーバ、ウェブサイトサーバ、統計サーバ、ネットワークインフラストラクチャの事業者(たとえば、ISP)のデバイスなどのその他のデバイスを含み得る。代替的に、本開示の恩恵を受ける当業者に理解されるであろうようにその他の構成があり得る。
【００２０】
図2は、一実施形態によるモデル駆動型の候補者ソートツール210のブロック図である。(説明を容易にするために以降で「候補者ソートツール210」と呼ばれる)モデル駆動型の候補者ソートツール210は、ハードウェア(回路、専用論理など)、ソフトウェア(汎用コンピューティングシステムもしくは専用マシン上で実行されるなど)、ファームウェア(組み込みソフトウェア)、またはこれらの任意の組合せを含む処理論理として実装される可能性がある。示された実施形態において、モデル駆動型の候補者ソートツール210は、系特定モジュール202、AI予測モデル112、キュージェネレータ114、通信モジュール208、グラフィカルユーザインターフェース(GUI)エンジン212、および収集エンジン216を含む。モデル駆動型の候補者ソートツール210の構成要素は、一部の実施形態によれば、一緒に組み合わされるか、またはさらなるモジュールへと分けられ得る可能性があるモジュールを表す可能性がある。モデル駆動型の候補者ソートツール210は、図2に示された構成要素よりも多いまたは少ない構成要素を含む可能性がある。
【００２１】
モデル駆動型の候補者ソートツール210が現在のデータ234に対して使用される前に、候補者ソートツール210は、AI予測モデル112を作り、AI予測モデルを訓練することができる。AI予測モデル112を構築するために、候補者ソートツール210は、履歴的なデジタル面接データの訓練データセット232を得る。候補者ソートツール210のキュージェネレータ114は、訓練データセット232を分析してデジタル面接キューを特定する。キュージェネレータ114は、デジタル面接プラットフォームに提出された候補者データ、オーディオデータ、ビデオデータ、ユーザインタラクション(UX)データ、第3者のウェブサイトからの経歴などからなど、様々なソースから異なる種類のデジタル面接キューを特定することができる。異なる種類のデジタル面接キューは、オーディオキュー、ビデオキュー、ユーザインタラクションキュー、または個人的な候補者データ(たとえば、履歴書データ、候補者の出版物、GPA、試験のスコアなど)などのその他のデジタル面接キューである可能性がある。一部の実施形態において、キュージェネレータ114は、特定の種類のデジタル面接キューを個々に生成するための1つまたは複数のオーディオキュージェネレータ、1つまたは複数のビデオキュージェネレータ、および1つまたは複数のユーザインタラクションジェネレータを含む。代替的に、キュージェネレータ114は、訓練データセット232を処理している間に分析される1つまたは複数の規則の組を含む。同じキュージェネレータ114は、現在のデータ234に対して使用され得る。
【００２２】
本明細書において説明されるように、デジタル面接キューは、候補者データの様々なソースから導出されるか、特定されるか、または生成される可能性がある。デジタル面接キューは、HTTPユーザエージェントデータ(たとえば、ブラウザ、オペレーティングシステム(OS)、またはインターネットプロトコル(IP))から、履歴書の解析(たとえば、学歴、GPA、インターンシップ、出版物など)から、適切な書式に記入すること、ワード毎分(WPM)のような効率的な挙動、および候補者がデジタル面接プラットフォーム101をどれだけ速くナビゲートするかなどのユーザインタラクション(UX)/ユーザインターフェース(UI)データからのデータなど、面接前(pre-interview)ソースからの面接前キューである可能性がある。面接前データは、ソーシャルメディアのウェブサイト、ブログなどからの第3者の候補者データである可能性もある。たとえば、面接前データは、LinkedIn、Facebook、GILD、Github、Instagram、Twitter、またはその他の第3者のウェブサイト上の候補者のプロフィールから取得される可能性がある。面接前データは、ユーザアカウントデータ(たとえば、電子メールアドレス、電子メールのホストなど)を含む可能性もある。面接前データは、デジタル面接プラットフォーム内の前職からの候補者データを含む可能性もある。たとえば、候補者による以前の面接からの出来の情報が、候補者による将来の出来を予測するために使用され得る。一実施形態において、キュージェネレータ114は、訓練データセット232(または現在のデータ234)からタイミングデータを収集し、面接を開始および完了したときのそれぞれの面接候補者の適時性を表す時間測定基準を決定し、および/またはそれぞれの面接候補者が最終期限に遅れたかまたは面接を完了するためにさらなる時間を要求したかを判定する。別の実施形態において、キュージェネレータ114は、ユーザインタラクションのログを調べてユーザインタラクションキューを特定する可能性がある。代替的に、キュージェネレータ114は、その他のタイミング面接キューを生成する。
【００２３】
別の実施形態において、面接キューは、タイミングデータ、オーディオデータ、ビデオデータなどの面接後(post-interview)キューである可能性がある。タイミングデータは、候補者が面接を開始したとき、面接を完了したときにどれだけ時宜にかなっていたか、または面接の総継続時間についての情報を含み得る。タイミングデータは、候補者が間に合わない最終期限に間に合わないためにさらなる時間を要求したかどうかを示すための情報、または面接に関して設定された時間的制約の厳しいパラメータについてのその他のタイミング情報を含む可能性もある。キュージェネレータ114は、候補者データのオーディオ信号またはオーディオサンプルを調べて候補者に関するオーディオキューを特定することができる。一実施形態において、キュージェネレータ114は、訓練データセット232(または現在のデータ234)からオーディオデータを収集し、候補者によるデジタル面接のオーディオ信号内の発話を特定するオーディオキュージェネレータを含む。発話は、デジタル面接における候補者によって話された1つまたは複数の語の群である。オーディオキュージェネレータは、特定された発話に基づいてオーディオキューを生成する。別の実施形態において、オーディオジェネレータは、代替的にまたは追加的に、特定された発話の間の間隙に基づいてオーディオキューを生成する可能性がある。別の実施形態において、オーディオキュージェネレータは、生の音声データを分析して、発話に関する集約された統計(たとえば、最大、最小、中央値、非対称性、標準偏差、最頻値、傾き、尖度など)、発話の間の間隙に関する集約された統計、発話の繰り返しの測定基準(たとえば、発話の電力スペクトル密度(PSD)関数の条件)、周波数スペクトル分析(たとえば、音声スペクトルに対して高速フーリエ変換(FFT)の変化形を実行して周波数の統計を生成すること)、気持ちの検出(たとえば、攻撃性、苦悩、積極的参加、モチベーション、または神経の過敏さ)などを決定する可能性がある。別の実施形態において、音声キュージェネレータは、ボイストゥテキスト(voice-to-text)データに基づいてオーディオキューを生成する可能性がある。たとえば、ボイストゥテキストデータは、文法の採点を含む可能性がある。一実施形態においては、Linux(登録商標)のコマンドラインツールのdictionが、よく誤って使用される語句、2つ同じ語が続くこと、および文法の誤りの数を決定する可能性があり、これらの数が、検出された文の数によって正規化される可能性がある。ボイストゥテキストデータは、テキストデータから生成され得る前向きなまたは後ろ向きな心情も含む可能性があり、テキストの全体的な気持ちを決定するために、各語または語のタプル(グループ)に重みが与えられる。ブラックリストの語の集まり(人種差別主義者、ののしり、卑俗な言葉)、語の長さに関する集約された統計(たとえば、文字数または音節数)、語の難しさに関する集約された統計、およびつなぎの言葉(filler-word)の頻度が、デジタル面接キューに関して分析され得るボイストゥテキストデータの種類である可能性もある。たとえば、文法の深さが試験されることを可能にするために、語を難しさの等級をマッピングするために、辞書が使用される可能性がある。オーディオキューの���成に関するさらなる詳細は、図9〜図13に関連して下で説明される。
【００２４】
キュージェネレータ114は、ビデオ信号を調べて候補者に関するビデオキューを特定することができる。一実施形態において、キュージェネレータ114は、ビデオデータに基づいてビデオキューを特定するための特定のビデオキュージェネレータを含む。一実施形態において、ビデオキュージェネレータは、候補者によるデジタル面接のビデオデータ内のビデオ測定基準を決定する。ビデオキュージェネレータは、ビデオ測定基準に基づいてビデオキューを生成する。ビデオ測定基準は、(たとえば、オイラービデオ拡大(Eulerian video magnification)を用いる)心拍数の検出、候補者の表情(たとえば、笑顔、困惑、動揺)、目の動きのデータ、環境のデータ(たとえば、背景がどれだけ散らかっているか、環境がどれだけ個人的なものであるか)、または候補者の動きのデータ(たとえば、どんな時間的頻度で候補者が動いているか、細かな震えの頻度はどのくらいかなど)を含む可能性がある。
【００２５】
一実施形態において、キュージェネレータ114は、予測モデル112を作るときに使用される。別の実施形態において、キュージェネレータ114は、その後、予測モデルを作るときに後で取り出されるためにデータストア130内にデジタル面接キューを生成する。一実施形態において、候補者ソートツール210の系特定モジュール202は、面接キューの履歴的なデータセットを集め、履歴的なデータセットの面接キューを業績指数に結びつける。別の実施形態において、系特定モジュール202は、面接キューの履歴的なデータセットを取得し、面接キューの履歴的なデータセットをキュー行列に記憶し、キュー行列の行は、候補者のうちの1人を表し、列は、面接キューの各々を表す。系特定モジュール202は、候補者の過去の業績指数を業績スコアベクトル(achievement score vector)に記憶する。系特定モジュール202は、キュー行列および業績スコアベクトルを用いて予測モデル112を構築する。一実施形態においては、系特定アルゴリズムを用いて予測モデルを構築するために線形系を解くために、系特定モジュール202は、キュー行列(x)および業績スコアベクトル(y)を含む系特定アルゴリズムのための2つの入力を受信する。系特定アルゴリズムは、y=F(x)によって表される可能性があり、ここで、Fは、構築されている予測的モデルβ(ベータ)である。F=β(ベータ)である線形系を解くために、モデルは、次のように、すなわち、β(ベータ), = pinv (X*X')*X'*yと表される可能性があり、ここで、「pinv」は、行列の擬似逆行列(たとえば、ムーア-ペンローズの擬似逆行列)である。一実施形態において、系特定アルゴリズムは、サポートベクターマシンである。代替的に、系特定アルゴリズムは、回帰、ニューラルネットワーク、木構造分類器、遺伝的プログラミングを用いる記号回帰(symbolic regression)、または任意のその他のグレイまたはブラックボックスモデルである可能性がある。予測モデル112が構築されると、候補者ソートツール210は、図3に関連して以下でより詳細に説明されるように訓練データセット232を用いて予測モデル112を訓練することができる。本明細書において説明される一部の実施形態においては、全般的なモデルが構築される可能性があることに留意されたい。その他の実施形態においては、職に固有のまたは部門に固有のモデルが構築される可能性がある。たとえば、販売に関する予測的モデルまたはエンジニアリングに関する予測的モデルが、独立して構築される可能性がある。同様に、職に固有のモデルが構築される可能性がある。また、その他の実施形態においては、評価者に固有のモデルが構築される可能性がある。たとえば、2つの評価者に固有のモデルが、2人の評価者(AおよびB)に関して構築され、それぞれがそれぞれのモデルからの業績指数に基づいて候補者を評価すべき順序を予測することを可能にし得る。さらなる観察が、それらの観察に基づいて特定の予測的モデルを構築するために使用され得るデータにおいて利用され得る可能性があることにも留意されたい。
【００２６】
訓練データセット232は、候補者について既に利用可能である任意の候補者データおよび候補者に関する対応する業績指数(たとえば、この候補者が雇われたかどうか)である可能性がある。たとえば、業績指数は、期待される候補者の面接のスコア(たとえば、1〜5)、期待される候補者の決断(たとえば、yes、no、maybe)、仕事の出来の測定基準、定義された期間後の満了または離職の見込みを示す測定基準、学業成績の測定基準(たとえば、GPA、試験のスコア、達成の見込み(likelihood of completion)、資金調達の成功(funding success)、累積的な引用係数(cumulative citation factor))、候補者に割り当てられ得る将来の出来の測定基準などである可能性がある。仕事の出来は、たとえば、最初の年の販売目標、訓練の出来(たとえば、免許取得試験に通る見込み)、仕事の進捗率、またはその他の人事考課測定基準である可能性がある。業績指数は、候補者の首尾良く雇われる可能性または候補者の審査プロセス後の業績の可能性を示す可能性がある。
【００２７】
本明細書において説明されるように、デジタル面接キューは、キュージェネレータ114によって現在のデータ234に関して決定される可能性があり、デジタル面接キューは、現在の候補者のリストに関する業績指数を予測するためにAI予測モデル112に適用される可能性がある。候補者のリストは、ソートされ、GUIエンジン212を介して査閲者に対して表示され得る。GUIエンジン212は、訓練データセット232、系特定モジュール202に関する規則の組236、AI予測モデル112に対する制約またはパラメータ、キュージェネレータ114、系特定モジュール202、収集エンジン216、またはモデル駆動型の候補者ソートツール210のその他の点を検討するための入力メカニズムを有するGUIを作成することができる。GUIエンジン212は、規則の選択、規則の修正、カテゴリ、データ項目のプロパティなどを容易にするためのその他のユーザインターフェースメカニズムを作成する可能性もある。GUIエンジン212は、管理者に対して表示するためのデータの視覚的表現を提供する可能性もある。一部の実施形態において、GUIエンジン212は、モデル駆動型の候補者ソートツール210が実装される同じデバイスにGUIを表示するときに使用される。別の実施形態において、GUIエンジン212は、表示するために別のデバイスに送信されるべきウェブページを作成し、表示するウェブサーバに関連して使用され得る。GUIエンジン212は、潜在的な候補者のリストを見るときなどに、デジタル面接プラットフォーム101内で査閲者のためのGUIを生成する可能性もある。たとえば、査閲者は、候補者のリストを見て、業績指数によって候補者をソートするAIソートをアクティブ化するためのユーザインターフェース要素をアクティブ化することができる。そして、GUIエンジン212は、予測モデル112によって予測された業績指数に基づいて候補者のソートされたリストを提示する。
【００２８】
別の実施形態において、候補者ソートツール210は、通信モジュール208を用いてデジタル面接プラットフォーム101のその他の構成要素に予測された業績指数を伝達することができる。通信モジュール208は、モデル駆動型の候補者ソートツール210内、もしくはサーバコンピューティングシステム104内のその他の構成要素と、またはサーバコンピューティングシステム104に結合された構成要素もしくはデバイスと通信するためにやはり使用され得る。業績指数が予測モデル112によって決定され、面接キューがキュージェネレータによって生成されると、業績指数および面接キューは、追加的な予測モデルを作るためまたは現在の予測モデル112を更新するための履歴的なデータとして使用されるために収集エンジン216によって収集され得る。
【００２９】
候補者ソートツール210の実施形態は、デジタル面接キューを、候補者の業績指数を予測するための予測モデル112への入力として使用することができる。通常、履歴書データおよび候補者データが、審査のために使用される可能性がある。本明細書において説明される実施形態は、これらの通常の種類のデータをキュージェネレータ114によって生成された自動化されたデジタル面接キューと組み合わせて、ずっと多くの自動化されたキューを得ることができる。これらのキューを使用して、査閲者の入力なしに自動的に多種多様な業績指数を予測するために予測モデルが生成され得る。これは、人間が面接を検討する必要があるよりも前に、面接についての業績の予測が機械的になされることを可能にし得る。本明細書において説明されるのは、候補者の結果を予測しようと試みるときにデジタル面接に関する豊富なデータセットを提供するために生成または特定され得る様々な潜在的な面接キューである。
【００３０】
図3は、一実施形態による面接キューに関する予測モデル326を構築するためのモデル駆動型の候補者ソートツール210の系特定モジュール202の訓練フェーズ302を示す。訓練フェーズ302中に、訓練データセット310が特定される。訓練データセットは、複数の候補者に関する候補者データ312を含む。候補者データは、オーディオファイル、ビデオファイル、または候補者についての情報を有するその他のデータファイル、ならびに面接自体からのオーディオおよび/またはビデオを含む可能性がある。候補者データ312は、本明細書において説明されるデジタル面接プラットフォーム101によって取り込まれる可能性がある。代替的に、候補者データ312は、本明細書において説明されるように様々なソースから取得される可能性がある。訓練データセット310の候補者データ312は、候補者に関する対応する面接キュー314を生成するためにキュージェネレータ114に入力される。面接キューは、キュー行列の列に編成される可能性があり、各行は、候補者を表し、列は、キュージェネレータ114によって生成された面接キュー314を記憶する。また、訓練データセット310は、それぞれの候補者に関する履歴的業績指数データ316を含む。本明細書において説明されるように、業績指数データ316はスコアベクトルに記憶され得る。面接キュー314と業績指数316との両方は、予測モデル326を作るために系特定モジュール202に入力される。系特定モジュール202は、予測モデル326を構築する役割を担う管理者によって入力された(328)規則によって支配され得る。ユーザ入力328は、規則の組326を含み得る。規則の組236は、履歴的面接キュー314および訓練セット310の業績指数316に基づいて予測モデル326を構築する系特定アルゴリズムの規則である可能性がある。予測モデル326は、作られると、訓練セット310のさらなるデータを試験することによってさらに訓練され得る。これは、管理者がユーザ入力328を用いて使用されているアルゴリズムの規則の組236を調整することを可能にし得る。たとえば、モデル駆動型の候補者ソートツール210の管理者は、結果を分析して、規則の組236が何らかの修正を必要とするかどうかを査定することができる。修正が必要とされる場合、系特定モジュール202は、規則のうちの1つまたは複数を修正するためのユーザ入力328を受信する可能性がある。これは、反復的なプロセスである可能性がある。訓練フェーズが完了されると、規則の組が、現在の候補者に関する業績指数を予測するために現在のデータ234に適用され得る。
【００３１】
一実施形態において、系特定モジュール202およびキュージェネレータ114は、集合的にまたは個々に1つまたは複数の機械学習アルゴリズムで実装される可能性がある。機械学習アルゴリズムは、初期規則の組236によって訓練データセット232を分析し、モデル駆動型の候補者ソートツール210によって使用され得る業績指数316に関して予測モデル326を作成および訓練して予測モデル326を作成および訓練することができる。規則の組236および機械学習アルゴリズムのその他のパラメータは、GUIエンジン212を介して管理者に提示され得る。
【００３２】
図4は、一実施形態によるモデル駆動型の候補者のソートのための履歴訓練および予測のプロセスフロー400の実施形態を示す。プロセスフロー400は、履歴訓練403で始まる。履歴訓練403の間に、過去の候補者401が、それらの候補者のそれぞれのデジタル面接402に参加した。たとえば、候補者401は、デジタル面接プラットフォーム101によってホストされたデジタル面接に参加した。デジタル面接プラットフォーム101は、候補者データを取り込み、候補者をデータベースに記憶した。面接402からの候補者データは、本明細書において説明されるようにデジタル面接キューを特定するためにキュージェネレータ414によって分析される。デジタル面接キューは、それぞれの候補者に関するキューデータベース410に記憶される。たとえば、キューデータベース410は、過去の候補者401に関する行を定義するキュー行列である可能性があり、列は、それぞれの候補者に関するデジタル面接キューを定義する。キュー行列は、系特定アルゴリズム424への1つの入力411、xと考えられ得る。過去の面接402中に、面接の査閲者は、雇う決断などの決断412を行った。決断412は、別の決断テーブル416に記憶される。決断テーブル416は、決断412を表すための数値によって表される可能性がある。決断テーブル416は、系特定アルゴリズム424への第2の入力415、yと考えられ得る。
【００３３】
予測フェーズ420の間に、系特定アルゴリズム424は、キューデータベース410および決断テーブル416を表す2つの入力x 411、y 415に基づいて予測モデル423を生成する。予測モデル423は、予測アルゴリズム426への入力として使用される。また、予測位相420の間に、現在の候補者421は、デジタル面接422に参加する。これらの面接は、上述のように、デジタル面接プラットフォーム101において行われ得る。現在の面接422からの候補者データが、候補者に関するデジタル面接キューを特定するためのキュージェネレータ414への入力である。特定されたデジタル面接キューは、現在の候補者421に関する業績指数を予測するための予測アルゴリズム426への入力である。候補者ランク427が、予測された業績指数に基づいて候補者421に割り当てられる。査閲者428は、現在の候補者421を評価するときに、候補者のランク427に基づいてソートされたビュー内に候補者データを提示される。査閲者428は、最も高い予測から最も低い予測まで候補者を検討し(429)、現在の候補者421に関する決断を行うことができる。さらなる実施形態においては、収集エンジン430が、現在の候補者から結果を集め、デジタル面接キューおよび決断の結果を将来の学習431のためにキューデータベース410および決断テーブル416に記憶することができる。
【００３４】
図4は、履歴的な面談の訓練と予測との間の関係を示す。数千人の候補者が面接され、候補者の業績に関して評価者によって決断がなされる。各面接に関して、デジタル面接キューが、履歴書およびその他の利用可能なデータと一緒にオーディオおよびビデオデータを用いて生成され得る。このデータは、候補者の決断と一緒にキューデータベースに保存され、モデルβを構築するために引き出され得る。面接される新しい候補者はキューを自動的に生成させることができ、人間の査閲者が面接を見る前に業績の予測がなされる。これらの面接は、候補者のプールに戻され、最良の予測から最悪の予測に向かってソートされる。ここで、評価者が、最も高い業績の予測を有する候補者から始まり、より低いランク付けの候補者に向かって進むことにより効率的な順序で候補者を評価することができる。候補者が採点された後、これらの面接は、今や、将来の訓練のために使用され得る。
【００３５】
図5は、一実施形態によるモデル駆動型の候補者のソートの前にデジタル面接を見るための例示的なユーザインターフェース500である。ユーザインターフェース500は、デジタル面接プラットフォーム101の評価ビュー502である可能性がある。評価ビュー502は、候補者情報504、質問506、質問ナビゲーション要素508、ビデオパネル510、候補者のリスト512、およびソート要素514を含む。候補者のリスト512は、名前、名字、時間、または業績指数(A.I.)によってソートされ得る。たとえば、図5に示されるように、候補者のリスト512は、ソートされないか、またはその他の項目のうちの1つに基づいてソートされる可能性がある。査閲者がソート要素514をクリックするなどソート要素514をアクティブ化するとき、リストは、本明細書において説明される予測された業績指数に基づいてソートされる。たとえば、図6のユーザインターフェース500に示されるように、評価ビュー502は、候補者のソートされたリスト612を提示し、候補者は、業績指数の順序で再配列される。それから、査閲者が、何らかのその他の任意の順序の代わりに予測に基づくか、または名前もしくは時間に基づく意味のある方法で候補者のリスト612のその査閲者の検討を開始することができる。たとえば、査閲者は、たとえば、面接の決断、面接のスコア、職場の出来、GPA、または将来の試験のスコアなどのカスタムのAI予測によってデジタル雇用プラットフォームに候補者を記憶する可能性がある。訓練されたAIは、雇用または審査の目標に基づいて変わる可能性があり、産業によって変わる可能性もある(つまり、金融に関する職場の出来の予測は、販売の職場の出来のデータに関して構築されたモデルと大きく異なる可能性がある)。
【００３６】
図7は、一実施形態によるデジタル面接を評価するためのモデル駆動型の候補者のソートの方法700の流れ図である。方法700は、ハードウェア(回路、専用論理など)、(汎用コンピューティングシステムもしくは専用マシンで実行されるような)ソフトウェア、ファームウェア(組み込みソフトウェア)、またはこれらの任意の組合せを含む可能性がある処理論理によって実行される。一実施形態においては、図1のモデル駆動型の候補者ソートツール110が、方法700を実行する。別の実施形態においては、モデル駆動型の候補者ソートツール210が、方法700を実行する。代替的に、サーバコンピューティングシステム104、クライアントコンピューティングシステム102、またはこれら両方のその他の構成要素が、方法700の動作の一部またはすべてを実行する可能性がある。
【００３７】
図7を参照すると、処理論理が、モデル駆動型の候補者ソートツールのためのデジタル面接データのデータセットを選択することから始まる(ブロック702)。データセットは、複数の面接候補者に関して記録された候補者データを含む。各面接候補者に関して、処理論理は、それぞれの面接候補者に関する候補者データを分析して、複数のデジタル面接キューを特定する(ブロック704)。処理論理は、それぞれの面接候補者に関する特定されたデジタル面接キューに基づいて業績指数を予測するために予測モデルにデジタル面接キューを適用する(ブロック706)。予測が自動化され得ることに留意されたい。つまり、デジタル面接キューは、査閲者の入力なしに業績指数を予測するために予測モデルに適用され得る。処理論理は、予測された業績指数に基づいて面接候補者のリストをソートする(ブロック708)。処理論理は、査閲者に対するユーザインターフェース内に面接候補者のソートされたリストを提示する(ブロック710)。
【００３８】
別の実施形態において、処理論理は、業績指数に基づいて候補者に候補者のランクを割り当てる。これは、査閲者によって候補者のその後の評価のためにソートされる可能性がある。候補者を評価するとき、査閲者は、ソートされたビューまたは候補者データが候補者のランクに基づいてソートされるビュー内に候補者データを提示される。
【００３９】
別の実施形態において、デジタル面接キューは、オーディオキューを含み、処理論理は、候補者データのオーディオ信号を調べることによって候補者データを分析してオーディオキューを特定する。別の実施形態において、デジタル面接キューは、ビデオキューを含み、処理論理は、候補者データのビデオ信号を調べることによって候補者データを分析してビデオキューを特定する。別の実施形態において、デジタル面接キューは、ユーザインタラクションキューを含み、処理論理は、ユーザインタラクションのログを調べることによって候補者データを分析してユーザインタラクションキューを特定する。別の実施形態において、デジタル面接キューは、オーディオキュー、ビデオキュー、またはユーザインタラクションキューのうちの1つまたは複数を含み、処理論理は、履歴書データ、候補者の出版物、GPA、試験のスコアなどの個人的な候補者データなどの追加的なデジタル面接キューを特定する可能性がある。
【００４０】
さらなる実施形態において、処理論理は、1つまたは複数のその他の面接キューに基づいて予測モデルから追加的な業績指数を決定し、処理論理は、業績指数、追加的な業績指数、またはこれらの任意の組合せに基づいて候補者のリストをソートし得る。
【００４１】
別の実施形態において、処理論理は、面接後データを収集することによるなどしてデータセットのデジタル面接データを収集する。面接後データは、タイミングデータ、オーディオデータ、またはビデオデータのうちの少なくとも1つ含み得る。別の実施形態において、処理論理は、面接を開始および完了したときのそれぞれの面接候補者の適時性を表す時間測定基準を決定するか、またはそれぞれの面接候補者が最終期限に遅れたかもしくは面接を完了するためにさらなる時間を要求したかを判定することなどによってタイミングデータを収集する。
【００４２】
別の実施形態においては、以下でより詳細に説明されるように、処理論理が、それぞれの候補者によるデジタル面接のオーディオデータを収集し、それぞれの候補者によるオーディオデータ内の発話を特定する。発話は、それぞれ、デジタル面接における候補者によって話された1つまたは複数の語の群を含む。処理論理は、特定された発話に基づいてデジタル面接のオーディオキューを生成する。別の実施形態において、処理論理は、デジタル面接のビデオデータを収集し、ビデオデータのビデオ測定基準を決定し、ビデオ測定基準に基づいてデジタル面接のビデオキューを生成する。ビデオ測定基準は、心拍数の検出、候補者の表情、目の動きのデータ、環境のデータ、または(目の動きだけでない)体の動きのデータなどの候補者の動きのデータのうちの1つまたは複数を含む可能性がある。
【００４３】
本明細書において説明されるように、処理論理は、業績指数のソートのためのユーザインターフェース要素のアクティブ化に応答してデジタル面接プラットフォームのビュー内にソートされたリストを提示することができる。
【００４４】
別の実施形態において、処理論理は、ユーザエージェントデータ、履歴書データ、ユーザインターフェースデータ、第3者の候補者データ、ユーザアカウントデータ、または前職からの候補者データのうちの少なくとも1つを含む面接前データを収集する。
【００４５】
別の実施形態において、処理論理は、面接キューの履歴的なデータセットを集め、履歴的なデータセットの面接キューを業績指数に結びつけることによって予測モデルを作る。別の実施形態において、処理論理は、面接キューの履歴的なデータセットを取得し、キュー行列に面接キューの履歴的なデータセットを記憶する。キュー行列の行は、それぞれ、複数の過去の候補者のうちの1人を表し、キュー行列の列は、(その特定の行の)それぞれの候補者に関する面接キューの各々を表す。処理論理は、複数の候補者の過去の業績指数を業績スコアベクトルに記憶する。処理論理は、キュー行列および業績スコアベクトルを用いて予測モデルを構築する。キュー行列は、系特定アルゴリズムの入力行列を表し、業績スコアベクトルは、系特定アルゴリズムの出力行列を表す。さらなる実施形態において、処理論理は、予測モデルを訓練する。一実施形態において、系特定アルゴリズムは、サポートベクターマシン、回帰、ニューラルネットワーク、木構造分類器、または遺伝的プログラミングを用いる記号回帰のうちの少なくとも1つである可能性がある。
【００４６】
別の実施形態において、業績指数は、期待される候補者の面接のスコア、期待される候補者の決断、仕事の出来の測定基準、定義された期間後の満了の見込みを示す測定基準、学業成績の測定基準、または将来の出来の測定基準のうちの少なくとも1つである。
【００４７】
図8は、一実施形態によるオーディオキューに基づくモデル駆動型の候補者のソートの方法800の流れ図である。一実施形態においては、図1のモデル駆動型の候補者ソートツール110が、方法800を実行する。別の実施形態においては、モデル駆動型の候補者ソートツール210が、方法800を実行する。代替的に、サーバコンピューティングシステム104、クライアントコンピューティングシステム102、またはこれら両方のその他の構成要素が、方法800の動作の一部またはすべてを実行する可能性がある。
【００４８】
図8を参照すると、処理論理は、デジタル面接のオーディオデータを選択し、デジタル面接プラットフォームによって取り込まれるようなオーディオデータ内の発話を特定することから始まる(ブロック802)。発話は、それぞれ、デジタル面接における候補者によって話された1つまたは複数の語の群を含む。処理論理は、特定された発話に基づいてデジタル面接のオーディオキューを生成する(ブロック804)。処理論理は、オーディオキューに基づいて候補者に関する業績指数を予測するために予測モデルにオーディオキューを適用する(ブロック806)。処理論理は、オーディオキューに基づいて候補者のリストをソートする(ブロック808)。処理論理は、業績指数に基づいて候補者のリスト内の候補者を表示する(ブロック810)。
【００４９】
さらなる実施形態において、処理論理は、さらなる候補者に関するさらなる業績指数を予測するために複数の候補者に関してブロック802〜806を実行し、それらの候補者のそれぞれの業績指数に従って候補者および候補者のリスト内のさらなる候補者をソートする。
【００５０】
一実施形態において、処理論理は、オーディオデータの第1の数のオーディオサンプルの第1の移動窓(moving window)を用いて第1の移動平均を算出することによって発話を特定する。処理論理は、オーディオサンプルのピークの遷移を検出するための勾配(gradient)と共に第2の数のオーディオサンプルの第2の移動窓を用いて第2の移動平均を算出する。第2の数は、第1の数よりも大きい。処理論理は、オーディオサンプルの音声活動インジケータ(voice activity indicator)を算出し、第1の移動平均、第2の移動平均、および音声活動インジケータを用いてオーディオサンプルを発話にセグメント分けする。発話の各々は、発話の長さを含み、処理論理は、発話の各々に発話識別子を割り当てる。
【００５１】
別の実施形態において、処理論理は、オーディオデータ内の発話の間の間隙を特定する。間隙の各々は、間隙の長さを含み、処理論理は、間隙の各々に間隙識別子を割り当てる。処理論理は、間隙に関する集約された統計を算出する。
【００５２】
別の実施形態において、処理論理は、発話識別子および対応する発話の長さを含む発話ベクトルを生成する。処理論理は、間隙識別子および対応する間隙の長さを含む間隙ベクトルを生成する。処理論理は、発話ベクトルおよび間隙ベクトルを用いて間隙の長さに対する発話の長さの比を算出する。
【００５３】
別の実施形態において、処理論理は、特定された発話の各々のスペクトル分析を実行し、スペクトル分析に基づいて単一の語もしくは語句の検出または面接のフィンガープリンティング(fingerprinting)のうちの少なくとも一方を実行する。
【００５４】
別の実施形態において、処理論理は、特定された発話の各々のスペクトル分析を実行して発話の時系列データを生成し、スペクトルの各窓に関する集約された統計を算出する。各ウィンドウは、単位ステップ周波数によって定義される。たとえば、単位ステップ周波数は、0MHzから8MHzまでの500kHzである可能性がある。別の実施形態において、単位ステップ周波数は、1000kHzである。集約された統計は、最大、最小、中央値、非対称性、標準偏差、最頻値、傾き、または尖度のうちの少なくとも1つを含み得る。別の実施形態において、窓は、動作中、動作前、もしくは動作後に、または窓のサイズ、範囲などを調整するためのその他の適応的な技術を用いて調整され得る。
【００５５】
別の実施形態において、処理論理は、特定された発話の各々のスペクトル分析を実行して発話の時系列データを生成する。処理論理は、スペクトル分析に基づいて特定された発話の各々のスペクトルシグネチャを生成する。処理論理は、スペクトルシグネチャに基づいて発話の繰り返しを検出する。
【００５６】
処理論理は、デジタル面接を表すための発話行列を構築し、発話行列の列の予め定義された分解能(resolution)内にぴったり合うように発話のスペクトル応答を補間してベクトルの結合を可能にすることによって発話の繰り返しを検出し得る。処理論理は、繰り返しを推定するために発話行列のユークリッドノルムを算出し、ユークリッドノルムに基づいて面接の繰り返しのスコアを生成する。別の実施形態において、処理論理は、発話行列を用いて発話の繰り返しの測定基準を算出する。
【００５７】
別の実施形態において、処理論理は、特定された発話データに対して発話の電力スペクトル密度(PSD)関数を実行することによってオーディオキューを生成する。処理論理は、PSD関数に基づいて発話の繰り返しの測定基準を算出する。別の実施形態において、処理論理は、周波数スペクトル分析のためにオーディオデータの音声スペクトルに対して高速フーリエ変換(FFT)の変化形を実行することによってオーディオキューを生成する。処理論理は、周波数スペクトル分析に基づいて周波数の統計を生成する。別の実施形態において、処理論理は、特定された発話の各々のスペクトル分析を実行して発話の電力スペクトル密度を取得することによってオーディオキューを生成し、スペクトル分析に基づいて単一の語もしくは語句の検出または面接のフィンガープリンティングのうちの少なくとも一方を実行して発話の電力スペクトル密度を算出する。
【００５８】
さらなる実施形態において、処理論理は、オーディオデータをテキストに変換する。処理論理は、テキストを分析することからオーディオキューを生成する。テキストは、テキストの文法のスコアを計算すること、テキストの心情のスコアを計算することであって、心情のスコアが、各語もしくは語のグループに与えられた重みに基づいてテキストの気持ちを表す、計算すること、ブラックリスト上の語の数を計算すること、テキストの語の長さもしくはテキストの語の難しさに関する集約された統計を計算すること、語の対もしくはよくある語句を推定すること、テキストのつなぎの言葉の頻度を計算すること、または職に固有の語のクラスタおよび予測語(predictive word)に関する重みを計算すること、または語幹抽出アルゴリズムを用いて語から接尾辞および接頭辞を取り除くことのうちのいずれか1つまたは複数によって分析される可能性がある。訓練方法は、ロジスティック回帰、サポートベクターマシン、単純ベイズ分類、決定木、ディープビリーフネット(deep belief nets)、またはテキストから分類を予測するために使用される任意のその他の分類もしくは回帰方法を含み得る。別の実施形態において、処理論理は、職または職種に基づいてクラスタリングワード強度測定基準(clustering word strength metric)を計算する。別の実施形態において、処理論理は、職に基づいてクラスタリングワード強度測定基準を計算する。
【００５９】
下の式は、テキストがこれらのアルゴリズムのうちの多くにおける分析のために数値行列表現にまたは2値行列にどのようにして変換され得るかの簡単な例を示す。第1の行列は複数の語句を含み、各行は1つの語句であり、各列は語句の語を含む。第2の行列は式内の語のインデックスのマッピングであり、それぞれの一意の語は値を与えられ、語は、繰り返されるとき、前の場合に与えられた値を与えられる(つまり、cats=3)。インデックスマップは、第3の2値行列内に見られた対応する列を投入する。
【００６０】
【数１】
0006546922.tif 000002
【００６１】
ユーザインターフェースを使用する間に集められたオーディオ、ビデオ、およびユーザデータを使用することは、強力なモデルが業績スコアを予測するために構築されることを可能にする。以下の説明は、発話測定基準を生成することなど、使用され得る様々なオーディオ測定基準に関するさらなる実施形態を提供する。
【００６２】
候補者は、面接を開始するとき、ばらばらの語を話すというよりも、一群の語を含む可能性がある発話をする。これらの発話は、図9に示されるように、オーディオデータから容易に分離され、モデルのためのさらなる面接キューを生成するために使用され得る。発話は、発せられた言葉、言説、または声の音である可能性がある。
【００６３】
図9は、一実施形態による発話の特定のためのオーディオ信号のグラフ901〜905である。グラフ901は、デジタル面接からの生のオーディオ信号を示す。グラフ902は、生のオーディオ信号の絶対値を示す。グラフ903は、2千個のサンプルの移動窓サイズを使用する短い移動平均(たとえば、conv(abs(生のオーディオ信号),2000)を示す。もちろん、移動窓サイズは、2千個のサンプル以外のサイズである可能性がある。グラフ904は、ピークの検出を検出するための勾配と共に4千個のサンプルの移動窓サイズを用いる長い移動平均を示す(たとえば、conv(abs(生のオーディオ信号),4000)および勾配)。グラフ905は、能力の高い分離を示すために音声活動インジケータを示す。音声インジケータは、異なるオーディオシーケンスを示す。たとえば、音声活動インジケータは、5つの音声シーケンス906〜910を特定する。
【００６４】
図10は、一実施形態による発話の特定のための処理されたオーディオ信号のグラフ1001〜1002である。グラフ1001は、生のオーディオファイルからの特定された発話1〜12の振幅を示す。初めの大きな間隙1003は、候補者が話し始める前にある。番号の振られたセクションは、発話が行われた順序で上に対応する発話識別子(1〜12)が付けられた候補者からの話の発話を表す。たとえば、発話識別子8および9は、つなぎの言葉(たとえば、uh、ah、um)の例である。音源のセグメント分けは、図9に示されるようにフィルタを用いて実現される。グラフ1002は、特定された発話の大きさのプロットおよび対応する発話識別子を示す。大きさは、(たとえば、秒またはその他の単位で表される)発話の長さである可能性がある。同様に、同様のプロットが、特定された発話の間の間隙に関して作成され得る。
【００６５】
発話データ、間隙データ、またはこれらの任意の組合せが得られると、1つまたは複数の集約された統計が、デジタル面接キューに関するオーディオキューを作成するために生成され得る。たとえば、図10に示される発話ベクトルを取り上げると、最大、最小、中央値、および非対称性などの集約された統計のサンプルが生成され得る。同様の集約された統計が、間隙ベクトルに関しても生成され得る。別の実施形態においては、よくある間隙の長さに対するよくある発話の長さの比が、式(1)に示されるように分析される可能性があり、この式で、utteranceは発話ベクトルであり、gapは間隙ベクトルである。
【００６６】
【数２】
0006546922.tif 000003
【００６７】
図11は、一実施形態によるオーディオデータのスペクトル分析のための方法1100の流れ図である。処理論理は、本明細書において説明されるように、方法1100を実行することができる。方法1100は、生のオーディオ1101から電力スペクトル密度のプロットを生成するためにたどられる経路を示す。これらのプロットは、面接に関連する複数のオーディオキューを生成するために使用され得る。あり得るキューは、本明細書において説明されるように、繰り返しの測定基準および特定の周波数を含む。処理論理は、生のオーディオデータ1101を特定し、各サンプルの各周波数に関して処理論理は、生のオーディオサンプルのFFT 1102を算出する。つまり、生のデータサンプルは、FFTを用いて周波数領域に変換され得る時間に基づくデータである可能性がある。生のオーディオのFFTは、発話毎、面接の質問毎、または単一の候補者に関する質問が単一のオーディオファイルに記憶されるときは面接全体で算出される可能性がある。FFT 1102は、候補者をまたいで算出されない。
【００６８】
周波数領域において一度、処理論理は、オーディオサンプルの電力スペクトル密度を算出し得る。特に、処理論理は、周波数スペクトルの窓(たとえば、0から8MHz)内のオーディオサンプルの周波数レスポンス1103を算出する。FFT 1102は、それがデータの前半のみであることを除いて周波数レスポンス1103に関して同じである。この理由は、電力スペクトル密度が対称的であるからであり、それは冗長であるので、それを含むことにはほとんど価値がない。処理論理は、窓に関する電力スペクトル密度を算出する(たとえば、窓内の各周波数における電力)。処理論理は、[1105の記述のプレースホルダー]1105を算出する。処理論理は、50サンプルの移動窓サイズを用いて電力スペクトル密度の移動平均1106を算出する。処理論理は、図12に示されるような、ブロック1108において算出された周波数の各々に関する算出されたPSDをプロットし得る(1107)。
【００６９】
図12は、一実施形態による特定された発話のスペクトル分析のグラフ1200である。グラフ1200は、図10に示された特定された発話の各々に関するスペクトル分析を示す。スペクトル分析は、単一の語、1つまたは複数の語句、および面接のフィンガープリンティングのために使用され得る。グラフ1200のy軸は、電力1201であり、x軸は、周波数1202である。上述の同じ発話のセグメント分け方法を用いて、スペクトル分析は、各発話に対して完了され得る。発話の時系列データを用いて、処理論理は、スペクトル内の各窓に関する集約された統計を算出することができる。たとえば、各窓は、500kHz刻みで定義され得る(たとえば、1〜500kHz=窓1、501〜1000kHz=窓2など)。代替的に、その他の窓サイズが定義される可能性があり、異なる周波数範囲が評価される可能性がある。スペクトル分析に対して使用された集約された統計は、最大、最小、中央値、非対称性、標準偏差、最頻値、傾き、尖度、またはその他の種類の集約された統計を含み得る。
【００７０】
本明細書において説明される実施形態は、繰り返しの検出を用いてオーディオキューを生成する可能性もある。たとえば、各発話を取り上げ、その発話のスペクトルシグネチャを計算することによって、処理論理は、面接中の繰り返しを検出するために使用され得る価値のあるデータセットを生成することができる。繰り返しを検出するために、発話行列が、各面接を表すために構築され得る。これは、発話のスペクトル応答を取り上げ、列の予め定義された分解能内にぴったり合うようにその発話のスペクトル応答を補間することによって実現され得る。この例として、8000個の列が、各周波数に関して1つの列を取り込むために保管される。発話行列の形式的な表現は、式(2)において表されるようなものである可能性がある。
【００７１】
【数３】
0006546922.tif 000004
【００７２】
生のスペクトル分析が各発話に関して収集される場合、その生のスペクトル分析は、補間を用いてベクトルの結合を可能にして単一の行列へと結合され得る。結合されると、発話行列Uは、図13に示されるように、繰り返しの測定基準を収集するために使用され得る。
【００７３】
図13は、一実施形態による発話のスペクトル分析および補間のグラフ1301〜1302である。図13のグラフ1301〜1302は、面接中の単一の質問に対する単一の候補者の応答を表す。グラフ1301は、発話のスペクトル分析を示し、グラフ1302は、発話の補間を示す。一実施形態においては、発話行列Uを用いて、行列のユークリッドノルムが、繰り返しを推定するために使用され得る。要点を繰り返すことまたは多くのつなぎの言葉を用いることによって引き起こされる反復の多い候補者は、多様な応答をする候補者よりも高い特異値を有する可能性がある。一実施形態においては、次の式(3)が使用される可能性があり、この式においては、行列Uの最も大きな特異値がユークリッドノルムである。
InterviewRepititionScore = ||U||2,         (3)
【００７４】
面接キューが収集され、業績指数が知られると、予測モデルが、デジタル面接プロセスを助けるために構築され得る。これの例は、候補者の面接の決断(すなわち、yes、maybe、no)を業績指数として使用し、どの候補者が面接の審査に通る可能性がより高かったかもしれないかを予測するためのモデルを構築することである。上述の面接キューは、式(4)に示されるようなキュー行列に入れられる可能性がある。
【００７５】
【数４】
0006546922.tif 000005
【００７６】
各行は、候補者の総数がnである過去の候補者を表す。同様に、業績スコアベクトルが、式(5)に示されるように、過去の評価者の査定に基づいて各候補者に関して利用可能である。
【００７７】
【数５】
0006546922.tif 000006
【００７８】
非数値的な業績データに関しては、価値が、数値的な表現にマッピングされる可能性がある。式(6)に示されるように、maybeはnoよりも良く、yesはmaybeよりも良いので、自然な変換はno=1、maybe=2、およびyes=3である可能性がある。
【００７９】
【数６】
0006546922.tif 000007
【００８０】
行列XおよびYが与えられると、予測モデルが、様々な方法を用いて特定され、試験され得る。モデルを構築する前の優れた実践は、入力をスケーリングし、それらの入力を正規化して、より小さな入力値とは異なる影響を予測モデルに対して有するより大きな入力が発生する見込みを小さくすることである。また、スケーリングすることは、後で相対的な入力の寄与を比較するときにモデルの解釈を助ける。式(7)に示されるように、Xの各列は、正規化行列を生成するためにその最大値によってスケーリングされる。
【００８１】
【数７】
0006546922.tif 000008
【００８２】
予測モデルが構築されると、予測モデルが訓練され得る。入力行列Xが与えられたときに出力yを予測するための多くの異なる種類の系特定アルゴリズムが、存在する。系特定アルゴリズムのいくつかの選択肢は、サポートベクターマシン、回帰、ニューラルネットワーク、および木構造分類器を含む。たとえば、予測モデルは、単純な最小二乗回帰を用いて特定される可能性があり、解は、アウトオブサンプル(out-of-sample)性能の感覚を得るためにブートストラップされる。たとえば、この場合の最小二乗問題の解は、式(8)によって定義される。
β= (X'nXn)-1Xny        (8)
ここで、βは、候補者の結果全体に対するそれぞれの面接キューの影響を表す。今や予測モデルが履歴的なデータを用いて構築されているので、予測モデルは、将来の候補者に対して使用され得る。たとえば、デジタル面接を丁度完了した新しい候補者jに関する予測は、式(9)の通りである。
ypj =βxj        (9)
ここで、xjは、候補者jに関する正規化された入力のすべての行ベクトルであり、ypjは、履歴的な評価者のデータから訓練された予測モデルβを用いる予測された業績指数である。
【００８３】
予測モデルは、複数の職および雇用主にまたがった5百の面接の集合を取り上げ、データの80パーセント(80%)でランダムに訓練を行い、残りの20パーセント(20%)で試験することによってブートストラップされる可能性があり、デジタル面接キューの予測力(predictive power)が、評価される可能性がある。それぞれの予測に関して、3つの筋書き、予測が補正予測(correction prediction)である第1の筋書きと、不出来な候補者が良く働くと予測される第2の筋書きと、受かる候補者が「no」であると予測される第3の筋書きとが存在する可能性がある。図14は、一実施形態による既存のデータを用いてモデルをブートストラップする試験結果のグラフ1400である。グラフ1400は、80パーセント対20パーセントの分割によるブートストラップの結果を示し、予測モデルβは、80パーセントの無作為なサンプルのみを用いて訓練され、それから、残りの20パーセントで試験される。数値予測は、最も近いあり得るYes/Noの結果に丸められる可能性がある。たとえば、予測yp = 1.5は、3よりも1に近いので1に切り下げられ、したがって、noの応答を予測する。
【００８４】
予測モデルは、正しい応答を最大化し、良い候補者の見落としを最小化するように訓練され得る。結果は、無作為よりもずっと良く、大きな候補者のプールを効果的に管理する問題に対処する際に真価を見せる。履歴的なデータセットが訓練のために評価可能であったと仮定すると、今や、現在は無作為にソートされている候補者は、定義された業績指数によってソートされ得る。業績指数に基づく候補者のソートは、この種のデジタル面接モデリング技術を用いて、より高い業績スコアを有するより良い候補者をソートする可能性がより高い。
【００８５】
図15は、モデル駆動型の候補者ソートツール110の実施形態が動作し得るネットワークアーキテクチャ1500のブロック図である。ネットワークアーキテクチャ1500は、1つまたは複数のデジタル面接の面接の設計および1つまたは複数の面接の実施の際に使用され得る。デジタル面接プラットフォームの管理者は、(ミドルウェアサーバとも呼ばれる)ウェブサーバ1505へのインターネット接続1507(またはその他のネットワーク接続)を有する標準的なコンピュータシステム1508を使用する可能性がある。ウェブサーバ1505は、本明細書において説明されたモデル駆動型の候補者ソートツール110を含む。この実施形態において、候補者ソートツール110は、ウェブサーバ1505上にあり、ウェブサーバ1505は、データベース1506およびこの例においては被面接者とのコミュニケーションを容易にするためのFlash通信サーバなどの通信サーバ1504と通信する。通信サーバ1504は、典型的にはインターネット接続1502(たとえば、公衆または私設ネットワーク接続)を介して被面接者とコミュニケーションする。サーバ1504、1505、およびデータベース1506のセキュリティを守るためにファイアウォール1503が使用され得る。ウェブカメラ1501を有するコンピュータシステムを用いる被面接者は、質問に回答し、情報をアップロードし、1つまたは複数の面接を行うために接続されたインターネットを介してインターフェースを取る。管理者のコンピュータ1508および面接者のコンピュータ1501によって使用されるコンピュータシステムは、ネットワークに対応しており、デジタル面接を記録するためのウェブカメラ、マイクロフォン、またはこれらの任意の組合せを含む様々な種類のコンピュータ、ユーザデバイス、またはその他の種類のデバイスである可能性がある。デジタル面接の記録を含む候補者データは、データベース1506に記憶される。たとえば、ビデオファイル、オーディオファイル、テキストデータ、またはデジタル面接の任意の組合せが、通信サーバ1504(またはウェブサーバ1505)によって取り込まれ、データベース1506に記憶される可能性がある。
【００８６】
図16は、モデル駆動型の候補者ソートツール110の実施形態が動作し得る別のネットワークアーキテクチャ1600のブロック図である。ネットワーク構成1500は、1つまたは複数のデジタル面接の面接の設計および1つまたは複数の面接の実施の際に使用され得る。この実施形態においては、1人または複数の被面接者が、ネットワーク化されたパーソナルコンピュータ1601、1602、1603を用いて面接コンピュータ1604にアクセスする。面接コンピュータ1604は、候補者ソートツール110が存在し得るウェブサーバ1605にネットワーク接続を介して接続される。ウェブサーバ1605は、記憶されたデータが存在するデータベースサーバ1606に接続される。ウェブサーバ1605は、まとめられた評価、面接の質問の応答、および入力された候補者(被面接者)情報などの情報を記憶することができるストレージサーバ1608に接続されるパーソナルコンピュータ1607を用いて管理者(またはスーパーユーザ)によってアクセスされ得る。ネットワーク化されたパーソナルコンピュータ1610、1611、1612を用いる1人または複数の査閲者は、本明細書において説明された面接プロセスにおける評価および基準に関する情報を記憶することができる評価ストレージサーバ1609に接続され得る。モデル駆動型の候補者ソートツール110は、ウェブサーバ1605または評価ストレージサーバ1609に存在する可能性がある。
【００８７】
その他の実施形態において、被面接者のクライアントは、たとえば、インターネット接続またはその他の好適なネットワーク接続を介して接続されるクライアントコンピュータシステムとして具現化され得るいくつかのクライアントのうちのいずれか1つを含む可能性がある。一実施形態において、被面接者のクライアントのうちの1つまたは複数は、現地面接の施設に置かれる可能性がある。この例において、被面接者は、コンピュータシステムが候補者に面接を受けさせたい組織によって設定された事務所またはその他の場所を訪れることによって被面接者のクライアントにアクセスすることができる。コンピュータは、コンピュータシステムに接続されたウェブカメラなどのカメラを有する可能性がある。この実施形態における被面接者のクライアントのコンピュータシステムは、インターネット接続、ローカルエリアネットワーク(LAN)接続、その他の広域ネットワーク(WAN)接続、または任意のその他の好適なクライアントからサーバへの接続を通じてサーバに接続され得る。
【００８８】
代替的な実施形態において、被面接者のクライアントのうちの1つまたは複数は、現場から離れた場所に置かれる可能性がある。この例において、被面接者は、自分の個人的なウェブカメラおよびマイクロフォンを使用する可能性があり、または被面接者のクライアントとして働くことができる家または何らかのその他の現場から離れた場所のパーソナルコンピュータに接続され得るウェブカメラおよびマイクロフォンを提供される可能性がある。加えて、被面接者のクライアントの間のアクションの一部はビデオフィードを必要とせず、異なる時間に行われる可能性があるので、たとえ被面接者のクライアントの一部がビデオカメラおよびマイクロフォンにアクセスすることができないとしても、面接プロセスの異なる部分に関して異なる場所において異なる被面接者のクライアントが使用される可能性がある。被面接者のクライアントが現場から離れた場所にある実施形態において、被面接者のクライアントは、適切なデータを送信するのに十分な速度でインターネット接続にアクセスすることができるべきである。たとえば、比較的低い速度の接続が、テキストの応募資料または質問に対するテキストの応答を送信するために使用される可能性がある。しかし、比較的速い接続が、サーバにビデオ応答をストリーミングするために必要とされる可能性がある。
【００８９】
上の現地の例に似たさらに別の代替的な実施形態においては、被面接者のクライアントを使用可能にするための好適なコンピュータおよびネットワーク接続を提供するためにキャンパスネットワークが使用される可能性がある。この実施形態においては、会社が、面接の要求を計画し、大学の就職課にポストする可能性がある。そのとき、就職課または会社は、学内面接を受けるように応募者に促す可能性がある。サーバは、候補者を面接に招き、候補者の応募資料を受け取り、候補者の面接を実施し、評価者に面接を提供するためのメッセージングを調整する。単一のサーバが示されているが、サーバは、図15に示された通信サーバ1504、ウェブサーバ1505、およびデータベースサーバ1506などの1つまたは複数のサーバ、または任意のその他の好適なサーバ構成を含む可能性があることを理解されたい。サーバ1504は、面接を実施し、面接を記憶し、査閲者による視聴のために面接を提供するプロセスを管理するホスティング会社によって運用される可能性がある。一実施形態において、ホスティング会社は、クライアントの会社が様々な見た目および面接の制約を選択することができるようなカスタムビルド能力を提供する可能性がある。たとえば、クライアントの会社は、被面接者のクライアントにおいて候補者によって見られるユーザインターフェースおよび評価者のクライアントにおいてユーザによって見られるインターフェースの見た目のブランディングを指定することができる可能性がある。別の実施形態において、会社は、会社から面接サーバのホスティング会社へのインターネットトラフィックの量を減らすことを含め、様々な理由で独自の面接サーバをホストすることを選択する可能性がある。
【００９０】
評価者のクライアントは、いくつかの異なる方法で実装され得る。たとえば、評価者のクライアントは、評価者のホームコンピュータである可能性があり、ホームコンピュータは、好適なインターネット接続に接続される。代替的な実施形態において、評価者のクライアントは、会社のLAN、WAN、またはその他の好適な接続を通じてサーバに接続される会社のコンピュータである可能性がある。評価者のクライアントはディスクリプタ(descriptor)として使用されるが、評価者のクライアントを使用するために必ずしも面接を評価する必要はないことを理解されたい。たとえば、管理者、管理職などが、以下でより詳細に示されるように、面接を作成するため、ユーザの権限を割り当てるため、面接をスケジューリングするため、面接に候補者を追加するためなどに評価者のクライアントを使用する可能性があるが、必ずしもいずれかの面接を評価する必要はない。デジタル面接プラットフォームは、候補者であるかまたは査閲者であるかに関わらずユーザがウェブブラウザ、モバイルアプリケーションなどを用いてデジタル面接プラットフォームにアクセスすることができるウェブベースのアプリケーションとしてホストされ得ることにも留意されたい。
【００９１】
面接を作成するために評価者のクライアントが使用され得る。面接を作成するとき、評価者のクライアントのユーザは、質問をアップロードすること、質問の種類を指定すること、質問に答えることが許される時間の量を指定することなどを行う可能性がある。ユーザは、本明細書において既に説明されたように肩書きおよびその他の情報を指定する可能性もある。応募資料は、被面接者のクライアントからサーバによって受信される可能性がある。応募資料は、履歴書の電子的なバージョン、オンラインの求職申し込みからの情報、キャンパスの就職課によって入力された情報、またはその他の同様の情報である可能性がある。
【００９２】
評価者のクライアントのところの会社の代表者は、潜在的な候補者の応募資料によってそれらの潜在的な候補者を検討し、サーバにおいて受信される評価者のクライアントからの選択候補者メッセージを送信することによって面接される候補者を選択することができる。サーバは、招待およびアクセス資格証明を被面接者のクライアントに送信することによって被面接者に通知することがする。本明細書において既に述べられたように、異なる実際のマシンが、被面接者のクライアントの機能を実装するために使用され得る。たとえば、被面接者自身のパーソナルホームコンピュータが、招待およびアクセス資格証明を含む電子メールメッセージを受信する可能性がある。実際のオンライン面接は、異なるコンピュータ上で行われる可能性があるが、被面接者自身のパーソナルホームコンピュータは、被面接者のクライアントの機能をやはり実装する。代替的に、被面接者のクライアントの機能は、クライアントアプリケーションに実装されず、むしろ、サーバが、被面接者のコンピュータ上のブラウザにユーザインターフェースを提供する。
【００９３】
面接を実施するために、質問がサーバによって送信され、被面接者のクライアントによって受信される。上述のように、被面接者のクライアントは、たとえば、被面接者自身のパーソナルコンピュータ、現地のコンピュータ、現場から離れたコンピュータなどである可能性がある。上述のように、被面接者が質問を読み、理解しなければならない時間の量を制限するか、または被面接者が質問に応答するためにかける時間の量を計るために、質問が送信されたときのインジケータがサーバによって保持される可能性がある。上述のように、質問は、たとえば、オーディオ/ビデオに記録される質問、複数選択式の質問、正誤問題、Yes/Noで答える質問、被面接者が応答を打ち込むように求められる答えの短い質問、ファイルドキュメントを見て、分析するように被面接者に求める1つまたは複数の質問をともなう図、テキストの一節、数学的問題などのアップロードされたファイルドキュメントに基づく質問などである可能性がある。
【００９４】
応答は、質問に応答して被面接者のクライアントによって送信され、サーバによって受信される。オーディオ/ビデオに記録される質問は、カメラおよびマイクロフォンによって記録されている間に口頭で応答することによって答えられるテキストの質問として送信される可能性がある。一実施形態において、オーディオ/ビデオの質問に対する応答は、サーバにストリーミングされる可能性がある。たとえば、ストリーミングオーディオおよびビデオテクノロジーを用いて、応答のオーディオおよびビデオは、ほぼリアルタイムでサーバに直接送信される。
【００９５】
複数選択式の応答、正誤応答、yes/noの応答、短い答えの応答は、被面接者が適切なチェックボックス、ラジオボタンを選択するか、またはテキストボックスに記入することによって被面接者のクライアントにおいて被面接者によって提供される可能性がある。アップロードされたファイルドキュメントに基づく応答は、ドキュメントをスキャンすること、電子的なドキュメントをアップロードすること、タブレット入力デバイスでスケッチをすること、マウスおよびキーボードなどのインターフェースデバイスを用いて図およびテキストを入力することなどによって提供される可能性がある。
【００９６】
そして、実施された面接は、評価者のクライアントにおいて査閲者によって見られ得る。代替的に、査閲者は、ブラウザからウェブベースのアプリケーションまでを用いて面接にアクセスすることによって面接を検討することができる。たとえば、会社は、多くの異なる職に関するビデオデータファイルおよび/または打ち込まれた/選択された応答を含む可能性がある、候補者からの多くの面接を有するデータベースを有する可能性がある。たとえば、採用担当の管理職は、面接サーバにログインするとき、雇用担当の管理職が面接を見て、評価することができる図17に示されるような、採用担当の管理職が一群の面接を見ることができるページを提示される可能性がある。たとえば、評価者は、候補者をアクティブ化することによって見る面接を選択することができ、これは、評価者のクライアントからサーバに面接選択メッセージを送信する。それから、評価者は、面接を受ける異なる候補者を評価するための図17に示されるユーザインターフェース1700のようなユーザインターフェースを提示される可能性がある。
【００９７】
図17は、一実施形態によるデジタル面接を見るための例示的なユーザインターフェース1700を示す。評価者は、評価書のクライアントに表示されるユーザインターフェース1700において候補者1702のリスト上のリンクを選択することによって候補者を選択することができる。評価者がユーザインターフェース1700から候補者を選択するとき、候補者選択メッセージが、評価者のクライアントからサーバに送信される。評価者は、ナビゲーションボタン1726上の上矢印および下矢印を選択することによって候補者を選択し得る。代替的に、その他のナビゲーション要素が、候補者を選択するため、質問に対する応答を選択するため、ビデオを開始するため、ビデオを一時停止するため、ボリュームを制御するためになどユーザインターフェース1700をナビゲートするために使用され得る。たとえば、評価者は、ユーザインターフェース1700を用いて、1704に示された質問のリンクなどの質問のリンクを選択することによって、またはナビゲーションボタン1726の右矢印もしくは左矢印のうちの1つを選択することによって質問を選択し得る。これは、質問選択メッセージをサーバに送信させる。上述のように、応答が選択される可能性があり、それから、質問に対する各候補者の応答がある程度「横並びの」で直接比較するようにして評価される可能性がある。代替的に、候補者が選択される可能性があり、その候補者に関する応答の一部またはすべてが別の候補者に進む前に検討される可能性がある。例として、メッセージが、ユーザインターフェース1700のコメント追加フィールド1722内の追加されるべきコメントと共に評価者のクライアントからサーバに送信される可能性がある。
【００９８】
面接は、見るためにユーザインターフェース1700内で選択され得る。検討中に、ユーザ(典型的には管理者または査閲者)は、面接を見て、候補者を評価することができる。ユーザインターフェース1700は、候補者のサムネイル画像1702を含み得る。それから、ユーザは、そのユーザがどの候補者を選択するかによらず、そのユーザがどの質問1704を見たいかを選択することができる。選択されると、現在ストリーミングビデオを用いているビデオに記録される質問に関連する場合、被面接者が選択された質問に答えているところを示す記録されたクリップ1706が表示され得る。一実施形態において、ビデオは、SanJose、CalifのAdobe Corporationから入手可能なMacromedia Flashに基づくストリーミングを用いて表示される可能性がある。
【００９９】
複数選択、正誤、またはyes/noなど、関心のある面接に段階別に分けられる質問が存在する場合、候補者の試験スコア1708が、候補者のすべてのスコアの表示において提示され得る。候補者は、たとえば、最も良いスコアがリストの一番上に置かれるようにするなどして、1710に示されるようにスコアによってソートされる可能性がある。代替的に、候補者は、1712に示される名前、1714に示される等級、または1716に示されるようにそれらの候補者がどれだけ最近面接されたかによってソートされる可能性がある。本明細書において説明されたように、候補者ソートツール110は、1718に示される予測された業績指数に従って候補者のリストをソートするために使用され得る。AIソート要素がアクティブ化されるとき、候補者のリストは、最も高い予測された業績指数を有する候補者が検討のために最初に挙げられるようにソートされる。このようにして、査閲者は、定義された業績指数に関する予測モデルに基づく予測に従って候補者のリストを検討することができる。
【０１００】
ユーザは、質問に答える候補者を見るとき、候補者のそれらのユーザの等級を入力することができる。たとえば、1718において、ユーザは、いくつかの星を選択することによって5点満点で候補者を格付けする可能性がある。これらの等級は、デジタル面接データに記憶され得る。1〜5段階の等級は、査閲者がどの候補者を好きかまたは嫌いかをよりうまく系統立てるために使用される可能性があり、行列セクション(matrix section)に評価を提示するために使用される可能性がある。
【０１０１】
ユーザは、コメントセクションにコメントを入力する可能性があり、一部の実施形態においては、面接を見たその他のユーザからのコメントを見ることを選択する可能性がある。たとえば、1720において、ユーザは、コメントを検討する可能性があり、1722において、ユーザは、テキストボックスフィールドにコメントを追加する可能性がある。候補者の経歴情報が、表示される可能性がある。たとえば、候補者の経歴情報は、1724に表示される可能性がある。この経歴情報は、(候補者かまたは被面接者の組織かのどちらかから)アップロードされた履歴書から適合され得る。経歴情報は、質問からの結果(一部またはすべて)および段階別に分けられる質問に関する結果を含み得る。経歴情報および結果のこの表示は、たとえば、答えおよび経歴情報が評価と一緒に見られ、印刷されることを可能にするためにPDFフォーマットなどのドキュメントフォーマットで提示される可能性がある。候補者が評価されると、管理者または代理のその他の指定された評価者は、候補者のすべての結果および評価のまとめを有する可能性があるグラフィカルユーザインターフェースなどの表示されたページを見ることによって全体的な評価をもたらす能力を提供される。結果ページも、候補者を検討した評価者からのコメントおよび評価を表示するために表示される可能性がある。また、この結果ページは、法律およびその他のコンプライアンスの必要書類のためにファイルに保管されるように、一部の実施形態においてはまとめのページで印刷され得る。
【０１０２】
別の実施形態において、グラフィカルユーザインターフェース1700は、個々にかまたはグループとしてかのどちらかで候補者のカスタマイズされた評価のためのツールをさらに含む。たとえば、ナビゲーションボタン1726は、質問および候補者をナビゲートするために使用され得る。たとえば、ナビゲーションボタン1726上の上矢印および下矢印は、ユーザが候補者をスクロールすることを可能にする。たとえば、候補者の名前Candidate #4の詳細が示され、ナビゲーションボタン1726の上矢印を選択することは、Candidate #3の詳細を1724に表示させる。また、ナビゲーションボタン1726は、質問の選択も可能にする。たとえば、質問番号1が、グラフィカルユーザインターフェース1700内に現在表示されている。ナビゲーションボタン1726の右矢印を選択することによって、質問番号2が見られる可能性があり、候補者のビデオ応答が見られる可能性がある。特定の質問に対する候補者の応答を見た後、同じ質問に対する異なる候補者の応答が、ナビゲーションボタン1726の上矢印および下矢印を用いて候補者をナビゲートすることか、または候補者に直接関連するリンクを選択することにかのどちらかによって見られ得る。ユーザインターフェース1700は、デジタル面接プラットフォームによって査閲者に提示されるビューの一例である。本明細書において説明されたように、デジタル面接プラットフォームのホストされたアプリケーションが、複数の候補者の評価を可能にするために査閲者にユーザインターフェース1700およびその他のビューを提示する可能性がある。候補者ソートツール110は、定義された1つの業績指数または複数の業績指数に基づいて予測に従って候補者をソートすることによって複数の候補者の評価をより効率的にするために使用され得る。
【０１０３】
本明細書において説明された実施形態は、通常の解決策に優る様々な利点を提供し得る。たとえば、本明細書において説明された実施形態は、大きな候補者のプールを管理し、デジタル面接プロセスのためのより正確な業績の予測を提供するために使用され得る。デジタル面接キューを用いて作成されたモデルからの予測的な業績スコアを用いる大きな候補者のプールの管理のために、所与の職に応募する候補者の数は問題でなくなる。今や、単一のリクルータまたは採用の決定者は、所望の業績スコアを有する可能性が最も高い候補者に焦点を合わせることによって数千またはさらには数百万の候補者を管理することができる。モデルの洗練または訓練が進歩し続けるので、検討される不出来な候補者の数が減り続ける。また、業績の予測のためにより強力なキューの組合せに依拠することによって、雇用主は、それらの雇用主が早計に優れた候補者を見逃してしまわないことを保証するのに役立つように選別のために使用された以前の閾値(すなわち、GPA、得られた学位など)の一部を取り除く可能性がある。GPAをフィルタとして使用することは、より大きな候補者のプールがアルゴリズムによってソートされ得るので、もはや必要とされない。
【０１０４】
より正確な業績の予測のために、現在使用されている査定のモデルは、インタラクションの測定基準と一緒に、オーディオに関連するオーディオキューおよびビデオの処理に関連するビデオキューを含む本明細書において説明されたデジタル面接キューを含まない。そうではなく、査閲者は、面接の質と、それぞれの応答の重みが審査プロセスまたは最終的な決断にどのように関わるのかとを決定するために主観的な「直感」を用いることに至る。「直感」のプロセスを用いることは、一貫性を欠くことが示されており、これは、低下した雇用の質につながる。場合によっては、評価者の履歴的な応答から構築されたモデルは、本明細書において説明されたように、評価者の将来の決断よりも優れている可能性がある。多くの要素が一度に考慮されるこの全体論的な(holistic)モデリング手法を使用することは、人間の評価者が意識的に処理し、定量化することができるあらゆることを上回る有用なツールを提供し得る。
【０１０５】
図18は、モデル駆動型の候補者のソートのためのコンピューティングシステムの例示的な形態のマシンの図を示す。コンピューティングシステム1800内にあるのは、本明細書において検討された方法のうちのいずれか1つまたは複数をマシンに実行させるための命令の組である。代替的な実施形態において、マシンは、LAN、イントラネット、エクストラネット、またはインターネット内のその他のマシンに接続される(たとえば、ネットワーク接続される)可能性がある。マシンは、クライアント-サーバネットワーク環境内のサーバもしくはクライアントマシンの能力内で、またはピアツーピア(もしくは分散型)ネットワーク環境内のピアマシンとして動作する可能性がある。マシンは、PC、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、セルラー電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによって行われるべきアクションを指定する(逐次的またはその他の)命令の組を実行することができる任意のマシンである可能性がある。さらに、単一のマシンだけが示されているが、用語「マシン」は、上述の方法700、800、1100などの、デジタル面接を評価するためのモデル駆動型の候補者のソートのための本明細書において検討された方法のうちのいずれか1つまたは複数を実行するための命令の1組(または複数組)を個々にまたは連携して実行するマシンの任意の集合を含むとやはり見なされる。一実施形態において、コンピューティングシステム1800は、上述のように、サーバコンピューティングシステム104に実装され得る様々な構成要素を表す。代替的に、サーバコンピューティングシステム104は、コンピューティングシステム1800に示されたより多くのまたはより少ない構成要素を含む可能性がある。
【０１０６】
例示的なコンピューティングシステム1800は、処理デバイス1802、メインメモリ1804(たとえば、読み出し専用メモリ(ROM)、フラッシュメモリ、同期DRAM(SDRAM)などのダイナミックランダムアクセスメモリ(DRAM)など)、スタティックメモリ1806(たとえば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)など)、およびデータストレージデバイス1816を含み、これらの各々は、バス1830を介して互いに通信する。
【０１０７】
処理デバイス1802は、マイクロプロセッサ、中央演算処理装置などの1つまたは複数の汎用処理デバイスを表す。より詳細には、処理デバイス1802は、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、またはその他の命令セットを実装するプロセッサもしくは命令セットの組合せを実装するプロセッサである可能性がある。処理デバイス1802は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサなど1つまたは複数の専用処理デバイスである可能性もある。処理デバイス1802は、本明細書において検討された動作およびステップを実行するための処理論理(たとえば、モデル駆動型の候補者のソート1826)を実行するように構成される。
【０１０８】
コンピューティングシステム1800は、ネットワークインターフェースデバイス1822をさらに含み得る。コンピューティングシステム1800は、ビデオディスプレイユニット1810(たとえば、液晶ディスプレイ(LCD)またはブラウン管(CRT))、英数字入力デバイス1812(たとえば、キーボード)、カーソル制御デバイス1814(たとえば、マウス)、および信号生成デバイス1820(たとえば、スピーカ)も含み得る。
【０１０９】
データストレージデバイス1816は、本明細書において説明された方法または機能のうちのいずれか1つまたは複数を具現化する命令の1つまたは複数の組(たとえば、モデル駆動型の候補者のソート1826)が記憶されるコンピュータ可読ストレージ媒体1824を含み得る。また、モデル駆動型の候補者のソート1826は、コンピューティングシステム1800によるそのモデル駆動型の候補者のソート1826の実行中、メインメモリ1804および/または処理デバイス1802内に完全にまたは少なくとも部分的に存在する可能性があり、メインメモリ1804および処理デバイス1802は、コンピュータ可読ストレージ媒体をやはり構成する。モデル駆動型の候補者のソート1826は、ネットワークインターフェースデバイス1822を介してネットワーク上でさらに送信または受信される可能性がある。
【０１１０】
コンピュータ可読ストレージ媒体1824は例示的な実施形態においては単一の媒体であるように示されているが、用語「コンピュータ可読ストレージ媒体」は、命令の1つまたは複数の組を記憶する単一の媒体または複数の媒体(たとえば、集中的なもしくは分散型のデータベース、ならびに/または関連するキャッシュおよびサーバ)を含むものと見なされるべきである。また、用語「コンピュータ可読ストレージ媒体」は、マシンによる実行のために命令の組を記憶することができ、これらの実施形態の方法のうちのいずれか1つまたは複数をマシンに実行させる任意の媒体を含むものと見なされる。したがって、用語「コンピュータ可読ストレージ媒体」は、ソリッドステートメモリ、光学式媒体、磁気式媒体、または命令を記憶するためのその他の種類の媒体を含むがこれらに限定されないと見なされる。また、用語「コンピュータ可読送信媒体」は、これらの実施形態の方法のうちのいずれか1つまたは複数をマシンに実行させるためにマシンによって実行するための命令の組を送信することができる任意の媒体を含むものと見なされる。
【０１１１】
モデル駆動型の候補者ソートモジュール(たとえば、コスト配信モジュール)1832、構成要素、および本明細書において説明されたその他の特徴は、ディスクリートハードウェア構成要素として実装されるか、またはASIC、FPGA、DSP、または同様のデバイスなどのハードウェア構成要素の機能に組み込まれる可能性がある。モデル駆動型の候補者ソートモジュール1832は、本明細書において説明されたモデル駆動型の候補者のソートの動作を実装し得る。加えて、モデル駆動型の候補者ソートモジュール1832は、ファームウェアまたはハードウェアデバイス内の機能回路として実装される可能性がある。さらに、モデル駆動型の候補者ソートモジュール1832は、任意の組合せのハードウェアデバイスおよびソフトウェア構成要素に実装される可能性がある。
【０１１２】
以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作のアルゴリズムおよび記号表現の観点で提示されている。これらのアルゴリズムの記述および表現は、データ処理技術に精通した者によって、それらの者の成果の内容を当該技術に精通したその他の者に最も効果的に伝えるために使用される手段である。ここでおよび概して、アルゴリズムは、所望の結果をもたらす自己矛盾のない一連のステップであると考えられる。ステップとは、物理量の物理的操作を必要とするステップである。必ずではないが通常は、これらの量は、記憶、転送、組合せ、比較、およびその他の操作を行われ得る電気的または磁気的信号の形態をとる。これらの信号をビット、値、要素、シンボル、文字、語句、数などと呼ぶことが、主に共通使用の理由で便利な場合があることが分かっている。
【０１１３】
しかし、これらのおよび同様の用語のすべては、適切な物理量に関連付けられるべきであり、これらの量に付される便宜的なラベルであるに過ぎないことに留意されたい。以下の検討から明らかなように、別途はっきりと記載されていない限り、説明全体を通じて、「受信する」、「生成する」、「通信する」、「取り込む」、「実行する」、「定義する」、「指定する」、「作成する」、「再作成する」、「処理する」、「提供する」、「算出する」、「計算する」、「決定する」、「表示する」などの用語を利用する検討は、コンピューティングシステムのレジスタおよびメモリ内の物理的(たとえば、電子的)量として表されるデータを操作して、コンピューティングシステムのメモリまたはレジスタまたはその他のそのような情報ストレージ、送信、もしくは表示デバイス内の物理的量として同様に表されるその他のデータに変形するコンピューティングシステムまたは同様の電子的なコンピューティングシステムのアクションおよびプロセスを指すことが理解される。
【０１１４】
本発明の実施形態は、本明細書の動作を実行するための装置にも関連する。この装置は、必要とされる目的のために特別に構築される可能性があり、またはコンピューティングシステムに記憶されたコンピュータプログラムによって特にプログラミングされた汎用コンピューティングシステムを含む可能性がある。そのようなコンピュータプログラムは、光ディスク、CD-ROM、および光磁気ディスクを含む任意の種類のディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気式もしくは光学式カード、または電子的な命令を記憶するのに好適な任意の種類の媒体などであるがこれらに限定されないコンピュータ可読ストレージ媒体に記憶される可能性がある。
【０１１５】
上述の記述は、説明を目的として、特定の実施形態を参照して説明された。しかし、上の例示的な検討は、網羅的であるように、または開示された厳密な形態に本発明を限定するように意図されていない。多くの修正および変更が、上述の教示を考慮して可能である。実施形態は、本発明の原理およびその実際の応用を最も良く説明し、それによって、当業者が考えられる特定の用途に好適である可能性がある様々な修正によって本発明および様々な実施形態を利用することを可能にするために選択され、説明された。
【符号の説明】
【０１１６】
100  ネットワークアーキテクチャ
101  デジタル面接プラットフォーム
102  クライアントコンピューティングシステム
104  サーバコンピューティングシステム
106  ネットワーク
110  モデル駆動型の候補者ソートツール
112  予測モデル
114  キュージェネレータ
130  データストア
132  デジタル面接データ
134  デジタル面接キュー
136  履歴的キューデータ
138  業績指数(AI)予測モデル
140  ブラウザ
142  アプリケーション
202  系特定モジュール
208  通信モジュール
210  モデル駆動型の候補者ソートツール
212  グラフィカルユーザインターフェース(GUI)エンジン
216  収集エンジン
232  訓練データセット
234  現在のデータ
236  規則の組
302  訓練フェーズ
310  訓練データセット
312  候補者データ
314  面接キュー
316  履歴的業績指数データ
326  予測モデル
328  ユーザ入力
400  プロセスフロー
401  過去の候補者
402  デジタル面接
403  履歴訓練
410  キューデータベース
411  入力
412  決断
414  キュージェネレータ
415  入力
416  決断テーブル
420  予測フェーズ
421  現在の候補者
422  デジタル面接
423  予測モデル
424  系特定アルゴリズム
426  予測アルゴリズム
427  候補者のランク
428  査閲者
430  収集エンジン
431  学習
500  ユーザインターフェース
502  評価ビュー
504  候補者情報
506  質問
508  質問ナビゲーション要素
510  ビデオパネル
512  候補者のリスト
514  ソート要素
612  候補者のソートされたリスト
700  方法
800  方法
901〜905  グラフ
901〜910  音声シーケンス
1001〜1002  グラフ
1003  間隙
1100  方法
1101  生のオーディオ
1102  FFT
1103  周波数レスポンス
1106  移動平均
1200  グラフ
1201  電力
1202  周波数
1301〜1302  グラフ
1400  グラフ
1500  ネットワークアーキテクチャ
1501  ウェブカメラ
1502  インターネット接続
1503  ファイアウォール
1504  通信サーバ
1505  ウェブサーバ
1506  データベース
1507  インターネット接続
1508  コンピュータシステム
1600  ネットワークアーキテクチャ
1601  パーソナルコンピュータ
1602  パーソナルコンピュータ
1603  パーソナルコンピュータ
1604  面接コンピュータ
1605  ウェブサーバ
1606  データベースサーバ
1607  パーソナルコンピュータ
1608  ストレージサーバ
1609  評価ストレージサーバ
1610  パーソナルコンピュータ
1611  パーソナルコンピュータ
1612  パーソナルコンピュータ
1700  ユーザインターフェース
1702  候補者
1704  質問
1706  クリップ
1708  候補者の試験スコア
1722  コメント追加フィールド
1726  ナビゲーションボタン
1800  コンピューティングシステム
1802  処理デバイス
1804  メインメモリ
1806  スタティックメモリ
1810  ビデオディスプレイユニット
1812  英数字入力デバイス
1814  カーソル制御デバイス
1816  データストレージデバイス
1820  信号生成デバイス
1822  ネットワークインターフェースデバイス
1824  コンピュータ可読ストレージ媒体
1826  モデル駆動型の候補者のソート
1830  バス
1832  モデル駆動型の候補者ソートモジュール
【図１】
0006546922.tif 000009
【図２】
0006546922.tif 000010
【図３】
0006546922.tif 000011
【図４】
0006546922.tif 000012
【図５】
0006546922.tif 000013
【図６】
0006546922.tif 000014
【図７】
0006546922.tif 000015
【図８】
0006546922.tif 000016
【図９】
0006546922.tif 000017
【図１０】
0006546922.tif 000018
【図１１】
0006546922.tif 000019
【図１２】
0006546922.tif 000020
【図１３】
0006546922.tif 000021
【図１４】
0006546922.tif 000022
【図１５】
0006546922.tif 000023
【図１６】
0006546922.tif 000024
【図１７】
0006546922.tif 000025
【図１８】
0006546922.tif 000026