(57)【要約】  本発明は、データベース内の関連した記録を識別する方法、好ましくは、該データベース内の潜在的に不正な記録を判定する方法に関し、該方法は、ユーザーに、複数の入力を表示するグラフィカルユーザーインターフェースを提供して、ユーザーから入力を受信するとともに、結果を表示することと、データベースから既存の記録を検出することを目標とした第1の検出ストラテジーを規定することであって、第1の検出ストラテジーは、複数の第1の入力を含み、第1の入力は、少なくとも1つの閾値、少なくとも1つの検出方法、少なくとも1つの重み付け係数、及び少なくとも1つのパラメーターを含み、第1の入力は、少なくとも1つの検出方法の各々について上記グラフィカルユーザーインターフェース上に個々に表示することができ、第1の入力は、好ましくは、少なくとも1つの検出方法の各々について個々に設定することができる、規定することと、データベースから上記既存の記録を検出することを目標とした第2の検出ストラテジーを規定することであって、第2の検出ストラテジーは、複数の第2の入力を含む、規定することと、いくつかの更なるステップとを含む。【選択図】図1
2020523715.tif 000002
【特許請求の範囲】
【請求項１】
データベース内の関連した記録を識別するコンピューター実施方法若しくは前記データベース内の潜在的に不正な記録を判定するコンピューター実施方法であって、
ユーザーに、複数の入力を表示するグラフィカルユーザーインターフェースを提供して、前記ユーザーから入力を受信するとともに、結果を表示することと、
前記データベースから既存の記録を検出することを目標とした第1の検出ストラテジーを規定することであって、前記第1の検出ストラテジーは、複数の第1の入力を含み、前記第1の入力は、少なくとも1つの閾値、少なくとも1つの検出方法、少なくとも1つの重み付け係数、及び少なくとも1つのパラメーターを含み、前記第1の入力は、前記少なくとも1つの検出方法の各々について前記グラフィカルユーザーインターフェース上に個々に表示することができ、前記第1の入力は、好ましくは、前記少なくとも1つの検出方法の各々について個々に設定することができる、規定することと、
前記データベースから前記既存の記録を検出することを目標とした第2の検出ストラテジーを規定することであって、前記第2の検出ストラテジーは、複数の第2の入力を含む、規定することと、
既存の記録に対して前記第1の検出ストラテジー及び前記第2の検出ストラテジーを実行して、ユーザーによるレビューのために結果を表示することと、
前記ユーザーから受信された前記第1の入力及び前記第2の入力に基づいて、所望に応じて前記第1の検出ストラテジー及び／又は前記第2の検出ストラテジーを動的に較正して、全ての修正された結果を表示することであって、前記較正された第1の検出ストラテジー及び／又は第2の検出ストラテジーは、前記第1の入力及び／又は前記第2の入力の変化に起因して、以前には知られていなかった結果を生成する、動的に較正することと、
前記較正された第1の検出ストラテジー及び／又は第2の検出ストラテジーを設定することと、
新たな記録に対して前記較正された第1の検出ストラテジー及び／又は第2の検出ストラテジーを実行して、関連した記録若しくは潜在的に不正な記録を検出し、調査を保証することと、
を含み、
前記第2の検出ストラテジーは、前記第1の検出ストラテジーとは異なり、
前記第2の検出ストラテジーの前記複数の第2の入力は、前記ユーザーから受信されるアルゴリズム選択を更に含み、該アルゴリズム選択は、前記第2の検出ストラテジーを実行する少なくとも1つの機械学習アルゴリズムに関し、前記機械学習アルゴリズムに対して必要な前記ユーザーの精神的労力及び肉体的労力の双方を削減するために、前記第1の検出ストラテジーの前記少なくとも1つの検出方法及び前記第1の検出ストラテジーの前記少なくとも1つのパラメーターは、前記第2の検出ストラテジーの前記少なくとも1つの検出方法及び前記第2の検出ストラテジーの前記複数の第2の入力に含まれる前記第2の検出ストラテジーの前記少なくとも1つのパラメーターでもあり、
前記較正された第2の検出アルゴリズムによって生成された前記結果は、前記アルゴリズム選択に従って選択された前記少なくとも1つの機械学習アルゴリズムの各々についての結果を含み、
前記第1の検出ストラテジー及び／又は前記第2の検出ストラテジーの前記動的較正は、前記アルゴリズム選択を変更すること、及び／又は、新たな検出方法を追加すること、及び／又は、前記少なくとも1つの検出方法のうちの1つを除去することに更に関し、
前記第1の検出ストラテジーによって生成された前記結果及び前記第2の検出ストラテジーによって生成された前記結果は、前記動的較正中に必要な前記ユーザーの精神的労力及び肉体的労力の双方を削減するために、前記グラフィカルユーザーインターフェース上に共同で表示することができることを特徴とする、方法。
【請求項２】
前記アルゴリズム選択は、少なくとも2つの機械学習アルゴリズムに関することを特徴とする、請求項1に記載の方法。
【請求項３】
前記第2の検出ストラテジーは、前記ユーザーから受信されたアルゴリズムプリファレンスに従って選択された前記少なくとも1つの機械学習アルゴリズムのうちの1つの出力である第2のスコアを求めることを含み、該第2のスコアは、前記アルゴリズムプリファレンス、前記第1の検出ストラテジーの前記少なくとも1つの検出方法の出力及び前記第1の検出ストラテジーの前記少なくとも1つのパラメーターからなる前記複数の第2の入力に直接基づき、前記動的較正中に必要な前記ユーザーの精神的労力及び肉体的労力の双方を削減するために、重み付け係数には基づかないことを特徴とする、請求項1又は2に記載の方法。
【請求項４】
前記第2の検出ストラテジーの前記複数の第2の入力は、アルゴリズムパラメーターを更に含み、前記動的較正は、前記アルゴリズムパラメーターを変更することに更に関することを特徴とする、請求項1〜3のいずれか1項に記載の方法。
【請求項５】
前記第1の検出ストラテジーは、少なくとも1つの項の線形総和である第1のスコアを求めることを含み、各項は、前記少なくとも1つの検出方法のうちの1つに関連付けられ、各項は、前記検出方法の出力と、前記項が関連付けられる前記検出方法の重み付け係数との積であることを特徴とする、請求項1〜4のいずれか1項に記載の方法。
【請求項６】
前記第1の検出アルゴリズムによって生成された前記結果及び前記第2の検出アルゴリズムによって生成された前記結果を共同で表示することは、前記第1の検出ストラテジーによって求められた第1のスコア及び前記第2の検出ストラテジーによって求められた第2のスコアを表示することを含み、又は
前記第1の検出アルゴリズムによって生成された前記結果及び前記第2の検出アルゴリズムによって生成された前記結果を共同で表示することは、前記第1の検出ストラテジーによって求められた第1のスコア及び前記第2の検出ストラテジーによって求められた第2のスコアを表示することを含み、
前記第1の検出ストラテジーは、少なくとも1つの項の線形総和である第1のスコアを求めることを含み、各項は、前記少なくとも1つの検出方法のうちの1つに関連付けられ、各項は、前記検出方法の出力と、前記項が関連付けられる前記検出方法の重み付け係数との積であり、及び／又は、
前記第2の検出ストラテジーは、前記ユーザーから受信された前記アルゴリズムプリファレンスに従って選択された前記少なくとも1つの機械学習アルゴリズムのうちの1つの出力である第2のスコアを求めることを含み、該第2のスコアは、前記アルゴリズムプリファレンス、前記第1の検出ストラテジーの前記少なくとも1つの検出方法の出力及び前記第1の検出ストラテジーの前記少なくとも1つのパラメーターからなる前記複数の第2の入力に直接基づき、前記動的較正中に必要な前記ユーザーの精神的労力及び肉体的労力の双方を削減するために、重み付け係数には基づかないことを特徴とする、
請求項1〜5のいずれか1項に記載の方法。
【請求項７】
前記少なくとも1つの検出方法の各々について、前記少なくとも1つの検出方法の前記出力は、検出方法あたり1つのブール変数を有するブール変数ベクトルであり、前記アルゴリズムプリファレンスに従って選択された前記少なくとも1つの機械学習アルゴリズムを用いて求められた前記第2のスコアは、重み付け係数を考慮に入れることなく前記ブール変数にのみ基づいていることを特徴とする、請求項3〜6のいずれか1項に記載の方法。
【請求項８】
前記データベース内の前記記録は、取引エンティティに関し、以下のもの、すなわち、取引を実行するのに用いられるデバイス、送付人、受取人、取引日、取引チャネル、前記送付人のロケーションのうちの少なくともいずれか又はこれらの任意の組み合わせを含み、好ましくは、前記データベース内の前記記録は、少なくとも送付人を含み、好ましくは、前記少なくとも1つの検出方法は、前記送付人に関する以下の情報、すなわち、年齢、性別、収入レベル、婚姻状況、経時的取引パターン、地理上の取引パターン、IPアドレスの最初の使用、受取人口座の最初の使用、前記現在の取引を実行するのに用いられた前記デバイス又は該デバイス上で実行されるアプリの最初の使用、支払いアプリ内での指紋の最初の使用、自身の口座間での以前の振替、加入後の最初の取引、加入後のカードレスキャッシュ、限度引き上げ後のカードレスキャッシュ、カードレスキャッシュの最初の使用、ログインID要求後の取引、簡易PINリセットの最初の使用、クライアントの最初の使用言語、インターネットサービスプロバイダーの使用制限のうちのいずれか又はこれらの任意の組み合わせに関することを特徴とする、請求項1〜7のいずれか1項に記載の方法。
【請求項９】
前記記録は、少なくとも取引日を含み、前記少なくとも1つの検出方法は、以下のもの、すなわち、時刻及び平日、区別的な季節的特徴、例えば、クリスマス休暇又は夏季休暇、現在の天候、不正関連事象の同時性、例えば、Kali Linuxの或るバージョンのリリース日、前記取引日に関するサイバー犯罪の外部インジケーターのうちのいずれか又はこれらの任意の組み合わせに関することを特徴とする、請求項8に記載の方法。
【請求項１０】
前記記録は、少なくとも前記送付人のロケーションを含み、前記送付人の前記ロケーションは、好ましくは、GNSSデータ及び／又はテレコムデータを介して取得及び／又は検証され、ステップ（d）における前記複数の信号規定の前記適用は、以下のもの、すなわち、ローカルエリア犯罪率、ローカルエリア失業率、前記ロケーションに関するサイバー犯罪の外部インジケーターのうちの少なくともいずれか又はこれらの任意の組み合わせを含む、前記送付人の前記ロケーションに関する複数の特徴について行われることを特徴とする、請求項8又は9に記載の方法。
【請求項１１】
前記少なくとも1つの機械学習アルゴリズムは、勾配ブースティングマシンモデル、及び／又は、ランダムフォレストモデル、及び／又は、サポートベクトルマシンモデルを含むことを特徴とする、請求項1〜10のいずれか1項に記載の方法。
【請求項１２】
前記第1の検出ストラテジーによって生成された前記結果及び前記第2の検出ストラテジーによって生成された前記結果を共同で表示することは、前記第1の検出アルゴリズムの結果と前記第2のアルゴリズムの結果とが異なる少なくとも1つの記録をマーキングすることを含むことを特徴とする、請求項1〜11のいずれか1項に記載の方法。
【請求項１３】
前記少なくとも1つの記録を前記マーキングすることは、
前記第1の検出アルゴリズムの結果と前記第2のアルゴリズムの結果とが異なる記録間の相関を計算すること、好ましくは、前記記録に関連付けられた前記ブール変数ベクトル間の相関を計算することによって計算することと、
前記相関に関する結果を表示することであって、該結果は、好ましくは、前記第1の検出アルゴリズムと前記第2の検出アルゴリズムとの間の前記差異の特性として識別された少なくとも1つの検出方法を含む、表示することと、
を含むことを特徴とする、請求項12に記載の方法。
【請求項１４】
前記方法は、
少なくとも1つの記録について、前記ユーザーが、前記少なくとも1つの記録が関連したもの、好ましくは、不正なものであると考えているか否かを示すユーザーにより割り当てられるラベルを受信する更なるステップを含むことを特徴とする、請求項1〜13のいずれか1項に記載の方法。
【請求項１５】
前記少なくとも1つの機械学習モデルのうちの少なくとも1つは、トレーニングデータに関する教師あり学習モデルに関係し、前記ユーザーにより割り当てられるラベルを前記受信することは、前記ユーザーにより割り当てられるラベルを前記トレーニングデータに追加することを更に含むことを特徴とする、請求項14に記載の方法。
【請求項１６】
前記方法は、
前記第1の検出ストラテジーの前記結果と前記第2の検出ストラテジーの前記結果との間の差異に基づいて、前記ユーザーに手作業の検査を推奨するためにアラートする更なるステップであって、該アラートする更なるステップは、任意のもの、又は、以下のもの、すなわち、サウンドアラーム、前記グラフィカルユーザーインターフェース上の視覚アラーム、触覚フィードバック、前記ユーザーのモバイルデバイスへのプッシュ通知のうちのいずれかを含む、更なるステップを含むことを特徴とする、請求項1〜15のいずれか1項に記載の方法。
【請求項１７】
データベース内の関連した記録を識別するコンピューティングシステム、好ましくは、前記データベース内の不正な記録を判定するコンピューティングシステムであって、
プロセッサ、有形不揮発性メモリ、前記プロセッサを命令するために前記メモリ上に存在するプログラムコード、任意選択でネットワークインターフェースを備えるサーバーと、
少なくとも1つのコンピューター可読媒体であって、既存の記録を含むデータベースを含む、少なくとも1つのコンピューター可読媒体と、
を備え、該コンピューティングシステムは、前記データベース内の前記関連した記録を識別する方法、好ましくは、前記データベース内の不正な記録を判定する方法を実行するように構成され、前記方法は、
ユーザーに、複数の入力を表示するグラフィカルユーザーインターフェースを提供して、前記ユーザーから入力を受信するとともに、結果を表示するステップと、
前記データベースから既存の記録を検出することを目標とした第1の検出ストラテジーを規定するステップであって、前記第1の検出ストラテジーは、複数の第1の入力を含み、前記第1の入力は、少なくとも1つの閾値、少なくとも1つの検出方法、少なくとも1つの重み付け係数、及び少なくとも1つのパラメーターを含み、前記第1の入力は、前記少なくとも1つの検出方法の各々について前記グラフィカルユーザーインターフェース上に個々に表示することができ、前記第1の入力は、好ましくは、前記少なくとも1つの検出方法の各々について個々に設定することができる、ステップと、
前記データベースから前記既存の記録を検出することを目標とした第2の検出ストラテジーを規定するステップであって、前記第2の検出ストラテジーは、複数の第2の入力を含む、ステップと、
既存の記録に対して前記第1の検出ストラテジー及び前記第2の検出ストラテジーを実行して、ユーザーによるレビューのために結果を表示するステップと、
前記ユーザーから受信された前記第1の入力及び前記第2の入力に基づいて、所望に応じて前記第1の検出ストラテジー及び／又は第2の検出ストラテジーを動的に較正して、全ての変更された結果を表示するステップであって、前記較正された第1の検出ストラテジー及び／又は前記第2の検出ストラテジーは、前記第1の入力及び／又は前記第2の入力の変化に起因して、以前には知られていなかった結果を生成する、ステップと、
前記較正された第1の検出ストラテジー及び／又は第2の検出ストラテジーを設定するステップと、
新たな記録に対して前記較正された第1の検出ストラテジー及び／又は第2の検出ストラテジーを実行して、関連した記録、好ましくは、潜在的に不正な記録を検出し、調査を保証するステップと、
を含み、
前記第2の検出ストラテジーは、前記第1の検出ストラテジーとは異なり、
前記第2の検出ストラテジーの前記複数の第2の入力は、前記ユーザーから受信されるアルゴリズム選択を更に含み、該アルゴリズム選択は、前記第2の検出ストラテジーを実行する少なくとも1つの機械学習アルゴリズムに関し、前記機械学習アルゴリズムに対して必要な前記ユーザーの精神的労力及び肉体的労力の双方を削減するために、前記第1の検出ストラテジーの前記少なくとも1つの検出方法及び前記第1の検出ストラテジーの前記少なくとも1つのパラメーターは、前記第2の検出ストラテジーの前記少なくとも1つの検出方法及び前記第2の検出ストラテジーの前記複数の第2の入力に含まれる前記第2の検出ストラテジーの前記少なくとも1つのパラメーターでもあり、
前記較正された第2の検出アルゴリズムによって生成された前記結果は、前記アルゴリズム選択に従って選択された前記少なくとも1つの機械学習アルゴリズムの各々についての結果を含み、
前記第1の検出ストラテジー及び／又は前記第2の検出ストラテジーの前記動的較正は、前記アルゴリズム選択を変更すること、及び／又は、新たな検出方法を追加すること、及び／又は、前記少なくとも1つの検出方法のうちの1つを除去することに更に関し、
前記第1の検出ストラテジーによって生成された前記結果及び前記第2の検出ストラテジーによって生成された前記結果は、前記動的較正中に必要な前記ユーザーの精神的労力及び肉体的労力の双方を削減するために、前記グラフィカルユーザーインターフェース上に共同で表示することができることを特徴とする、コンピューティングシステム。
【請求項１８】
請求項17に記載のシステムにおける、請求項1〜16のいずれか1項に記載の方法の使用。
【請求項１９】
請求項1〜16のいずれか1項に記載の方法を実行するコンピューター実行可能命令を含むコンピュータープログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、金融取引における不正を検出するシステムの技術分野に関する。
【背景技術】
【０００２】
既存の不正取引検出システムは、不正を識別するために取引エンティティに関連したデータに加えて取引データを用いることができる。このようなシステムは、バッチモード（日中の周期的な時刻においてファイルのグループとして取引を処理する）又はリアルタイムモード（取引がシステムに入力されるごとに、一度に1つずつ取引を処理する）のいずれかにおいて動作することができる。典型的には、システムは、不正である高いリスクを有する取引を識別し、これらの取引は、ユーザー、典型的には領域専門家によって日常的に手作業で調査される。しかしながら、既存のシステムの不正検出能力は、高度化している不正アクティビティのタイプ又はコンピューティングシステムの処理能力及び記憶能力の向上のいずれにも追随していない。
【０００３】
当該技術分野において、不正取引の識別のための改善されたシステムに対する需要が依然として存在している。現行技術水準のシステム及び方法を用いて業務を行うユーザーは、過度に多い偽陽性を手作業で調査するという非常に時間がかかるプロセスに直面している一方で、不正取引の中にはシステムが検出することが不可能であるものがあるためにこれらの不正取引を見落としている。
【０００４】
特許文献1は、検出ストラテジーを規定することを含む、データベース内の潜在的に不正な記録を判定する方法を開示している。特許文献1は、ユーザーに、検出を較正する手段を提供しているが、これらの手段は、限定的であるとともに融通性を欠いており、それゆえ、ユーザーが効果的な方法で検出を較正することを可能にしていない。
【０００５】
特許文献2は、支払いカード取引データ等の取引データにおける不正を検出するシステム及び方法を開示している。1つの実施形態は、金融取引及び少なくとも1つの取引エンティティに関連付けられたデータを受信することであって、取引エンティティに関連付けられたデータは、取引エンティティの複数の履歴取引の各々の少なくとも一部を含む、受信することと、このデータを少なくとも1つの第1のモデルに適用することと、第1のモデルに基づいてスコアを生成することと、少なくとも部分的にスコアに基づいて不正を示すデータを生成することとを含む、コンピューター化された検出方法を含む。他の実施形態は、不正検出システムにおいて使用するためのモデルを生成するシステム及び方法を含む。
【０００６】
特許文献3は、取引データが取引属性を含むような、金融取引に関する取引データを受信することを伴う方法を開示している。取引データから、プロセッサを通じて顧客レベル目標固有可変層（customer level target specific variable layer）が生成される。カード保持者の挙動が、顧客レベル目標固有可変層を用いてモデル化されて、プロセッサを通じてカード保持者の挙動のモデルが生成される。カード保持者の挙動のモデルは、非一時的コンピューター可読記憶媒体に保存される。
【０００７】
特許文献4は、ニューラルネットワーク等の予測モデルを用いて不正取引を検出して個人顧客口座を評価し、既知の変数の間の学習された関係に基づいて潜在的に不正な取引を識別する、自動化システム及び方法を開示している。このシステムは、特定の結果に対する種々の変数の相対寄与を示す理由コードを出力することもできる。このシステムは、その性能を周期的にモニタリングし、性能が所定のレベル未満に降下するとモデルを展開し直す（redevelops）。
【０００８】
特許文献2、特許文献3及び特許文献4によるシステム及び方法に関する1つの問題は、これらが過度に複雑であるとともに、これらの動作において透過性に欠いていることである。その上、これらは、第1のモデルによるシステムから得られた結果から、別のシステムの結果、又は、第2のモデルによって得られる同じシステムの結果に対するベンチマークを確立する（benchmarking）手段を欠いている。また、これらは、ユーザーが効果的な方法で検出を較正する手段を欠いている。
【０００９】
特許文献5は、特徴メトリック及び閾値のうちのいくつかに基づいて、アカウントを違法なものとして動的に識別する少なくとも1つの規則を実施することを伴う方法を開示している。アカウントのセットにはなかった未識別のアカウントが受信される。1つ以上の評価メトリックは、セット内のアカウントごとに求められた特徴メトリックに少なくとも部分的に基づいて計算される。違法なものとしてまだ識別されていないアカウントは、1つ以上の評価メトリックが閾値のうちの少なくともいくつかを満たすと、少なくとも1つの規則に基づいて識別される。
【００１０】
特許文献5による方法に関する1つの問題は、この方法が、不正金融取引の識別に向けられておらず、むしろ、オンライン（ソーシャルネットワーク）の状況における違法なアカウントの識別に向けられていることである。また、これは、ユーザーが効果的な方法で検出を較正する手段を欠いている。したがって、特許文献5は、それ自体（an sich）不正取引を識別する手段を開示していない。これに関連して、不正取引の識別に関連した重要な特徴及び特徴メトリックの多くは、特許文献5において言及されていない。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】欧州特許出願公開第2866168号
【特許文献２】米国特許第7,668,769号
【特許文献３】米国特許出願公開第2015/0046302号
【特許文献４】米国特許第6,330,546号
【特許文献５】米国特許出願公開第2016/0125424号
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、上記で言及された問題のうちの少なくともいくつかを解決しようとするものである。
【課題を解決するための手段】
【００１３】
第1の態様において、本発明は、請求項1に記載のコンピューター実施方法を提供する。
【００１４】
好ましい一実施形態では、少なくとも1つの検出方法は、少なくとも2つの検出方法に関係する。
【００１５】
例えば特許文献1による従来技術の方法及びシステムに優る1つの主な利点は、較正が単一の検出ストラテジーに関するのではなく、少なくとも2つの別個の検出ストラテジーに関することである。この差異は、それぞれ例2及び例3において考案される例示的な実施形態から理解することができる。本発明の第1の利点は、従来の第1の検出ストラテジーに精通したユーザーが、機械学習アルゴリズムに基づいて、潜在的により優れた性能を有する第2の検出ストラテジーを較正することを本発明が可能にすることである。これによって、「機械学習アルゴリズム」という用語は、その最も広範な解釈において、少なくとも1つの検出方法に属する、好ましくは少なくとも2つの検出方法に属する少なくとも第1の検出方法の出力と第2の検出方法の出力との間の相関を考慮に入れることを可能にする方法において、上記少なくとも1つの検出方法の出力を処理することが可能な任意のデータ処理アルゴリズムを指す。換言すれば、機械学習アルゴリズムの出力、好ましくは機械学習アルゴリズムによって生成されるスコアは、少なくとも1つの検出方法、好ましくは少なくとも2つの検出方法の出力の線形総和、出力の線形加重和又は非加重和に全体的に基づくわけではない。本出願人は、いくつかの機械学習アルゴリズムがデータベース内の関連した記録を識別するタスクに特に適していることを見出したので、好ましい一実施形態では、第2のストラテジーは、勾配ブースティングマシンモデル及び／又はランダムフォレストモデル及び／又はサポートベクトルマシンモデルを含む少なくとも1つの機械学習アルゴリズムに関する。
【００１６】
第2の検出ストラテジーは、有利には、第1の検出方法の検出方法に等しく選ばれる、入力として検出方法の別のセットを有する少なくとも1つの機械学習アルゴリズムに有利には基づいている。この方策は、機械学習アルゴリズムに対して必要なユーザーの精神的労力及び肉体的労力の双方を削減するという利益を有する。特に、潜在的に多数の検出方法（例えば、例3では42個、他の実施形態では70個以上の検出方法）と組み合わせて、機械学習方法の固有のポテンシャルを所与とすると、対応する変数ベクトル、好ましくはブール変数ベクトルの可能な値の数は、242に上ることができ、これは、1012よりも大きく、機械学習アルゴリズム（複数の場合もある）に与えることができる入力の独特の特徴を明確に実証する。その上、機械学習アルゴリズムは、特許文献1の場合におけるように線形加重検出方法の総和に基づいたストラテジーに従った線形結合の制約によって制限されることなく、大きいスコア又は小さいスコアをブール変数値の任意の組み合わせと関連付けることができるので、機械学習アルゴリズムは、関連した取引と関連していない取引とを区別するはるかに精緻な感度を有する。
【００１７】
この区別のより広義の意味は、以下のように理解することができる。例えば、2つ又は3つの相関した他の変数値との組み合わせの観点からの単一の変数値、例えばブール変数値の変更は、実用上の大きな差異を示すことができ、機械学習モデル挙動において十分に反映させることができるが、特許文献1による線形加重検出方法の線形総和によってモデル化することは決してできない。なぜならば、そのような総和は、異なる変数値間の相関をモデル化することができないためである。それゆえ、第1の検出方法の検出方法に等しい機械学習アルゴリズム（複数の場合もある）のために検出方法を選択することによって、及び、機械学習アルゴリズム（複数の場合もある）への単一の入力としてブール変数ベクトルを用いるとともに重み付け係数を用いないことによって、この問題及びユーザーインターフェースの双方の複雑度は、機械学習アルゴリズムの利点を失うことなくユーザーにとって大幅に簡略化され、検出方法の異なる出力間の相関を捕捉することが可能である。これが当てはまっても（This said）、機械学習アルゴリズムは、依然として高い複雑度でユーザーに直面し、したがって、これらのアルゴリズムの構成、及び該当する場合にはトレーニングは、好ましくは、典型的にはユーザーとは異なる専門家に委ねられる。したがって、本発明は、有利には、「動作状態」における機械学習アルゴリズムでユーザーに直面する。ユーザーは、最適な又は最良の構成の機械学習アルゴリズムを探求するのではなく、任意選択でいくつかのアルゴリズムパラメーターを用いて構成された、いずれの機械学習アルゴリズムが、図らずも手元のタスクのために最良に機能するのかという、より実用的な問題に自身の関心を向けることができる。アルゴリズムが、良好な構成からより優れた性能の恩恵を受けているのか、又は単にそのジョブについてより良好に適しているのかは、必ずしもユーザーによって対処される必要はない問題であり、ユーザーによって実行されるタスクには関連しない場合もそうでない場合もある。
【００１８】
第2の利点は、ユーザーが、2つのストラテジーを同時に較正し、不正取引の検出中に、第1の「オピニオン」に対する真の代替であり、単一のパラメーターの修正に基づいた単なる何らかの変形ではない、「セカンドオピニオン」の利点を有することが可能になることである。
【００１９】
第3の利点は、ユーザーが、機械学習アルゴリズムに、「従来の」第1の検出アルゴリズムの改善へのヒントを提供させることによって、理解及び管理するのがより容易である、重みの総和に基づいた「従来の」検出アルゴリズムとすることができる第1の検出アルゴリズムを較正することを目標とすることができるということである。
【００２０】
第2の態様、第3の態様及び第4の態様では、本発明は、請求項16に記載のシステム、請求項17に記載の使用、及び請求項18に記載のコンピュータープログラム製品を提供する。
【００２１】
更なる実施形態及びそれらの利点は、詳細な説明及び結論において論じられる。
【図面の簡単な説明】
【００２２】
【図１】本発明に関する例示的なワークフローを示す図である。
【図２Ａ】例示的な従来技術のユーザーインターフェースを示す図である。
【図２Ｂ】同上
【図３Ａ】本発明に関する例示的なユーザーインターフェースを示す図である。
【図３Ｂ】同上
【発明を実施するための形態】
【００２３】
本文書では、「信号」という用語は、「検出方法」及び「検出方法出力」のいずれかと互換的に用いられる。また、「信号ベクトル」及び「変数ベクトル」という用語も互換的に用いられ、「ブール信号ベクトル」及び「ブール変数ベクトル」という用語も同様である。「スコアリングモデル」という用語は、第1の検出ストラテジー又は第2の検出ストラテジーにおいて用いられるアルゴリズムのうちの任意のものを指すことができる。「モデル」及び「アルゴリズム」という用語は、別途示されない限り互換的に用いられる。
【００２４】
本文書では、「金融取引」及び「取引」は、互換的に用いられる。取引データは、取引、取引の認可、外部データ及び他の活動、例えば、非金銭取引、支払い、ポスティング又はカードレスキャッシュ（cardless cash）引き出し事象を指す。これによって、取引は、送付人から受取人への取引を生成するという最終意図を有する任意の支払い又は関連アクションに関係することができ、それゆえ、全ての支払いカード取引、及び、コンピューター上でウェブページを介して及び／又はモバイルデバイス上でモバイルアプリを介して実行されるアクションに起因する取引を含む。その上、支払いカード取引データは、物理的な支払いカード、例えば、磁気ストライプを有する物理的な支払いカードを用いた取引、及び、カードレスキャッシュ、又は、チップ識別もカードの存在の他のいかなるタイプの物理的検証も必要とすることのないクレジットカードによるオンライン支払い等の、支払いカードが物理的に読み取られることも提示されることもなく支払いカードデータが用いられる電子取引から導出されるデータを含むことができる。金融取引は、例えば、販売時点情報管理（POS）端末又は現金自動預け払い機（ATM）に関連付けられたクレジット又はデビットベースの取引を含むことができる。これらの取引は、多くの場合、不正についての解析を実行することができるデータベースに集約される。
【００２５】
さらに、本文書では、不正取引は、一般に「不正行為者（fraudster）」と称される、当該不正に対して責任を有する当事者のアクションに起因する。不正行為者の1つのタイプは、不正活動の重要な部分をオンラインで実行する「サイバー犯罪者」である。これは、「送付人」、「受取人」、「カードユーザー」及び「口座ユーザー」という一般的な用語（これらは全て、合法な当事者及び不正行為者の双方を含む、或る取引に関連付けられた当事者を指す）とは区別されるものである。
【００２６】
本文書において言及されるスコアリングモデルは、任意の適したモデル化技法に基づくものとすることができる。したがって、システムの更に別の実施形態では、少なくとも1つのスコアリングモデルは、勾配ブースティングマシン、ランダムフォレスト、サポートベクトルマシン（SVM）、ニューラルネットワーク、カスケード（不正口座タグ（口座を不正に用いられているものと識別する）ではなく、不正取引タグ（トレーニング取引を不正なものと識別する）に対してトレーニングされる場合、リアルタイムの照会について大幅に性能を改善することができる）、遺伝的アルゴリズム（GA：genetic algorithms）、ファジーロジック、不正事例ベース推論、決定木、ナイーブベイジアン、ロジスティック回帰、及びスコアカードを含むことができる。
【００２７】
少なくとも1つのスコアリングモデルは、教師あり（すなわち、トレーニングデータの不正タグ付けを有する）とすることも、教師なし（すなわち、不正タグを有しない）とすることもできる。教師あり手法によるシステムの1つの実施形態では、システムは、ユーザーが、システムの使用中に、後にトレーニングデータに追加される、ユーザーにより割り当てられるラベルを追加することを可能にする。これにより、スコアリングモデル及びシステムの稼働時のトレーニングが可能になる。任意選択で、ユーザーにより割り当てられるラベルを用いる上記手法と組み合わせることができる、教師あり手法を用いる関連した実施形態では、トレーニングデータは、事前に提供され、モデルは、使用される前に少なくとも部分的にトレーニング及び構成される。教師なしスコアリングモデルは、合法の挙動から逸脱しているが、以前に識別された形では逸脱していない口座及び取引を識別することによって、新たな不正の傾向を識別することに役立つことができる。教師なしモデルは、例えば、クラスタリング（例えば、K平均又はマハラノビス距離ベースのモデル）、異常（又は外れ値）検出（例えば、アイソレーションフォレスト（isolation forest）又は圧縮ニューラルネットワーク（compressionneuralnetworks））、競合学習（competitive learning）（例えば、コホネンの自己組織化写像（Kohonen self-organizing maps））及び1クラスサポートベクトルマシン（SVM）のうちの1つ以上に基づくものとすることができる。
【００２８】
多数のスコアリングモデルがシステム上で同時に実行される場合がある一方で、限られた数のモデル、例えば、1つ、2つ又は3つのモデルが、単独で又は組み合わせて取り込まれて、より優れた性能を提供するものと識別され、したがって、最良の選択肢として「選出」されることが望ましい結果である。好ましくは、これらのスコアリングモデルは、典型的なモノリシックモデルよりも少数の入力を有し、これらのモデルは、はるかに効率的に更新又は再トレーニングすることができる。特定のスコアリングモデルを再トレーニングすることが望ましい場合、そのような再トレーニングは、他のスコアリングモデルを再トレーニングすることなく実行することができる。好ましい一実施形態では、システムは、第1のスコアリングモデル及び第2のスコアリングモデルを含む。これによって、第1のスコアリングモデルは、好ましくは、システムのユーザーによく知られているとともにそのユーザーによってよく理解されており、既知の強み及び弱みを有する手法を表し、一方、第2のスコアリングモデルは、好ましくは、より新たなスコアリングモデルに関係し、このより新たなスコアリングモデルの性能は、その結果を第1のスコアリングモデルの結果と比較することによって評価することができる。本発明は、ステップ（e）において適用される上記少なくとも1つのスコアリングモデルの各々がステップ（d）において得られる同じ信号ベクトルに適用されることを所与とすると、このタイプの実験的比較に特に適している。共通の信号ベクトルが用いられることは、ユーザーに有用である。なぜならば、これにより、異なるスコアリングモデル間の公平な比較のための確固たる基礎が提供されるためである。これは、ブール信号値に関係する信号ベクトルの部分についてより確かに成り立ち、少なくとも1つのスコアリングモデルの入力をより予測可能なものとし、ユーザーが、各スコアリングモデルの典型的な挙動により精通することを実現可能にする。
【００２９】
本発明は、請求項1に記載のコンピューティングシステムに関する。
【００３０】
好ましい一実施形態では、上記アルゴリズム選択は、少なくとも2つの機械学習アルゴリズムに関する。
【００３１】
好ましい一実施形態では、上記第2の検出ストラテジーは、ユーザーから受信されたアルゴリズムプリファレンスに従って選択された上記少なくとも1つの機械学習アルゴリズムのうちの1つの出力である第2のスコアを求めることを含み、該第2のスコアは、アルゴリズムプリファレンス、第1の検出ストラテジーの少なくとも1つの検出方法の出力及び第1の検出ストラテジーの少なくとも1つのパラメーターからなる複数の第2の入力に直接基づき、重み付け係数には基づかない。これは、上記動的較正中に必要なユーザーの精神的労力及び肉体的労力の双方を削減することができる。
【００３２】
好ましい一実施形態では、第2の検出ストラテジーの上記複数の第2の入力は、アルゴリズムパラメーターを更に含み、上記動的較正は、上記アルゴリズムパラメーターを変更することに更に関する。
【００３３】
別の好ましい実施形態では、上記第1の検出ストラテジーは、少なくとも1つの項の線形総和である第1のスコアを求めることを含み、各項は、上記少なくとも1つの検出方法のうちの1つに関連付けられ、各項は、検出方法の出力と、項が関連付けられる検出方法の重み付け係数との積である。
【００３４】
更に別の実施形態によれば、第1の検出アルゴリズムによって生成された上記結果及び第2の検出アルゴリズムによって生成された上記結果を上記共同で表示することは、上記第1の検出ストラテジーによって求められた第1のスコア及び上記第2の検出ストラテジーによって求められた第2のスコアを表示することを含む。
【００３５】
1つの実施形態では、上記少なくとも1つの検出方法の各々について、少なくとも1つの検出方法の上記出力は、検出方法あたり1つのブール変数を有するブール変数ベクトルであり、上記アルゴリズムプリファレンスに従って選択された上記少なくとも1つの機械学習アルゴリズムを用いて求められた上記第2のスコアは、重み付け係数を考慮に入れることなく上記ブール変数にのみ基づく。
【００３６】
別の好ましい実施形態では、上記データベース内の上記記録は、取引エンティティに関し、以下のもの、すなわち、取引を実行するのに用いられるデバイス、送付人、受取人、取引日、取引チャネル、該送付人のロケーションのうちの少なくともいずれか又はこれらの任意の組み合わせを含み、好ましくは、上記データベース内の上記記録は、少なくとも送付人を含み、好ましくは、上記少なくとも1つの検出方法は、上記送付人に関する以下の情報、すなわち、年齢、性別、収入レベル、婚姻状況（civil status）、経時的取引パターン、地理上の取引パターン、IPアドレスの最初の使用、受取人口座の最初の使用、上記現在の取引を実行するのに用いられた上記デバイス又は該デバイス上で実行されるアプリの最初の使用、支払いアプリ内での指紋の最初の使用、自身の口座間での以前の振替、加入後の最初の取引、加入後のカードレスキャッシュ、限度引き上げ後のカードレスキャッシュ、カードレスキャッシュの最初の使用、ログインID要求後の取引、簡易PINリセットの最初の使用、クライアントの最初の使用言語、インターネットサービスプロバイダーの使用制限のうちのいずれか又はこれらの任意の組み合わせに関する。
【００３７】
更に別の実施形態では、上記記録は、少なくとも取引日を含み、上記少なくとも1つの検出方法は、以下のもの、すなわち、時刻及び平日、区別的な季節的特徴、例えば、クリスマス休暇又は夏季休暇、現在の天候、不正関連事象の同時性、例えば、Kali Linuxの或るバージョンのリリース日、上記取引日に関するサイバー犯罪の外部インジケーターのうちのいずれか又はこれらの任意の組み合わせに関する。
【００３８】
好ましい一実施形態では、上記記録は、少なくとも上記送付人のロケーションを含み、上記送付人の該ロケーションは、好ましくは、GNSSデータ及び／又はテレコムデータを介して取得及び／又は検証され、ステップ（d）における上記複数の信号規定の適用は、以下のもの、すなわち、ローカルエリア犯罪率、ローカルエリア失業率、上記ロケーションに関するサイバー犯罪の外部インジケーターのうちの少なくともいずれか又はこれらの任意の組み合わせを含む、上記送付人の上記ロケーションに関する複数の特徴について行われる。
【００３９】
好ましい一実施形態では、上記少なくとも1つの機械学習アルゴリズムは、勾配ブースティングマシンモデル、及び／又は、ランダムフォレストモデル、及び／又は、サポートベクトルマシンモデルを含む。
【００４０】
好ましい一実施形態では、第1の検出ストラテジーによって生成された上記結果及び第2の検出ストラテジーによって生成された上記結果を上記共同で表示することは、第1の検出アルゴリズムの結果と第2のアルゴリズムの結果とが異なる少なくとも1つの記録をマーキングすることを含む。
【００４１】
別の好ましい実施形態では、上記少なくとも1つの記録を上記マーキングすることは、
第1の検出アルゴリズムの結果と第2のアルゴリズムの結果とが異なる記録間の相関を計算すること、好ましくは、上記記録に関連付けられたブール変数ベクトル間の相関を計算することによって計算することと、
上記相関に関する結果を表示することであって、該結果は、好ましくは、上記第1の検出アルゴリズムと上記第2の検出アルゴリズムとの間の上記差異の特性として識別された少なくとも1つの検出方法を含む、表示することと、
を含む。
【００４２】
好ましい一実施形態では、方法は、
少なくとも1つの記録について、ユーザーが、上記少なくとも1つの記録が関連したもの、好ましくは、不正なものであると考えているか否かを示すユーザーにより割り当てられるラベルを受信する更なるステップを含む。
【００４３】
好ましい一実施形態では、上記少なくとも1つの機械学習モデルのうちの少なくとも1つは、トレーニングデータに関する教師あり学習モデルに関係し、上記ユーザーにより割り当てられるラベルを上記受信することは、上記ユーザーにより割り当てられるラベルを上記トレーニングデータに追加することを更に含む。
【００４４】
好ましい一実施形態では、上記方法は、
上記第1の検出ストラテジーの上記結果と上記第2の検出ストラテジーの上記結果との間の差異に基づいて、ユーザーに手作業の検査を推奨するためにアラートする更なるステップであって、該アラートする更なるステップは、任意のもの、又は、以下のもの、すなわち、サウンドアラーム、上記グラフィカルユーザーインターフェース上の視覚アラーム、触覚フィードバック、上記ユーザーのモバイルデバイスへのプッシュ通知のうちのいずれかを含む、更なるステップを含む。
【００４５】
好ましい一実施形態では、ステップ（d）において得られる信号ベクトルは、複数のブール信号値からなる。これによって、全ての信号が、信号値として2つのみの異なる状態、好ましくは「0」又は「1」を取る。これは、ユーザーを手助けし、高度なモデルの使用を扱いやすくするので有利である。例えば、これは、まず、そのような信号ベクトルに適用されるのに適した既知の及び／又は単純なスコアリングモデルを適用し、これを、本システムのためのベンチマークとして用いることを可能にする。また、これは、システムに属する2つの異なるスコアリングモデルを透過的かつ一般的な方法で適用及び比較することを可能にする。
【００４６】
別の好ましい実施形態では、上記少なくとも1つのスコアリングモデルは、少なくとも、第1のスコアリングモデルと、該第1のスコアリングモデルとは異なる第2のスコアリングモデルとを含み、ステップ（e）において適用される該第1のモデル及び該第2のモデルは、ステップ（d）において得られる同じ信号ベクトルから独立して適用される。これは、ユーザーが、例えば、一方が既知であるとともにもう一方が試験下にある2つの異なるスコアリングモデルを適用することができるという利点を有する。これらを独立して適用することによって、それらの正確な数を自由に選択することができるいくつかのスコアリングモデルの一般的な適用を用いた、最大の透過性が得られる。これに関連した代替的な実施形態では、少なくとも1つのスコアリングモデルは、ステップ（e）において同時に適用されるとともに、相互に依存した形で上記不正を示すデータを生成する複数のスコアリングモデルに関係する。そのような設定の1つの例は、第3のスコアリングモデルが第1のスコアリングモデル及び第2のスコアリングモデルによって生成されたスコアを用いて、これらのスコアによって調整された計算のモードを選択する場合である。これによって、第3のスコアリングモデルは、単純加重を用いて、第1のスコアリングモデル及び第2のスコアリングモデルのスコアを組み合わせることができるが、より自明ではない経路を辿ることもできる。1つの実施形態では、第1のスコアリングモデル及び第2のスコアリングモデルは、第4のスコアリングモデルによって求められる重み付けに従って、第3のスコアリングモデルによって組み合わされるスコアを提供する。そのような実施形態は、好ましくは、ユーザーに対する負担を低減するために適用することができ、ユーザーは、好ましくは、非常に限られた数、例えば1つ又は2つのスコアリングモデル及び関連付けられたスコアのみに直面する。
【００４７】
別の好ましい実施形態によれば、ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、以下のもの、すなわち、上記現在の取引を実行するのに用いられるデバイス、送付人、受取人、取引日、取引チャネル、該送付人のロケーションのうちの少なくともいずれか又はこれらの任意の組み合わせを含む。これは、上記取引エンティティの各々が、特にそれらの組み合わせにおいて、取引が不正なものであるか否かを評価するときに非常に決定的であるので有利である。その上、上記可能な取引エンティティの各々は、それ自体非常に一般的であり、多くの履歴データに関連する場合がある。これに関して、言及される取引エンティティは、本発明によるシステムにおける使用に特に適しており、この使用において、履歴データが有利に利用される。言及される取引エンティティの全てが必ずしも別個のものであり、及び／又は取引ごとに存在するというわけではないことに留意されたい。例えば、現金を引き出すカードユーザーの事例において、このカードユーザーは、送付人であると同時に受取人である。また、係員の助けを得て又は署名した銀行振替用紙を用いて窓口において現金を引き出す口座ユーザーの例において、この口座ユーザーは、送付人であるとともに受取人である。また、いくつかの事例において、或る取引に関するいくつかのデータは失われている場合があるが、これは、当該取引が不正なものであるか否かの判定の妨げにはならないことに留意されたい。
【００４８】
本発明の別の好ましい実施形態では、ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、少なくとも送付人を含み、ステップ（d）における上記複数の信号規定の適用は、上記送付人に関する複数の特徴について行われ、該複数の特徴は、以下のもの、すなわち、年齢、性別、収入レベル、婚姻状況、経時的取引パターン、地理上の取引パターン、IPアドレスの最初の使用、受取人口座の最初の使用、上記現在の取引を実行するのに用いられた上記デバイス又は該デバイス上で実行されるアプリの最初の使用、支払いアプリ内での指紋の最初の使用、自身の口座間での以前の振替、加入後の最初の取引、加入後のカードレスキャッシュ、限度引き上げ後のカードレスキャッシュ、カードレスキャッシュの最初の使用、ログインID要求後の取引、簡易PINリセットの最初の使用、クライアントの最初の使用言語、インターネットサービスプロバイダーの使用制限のうちの少なくともいずれか又はこれらの任意の組み合わせを含む。これによって、カードレスキャッシュは、カードユーザーが関連付けられたカードの物理的な存在を必要とすることなく現金を引き出す銀行サービスを指す。さらに、上記ログインIDの上記要求は、ウェブアプリケーション若しくはモバイルデバイス上のアプリの状況におけるアカウント名、又は、送付人及び／又は現在の取引に用いられる送付人のデバイスの他の任意の識別情報を指すことができる。さらに、簡易PINリセットは、アクセスを回復する方法、又はアプリケーション／アプリの状況内のサインイン（signing）の方法を指すことができる。そのような回復は、そのようなPIN、例えば、4桁、5桁又は6桁のPINを忘れた送付人を意図することができ、上記簡易リセットは、携帯電話番号を介した識別によって有効にすることができる。想定される不正行為者は送付人の携帯電話を保持している場合があるので、そのような簡易PINリセットを実行することは容易である場合があり、したがって、対応する特徴／信号が識別されるべきである。
【００４９】
更に別の好ましい実施形態では、ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、少なくとも取引日を含み、ステップ（d）における上記複数の信号規定の適用は、上記取引日に関する複数の特徴について行われ、該複数の特徴は、以下のもの、すなわち、時刻及び平日、区別的な季節的特徴、例えば、クリスマス休暇又は夏季休暇、現在の天候、不正関連事象の同時性、例えば、Kali Linuxの或るバージョンのリリース日、上記取引日に関するサイバー犯罪の外部インジケーターのうちの少なくともいずれか又はこれらの任意の組み合わせを含む。これは、タイミング情報が容易に利用可能であり、複数の因子と相関する場合があるので、有利である。好ましくは、取引日に関するデータは、送付人のロケーションと組み合わせて用いられ、より好ましくは上記取引日及び／又は上記ロケーションに関するサイバー犯罪の外部インジケーターと組み合わせて用いられる。なぜならば、これは、「犯罪急増現象（crime waves）」を識別すること、又は、同じ不正行為者若しくは不正行為者のグループによって実行される不正アクションの「バッチ」を識別することを可能にすることができるためである。これに関連して、好ましくは、取引日に関するデータは、サイバー犯罪の犯罪急増現象を識別するために上記取引日に関するサイバー犯罪の外部インジケーターと組み合わせて用いられ、これは、多くの事例において、ロケーションではなく或る特定のタイムフレームによって特徴付けられる。
【００５０】
別の実施形態によれば、ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、少なくとも上記送付人のロケーションを含み、上記送付人の該ロケーションは、好ましくは、GNSSデータ及び／又はテレコムデータを介して取得及び／又は検証され、ステップ（d）における上記複数の信号規定の適用は、以下のもの、すなわち、ローカルエリア犯罪率、ローカルエリア失業率、上記ロケーションに関するサイバー犯罪の外部インジケーターのうちの少なくともいずれか又はこれらの任意の組み合わせを含む、上記送付人の上記ロケーションに関する複数の特徴について行われる。これによって、GNSSは、全球測位衛星システムの略称であり、一般に、例えば、GPS、ガリレオ、Glonass及びBeidouを含む位置特定サービスシステムの広範なクラスを指す。これによって、他の手段を通じて索出することができない場合、又は、例えば、送付人のモバイルデバイスのGPS位置特定によって示されるロケーションの正確性に関して不確実性が存在する場合、テレコムデータを介してロケーションを索出することが有用である。本文書の他の箇所で言及されるように、好ましくは、ロケーションデータは、取引日に関するデータと組み合わせて用いられる。なぜならば、これは、いわゆる犯罪急増現象のより優れた識別情報を提供するためである。
【００５１】
別の実施形態では、スコアリングモデルごとに、上記不正を示すデータは、少なくとも1つの関連付けられたスコアリング閾値を更に含み、ステップ（e）は、スコアリングモデルごとに、上記関連付けられたスコア及び上記関連付けられたスコアリング閾値を比較することを含み、好ましくは、上記スコアリング閾値より大きい上記スコアは、不正を示す。これは、この閾値が、所与のスコアが過度に大きいか否かを評価する際の基準を提供するので、有利である。特に、いくつかのスコアリングモデルの同時の使用は、モデルのうちの1つからの単一のスコアが大きいものとして認識されるべきか否かに関して混乱を生じさせる場合がある。したがって、任意のスコアに、関連付けられた閾値を付随させることが有利であり得る。これは、スコアリングモデルが取引を不正なものとしてラベル付けするか否か（閾値を超過するか否か）を確認することを可能にし、さらに、閾値がどの程度超過されるのかを確認することを可能にする。一般に、2つ以上のスコアリングモデルが用いられる場合、これは、異なる関連付けられたスコアにわたるより良好な比較を可能にし、及び／又は、例えば、各スコアを、0〜1の範囲に、範囲内の何らかの所定の閾値を用いて再スケーリングすることによって、各関連付けられた閾値に関する正規化を可能にする。
【００５２】
一実施形態によれば、ステップ（d）において得られる上記信号ベクトルは、好ましくは、複数のブール信号値からなり、上記少なくとも1つのスコアリングモデルは、重みベーススコアリングモデルを含み、上記ステップ（e）は、以下のサブステップ、すなわち、
（e.1）上記信号ベクトルに属する信号値ごとに、上記重みベーススコアリングモデルを用いて関連付けられた重みを求めるサブステップと、
（e.2）項の総和に基づいて重みの総和を求めるサブステップであって、該項の各々は、上記信号値と上記関連付けられた重みとの積として得られる、サブステップと、
（e.3）上記重みの総和に少なくとも部分的に基づいて上記スコアを求めるサブステップと、
を含み、上記重みベーススコアリングモデルは、好ましくは、上記信号ベクトルに属する2つの異なる信号値間の少なくとも1つの相関を考慮に入れる統計モデルに関係する。これは、特に、上記信号ベクトルが複数のブール信号値からなる好ましい実施形態において、スコア計算のための透過的なフレームワークをもたらすので、有利である。
【００５３】
更なる実施形態では、上記少なくとも1つのスコアリングモデルは、勾配ブースティングマシンモデル、及び／又は、ランダムフォレストモデル、及び／又は、サポートベクトルマシンモデルを含む。これは、これらの言及されたモデルタイプのうちの各々が不正取引の検出の特定の目標に適しているので、有利である。
【００５４】
別の実施形態では、スコアリングモデルごとに、上記不正を示すデータは、少なくとも1つの関連付けられたスコアリング閾値を更に含み、ステップ（e）は、スコアリングモデルごとに、上記関連付けられたスコア及び上記関連付けられたスコアリング閾値を比較することを含み、上記システムは、ユーザーに表示するためのスクリーンを更に備え、上記現在の取引は、複数の現在の取引に関係し、上記方法は、上記ステップ（e）に後続して更なるステップ（f）、すなわち、
（a）スコアリングモデルごとに、上記スコアに従って順序付けされた上記複数の現在の取引のランク付けを求めて上記スクリーン上に表示する更なるステップであって、取引ごとに、システムにより割り当てられるラベルが求められて表示され、該システムにより割り当てられるラベルは、取引が不正であると考えられるか否か、及び／又は、取引が、上記ユーザーによる手作業の検査を必要とするか否かを示し、上記システムにより割り当てられるラベルを求めることは、少なくとも部分的に、上記スコアが上記スコアリング閾値よりも大きいことに基づく、更なるステップを含む。
【００５５】
これは、自動化を促進するので、有利である。特に、それは、タスクの効率的かつ好都合な配分を可能にし、したがって、簡単なタスクがシステムによってハンドリングされ、一方で、よりデリケートなタスク及び判定は、ユーザーの制御内に保持される。全体として、これにより、取引を監視し、不正取引を検出するというタスクにおけるユーザーに対する負担が低減される。
【００５６】
更に別の実施形態では、上記システムは、上記ユーザーからの入力を受信するユーザー入力インターフェースを更に備え、上記方法は、上記ステップ（f）に後続して更なるステップ（g）、すなわち、
（b）上記複数の現在の取引に属する少なくとも1つの現在の取引について、ユーザーが上記少なくとも1つの現在の取引を不正なものであると考えているか否かを示すユーザーにより割り当てられるラベルを受信する更なるステップであって、上記ユーザーにより割り当てられるラベルは、ステップ（f）において求められる少なくとも1つのスコアリングモデルのシステムにより割り当てられるラベルとは異なる、更なるステップを含む。
【００５７】
これは、更なる自動化を促進するとともに、ユーザーとシステムとの間のインタラクションを向上させるので、有利である。これは、タスクのより一層の効率的かつ好都合な配分を可能にし、したがって、よりデリケートなタスク及び判定は、ユーザーの制御内に保持され、これにより、取引を監視し、不正取引を検出するというタスクにおけるユーザーに対する負担が更に低減される。
【００５８】
一実施形態では、上記少なくとも1つのモデルのうちの少なくとも1つは、トレーニングデータを含む教師あり学習モデルに関係し、ステップ（g）は、上記ユーザーにより割り当てられるラベルがシステムにより割り当てられるラベルとは異なる上記少なくとも1つの現在の取引を、上記トレーニングデータに追加することを更に含む。これは、ユーザーが、スコアリングモデルの変更に実際に寄与することができるという利点を有し、より正確なスコアリングモデル及びシステム全体がもたらされる。これは、ひいては、不正取引を検出するというユーザーのタスクにおけるユーザーに対する負担を更に低減させることができる。
【００５９】
更に別の実施形態では、上記少なくとも1つのコンピューター可読媒体は、上記サーバーに属さないリモートのコンピューター可読媒体を含み、サーバーは、上記リモートのコンピューター可読媒体にアクセスするためのネットワークインターフェースを含む。これは、例えば、サーバーが上記履歴データの一部を受信するために1つ以上のリモートデータサービスにアクセスする状況に対応する。
【００６０】
本発明のいくつかの実施形態に関する更なる利点は、システムを動作させるユーザーの観点からの高められた可用性及び管理可能性とともに、関連した記録を識別することにおいて提供される高精度にある。例えば、関連した取引エンティティに関する履歴データと併せた現在の取引のデータの使用は、望ましくは、単に要約された又は平均化されたデータを用いるよりも良好な予測性能を提供することが見出された。これによって、いくつかの実施形態では、履歴データを用いて機能するとともに少なくとも1つのスコアリングモデルの適用によってもたらされる多大な複雑度は、十分な編成によって管理可能に保たれる。特に、いくつかの実施形態では、履歴データは、ステップ（c）及び（d）においてハンドリングされ、したがって、ステップ（d）における少なくとも1つのスコアリングモデルの適用に先行する。これによって、いくつかの実施形態では、ステップ（e）において適用される少なくとも1つのスコアリングモデルの各々は、ステップ（d）において得られる同じ信号ベクトルに適用される。共通の信号ベクトルが用いられることは、ユーザーに有用である。なぜならば、これにより、異なるスコアリングモデル間の公平な比較のための確固たる基礎が提供されるためである。スコアリングモデルは、それ自体、好ましくは、履歴データが処理される方法に影響を与えることなく、一般的にかつ交換可能に適用される。ユーザーに更に有用であるのは、好ましくは、信号ベクトルの少なくとも一部及び好ましくは信号ベクトル全体が、ブール信号値に関係するということであり、少なくとも1つのスコアリングモデルの入力をより予測可能なものとし、ユーザーが、いくつかのスコアリングモデルの典型的な挙動により精通し、これらを「対等に」比較することを実現可能にする。また、これに関連して、スコアリングモデルは、好ましくは、少なくとも1つのスコアリングモデルの各々が、少なくとも1つの関連付けられたスコア、好ましくは単一のスコアを生成することができ、上記比較を更に促進するという意味において、対等なものとすることができる。
【００６１】
いくつかの好ましい実施形態による、本発明の範囲を限定することを意図されない更なる態様では、本発明は、ユーザーによる不正取引の識別のためのシステムに関し、システムは、取引が上記ユーザーによる手作業の検査を必要とすることを示すシステムにより割り当てられるラベルを求めるときに、上記ユーザーにアラートする手段を備え、該アラートする手段は、任意のもの、又は、以下のもの、すなわち、サウンドアラーム、視覚アラーム、触覚フィードバック、上記ユーザーのモバイルデバイスへのプッシュ通知のうちのいずれかを含む。これは、タスクの好都合な配分を可能にするので、有利であり、したがって、簡単なタスクがシステムによってハンドリングされ、一方で、よりデリケートなタスク及び判定は、ユーザーの制御内に保持される。全体として、これにより、取引を監視し、不正取引を検出するというタスクにおけるユーザーに対する負担が低減される。
【００６２】
更なる態様では、本発明は、本発明によるシステムによって生成されるランク付けを提供し、該ランク付けは、好ましくは、上記スクリーン又は視覚化のプリントアウト上のいずれかの該視覚化を含み、上記ランク付けは、好ましくは、スコアリングモデルごとに、複数の現在の取引のリストを含み、上記現在の取引のうちの各々は、好ましくは、上記システムによって求められる関連付けられたスコアを有して視覚化される。この利点は、方法又はシステムによって提供される利点と同様である。
【００６３】
本発明の範囲をいかようにも限定することを意図されない更なる態様によれば、本発明は、以下のポイント1〜15に関する。
【００６４】
1.不正取引を識別するコンピューティングシステムであって、
プロセッサ、有形不揮発性メモリ、該プロセッサを命令するために該メモリ上に存在するプログラムコード、任意選択でネットワークインターフェースを備えるサーバーと、
データベースを含む少なくとも1つのコンピューター可読媒体であって、該データベースは、
少なくとも1つの取引エンティティの履歴データであって、該少なくとも1つの取引エンティティに関する少なくとも1つの特徴の値を含む、履歴データと、
複数の信号規定であって、各信号規定は、上記少なくとも1つの取引エンティティに関する1つ以上の特徴に応じて信号出力を規定する、複数の信号規定と、
を含む、少なくとも1つのコンピューター可読媒体と、
を備え、該コンピューティングシステムは、不正を示すデータを生成する方法を実行するように構成され、該不正を示すデータは、スコアを含み、上記方法は、
（a）上記サーバーに、現在の取引のデータを提供するステップと、
（b）上記現在の取引の上記データに基づいて、上記サーバーによって上記現在の取引に関する1つ以上の現在の取引エンティティを識別するステップと、
（c）上記データベースから、上記複数の信号規定とともに上記1つ以上の現在の取引エンティティの履歴データを得るステップと、
（d）上記現在の取引に対する上記複数の信号規定のうちの1つ以上及び上記1つ以上の現在の取引エンティティに関する上記履歴データを適用し、複数の信号値を含む信号ベクトルを得るステップと、
（e）上記不正を示すデータを生成するために、上記信号ベクトルに少なくとも1つのスコアリングモデルを適用するステップと、
を含み、上記不正を示すデータは、スコアリングモデルごとに少なくとも1つの関連付けられたスコアを含み、ステップ（d）において得られる上記信号ベクトルは、複数のブール信号値を含み、ステップ（e）において適用される上記少なくとも1つのスコアリングモデルのうちの各々は、ステップ（d）において得られる同じ信号ベクトルに適用される、コンピューティングシステム。
【００６５】
2.ステップ（d）において得られる上記信号ベクトルは、複数のブール信号値からなる、ポイント1に記載のコンピューティングシステム。
【００６６】
3.上記少なくとも1つのスコアリングモデルは、少なくとも第1のスコアリングモデルと、該第1のスコアリングモデルとは異なる第2のスコアリングモデルとを含み、ステップ（e）において適用される該第1のモデル及び該第2のモデルは、ステップ（d）において得られる同じ信号ベクトルから独立して適用される、ポイント1又は2に記載のコンピューティングシステム。
【００６７】
4.ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、以下のもの、すなわち、上記現在の取引を実行するのに用いられるデバイス、送付人、受取人、取引日、取引チャネル、上記送付人のロケーションのうちの少なくともいずれか又はこれらの任意の組み合わせを含む、ポイント1〜3のいずれか1つに記載のコンピューティングシステム。
【００６８】
5.ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、少なくとも送付人を含み、ステップ（d）における上記複数の信号規定の適用は、上記送付人に関する複数の特徴について行われ、該複数の特徴は、以下のもの、すなわち、年齢、性別、収入レベル、婚姻状況、経時的取引パターン、地理上の取引パターン、IPアドレスの最初の使用、受取人口座の最初の使用、上記現在の取引を実行するのに用いられた上記デバイス又は該デバイス上で実行されるアプリの最初の使用、支払いアプリ内での指紋の最初の使用、自身の口座間での以前の振替、加入後の最初の取引、加入後のカードレスキャッシュ、限度引き上げ後のカードレスキャッシュ、カードレスキャッシュの最初の使用、ログインID要求後の取引、簡易PINリセットの最初の使用、クライアントの最初の使用言語、インターネットサービスプロバイダーの使用制限のうちの少なくともいずれか又はこれらの任意の組み合わせを含む、ポイント1〜4のいずれか1つに記載のコンピューティングシステム。
【００６９】
6.ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、少なくとも取引日を含み、ステップ（d）における上記複数の信号規定の適用は、上記取引日に関する複数の特徴について行われ、該複数の特徴は、以下のもの、すなわち、時刻及び平日、区別的な季節的特徴、例えば、クリスマス休暇又は夏季休暇、現在の天候、不正関連事象の同時性、例えば、Kali Linuxの或るバージョンのリリース日、上記取引日に関するサイバー犯罪の外部インジケーターのうちの少なくともいずれか又はこれらの任意の組み合わせを含む、ポイント1〜5のいずれか1つに記載のコンピューティングシステム。
【００７０】
7.ステップ（b）において識別される上記1つ以上の現在の取引エンティティは、少なくとも上記送付人のロケーションを含み、上記送付人の該ロケーションは、好ましくは、GNSSデータ及び／又はテレコムデータを介して取得及び／又は検証され、ステップ（d）における上記複数の信号規定の適用は、以下のもの、すなわち、ローカルエリア犯罪率、ローカルエリア失業率、上記ロケーションに関するサイバー犯罪の外部インジケーターのうちの少なくともいずれか又はこれらの任意の組み合わせを含む、上記送付人の上記ロケーションに関する複数の特徴について行われる、ポイント1〜6のいずれか1つに記載のコンピューティングシステム。
【００７１】
8.スコアリングモデルごとに、上記不正を示すデータは、少なくとも1つの関連付けられたスコアリング閾値を更に含み、ステップ（e）は、スコアリングモデルごとに、上記関連付けられたスコア及び上記関連付けられたスコアリング閾値を比較することを含み、好ましくは、上記スコアリング閾値より大きい上記スコアは、不正を示す、ポイント1〜7のいずれか1つに記載のコンピューティングシステム。
【００７２】
9.上記信号ベクトルは、好ましくは、複数のブール信号値からなり、上記少なくとも1つのスコアリングモデルは、重みベーススコアリングモデルを含み、上記ステップ（e）は、以下のサブステップ、すなわち、
（e.1）上記信号ベクトルに属する信号値ごとに、上記重みベーススコアリングモデルを用いて関連付けられた重みを求めるサブステップと、
（e.2）項の総和に基づいて重みの総和を求めるサブステップであって、該項の各々は、上記信号値と上記関連付けられた重みとの積として得られる、サブステップと、
（e.3）上記重みの総和に少なくとも部分的に基づいて上記スコアを求めるサブステップと、
を含み、上記重みベーススコアリングモデルは、好ましくは、上記信号ベクトルに属する2つの異なる信号値間の少なくとも1つの相関を考慮に入れる統計モデルに関係する、ポイント1〜8のいずれか1つに記載のコンピューティングシステム。
【００７３】
10.上記少なくとも1つのスコアリングモデルは、勾配ブースティングマシンモデル、及び／又は、ランダムフォレストモデル、及び／又は、サポートベクトルマシンモデルを含む、ポイント1〜9のいずれか1つに記載のコンピューティングシステム。
【００７４】
11.スコアリングモデルごとに、上記不正を示すデータは、少なくとも1つの関連付けられたスコアリング閾値を更に含み、ステップ（e）は、スコアリングモデルごとに、上記関連付けられたスコア及び上記関連付けられたスコアリング閾値を比較することを含み、上記システムは、ユーザーに表示するためのスクリーンを更に備え、上記現在の取引は、複数の現在の取引に関し、上記方法は、上記ステップ（e）に後続して更なるステップ（f）、すなわち、
（f）スコアリングモデルごとに、上記スコアに従って順序付けされた上記複数の現在の取引のランク付けを求めて上記スクリーン上に表示する更なるステップであって、取引ごとに、システムにより割り当てられるラベルが求められて表示され、該システムにより割り当てられるラベルは、取引が不正であると考えられるか否か、及び／又は、取引が、上記ユーザーによる手作業の検査を必要とするか否かを示し、上記システムにより割り当てられるラベルを求めることは、少なくとも部分的に、上記スコアが上記スコアリング閾値よりも大きいことに基づく、更なるステップを含む、ポイント8〜10のいずれか1つに記載のコンピューティングシステム。
【００７５】
12.上記システムは、上記ユーザーからの入力を受信するユーザー入力インターフェースを更に備え、上記方法は、上記ステップ（f）に後続して更なるステップ（g）、すなわち、
（g）上記複数の現在の取引に属する少なくとも1つの現在の取引について、ユーザーが上記少なくとも1つの現在の取引を不正なものであると考えているか否かを示すユーザーにより割り当てられるラベルを受信する更なるステップであって、上記ユーザーにより割り当てられるラベルは、ステップ（f）において求められる少なくとも1つのスコアリングモデルのシステムにより割り当てられるラベルとは異なる、更なるステップを含む、ポイント11に記載のコンピューティングシステム。
【００７６】
13.上記少なくとも1つのモデルのうちの少なくとも1つは、トレーニングデータを含む教師あり学習モデルに関係し、ステップ（g）は、上記ユーザーにより割り当てられるラベルがシステムにより割り当てられるラベルとは異なる上記少なくとも1つの現在の取引を、上記トレーニングデータに追加することを更に含む、ポイント12に記載のコンピューティングシステム。
【００７７】
14.ユーザーによる不正取引の識別のための、ポイント11〜13のいずれか1つに記載のシステムの使用であって、システムは、取引が上記ユーザーによる手作業の検査を必要とすることを示すシステムにより割り当てられるラベルを求めるときに、上記ユーザーにアラートする手段を備え、該アラートする手段は、任意のもの、又は、以下のもの、すなわち、サウンドアラーム、視覚アラーム、触覚フィードバック、上記ユーザーのモバイルデバイスへのプッシュ通知のうちのいずれかを含む、システムの使用。
【００７８】
15.ポイント11〜13のいずれか1つに記載のシステムによって生成されるランク付けであって、該ランク付けは、上記スクリーン又は視覚化のプリントアウト上のいずれかの該視覚化を含み、上記ランク付けは、スコアリングモデルごとに、複数の現在の取引のリストを含み、上記現在の取引のうちの各々は、上記システムによって求められる関連付けられたスコアを有して視覚化される、ランク付け。
【００７９】
本発明は、本発明を更に示すとともに、本発明の範囲を限定することを意図されることも、本発明の範囲を限定するものと解釈されることもない以下の非限定的な例によって更に説明される。
【００８０】
ここで、本発明は、限定的ではない例を参照して、より詳細に記載されることになる。
【００８１】
例
例1：例示のワークフロー
図1は、参照符号1〜7が以下に従って参照される、本発明に関する例示的なワークフローを示している。現在の取引1におけるデータがシステムにフィードされる。システムは、第1の信号ベースアラートモデル、すなわち、サイバーリスクスコアリングモデルに従って現在の取引を処理し、全ての取引をランク付けする第1のモデルモジュール2を備える。これによって、信号ベクトルは、ブール信号値のベクトルに関係し、サイバーリスクスコアリングモデルは、異なる信号値間の相関を考慮に入れた、重みベース及び統計的なものである。システムは、アラートされた取引のリストの優先順位を付け直す（reprioritizes）第2のモデルモジュール3を更に備える。これによって、第2のモデルモジュール3は、第1のモデルモジュール2の出力を使用し、それゆえ、依存した形で第1のモデルとともに機能することができるが、また、第1のモデルモジュール2から独立して機能することもでき、したがって、第1のモデルモジュール1によって用いられる同じ信号ベクトルが第2のモデルモジュール2によって入力として取り込まれることに留意されたい。
【００８２】
これによって、第2のモデルは、機械学習モデル、例えば、勾配ブースティングマシン、ランダムフォレスト、又はサポートベクトルマシンに関係する。特定の例は、或る取引を低リスク取引又は高リスク取引として分類するのに100個又は1000個の適切に深い決定木が用いられるランダムフォレストアルゴリズムである。第2のモデルは、取引のリストの優先順位を付け直し、真の不正をリスト内の上位に置くことができ、それゆえ、領域専門家によって行われる手作業の効率性が高まり、最適には領域専門家が通常であれば時間の制約が原因で見逃すであろう真に不正な取引を識別することが可能になる。これによって、第2のモデルは、第1のモデルと同じ信号ベクトルを使用し、人間によって識別するには過度に複雑な信号の組み合わせを規定する。第2のモデルは、新たなリスクスコアを計算し、この新たなリスクスコアは、取引の新たなランクを求める。このモデルは、履歴イベント（トリガーされた信号、及び、取引が真の不正と識別されたか否かのリスト）から学習する。
【００８３】
第2のモジュールモデル3の出力は、リスクによってランク付けされた取引のリスト4である。最高ランクを有する取引は、領域専門家によって手作業で調査される（5）。発見された不正を防止するためにアクションが取られる（6）。ランクが低いことが原因で未発見である不正イベント7の数は、第1のモデルに重ねて第2のモデルを実行することによって削減されている。
【００８４】
例2：自動車両事故の不正検出の従来技術の方法及びシステム
図2A及び図2Bはともに、特許文献1による従来技術のユーザーインターフェースの図を提供する。特に、例示的なユーザーインターフェース100は、例えば電子記録のレビューを通じて不正を検出するために、不正検出システムを較正するために表示される。ユーザーインターフェース100は、技術的なデータベース技能を有しないビジネスユーザーが、検索ストラテジーを規定すること、既知の記録のセットに対して検索ストラテジーを用いて模擬検索（又はシミュレーション）を行うこと、ユーザーに検索の結果をグラフィカル形式で表示すること、及び、シミュレーションの結果に基づいて、ストラテジーを較正（すなわち、必要に応じて改定する（revise）か又は受容する）して所望の該当数を達成することを可能にするように設計される。いくつかの実施態様では、ストラテジーは、既知の記録に対して初期的に実行されるときには「トライアル」ストラテジーと称され、その後、所望の結果の数を達成するように較正されるとともに現在の記録に対して実行するように構成されると「現在の」ストラテジー又は「バージョン」として既知となる。
【００８５】
日付フィールド102は、ユーザーが、各記録に関連付けられた日付に従って結果をフィルタリングするのに、検索ストラテジーの「開始日」及び「終了日」を指定することを可能にする。図示の実施態様では、開始日は1900年7月17日であり、終了日は2013年7月17日である。フィールド104は、ユーザーがリファレンスストラテジーを指定することを可能にする。リファレンスストラテジーは、例えば別個の入力に基づいて既に完了しているとともに、種々の目的、例えば現在の検索ストラテジーの性能を過去の検索ストラテジーと比較するために用いることができる別の検索ストラテジーである。示された日付（及び指定される任意のオプションのリファレンスストラテジー）及び示された他の指定された入力に対して現在指定されている検索ストラテジーを実行するように機能する適用ボタン105が存在する。
【００８６】
ユーザーインターフェース100の右側に、ユーザーが閾値を指定するための「閾値」というフィールド106が存在する。ボックス108に示されているように、現在の閾値は、15に設定され、フィールド110において示されているように以前も15に設定されていた。スライダー112も、閾値を示し、現在の閾値及びこの閾値を修正する効果の視覚キューをユーザーに提供することができる。すなわち、スライダー112の0〜1000の限度間の相対位置は、おおよそ、「ボックス」108に示される数値（「15」）と相関している。
【００８７】
閾値フィールド106の下には、ユーザーが、種々の入力、例えば、検出ストラテジーに関連付けられた基準を修正することを可能にする、図示のフィールド114、116及び118等の1つ以上のフィールドが存在することができる。これらの入力又は基準は、「検出方法」とも称される。
【００８８】
フィールド114は、年齢に関する。この例では、不正検出システム及び方法は、自動車両事故に関する保険金請求における不正に関係する。被保険者の基準の年齢は、これらのパラメーターの場合、フィールド120及び122にそれぞれ示されるように、15歳〜22歳に現在設定されている。ボックス124において及びスライダー126上に示されるように、15歳〜22歳のパラメーターの重み付け係数は、24に設定されている。以前には、このパラメーターの重み付け係数は、128において示されるように、10に設定されていた。
【００８９】
フィールド116は、衝突時刻（time ofcollision）入力又は基準である。この例では、衝突時刻基準は、例えば夜間状況の間に発生した事故の記録に注目するために、フィールド130及び132にそれぞれ示されるように、23:00（11:00 pm）〜07:00（7:00 am）に設定されている。ボックス134において及びスライダー136に示されるように、23:00〜07:00の衝突時刻パラメーターを満たす記録の重み付け係数は、10に現在設定されている。以前にも、このパラメーターの重み付け係数は、138において示されるように、10に設定されていた。
【００９０】
フィールド118は、重度の破損（major damage）及び軽度の損傷（minor injury）を伴う事故の入力又は基準である。この例では、フィールド140、142においてそれぞれ示されるように、損害額パラメーターは、500.00ユーロに設定されており、損傷レベルパラメーターは、2%に設定されている。ボックス144において及びスライダー146上に示されるように、このパラメーターの重み付け係数は、10に現在設定されている。以前にも、このパラメーターの重み付け係数は、148において示されるように、10に設定されていた。
【００９１】
この例では、重み付け係数に、対応する基準又は規則（全ての基準又は規則について総和されたとき）を乗算した結果が閾値を超えるとアラートがトリガーされる。
【００９２】
閾値フィールド106の上に、シミュレーション調整コントロールが存在する。第1のコントロールは、シミュレーション開始ボタン150であり、第2のコントロールは、保存ボタン152である。シミュレーション開始ボタン150は、履歴記録及び新たな記録に対してフィールド102、106、114、116及び118で指定されたように、選択された検出ストラテジーを実行するように作動可能である。保存ボタン152は、現在の結果を保存するように作動可能である。
【００９３】
グラフ160は、該当数の視覚的表示を提供し、実証済み不正カテゴリ162、偽陽性カテゴリ164及び未分類（又は未判定）カテゴリ166に関する。グラフ160の右側には、バーチャート170が第1のバー172及び第2のバー174に関して提供される。グラフ160の下には、組成及び効率性計算の数値的内訳に関するチャート180が提供される。バーチャート190は、チャート180からの効率性計算のグラフィカル表現を提供する。アイコンのセット194は、現在、インターフェース100は、グラフが表示される第1のモードにあり、このモードと、データがリスト形式で表示される第2のモードとの間で切り替えることができることを示している。
【００９４】
例3：例示的な方法及びシステム
図3A及び図3Bはともに、本発明による例示的なユーザーインターフェース200を提供する。特に非自明であり、以下「際立った特徴の態様」と称されるこのユーザーインターフェースの態様が、ユーザーインターフェースのより一般的な要素とともに示され、これらの要素は、図2A及び図2Bの従来技術のユーザーインターフェースと或る程度類似して選択される。これによって、従来技術のユーザーインターフェースとのいかなる類似性も、本発明を限定するものとしてはいかようにも解釈されるべきではない。むしろ、このより一般的な要素は、機能する実施形態を用いて本発明を単に示す役割を担うものであり、主に本発明の理解を容易にするため、及び、従来技術のユーザーインターフェースと本発明の際立った特徴の態様との組み合わせが従来技術のインターフェース100のユーザーには得ることができないいくつかの有利な効果をいかにもたらすかを示すために従来技術のインターフェース100に類似して表示される。
【００９５】
上記際立った特徴の態様は、主に、共同リスト260、マーキングされた記録リスト280、類似記録リスト281、特性検出方法リスト290、及び機械学習アルゴリズム選択パネル201に関する。上記際立った特徴の態様は、スライダー226、236、246の位置、すなわち検出方法のいくつかの重み付け係数が重みの総和264の計算のために明示的に考慮に入れられるが、機械学習モデルスコア（複数の場合もある）265の計算のためには考慮に入れられない方法に更に関する。全てのこれらの態様が、全体としてのユーザーインターフェース200の機能の説明と関連して、以下で詳細に論じられる。
【００９６】
この例では、例示的なユーザーインターフェース200は、不正取引の検出についてのストラテジーの較正においてユーザーを支援するように意図される。重要なことに、較正は、従来技術のユーザーインターフェース100におけるような単一の検出ストラテジーに関係するのではなく、少なくとも2つの別個の検出ストラテジーに関係する。この第1の利点は、従来の第1の検出ストラテジーに精通しているユーザーが、潜在的により優れた性能を有する、機械学習アルゴリズムに基づいて第2の検出ストラテジーを較正することが可能になることである。第2の利点は、ユーザーが、2つのストラテジーを同時に較正し、不正取引の検出中に「セカンドオピニオン」の利点を有することが可能になることである。第3の利点は、ユーザーが、機械学習アルゴリズムに、従来の第1の検出アルゴリズムの改善へのヒントを提供させることによって、理解及び管理するのがより容易である従来の第1の検出アルゴリズムを較正することを目標とすることができるということである。
【００９７】
第1の検出ストラテジーは、検出方法、この例では42個の検出方法のセットに基づいており、検出方法の各々は、従来技術のユーザーインターフェース100のものと類似した、重み付け係数を設定するためのパラメーターフィールド220、222、230、232、240及びスライダー226、236、246を提供される。第1の検出スコア264（「重みスコアの総和」又は「重みの総和」とも称される）の計算も、従来技術のユーザーインターフェース100に類似しており、第1の検出スコア264は、各項が重み付け係数によって乗算された検出方法出力の積である項の総和である。この例では、全ての検出方法出力は、ブール型であり、すなわち、これらの出力は、好ましくは検出方法の記述に対する「真」又は「偽」に対応する0又は1のいずれかに変換され、検出方法の記述は、真／偽文として定式化される場合もされない場合もある。これにより、ブール変数ベクトル263が共同リスト260内に表示され、この共同リストは、この例では42個である検出方法の各々についてブール変数値を示す。これによって、これら42個の検出方法のうち3つのみが図3B上に表示されているが、他の検出方法を、ユーザーが下にスクロールすることによって表示することができる。当然、より少数又はより多数の検出方法が可能であり、例えば、2、3、5、10未満、10、20、30、40、50、60、70、70超、80、80超である。閾値フィールド106を有することで、従来技術のユーザーインターフェースとは異なり、第1の検出ストラテジーは、第1の検出ストラテジーの出力が比較の対象になる閾値を伴わず、その代わりに、共同リスト260を介したユーザーへの表示、第2の検出ストラテジーのスコア（複数の場合もある）との比較、マーキングされた記録及び／又は類似記録及び／又は特性検出方法の識別のための処理等の種々の目的のためにスコア264を用いる。一方、本発明の代替的な一実施形態では、問題を伴わずに第1の検出ストラテジー及び第2の検出ストラテジーのうちのいずれか又は任意の組み合わせのために、従来技術のユーザーインターフェースの閾値と類似した閾値を導入することができる。なぜならば、そのような提供は、本発明と両立するとともに本発明を補足するためである。
【００９８】
第2の検出ストラテジーは、有利には、第1の検出方法の検出方法と等しい、この例では42個が選択される、検出方法の別のセットを入力として有する少なくとも1つの機械学習アルゴリズムに基づく。さらに、この有利な選択は、機械学習アルゴリズムへの単一の入力としてブール変数ベクトルを用いる、すなわち、重み付け係数を用いることがないように行われる。これらの方策の各々が、機械学習アルゴリズムに対して必要なユーザーの精神的労力及び肉体的労力の双方を削減するという利益を有する。特に、多数の検出方法、この例では42個の検出方法と組み合わせて、機械学習方法の固有のポテンシャルを所与とすると、ブール変数ベクトルの可能な値の数は、242に上ることができ、これは、1012よりも大きく、機械学習アルゴリズム（複数の場合もある）に与えられる入力の独特の特徴を明確に実証する。その上、機械学習アルゴリズムは、線形加重検出方法の総和に基づいたストラテジーに従った線形結合の制約によって制限されることなく、大きいスコア又は小さいスコアをブール変数値の任意の組み合わせに関連付けることができるので、機械学習アルゴリズムは、不正取引と非不正取引とを区別するはるかに精緻な感度を有する。
【００９９】
この区別のより広義の意味は、以下のように理解することができる。例えば、2つ又は3つの相関した他の変数値との組み合わせの観点からの単一のブール変数値の変更は、実用上の大きな差異を示すことができ、機械学習モデル挙動において十分に反映させることができるが、線形加重検出方法の線形総和によってモデル化することは決してできない。なぜならば、そのような総和は、異なる変数値間の相関をモデル化することができないためである。それゆえ、第1の検出方法の検出方法に等しい機械学習アルゴリズム（複数の場合もある）のために検出方法を選択することによって、及び、機械学習アルゴリズム（複数の場合もある）への単一の入力としてブール変数ベクトルを用いるとともに重み付け係数を用いないことによって、この問題及びユーザーインターフェースの双方の複雑度は、機械学習アルゴリズムの利点を失うことなくユーザーにとって大幅に簡略化され、検出方法の異なる出力間の相関を捕捉することが可能である。これが当てはまっても、機械学習アルゴリズムは、依然として高い複雑度でユーザーに直面し、したがって、これらのアルゴリズムの構成、及び該当する場合にはトレーニングは、好ましくは、典型的にはユーザーとは異なる専門家に委ねられる。したがって、本発明は、有利には、「動作状態」における機械学習アルゴリズムでユーザーに直面する。ユーザーは、最適な又は最良の構成の機械学習アルゴリズムを探求するのではなく、任意選択でいくつかのアルゴリズムパラメーターを用いて構成された、いずれの機械学習アルゴリズムが、図らずも手元のタスクのために最良に機能するのかという、より実用的な問題に自身の関心を向けることができる。アルゴリズムが、良好な構成からより優れた性能の恩恵を受けているのか、又は単にそのジョブについてより良好に適しているのかは、必ずしもユーザーによって対処される必要はない問題であり、ユーザーによって実行されるタスクには関連しない場合もそうでない場合もある。
【０１００】
ユーザーインターフェース200は、機械学習アルゴリズム選択パネル201を備える。これにより、ユーザーが、スコアを計算するために第2の検出ストラテジーが用いることができる1つ以上の機械学習アルゴリズムを選択することが可能になる。選択は、対応するチェックボックス202によって行うことができる。2つ以上の機械学習アルゴリズムが選択される場合、好ましくはアルゴリズムごと及び記録ごとに1つのスコアが出力され、好ましくは、例えばアルゴリズムごとの別個の追加の列を用いて、少なくとも共同リスト260内に表示される。別の実施形態では、検出ストラテジーは、異なる機械学習アルゴリズムによって生成される個々のスコアの算術平均、幾何平均又は加重平均を取り、これらの個々のスコアを、単一の「第2の検出ストラテジースコア」になるまで加算することができ、単一の「第2の検出ストラテジースコア」は、好ましくは、共同リスト260内に表示することができる。好ましい一実施形態では、ユーザーが1つ以上選択することができる機械学習アルゴリズムは、勾配ブースティングマシン、又は、等価的に、勾配ブースティングモデル、ランダムフォレスト（モデル）、及びサポートベクトルマシン（モデル）である。好ましくは、これらのアルゴリズムの各々は、専門家によって事前に、アルゴリズムによって要求されるレベルに構成される。いくつかの場合、専門家の洞察を受けて、アルゴリズムは、1つ以上の入力パラメーターがユーザーによって設定されることを可能にすることができる。一方では、これは、アルゴリズムの異なる「特色（flavors）」、すなわち手元のアルゴリズムの異なる変形間の選択に関連することができる。このような事例において、パラメーターは、好ましくは、ドロップダウンメニューを用いて選択される。他方では、これは、正の整数値を取ることができるとともにランダムフォレスト内の停止条件に関連するツリーレベルパラメーター（tree-level-parameter）等の、アルゴリズム内の特定のパラメーター値に関連することができる。サポートベクトルマシンの場合、この1つ以上のパラメーターは、例えば、サポートベクトルマシンモデルの教師ありの性質に起因して関与するトレーニング内に含まれるトレーニングセットに関連することができる。勾配ブースティングの場合、これは、通常の勾配ブースティング対確率勾配ブースティングを選択することに関連することができる。このようなパラメーターは、それぞれのアルゴリズムパラメーターフィールド206、207、208を介して設定することができる。
【０１０１】
共同リスト260は、処理される記録、この例では、取引番号列261内に示されているような取引番号2511〜2514を有する4つの記録のリストを提供する。これによって、記録は、第1の検出ストラテジー及び第2の検出ストラテジーの双方に従って処理される。共同リストは、真のラベルの列262を含み、これは、既存の記録にのみ利用可能とすることができるとともに、新たな記録には利用不能とすることができる。共同リスト260は、検出方法、この場合42個の検出方法の各々の出力値に対応する、ブール変数ベクトルの列263を更に含む。別の列264は、重みの総和を示し、これは、第1の機械学習アルゴリズム及び任意選択の更なるアルゴリズムのスコアの各々の1つ以上の列265の横に提示され、又は、代替的な一実施形態では、第2の検出ストラテジー全体について計算された単一のスコアの列が横に提示される。列266は、第2の検出ストラテジーの結果に基づいて導出することができる新たな優先順位を示す。共同リストは、（表示されるように）取引番号に従って順序付けすることができるが、任意の列に従って、例えば、重みの総和に基づいた、又は、第1の機械学習モデルのスコアに基づいた降順で順序付けすることができる。
【０１０２】
マーキングされた記録リスト280は、第1の検出アルゴリズムの結果と第2のアルゴリズムの結果とが何らかの予め定められた程度に異なる少なくとも1つの記録を自動的に表示する、追加の検出及び較正ツールをユーザーに提供する。マーキングされた記録リスト280は、何らかの差異が検出された全ての記録（図示せず）を示すように構成することもできるし、差異が非常に顕著である（outspoken）記録（図示せず）のみを示すこともでき、ここで、後者は、相対的な観点において規定し、「最も顕著である差異を有するn個の記録（nは事前に設定される）」のみを示すこともできるし、絶対的な観点において、差異に適用されるいくつかの閾値を用いて規定することもできる。これは、ユーザーが、第1の検出ストラテジーと第2の検出ストラテジーとの間の相違を特徴付けることを容易にし、それゆえ、第1の検出ストラテジー及び／又は第2の検出ストラテジーを較正することに役立つことができる。
【０１０３】
類似記録リスト281は、また別の更なる追加の検出及び較正ツールをユーザーに提供する。これは、類似した結果（例えば第1の検出ストラテジー及び／又は第2の検出ストラテジーの類似した結果）に基づいてマーキングされた記録に類似した記録に関連することができるが、また、ブール変数ベクトルの類似度にも関連することができ、これにより、更なる洞察をもたらすことができる。
【０１０４】
特性検出方法リスト290は、更なる検出及び較正ツールをユーザーに提供する。これは、システムによって、所定の基準を満たす記録を示すものとして識別される検出方法に関連することができる。例えば、所定の基準は、個々の出力及び／又は組み合わされた出力を、記録が不正であるか否かについての良好な予測子とすることができる検出方法を追求することに関連することができる。これは、改善された洞察を可能にすることができ、ユーザーが、第1の検出ストラテジーを較正するために、最も関連度の高い検出方法のみを保持するとともに他の検出方法を除去すること、及び／又は、最も関連度の高い検出方法についての重みをより高く設定すること、及び／又は、他の検出方法についての重みをより低く設定することによって、検出を簡略化することを可能にすることができる。別の実施形態では、特性検出方法リスト290は、個々の出力及び／又は組み合わされた出力は、第1の検出ストラテジーと第2の検出ストラテジーとの間の相違をもたらす場合がある検出方法を追求することに関連することができる。これは、検出ストラテジーの補足、例えば、いずれのタイプの不正について第2の検出ストラテジーが第1の検出ストラテジーの性能に優ることができるのかをユーザーに明らかにすることへの改善された洞察を可能にすることができる。
【０１０５】
したがって、ユーザーインターフェース200は、従来技術のインターフェース100のように、技術的なデータベース技能を有しないビジネスユーザーが、検索ストラテジーを規定すること、既知の記録のセットに対して検索ストラテジーを用いて模擬検索（又はシミュレーション）を行うこと、ユーザーに検索の結果をグラフィカル形式で表示すること、及び、シミュレーションの結果に基づいて、ストラテジーを較正（すなわち、必要に応じて改定するか又は受容する）して所望の該当数を達成することを可能にするように設計される。しかしながら、ユーザーインターフェース200は、機械学習に基づいて第2の検出ストラテジーの結果を含むようにサポートし、それにより、第1の検出ストラテジーをより効果的に較正すること、及び／又は、第2の検出ストラテジーを、別個に、又は、第1の検出ストラテジーと組み合わせて較正することが可能になる。いくつかの実施形態では、ユーザーインターフェースの目的は、既知の記録に対して初期的に実行されるときには「トライアル」手法においてユーザーをサポートし、その後、第1の検出ストラテジーと第2の検出ストラテジーとの間の所望の均衡、又は、第1の検出ストラテジー若しくは第2の検出ストラテジーのいずれかの選択を用いて、所望の数の結果を達成するように較正されると「現在の」手法として既知となる。一意の識別子を有する特定の手法を識別することができ、バージョンと称することができる。
【０１０６】
従来技術のインターフェース100と同様に、日付フィールド202は、ユーザーが、各記録に関連付けられた日付に従って結果をフィルタリングするのに、「開始日」及び「終了日」を指定することを可能にする。図示の実施態様では、開始日は1900年7月17日であり、終了日は2013年7月17日である。フィールド204は、ユーザーが、第1の検出ストラテジー又は第2の検出ストラテジー又はこれらの組み合わせの何らかのバージョンに関連することができるリファレンスストラテジーを指定することを可能にする。リファレンスストラテジーは、例えば別個の入力に基づいて既に完了しているとともに、種々の目的、例えば現在の検索ストラテジーの性能を過去の検索ストラテジーと比較するために用いることができる別の検索ストラテジーである。示された日付（及び指定される任意のオプションのリファレンスストラテジー）及び示された他の指定された入力に対して現在指定されている検索ストラテジーを実行するように機能する適用ボタン205が存在する。可能な入力の例は、以下でより詳細に説明される。
【０１０７】
各検出方法は、図示するようにフィールド214、216及び218等の一般フィールドを用いて設定することができる。
【０１０８】
フィールド214は、人物の年齢に関する、第1の検出方法に関する。年齢は、これらのパラメーターの場合、フィールド220及び222にそれぞれ示されるように、15歳〜22歳に現在設定されている。ボックス224において及びスライダー226上に示されるように、15歳〜22歳のパラメーターの重み付け係数（これは、第1の検出ストラテジーにのみ影響し、第2の検出ストラテジーには影響しない）は、24に設定されている。以前には、このパラメーターの重み付け係数は、228において示されるように、10に設定されていた。
【０１０９】
フィールド216は、期間に関する、第2の検出方法に関する。この例では、期間は、例えば夜間状況の間に発生した事象に注目するために、フィールド230及び232にそれぞれ示されるように、23:00（11:00 pm）〜07:00（7:00 am）に設定されている。ボックス234において及びスライダー236上に示されるように、23:00〜07:00の期間パラメーターを満たす記録の重み係数は、10に現在設定されている。以前にも、このパラメーターの重み係数は、238において示されるように、10に設定されていた。
【０１１０】
フィールド218は、取引額に関する、第3の検出方法に関する。この例では、フィールド240において示されるように、特定の金額は、500.00ユーロに設定されている。この金額は、銀行限度額（bank limit）に関することができる。ボックス244において及びスライダー246上に示されるように、このパラメーターの重み係数は、10に現在設定されている。以前にも、このパラメーターの重み係数は、248において示されるように、10に設定されていた。
【０１１１】
アイコンのセット294は、現在、インターフェース200は、データがリスト形式で表示される第1のモードにあり、このモードと、グラフが示される別のモードとの間で切り替えることができることを示している。
【符号の説明】
【０１１２】
１：取引          
１００：ユーザーインターフェース          
１０２：日付フィールド          
１０４：ユーザーがリファレンスストラテジーを指定することを可能にするフィールド          
１０５：示された日付（及び指定される任意のオプションのリファレンスストラテジー）及び示された他の指定された入力に対して現在指定されている検索ストラテジーを実行するように機能する適用ボタン          
１０６：「閾値」フィールド          
１０８：ボックス          
１１０：フィールド          
１１２：スライダー          
１１４，１１６，１１８：フィールド          
１２０，１２２：フィールド          
１２４：ボックス          
１２６、１２８：スライダー          
１３０、１３２：フィールド          
１３４：ボックス          
１３６、１３８：スライダー          
１４０，１４２：フィールド          
１４４：ボックス          
１４６、１４８：スライダー          
１５０：シミュレーション開始ボタン          
１５２：保存ボタン          
１６０：グラフ          
１６２：実証済み不正カテゴリ          
１６４：偽陽性カテゴリ          
１６６：未分類（又は未判定）カテゴリ          
１７０：バーチャート          
１７２：第1のバー          
１７４：第2のバー          
１８０：組成及び効率性計算の数値的内訳に関するチャート          
１９０：バーチャート          
１９４：アイコンのセット          
２：第1のモデルモジュール          
２００：ユーザーインターフェース          
２０１：機械学習アルゴリズム選択パネル          
２０２：チェックボックス          
２０２：日付フィールド          
２０４：フィールド・ユーザーが、第1の検出ストラテジー又は第2の検出ストラテジー又はこれらの組み合わせの何らかのバージョンに関連することができるリファレンスストラテジーを指定          
２０５：示された日付（及び指定される任意のオプションのリファレンスストラテジー）及び示された他の指定された入力に対して現在指定されている検索ストラテジーを実行するように機能する適用ボタン          
２０６，２０７，２０８：アルゴリズムパラメーターフィールド          
２１４、２１６、２１８：フィールド          
２２０，２２２，２３０、２３２、２４０：重み付け係数を設定するためのパラメーターフィールド          
２２０、２２２：フィールド          
２２４：ボックス          
２２６，２３６，２４６：スライダー          
２２８：以前示された、このパラメーターの重み付け係数          
２３０、２３２：フィールド          
２３４：ボックス          
２３６：スライダー          
２３８：以前示された、このパラメーターの重み係数          
２４：15歳〜22歳のパラメーターの重み付け係数（これは、第1の検出ストラテジーにのみ影響し、第2の検出ストラテジーには影響しない）          
２４０：フィールド          
２４４：ボックス          
２４６：スライダー          
２４８：以前示された、このパラメーターの重み係数          
２５１１〜２５１４：取引番号          
２６０：共同リスト          
２６１：取引番号列          
２６２：真のラベルの列          
２６３：ブール変数ベクトルの列          
２６４：第1の検出スコア（「重みスコアの総和」又は「重みの総和」とも称される）          
２６４：別の列、重みの総和          
２６５：機械学習モデルスコア          
２６５：列          
２６６：列          
２８０：マーキングされた記録リスト          
２８１：類似記録リスト          
２９０：特性検出方法リスト          
２９４：アイコンのセット          
３：第2のモデルモジュール          
４：取引のリスト          
５：領域専門家によって手作業で調査される          
６：発見された不正を防止するためにアクションが取られる     
【０１１３】
図面訳
図1
Transactions  取引
First Model  第1のモデル
Second Model  第2のモデル
Transactions Ranked by Risk  リスクによってランク付けされた取引
Fraudulent Transactions Prevented  防止される不正取引
Undiscovered Fraudulent Transactions  未発見の不正取引
図2A
Calibration Settings for Strategy "FraudManagement Claims BusinessContent"  ストラテジー「不正管理がビジネスコンテンツの保険金を請求する」のための較正設定
Start Date  開始日
End Date  終了日
Reference Strategy  リファレンスストラテジー
Apply  適用
Comparison  比較
Number of Processed Records: 12  処理された記録の数：12
Number of Alert Items  アラート項目数
Proven Fraud  実証済み不正
False Positive  偽陽性
Unclassified  未分類
Composition  組成
Actual  実際
Simulation  シミュレーション
Reference  リファレンス
Alert items  アラート項目
New Alert Items  新たなアラート項目
Total  総数
Efficiency  効率
(PRIOR ART)  （従来技術）
図2B
Simulation Tuning  シミュレーション調整
Start Simulation  シミュレーション開始
Save  保存
Threshold  閾値
Was: 15  以前：15
Detection Methods  検出方法
Age of insured is between 'age_From'and 'age_to'  被保険者の年齢は、'age_From'〜'age_to'である。
Was: 10  以前：10
Parameters  パラメーター
Time of collision is between x and y hours  衝突時刻は、x〜yである。
Begin of Time Period  期間の開始
End of Time Period  期間の終了
Accident with major damage and minor injury  重度の破損及び軽度の損傷を有する事故
Amount of Loss  損害額
Injury level of an injured person in %  被保険者の損傷レベル（%単位）
(PRIOR ART)  （従来技術）
図3A
Calibration Settings for Strategy"detection of fraudulenttransactions"  ストラテジー「不正取引の検出」のための較正設定
Start Date  開始日
End Date  終了日
Reference Strategy  リファレンスストラテジー
Apply  適用
Comparison  比較
Number of Processed Records: 4  処理された記録の数：4
transaction number  取引番号
true label  真のラベル
Boolean variable vector  ブール変数ベクトル
sum of weights  重みの総和
score first machine learning model  第1の機械学習モデルのスコア
new priority  新たな優先順位
Non-fraudulent  非不正
Fraudulent  不正
Marked records  マーキングされた記録
Similar records  類似記録
characteristic detection methods  特性検出方法
図3B
Machine learning algorithm selection  機械学習アルゴリズム選択
gradient boosting machine  勾配ブースティングマシン
random forest  ランダムフォレスト
support vector machine  サポートベクトルマシン
Detection Methods  検出方法
Detection Method 1  検出方法1
Was: 10  以前：10
Parameters  パラメーター
Detection Method 2  検出方法2
Begin of Time Period  期間の開始
End of Time Period  期間の終了
Detection Method 3  検出方法3
Amount  金額
【図１】
2020523715.tif 000003
【図２Ａ】
2020523715.tif 000004
【図２Ｂ】
2020523715.tif 000005
【図３Ａ】
2020523715.tif 000006
【図３Ｂ】
2020523715.tif 000007
【国際調査報告】
2020523715.tif 000008
2020523715.tif 000009