FR 3069357 A1 20190125 FR 1756823 A 20170718 SYSTEME D'APPRENTISSAGE MACHINE POUR DIVERSES APPLICATIONS INFORMATIQUES Domaine technique de l'invention [0001] L'invention concerne le domaine des systèmes de détection de fraude durant une authentification, en particulier durant une authentification, une opération ou une transaction. Etat de la technique antérieure [0002] En raison du volume en constante augmentation des échanges électroniques, les divers acteurs recherchent constamment de nouvelles façons de détecter une fraude durant des authentifications, opérations ou transactions. [0003] Avec la grande quantité de données que nous voyons de nos jours, l'observation humaine traditionnelle ne répond pas aux exigences essentielles pour l'établissement d'une détection précise d'une fraude étant donné la quantité, la diversité et la nature dynamique des comportements malveillants. [0004] Les systèmes utilisant des procédés modernes basés sur des données et des méthodes d'apprentissage autonome commencent à être utilisés pour la détection de défauts dans des applications informatiques, comme par exemple des fraudes à l'authentification, en particulier celles liées à l'utilisation de cartes de crédit. [0005] Pour ce faire, ces systèmes utilisent généralement des réseaux neuronaux dont l'apprentissage statistique est basé sur des forêts d'arbres décisionnels (forêts aléatoires) qui analysent un échantillonnage de données non séquentielles. 2 [0006] Néanmoins, l'utilisation d'un apprentissage par arbre décisionnel peut générer des arbres décisionnels très complexes qui généralisent mal l'ensemble de formation et conduisent à l'acceptation d'une identification frauduleuse qui ne va pas être détectée. 5 [0007] On a par conséquent besoin d'un système rendant possible l'identification d'anomalies qui ne sont pas détectées par les réseaux neuronaux dont l'apprentissage statistique est basé sur des forêts d'arbres décisionnels (forêts aléatoires). 10 Description de l'invention [0008] L'objet de la présente invention consiste donc à proposer un système pour détecter une fraude durant une identification, permettant de surmonter au moins certains des inconvénients de la technique antérieure, en proposant un système d'apprentissage machine pour diverses 15 applications informatiques permettant une fouille de textes pour la détection de défauts ou d'anomalies dans une authentification, opération ou transaction effectuée par l'application, comprenant : - un agencement matériel et logiciel formant un système de prétraitement ; 20 - un agencement matériel et logiciel formant un réseau neuronal conduisant à un modèle de traitement de données enrichies agrégées, - un agencement matériel et logiciel pour l'injection de données enrichies agrégées dans le réseau neuronal, - un agencement matériel et logiciel pour valider l'opération ou 25 transaction sur la base des résultats obtenus à la sortie du réseau neuronal. [0009] Le réseau neuronal entraînant le modèle de traitement est avantageusement : - un réseau neuronal récurrent de type à mémoire à long et court terme (LSTM) ; - un réseau neuronal pour l'apprentissage statistique du type d'arbre de décision ; ou - une combinaison des deux. 3 [0010] Avantageusement, le réseau neuronal récurrent du type LSTM comprend au moins deux couches récurrentes et un Classificateur de Régression Logistique positionné au-dessus de la dernière couche récurrente prenant en compte le temps écoulé entre deux authentifications, 5 opérations ou transactions. [0011] Avantageusement, l'agencement matériel et logiciel pour valider l'authentification, opération ou transaction est paramétré avec une matrice d'indices de Jaccard afin que soit mesuré le degré de similarité entre les données de sortie d'un premier réseau neuronal du type LSTM et celles 10 provenant d'un agencement matériel et logiciel d'un deuxième réseau neuronal pour l'apprentissage statistique du type d'arbre de décision et pour valider les résultats de l'un des deux réseaux neuronaux. [0012] Il est avantageusement utilisé pour une application informatique permettant une prédiction de risque à partir de la détection 15 d'une fraude dans des opérations d'authentification d'objets de mémoire électronique contenant dans une zone une information secrète utilisée pour authentifier l'objet et son porteur. [0013] Avantageusement, l'agencement matériel et logiciel formant un réseau neuronal récurrent entraînant un modèle de type LSTM utilise un 20 GPU. [0014] Avantageusement, l'agencement matériel et logiciel formant un système de prétraitement comprend : - au moins une première base de données contenant au moins un ensemble de schémas séquentiels de données brutes concernant ladite 25 application informatique, - un agencement matériel et logiciel formant au moins une deuxième base de données contenant au moins un ensemble de données externes, - un agencement matériel et logiciel pour enrichir les données brutes au moyen des données externes, 30 - un agencement matériel et logiciel pour agréger les données enrichies. 4 [0015] Avantageusement, le système de prétraitement utilise un mode multifil. Brève description des figures 5 [0016] D'autres caractéristiques, détails et avantages de l'invention apparaîtront de façon évidente à la lecture de la description qui suit, en référence aux figures jointes, dans lesquelles : - La Figure 1 est une représentation schématique d'un réseau neuronal récurrent déroulé dans le temps par création d'une copie du modèle 10 pour chaque étape de temps. - La Figure 2 montre des courbes de précision-rappel moyennées sur tous les jours dans l'ensemble de test (la figure montre les résultats de la LSTM sur des séquences Longues). - La Figure 3 montre l'évolution de l'AUPCR sur tous les jours de test. 15 Les lignes pointillées horizontales indiquent l'AUPCR moyen pour chaque courbe (la figure montre les résultats de la LSTM sur des séquences Longues). - La Figure 4 montre une comparaison par paires des ensembles de positifs vrais de deux modèles mesurés avec l'indice de Jaccard et encodés 20 en couleurs dans une carte de densité ; - La Figure 5 montre l'architecture d'entraînement d'un modèle de LSTM. - La Figure 6 montre un méta-classificateur qui combine le modèle de LSTM et le modèle de forêts aléatoires. 25 - La Figure 7 montre une charpente de détection de fraude selon l'invention. Description détaillée de différents modes de réalisation de l'invention 30 [0017] La description qui suit se focalise sur une application de détection des fraudes à la carte de crédit du système, mais elle peut s'appliquer à d'autres fraudes, défauts ou anomalies dans une 5 authentification, opération ou transaction effectuée par diverses applications exécutées par un système ou réseau informatique. [0018] En fonction de la perspective envisagée, les authentifications, opérations ou transactions frauduleuses peuvent être comprises comme des 5 anomalies dans le comportement d'achat de consommateurs ou comme un ensemble de données aberrantes dans la classe des authentifications, opérations ou transactions véritables qui elles-mêmes forment une classe s'opposant aux transactions frauduleuses. Dans tous les cas, dans l'espace caractéristique, les fraudes se mêlent très bien aux authentifications, 10 opérations ou transactions véritables, pour deux raisons. Premièrement, les actions d'achat véritables faites par des millions de consommateurs couvrent naturellement un large spectre de variabilité. Et deuxièmement, les fraudeurs appliquent diverses stratégies inscrutables, quoique rationnelles, pour effectuer des actes frauduleux qui couvrent plusieurs comptes de 15 consommateurs sur diverses périodes de temps - mais à la fin, ces actes vont de même apparaître uniquement comme des authentifications, opérations ou transactions individuelles dans un ensemble de données. Des actions d'achat identiques peuvent en même temps refléter soit un comportement complètement légitime dans le contexte de certains 20 consommateurs, soit des anomalies évidentes dans le contexte d'autres consommateurs. [0019] Afin de supporter une meilleure discrimination parmi des authentifications, opérations ou transactions qui sont difficiles à distinguer, nous avons identifié deux approches qui nous permettent de résumer 25 l'historique des transactions de consommateurs et d'utiliser ce résumé durant la classification de transactions individuelles. Le premier procédé est une pratique bien établie dans le domaine de la détection des fraudes à la carte de crédit, et il se base sur une ingénierie de particularité manuelle. Avec le deuxième procédé, nous nous focalisons sur la récupération de la structure 30 séquentielle de l'historique d'authentifications, d'opérations ou de transactions d'un utilisateur en modélisant les dynamiques de transition entre 6 des authentifications, opérations ou transactions au moyen d'un réseau neuronal récurrent. [0020] Un réseau de mémoire à long et court terme (LSTM) est une variante spéciale d'un réseau neuronal récurrent (RNN). Les réseaux 5 neuronaux récurrents ont été développés dans les années 1980 [Williams et Hinton, 1986, Werbos, 1988, Elman, 1990] pour une modélisation des séries temporelles. La structure d'un RNN est similaire à celle d'une perception multicouche standard, avec comme différence qu'elle permet des connexions parmi des unités cachées associées à des étapes temporelles discrètes. Les 10 étapes temporelles indexent les éléments individuels dans une séquence d'entrée. Par l'intermédiaire des connexions entre des étapes temporelles, le modèle peut conserver des informations concernant les entrées passées, ce qui lui permet de découvrir des corrélations temporelles entre des événements qui sont éventuellement éloignés les uns des autres dans la 15 séquence d'entrée. Ceci constitue une propriété cruciale pour l'apprentissage approprié de séries temporelles dans lesquelles l'occurrence d'un événement est susceptible de dépendre de la présence de plusieurs autres événements encore plus éloignés dans le temps. [0021] Un réseau neuronal générique, avec une entrée xt et un état st 20 pour une étape temporelle t, est représenté par l'équation 1. St = W (s-i) Uxt b (1) [0022] Les paramètres du modèle 0 = {W, U, b) sont donnés par la matrice de poids récurrente W, la matrice de poids d'entrées U et les biais b. L'état initial so est le vecteur zéro et a est une certaine fonction d'activation 25 par élément non linéaire - tanh dans le présent cas. Un coût L mesure la performance du réseau sur une certaine tâche donnée et est typiquement 1 i>k [0028] Ce produit est la véritable raison pour laquelle il est si difficile d'apprendre des dépendances sur le long terme avec des procédés d'optimisation basés sur un gradient. Plus la dépendance entre t et k est as, ask 10 longue, et plus il y a de facteurs qui deviennent multipliés en , en conséquence de quoi la norme du gradient augmente ou diminue e exponentiellement avec t - k. Chaque facteur met en jeu à la fois la matrice de poids récurrente et la dérivée " . [Pascanu et al., 2013] montrent qu'il suffit que la valeur propre la plus importante de la matrice de 15 poids récurrente soit inférieure à 1 pour que des composants sur le long terme disparaissent, et il suffit qu'elle soit supérieure à 1 pour que les gradients explosent. [0029] Il existe plusieurs solutions pour réduire ces problèmes. L'utilisation d'une pénalité L1 ou L2 sur la matrice de poids récurrente peut 20 assurer que la valeur propre la plus importante ne dépasse jamais 1, étant donné une initialisation avec des poids suffisamment petits. Une autre proposition se base sur la supposition que si le modèle présente dès le début le même type de comportement asymptotique que celui requis par la cible, alors les gradients sons moins susceptibles d'exploser [Doya, 1993]. 9 Toutefois, il n'est pas insignifiant d'initialiser un modèle dans ce régime spécifique. Une troncation de gradient constitue une autre approche radicale qui met en jeu la troncation de composants par éléments du gradient quand ils dépassent un seuil fixé [Mikolov et al., 2011]. Finalement, une solution 5 pour éviter le problème de disparition de gradient a été proposé par [Hochreiter et Schmidhuber, 1997] par élimination de la dépendance directe as, à une matrice de poids récurrente dans as i_I [Bayer, 2015]. Cette structure de réseau modifiée est appelée réseau de mémoire à court et long terme (LSTM), et constitue l'état de la technique pour de nombreuses tâches 10 mondiales réelles telles que la reconnaissance vocale, la reconnaissance d'écriture manuscrite et la traduction machine statistique. [0030] En alternative à la modélisation de séquences d'authentification, d'opération ou de transaction avec une LSTM, on emploie une ingénierie de particularité traditionnelle. 15 [0031] Agrégations de particularités : un moyen pour extraire des informations à partir d'une séquence d'authentification, d'opération ou de transaction consiste à agréger les valeurs de certaines variables le long de la séquence. Pour assembler ces agrégations de particularités, on suit la procédure qui a récemment été proposée par [Bahnsen et al., 2016]. Cette 20 procédure, simple mais puissante, peut être considérée comme constituant l'état de la technique d'ingénierie de particularité dans la détection de fraudes à la carte de crédit. Ils ajoutent de nouvelles particularités à chaque authentification, opération ou transaction en fonction de certaines règles prédéfinies. La valeur d'une nouvelle particularité est calculée avec une 25 fonction d'agrégation appliquée à un sous-ensemble des transactions précédentes. Le but est de créer un enregistrement des activités à partir de l'historique des authentifications, opérations ou transactions d'un porteur de carte, qui quantifie le degré avec lequel l'authentification, opération ou transaction en cours se conforme aux précédentes. 30 [0032] On considère que JEN est la séquence d'authentifications, opérations ou transactions, ordonnée temporellement, 10 d'un porteur de carte donné, où t indexe les authentifications, opérations ou transactions individuelles dans sa séquence. On indique la valeur d'une variable particulière dans une authentification, opération ou transaction par ,(Antt) un exposant : par exemple, t est la quantité utilisée dans une 5 authentification, opération ou transaction xt. En se basant sur une seule authentification, opération ou transaction xk , on sélectionne un sous-ensemble d'authentifications, opérations ou transactions du passé jusqu'à un horizon temporel maximal th et en fonction de certaines variables nominales A et B : 10 Sk = agg({it}. L. A. B. th) (Temps) leTemps)) REVENDICATIONS1. Système d'apprentissage machine pour diverses applications informatiques permettant une fouille de texte pour la détection de défauts ou d'anomalies dans une authentification, transaction ou opération effectuée par l'application, comprenant : - un agencement matériel et logiciel formant un système de prétraitement ; - un agencement matériel et logiciel formant un réseau neuronal 10 conduisant à un modèle de traitement de données enrichies agrégées, - un agencement matériel et logiciel pour l'injection de données enrichies agrégées dans le réseau neuronal, - un agencement matériel et logiciel pour valider l'authentification, opération ou transaction sur la base des résultats obtenus à la sortie du 15 réseau neuronal. 2. Système selon la revendication 1, caractérisé en ce que le réseau neuronal entraînant le modèle de traitement est : - un réseau neuronal récurrent du type à mémoire à long et court 20 terme (LSTM) ; - un réseau neuronal pour l'apprentissage statistique du type d'arbre de décision ; ou - une combinaison des deux. 25 3. Système selon la revendication 1 ou 2, dans lequel le réseau neuronal récurrent du type LSTM comprend au moins deux couches récurrentes et un Classificateur de Régression Logistique positionné au-dessus de la dernière couche récurrente prenant en compte le temps écoulé entre deux authentifications, opérations ou transactions. 30 4. Système selon l'une des revendications précédentes, dans lequel l'agencement matériel et logiciel pour valider l'authentification, 29 opération ou transaction est paramétré avec une matrice d'indices de Jaccard afin que soit mesuré le degré de similarité entre les données de sortie d'un premier réseau neuronal du type LSTM et celles provenant d'un agencement matériel et logiciel d'un deuxième réseau neuronal pour 5 l'apprentissage statistique du type d'arbre de décision et pour valider les résultats de l'un des deux réseaux neuronaux. 5. Système selon l'une des revendications précédentes, qui est utilisé pour une application informatique permettant une prédiction de risque à partir de la détection d'une fraude dans des opérations d'authentification d'objets de mémoire électronique contenant dans une zone une information secrète utilisée pour authentifier l'objet et son porteur. 6. Système selon l'une des revendications précédentes, dans lequel l'agencement matériel et logiciel formant un réseau neuronal récurrent entraînant un modèle de type LSTM utilise un GPU. 7. Système selon l'une des revendications précédentes, dans lequel l'agencement matériel et logiciel formant un système de prétraitement 20 comprend : - au moins une première base de données contenant au moins un ensemble de schémas séquentiels de données brutes concernant ladite application informatique, - un agencement matériel et logiciel formant au moins une deuxième 25 base de données contenant au moins un ensemble de données externes, - un agencement matériel et logiciel pour enrichir les données brutes au moyen des données externes, - un agencement matériel et logiciel pour agréger les données enrichies. 30 8. Système selon l'une des revendications précédentes, dans lequel le système de prétraitement utilise un mode multifil.