Brevet FR3096164A1 — publié le 20201120

Description Titre de l'invention : Evaluation calibrée d'un modèle prédictif pour la détection automatique de fraudes dans un flux de transactions [0001] L'invention concerne le domaine de la détection automatique (le fraudes dans un ensemble de transactions établies sur un réseau de télécommunication. En particulier, elle concerne l'estimation des performances du modèle utilisée pour la détection automatique en fonction des fluctuations des caractéristiques des transactions au cours du temps. [0002] CONTEXTE DE L'INVENTION [0003] Certaines applications disponibles via des réseaux de télécommunication peuvent être sujettes à des fraudes de la part d'utilisateurs malveillants. C'est notamment le cas des transactions financières établies avec des applications de paiement en ligne ou bancaires. [0004] 11 est donc important de pouvoir détecter ces fraudes le plus tôt possible et le plus ef- ficacement possible. Dans la mesure où le nombre de transactions à considérer peut être extrêmement important, des systèmes de détection automatique de fraude ont été développés. [0005] Les systèmes de détection se basent généralement sur des algorithmes d'intelligence artificielle, et plus particulièrement de classification par des techniques de « machine learning », ou apprentissage automatique. Ces techniques reposent sur l'entrainement d'un modèle qui peut être exploité pour automatiquement classer une transaction entrante en tant que fraude ou en tant que normale. [0006] Dans les systèmes récents, le modèle est périodiquement contrôlé afin de vérifier qu'il est toujours représentatif des flux de transactions entrantes. Ainsi, si les caractéristiques du flux de transaction évoluent de sorte que le modèle ne soit pas à même de prédire efficacement si une transaction est une fraude ou non, cela peut être détecté et des mesures correctives peuvent être mises en oeuvre. [0007] L'évaluation des performances du modèle se basent généralement sur une double métrique : une précision et un taux de rappel, selon le modèle « AUC PR ». Toutefois, il s'avère que cette métrique ne permet pas de détecter clairement les évolutions des caractéristiques. En particulier, les inventeurs ont démontrés qu'elle était très sensible à certaines évolutions normales des flux de transaction, de sorte qu'elle aura tendance à déclencher une alerte sur la dérive du modèle de prédiction alors que pourtant celui-ci est toujours correctement en ligne avec la nature du flux de transaction à traiter. Résumé de l'invention 100081 Le but de la présente invention est de fournir une solution palliant au moins par- 2 tiellement les inconvénients précités. Plus particulièrement, l'invention vise à fournir une évaluation des performances du modèle permettant d'extraire les évolutions pertinentes des caractéristiques du flux de transactions, notamment celles devant engendrer une action correctrice, ou, tout du moins, une information des opérateurs du dispositif de détection de fraudes. [0009] A cette fin, la présente invention propose un procédé de détection automatique de fraudes dans un flux de transactions transmises à travers un réseau de télécommunication, comprenant l'exploitation d'un modèle prédictif permettant de classer une transaction dudit flux comme fraude ou comme transaction normale, et comprenant en outre l'évaluation périodique dudit modèle par l'estimation d'un taux de rappel et d'une précision, sur un échantillon de transactions dudit flux, et sur la hase des classes, vAattribuées par ledit modèle aux transactions dudit échantillon, dans lequel ladite P précision est calibrée en fonction d'un taux de fraudes, n, parmi ledit échantillon. 100101 Suivant des modes de réalisation préférés, l'invention comprend une ou plusieurs des caractéristiques suivantes qui peuvent être utilisées séparément ou en combinaison partielle entre elles ou en combinaison totale entre elles : - ledit taux de rappel et ladite précision sont évalués en comparant lesdites classes attribuées par ledit modèle avec des étiquettes (yr) attribuées par un opérateur, et dans lequel ledit taux de fraudes (n) dans ledit échantillon cst déterminé par ledit opérateur ; - ledit échantillon est constitué de la totalité des transactions reçues pendant une période predefinic, ladite période pouvant notamment être une journée ou un ensemble de journées ; - on détermine ladite précision calibrée Pc en fonction d'un nombre de vrais positifs, TP, d'un nombre de faux positifs, FP, dudit taux de fraudes, n et d'un taux de fraudes de référence no. [0011] Un autre aspect de l'invention concerne un programme d'ordinateur comportant des instructions de programme pour l'exécution des étapes d'un tel que précédemment décrit lorsque ledit programme est exécute par un ordinateur [0012] Un autre aspect de l'invention concerne dispositif d'évaluation d'un modèle prédictif configure pour classer une transaction d'un flux de transaction reçus à travers un réseau de télécommunication, comme fraude ou comme transaction normale, configure pour l'évaluation périodique dudit modèle par l'estimation d'un taux de rappel et d'une précision, sur un échantillon de transactions dudit flux, et sur la base des classes tif' i attribuées par ledit modèle aux transactions dudit échantillon, ladite précision étant calibrée en fonction d'un taux de fraudes parmi ledit échantillon. [0013] Suivant des modes de réalisation préférés, l'invention comprend une ou plusieurs des caractéristiques suivantes qui peuvent être utilisées séparément ou en combinaison 3 partielle entre elles ou en combinaison totale entre elles : - le dispositif est configuré pour évaluer ledit taux de rappel et ladite précision en comparant lesdites classes attribuées par ledit modèle avec des étiquettes y, attribuées par un opérateur, et pour déterminer ledit taux de fraudes n dans ledit échantillon par ledit opérateur ; - le dispositif est configuré pour déterminer ladite précision Pc) en fonction d'un nombre de vrais positifs, TP, d'un nombre de faux positifs, FP, dudit taux de fraudes, or et d'un taux de fraudes de référence nü. [0014] Un autre aspect de l'invention concerne un système comportant un dispositif d'évaluation (tel que précédemment décrit et un dispositif de détection automatique de fraude contenant ledit modèle prédictif. [0015] D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit d'un mode de réalisation préféré de l'invention, donnée à titre d'exemple et en référence aux dessins annexés. Brève description des dessins [0016] La [fig.1] illustre une architecture pour la détection de fraudes selon un mode de réa- lisation dc l'invention. [0017] La [fig.2] montre des courbes donnant unc mesure dc performance en fonction du taux de fraudes. [0018] La [fig.3] illustre une problématique sous-jacente résolue par la présente invention. [0019] La [fig.4] illustre les résultats d'une simulation sur un échantillon selon l'étant dc la technique et selon un mode de réalisation dc l'invention, permettant leur comparaison. Description des modes de réalisation 100201 L'invention peut s'appliquer à plusieurs domaines technologiques. 100211 Notamment, elle peut s'appliquer à la détection de fraudes dans des transactions d'un système de paiement, par exemple par cartes bancaires. Ces systèmes reçoivent des très grands nombres de transaction et nécessitent donc des mécanismes automatiques de détection de fraude aussi performants que possible. Notamment, ces mécanismes de détection de fraude doivent maximiser la détection des fraudes réelles, et minimiser les fausses alertes car celles-ci, compte tenu du volume extrêmement important de données, engendrent des couts important de vérification par des opérateurs humains. 100221 L'invention peut également s'appliquer à la détection de fraudes dans d'autres domaines, et notamment dans l'accès à des services de télécommunication. D'une façon générale, l'invention trouve un intérêt dans la détection de fraudes lorsqu'il y a un fort déséquilibre entre le taux de fraudes et le taux de transactions normales. 100231 La figure 1 illustre une architecture pour la détection de fraudes selon un mode de réalisation de l'invention. Un flux de transactions y est reçu à travers un réseau de communication 3 par un dispositif de détection de fraudes 1. Ces transactions sont notées ti où i est un indice de la transaction au sein du flux. [0024] Le dispositif de détection de fraudes 1 comprend un modèle prédictif 11 qui permets de classer, de façon binaire, une transaction entrante ti en tant que transaction frauduleuse ou en tant que transaction normale. Le modèle est donc configuré pour effectuer une classification binaire, parmi deux classes. Cette prédiction est notée )"," pour la transaction t. Plus précisément, selon un mode de réalisation, le modèle prédit dans un premier temps une probabilité entre 0 et 1 qui peut ensuite être « binarisé », c'est-à-dire affectée à une des deux classes 0 et 1, à l'aide d'un seuil de décision S. 100251 La définition de ce qu'est une transaction frauduleuse sort du contexte de l'invention, et peut dépendre du champ d'application. Toutefois, d'une façon générale, une transaction frauduleuse est caractérisée par l'apprentissage qui a été préalablement effectuée du modèle prédictif 11. D'une façon connue en soi et selon un mode de réalisation possible, un ensemble de transactions d'un ensemble d'apprentissage est présentée au dispositif de détection de fraudes 1 ainsi que des étiquettes lui indiquant, pour chaque transaction, si celle-ci est une fraude ou une transaction normale. De façon itérative, les paramètres du modèle prédictifs 11 sont ainsi configurés afin de modéliser le comportement général de l'ensemble d'apprentissage. Ce modèle peut ensuite être utilisé sur d'autres transactions afin de « prédire » une valeur yi>i de classe pour ces autres transactions. [0026] D'autres modes de réalisation sont possibles. On peut citer comme mots-clés des techniques possibles pour mettre en oeuvre un tel modèle prédictif : l'apprentissage supervisé ou non supervisé, les technologies de « deep learning », les réseaux de neurones, les réseaux bayésiens, etc. L'invention est indépendante de la technologie utilisée. Dans la suite, le modèle prédictif 1 I peut être considéré comme une «boite noire » qui ne nécessite pas d'être détaillé et dont le comportement est connu de l'homme du métier. [0027] En général, sur un grand nombre de données, le taux de fraudes est très bas. Toutefois, les fraudes pouvant avoir des conséquences désastreuses du point de vu de l'application (paiement par cartes bancaires, transactions financières...), il est crucial de pouvoir les détecter avec une efficacité très élevée et dans un temps très court. En particulier, il existe un besoin fort d'une détection en temps réel, c'est-à-dire de sorte à ce que la transaction ne soit pas clôturée et validée si celle-ci est une fraude. [0028] Dans les systèmes récents, les dispositifs de détection de fraudes 1 sont régulièrement et/ou périodiquement évalués afin de vérifier que le modèle 11 est toujours en ligne avec le comportement du flux de transaction t entrants. En effet, le modèle 11 ayant été entrainé sur un ensemble d'apprentissage donné, capturant un certain comportant supposé être celui du flux de transaction à un instant donné, il peut ne plus capturer le flux de transaction si son comportement a évolué depuis cet instant donné. [0029] Par exemple, le modèle prédictif 11 se hase sur des transactions de paiement issues principalement d'utilisateurs humains. Le comportement humain peut être largement modélisé, mais tout modèle comporte des limites et le modèle peut d'une part ne pas réussir à prédire des tendances de fond nouvelles (saisonnières, effets de mode...), niais d'autre part aussi ne pas pouvoir prendre en compte des événements exceptionnels (crises financières, événements sportifs..), etc. Par nature, donc, le modèle prédictif 11 doit être constamment adapté et pour ce faire, des métriques doivent être mises en place afin d'évaluer son efficacité. [0030] Le déséquilibre entre le taux de fraudes et le taux de transaction influence fortement le choix des métriques en question. Ainsi, ainsi qu'expliqué dans J. Frcry, An Habrad, M. Sebban, O. Caelen, et L. Hc-Guclton, dans « Efficient top rank optitnization with gradient hoosting for supervised anothaly detection »in Joint European Conference on Machine Learning and Knowledge Discovery in Datahases, pp. 20-35, Springer, 2017, il apparait que les métriques de précision et de taux de rappel forment de meilleurs métrique que, notamment, la fonction d'efficacité du récepteur, ROC (pour "receiver operating characteristic" en anglais). [0031] Plus précisément, une métrique qui peut être utilisée est la surface sous la courbe précision/rappel, ou AUC-PR pour « Area Under the Curve of Precision-Recall ». [0032] Les métriques sont mesurées sur des échantillons de transactions du flux entrants. Cet échantillon peut être constitué de la totalité des transactions reçues pendant une période prédéfinie, cette période pouvant notamment être une journée ou un ensemble de journées (une semaine, un mois). [0033] Des données de cet échantillon peuvent être stockées dans une base de données 21 d'un dispositif d'évaluation 2. Notamment, les prédictions ir7 i correspondant aux tran- sactions sactions ti de l'échantillon peuvent être stockées en temps réel dans la base de données 21. [0034] Par ailleurs, à la fin de la période correspondant à cet échantillon, des données sup- plémentaires peuvent être stockée. Notamment, une étiquette yi peut être attribuée chaque transaction ti de l'échantillon par un dispositif d'étiquetage 22. Ce dispositif d'étiquetage peut faire appel à un opérateur humain qui vérifie si une transaction est réellement une fraude ou une transaction normale (c'est-à-dire non frauduleuse). Il est donc possible d'associer dans la base de données 21, pour chaque transaction de l'échantillon d'évaluation, une valeur prédite -Li let une valeur attribuée yi. [0035] Pour un seuil donné, ces deux informations permettent de déterminer des métriques de plus haut-niveau (ou agrégés) que sont, notamment, 6 - le taux de vrais positifs, TP, - le taux de faux positifs, FP, - le taux de vrais négatifs, TN, - le taux de faux négatifs, FN. [0036] Ces métriques sont en soi bien connues de l'homme du métier. [0037] De là, on peut définir la précision Pet le taux de rappel R de la façon suivante : [Math .1] TP P TP+FP [0038] et [Math.2] l'P TP+FN [0039] On peut également définir, comme paramètre, le taux de fraudes, ot, au sein de l'échantillon sur lequel le modèle est évalué. [0040] Cc paramètre peut être déterminé par l'opérateur humain. Il peut également être auto- matiquement calculé, par exemple selon l'expression suivante : [Math.3] TP + FP TP + FP + TN + FN [0041] La fig. 2 illustre des courbes donnant une mesure de performance en fonction du taux de fraudes. Plus précisément, elle montre trois courbes, chacune selon une mcsurc de performance distincte : une mcsurc Fl, une mcsurc AUC-PR, une mcsurc AUC-ROC, une mesure AUC-PR gain, qui est une variante de la mesure AUC-PR, telle que décrite dans P. Flach et M. Kull, « Precision-reeall-gain curves : Pr analysis done right » in Advandes in Neural Information Processing Systems, pp. 838-846, 2015. La mesure Fl (ou « F score »), ainsi que les notions de précisions et de rappel, sont par exemple explicitées sur la page wikipcdia : https://fr.wikipedia.org/wiki/Pr%C3%A9cisionstrappel [0042] En abscisse figure le taux de fraude T. On voit ainsi que les courbes Fl, AUC-PR et AUC-PR gain sont fortement influencées par ce taux de fraude. La courbe AUC-ROC est peu sensible à ce taux de fraudes, mais comme précédemment évoqué, la per- 7 formance de cette métrique est médiocre dans le cas d'un flux fortement déséquilibré en transactions positives et négatives. Elle ne peut donc pas être utilisée valablement pour la détection de fraudes. [0043] Il en résulte que les mesures de performances du modèle prédictif utilisées dans l'état de l'art varient en fonction du taux de fraude dans le flux de transaction entrants. Or, le taux de fraude est une donnée très variable au cours du temps. Dès lors, cette variation, d'un jour à l'autre par exemple, du taux de fraude va impacter les métriques de l'état de la technique et alerter les opérateurs et nécessiter d'importantes vérification du modèle prédictif, alors même qu'en dehors de cette variation du taux de fraude, les autres paramètres peuvent rester constant et donc permettre au modèle prédictif de prédire correctement si une transaction est une fraude ou non. [0044] Autrement dit, le modèle prédictif vise à déterminer si une transaction est une fraude ou non et cette tâche ne dépend pas du taux de fraudes dans les données entrantes. Pourtant la métrique d'évaluation est sensible à ce taux de fraudes et va évaluer négativement le modèle dès lors que le taux de fraudes diminue, indépendamment des performances réelles du modèle. [0045] Les inventeurs ayant constatés cette limite de l'état de la technique, on définit une nouvelle métrique, qui est calibrée en fonction de ce taux de fraudes Tr. [0046] La raison sous-jacente peut s'expliquer en considérant la figure 3. Dans cette figure, les transactions sont ordonnées de gauche à droite en fonction leur probabilité d'être une fraude ainsi que déterminé par le modèle prédictif. Un seuil S est défini, classiquement, afin de partager cet espace des probabilités en deux classes i';\ = 0 et -7 i = 1, représentative respectivement d'une transaction normale et d'une transaction frauduleuse. [0047] Les ronds représentent des transactions réellement frauduleuses, et les carrés des transactions normales. Ainsi, un « rond » est un vrai positif ou un faux négatif selon s'il se situe, respectivement, à droite ou à gauche du seuil S. [0048] Deux situations sont représentées : sur ligne du haut, un premier exemple avec un taux de fraudes donné, et sur la ligne du bas, un second exemple, basé sur le premier niais dans lequel une partie des transactions réellement positives a été aléatoirement et uniformément supprimée. Ainsi, on voit que des ronds ont disparu. Le taux de fraudes est donc inférieur dans ce deuxième cas. [0049] On peut également voir que pour un même seuil, la précision est modifiée, tandis que le taux de rappel est constant. On a en effet Cas 1 : P= 4 /(4+3) = 0.57 ; et R = 4/(4+2) = 0.67 Cas 2 : P = 2/(2+3) = 0.4 ; et R = 2/(2+1) = 0.67 La métrique basé sur la mesure du dessous de la courbe, AUC-PR, suit la même 8 influence ; plus le taux de fraudes est réduit et plus la métrique AUC-PR diminue. [0050] Selon l'invention, le dispositif d'évaluation 2 comprend également un dispositif d'analyse 23 qui a pour but d'exploiter les données stockées dans la base de données 21 afin de déterminer les métriques d'évaluation du modèle (précision, taux de rappel, surface sous la courbe précision/rappel, etc.) Ce dispositif d'analyse 23 peut également déterminer le nombre de vrais positifs, TP, le nombre de faux positifs, FP, le nombre de vrais négatifs, TN, le nombre de faux négatifs, FN, le taux de fraudes t... [0051] Le nombre de vrais positifs TP est le nombre de transactions classées comme fraude = 1) et étant effectivement étiquetées comme fraude (yi=1). Le nombre de faux positifs FP est le nombre de transactions classées comme fraude (./ = 1) et étant étiquetée comme transactions normales (yi=0). Le nombre de vrais négatifs TN est le nombre de transaction classées comme normales (15' = 0) et étant effectivement étiquetées comme normales (yi=0). Le nombre de faux négatifs FN est le nombre de transactions classées con-irne normales. = 0), mais étant étiquetées comme fraudes (yi=1). [0052] Selon l'invention, la précision est calibrée en fonction d'un taux de fraudes parmi ledit échantillon. [0053] Pour ce faire, un taux de fraudes de référence rcr, est choisi entre 0 et 1. Par exemple, une valeur de 0.5 peut être arbitrairement fixée. Il est toutefois préférable de baser ce taux de référence 310 sur l'historique. Par exemple, il peut être fixé égal à la moyenne du taux de fraudes sur une période précédente, par exemple sur l'année précédente. [0054] Afin d'évaluer le modèle prédictif sur la base d'un échantillon, on détermine tout d'abord le taux de fraudes de cet échantillon. Puis, pour le calcul de la précision P, on pondère le nombre de vrais positifs, TP ou le nombre de faux positif FP dans cet échantillon, en fonction de ces taux de fraudes TE et 7t0. On cherche ainsi à estimer la précision à la valeur, abstraite, qu'elle aurait eu si le taux de fraudes avait été le taux de référence 310. [0055] On considère un cas de référence avec un taux de référence :70, un nombre de tran- sactions positives (en fraude), N40 et un nombre de transactions négatives (normales) N _. Dans un second cas, le taux de fraudes est 7c, et les nombres de transactions positives et négatives sont, respectivement, N+ et N_. [0056] On peut alors écrire : [Math.4] 7T - TC [Math.5] 9 N+0 [0057] On peut alors en déduire que : [Math.6] irCl 0) N rc 0(1 [0058] Autrement dit, étant donné les valeurs prédites de classes -1,12i et les valeurs réelles yi, fournies par des étiquettes attribuées le dispositif d'étiquetage 22, on peut dire que si le taux de fraudes avait été no au lieu de 3T, alors le nombre de transactions classées en positives aurait été approximativement divisé par le ratio n (1 - n 0) , alors que le n 0 ( 1 - ) nombre de faux négatifs aurait été inchangé. [0059] On peut alors définir une précision calibrée Pc par l'expression suivante : [Math.7] TP TP - na. go (1 - TP - 0) + ) Jr(l. - z 7'P + 1' FP re 0(1 - Tr) "r0(1. 7r) 100601 On peut remarquer que lorsquen=nola précision calibrée est égale à la précision calculée pour un taux de fraude no, car alors TT ( 1 - n 0) La précision n 0(1 n ) = calibrée Pc peut donc être considérée comme la précision de référence qui aurait été obtenue si le taux de fraude n avait été égal au taux de référence no. [0061] Ainsi, en utilisant cotte précision calibrée Pc comme métrique d'évaluation, les deux métriques, précision et taux de rappel, sont indépendantes du taux de fraudes dans l'échantillon considéré. En conséquence, tout autre métrique construite à partir de ceux métriques, comme la surface sous la courbe précision/rappel, AUC-PR, devient également indépendante du taux de fraudes T. [0062] La figure 4 illustre les résultats d'une simulation sur un échantillon comportant un grand nombre de transactions En abscisse figure le pourcentage de transaction positive supprimée afin de faire varier le taux de fraudes 3T, et en ordonnée, le résultat de plusieurs métriques de performance : AUC-PR, AUC-PR gain, et Fl, respectivement avec une précision calculée selon l'état de la technique et avec une précision calibrée selon un mode de réalisation de l'invention. [0063] On voir clairement qu'alors que les métriques AUC-PR, AUC-PR gain, et Fl, conformes à l'état de la technique dépendent fortement du taux de fraude, les métriques prenant en compte une précision calibrée Ri en sont indépendantes (les courbes sont horizontales). [0064] Dès lors, les métriques basées sur une précision calibrée deviennent représentatives d'autres types de variations au sein de l'échantillon. Elles permettent donc de déceler une évolution pertinente dans les caractéristiques comportementales du flux de transaction. [0065] Une telle variation peut être automatiquement décelée par comparaison avec un seuil, par exemple, et la détection d'une telle variation peut permettre de déclencher une action. Cette action peut consister à alerter un opérateur et/ou être une action corrective visant à débuter un apprentissage incrérnentale supplémentaire du modèle prédictif 11 afin de l'adapter aux nouvelles conditions du flux de transactions [0066] Bien entendu, la présente invention n'est pas limitée aux exemples et au mode de réa- lisation décrits et représentés, mais elle est susceptible de nombreuses variantes accessibles à l'homme de l'art. 11 [Revendication 1] [Revendication 2] [Revendication 3] [Revendication 4] [Revendication 5] REVENDICATIONSProcédé de détection automatique de fraudes dans un flux de transactions transmises à travers un réseau de télécommunication, comprenant l'exploitation d'un modèle prédictif (11) permettant de classer une transaction dudit flux comme fraude ou comme transaction normale, et comprenant en outre l'évaluation périodique dudit modèle par l'estimation d'un taux de rappel (R) et d'une précision (P), sur un échantillon de transactions (t1) dudit flux, et sur la hase des classes );-,1 attribuées par ledit modèle aux transactions dudit échantillon, dans lequel ladite précision est calibrée en fonction d'un taux de fraudes (n) parmi ledit échantillon. Procédé selon la revendication précédente, dans lequel ledit taux de rappel et ladite précision sont évalués en comparant lesdites classes attribuées par ledit modèle avec des étiquettes (y,) attribuées par un opérateur, et dans lequel ledit taux de fraudes (n) dans ledit échantillon est déterminé par ledit opérateur. Procédé selon l'une des revendications précédentes, dans lequel ledit échantillon est constitué de la totalité des transactions reçues pendant une période prédéfinie, ladite période pouvant notamment être une journée ou un ensemble de journées. Procédé selon la revendication 2, dans lequel on détermine ladite précision calibrée (Pc) en fonction d'un nombre de vrais positifs, TP, d'un nombre de faux positifs, FP, dudit taux de fraudes, net d'un taux de fraudes de référence no. Procédé selon la revendication précédente, dans lequel ladite précision P est donnée par l'expression : TP zr(1 - Tro) TP + FP 7r0(1 ir) [Revendication 6] Programme d'ordinateur comportant des instructions de programme pour l'exécution des étapes d'un procédé selon l'une des revendications précédentes lorsque ledit programme est exécuté par un ordinateur Dispositif d'évaluation (2) d'un modèle prédictif (11) configure pour classer une transaction d'un flux de transaction reçus à travers un réseau de télécommunication (3), cormine fraude ou comme transaction [Revendication 7] Pc 12 [Revendication 81 normale, configuré pour l'évaluation périodique dudit modèle par l'estimation d'un taux de rappel (R) et d'une précision (P), sur un échantillon de transactions (ti) dudit flux, et sur la hase des classes ( )1ii) attribuées par ledit modèle aux transactions dudit échantillon, [Revendication 9] ladite précision étant calibrée en fonction d'un taux de fraudes (n) parmi ledit échantillon. [Revendication 10] Dispositif selon la revendication précédente, configuré pour évaluer ledit taux de rappel et ladite précision en comparant lesdites classes attribuées par ledit modèle avec des étiquettes (y,) attribuées par un opérateur, et pour déterminer ledit taux de fraudes (n) dans ledit échantillon par ledit opérateur. Dispositif selon la revendication précédente, configuré pour déterminer ladite précision calibrée (Pu) en fonction d'un nombre de vrais positifs, TP, d'un nombre de faux positifs, FP, dudit taux de fraudes, net d'un taux de fraudes de référence nü. Système comportant un dispositif d'évaluation (2) selon l'une des revendications 7 à 9, et un dispositif de détection automatique de fraude (I) contenant ledit modèle prédictif (11)