FR 3146526 A1 20240913 FR 2302232 A 20230310 Analyse d’activité clavier On propose un procédé implémenté par ordinateur d’analyse d’activité clavier d’un utilisateur. Le procédé comprend une obtention (S21) des instants de pression et/ou de relâchement de touche pendant une frappe d’un texte de référence sur un système informatique client par l’utilisateur. Le texte de référence comprend un ou plusieurs mots. Le procédé comprend une détermination (S22), pour chaque mot respectif du texte de référence, de la valeur d’un vecteur caractéristique de dynamique de frappe pour le mot respectif. Le vecteur caractéristique comprend pour un mot frappé une ou plusieurs métriques déterminées chacune à partir des instants de pression et/ou de relâchement de touche pendant la frappe du texte de référence. Le procédé comprend une détermination (S23) de la valeur d’une signature pour le texte de référence à partir de chaque vecteur caractéristique déterminé. Le procédé d’analyse améliore la surveillance d’un utilisateur. [Fig. 1] Analyse d’activité clavier La présente divulgation concerne l’analyse d’activité clavier, et plus particulièrement un procédé d’analyse implémenté par ordinateur d’activité clavier, un procédé implémenté par ordinateur de surveillance d’une activité clavier, ainsi qu’un programme d’ordinateur et un système informatique serveur pour l’exécution de ces procédés. Arrière-plan technique Il existe aujourd’hui des systèmes intelligents capables de surveiller le monde physique en temps réel et de fournir des services à forte valeur ajoutée aux utilisateurs. Avec l’essor et le développement des technologies, la surveillance intelligente automatisée permet aujourd’hui, notamment à partir d’infrastructures et de réseaux complexes de traitement et de contrôle de l’information, d’améliorer la sécurité et de fournir une détection omniprésente. Pour la surveillance d’un utilisateur sur un système informatique, les solutions de surveillance existantes exploitent généralement une webcam dirigée vers l’utilisateur pour le surveiller à partir d’un flux vidéo. De telles solutions de surveillance peuvent par exemple être utilisées dans les classes virtuelles pour l’apprentissage à distance, par exemple pour permettre d’aider des superviseurs à assurer le bon déroulement d’un examen en ligne, par exemple dans un cadre scolaire ou académique. Parmi les fraudes recherchées, on retrouve le recours à une aide humaine extérieure (cette aide illicite pouvant être donnée de différentes façons) et l’utilisation d’une ressource non autorisée (l’apprenant utilisant un ensemble de ressources qui lui sont interdites pour faciliter la réponse aux questions de l’examen). Les solutions de surveillance existantes ne sont pas suffisantes. En effet, elles nécessitent des capteurs pour la prise d’information (par exemple une caméra ou un capteur d’empreinte digitale) pour permettre la surveillance de l’utilisateur, et il est difficile d’un point de vue économique et d’usage d’imposer l’utilisation de tels capteurs. C’est pourquoi, il existe un besoin pour une solution de surveillance améliorée. Résumé On propose pour cela un procédé implémenté par ordinateur d’analyse d’activité clavier d’un utilisateur. Ce procédé est appelé ensuite « procédé d’analyse ». Le procédé d’analyse comprend une obtention des instants de pression et/ou de relâchement de touche pendant une frappe d’un texte de référence sur un système informatique client par l’utilisateur. Le texte de référence comprend un ou plusieurs mots. Le procédé d’analyse comprend une détermination, pour chaque mot respectif du texte de référence, de la valeur d’un vecteur caractéristique de dynamique de frappe pour le mot respectif. Le vecteur caractéristique comprend pour un mot frappé une ou plusieurs métriques déterminées chacune à partir des instants de pression et/ou de relâchement de touche pendant la frappe du texte de référence. Le procédé d’analyse comprend une détermination de la valeur d’une signature pour le texte de référence à partir de chaque vecteur caractéristique déterminé. Les une ou plusieurs métriques déterminées peuvent comprendre une métrique D 1 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de relâchement R i de la touche respective correspondant au caractère i . Les une ou plusieurs métriques déterminées peuvent comprendre une métrique D 2 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de pression P i+1 d’une touche respective correspondant au caractère suivant i+1 . Les une ou plusieurs métriques déterminées peuvent comprendre une métrique D 3 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de relâchement R i+2 d’une touche respective correspondant au deuxième caractère suivant i+2 . Les une ou plusieurs métriques déterminées peuvent comprendre une métrique D 4 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de pression P i+3 d’une touche respective correspondant au troisième caractère suivant i+3 . Les une ou plusieurs métriques déterminées peuvent comprendre une métrique D 5 égale au temps entre l’instant de pression de la touche respective correspondant au premier caractère du mot respectif et l’instant de relâchement de la touche respective correspondant au dernier caractère du mot respectif. Le texte de référence peut comprendre plusieurs mots. La signature pour le texte de référence peut comprendre une moyenne des vecteurs caractéristiques déterminées pour chacun des mots du texte de référence. On propose également un procédé implémenté par ordinateur de surveillance d’une activité clavier pour le compte d’un utilisateur. Ce procédé est appelé ensuite « procédé de surveillance ». Le procédé de surveillance comprend une fourniture de la valeur d’une signature déterminée pour l’utilisateur. Le procédé de surveillance comprend une obtention des instants de pression et/ou de relâchement de touche pendant une frappe d’un texte en ligne sur un système informatique client pour le compte de l’utilisateur. Le texte en ligne comprend un ou plusieurs mots. Le procédé de surveillance comprend une détermination, pour chaque mot respectif du texte en ligne, de la valeur du vecteur caractéristique de dynamique de frappe pour le mot respectif. Le procédé de surveillance comprend une détermination ou non d’une usurpation de l’identité de l’utilisateur en fonction d’une comparaison entre une ou plusieurs valeurs du vecteur caractéristique déterminées pour le texte en ligne et la valeur de la signature déterminée pour le texte de référence. La détermination ou non de l’usurpation peut être en outre fonction d’une comparaison entre une capture du visage pendant la frappe du texte en ligne sur le système informatique client pour le compte de l’utilisateur et une image de l’utilisateur provenant d’une base de données. La détermination ou non de l’usurpation peut comprendre une fusion des résultats de la comparaison des une ou plusieurs valeurs du vecteur caractéristique déterminées pour le texte en ligne et de la comparaison de la capture du visage. La détermination ou non de l’usurpation de l’identité de l’utilisateur peut comprendre une détermination, pour chaque mot respectif du texte en ligne, d’une distance entre la valeur du vecteur caractéristique du mot respectif et la valeur de la signature déterminée pour l’utilisateur. La détermination ou non de l’usurpation de l’identité de l’utilisateur peut comprendre une détermination ou non de l’usurpation de l’identité de l’utilisateur à partir de chaque distance déterminée. Le vecteur caractéristique et la signature peuvent être chacun un vecteur ayant des coordonnées pour chacune des une ou plusieurs métriques. La distance déterminée pour chaque mot respectif du texte en ligne peut être égale à une norme de la différence entre la valeur du vecteur caractéristique du mot respectif et la valeur de la signature déterminée pour l’utilisateur. Le procédé de surveillance peut comprendre en outre, pour chaque mot respectif du texte en ligne, une comparaison de la distance déterminée pour le mot respectif avec un seuil de confiance. Le procédé de surveillance peut comprendre en outre un affichage du résultat de la comparaison pour chaque mot respectif du texte en ligne. On propose également un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit programme est exécuté sur un ordinateur, des étapes du procédé d’analyse et/ou du procédé de surveillance. On propose également un système informatique serveur configuré pour communiquer avec un système informatique client. Le système informatique serveur a une mémoire sur laquelle le programme d’ordinateur est enregistré. Le système informatique serveur est configuré pour exécuter le programme d’ordinateur. Des exemples non-limitants vont être décrits en référence aux figures suivantes : La illustre un exemple d’implémentation de la solution de surveillance. La illustre un exemple d’algorithme d’évaluation de qualité d’image. La illustre un exemple d’architecture de réseau neuronal convolutif pour l’analyse de visage. La montre un exemple de distances calculées tout au long d’une séquence vidéo lorsque l’apprenant est bien celui qu’il prétend être. La montre un exemple de distances calculées lors d’une tentative fraude d’usurpation d’identité. La montre des exemples d’interactions clavier. La montre différents cas d’usage de l’analyse clavier. La montre des exemples de métriques. La montre un exemple de chiffrage de la signature déterminée. La illustre un exemple de fusion des résultats de l’analyse clavier et de l’analyse de visage. Description détaillée On propose un procédé implémenté par ordinateur d’analyse d’activité clavier d’un utilisateur. Ce procédé est dans la suite appelé « procédé d’analyse ». Le procédé d’analyse comprend une obtention des instants de pression et/ou de relâchement de touche pendant une frappe d’un texte de référence sur un système informatique client par l’utilisateur. Le texte de référence comprend un ou plusieurs mots. Le procédé d’analyse comprend une détermination, pour chaque mot respectif du texte de référence, de la valeur d’un vecteur caractéristique de dynamique de frappe pour le mot respectif. Le vecteur caractéristique comprend pour un mot frappé une ou plusieurs métriques déterminées chacune à partir des instants de pression et/ou de relâchement de touche pendant la frappe du texte de référence. Le procédé d’analyse comprend une détermination de la valeur d’une signature pour le texte de référence à partir de chaque vecteur caractéristique déterminé. Le procédé d’analyse améliore la surveillance d’un utilisateur. En effet, le procédé d’analyse permet d’identifier simplement et de manière fiable un utilisateur. Cette identification peut ensuite être utilisée pour surveiller un utilisateur, par exemple afin de confirmer son identité et de détecter une usurpation ou non d’identité. La valeur de la signature déterminée permet notamment cette identification de l’utilisateur. En effet, la signature déterminée caractérise la frappe de l’utilisateur à partir des instants de pression et/ou de relâchement de touche pendant la frappe du texte de référence, et identifie donc de manière unique cet utilisateur. Le procédé d’analyse permet donc une identification unique, fiable et robuste de l’utilisateur. En outre, l’identification de l’utilisateur par le procédé d’analyse ne nécessite pas de capteur supplémentaire pour la prise d’information. Le procédé d’analyse peut donc être mis en œuvre simplement. On propose également un procédé implémenté par ordinateur de surveillance d’une activité clavier pour le compte d’un utilisateur. Ce procédé est dans la suite appelé « procédé de surveillance ». Le procédé de surveillance comprend une fourniture de la valeur d’une signature pour l’utilisateur. Le procédé de surveillance comprend une obtention des instants de pression et/ou de relâchement de touche pendant une frappe d’un texte en ligne sur un système informatique client pour le compte de l’utilisateur. Le texte en ligne comprend un ou plusieurs mots. Le procédé de surveillance comprend une détermination, pour chaque mot respectif du texte en ligne, de la valeur du vecteur caractéristique de dynamique de frappe pour le mot respectif. Le procédé de surveillance comprend une détermination ou non d’une usurpation de l’identité de l’utilisateur en fonction d’une comparaison entre une ou plusieurs valeurs du vecteur caractéristiques déterminées pour le texte en ligne et la valeur de la signature déterminée pour le texte de référence. Le procédé d’analyse et le procédé de surveillance peuvent être liés et peuvent former ensemble une seule et même solution de surveillance améliorée. En effet, le procédé d’analyse permet la détermination d’une signature identifiant de manière unique un utilisateur et le procédé de surveillance permet de déterminer l’usurpation ou non de cet utilisateur à partir de la signature déterminée par le procédé d’analyse. Le procédé d’analyse et le procédé de surveillance sont donc basés sur les mêmes principes, à savoir l’utilisation d’une signature déterminée à partir des instants de pression et/ou de relâchement de touche pendant la frappe d’un texte de référence pour l’identification d’un utilisateur. Le procédé d’analyse et le procédé de surveillance peuvent être inclus dans une solution de surveillance, qui peut comprendre, pendant une première phase, l’exécution du procédé d’analyse, et pendant une deuxième phase suivant la première, l’exécution du procédé de surveillance. La solution de surveillance peut par exemple être un procédé de surveillance d’un examen, et la première phase peut correspondre à une première phase de formation de la signature pour l’authentification de l’utilisateur pour cet examen, c’est-à-dire de détermination de la valeur de la signature pour l’utilisateur. La deuxième phase peut correspondre à une phase de vérification d’identité de l’utilisateur, c’est-à-dire de comparaison pour vérifier que c’est toujours la personne qui a frappé le texte de référence pendant la première phase qui passe l’examen en ligne pendant la deuxième phase. Par exemple, la première phase peut se dérouler pendant un premier examen d’une année scolaire. Dans ce cas, le texte de référence peut être le texte de réponse que l’utilisateur (c’est-à-dire le candidat) frappe pendant ce premier examen. Dans ce cas, la deuxième phase peut se dérouler pendant les autres examens passés par le candidat (par exemple les autres examens de l’année scolaire). Pendant ces autres examens, la solution de surveillance peut exécuter le procédé de surveillance pour vérifier l’identité du candidat à partir de sa signature déterminée par le procédé d’analyse pendant le premier examen de l’année. Alternativement, la première phase peut se dérouler avant un ou plusieurs examens de l’année scolaire. La première phase peut être une séance particulière pendant laquelle la signature du candidat est déterminée, avant le déroulement des un ou plusieurs examens. Dans ce cas, la deuxième phase peut se dérouler pendant les un ou plusieurs examens, pour vérifier l’identité du candidat pendant ces examens avec la signature déterminée pendant la première phase. Alternativement encore, un examen peut comprendre plusieurs épreuves, et la première phase peut se dérouler pendant une première épreuve de l’examen afin de déterminer la signature du candidat. Durant les autres épreuves, la deuxième phase peut avoir lieu, et le procédé de surveillance peut être exécuté afin de vérifier l’identité de l’utilisateur qui passe l’épreuve (c’est-à-dire de vérifier que l’utilisateur qui passe l’examen est bien l’utilisateur identifié pendant la première épreuve). Par exemple, le texte en ligne peut être un texte qui est frappé par l’utilisateur pendant l’épreuve (par exemple pendant qu’il répond à des questions de l’examen), et le procédé de surveillance peut vérifier l’identité de l’utilisateur pendant qu’il frappe le texte en ligne (c’est-à-dire pendant qu’il répond aux questions de l’examen). La première phase peut se dérouler avant l’exécution du procédé de surveillance. Le procédé d’analyse peut comprendre, une fois la signature déterminée, un enregistrement de cette signature (par exemple sur une mémoire du serveur ou du système informatique client). Pendant la deuxième phase, la fourniture de la valeur de la signature peut comprendre une lecture de la signature enregistrée. Le procédé d’analyse et le procédé de surveillance permettent de réduire le nombre de surveillants lors de la deuxième phase, ou de réduire la « charge » de surveillance. En effet, la solution de surveillance permet de vérifier l’identité des individus à partir de la façon dont ils frappent un texte. La façon dont les gens frappent un texte au clavier permet de les identifier et de reconnaître une usurpation d’identité. La solution de surveillance permet une surveillance automatique des examens à partir de la façon dont les candidats frappent au clavier. Lorsque le procédé de surveillance détermine l’usurpation, le procédé de surveillance peut comprendre un envoi d’une alerte et/ou d’une notification (par exemple sonore ou visuelle), par exemple à un surveillant, qui peut alors par exemple regarder de plus près le candidat en question, pour confirmer ou non l’usurpation. Pendant la première phase, la solution de surveillance peut comprendre une détermination de la valeur de la signature pour un utilisateur à partir du procédé d’analyse. Dans la deuxième phase, la solution de surveillance peut comprendre une détermination de l’usurpation ou non de l’identité de l’utilisateur à partir du procédé de surveillance et de la signature déterminée pour l’utilisateur pendant la première phase de formation de la signature pour l’authentification. Pendant la deuxième phase, le procédé de surveillance peut être répété. Par exemple, le procédé de surveillance peut être répété à chaque mot du texte en ligne frappé, ou bien à chaque fois qu’un nombre n de mots du texte en ligne sont frappés ( n étant un entier positif, par exemple entre 2 et 10). Alternativement, le procédé peut être répété à intervalles de temps pouvant être réguliers. Par exemple, le procédé peut être répété toutes les X secondes (avec X un nombre positif, par exemple entre 1 et 10 secondes). Dans des exemples, la solution de surveillance peut comprendre une répétition des procédés d’analyse et de surveillance pour chaque utilisateur (par exemple pour chaque étudiant passant l’examen). Pendant l’examen, la solution de surveillance peut vérifier que chaque utilisateur passant l’épreuve est bien celui qui a frappé le texte de référence pendant la première phase de formation de la signature, et ainsi vérifier l’identité de chaque utilisateur. La solution de surveillance peut ainsi surveiller plusieurs utilisateurs en même temps. Le système informatique serveur (appelé ensuite « serveur ») peut exécuter le procédé de surveillance et le procédé d’analyse. Dans ce cas, pour le texte de référence et pour le texte en ligne, le système informatique client (appelé ensuite « client ») sur lequel le texte est frappé peut être configuré pour envoyer les instants de pression et/ou de relâchement de touche pendant la frappe du texte. Par exemple, le client peut enregistrer les instants de pression et/ou de relâchement de touche dans un fichier sur une mémoire et envoyer ensuite ce fichier au serveur (à la fin de la frappe ou pendant la frappe, par exemple après chaque touche frappée). Pour le texte de référence et pour le texte en ligne, l’obtention des instants de pression et/ou de relâchement de touche peut alors comprendre une réception par le serveur du fichier envoyé par le client. Le serveur peut être en communication avec un ordinateur et/ou une tablette d’un ou plusieurs surveillants. Lorsque le procédé de surveillance détermine l’usurpation, le procédé de surveillance peut comprendre un envoi d’une alerte et/ou d’une notification à l’ordinateur et/ou la tablette des un ou plusieurs surveillants. Alternativement, le client sur lequel le texte de référence est frappé peut exécuter le procédé d’analyse et le serveur peut exécuter le procédé de surveillance. Dans ce cas, le client sur lequel le texte de référence est frappé peut être configuré pour enregistrer la signature déterminée sur une mémoire et l’envoyer au serveur. La fourniture de la valeur de la signature peut alors comprendre une réception de la signature envoyée par le client. Pour le texte en ligne, le client sur lequel le texte en ligne est frappé peut enregistrer les instants de pression et/ou de relâchement de touche dans un fichier sur une mémoire et envoyer ensuite ce fichier au serveur. L’obtention des instants de pression et/ou de relâchement de touche peut alors comprendre une réception par le serveur du fichier envoyé par le client. Alternativement encore, le client sur lequel le texte en ligne est frappé peut exécuter le procédé de surveillance. Dans ce cas, le client sur lequel le texte de référence est frappé ou le serveur peut exécuter le procédé d’analyse. Le système informatique exécutant le procédé d’analyse peut alors envoyer la signature déterminée pour l’utilisateur au client sur lequel le texte en ligne est frappé. La fourniture peut alors comprendre la réception de la signature envoyée. L’obtention peut dans ce cas comprendre une détection des instants de pression et/ou de relâchement de touche pendant la frappe du texte en ligne. Alternativement encore, une ou plusieurs étapes du procédé d’analyse peuvent être exécutées par le client sur lequel le texte de référence est frappé, et une ou plusieurs autres étapes du procédé d’analyse peuvent être exécutées par le serveur. Par exemple, le client peut exécuter les étapes d’obtention et de détermination de chaque vecteur caractéristique, et le procédé d’analyse peut ensuite comprendre un envoi de chaque vecteur caractéristique déterminé au serveur, qui peut ensuite exécuter la détermination de la valeur de signature à partir de chaque signature déterminée. Alternativement, le serveur peut exécuter la détermination de chaque vecteur caractéristique, et dans ce cas le procédé d’analyse peut comprendre un envoi des instants de pression et/ou de relâchement de touche obtenus par le client au serveur. De même, le procédé de surveillance peut être exécuté par le client sur lequel le texte en ligne est frappé et par le serveur. Par exemple, le client sur lequel le texte en ligne est frappé peut exécuter les étapes d’obtention et de détermination de chaque vecteur caractéristique. Dans ce cas, le procédé de surveillance peut ensuite comprendre un envoi de chaque vecteur caractéristique déterminé au serveur, qui peut ensuite exécuter la détermination ou non de l’usurpation. Le procédé de surveillance peut également exécuter l’étape de fourniture. Alternativement, le serveur peut exécuter la détermination de chaque vecteur caractéristique, et dans ce cas le procédé de surveillance peut comprendre un envoi des instants de pression et/ou de relâchement de touche obtenus par le client au serveur. Le client sur lequel le texte de référence est frappé peut être le même que le client sur lequel le texte en ligne est frappé. Par exemple, le client peut être un ordinateur personnel de l’utilisateur (par exemple au domicile de l’utilisateur), une tablette ou bien un ordinateur partagé par plusieurs personnes, par exemple dans une université ou une entreprise. Alternativement, le client sur lequel le texte de référence est frappé peut être différent du client sur lequel le texte en ligne est frappé. Par exemple, le texte en ligne peut être frappé sur l’ordinateur personnel de l’utilisateur et le texte de référence sur un ordinateur partagé ou sur un ordinateur personnel d’un autre utilisateur. Inversement, le texte en ligne peut être frappé sur un ordinateur partagé et le texte de référence sur un ordinateur partagé ou sur un ordinateur personnel d’un autre utilisateur. L’utilisateur qui frappe le texte de référence peut être le même que l’utilisateur qui frappe le texte en ligne. Dans ce cas, le procédé de surveillance peut statistiquement déterminer la non-usurpation de l’identité de l’utilisateur. En effet, la comparaison indiquera statistiquement que les une ou plusieurs valeurs du vecteur caractéristique sont proches de la signature déterminée. Alternativement, l’utilisateur qui frappe le texte en ligne peut être différent de l’utilisateur qui frappe le texte de référence. Dans ce cas, le procédé de surveillance peut statistiquement déterminer l’usurpation de l’identité de l’utilisateur. En effet, la comparaison indiquera statistiquement que les une ou plusieurs valeurs du vecteur caractéristique sont différentes de la signature déterminée. Le procédé de surveillance peut comprendre une fourniture d’un résultat de la comparaison, par exemple un nombre indiquant statistiquement une probabilité d’usurpation ou non. Le texte de référence et/ou le texte en ligne peuvent être frappés sur tout type de clavier. Par exemple, le clavier peut être clavier physique comme par exemple un clavier connecté à un ordinateur ou un clavier d’un ordinateur portable. Alternativement, le clavier peut être un clavier virtuel comme par exemple un clavier affiché sur un dispositif disposant d’un écran tactile (par exemple une tablette tactile ou un smartphone). Le texte de référence et/ou le texte en ligne peuvent comprendre chacun un ou plusieurs mots d’un ou plusieurs caractères. Le texte de référence et le texte en ligne peuvent être différents. Le texte de référence peut comprendre un nombre de mots au moins supérieur ou égal à 10. Par exemple, le texte de référence peut comprendre entre 20 et 40 mots. Le texte en ligne peut comprendre un nombre de mots au moins supérieur ou égal à 10 (par exemple entre 20 et 40 mots). Le texte de référence et le texte en ligne peuvent être dans une langue indo-européenne. Par exemple, le texte de référence et le texte en ligne peuvent être en anglais, français, allemand, espagnol, italien et/ou portugais (ou toute combinaison de langues indo-européennes). La frappe de texte comprend la frappe (ou saisie via le clavier) séquentielle de chaque mot du texte, c’est-à-dire la frappe ou saisie séquentielle de chaque caractère de chaque mot. La frappe de chaque caractère comprend une pression, à un premier instant, d’une touche du clavier correspondant au caractère puis un relâchement, à un deuxième instant après le premier, de la touche correspondant au caractère. Les caractères de chaque mot peuvent être frappés successivement, l’un après l’autre. Pour le texte de référence et/ou le texte en ligne, les instants de pression et/ou de relâchement de touche pendant la frappe peuvent être les instants de pression et/ou de relâchement de touche de chacun des caractères du texte. Pour le procédé d’analyse ou le procédé de surveillance, l’obtention des instants de pression et/ou de relâchement de touche peut comprendre un enregistrement des instants de pression et/ou de relâchement de touche. Par exemple, l’obtention peut comprendre un enregistrement de ces instants sous forme de deux vecteurs et contenant l’ensemble des instants de pression et de relâchement des caractères du texte en question (le texte de référence ou le texte en ligne). Ces deux vecteurs peuvent être enregistrés sur une mémoire. Lorsque le texte comprend plusieurs mots, la frappe du texte peut comprendre, entre chaque mot, une frappe d’une touche particulière (par exemple une touche espace). Les instants de pression et/ou de relâchement de cette touche particulière peuvent être ignorés, c’est à dire que la détermination de la valeur du vecteur caractéristique peut ne pas prendre en compte les instants de pression et/ou de relâchement de cette touche. En d’autres termes, les vecteurs et peuvent ne pas inclure les instants de pression et/ou de relâchement de cette touche particulière. De même, la frappe de toute touche autre qu’une touche de caractère peut être ignorée. Par exemple, le texte de référence et/ou le texte en ligne peuvent comprendre un ou plusieurs signes de ponctuations ou chiffres, et de même que pour la touche espace, la frappe de ces touches peut être ignorée. La détermination de la valeur du vecteur caractéristique de dynamique de frappe (appelé ensuite « vecteur caractéristique ») d’un mot est maintenant discutée. Les informations données ci-après s’appliquent à la fois pour le procédé d’analyse avec chaque mot du texte de référence et à la fois pour le procédé de surveillance avec chaque mot du texte en ligne. Le vecteur caractéristique peut être un vecteur ayant des coordonnées pour chacune des une ou plusieurs métriques. Le vecteur caractéristique peut comprendre une coordonnée respective pour chaque métrique. Lorsque le vecteur caractéristique ne comprend qu’une seule métrique, le vecteur caractéristique peut comprendre qu’une seule coordonnée. Lorsque le vecteur caractéristique comprend plusieurs métriques, la vecteur caractéristique peut comprendre plusieurs coordonnées (une pour chaque métrique). La détermination de chaque valeur du vecteur caractéristique peut comprendre un calcul de la valeur de chaque métrique à partir du vecteur enregistré et/ou du vecteur enregistré. La valeur de chaque métrique calculée peut correspondre à un intervalle de temps entre des instants de pression du vecteur enregistré et/ou des instants de relâchement du vecteur enregistré. Le vecteur caractéristique peut comprendre une ou plusieurs des métriques discutées ci-après. Notamment, le vecteur caractéristique peut comprendre toute combinaison de ces métriques. Pendant le procédé d’analyse et pendant le procédé de surveillance, les vecteurs caractéristiques déterminés peuvent comprendre au moins une ou plusieurs métriques communes. Par exemple, les vecteurs caractéristiques déterminés peuvent comprendre les mêmes métriques. En d’autres termes, la détermination de chaque valeur du vecteur caractéristique dans le procédé d’analyse peut être réalisée de la même manière que la détermination de chaque valeur du vecteur caractéristique dans le procédé de surveillance. La détermination de chaque valeur du vecteur caractéristique peut comprendre, pour chaque mot respectif du texte frappé, une détermination de la valeur de chaque métrique pour le mot respectif (le texte frappé étant le texte de référence pour le procédé d’analyse et le texte en ligne pour le procédé de surveillance). Une première métrique D 1 peut être une moyenne du temps pour frapper chaque caractère du mot. Le temps pour frapper chaque caractère du mot peut être égal au temps entre l’instant de pression de la touche respective correspondant au caractère et l’instant de relâchement de la touche respective correspondant au caractère . Pour chaque mot du texte frappé, la détermination de la métrique D 1 peut comprendre, pour chaque caractère du mot, un calcul du temps pour frapper le caractère, puis, un calcul d’une moyenne de ces temps calculés. Une deuxième métrique D 2 peut être une moyenne du temps de frappe entre deux caractères du mot. Le temps de frappe entre chaque caractère et le caractère suivant du mot peut être égal au temps entre l’instant de pression de la touche respective correspondant au caractère et l’instant de pression de la touche respective correspondant au caractère . Pour chaque mot du texte frappé, la détermination de la métrique D 2 peut comprendre, pour chaque caractère du mot, un calcul du temps de frappe entre caractères successifs du mot, puis, un calcul d’une moyenne de ces temps calculés. Pour le dernier caractère du mot, le calcul du temps de frappe peut être entre ce dernier caractère du mot et le premier caractère du mot suivant. Une troisième métrique D 3 peut être une moyenne du temps pour frapper trois caractères du mot. Le temps pour frapper trois caractères à partir du caractère peut être égal au temps entre l’instant de pression de la touche respective correspondant au caractère et l’instant de relâchement de la touche respective correspondant au caractère . Pour chaque mot du texte frappé, la détermination de la métrique D 3 peut comprendre, pour chaque caractère du mot, un calcul du temps entre le début de la frappe du caractère et la fin du caractère , puis, un calcul d’une moyenne de ces temps calculés. Pour l’avant-dernier et le dernier caractère du mot, le calcul du temps de frappe peut prendre en compte le temps jusqu’à l’instant de relâchement du ou des premiers caractères du mot suivant. Une quatrième métrique D 4 peut être une moyenne du temps total de frappe de trois caractères du mot. Le temps total de frappe de trois caractères du mot à partir du caractère peut être égal au temps entre l’instant de pression de la touche respective correspondant au caractère et l’instant de pressions de la touche respective correspondant au caractère . Pour chaque mot du texte frappé, la détermination de la métrique D 3 peut comprendre, pour chaque caractère du mot, un calcul du temps entre le début de ce caractère et le début du caractère , puis, un calcul d’une moyenne de ces temps calculés. Pour les trois derniers caractères du mot, le calcul du temps de frappe peut prendre en compte le temps jusqu’à l’instant de pression du ou des premiers caractères du mot suivant. Les une ou plusieurs métriques peuvent comprendre toute autre métrique déterminée à partir des instants de pression et/ou de relâchement de touche pendant la frappe du texte. Par exemple, une ou plusieurs métriques peuvent comprendre une métrique qui est une moyenne du temps total de frappe de (ou entre) deux caractères successifs, quatre caractères successifs, ou n’importe quel nombre de caractères successifs avec un entier positif. Dans des exemples, les une ou plusieurs métriques peuvent comprendre une ou plusieurs métriques déterminées pour le mot respectif directement. Par exemple, les une ou plusieurs métriques déterminées peuvent comprendre une métrique D 5 égale au temps pour frapper le mot respectif. Le temps pour frapper le mot respectif peut être égal au temps entre l’instant de pression de la touche respective correspondant au premier caractère du mot respectif et l’instant de relâchement de la touche respective correspondant au dernier caractère du mot respectif. La métrique D 5 permet de prendre le compte le temps d’hésitation pour écrire un texte, qui est une donnée unique liée à la personne et à sa véritable façon d’utiliser son clavier, ce qui n’est pas le cas pour les mots de passe. La métrique D 5 améliore donc la surveillance. La signature déterminée peut être un vecteur ayant des coordonnées pour chacune des une ou plusieurs métriques du vecteur caractéristique. La signature déterminée peut comprendre une coordonnée respective pour chaque métrique. Lorsque le vecteur caractéristique ne comprend qu’une seule métrique, la signature déterminée peut comprendre qu’une seule coordonnée. Lorsque le vecteur caractéristique comprend plusieurs métriques, la signature déterminée peut comprendre plusieurs coordonnées (une pour chaque métrique). La signature déterminée et le vecteur caractéristique peuvent comprendre le même nombre de coordonnées, et ces coordonnées peuvent correspondre aux mêmes métriques (c’est-à-dire dans le même ordre sur chaque vecteur). Dans des exemples, le texte de référence peut comprendre plusieurs mots. Dans ce cas, la signature pour le texte de référence peut comprendre une moyenne des vecteurs caractéristiques déterminées pour chacun des mots du texte de référence. La détermination de la valeur de la signature peut comprendre un calcul, pour chaque métrique, d’une moyenne de la valeur de la métrique sur chacun des mots du texte de référence. Alternativement, le texte de référence peut comprendre un mot unique. Dans ce cas, la signature pour le texte de référence peut être égale au vecteur caractéristique déterminée pour ce mot unique. La détermination ou non de l’usurpation de l’identité de l’utilisateur peut comprendre une détermination que l’utilisateur frappant le texte en ligne est ou non l’utilisateur qui a frappé le texte de référence. Dans le cas où l’utilisateur est le même, le procédé de surveillance peut déterminer la non-usurpation de l’identité, et inversement lorsque les deux utilisateurs sont différents. La détermination ou non de l’usurpation peut être fonction d’une comparaison entre la valeur du vecteur caractéristique déterminée pour chaque mot du texte en ligne et la valeur de la signature déterminée pour le texte de référence. Par exemple, la détermination ou non de l’usurpation peut comprendre une détermination, pour chaque mot respectif du texte en ligne, d’une distance entre la valeur du vecteur caractéristique du mot respectif et la valeur de la signature déterminée pour l’utilisateur. La distance peut représenter un écart entre la manière avec laquelle l’utilisateur frappe le mot du texte en ligne et celle avec laquelle le texte de référence a été frappé. Par exemple, la distance peut être une similarité cosinus, une distance euclidienne, une distance de Manhattan, ou toute autre mesure représentant une distance entre deux vecteurs. La détermination ou non de l’usurpation de l’identité de l’utilisateur peut ensuite être fonction de chaque distance déterminée, c’est-à-dire de ces écarts calculés pour chaque mot du texte en ligne. La détermination de l’usurpation ou non peut être réalisée en temps réel. Par exemple, après chaque mot frappé pendant la frappe du texte en ligne, le procédé de surveillance peut comprendre une détermination de la distance entre la valeur du vecteur caractéristique déterminée pour le mot qui vient d’être frappé avec la valeur de la signature. La détermination ou non de l’usurpation peut ensuite comprendre une mise à jour du résultat en fonction de cette nouvelle distance déterminée. Alternativement, la détermination ou non de l’usurpation peut être réalisée à la fin de la frappe du texte en ligne. Dans ce cas, la détermination ou non de l’usurpation peut être fonction de l’ensemble des distances déterminées à la fin de la frappe du texte en ligne. Dans des exemples, le procédé de surveillance peut déterminer l’usurpation ou non par comparaisons des distances calculées avec un seuil de confiance. Par exemple, le procédé de surveillance peut comprendre, pour chaque mot respectif du texte en ligne, une comparaison de la distance déterminée pour le mot respectif avec le seuil de confiance. Une distance supérieure au seuil peut signifier que l’utilisateur frappant le mot n’est pas celui qui a frappé le texte de référence. Le procédé de surveillance peut déterminer qu’il y a usurpation à partir des distances calculées de différentes manières. Par exemple, le procédé de surveillance peut déterminer qu’il y a usurpation lorsque le nombre de distances calculées qui sont supérieures au seuil est supérieur à un nombre prédéterminé (par exemple un nombre avec un entier positif). Alternativement, le procédé de surveillance peut déterminer qu’il y a usurpation lorsque le nombre distances calculées qui sont supérieures au seuil est supérieur en moyenne le nombre distances calculées qui sont inférieures au seuil (par exemple après un nombre de distances calculées, avec un entier positif). Alternativement encore, le procédé de surveillance peut déterminer qu’il y a usurpation lorsque la moyenne des distances calculée est supérieure au seuil. Dans des exemples, la distance déterminée pour chaque mot respectif du texte en ligne peut être égale à une norme de la différence entre la valeur du vecteur caractéristique du mot respectif et la valeur de la signature déterminée pour l’utilisateur. Par exemple, la distance entre la signature déterminée et un vecteur caractéristique peut être calculée avec la formule : dans laquelle et correspondent aux coordonnés des vecteurs et respectivement. Dans des exemples, le procédé de surveillance peut comprendre un affichage du résultat de la comparaison pour chaque mot respectif du texte en ligne. Par exemple, l’affichage peut comprendre un affichage d’un graphique représentant l’ensemble des distances déterminées. Le graphique peut comprendre en abscisse l’ensemble des mots du texte en ligne et en ordonnée les distances calculées pour chaque mot. Alternativement ou additionnellement, l’affichage peut comprendre un affichage d’une alerte, par exemple lorsque le procédé de surveillance détermine qu’il y a usurpation. L’affichage peut être affiché sur un écran, et peut être mis à jour en temps réel pendant la frappe du texte en ligne. L’écran peut être regardé par un surveillant, par exemple lors d’un examen en ligne. Le surveillant peut alors être informé sur l’usurpation ou non de l’identité de l’utilisateur. Dans des exemples, la détermination ou non de l’usurpation peut être en outre fonction d’une analyse de visage. L’analyse de visage peut comprendre une comparaison entre une capture du visage pendant la frappe du texte en ligne sur le système informatique client pour le compte de l’utilisateur et une image de l’utilisateur provenant d’une base de données. La détermination peut comprendre la capture du visage (par exemple via une webcam), l’extraction de l’image de l’utilisateur et une comparaison du visage capturé et de l’image de l’utilisateur (par exemple en utilisant un algorithme d’apprentissage profond). L’image de l’utilisateur peut avoir été prise pendant la frappe du texte de référence. Par exemple, le procédé d’analyse peut comprendre la capture du visage de l’utilisateur frappant le texte de référence (via une webcam par exemple) et un enregistrement de la capture sous forme d’une image dans la base de données et le procédé de surveillance peut comprendre une extraction de cette image sur la base de données. Le serveur et les clients peuvent être connectés à cette base de données pour extraire et enregistrer des données dessus. Dans des exemples, la détermination ou non de l’usurpation peut comprendre une fusion des résultats de la comparaison des une ou plusieurs valeurs du vecteur caractéristiques déterminées pour le texte en ligne (c’est-à-dire de l’analyse clavier) et de la comparaison de la capture du visage (c’est-à-dire l’analyse de visage). Par exemple, le procédé de surveillance peut comprendre un affichage simultané des résultats de l’analyse clavier et de l’analyse de visage. Alternativement, le procédé de surveillance peut comprendre une détermination d’un résultat commun en fonction des résultats de l’analyse clavier et de l’analyse de visage. Par exemple, le procédé de surveillance peut déterminer qu’il y a usurpation lorsque en moyenne l’analyse clavier et l’analyse de visage indiquent qu’il y a usurpation, et inversement qu’il n’y a pas usurpation lorsque en moyenne l’analyse clavier et l’analyse de visage indiquent qu’il n’y a pas usurpation. Par exemple, la fusion peut comprendre une fusion des scores obtenus par l’analyse clavier et par l’analyse de visage. Le procédé de surveillance peut comprendre une fourniture d’un résultat de la fusion, par exemple un nombre indiquant statistiquement une probabilité d’usurpation ou non. Des exemples d’implémentation du procédé d’analyse et du procédé de surveillance vont maintenant être donnés en référence aux figures 1 à 10. L’analyse de visage est discutée dans un premier temps. L’analyse de visage peut servir à sécuriser la surveillance de l’utilisateur. Le client sur lequel le texte de référence est frappé et/ou le client sur lequel le texte en ligne est frappé peuvent comprendre un capteur. L’analyse de visage peut comprendre une analyse biométrique, par exemple une analyse du regard, une analyse des gestes ou une extraction de squelette. Le client sur lequel le texte de référence est frappé et/ou le client sur lequel le texte en ligne est frappé peuvent être chacun un système biométrique pour détecter, extraire et analyser des données au moyen d’un capteur (clavier et webcam), qui peut enregistrer le modèle des utilisateurs. L’analyse des données de l’apprenant peut être considérée comme une tentative de trouver une relation entre les données de sortie du capteur et le modèle réel de l’utilisateur. Parmi les défis de la vision par ordinateur, on retrouve la détection du bruit, le manque de luminosité et la perte d’informations. Le procédé d’analyse et le procédé de surveillance sont divisés en plusieurs étapes : acquisition de données, prétraitement, reconnaissance, description et décision. La détermination ou non de l’usurpation consiste à confirmer ou à vérifier l’identité revendiquée par une personne. La détermination permet de déterminer l’identité de la personne. L’analyse de visage peut comprendre une comparaison une comparaison de l’image capturé avec plusieurs captures de visage enregistrées dans une base de données biométrique pour trouver l’identité d’un individu inconnu. La détermination ou non de l’usurpation peut être basée sur des identifiants biométriques pour la sécurité, par exemple classés en caractéristiques physiologiques ou comportementales. Les caractéristiques physiques peuvent comprendre des caractéristiques du corps humain à des fins d’identification, comme par exemple l’empreinte digitale, la main, les veines, l’iris et le visage. Les caractéristiques comportementales peuvent permettre de reconnaître des personnes à partir de leur caractéristique interactive. Les caractéristiques comportementales peuvent comprendre la dynamique de frappe, l’analyse des gestes et l’analyse des signatures. La illustre un exemple d’implémentation de la solution de surveillance comprenant le procédé d’analyse et le procédé de surveillance. Dans cet exemple, le procédé d’analyse S20 et le procédé de surveillance S30 sont intégrés dans une solution de gestion d’examen à distance S10 (création, réalisation des épreuves et/ou correction automatique). Cette solution S10 utilise la dynamique de frappe au clavier comme une modalité de base principale pour sécuriser la phase d’authentification. Cette solution S10 comprend également une analyse de visage S40 (via un dispositif multimodal) afin d’augmenter le niveau de sécurité de l’application. La solution comprend la mise en œuvre de mesures de sécurité et des processus de protection des données en obtenant une signature chiffrée sous la forme d’un code sécurisé. L’algorithme de chiffrement est utilisé pour assurer la confidentialité des données échangées pour le stockage des modèles biométriques. Le procédé d’analyse S20 comprend l’obtention S21 des instants de pression et/ou de relâchement de touche pendant la frappe du texte de référence (par exemple avec un pré-traitement), la détermination S22, pour chaque mot respectif du texte de référence, de la valeur du vecteur caractéristique de dynamique de frappe pour le mot respectif (extraction des caractéristiques), et, la détermination S23 de la valeur de la signature. Le procédé d’analyse S20 comprend ensuite un enregistrement S24 de la signature déterminée sur la base de données, par exemple après un chiffrage de la signature pour obtenir une signature cryptée. Le procédé de surveillance comprend l’obtention S31 des instants de pression et/ou de relâchement de touche pendant la frappe du texte en ligne (par exemple avec un pré-traitement), la détermination (S32 et S33), pour chaque mot respectif du texte en ligne, de la valeur du vecteur caractéristique de dynamique de frappe pour le mot respectif, la fourniture S34 de la valeur de la signature déterminée pour l’utilisateur, et, la détermination ou non d’une usurpation de l’identité de l’utilisateur en fonction d’une comparaison S35 entre une ou plusieurs valeurs du vecteur caractéristique déterminées pour le texte en ligne et la valeur de la signature déterminée pour le texte de référence. En cas d’usurpation, le procédé de surveillance peut comprendre un affichage S36 d’une alerte par exemple pour un surveillant de l’examen. L’analyse de visage est maintenant discutée plus en détail. L’analyse de visage peut comprendre deux étapes. La première étape peut consister un enrôlement de la signature de l’utilisateur. La deuxième étape peut consister à vérifier le degré de similarité entre des gabarits stockés après avoir appliqué certaines exigences de qualité. Une fois l’image du visage acquise, l’analyse de visage peut comprendre une application d’un algorithme d’évaluation de la qualité d’image sans référence pour évaluer la qualité de la donnée d’entrée, en utilisant un modèle statistique de scène naturelle, comme le modèle illustré sur la (référence [1]). En outre, l’analyse de visage peut comprendre un ajustement des valeurs de l’intensité de l’image pour améliorer le contraste de l’image de sortie. L’analyse de visage peut comprendre une détection du visage et un recadrage pour normaliser la région d’intérêt, par exemple par application d’un détecteur d’objets basé sur un algorithme (tel que l’algorithme Détecteur Multi-boîtes à un coup, traduction de l’anglais « Single Shot Multibox Detector » décrit dans la référence [3]). L’analyse de visage peut comprendre un redimensionnement de l’image en spécifiant le nombre de lignes et de colonnes pour obtenir une matrice à deux dimensions. Enfin, l’analyse de visage peut comprendre une utilisation d’une architecture de réseau neuronal convolutif (par exemple celui illustré sur la , référence [2]) pour extraire une signature de l’utilisateur. Avec cette signature (ou « gabarit »), pendant l’exécution du procédé de surveillance, les utilisateurs (par exemple des étudiants) peuvent accéder aux cours et aux examens en ligne, par exemple en fonction du résultat d’une comparaison de cette signature avec une signature acquise lors d’une authentification initiale. La comparaison peut comprendre un calcul d’une distance entre les deux signatures et une comparaison de cette distance avec un seuil de confiance. Une analyse des performances de la solution est maintenant présentée. Les performances de la solution sont analysées en simulant des attaques pour accéder à la session d’examen à distance. Une signature est comparée avec d’autres signatures extraites lors de la phase de connexion. Une image de référence obtenue le jour de la simulation ou fournie par le centre de formation ou l’université est comparée à plusieurs images acquises pour avoir accès et lancer une épreuve en ligne. Le tableau 1 ci-dessous présente les résultats obtenus lorsque la vérification s’appuie sur une vérification de l’identité de l’apprenant avec des gabarits de visage (traduction de l’anglais « FaceCodes ») en environnement non contrôlé. La fonction prend une liste de scores de similarité entre les gabarits (aussi appelés signatures) des apprenants autorisés et une liste de scores de vérification des imposteurs et elle génère une sortie contenant le taux de faux positifs (FAR) et le taux de faux négatifs (FRR) pour toutes les valeurs du seuil. Après avoir lancé les simulations d’attaques, la vérification permet d’obtenir un taux d’erreur (EER) de 12.22% en utilisant les signatures natives dans un environnement non contrôlé. Tableau 1 : Évaluation des performances (EER) en pourcentage. Nombre de signatures utilisées pour former le gabarit ou la signature de référence (moyenne) Env. non contrôlé (gabarit de visage) 10 12.27% 20 12.24% 30 12.99% 40 12.28% 50 20.13% 60 20.07% 70 20.03% 80 12.22% 90 12.24% 100 12.24% La montre les distances (mesures de similarité avec les signatures appelées « BioCodes » ensuite) calculées tout au long d’une séquence vidéo lorsque l’apprenant est bien celui qu’il prétend être. La montre les distances calculées lors d’une tentative fraude d’usurpation d’identité. Dans un environnement non contrôlé, les résultats montrent que la valeur EER obtenue varie entre 12% et 20%. Le nombre de gabarits de visage à utiliser peut être au minimum de 20 pour générer la signature (aussi appelée « gabarit de référence »). La vérification d’identité en continu permet également de détecter les tentatives d’usurpation d’identité. La montre les distances (mesures de similarité des BioCodes) calculées tout au long d’une séquence vidéo lorsque l’apprenant est bien celui qu’il prétend être. La montre les distances calculées lors d’une tentative fraude d’usurpation d’identité. Les résultats montrent que lors d’une tentative d’usurpation d’identité, la valeur de similarité est quasiment égale à 1, ce qui traduit le fait que les deux visages (celui de référence et celui capturé) sont très différents. Dans le cas où l’apprenant est bien la personne autorisée à se connecter, cette valeur est divisée par deux pour se situer autour de 0.5. L’analyse de visage peut être basée sur un gabarit de visage obtenu à partir d’une signature moyenne calculée sur les 80 premiers gabarits de visage de la vidéo. L’analyse clavier est maintenant discutée plus en détail. L’analyse clavier est basée sur une analyse des interactions clavier (par exemple le temps de vol entre deux touches), et qui sont recueillies durant l’utilisation d’un ordinateur par un individu. La montre de tels exemples d’interactions clavier. Ces informations peuvent par exemple décrire le temps pour lequel une touche a été enfoncée et pour lequel elle a été relâchée lorsqu’une personne utilise son clavier. L’analyse clavier exploite ces informations pour l’authentification d’individus ou leur profilage (comme la reconnaissance du genre ou de la catégorie d’âge de l’individu à partir d’un mot de passe ou un texte libre). Avec la biométrie multimodale, la solution de surveillance peut combiner la dynamique de frappe avec une autre modalité biométrique afin d’avoir un système de vérification d’identité plus efficace contre les tentatives d’usurpation d’identité. La montre différents cas d’usage de l’analyse clavier. Dans des exemples, l’analyse clavier peut être basée sur un même texte : tous les utilisateurs saisissent le même texte, par ex. le nom d’un site. Le texte saisi (ou texte de référence) est donc connu à la conception de l’analyse clavier (appelée aussi « Dynamique De Frappe », DDF). Dans d’autres exemples, l’analyse clavier (DDF) peut être basée sur un texte fixe : les utilisateurs ont un texte associé à leur compte qu’ils doivent saisir pour s’authentifier. Ce texte peut être secret (par exemple mot de passe), unique (par exemple login). Cependant, un tel texte ne peut pas être connu à la conception du système. Dans d’autres exemples encore, l’analyse clavier (DDF) peut être basée sur un texte libre : les utilisateurs peuvent taper ce qu’ils veulent (par exemple, un avis, un article, un message). Le texte est généralement plus long qu’un texte fixe, mais il est de longueur variable. Dans ce cas, l’analyse clavier peut comprendre une transformation de ce texte afin d’utiliser les fonctions de distance. Le procédé de surveillance peut comprendre une vérification continue tout au long de la session de l’examen pour chaque apprenant. Lorsque l’utilisateur écrit une phrase ou un texte sur le clavier, le procédé de surveillance peut comprendre une détermination pour chaque mot de la valeur d’un vecteur caractéristique. À partir de plusieurs séquences temporelles, le procédé de surveillance peut comprendre une extraction d’une signature (ou « gabarit ») de l’apprenant comprenant plusieurs métriques. La montre des exemples de métriques. La métrique d 1 peut correspondre à l’intervalle de temps entre l’appui et le relâchement sur une touche. La métrique d 2 peut correspondre l’intervalle de temps entre deux pressions consécutives. La métrique d’ peut correspondre à l’intervalle de temps entre un relâchement et l’appui sur la touche suivante. La métrique d 3 peut correspondre à une durée globale d’une suite de caractères. Le procédé de surveillance peut comprendre un traitement et une analyse des mots comportant plus de deux lettres. Le procédé de surveillance peut comprendre un calcul des intervalles de temps entre l’appui et le relâchement sur une touche, des intervalles de temps entre deux pressions consécutives et de la durée globale d’une suite de caractères. Le procédé de surveillance peut également prendre en compte le temps d’hésitation de l’apprenant. Les temps d’hésitation pour écrire un texte révèle une donnée unique liée à la personne et à sa véritable façon d’utiliser son clavier, ce qui n’est pas le cas pour les mots de passe. Pour chaque frappe, les intervalles de temps sont enregistrés et concaténés avec la durée pour constituer un vecteur de caractéristiques. Le procédé d’analyse peut être implémenté selon l’algorithme 1 ci-dessous. Le procédé d’analyse peut comprendre un enregistrement des instants de pression et de relâchement les temps lors de l’utilisation du clavier ( et ). Pour obtenir le gabarit biométrique ( ), le procédé d’analyse peut comprendre un calcul des moyennes des différentes métriques (D 1 , D 2 , D 3 et D 4 ) calculées pour chaque caractère de chaque mot, et de la métrique liée à l’hésitation de l’apprenant (D 5 ). Par exemple, pour le mot TestWe, la métrique D 5 peut être calculée à partir de la formule dans laquelle correspond à l’instant de relâchement de la touche e et à l’instant de pression de la touche T . La métrique D 5 peut être calculée pour tous les mots frappés qui comprennent plus de deux caractères. Après cela, le procédé d’analyse peut comprendre la détermination de la signature de l’utilisateur . Le procédé de surveillance peut être implémenté selon l’algorithme 2 ci-dessous. Le procédé de surveillance peut comprendre un calcul de la distance (par exemple une distance euclidienne) entre la valeur du vecteur caractéristique déterminée pour chaque mot du texte en ligne frappé et la signature déterminée . Puis, après cela, le procédé de surveillance peut comprendre une comparaison du résultat obtenu avec un seuil de confiance. Après plusieurs opérations de comparaison pendant la période d’examen à distance, le procédé de surveillance peut comprendre une création d’une courbe des résultats obtenus pour aider le surveillant lors de l’examen en l’alertant s’il y a un cas de fraude qui nécessite une intervention et une vérification de celle-ci. Le procédé d’analyse peut comprendre un chiffrage de la signature déterminée, par exemple avant un enregistrement de la signature déterminée. Le chiffrage permet de protéger les informations personnelles (la donnée biométrique) de l’utilisateur. Dans ce cas, dans le procédé de surveillance, la fourniture peut comprendre un déchiffrage de la signature déterminée. Ce déchiffrage permet de retrouver la signature déterminée avant le chiffrage. La protection de la donnée biométrique est maintenant discuter plus en détail. La solution de surveillance peut comprendre, pour l’authentification, un chiffrage de la signature déterminée à partir de la méthode de hachage de la signature biométrique unique (traduction de l’anglais « BioHashing »). La montre un exemple de chiffrage de la signature déterminée. La vérification d’un utilisateur est une tâche de sécurité dont l’action consiste à limiter l’accès aux emplacements physiques ou au réseau informatique uniquement aux personnes autorisées. Cette étape peut être effectuée par les utilisateurs en utilisant leur biométrie. La solution de surveillance peut combiner deux ou plusieurs facteurs d’authentification pour récolter des avantages en matière de sécurité. Un exemple d’algorithme de la méthode de transformation de la donnée biométrique brute (la méthode de hachage) utilisable dans la solution de surveillance est indiqué ci-dessous. Cette méthode accepte les écarts des données capturées et permet d’obtenir avec les signatures des chaînes de bits fortement corrélés. La cryptographie présente des avantages fonctionnels significatifs avec la biométrie. Elle permet d’éliminer les taux de fausses acceptations sans avoir un effet réel sur taux de rejets erronés (comme explique dans la référence [4]). De plus, il est difficile d’obtenir la donnée spécifique de l’utilisateur sans avoir les données aléatoires et la signature native de l’utilisateur. La méthode de hachage permet de protéger les signatures biométriques des apprenants dans les épreuves à distance. Les systèmes biométriques avec une seule modalité doivent faire face à une variété de problèmes tels que les données bruitées, les variations intra-classe, la non-universalité, les attaques par usurpation d’identité et les taux d’erreur inacceptables. La fusion des résultats de l’analyse clavier et l’analyse de visage permet de dépasser ces limites des systèmes biométriques avec une seule modalité. En effet, un tel système biométrique multimodal permet d’intégrer des preuves présentées par de multiples sources d’information. La illustre un exemple de fusion des résultats de l’analyse clavier et l’analyse de visage. La fusion peut comprendre une ou plusieurs des différentes étapes suivantes. Une première étape peut comprendre une fusion S51 au niveau de l’extraction des caractéristiques (par exemple des métriques). Une deuxième étape peut comprendre une fusion S52 au niveau des scores de correspondance (la fusion au niveau de la phase de comparaison des gabarits et/ou la fusion au niveau de classifieurs pour optimiser les points de ressemblances entres les gabarits intra-classes). Une troisième étape peut comprendre une fusion S53 au niveau de la prise de décision (usurpation ou non). La fusion peut comprendre uniquement la fusion S52 des scores. La solution de surveillance peut comprendre une fusion à différentes étapes et plusieurs niveaux pour avoir un système biométrique multimodal avec des stratégies d’intégration qui peuvent être adoptées pour consolider l’information. Par exemple, le système (serveur et/ou client) exécutant la solution de surveillance peut comprendre quatre modules. Le système peut comprendre un module capteur qui capture l’information du monde physique et transforme et enregistre cette information sous forme de données biométriques. Le système peut comprendre un module d’extraction de caractéristiques qui analyse les données pour extraire un ensemble de caractéristiques pour obtenir une représentation de l’évènement. Le système peut comprendre un module de comparaison et de correspondance qui utilise un classificateur pour comparer l’ensemble de caractéristiques extrait avec des modèles dans la base de données pour générer des scores de similarité. Le système peut comprendre un module de décision qui utilise les scores de correspondance pour vérifier une identité ou valider une identité revendiquée. La fusion peut comprendre une fusion de la reconnaissance faciale ainsi que la dynamique de frappe au clavier au niveau de l’extraction des caractéristiques (métriques), au niveau de la génération des scores de similitudes entre la signature déterminée et chaque valeur du vecteur caractéristique acquise pendant la séance de l’épreuve et/ou au niveau de la prise de décision (usurpation ou non). Le procédé de surveillance peut comprendre une extraction des caractéristiques et une comparaison de chaque valeur du vecteur caractéristique obtenue le jour de l’examen avec la signature déterminée enregistrée le jour de la simulation (une simulation qui aura lieu au moins un jour avant l’examen par exemple). Le procédé de surveillance peut utiliser une fusion multimodale en combinant deux signatures pour chaque modalité (visage et analyse de frappe). Après l’extraction de caractéristiques, le procédé de surveillance peut comprendre une concaténation des deux signatures, pour former une signature complexe. Dans un deuxième temps, le procédé de surveillance peut implémenter une fusion au niveau du score de ressemblance. En effet, il est relativement facile d’accéder et de combiner les valeurs obtenues en utilisant les différentes modalités. La fusion au niveau de la prise de décision peut s’effectuer par vote majoritaire. La fusion des résultats de l’analyse clavier et l’analyse de visage peut comprendre les différentes étapes suivantes. Une première étape peut comprendre une fusion des attributs (métriques) : l’ensemble de données provenant de plusieurs capteurs / sources sont fusionnés, par exemple la moyenne de plusieurs gabarits de visage ou de dynamique de frappe. La fusion peut se faire par la concaténation d’une série de vecteurs obtenus après la conversion des données brutes. Une deuxième étape peut comprendre une fusion des scores les scores générés par plusieurs classifieurs de différentes modalités sont combinés, la fusion peut se faire au niveau des scores issus des modules de comparaison. La fusion à ce niveau est en fait bien connu de la littérature sous le nom de Systèmes à classificateurs multiples, traduction de l’anglais « Multiple Classifier Systems » en utilisant des systèmes intelligents hybrides qui aident à surmonter les limites des approches traditionnelles basées sur des classificateurs uniques. Une troisième étape peut comprendre une fusion de la décision : la fusion au niveau des décisions peut être utilisée pour sa simplicité. Elle peut comprendre la fourniture d’une décision binaire sous la forme (Oui ou Non) représentée par 0 et 1. La fusion peut comprendre ensuite une consolidation du résultat final de plusieurs sorties via des techniques telles que le vote à la majorité. Des résultats de la solution de surveillance sont maintenant présentés. Les données ci-dessous ont été collectées dans un contexte opérationnel. Pour obtenir des données biométriques, les informations sont collectées auprès de l’individu via une caméra intégrée d’un ordinateur (« ThinkPad », marque déposée, S440). L’objectif est de voir les performances de la solution de surveillance en conditions réelles en analysant ses différents composants de l’acquisition de données à la prise de décision et pour déterminer l’étape la plus sensible à l’environnement des candidats qui passent l’épreuve, dans un environnement où les apprenants ne prennent souvent pas en compte les instructions que les responsables demandent, comme le fait de cacher son visage involontairement lors d’un examen effectué à distance, ce qui peut être considérer comme une tentative de fraude. Le processus est activé tout au long de l’épreuve en utilisant une application avec interface graphique développée avec QT et C++. Une application collecte les données de la dynamique de frappe. L’application permet de collecter le temps de vol entre chaque frappe ainsi que le temps de relâchement des touches. Un bouton peut être utilisé lorsqu’un participant saisit des informations personnelles (mot de passe, PIN etc.) pour éviter la collecte de données sensibles. Dans l’étape appelée authentification continue, la solution de surveillance doit décider si l’utilisateur fournit le modèle nécessaire ; les fonctionnalités extraites du gabarit actuel sont comparées aux fonctionnalités stockées. Plus précisément, l’évaluation des performances est basée sur le score de ressemblance entre la signature de l’utilisateur enregistré et la signature que le système a sauvegardé pendant la phase de prérequis. Dans le cas de la vérification de l’individu en continu, la solution de surveillance peut comprendre un calcul d’une signature à partir de plusieurs vecteurs caractéristiques. Pour améliorer les performances de la solution, il est possible de prendre en compte l’influence du nombre de vecteurs caractéristiques (les gabarits des visages et gabarits de l’activité clavier) utilisés pour calculer la signature référence sur la valeur EER du système. Ainsi, pour chaque personne, la moyenne des (n) premiers codes visage / code clavier (n variant de 10 à 100 par pas de 10) est calculée et servira de modèle de référence. La signature peut ensuite être générée à partir de ce modèle ainsi construit. Les résultats expérimentaux obtenus dans le contexte opérationnel sont maintenant présentés. Le tableau 2 présente les résultats obtenus lors de l’utilisation de l’analyse de frappe et l’analyse de visage pour authentifier en continu l’individu. Le nombre de signatures à utiliser est au minimum de 40 pour générer le gabarit de référence optimal dès lors qu’un processus de fusion basé sur l’ensemble des deux signatures est ensuite appliqué. La fusion au niveau de l’extraction des caractéristiques pose plusieurs problèmes : données non homogènes, diverses distributions et vecteurs de tailles différentes. Après avoir transformé les données et la mise en place des techniques de normalisation, la solution de surveillance obtient un taux d’erreur de 11%. Tableau.2 – Mesure de performance (EER) en pourcentage du système multimodal proposé, calculée après fusion des scores. Gabarits de réf (moyenne) Gabarit du visage Code clé (traduction de l’anglais « KeyCode ») (DDF) Fusion des deux signatures 10 0.12% 0.372% 0.492% 20 0.18% 0.4% 0.58% 30 0.09% 0.392% 0.482% 40 0.09% 0.376% 0.467% 50 0.12% 0.40% 0.490% 60 0.12% 0.407% 0.527% 70 0.12% 0.392% 0.512% 80 0.12% 0.392% 0.512% 90 0.12% 0.45% 0.57% 100 0.12% 0.407% 0.512% Tableau 3 – Mesure de performance (EER) en pourcentage du système multimodal proposé, calculée après fusion des décisions par vote majoritaire. Modalité Gabarit de référence Taux d’erreur Visage et DDF & (moyenne) (moyenne) 40 signatures 0.09% La solution de surveillance peut comprendre une application d’un vote majoritaire pour chaque signature sauvegardée dans la base de données (ou une sommation de deux scores obtenus pour vérifier l’identité des apprenants). Pour cela, la solution de surveillance peut comprendre une utilisation d’un score de ressemblance de l’analyse des visage après avoir appliqué un processus d’apprentissage profond (traduction de l’anglais « deep learning ») en obtenant un vecteur de caractéristique de chaque apprenant et un score de similitudes entre les vecteurs caractéristiques déterminés pendant l’activité clavier. Une baisse significative de la valeur EER obtenue à 0.09% par rapport aux valeurs obtenues pour les modalités seules (0.38% pour la DDF et 0.09% pour le visage en utilisant la fusion au niveau de la décision) est observée, ce qui démontre l’intérêt de l’approche multimodale de la solution de surveillance. Procédé implémenté par ordinateur d’analyse d’activité clavier d’un utilisateur, le procédé comprenant : une obtention (S21) des instants de pression et/ou de relâchement de touche pendant une frappe d’un texte de référence sur un système informatique client par l’utilisateur, le texte de référence comprenant un ou plusieurs mots; une détermination (S22), pour chaque mot respectif du texte de référence, de la valeur d’un vecteur caractéristique de dynamique de frappe pour le mot respectif, le vecteur caractéristique comprenant pour un mot frappé une ou plusieurs métriques déterminées chacune à partir des instants de pression et/ou de relâchement de touche pendant la frappe du texte de référence ; et une détermination (S23) de la valeur d’une signature pour le texte de référence à partir de chaque vecteur caractéristique déterminé. Procédé selon la revendication 1, dans lequel les une ou plusieurs métriques déterminées comprennent : une métrique D 1 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de relâchement R i de la touche respective correspondant au caractère i , une métrique D 2 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de pression P i+1 d’une touche respective correspondant au caractère suivant i+1 , une métrique D 3 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de relâchement R i+2 d’une touche respective correspondant au deuxième caractère suivant i+2 , et/ou une métrique D 4 égale au temps, pour chaque caractère i , entre l’instant de pression P i de la touche respective correspondant au caractère i et l’instant de pression P i+3 d’une touche respective correspondant au troisième caractère suivant i+3. Procédé selon la revendication 1 ou 2, dans lequel les une ou plusieurs métriques déterminées comprennent une métrique D 5 égale au temps entre l’instant de pression de la touche respective correspondant au premier caractère du mot respectif et l’instant de relâchement de la touche respective correspondant au dernier caractère du mot respectif. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel le texte de référence comprend plusieurs mots, la signature pour le texte de référence comprenant une moyenne des vecteurs caractéristiques déterminées pour chacun des mots du texte de référence. Procédé implémenté par ordinateur de surveillance d’une activité clavier pour le compte d’un utilisateur, le procédé comprenant : une fourniture (S34) de la valeur d’une signature déterminée selon l’une quelconque des revendications 1 à 4 pour l’utilisateur ; une obtention (S31) des instants de pression et/ou de relâchement de touche pendant une frappe d’un texte en ligne sur un système informatique client pour le compte de l’utilisateur, le texte en ligne comprenant un ou plusieurs mots ; une détermination (S32, S33), pour chaque mot respectif du texte en ligne, de la valeur du vecteur caractéristique de dynamique de frappe pour le mot respectif ; et une détermination ou non d’une usurpation de l’identité de l’utilisateur en fonction d’une comparaison (S35) entre une ou plusieurs valeurs du vecteur caractéristique déterminées pour le texte en ligne et la valeur de la signature déterminée pour le texte de référence. Procédé selon la revendication 5, dans lequel la détermination ou non de l’usurpation est en outre fonction d’une comparaison (S40) entre une capture du visage pendant la frappe du texte en ligne sur le système informatique client pour le compte de l’utilisateur et une image de l’utilisateur provenant d’une base de données. Procédé selon la revendication 6, dans lequel la détermination ou non de l’usurpation comprend une fusion des résultats de la comparaison des une ou plusieurs valeurs du vecteur caractéristique déterminées pour le texte en ligne et de la comparaison de la capture du visage. Procédé selon l’une quelconque des revendications 5 à 7, dans lequel la détermination ou non de l’usurpation de l’identité de l’utilisateur comprend : une détermination, pour chaque mot respectif du texte en ligne, d’une distance entre la valeur du vecteur caractéristique du mot respectif et la valeur de la signature déterminée pour l’utilisateur ; et une détermination ou non de l’usurpation de l’identité de l’utilisateur à partir de chaque distance déterminée. Procédé selon la revendication 8, dans lequel le vecteur caractéristique et la signature sont chacun un vecteur ayant des coordonnées pour chacune des une ou plusieurs métriques, la distance déterminée pour chaque mot respectif du texte en ligne étant égale à une norme de la différence entre la valeur du vecteur caractéristique du mot respectif et la valeur de la signature déterminée pour l’utilisateur. Procédé selon la revendication 8 ou 9, le procédé comprenant en outre : pour chaque mot respectif du texte en ligne, une comparaison de la distance déterminée pour le mot respectif avec un seuil de confiance ; et un affichage du résultat de la comparaison pour chaque mot respectif du texte en ligne. Programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit programme est exécuté sur un ordinateur, des étapes du procédé selon l’une quelconque des revendications 1 à 4 et/ou du procédé selon l’une quelconque des revendications 5 à 10. Système informatique serveur configuré pour communiquer avec un système informatique client, le système informatique serveur ayant une mémoire sur laquelle le programme d’ordinateur selon la revendication 11 est enregistré, le système informatique serveur étant configuré pour exécuter le programme d’ordinateur.