Brevet FR3125664A1 — publié le 20230127

Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé L’invention concerne un procédé d’entraînement d’un modèle statistique pour que le modèle statistique soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, ledit procédé comprenant les étapes suivantes : - obtention (S310) de paires de médias associés, chaque paire (400) comprenant un média du premier type et un média du deuxième type, - obtention (S320) d’un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments associés, - pour chaque segment du premier ensemble, détermination (S330) d’une caractéristique décrivant le contenu dudit segment, - application des caractéristiques des segments d’un deuxième ensemble en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, le modèle statistique étant entraîné (S350) en modifiant le modèle statistique en fonction de la projection obtenue. Figure pour l’abrégé : Fig. 3. Procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, et système associé La présente invention se rapporte au domaine général de la recommandation d’un média tel qu’un média audio ou un média vidéo. L’invention concerne plus précisément un procédé d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type. L’invention s’applique notamment à la recommandation d’un média de type audio à partir d’un média de type vidéo, ou à la recommandation d’un média de type vidéo à partir d’un média de type audio, par exemple dans un contexte de montage vidéo automatique, de génération de clip musical, de recommandation de musique ou encore de supervision musicale professionnelle. Il existe des techniques permettant de recommander, parmi une pluralité de médias d’un même type appartenant à une base de données, le média correspondant au mieux à un média d’un autre type. De telles techniques permettent ainsi de recommander à partir d’une pluralité de médias audio, le média audio correspondant au mieux à un média vidéo donné, ou de recommander à partir d’une pluralité de médias vidéo, le média vidéo correspondant au mieux à un média audio donné. Une de ces techniques, s’inspirant de l’expérience humaine quotidienne, utilise un réseau de neurones artificiels dont l’apprentissage est auto-supervisé (« self supervised », en terminologie anglo-saxonne), et est réalisé à partir d’une base de données comprenant de nombreux clips vidéo non étiquetés, chaque clip vidéo comprenant une composante vidéo et une composante audio synchronisées. Plus précisément, les composantes vidéo et audio des clips de la base de données sont appliquées en entrée du réseau de neurones, chaque composante étant présentée dans son intégralité. Le réseau de neurones est entraîné de sorte à ce qu’il apprenne à associer les composantes audio et vidéo d’un même clip et à distinguer les composantes audio et vidéo provenant de clips différents. Le réseau de neurones entraîné peut ainsi être utilisé pour effectuer des recommandations. Cependant, une telle technique manque de fiabilité et de précision dans des recommandations ultérieures de médias. La présente invention concerne un procédé d’entraînement d’un modèle statistique pour que le modèle statistique soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, ledit procédé comprenant les étapes suivantes : - obtention d’une pluralité de paires de médias associés, chaque paire comprenant un média du premier type et un média du deuxième type, - obtention d’un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments selon au moins un critère d’homogénéité, chaque segment du média du premier type de chaque paire étant associé à un segment du média du deuxième type de ladite paire, - pour chaque segment du premier ensemble de segments, détermination d’une caractéristique décrivant le contenu dudit segment, - obtention d’un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et application des caractéristiques des segments du deuxième ensemble en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue, l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment dudit premier ensemble et la projection de la caractéristique du segment associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment et la projection de la caractéristique d’un autre segment que le segment associé du premier ensemble. L’entraînement du modèle statistique utilisant des segments homogènes de médias, le procédé permet d’améliore la fiabilité et la précision d’une recommandation ultérieure d’un média. Dans un mode de réalisation particulier, l’entraînement est autosupervisé. Dans un mode de réalisation particulier, deux segments du média du deuxième type du premier ensemble de segments sont de durée différente. Dans un mode de réalisation particulier, le modèle statistique est un réseau de neurones, le réseau de neurones étant modifié en modifiant au moins un poids dudit réseau de neurones. Dans un mode de réalisation particulier, le média du premier type et le média du deuxième type de chaque paire de médias associés sont de même durée et synchronisés. Dans un mode de réalisation particulier, le média du premier type de chaque paire est un média de type vidéo et le média du deuxième type de chaque paire est un média de type audio. Dans un mode de réalisation particulier, l’étape d’obtention d’un premier ensemble de segments comprend, pour le média du deuxième type de chaque paire : - un découpage temporel du média en sous segments, - pour chaque sous-segment obtenu, obtention d’un attribut fréquentiel dudit sous-segment, - utilisation des sous segments adjacents ayant des attributs homogènes pour obtenir la pluralité de segments dudit média et une liste de repères temporels indiquant les frontières entre les segments, le média du premier type de ladite au moins une paire étant divisé selon la liste de repères temporels obtenue, chaque segment du média du premier type étant associé au segment du média du deuxième type ayant les même frontières. Dans un mode de réalisation particulier, la détermination de caractéristiques décrivant le contenu de chaque segment comprend : - pour chaque média de chaque paire, découpage temporel du média en parties successives et disjointes, - pour chaque partie, obtention d’une caractéristique décrivant le contenu de ladite partie , - pour chaque segment du premier ensemble de segments, détermination de la caractéristique dudit segment à partir des caractéristiques des parties étant majoritairement contenues temporellement dans ledit segment. Dans un mode de réalisation particulier, chaque caractéristique décrivant le contenu d’une partie prend la forme d’un vecteur de données, la caractéristique de chaque segment du premier ensemble de segments étant déterminée en agrégeant les vecteurs de données des parties contenues temporellement dans ledit segment au moyen de calculs statistiques. Dans un mode de réalisation particulier, les étapes d’obtention d’un deuxième ensemble de segments associés, d’application des caractéristiques des segments du deuxième ensemble en entrée du modèle statistique et de modification du modèle statistique en fonction de la projection obtenue sont réitérées au moins une fois. L’invention concerne de plus un système d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, ledit système comprenant : - un premier module d’obtention configuré pour obtenir une pluralité de paires de médias associés, chaque paire comprenant un média du premier type et un média du deuxième type, - un deuxième module d’obtention configuré pour obtenir un premier ensemble de segments associés, en divisant temporellement chaque média de chaque paire obtenue en une pluralité de segments selon un critère d’homogénéité, chaque segment du média du premier type de chaque paire étant associé à un segment du média du deuxième type de ladite paire, - un module de détermination configuré pour déterminer, pour chaque segment du premier ensemble de segments, une caractéristique décrivant le contenu dudit segment, - un troisième module d’obtention configuré pour obtenir un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et appliquer les caractéristiques des segments du deuxième ensemble en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue, l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment dudit premier ensemble et la projection de la caractéristique du segment associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment et la projection de la caractéristique d’un autre segment que le segment associé du premier ensemble. L’invention concerne en outre un modèle statistique entraîné par le procédé d’entraînement tel que décrit ci-dessus. De plus, l’invention concerne un dispositif électronique comprenant un modèle statistique tel que décrit ci-dessus. En outre, l’invention concerne un procédé d’utilisation du modèle statistique entraîné tel que décrit ci-dessus, comprenant les étapes suivantes : - obtention d’un média du premier type, appelé média requête , - obtention d’une pluralité de segments en divisant temporellement ledit média requête, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment, - obtention d’un ensemble de médias du deuxième type, et, pour chaque média dudit ensemble, obtention d’une pluralité de segments en divisant temporellement ledit média selon le critère d’homogénéité, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment, - application des caractéristiques des segments du média requête et des caractéristiques des segments des médias de l’ensemble de médias du deuxième type en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, - pour chaque média de l’ensemble de médias du deuxième type, détermination d’un coût d’alignement à partie de la projection obtenue, entre ledit média du deuxième type et le média requête, - recommandation d’au moins un média de l’ensemble de médias du deuxième type en fonction des coûts d’alignement déterminés. Dans un mode particulier de réalisation, les différentes étapes du procédé d’entraînement selon l’invention sont déterminées par des instructions de programmes d’ordinateurs. De plus, dans un mode particulier de réalisation, les différentes étapes du procédé d’utilisation selon l’invention sont déterminées par des instructions de programmes d’ordinateurs. En conséquence, l’invention vise aussi un premier programme d’ordinateur, sur un premier support d’informations, ce premier programme comportant des instructions adaptées à la mise en œuvre des étapes d’un procédé d’entraînement selon l'invention. L’invention vise en outre un deuxième programme d’ordinateur, sur un deuxième support d’informations, ce deuxième programme comportant des instructions adaptées à la mise en œuvre des étapes d’un procédé d’utilisation selon l'invention. Chacun de ces premier et deuxième programmes peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable. L’invention vise aussi un premier support d'informations lisible par un ordinateur, et comportant des instructions du premier programme d'ordinateur tel que mentionné ci-dessus. L’invention vise de plus un deuxième support d'informations lisible par un ordinateur, et comportant des instructions du deuxième programme d'ordinateur tel que mentionné ci-dessus. Les premier et deuxième supports d'informations peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, chacun de ces supports peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur. D'autre part, chacun de ces supports d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Chacun des programmes selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, chaque support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. D’autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures : La représente, de manière schématique, un système d’entraînement selon un exemple de mode de réalisation de l’invention ; La représente, de manière schématique, un exemple d’architecture du système d’entraînement de la ; La représente, sous forme d’organigramme, les principales étapes d’un procédé d’entraînement selon un exemple de mode de réalisation de l’invention ; La représente, de manière schématique, un exemple de paire de média associés pouvant être obtenue lors de la mise en œuvre du procédé de la ; La représente, de manière schématique, un exemple de division en sous segments du média du deuxième type de la paire de média associés de la ; La représente, de manière schématique, un agrandissement d’une partie de la ; La représente, de manière schématique, un exemple de regroupement des sous segments de la en segments ; La représente, de manière schématique, un exemple de découpage en parties des médias de la paire de médias associés de la ; La représente, sous forme d’organigramme, les principales étapes d’un procédé d’utilisation selon un exemple de mode de réalisation de l’invention ; La représente un exemple de matrice d’autocorrélation pouvant être utilisé lors de la mise en œuvre du procédé de la . Procédé d’entraînement d’un modèle statistique pour que le modèle statistique soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, ledit procédé étant mis en œuvre par un système d’entraînement et comprenant les étapes suivantes : - obtention (S310) d’une pluralité de paires (400) de médias associés, chaque paire (400) comprenant un média (410) du premier type et un média (430) du deuxième type, - obtention (S320) d’un premier ensemble de segments associés, en divisant temporellement chaque média (410, 430) de chaque paire (400) obtenue en une pluralité de segments (614, 634) selon au moins un critère d’homogénéité, chaque segment (614) du média (410) du premier type de chaque paire (400) étant associé à un segment (634) du média (430) du deuxième type de ladite paire (400), - pour chaque segment (614, 634) du premier ensemble de segments, détermination (S330) d’une caractéristique décrivant le contenu dudit segment (614, 634), - obtention (S340) d’un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et application des caractéristiques des segments (614, 634) du deuxième ensemble en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, le modèle statistique étant entraîné (S350) en modifiant le modèle statistique en fonction de la projection obtenue, l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment (614, 634) dudit premier ensemble et la projection de la caractéristique du segment (614, 634) associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment (614, 634) et la projection de la caractéristique d’un autre segment (614, 634) que le segment (614, 634) associé du premier ensemble. Procédé d’entraînement selon la revendication 1, dans lequel l’entraînement est autosupervisé. Procédé d’entraînement selon la revendication 1 ou 2, dans lequel deux segments (634) du média (430) du deuxième type du premier ensemble de segments sont de durée différente. Procédé d’entraînement selon l’une quelconque des revendications 1 à 3, dans lequel le modèle statistique est un réseau de neurones, le réseau de neurones étant modifié en modifiant au moins un poids dudit réseau de neurones. Procédé d’entraînement selon l’une quelconque des revendications 1 à 4, dans lequel le média (410) du premier type et le média (430) du deuxième type de chaque paire (400) de médias associés sont de même durée et synchronisés. Procédé d’entraînement selon l’une quelconque des revendications 1 à 5, dans lequel l’étape (S320) d’obtention d’un premier ensemble de segments comprend, pour le média (430) du deuxième type de chaque paire (400) : - un découpage (S322) temporel du média (430) en sous segments (532), - pour chaque sous-segment (532) obtenu, obtention (S324) d’un attribut fréquentiel dudit sous-segment (532), - utilisation (S326) des sous segments (532) adjacents ayant des attributs homogènes pour obtenir la pluralité de segments (634) dudit média (430) et une liste de repères temporels indiquant les frontières entre les segments (634), le média (410) du premier type de ladite au moins une paire (400) étant divisé (S328) selon la liste de repères temporels obtenue, chaque segment (614) du média (410) du premier type étant associé au segment (634) du média (430) du deuxième type ayant les même frontières. Procédé d’entraînement selon l’une quelconque des revendications 1 à 6, dans lequel la détermination (S330) de caractéristiques décrivant le contenu de chaque segment (614, 634) comprend : - pour chaque média (410, 430) de chaque paire (400), découpage temporel du média (410, 430) en parties (740) successives et disjointes, - pour chaque partie (740), obtention d’une caractéristique décrivant le contenu de ladite partie (740), - pour chaque segment (614, 634) du premier ensemble de segments, détermination de la caractéristique dudit segment (614, 634) à partir des caractéristiques des parties (740) étant majoritairement contenues temporellement dans ledit segment (614, 634). Procédé d’entraînement selon la revendication 7, dans lequel chaque caractéristique décrivant le contenu d’une partie (740) prend la forme d’un vecteur de données, la caractéristique de chaque segment (614, 634) du premier ensemble de segments étant déterminée en agrégeant les vecteurs de données des parties (740) contenues temporellement dans ledit segment (614, 634) au moyen de calculs statistiques. Procédé d’entraînement selon l’une quelconque des revendications 1 à 8, dans lequel les étapes d’obtention (S340) d’un deuxième ensemble de segments associés, d’application des caractéristiques des segments du deuxième ensemble en entrée du modèle statistique et de modification (S350) du modèle statistique en fonction de la projection obtenue sont réitérées au moins une fois. Système (100) d’entraînement d’un modèle statistique pour qu’il soit configuré pour être utilisé pour recommander, à partir d’un média d’un premier type, un média d’un deuxième type, ledit système comprenant : - un premier module d’obtention (110) configuré pour obtenir une pluralité de paires (400) de médias associés, chaque paire (400) comprenant un média (410) du premier type et un média (430) du deuxième type, - un deuxième module d’obtention (120) configuré pour obtenir un premier ensemble de segments associés, en divisant temporellement chaque média (410, 430) de chaque paire (400) obtenue en une pluralité de segments (614, 634) selon un critère d’homogénéité, chaque segment (614) du média (410) du premier type de chaque paire (400) étant associé à un segment (630) du média (430) du deuxième type de ladite paire (400), - un module de détermination (130) configuré pour déterminer, pour chaque segment (614, 634) du premier ensemble de segments, une caractéristique décrivant le contenu dudit segment (614, 634), - un troisième module d’obtention (140) configuré pour obtenir un deuxième ensemble de segments associés à partir du premier ensemble de segments associés et appliquer les caractéristiques des segments (614, 634) du deuxième ensemble en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, le modèle statistique étant entraîné en modifiant le modèle statistique en fonction de la projection obtenue, l’entraînement étant réalisé de sorte à obtenir une distance entre la projection de la caractéristique d’au moins un segment (614, 634) dudit premier ensemble et la projection de la caractéristique du segment (614, 634) associé inférieure à la distance entre la projection de ladite caractéristique dudit au moins un segment (614, 634) et la projection de la caractéristique d’un autre segment (614, 634) que le segment (614, 634) associé du premier ensemble. Programme d’ordinateur (P1) comportant des instructions pour l’exécution des étapes du procédé d’entraînement selon l’une quelconque des revendications 1 à 9 lorsque ledit programme est exécuté par un ordinateur. Support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur (P1) comprenant des instructions pour l’exécution des étapes du procédé d’entraînement selon l’une quelconque des revendications 1 à 9. Procédé d’utilisation d’un modèle statistique entraîné par le procédé d’entraînement selon l’une quelconque des revendications 1 à 9, comprenant les étapes suivantes : - obtention (S810) d’un média du premier type, appelé média requête, - obtention (S830) d’une pluralité de segments en divisant temporellement ledit média requête, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment, - obtention (S820) d’un ensemble de médias du deuxième type, et, pour chaque média dudit ensemble, obtention d’une pluralité de segments en divisant temporellement ledit média selon le critère d’homogénéité, et détermination, pour chaque segment, d’une caractéristique décrivant le contenu dudit segment, - application (S850) des caractéristiques des segments du média requête et des caractéristiques des segments des médias de l’ensemble de médias du deuxième type en entrée du modèle statistique, le modèle statistique délivrant en sortie une projection de chaque caractéristique appliquée dans un espace commun, - pour chaque média de l’ensemble de médias du deuxième type, détermination (S860) d’un coût d’alignement à partie de la projection obtenue, entre ledit média du deuxième type et le média requête, - recommandation (S870) d’au moins un média de l’ensemble de médias de deuxième type en fonction des coûts d’alignement déterminés.