Analyse et prédiction des évolutions de titres boursiers avec Transformers
Channel: LiNCS
Date: 13/09/2020

Louis Caron & David Chakroum
Présentation réalisée dans le cadre du cours MTI830 (Forage de données textuelles et audio-visuelles) à l'École de technologie supérieure (Université du Québec, Montréal, Canada).
La majorité des modèles utilise ́s pour de la prédiction financière ne peuvent actuellement traiter qu’une séquence (un titre boursier) à la fois. Nous supposons que cette approche limite le potentiel des modèles en masquant les relations entre les différents titres. 
En nous basant sur les progrès réalisés en NLP par les Transformers [1] et BERT [2], nous proposons un modèle capable de traiter différents titres simultanément pour mieux modéliser leurs relations et la complexité du marché. Notre modèle est constitué de plusieurs encoders superposés et est conceptuellement très similaire à BERT [2]. Il est cependant adapté pour pouvoir traiter plusieurs séquences simultanément et prendre en compte leurs les relations à travers le temps grâce au mécanisme d’Attention, qui permet de mettre en relation les items contenu dans une séquence. 
Notre modèle est entraîné ́ avec une double loss, pour classifier l’évolution des titres mais aussi pour prédire précisément leurs valeurs futures. Malgré ́ des résultats préliminaires assez décevants, notre modèle ouvre la voie à une nouvelle famille de modèles pour l’analyse financière. Nous montrons que le mécanisme d’Attention peut être appliqué à des séquences boursières, mais que cela nécessite des précautions pour limiter son coût en mémoire. 
Afin d’entraîner notre modèle, nous avons aussi généré un dataset permettant de comparer différents titres boursiers. Notre dataset contient les informations journalières standardisées de la plupart des titres du S&P500, ainsi que des devises, des commodités et d’autres index sur une durée de plus de 15 ans. Ce dataset peut être mis à jour automatiquement pour l’intervalle de temps voulu.