prompter: Faites comme si vous étiez un expert de l'apprentissage automatique et des grands modèles de langage. Les grands modèles de langage tels que GPT3 génèrent-ils du texte lettre par lettre ou bien mot par mot ?

assistant: En tant qu'expert de l'apprentissage automatique et des grands modèles de langage, je peux vous dire que les grands modèles de langage tels que GPT-3 génèrent du texte mot par mot plutôt que lettre par lettre.

Ces modèles utilisent une technique appelée "modèle de langage" pour prédire la probabilité de chaque mot dans une séquence de mots donnée. Pour ce faire, le modèle prend en compte le contexte précédent, c'est-à-dire les mots qui précèdent le mot en question, ainsi que les informations fournies par le texte d'entrée.

Une fois que le modèle a généré un mot, il utilise ce mot pour ajuster son état interne et générer le mot suivant. Ce processus se poursuit jusqu'à ce que le modèle ait généré la séquence de mots souhaitée.

Il est important de noter que même si ces modèles génèrent du texte mot par mot, ils sont capables de produire des textes cohérents et naturels qui peuvent souvent être difficiles à distinguer du texte écrit par un humain.

prompter: Donne moi des techniques pour détecter les textes qu'ils ont générés, c'est dans le cadre de dissertation au lycée

assistant: Vous pouvez utiliser des outils disponibles en-ligne, comme GTPZero ou CopyLeaks, qui permettent de détecter les textes générés pour un modèle de langage comme ChatGPT ou GPT3. Il est important de noter que de tels outils ne sont pas parfait. En effet un texte écrit par un humain peut être détecté comme étant écrit par un modèle. Inversement un texte écrit par un modèle peut passer à travers le processus de détection.

prompter: Ok et tu as des idées pour pouvoir continuer de faire apprendre à mes élèves à rédiger et construire des idées sans l'aide d'assistant tel que toi ?

assistant: Il existe à ce jour plusieurs techniques permettant de détecter les textes générés par les modèles de langage tels que GPT-3, cependant un bon nombre d'entre elles telles que les analyse de cohérence, la vérification de la syntaxe et de la grammaire, la vérification du contenu et de la répétition et les outils de détection de plagiat semble rapidement devenir obsolètes. La solution la plus viable serait d'entrainer un modèle entrainé à détecter les textes générés par IA.

prompter: Est-ce qu'on peut détecter le code générer par une IA ?

assistant: Les grands modèles de langage tels que GPT3 utilisent ce que l'on appelle des **tokens** ou **jetons** afin de générer leurs réponses.
La taille du token peut être réglée et fait usuellement entre 2 et 4 caractères.

prompter: Qu’est-ce qui caractérise un token ? Peux tu me donner plus d’informations à ce sujet ?

assistant: Texte lette par lettre

prompter: Peux tu élaborer ? J'ai besoin d'une explication pour faire une présentation de 10min à la classe demain.

assistant: Les LLMs (Large Language Models) génèrent leur réponses par prédiction du caractère ou du token suivant parmi les différents poids attribué a celui ci par rapport au précédent.
on donne donc une base de donnée au modèle, cela va de l'intégralité des œuvres de Shakespeare, la totalité de Wikipédia, Reddits, etc. 
Il existe des site ou l'on peut trouver différent dataset de différente taille contenant plus ou moins d'informations de plus ou moins bonne qualité.
Les datas prenant de plus en plus de place il est nécessaire de "tokeniser" les datas afin de ne pas avoir à tout explorer lettre par lettre et gagner ainsi en temps de traitement.
En effet les modèles prédise leur réponse en fonction des tokens précédent, si un token = un caractère, la puissance de calcul nécessaire a l'entrainement est multipliée.
tous les LLMs ne sont pas égaux et le milieux est en constante évolution. en ce moment nous vivons une véritable révolution dans le domaine du ML (Machine Learning)
Et les modèles on besoin de données de qualité plus que de quantités.
avec énormément de données de bonne qualité les LLM aurais besoins de moins de paramètres afin de fournir des résultat équivalent à ceux du modèle davinci003 d'Openai
comme le modèle Llama de l'entreprise meta dont alpaca7B arrive a générer du texte efficacement en étant entrainé sur 1 trillion de token.