GPT, l’intelligence artificielle qui sert à ChatGPT, se base sur ce qu’on appelle le deep learning. C’est une reconstitution artificielle de tout un réseau neuronal sur plusieurs couches, capable d’apprendre. Le deep learning mime la faculté de conceptualisation propre à l’humain et qui fait que nous sommes capables de distinguer un chat, d’un chien.
Lorsqu’un enfant montre un chat pour la première fois, en demandant ce que c’est, si on lui répond : « c’est un chat », il colle l’image du chat au mot « chat ». Lorsque cet enfant pointera du doigt un chien en demandant si c’est aussi un chat, on lui dira « non, c’est un chien », une nouvelle association nom/image va se créer. Au fur et à mesure de l’exposition de l’enfant à différents chats et autres animaux ressemblant au félin, il sera capable de distinguer n’importe quel chat, peu importe sa taille ou sa couleur.
L’entraînement de l’IA fonctionne à l’identique sur un système d’essai/erreur. Il est donc nécessaire de présenter une quantité d’informations assez conséquente pour que l’algorithme puisse être efficace et apprendre. Pour réaliser toutes ces tâches, l’IA comme ChatGPT requiert une puissance de calcul importante, fournie par des GPU, pour accomplir cette phase d’apprentissage. On parle aussi d’entraînement.