Cette étude évalue la performance de ChatGPT, notamment dans ses versions 4 et 4o, à répondre aux questions de l’examen français de chirurgie orthopédique et traumatologique (DES), en comparaison aux résultats des internes français en chirurgie orthopédique. Des recherches antérieures ont étudié les capacités de ChatGPT dans différentes spécialités médicales et examens, avec des résultats variés, en particulier pour l’interprétation d’images radiologiques complexes.

ChatGPT dans sa version 4o était capable de fournir un score supérieur ou égal (on inférieur) à celui des internes pour l’examen du DES.

Les capacités de réponse par le modèle Chat-GPT versions -4 et -4o ont été évaluées et comparées aux résultats des internes pour 250 questions issues des épreuves du DES de 2020 à 2024. L’analyse secondaire a porté sur les différences de résultats de l’IA en fonction du type de données à analyser, texte ou images, et du thème des questions posées.

Le score obtenu par Chat GPT-4o était équivalent à celui des internes sur les cinq dernières années : 74,8 % pour ChatGPT-4o vs 70,8 % pour les internes (p
                     =0,32). Le taux de bonnes réponses de Chat-GPT était significativement supérieur dans sa dernière version 4o que dans sa version 4 (58,8 %, p
                     =0,0001). L’analyse secondaire en sous-groupe mettait en évidence un défaut de performance de l’IA dans l’analyse graphique des images (taux de réussite respectivement à 48 % et 65 % pour Chat-GPT-4 et -4o). Chat-GPT 4o avait une performance supérieure à la version 4 lorsque les thèmes abordés concernaient le rachis, pédiatrie et membre inférieur.

La performance de ChatGPT-4o est équivalente à celle des étudiants français pour répondre aux questions du DES de chirurgie orthopédique et traumatologique. Des progrès importants ont été notés entre les versions -4 et -4o. L’analyse des questions avec iconographies est une difficulté notable pour les versions de ChatGPT actuelles, avec une tendance pour l’IA à moins bien performer que pour les questions avec analyse de texte seul.

IV ; étude rétrospective observationnelle.

This study evaluates the performance of ChatGPT, particularly its versions 4 and 4o, in answering questions from the French orthopedic and trauma surgery exam (Diplôme d’Études Spécialisées [DES]), compared to the results of French orthopedic surgery residents. Previous research has examined ChatGPT's capabilities across various medical specialties and exams, with mixed results, especially in the interpretation of complex radiological images.

ChatGPT version 4o was capable of achieving a score equal to or higher (not lower) than that of residents for the DES exam.

The response capabilities of the ChatGPT model, versions 4 and 4o, were evaluated and compared to the results of residents for 250 questions taken from the DES exams from 2020 to 2024. A secondary analysis focused on the differences in the AI's performance based on the type of data being analyzed (text or images) and the topic of the questions.

The score achieved by ChatGPT-4o was equivalent to that of residents over the past five years: 74.8% for ChatGPT-4o vs. 70.8% for residents (P
                     =0.32). The accuracy rate of ChatGPT was significantly higher in its latest version 4o compared to version 4 (58.8%, P
                     =0.0001). Secondary subgroup analysis revealed a performance deficiency of the AI in analyzing graphical images (success rates of 48% and 65% for ChatGPT-4 and 4o, respectively). ChatGPT-4o showed superior performance to version 4 when the topics involved the spine, pediatrics, and lower limb.

The performance of ChatGPT-4o is equivalent to that of French students in answering questions from the DES in orthopedic and trauma surgery. Significant progress has been observed between versions 4 and 4o. The analysis of questions involving iconography remains a notable challenge for the current versions of ChatGPT, with a tendency for the AI to perform less effectively compared to questions requiring only text analysis.

IV; Retrospective Observational Study.

# Introduction

ChatGPT (OpenAI®, San Francisco, États-Unis) est une interface d’intelligence artificielle (IA) à langage multimodal, capable de répondre à des instructions complexes, à la fois textuelles, visuelles et auditives. La contribution de l’IA dans le domaine médical est déjà présente et en cours de progression, notamment dans l’aide diagnostique et à la prise de décision [1–3]. L’effort de recherche pour l’application de l’IA en chirurgie orthopédique porte, d’une part, sur la formation chirurgicale [4,5], et d’autre part sur l’intervention chirurgicale via 3 domaines d’application : la planification pré opératoire [6], la navigation et le contrôle peropératoires [7], et la prédiction du résultat clinique post opératoire [8].

Plusieurs études ont testé les capacités de ChatGPT à répondre à des épreuves d’examen dans différentes spécialités, avec des résultats variés selon le niveau et le domaine d’expertise [9–11]. Certains examens sont facilement réussis par ChatGPT [12–14], y compris ceux de spécialités [15–18]. Les examens de chirurgie orthopédique anglo-saxons d’évaluation d’internes ont montré une moins bonne performance de ChatGPT en comparaison aux étudiants, évoquant la difficulté à analyser des images radiologiques complexes [19–22]. À notre connaissance, une seule étude dans la littérature a testé les performances de ChatGPT en langue française dans le domaine des examens médicaux [15]. La performance de l’IA dépend également de la version testée [23].

Nous avons conduit une étude dont l’objectif principal est de comparer la performance de ChatGPT, dans ses versions -4 et -4o, à répondre aux questions de l’examen de chirurgie orthopédique et traumatologique français (examen du diplôme d’études spécialisées [DES]), en comparaison aux internes de chirurgie orthopédique français. L’hypothèse de notre étude était que dans sa version -4o, ChatGPT était capable de fournir un score non inférieur à ceux des internes aux examens du DES. Les objectifs secondaires de l’étude étaient de comparer les capacités de ChatGPT-4o à répondre en fonction du type de question (analyse d’imageries médicales, questions de texte) et de comparer la performance du modèle IA en fonction de sa version de mise à jour (Chat-GPT-4 et Chat-GPT-4o).

# Matériel et méthodes

## Données de l’étude

Il s’agit d’une étude rétrospective observationnelle. Les données de l’étude ont été extraites à partir de la banque de données du Collège français de chirurgie orthopédique et traumatologique. Cette base de données contenait des questions à choix unique (QCU) rédigées dans le cadre de l’examen écrit du diplôme d’études spécialisées (DES) de chirurgie orthopédique et traumatologique, visant à évaluer les étudiants à la fin de leur internat sur leur enseignement théorique. Chaque épreuve est composée de 50 QCU. Le thème des questions est réparti de façon équitable entre les thèmes suivants : chirurgie du membre supérieur, chirurgie du membre inférieur, sciences fondamentales, chirurgie du rachis, orthopédie pédiatrique. Les questions ont été triées selon le thème de la question posée, ainsi que sur la présence ou non d’une image à interpréter, en vue de réaliser ensuite une analyse en sous-groupes sur chacun de ces critères.

## Analyse statistique

Le nombre de questions à analyser a été établi par un calculateur de taille d’échantillon (Raosoft, Sample Size Calculator, Raosoft inc). Avec une marge d’erreur de 5 % et un taux de distribution des réponses de 50 %, le nombre minimum de questions à analyser afin d’obtenir un taux de confiance de 95 % était de 218. Les QCU des années 2020 à 2024 inclus ont été soumis aux étudiants et au modèle d’intelligence artificielle, soit 250 questions. Les réponses des deux groupes étaient collectées et leurs résultats comparés. Afin d’analyser les tableaux de contingence, le test exact de Khi2 (GraphPadPRISM®, San Diego, États-Unis) a été utilisé. Une valeur de p inférieure à 0,05 était considérée comme significative.

## Modèle IA

Le modèle d’IA testé était ChatGPT (Chat Generative Pre-trained Transformer, OpenAI®, San Francisco, États-Unis) dans ses versions -4 et -4o, à jour au 25 mai 2024. Il s’agissait de la version la plus récente au moment de la réalisation de notre étude, permettant l’analyse de texte et d’images.

## Critères de jugement

Le critère de jugement principal était la performance de ChatGPT, dans ses versions -4 et -4o, à répondre aux questions de l’examen de chirurgie orthopédique et traumatologique français, en comparaison aux internes de chirurgie orthopédique français. Il était déterminé comme suit :
                           
                              •
                              chaque question était soumise individuellement afin d’éviter un biais d’apprentissage dans la barre de texte du logiciel ;
                           
                           
                              •
                              une réponse était considérée comme correcte si ChatGPT fournissait celle choisie par le Collège des Enseignants lors de la rédaction de l’épreuve ;
                           
                           
                              •
                              si ChatGPT refusait de répondre à la question ou fournissait le mauvais choix de réponse, cela était compté comme incorrect ;
                           
                           
                              •
                              les questions étaient soumises à l’IA en langue française dans leur format de rédaction original.

Pour comparer les moyennes des internes de chirurgie orthopédique avec ChatGPT, la moyenne correcte des internes pour chaque question et année d’épreuve a été comparée à la moyenne obtenue par ChatGPT-4 et ChatGPT-4o.

Les objectifs secondaires de l’étude étaient une analyse en sous-groupe des réponses de ChatGPT-4o en fonction du type de question (analyse d’imageries médicales, questions de texte) et du thème abordé (membre supérieur, membre inférieur, rachis, sciences fondamentales, chirurgie pédiatrique).

# Résultats

Les épreuves des années 2020 à 2024 inclus, comportant chacune 50 questions, ont été analysées. Au total, l’analyse statistique a porté sur 250 questions à choix unique. La répartition des questions par thème et par type est détaillée dans le tableau I
                     .

Les résultats des internes à chaque épreuve sont résumés dans le tableau II
                     . Le score de Chat-GPT-4o aux épreuves de DES était respectivement de 39, 40, 32, 36 et 40 sur 50 points possibles de 2020 à 2024 inclus. La moyenne obtenue par Chat-GPT-4o était supérieure à celle des étudiants internes chaque année, excepté pour l’épreuve de 2022 (tableau II). La moyenne totale des internes sur les cinq années cumulées était de 177/250, soit un taux de bonnes réponses de 70,8 %. Par comparaison aux internes, le taux de bonnes réponses était inférieur pour Chat-GPT4 (p
                     =0,005) et supérieur pour Chat GPT 4o (p
                     =0,32). Chat-GPT-4o avait une performance significativement supérieure à Chat-GPT-4 (p
                     =0,0001). L’ensemble des résultats des internes et des deux versions (GPT-4 et GPT-4o) est résumé dans le tableau II.

La comparaison de performance entre les versions Chat-GPT-4 et Chat-GPT-4o à l’analyse d’images a été faite pour chaque année d’examen, et résumée dans le tableau III
                     . Sur 250 QCU, 89, soit 35,6 %, ont porté sur l’analyse d’images (radiographies, imageries en coupes, planches d’anatomie…). La performance de Chat-GPT-4 et de Chat-GPT-4o sur les 5 années étudiées était respectivement de 43/89 (48,3 %) et 58/89 (65,2 %), p
                     =0,02. La figure 1
                      résume les performances des deux versions de Chat-GPT étudiées (-4 et -4o) en fonction du thème de chaque question.

Chat-GPT 4o avait une performance supérieure à la version 4 lorsque les thèmes abordés concernaient le Rachis, Pédiatrie et Membre inférieur (tableau IV
                     ).

# Discussion

Les résultats d’un modèle d’IA, Chat-GPT versions -4 et -4o, sont rapportés en comparaison aux performances des internes français à l’épreuve du DES de chirurgie orthopédique et traumatologique. Notre hypothèse est confirmée : ChatGPT, dans sa dernière version à jour (-4o), est capable de fournir un score aux examens du DES équivalent à celui des internes sur l’ensemble des cinq années d’épreuves analysées. Le taux de bonnes réponses des internes sur les cinq années cumulées était 70,8 %. Chat-GPT-4 avait un taux de bonnes réponses significativement inférieur par rapport aux internes : 147/250, soit 58,8 % (p
                     =0,005). Chat-GPT-4o avait un taux de bonnes réponses de 187/250, soit 74,8 %.

Les publications de la littérature montrent des résultats variables de ChatGPT-4 (tableau V
                      
                     [10,12–17,19–22,24–28]) dans les examens standards soumis aux étudiants et aux internes, ce dans plusieurs langues, et pour des spécialités variées telles que l’ophtalmologie, la chirurgie thoracique, la neurochirurgie, la cardiologie [15–17]. En chirurgie orthopédique et traumatologique, les examens américain et britannique de l’équivalent français du DES, à savoir l’OITE (ABOS), et le FRCS-Tauma and Orthopaedics ont été testés. Les résultats montraient globalement de bons résultats de ChatGPT-4, qui se rapprochent de la moyenne des internes sans la dépasser [19–22]. Ces résultats sont concordants à ce qui a été mis en évidence dans notre étude, à savoir une performance inférieure de Chat-GPT-4 en comparaison aux étudiants. En revanche, la version -4o a permis d’observer une tendance non significative, en comparaison aux étudiants.

Un biais important dans l’analyse des résultats de la littérature lorsque l’on parle d’IA est le modèle et type d’algorithme testé. C’est pourquoi une rigueur et une transparence dans la méthodologie concernant le type d’algorithme étudié est nécessaire. À l’échelle du modèle dans cette étude, une différence de performance significative a été mise en évidence entre deux versions successives de Chat-GPT-4 (mars 2023) et Chat-GPT-4o (mai 2024). Le même niveau de différence pourrait être observé si l’on teste deux algorithmes différents. Un autre paramètre important pouvant modifier les performances des modèles IA est le type de données analysées. Il a été mis en évidence qu’un même type de modèle n’est pas adapté pour traiter des données différentes, et que chaque type de données peut nécessiter un modèle spécifique, tel qu’un réseau de neurones convolutifs pour l’analyse d’images, ou des modèles de machine learning plus basiques, tels qu’un perceptron multicouche pour l’analyse de texte [29,30]. C’est une donnée importante à prendre en compte lors de l’analyse critique de la performance de l’IA. Dans cette étude, la performance de Chat-GPT-4 à donner une réponse correcte était inférieure pour les questions avec iconographies (48,3 %), que pour l’ensemble des questions, textuelles et avec images (58,8 %). En comparaison, Chat-GPT-4o avait un meilleur taux de bonnes réponses en cas de questions avec analyse d’images (65,2 %, p
                     =0,0232), et pour tout type de questions confondues (images et texte, 74,8 %). L’analyse précise par thème et par type de questions (analyse de texte ou d’image) n’a pas pu être faite sur les étudiants, par manque de données. Il y avait donc une tendance à la difficulté à répondre à l’analyse d’images, a fortiori spécialisées, de l’IA par rapport au texte. Cette différence se réduisait de façon significative entre les deux versions de Chat-GPT testées. La moins bonne performance de Chat-GPT-4o à l’examen de 2022, alors qu’elle avait tendance à mieux performer que les internes sur l’ensemble des autres années, s’explique par un taux de questions élevées nécessitant l’analyse d’images (24 questions sur 50 cette année-là). Concernant l’étude d’autres systèmes d’IA, tels que Google Gemini, anciennement Bard (Google, Moutain View, California, États-Unis), les résultats dans la littérature montrent des performances nettement moins bonnes en comparaison à Chat-GPT [31–34]. L’inconvénient de Bard dans notre contexte se manifeste dans l’incapacité à traiter les questions avec analyses d’images. Il a paru donc peu intéressant de réaliser des tests sur d’autres plateformes que Chat-GPT, qui a alors été considéré comme le logiciel le plus avancé dans ce domaine. Lors de l’analyse des réponses fournies par ChatGPT-4 et -4o, il est apparu que le modèle, lorsqu’il ne donnait pas la réponse attendue par le Collège, fournissait une justification qui était parfois recevable. Cela remettait donc en question la qualité de rédaction de la question. Les modèles IA pourraient constituer à l’avenir une aide à la rédaction des questions et à évaluer leur pertinence une fois la question rédigée. Par ailleurs, les performances augmentent avec les versions des modèles d’IA. Les étudiants et enseignants continueront certainement de s’améliorer, mais probablement pas aussi rapidement que les modèles de machine learning. Cela pose également des questions éthiques, puisque ces modèles ont la capacité de participer à la rédaction de manuscrits scientifiques [35–37].

Notre étude comporte plusieurs limites. 1) il s’agit d’un travail rétrospectif. 2) l’utilisation d’un seul modèle d’IA (Chat-GPT), sans groupe contrôle d’une autre intelligence artificielle, malgré le recours à deux versions différentes de ChatGPT. Cela limite la généralisation des résultats de l’étude à d’autres modèles d’IA. 3) l’étude reflète les performances de Chat-GPT à un moment précis. Les mises à jour ultérieures du modèle pourraient améliorer ou modifier ses performances, ce qui affecte la pérennité des conclusions. 4) le faible nombre de questions traitées limitant l’analyse statistique et entraînant un manque de significativité de nos résultats.

# Conclusion

ChatGPT-4o est capable de répondre aux questions du DES de chirurgie orthopédique et traumatologique des 5 dernières années avec un taux de réussite à 75 %, soit une performance équivalente à celle des étudiants ayant passé ces épreuves mais significativement supérieure à Chat GPT4. Des progrès importants ont été notés entre les modèles GPT-4 et GPT-4o. Des progrès importants ont été observés entre les modèles GPT-4 et GPT-4o. L’analyse des images est une difficulté importante pour les modèles actuels, avec une performance moindre.

# Déclaration de liens d’intérêts

les auteurs déclarent ne pas avoir de liens d’intérêts. En dehors de ce travail : Julien Berhouet est consultant pour Stryker.

# Financement

aucun.

# Contribution des auteurs

Nabih Maraqa : écriture du manuscrit et révision, collecte et analyse des données. Ramy Samargandi : conception de l’étude, collecte et analyse des données, révision du manuscrit, supervision. Antoine Poichotte : relecture et correction du manuscrit, supervision. Julien Berhouet : conception de l’étude, relecture et correction du manuscrit, supervision. Rayane Benhenneda : collecte et analyse des données, révision du manuscrit. Tous les auteurs ont lu et approuvé la dernière version.

# Déclaration de l’IA générative et des technologies assistées par l’IA

aucune assistance n’a été utilisée pour écrire ce manuscrit.

Les auteurs remercient le Collège français de chirurgie orthopédique et traumatologique pour son soutien, les données fournies et l’autorisation d’accès à la banque des questions des examens. Nous leur sommes également reconnaissants pour leurs conseils indispensables tout au long de cette étude.